WO2021135330A1 - 图像样本选择方法及相关设备 - Google Patents

图像样本选择方法及相关设备 Download PDF

Info

Publication number
WO2021135330A1
WO2021135330A1 PCT/CN2020/112238 CN2020112238W WO2021135330A1 WO 2021135330 A1 WO2021135330 A1 WO 2021135330A1 CN 2020112238 W CN2020112238 W CN 2020112238W WO 2021135330 A1 WO2021135330 A1 WO 2021135330A1
Authority
WO
WIPO (PCT)
Prior art keywords
score
image
network
image samples
image sample
Prior art date
Application number
PCT/CN2020/112238
Other languages
English (en)
French (fr)
Inventor
王俊
高鹏
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010739700.8A external-priority patent/CN111860508B/zh
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Priority to US17/614,070 priority Critical patent/US11972601B2/en
Priority to JP2021570005A priority patent/JP7288088B2/ja
Publication of WO2021135330A1 publication Critical patent/WO2021135330A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • This application relates to the field of artificial intelligence technology, and in particular to an image sample selection method, device, computer equipment, and computer-readable storage medium.
  • the lesion is identified from the medical image.
  • the instance segmentation model can be trained using the labeled image samples, and the instances in the image can be identified through the trained instance segmentation model.
  • the identification of image samples needs to be performed by professionals. However, the inventor found that if the selected image sample is not suitable, even if the annotator is very experienced, the training effect of the instance segmentation model will be poor.
  • the first aspect of the present application provides an image sample selection method, and the image sample selection method includes:
  • the instance segmentation model including a first FPN backbone network, a first region generation network, and a three-branch network;
  • a score prediction model that includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second region generating network sharing parameters and network structure with the first region generating network , Score prediction network;
  • a plurality of target image samples are selected from the plurality of second image samples according to the information volume score of the plurality of second image samples and the plurality of sample clusters.
  • a second aspect of the present application provides an image sample selection device, the image sample selection device includes:
  • the acquiring module is used to acquire multiple first image samples after the instance labeling, multiple second image samples to be labelled by the instance, and multiple third image samples after the score labeling;
  • the first building module is used to build an instance segmentation model, where the instance segmentation model includes a first FPN backbone network, a first region generation network, and a three-branch network;
  • the first training module is configured to train the instance segmentation model by using the multiple first image samples
  • the second construction module is used to construct a score prediction model.
  • the score prediction model includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and sharing parameters and networks with the first region generating network
  • the second area of the structure generates a network and a score prediction network;
  • the second training module is used to train the score prediction model by using the plurality of third image samples
  • the first calculation module is configured to calculate the information volume score of the multiple second image samples based on the score prediction model
  • the second calculation module is used to calculate the feature vectors of the plurality of second image samples
  • a clustering module configured to cluster the multiple second image samples according to the feature vectors of the multiple second image samples to obtain multiple sample clusters of the multiple second image samples
  • the selecting module is configured to select multiple target image samples from the multiple second image samples according to the information score of the multiple second image samples and multiple sample clusters.
  • a third aspect of the present application provides a computer device that includes a processor, and the processor is configured to execute computer-readable instructions stored in a memory to implement the following steps:
  • the instance segmentation model including a first FPN backbone network, a first region generation network, and a three-branch network;
  • a score prediction model that includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second region generating network sharing parameters and network structure with the first region generating network , Score prediction network;
  • a plurality of target image samples are selected from the plurality of second image samples according to the information volume score of the plurality of second image samples and the plurality of sample clusters.
  • a fourth aspect of the present application provides a computer-readable storage medium having computer-readable instructions stored on the computer-readable storage medium, and when the computer-readable instructions are executed by a processor, the following steps are implemented:
  • the instance segmentation model including a first FPN backbone network, a first region generation network, and a three-branch network;
  • a score prediction model that includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second region generating network sharing parameters and network structure with the first region generating network , Score prediction network;
  • a plurality of target image samples are selected from the plurality of second image samples according to the information volume score of the plurality of second image samples and the plurality of sample clusters.
  • This application obtains a plurality of first image samples after an instance labeling, a plurality of second image samples to be annotated by an instance, and a plurality of third image samples after scoring labeling; and constructs an instance segmentation model, the instance segmentation model including the first FPN A backbone network, a first region generation network, and a three-branch network; training the instance segmentation model with the multiple first image samples; constructing a score prediction model, the score prediction model including parameters shared with the first FPN backbone network And a second FPN backbone network with a network structure, a second region generating network with a network structure and a second region generating network sharing parameters and a network structure with the first region generating network, and a score prediction network; training the score prediction model with the plurality of third image samples; Calculate the information content score of the plurality of second image samples based on the score prediction model; calculate the feature vector of the plurality of second image samples; Clustering the second image samples to obtain a plurality of sample clusters of the plurality of second image
  • Fig. 1 is a flowchart of an image sample selection method provided by an embodiment of the present application.
  • Fig. 2 is a structural diagram of an image sample selection device provided by an embodiment of the present application.
  • Fig. 3 is a schematic diagram of a computer device provided by an embodiment of the present application.
  • the image sample selection method of the present application is applied to one or more computer devices.
  • the computer device is a device that can automatically perform numerical calculation and/or information processing in accordance with pre-set or stored instructions.
  • Its hardware includes, but is not limited to, a microprocessor and an application specific integrated circuit (ASIC) , Programmable Gate Array (Field-Programmable Gate Array, FPGA), Digital Processor (Digital Signal Processor, DSP), embedded equipment, etc.
  • ASIC application specific integrated circuit
  • FPGA Field-Programmable Gate Array
  • DSP Digital Processor
  • embedded equipment etc.
  • This application can be used in many general or special computer system environments or configurations. For example: personal computers, server computers, handheld devices or portable devices, tablet devices, multi-processor systems, microprocessor-based systems, set-top boxes, programmable consumer electronic devices, network PCs, small computers, large computers, including Distributed computing environment for any of the above systems or equipment, etc.
  • This application may be described in the general context of computer-executable instructions executed by a computer, such as a program module.
  • program modules include routines, programs, objects, components, data structures, etc. that perform specific tasks or implement specific abstract data types.
  • This application can also be practiced in distributed computing environments. In these distributed computing environments, tasks are performed by remote processing devices connected through a communication network.
  • program modules can be located in local and remote computer storage media including storage devices.
  • the computer device may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the computer device can interact with the user through a keyboard, a mouse, a remote control, a touch panel, or a voice control device.
  • FIG. 1 is a flowchart of an image sample selection method provided in Embodiment 1 of the present application.
  • the image sample selection method is applied to a computer device, and is used to select a target image sample from the image samples to be annotated.
  • the image sample selection method specifically includes the following steps. According to different requirements, the order of the steps in the flowchart can be changed, and some of the steps can be omitted.
  • the plurality of first image samples, the plurality of second image samples, and the third image sample can be read from a database
  • the plurality of first image samples, the plurality of second image samples, and the third image samples uploaded by the user may be received.
  • the number of the plurality of first image samples is small, and the plurality of first image samples before labeling are not selected.
  • the multiple first image samples are used for pre-training, a larger number of multiple first image samples are required to achieve the expected training effect.
  • the labeler needs to label the label type, label frame, and label mask of the first image sample.
  • the score labeling requires the labeler to label the classification labeling score, frame labeling score, mask labeling score, and instance number labeling score of the third image sample.
  • the instance number annotation score is the number of instances in the third image sample.
  • the instance segmentation model includes a first FPN backbone network, a first region generation network, and a three-branch network.
  • FPN feature pyramid networks
  • the bottom-up sub-network of the first FPN backbone network is used to perform feature extraction on the image to obtain multiple image feature representations of different feature levels.
  • the bottom-up sub-network of the first FPN backbone network is used to combine the multiple image feature representations of different feature levels to calculate the feature representation of the image.
  • the first region generating network includes an RPN network, a RoIAlign network, etc., and is used to generate a region of interest of an image.
  • the training of the instance segmentation model using the plurality of first image samples includes:
  • the first image sample is input to the first FPN backbone network, and the first image sample is calculated through the first FPN backbone network.
  • the instance segmentation model Based on the backpropagation algorithm, according to the instance type and label type of the first image sample, the instance frame and the label frame of the first image sample, the difference pair between the instance mask and the label mask of the first image sample.
  • the parameters of the instance segmentation model are optimized.
  • the calculating the feature representation of the first image sample through the first FPN backbone network includes:
  • the intermediate feature representation of the first image sample includes the first sub-intermediate feature and the second sub-intermediate feature.
  • the generating the region of interest of the first image sample through the first region generating network includes:
  • the RPN network can be dedicated to recommending candidate regions and is a fully convolutional neural network.
  • the performing instance segmentation of the region of interest of the first image sample through the three-branch network includes:
  • the region of interest of the first image sample is encoded and calculated by the second RCNN branch in the three-branch network to obtain the example frame.
  • the first RCNN branch and the second RCNN branch have the same RCNN structure;
  • the same RCNN structure may include a fully connected structure and a convolution structure.
  • the first RCNN branch also includes a first fully connected structure for instance classification; the second RCNN branch also includes a second fully connected structure for instance box classification.
  • 104 Construct a score prediction model, the score prediction model including a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second region generating network sharing parameters and network structure with the first region Generate network, score prediction network.
  • the score prediction model includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second area generating network sharing parameters and network structure with the first area generating network, that is, the first area generating network.
  • the parameters of an FPN backbone network and the first area generation network change, the changed parameters are updated to the second FPN backbone network and the second area generation network.
  • the training of the score prediction model using the plurality of third image samples includes:
  • the third image sample is input to the second FPN backbone network, and the second FPN backbone network is used to calculate the value of the third image sample Feature representation
  • the region of interest of the third image sample is input into the score prediction network, and the score prediction is performed on the region of interest of the third image sample through the score prediction network to obtain a classification score, a frame score, a mask score, and A score for the number of instances, where the third image sample includes a classification labeling score, a frame labeling score, a mask labeling score, and an instance number labeling score of the region of interest of the third image sample;
  • the box score and the box labeling score, the mask score and the mask labeling score, the instance number score and the instance number labeling The score difference optimizes the parameters of the score prediction network.
  • the score prediction network may include a classification score prediction sub-network, a box score prediction sub-network, a mask score prediction sub-network, and an instance number score prediction sub-network.
  • the classification score prediction sub-network, the box score prediction sub-network, and the mask score prediction sub-network respectively include a fully connected structure and a convolution structure.
  • the instance number score prediction sub-network includes a convolution structure.
  • the frame score prediction sub-network includes two fully connected layers and one convolutional layer
  • the mask score prediction sub-network includes two fully connected layers and one convolutional layer.
  • the instance number score prediction sub-network includes a convolutional layer.
  • the classification score prediction sub-network is used to determine the uncertainty of the instance segmentation model for predicting the instance type of the third image sample; the box score prediction sub-network is used to determine that the instance segmentation model predicts the third The uncertainty of the instance frame of the image sample; the mask score prediction sub-network is used to determine the uncertainty of the instance segmentation model predicting the instance mask of the third image sample; the instance number score prediction sub-network Used to predict the number of instances of the third image sample.
  • the calculating the information content score of the plurality of second image samples based on the score prediction model includes:
  • the classification score, frame score, mask score, and instance number score of the plurality of instances in the second image sample are calculated through the score prediction model ;
  • the instance segmentation model When the instance segmentation model outputs the predicted probability of the instance type of the second image sample, the lower the confidence, the higher the classification score of the second image sample.
  • the instance segmentation model When the instance segmentation model outputs the instance frame of the second image sample, the IOU value of the instance frame of the second image sample is calculated. The smaller the IOU value of the instance frame of the second image sample, the The frame score of the second image sample is higher.
  • the instance segmentation model outputs the instance mask of the second image sample, the Jaccard value of the instance mask of the second image sample is calculated. The greater the Jaccard value of the instance mask of the second image sample, The mask score of the second image sample is higher.
  • the score prediction model outputs the prediction probability of the number of instances of the second image sample labeling points, the lower the confidence, the higher the score of the number of instances of the second image sample.
  • the calculating the feature vectors of the plurality of second image samples includes:
  • the multiple sub-feature representations after the splicing are converted into the feature vector.
  • the clustering the plurality of second image samples according to the feature vectors of the plurality of second image samples includes:
  • the clustering of the plurality of second image samples based on the Gaussian mixture model according to the feature vectors of the plurality of second image samples includes:
  • Gaussian parameters include a mean vector, a covariance matrix, and a mixing coefficient
  • the multiple sample clusters of the multiple second image samples are determined according to the Gaussian parameter.
  • the selecting a plurality of target image samples from the plurality of second image samples according to the information scores of the plurality of second image samples and the plurality of sample clusters includes:
  • a preset number of second image samples are selected from the sample cluster in the order of the information amount score from high to low.
  • the image sample selection method of the first embodiment obtains a plurality of first image samples labeled by an instance, a plurality of second image samples to be labeled with an instance, and a plurality of third image samples labeled with a score; and constructs an instance segmentation model, the instance
  • the segmentation model includes a first FPN backbone network, a first region generation network, and a three-branch network; trains the instance segmentation model with the plurality of first image samples; constructs a score prediction model, the score prediction model includes the first A second FPN backbone network sharing parameters and network structure of the FPN backbone network, a second region generating network sharing parameters and network structure with the first region generating network, and a score prediction network; training with the plurality of third image samples
  • the score prediction model the information content score of the plurality of second image samples is calculated based on the score prediction model; the feature vector of the plurality of second image samples is calculated; according to the characteristics of the plurality of second image samples The vector clusters the multiple second image samples to obtain
  • the image sample selection method further includes:
  • Fig. 2 is a structural diagram of an image sample selection device provided in the second embodiment of the present application.
  • the image sample selection device 20 is applied to computer equipment.
  • the image sample selection device 20 is used to select target image samples from the image samples to be labeled, so as to improve the accuracy of sample selection.
  • the image sample selection device 20 may include an acquisition module 201, a first construction module 202, a first training module 203, a second construction module 204, a second training module 205, a first calculation module 206, and a first training module 203. 2.
  • the obtaining module 201 is configured to obtain a plurality of first image samples labeled by an instance, a plurality of second image samples to be labeled with an instance, and a plurality of third image samples labeled with a score.
  • the plurality of first image samples, the plurality of second image samples, and the third image sample can be read from a database
  • the plurality of first image samples, the plurality of second image samples, and the third image samples uploaded by the user may be received.
  • the number of the plurality of first image samples is small, and the plurality of first image samples before labeling are not selected.
  • the multiple first image samples are used for pre-training, a larger number of multiple first image samples are required to achieve the expected training effect.
  • the labeler needs to label the label type, label frame, and label mask of the first image sample.
  • the score labeling requires the labeler to label the classification labeling score, frame labeling score, mask labeling score, and instance number labeling score of the third image sample.
  • the instance number annotation score is the number of instances in the third image sample.
  • the first construction module 202 is configured to construct an instance segmentation model, the instance segmentation model including a first FPN backbone network, a first region generation network, and a three-branch network.
  • FPN feature pyramid networks
  • the bottom-up sub-network of the first FPN backbone network is used to perform feature extraction on the image to obtain multiple image feature representations of different feature levels.
  • the bottom-up sub-network of the first FPN backbone network is used to combine the multiple image feature representations of different feature levels to calculate the feature representation of the image.
  • the first region generating network includes an RPN network, a RoIAlign network, etc., and is used to generate a region of interest of an image.
  • the first training module 203 is configured to use the multiple first image samples to train the instance segmentation model.
  • the training of the instance segmentation model using the plurality of first image samples includes:
  • the first image sample is input to the first FPN backbone network, and the first image sample is calculated through the first FPN backbone network.
  • the instance segmentation model Based on the backpropagation algorithm, according to the instance type and label type of the first image sample, the instance frame and the label frame of the first image sample, the difference pair between the instance mask and the label mask of the first image sample.
  • the parameters of the instance segmentation model are optimized.
  • the calculating the feature representation of the first image sample through the first FPN backbone network includes:
  • the intermediate feature representation of the first image sample includes the first sub-intermediate feature and the second sub-intermediate feature.
  • the generating the region of interest of the first image sample through the first region generating network includes:
  • the RPN network can be dedicated to recommending candidate regions and is a fully convolutional neural network.
  • the performing instance segmentation of the region of interest of the first image sample through the three-branch network includes:
  • the region of interest of the first image sample is encoded and calculated by the second RCNN branch in the three-branch network to obtain the example frame.
  • the first RCNN branch and the second RCNN branch have the same RCNN structure;
  • the same RCNN structure may include a fully connected structure and a convolution structure.
  • the first RCNN branch also includes a first fully connected structure for instance classification; the second RCNN branch also includes a second fully connected structure for instance box classification.
  • the second construction module 204 is used to construct a score prediction model.
  • the score prediction model includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, sharing parameters with the first region generating network, and The second area of the network structure generates a network and a score prediction network.
  • the score prediction model includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second area generating network sharing parameters and network structure with the first area generating network, that is, the first area generating network.
  • the parameters of an FPN backbone network and the first area generation network change, the changed parameters are updated to the second FPN backbone network and the second area generation network.
  • the second training module 205 is configured to train the score prediction model using the multiple third image samples.
  • the training of the score prediction model using the plurality of third image samples includes:
  • the third image sample is input to the second FPN backbone network, and the second FPN backbone network is used to calculate the value of the third image sample Feature representation
  • the region of interest of the third image sample is input into the score prediction network, and the score prediction is performed on the region of interest of the third image sample through the score prediction network to obtain a classification score, a frame score, a mask score, and A score for the number of instances, where the third image sample includes a classification labeling score, a frame labeling score, a mask labeling score, and an instance number labeling score of the region of interest of the third image sample;
  • the box score and the box labeling score, the mask score and the mask labeling score, the instance number score and the instance number labeling The score difference optimizes the parameters of the score prediction network.
  • the score prediction network may include a classification score prediction sub-network, a box score prediction sub-network, a mask score prediction sub-network, and an instance number score prediction sub-network.
  • the classification score prediction sub-network, the box score prediction sub-network, and the mask score prediction sub-network respectively include a fully connected structure and a convolution structure.
  • the instance number score prediction sub-network includes a convolution structure.
  • the box score prediction sub-network includes two fully connected layers and one convolutional layer
  • the mask score prediction sub-network includes two fully connected layers and one convolutional layer.
  • the instance number score prediction sub-network includes a convolutional layer.
  • the classification score prediction sub-network is used to determine the uncertainty of the instance segmentation model for predicting the instance type of the third image sample; the box score prediction sub-network is used to determine that the instance segmentation model predicts the third The uncertainty of the instance frame of the image sample; the mask score prediction sub-network is used to determine the uncertainty of the instance segmentation model predicting the instance mask of the third image sample; the instance number score prediction sub-network Used to predict the number of instances of the third image sample.
  • the first calculation module 206 is configured to calculate the information volume score of the multiple second image samples based on the score prediction model.
  • the calculating the information content score of the plurality of second image samples based on the score prediction model includes:
  • the classification score, frame score, mask score, and instance number score of the plurality of instances in the second image sample are calculated through the score prediction model ;
  • the instance segmentation model When the instance segmentation model outputs the predicted probability of the instance type of the second image sample, the lower the confidence, the higher the classification score of the second image sample.
  • the instance segmentation model When the instance segmentation model outputs the instance frame of the second image sample, the IOU value of the instance frame of the second image sample is calculated. The smaller the IOU value of the instance frame of the second image sample, the The frame score of the second image sample is higher.
  • the instance segmentation model outputs the instance mask of the second image sample, the Jaccard value of the instance mask of the second image sample is calculated. The greater the Jaccard value of the instance mask of the second image sample, The mask score of the second image sample is higher.
  • the score prediction model outputs the prediction probability of the number of instances of the second image sample labeling points, the lower the confidence, the higher the score of the number of instances of the second image sample.
  • the second calculation module 207 is configured to calculate the feature vectors of the multiple second image samples.
  • the calculating the feature vectors of the plurality of second image samples includes:
  • the multiple sub-feature representations after the splicing are converted into the feature vector.
  • the clustering module 208 is configured to cluster the multiple second image samples according to the feature vectors of the multiple second image samples to obtain multiple sample clusters of the multiple second image samples.
  • the clustering the plurality of second image samples according to the feature vectors of the plurality of second image samples includes:
  • the clustering of the plurality of second image samples based on the Gaussian mixture model according to the feature vectors of the plurality of second image samples includes:
  • Gaussian parameters include a mean vector, a covariance matrix, and a mixing coefficient
  • the multiple sample clusters of the multiple second image samples are determined according to the Gaussian parameter.
  • the selecting module 209 is configured to select multiple target image samples from the multiple second image samples according to the information score of the multiple second image samples and multiple sample clusters.
  • the selecting a plurality of target image samples from the plurality of second image samples according to the information scores of the plurality of second image samples and the plurality of sample clusters includes:
  • a preset number of second image samples are selected from the sample cluster in the order of the information amount score from high to low.
  • the image sample selection device 20 of the second embodiment acquires a plurality of first image samples labeled by an instance, a plurality of second image samples to be labeled with an instance, and a plurality of third image samples labeled with a score; and constructs an instance segmentation model.
  • the instance segmentation model includes a first FPN backbone network, a first region generation network, and a three-branch network; the multiple first image samples are used to train the instance segmentation model; a score prediction model is constructed, and the score prediction model includes the The first FPN backbone network shares the parameters and the second FPN backbone network of the network structure, the second area generation network that shares the parameters and the network structure with the first area generation network, and the score prediction network; using the plurality of third image samples Training the score prediction model; calculating the information content score of the plurality of second image samples based on the score prediction model; calculating the feature vector of the plurality of second image samples; The feature vector clusters the multiple second image samples to obtain multiple sample clusters of the multiple second image samples; according to the information score of the multiple second image samples and the multiple sample clusters A plurality of target image samples are selected from the plurality of second image samples. In the second embodiment, a target image sample is selected from the image samples to be labeled to improve the accuracy of sample selection.
  • the first training module is further configured to receive user annotations on the multiple target image samples to obtain multiple labeled target image samples;
  • This embodiment provides a computer-readable storage medium having computer-readable instructions stored on the computer-readable storage medium.
  • the computer-readable storage medium may be nonvolatile or volatile.
  • the instance segmentation model includes a first FPN backbone network, a first region generation network, and a three-branch network;
  • 104 Construct a score prediction model, the score prediction model including a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second region generating network sharing parameters and network structure with the first region Generate network, score prediction network;
  • each module in the above-mentioned device embodiment is realized, for example, the modules 201-209 in FIG. 2:
  • the obtaining module 201 is configured to obtain a plurality of first image samples labeled by an instance, a plurality of second image samples to be labeled with an instance, and a plurality of third image samples labeled with a score;
  • the first construction module 202 is used to construct an instance segmentation model, the instance segmentation model including a first FPN backbone network, a first region generation network, and a three-branch network;
  • the first training module 203 is configured to train the instance segmentation model by using the multiple first image samples
  • the second construction module 204 is used to construct a score prediction model.
  • the score prediction model includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, sharing parameters with the first region generating network, and The second area of the network structure generates a network and a score prediction network;
  • the second training module 205 is configured to train the score prediction model by using the multiple third image samples
  • the first calculation module 206 is configured to calculate the information volume score of the multiple second image samples based on the score prediction model
  • the second calculation module 207 is configured to calculate the feature vectors of the multiple second image samples
  • the clustering module 208 is configured to cluster the multiple second image samples according to the feature vectors of the multiple second image samples to obtain multiple sample clusters of the multiple second image samples;
  • the selecting module 209 is configured to select multiple target image samples from the multiple second image samples according to the information score of the multiple second image samples and multiple sample clusters.
  • FIG. 3 is a schematic diagram of the computer equipment provided in the fourth embodiment of the application.
  • the computer device 30 includes a memory 301, a processor 302, and computer-readable instructions 303 stored in the memory 301 and running on the processor 302, such as an image sample selection program.
  • the processor 302 executes the computer-readable instructions 303, the steps in the embodiment of the image sample selection method described above are implemented, for example, steps 101-109 shown in FIG. 1:
  • the instance segmentation model includes a first FPN backbone network, a first region generation network, and a three-branch network;
  • 104 Construct a score prediction model, the score prediction model including a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, and a second region generating network sharing parameters and network structure with the first region Generate network, score prediction network;
  • each module in the above-mentioned device embodiment is realized, for example, the modules 201-209 in FIG. 2:
  • the obtaining module 201 is configured to obtain a plurality of first image samples labeled by an instance, a plurality of second image samples to be labeled with an instance, and a plurality of third image samples labeled with a score;
  • the first construction module 202 is used to construct an instance segmentation model, the instance segmentation model including a first FPN backbone network, a first region generation network, and a three-branch network;
  • the first training module 203 is configured to train the instance segmentation model by using the multiple first image samples
  • the second construction module 204 is used to construct a score prediction model.
  • the score prediction model includes a second FPN backbone network sharing parameters and network structure with the first FPN backbone network, sharing parameters with the first region generating network, and The second area of the network structure generates a network and a score prediction network;
  • the second training module 205 is configured to train the score prediction model by using the multiple third image samples
  • the first calculation module 206 is configured to calculate the information volume score of the multiple second image samples based on the score prediction model
  • the second calculation module 207 is configured to calculate the feature vectors of the multiple second image samples
  • the clustering module 208 is configured to cluster the multiple second image samples according to the feature vectors of the multiple second image samples to obtain multiple sample clusters of the multiple second image samples;
  • the selecting module 209 is configured to select multiple target image samples from the multiple second image samples according to the information score of the multiple second image samples and multiple sample clusters.
  • the computer-readable instruction 303 may be divided into one or more modules, and the one or more modules are stored in the memory 301 and executed by the processor 302 to complete the method. .
  • the one or more modules may be a series of computer program instruction segments capable of completing specific functions, and the instruction segments are used to describe the execution process of the computer readable instruction 303 in the computer device 30.
  • the computer-readable instruction 303 can be divided into the acquisition module 201, the first construction module 202, the first training module 203, the second construction module 204, the second training module 205, and the first calculation module 206 in FIG. ,
  • the second calculation module 207, the clustering module 208, and the selection module 209. Refer to the second embodiment for the specific functions of each module.
  • the computer device 30 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the schematic diagram 3 is only an example of the computer device 30, and does not constitute a limitation on the computer device 30. It may include more or less components than those shown in the figure, or combine certain components, or different components.
  • the computer device 30 may also include input and output devices, network access devices, buses, and so on.
  • the so-called processor 302 may be a central processing unit (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor can be a microprocessor or the processor 302 can also be any conventional processor, etc.
  • the processor 302 is the control center of the computer device 30, which uses various interfaces and lines to connect the entire computer device 30. Various parts.
  • the memory 301 may be used to store the computer-readable instructions 303.
  • the processor 302 executes or executes the computer-readable instructions or modules stored in the memory 301 and calls data stored in the memory 301 to implement Various functions of the computer device 30.
  • the memory 301 may mainly include a storage program area and a storage data area, where the storage program area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.); the storage data area may Data and the like created in accordance with the use of the computer device 30 are stored.
  • the memory 301 may include a hard disk, a memory, a plug-in hard disk, a Smart Media Card (SMC), a Secure Digital (SD) card, a flash memory card (Flash Card), at least one disk storage device, a flash memory Devices, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), or other non-volatile/volatile storage devices.
  • the integrated module of the computer device 30 may be stored in a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile. Based on this understanding, this application implements all or part of the processes in the above-mentioned embodiments and methods, and can also be completed by instructing relevant hardware through computer-readable instructions, and the computer-readable instructions can be stored in a computer-readable storage medium.
  • the computer-readable instruction when executed by the processor, it can implement the steps of the foregoing method embodiments.
  • the computer-readable instructions may be in the form of source code, object code, executable file, or some intermediate forms, etc.
  • the computer-readable storage medium may include: any entity or device capable of carrying the computer-readable instructions, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, read only memory (ROM), random access memory ( RAM).
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical modules, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional modules in the various embodiments of the present application may be integrated into one processing module, or each module may exist alone physically, or two or more modules may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware, or in the form of hardware plus software functional modules.
  • the above-mentioned integrated modules implemented in the form of software functional modules may be stored in a computer-readable storage medium.
  • the above-mentioned software function module is stored in a storage medium and includes several instructions to make a computer device (which can be a personal computer, a server, or a network device, etc.) or a processor to execute the image samples described in the various embodiments of this application. Select part of the method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术领域，提供一种图像样本选择方法及相关设备。所述图像样本选择方法用多个第一图像样本训练实例分割模型；用多个第三图像样本训练得分预测模型；基于得分预测模型计算多个第二图像样本的信息量得分；计算多个第二图像样本的特征向量；根据多个第二图像样本的特征向量对多个第二图像样本进行聚类，得到多个第二图像样本的多个样本簇；根据多个第二图像样本的信息量得分和多个样本簇从多个第二图像样本中选取多个目标图像样本。本申请从待标注图像样本中选择目标图像样本，提升样本选择的准确性。

Description

图像样本选择方法及相关设备
本申请要求于2020年07月28日提交中国专利局，申请号为202010739700.8申请名称为“图像样本选择方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，具体涉及一种图像样本选择方法、装置、计算机设备及计算机可读存储介质。
背景技术
在人工智能技术领域中，经常需要从图像中识别实例。例如，从教学图像中识别出老师、学生、书桌等。再如，从医疗图像中识别出病灶(病变区域)。
可以使用标注后的图像样本训练实例分割模型，通过训练后的实例分割模型识别图像中的实例。图像样本的标识需要由专业人员进行。然而，发明人发现，如果选取的图像样本不适合，即使标注人员很有经验，实例分割模型的训练效果也会不好。
如何准确选取训练效果好的图像样本供专业人员进行标注，成为待解决的问题。
发明内容
鉴于以上内容，有必要提出一种图像样本选择方法、装置、计算机设备及计算机可读存储介质，其可以从待标注图像样本中选择目标图像样本。
本申请的第一方面提供一种图像样本选择方法，所述图像样本选择方法包括：
获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
用所述多个第一图像样本训练所述实例分割模型；
构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
用所述多个第三图像样本训练所述得分预测模型；
基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
计算所述多个第二图像样本的特征向量；
根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
本申请的第二方面提供一种图像样本选择装置，所述图像样本选择装置包括：
获取模块，用于获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
第一构建模块，用于构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
第一训练模块，用于用所述多个第一图像样本训练所述实例分割模型；
第二构建模块，用于构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
第二训练模块，用于用所述多个第三图像样本训练所述得分预测模型；
第一计算模块，用于基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
第二计算模块，用于计算所述多个第二图像样本的特征向量；
聚类模块，用于根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
选取模块，用于根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
本申请的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机可读指令以实现以下步骤：
获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
用所述多个第一图像样本训练所述实例分割模型；
构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
用所述多个第三图像样本训练所述得分预测模型；
基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
计算所述多个第二图像样本的特征向量；
根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
用所述多个第一图像样本训练所述实例分割模型；
构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
用所述多个第三图像样本训练所述得分预测模型；
基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
计算所述多个第二图像样本的特征向量；
根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
本申请获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；用所述多个第一图像样本训练所述实例分割模型；构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；用所述多个第三图像样本训练所述得分预测模型；基于所述得分预测模型计算所述多个第二图像样本的信息量得分；计算所述多个第二图像样本的特征向量；根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。本申请从待标注图像样本中选择目标图像样本，提升样本选择的准确性。
附图说明
图1是本申请实施例提供的图像样本选择方法的流程图。
图2是本申请实施例提供的图像样本选择装置的结构图。
图3是本申请实施例提供的计算机设备的示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
优选地，本申请的图像样本选择方法应用在一个或者多个计算机设备中。所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
图1是本申请实施例一提供的图像样本选择方法的流程图。所述图像样本选择方法应用于计算机设备，用于从待标注图像样本中选择目标图像样本。
所述图像样本选择方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
101，获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本。
可以从数据库读取所述多个第一图像样本、所述多个第二图像样本、所述第三图像样本；
可以接收用户上传的所述多个第一图像样本、所述多个第二图像样本、所述第三图像样本。
所述多个第一图像样本的数量较少，且没有对标注前的多个第一图像样本进行选取。将所述多个第一图像样本用于预训练时，需要较大数量的多个第一图像样本才能达到预期训练效果。
实例标注需要标注者标注第一图像样本的标注类型、标注框、标注掩膜。
得分标注需要标注者标注第三图像样本的分类标注分、框标注分、掩膜标注分、实例数量标注分。实例数量标注分是第三图像样本中实例的数量。
102，构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络。
FPN(特征金字塔网络，feature pyramid networks)包括自下至上子网络或自上至下子网络。所述第一FPN主干网络的自下至上子网络用于对图像进行特征提取，得到多个不同特征层次的图像特征表示。所述第一FPN主干网络的自下至上子网络用于结合所述多个不同特征层次的图像特征表示计算图像的特征表示。
所述第一区域生成网络包括RPN网络、RoIAlign网络等，用于生成图像的感兴趣区域。
103，用所述多个第一图像样本训练所述实例分割模型。
在一具体实施例中，所述用所述多个第一图像样本训练所述实例分割模型包括：
对于所述多个第一图像样本中的每个第一图像样本，将所述第一图像样本输入所述第一FPN主干网络，通过所述第一FPN主干网络计算所述第一图像样本的特征表示；
将所述第一图像样本的特征表示输入所述第一区域生成网络，通过所述第一区域生成网络生成所述第一图像样本的感兴趣区域；
将所述第一图像样本的感兴趣区域输入所述三分支网络，通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割，得到第一图像样本的实例类型、实例框和实例掩膜；
基于反向传播算法根据所述第一图像样本的实例类型与标注类型、所述第一图像样本的实例框与标注框、所述第一图像样本的实例掩膜与标注掩膜的差值对所述实例分割模型的参数进行优化。
在一具体实施例中，所述通过所述第一FPN主干网络计算所述第一图像样本的特征表示包括：
基于所述第一FPN主干网络的自下至上子网络计算所述第一图像样本的中间特征表示，依计算先后顺序，所述第一图像样本的中间特征表示包括第一子中间特征、第二子中间特征、第三子中间特征、第四子中间特征；
基于所述第一FPN主干网络的自上至下子网络，对所述第四子中间特征进行降维计算，得到第四子特征；
根据所述第三子中间特征的尺寸对所述第四子特征进行上采样计算，对所述第三子中间特征和上采样后的第四子特征进行单位加计算，得到第三子特征；
根据所述第二子中间特征的尺寸对所述第三子特征进行上采样计算，对所述第二子 中间特征和上采样后的第三子特征进行单位加计算，得到第二子特征；
根据所述第一子中间特征的尺寸对所述第二子特征进行上采样计算，对所述第一子中间特征和上采样后的第二子特征进行单位加计算，得到第一子特征，组合所述第四子特征、所述第三子特征、所述第二子特征、所述第一子特征，得到所述第一图像样本的特征表示。
所述通过所述第一区域生成网络生成所述第一图像样本的感兴趣区域包括：
基于RPN网络生成所述第一图像样本的多个中间感兴趣区域；基于RoIAlign网络对所述第一图像样本的每个中间感兴趣区域进行双线性插值计算，以统一所述第一图像样本的多个中间感兴趣区域的大小。
RPN网络可以专用于推荐候选区域，是一种全卷积神经网络。
在一具体实施例中，所述通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割包括：
通过所述三分支网络中的第一RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例类型；
通过所述三分支网络中的第二RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例框，所述第一RCNN分支与所述第二RCNN分支具有同一个RCNN结构；
通过所述三分支网络中的掩膜分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例掩膜。
所述同一个RCNN结构可以包括全连接结构和卷积结构。所述第一RCNN分支还包括用于实例分类的第一全连接结构；所述第二RCNN分支还包括用于实例框分类的第二全连接结构。
104，构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络。
所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络，即所述第一FPN主干网络和所述第一区域生成网络的参数发生变化时，变化后的参数会更新至所述第二FPN主干网络和所述第二区域生成网络。
105，用所述多个第三图像样本训练所述得分预测模型。
在一具体实施例中，所述用所述多个第三图像样本训练所述得分预测模型包括：
对于所述多个第三图像样本中的每个第三图像样本，将所述第三图像样本输入所述第二FPN主干网络，通过所述第二FPN主干网络计算所述第三图像样本的特征表示；
将所述第三图像样本的特征表示输入所述第二区域生成网络，通过所述第二区域生成网络生成所述第三图像样本的感兴趣区域；
将所述第三图像样本的感兴趣区域输入所述得分预测网络，通过所述得分预测网络对所述第三图像样本的感兴趣区域进行得分预测，得到分类得分、框得分、掩膜得分和实例数量得分，所述第三图像样本包括所述第三图像样本的感兴趣区域的分类标注分、框标注分、掩膜标注分、实例数量标注分；
基于反向传播算法根据所述分类得分与所述分类标注分、所述框得分与所述框标注分、所述掩膜得分与所述掩膜标注分、所述实例数量得分与实例数量标注分的差值对所述得分预测网络的参数进行优化。
所述得分预测网络可以包括分类得分预测子网络、框得分预测子网络、掩膜得分预测子网络、实例数量得分预测子网络。所述分类得分预测子网络、所述框得分预测子网络、所述掩膜得分预测子网络分别包括全连接结构和卷积结构。所述实例数量得分预测子网络包括卷积结构。具体地，所述框得分预测子网络包括两个全连接层和一个卷积层， 所述掩膜得分预测子网络包括两个全连接层和一个卷积层。所述实例数量得分预测子网络包括一个卷积层。
所述分类得分预测子网络用于确定所述实例分割模型预测所述第三图像样本的实例类型的不确定性；所述框得分预测子网络用于确定所述实例分割模型预测所述第三图像样本的实例框的不确定性；所述掩膜得分预测子网络用于确定所述实例分割模型预测所述第三图像样本的实例掩膜的不确定性；所述实例数量得分预测子网络用于预测所述第三图像样本的实例数量。
106，基于所述得分预测模型计算所述多个第二图像样本的信息量得分。
在一具体实施例中，所述基于所述得分预测模型计算所述多个第二图像样本的信息量得分包括：
对于所述多个第二图像样本中的每个第二图像样本，通过所述得分预测模型计算所述第二图像样本中的多个实例的分类得分、框得分、掩膜得分和实例数量得分；
根据所述第二图像样本中的每个实例的分类得分、框得分、掩膜得分和实例数量得分计算所述第二图像样本的每个实施例的信息量子得分；
计算所述第二图像样本的所有信息量子得分的平均值，得到所述第二图像样本的信息量得分。
当所述实例分割模型输出所述第二图像样本的实例类型的预测概率时，置信度越低，所述第二图像样本的分类得分越高。当所述实例分割模型输出所述第二图像样本的实例框时，计算所述第二图像样本的实例框的IOU值，所述第二图像样本的实例框的IOU值越小，所述第二图像样本的框得分越高。当所述实例分割模型输出所述第二图像样本的实例掩膜时，计算所述第二图像样本的实例掩膜的Jaccard值，所述第二图像样本的实例掩膜的Jaccard值越大，所述第二图像样本的掩膜得分越高。当所述得分预测模型输出所述第二图像样本的实例数量标注分的预测概率时，置信度越低，所述第二图像样本的实例数量得分越高。
107，计算所述多个第二图像样本的特征向量。
在一具体实施例中，所述计算所述多个第二图像样本的特征向量包括：
通过所述第二FPN主干网络计算所述第二图像样本的特征表示，所述第二图像样本的特征表示包括多个子特征表示；
对所述第二图像样本的多个子特征表示进行全局平均池化，得到池化后的多个子特征表示；
对所述池化后的多个子特征表示进行拼接；
将拼接后的多个子特征表示转化为所述特征向量。
108，根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇。
在一具体实施例中，所述根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类包括：
基于混合高斯模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类；或
基于K均值模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类。
在一具体实施例中，所述基于混合高斯模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类包括：
对所述多个第二图像样本的特征向量进行归一化，得到多个目标特征向量；
初始化高斯参数，所述高斯参数包括均值向量、协方差矩阵、混合系数；
基于EM算法计算所述高斯参数；
根据所述高斯参数确定所述多个第二图像样本的多个样本簇。
109，根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
在一具体实施例中，所述根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本包括：
获取预设数量；
对于所述多个样本簇中的每个样本簇，基于信息量得分对所述样本簇中的第二图像样本进行从高到低排序；
从所述样本簇中依信息量得分从高到低的顺序选取预设数量个第二图像样本。
实施例一的图像样本选择方法获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；用所述多个第一图像样本训练所述实例分割模型；构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；用所述多个第三图像样本训练所述得分预测模型；基于所述得分预测模型计算所述多个第二图像样本的信息量得分；计算所述多个第二图像样本的特征向量；根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。实施例一从待标注图像样本中选择目标图像样本，提升样本选择的准确性。
在另一实施例中，所述图像样本选择方法还包括：
接收用户对所述多个目标图像样本的标注，得到多个标注后的目标图像样本；
用所述多个标注后的目标图像样本训练所述实例分割模型。
实施例二
图2是本申请实施例二提供的图像样本选择装置的结构图。所述图像样本选择装置20应用于计算机设备。所述图像样本选择装置20用于从待标注图像样本中选择目标图像样本，提升样本选择的准确性。
如图2所示，所述图像样本选择装置20可以包括获取模块201、第一构建模块202、第一训练模块203、第二构建模块204、第二训练模块205、第一计算模块206、第二计算模块207、聚类模块208、选取模块209。
获取模块201，用于获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本。
可以从数据库读取所述多个第一图像样本、所述多个第二图像样本、所述第三图像样本；
可以接收用户上传的所述多个第一图像样本、所述多个第二图像样本、所述第三图像样本。
所述多个第一图像样本的数量较少，且没有对标注前的多个第一图像样本进行选取。将所述多个第一图像样本用于预训练时，需要较大数量的多个第一图像样本才能达到预期训练效果。
实例标注需要标注者标注第一图像样本的标注类型、标注框、标注掩膜。
得分标注需要标注者标注第三图像样本的分类标注分、框标注分、掩膜标注分、实例数量标注分。实例数量标注分是第三图像样本中实例的数量。
第一构建模块202，用于构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络。
FPN(特征金字塔网络，feature pyramid networks)包括自下至上子网络或自上至下子网络。所述第一FPN主干网络的自下至上子网络用于对图像进行特征提取，得到多个不同特征层次的图像特征表示。所述第一FPN主干网络的自下至上子网络用于结合所述 多个不同特征层次的图像特征表示计算图像的特征表示。
所述第一区域生成网络包括RPN网络、RoIAlign网络等，用于生成图像的感兴趣区域。
第一训练模块203，用于用所述多个第一图像样本训练所述实例分割模型。
在一具体实施例中，所述用所述多个第一图像样本训练所述实例分割模型包括：
对于所述多个第一图像样本中的每个第一图像样本，将所述第一图像样本输入所述第一FPN主干网络，通过所述第一FPN主干网络计算所述第一图像样本的特征表示；
将所述第一图像样本的特征表示输入所述第一区域生成网络，通过所述第一区域生成网络生成所述第一图像样本的感兴趣区域；
将所述第一图像样本的感兴趣区域输入所述三分支网络，通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割，得到第一图像样本的实例类型、实例框和实例掩膜；
基于反向传播算法根据所述第一图像样本的实例类型与标注类型、所述第一图像样本的实例框与标注框、所述第一图像样本的实例掩膜与标注掩膜的差值对所述实例分割模型的参数进行优化。
在一具体实施例中，所述通过所述第一FPN主干网络计算所述第一图像样本的特征表示包括：
基于所述第一FPN主干网络的自下至上子网络计算所述第一图像样本的中间特征表示，依计算先后顺序，所述第一图像样本的中间特征表示包括第一子中间特征、第二子中间特征、第三子中间特征、第四子中间特征；
基于所述第一FPN主干网络的自上至下子网络，对所述第四子中间特征进行降维计算，得到第四子特征；
根据所述第三子中间特征的尺寸对所述第四子特征进行上采样计算，对所述第三子中间特征和上采样后的第四子特征进行单位加计算，得到第三子特征；
根据所述第二子中间特征的尺寸对所述第三子特征进行上采样计算，对所述第二子中间特征和上采样后的第三子特征进行单位加计算，得到第二子特征；
根据所述第一子中间特征的尺寸对所述第二子特征进行上采样计算，对所述第一子中间特征和上采样后的第二子特征进行单位加计算，得到第一子特征，组合所述第四子特征、所述第三子特征、所述第二子特征、所述第一子特征，得到所述第一图像样本的特征表示。
所述通过所述第一区域生成网络生成所述第一图像样本的感兴趣区域包括：
基于RPN网络生成所述第一图像样本的多个中间感兴趣区域；基于RoIAlign网络对所述第一图像样本的每个中间感兴趣区域进行双线性插值计算，以统一所述第一图像样本的多个中间感兴趣区域的大小。
RPN网络可以专用于推荐候选区域，是一种全卷积神经网络。
在一具体实施例中，所述通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割包括：
通过所述三分支网络中的第一RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例类型；
通过所述三分支网络中的第二RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例框，所述第一RCNN分支与所述第二RCNN分支具有同一个RCNN结构；
通过所述三分支网络中的掩膜分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例掩膜。
所述同一个RCNN结构可以包括全连接结构和卷积结构。所述第一RCNN分支还包括用于实例分类的第一全连接结构；所述第二RCNN分支还包括用于实例框分类的第二 全连接结构。
第二构建模块204，用于构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络。
所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络，即所述第一FPN主干网络和所述第一区域生成网络的参数发生变化时，变化后的参数会更新至所述第二FPN主干网络和所述第二区域生成网络。
第二训练模块205，用于用所述多个第三图像样本训练所述得分预测模型。
在一具体实施例中，所述用所述多个第三图像样本训练所述得分预测模型包括：
对于所述多个第三图像样本中的每个第三图像样本，将所述第三图像样本输入所述第二FPN主干网络，通过所述第二FPN主干网络计算所述第三图像样本的特征表示；
将所述第三图像样本的特征表示输入所述第二区域生成网络，通过所述第二区域生成网络生成所述第三图像样本的感兴趣区域；
将所述第三图像样本的感兴趣区域输入所述得分预测网络，通过所述得分预测网络对所述第三图像样本的感兴趣区域进行得分预测，得到分类得分、框得分、掩膜得分和实例数量得分，所述第三图像样本包括所述第三图像样本的感兴趣区域的分类标注分、框标注分、掩膜标注分、实例数量标注分；
基于反向传播算法根据所述分类得分与所述分类标注分、所述框得分与所述框标注分、所述掩膜得分与所述掩膜标注分、所述实例数量得分与实例数量标注分的差值对所述得分预测网络的参数进行优化。
所述得分预测网络可以包括分类得分预测子网络、框得分预测子网络、掩膜得分预测子网络、实例数量得分预测子网络。所述分类得分预测子网络、所述框得分预测子网络、所述掩膜得分预测子网络分别包括全连接结构和卷积结构。所述实例数量得分预测子网络包括卷积结构。具体地，所述框得分预测子网络包括两个全连接层和一个卷积层，所述掩膜得分预测子网络包括两个全连接层和一个卷积层。所述实例数量得分预测子网络包括一个卷积层。
所述分类得分预测子网络用于确定所述实例分割模型预测所述第三图像样本的实例类型的不确定性；所述框得分预测子网络用于确定所述实例分割模型预测所述第三图像样本的实例框的不确定性；所述掩膜得分预测子网络用于确定所述实例分割模型预测所述第三图像样本的实例掩膜的不确定性；所述实例数量得分预测子网络用于预测所述第三图像样本的实例数量。
第一计算模块206，用于基于所述得分预测模型计算所述多个第二图像样本的信息量得分。
在一具体实施例中，所述基于所述得分预测模型计算所述多个第二图像样本的信息量得分包括：
对于所述多个第二图像样本中的每个第二图像样本，通过所述得分预测模型计算所述第二图像样本中的多个实例的分类得分、框得分、掩膜得分和实例数量得分；
根据所述第二图像样本中的每个实例的分类得分、框得分、掩膜得分和实例数量得分计算所述第二图像样本的每个实施例的信息量子得分；
计算所述第二图像样本的所有信息量子得分的平均值，得到所述第二图像样本的信息量得分。
当所述实例分割模型输出所述第二图像样本的实例类型的预测概率时，置信度越低，所述第二图像样本的分类得分越高。当所述实例分割模型输出所述第二图像样本的实例框时，计算所述第二图像样本的实例框的IOU值，所述第二图像样本的实例框的IOU值越小，所述第二图像样本的框得分越高。当所述实例分割模型输出所述第二图像样本的 实例掩膜时，计算所述第二图像样本的实例掩膜的Jaccard值，所述第二图像样本的实例掩膜的Jaccard值越大，所述第二图像样本的掩膜得分越高。当所述得分预测模型输出所述第二图像样本的实例数量标注分的预测概率时，置信度越低，所述第二图像样本的实例数量得分越高。
第二计算模块207，用于计算所述多个第二图像样本的特征向量。
在一具体实施例中，所述计算所述多个第二图像样本的特征向量包括：
通过所述第二FPN主干网络计算所述第二图像样本的特征表示，所述第二图像样本的特征表示包括多个子特征表示；
对所述第二图像样本的多个子特征表示进行全局平均池化，得到池化后的多个子特征表示；
对所述池化后的多个子特征表示进行拼接；
将拼接后的多个子特征表示转化为所述特征向量。
聚类模块208，用于根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇。
在一具体实施例中，所述根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类包括：
基于混合高斯模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类；或
基于K均值模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类。
在一具体实施例中，所述基于混合高斯模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类包括：
对所述多个第二图像样本的特征向量进行归一化，得到多个目标特征向量；
初始化高斯参数，所述高斯参数包括均值向量、协方差矩阵、混合系数；
基于EM算法计算所述高斯参数；
根据所述高斯参数确定所述多个第二图像样本的多个样本簇。
选取模块209，用于根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
在一具体实施例中，所述根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本包括：
获取预设数量；
对于所述多个样本簇中的每个样本簇，基于信息量得分对所述样本簇中的第二图像样本进行从高到低排序；
从所述样本簇中依信息量得分从高到低的顺序选取预设数量个第二图像样本。
实施例二的图像样本选择装置20获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；用所述多个第一图像样本训练所述实例分割模型；构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；用所述多个第三图像样本训练所述得分预测模型；基于所述得分预测模型计算所述多个第二图像样本的信息量得分；计算所述多个第二图像样本的特征向量；根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。实施例二从待标注图像样本中选择目标图像样本，提升样本选择的准确性。
在另一实施例中，所述第一训练模块还用于接收用户对所述多个目标图像样本的标 注，得到多个标注后的目标图像样本；
用所述多个标注后的目标图像样本训练所述实例分割模型。
实施例三
本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机可读指令，所述计算机可读存储介质可以是非易失性，也可以是易失性。该计算机可读指令被处理器执行时实现上述图像样本选择方法实施例中的步骤，例如图1所示的步骤101-109：
101，获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
102，构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
103，用所述多个第一图像样本训练所述实例分割模型；
104，构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
105，用所述多个第三图像样本训练所述得分预测模型；
106，基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
107，计算所述多个第二图像样本的特征向量；
108，根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
109，根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
或者，该计算机可读指令被处理器执行时实现上述装置实施例中各模块的功能，例如图2中的模块201-209：
获取模块201，用于获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
第一构建模块202，用于构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
第一训练模块203，用于用所述多个第一图像样本训练所述实例分割模型；
第二构建模块204，用于构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
第二训练模块205，用于用所述多个第三图像样本训练所述得分预测模型；
第一计算模块206，用于基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
第二计算模块207，用于计算所述多个第二图像样本的特征向量；
聚类模块208，用于根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
选取模块209，用于根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
实施例四
图3为本申请实施例四提供的计算机设备的示意图。所述计算机设备30包括存储器301、处理器302以及存储在所述存储器301中并可在所述处理器302上运行的计算机可读指令303，例如图像样本选择程序。所述处理器302执行所述计算机可读指令303时实现上述图像样本选择方法实施例中的步骤，例如图1所示的步骤101-109：
101，获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分 标注后的多个第三图像样本；
102，构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
103，用所述多个第一图像样本训练所述实例分割模型；
104，构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
105，用所述多个第三图像样本训练所述得分预测模型；
106，基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
107，计算所述多个第二图像样本的特征向量；
108，根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
109，根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
或者，该计算机可读指令被处理器执行时实现上述装置实施例中各模块的功能，例如图2中的模块201-209：
获取模块201，用于获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
第一构建模块202，用于构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
第一训练模块203，用于用所述多个第一图像样本训练所述实例分割模型；
第二构建模块204，用于构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
第二训练模块205，用于用所述多个第三图像样本训练所述得分预测模型；
第一计算模块206，用于基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
第二计算模块207，用于计算所述多个第二图像样本的特征向量；
聚类模块208，用于根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
选取模块209，用于根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
示例性的，所述计算机可读指令303可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器301中，并由所述处理器302执行，以完成本方法。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机可读指令303在所述计算机设备30中的执行过程。例如，所述计算机可读指令303可以被分割成图2中的获取模块201、第一构建模块202、第一训练模块203、第二构建模块204、第二训练模块205、第一计算模块206、第二计算模块207、聚类模块208、选取模块209，各模块具体功能参见实施例二。
所述计算机设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图3仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，所述处理器302是所述计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
所述存储器301可用于存储所述计算机可读指令303，所述处理器302通过运行或执行存储在所述存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现所述计算机设备30的各种功能。所述存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
所述计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是非易失性，也可以是易失性。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机可读指令可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机可读指令的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、只读存储器(ROM)、随机存取存储器(RAM)。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述图像样本选择方法的部分步骤。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的 技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种图像样本选择方法，其中，所述图像样本选择方法包括：
    获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
    构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
    用所述多个第一图像样本训练所述实例分割模型；
    构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
    用所述多个第三图像样本训练所述得分预测模型；
    基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
    计算所述多个第二图像样本的特征向量；
    根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
    根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
  2. 如权利要求1所述的图像样本选择方法，其中，所述用所述多个第一图像样本训练所述实例分割模型包括：
    对于所述多个第一图像样本中的每个第一图像样本，将所述第一图像样本输入所述第一FPN主干网络，通过所述第一FPN主干网络计算所述第一图像样本的特征表示；
    将所述第一图像样本的特征表示输入所述第一区域生成网络，通过所述第一区域生成网络生成所述第一图像样本的感兴趣区域；
    将所述第一图像样本的感兴趣区域输入所述三分支网络，通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割，得到第一图像样本的实例类型、实例框和实例掩膜；
    基于反向传播算法根据所述第一图像样本的实例类型与标注类型、所述第一图像样本的实例框与标注框、所述第一图像样本的实例掩膜与标注掩膜的差值对所述实例分割模型的参数进行优化。
  3. 如权利要求2所述的图像样本选择方法，其中，所述通过所述第一FPN主干网络计算所述第一图像样本的特征表示包括：
    基于所述第一FPN主干网络的自下至上子网络计算所述第一图像样本的中间特征表示，依计算先后顺序，所述第一图像样本的中间特征表示包括第一子中间特征、第二子中间特征、第三子中间特征、第四子中间特征；
    基于所述第一FPN主干网络的自上至下子网络，对所述第四子中间特征进行降维计算，得到第四子特征；
    根据所述第三子中间特征的尺寸对所述第四子特征进行上采样计算，对所述第三子中间特征和上采样后的第四子特征进行单位加计算，得到第三子特征；
    根据所述第二子中间特征的尺寸对所述第三子特征进行上采样计算，对所述第二子中间特征和上采样后的第三子特征进行单位加计算，得到第二子特征；
    根据所述第一子中间特征的尺寸对所述第二子特征进行上采样计算，对所述第一子中间特征和上采样后的第二子特征进行单位加计算，得到第一子特征，组合所述第四子特征、所述第三子特征、所述第二子特征、所述第一子特征，得到所述第一图像样本的特征表示。
  4. 如权利要求2所述的图像样本选择方法，其中，所述三分支网络包括第一RCNN分支、第二RCNN分支和掩膜分支，所述通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割包括：
    通过所述第一RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例类型；
    通过所述第二RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例框，所述第一RCNN分支与所述第二RCNN分支具有同一个RCNN结构；
    通过所述掩膜分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例掩膜。
  5. 如权利要求1所述的图像样本选择方法，其中，所述用所述多个第三图像样本训练所述得分预测模型包括：
    对于所述多个第三图像样本中的每个第三图像样本，将所述第三图像样本输入所述第二FPN主干网络，通过所述第二FPN主干网络计算所述第三图像样本的特征表示；
    将所述第三图像样本的特征表示输入所述第二区域生成网络，通过所述第二区域生成网络生成所述第三图像样本的感兴趣区域；
    将所述第三图像样本的感兴趣区域输入所述得分预测网络，通过所述得分预测网络对所述第三图像样本的感兴趣区域进行得分预测，得到分类得分、框得分、掩膜得分和实例数量得分，所述第三图像样本包括所述第三图像样本的感兴趣区域的分类标注分、框标注分、掩膜标注分、实例数量标注分；
    基于反向传播算法根据所述分类得分与所述分类标注分、所述框得分与所述框标注分、所述掩膜得分与所述掩膜标注分、所述实例数量得分与实例数量标注分的差值对所述得分预测网络的参数进行优化。
  6. 如权利要求1所述的图像样本选择方法，其中，所述基于所述得分预测模型计算所述多个第二图像样本的信息量得分包括：
    对于所述多个第二图像样本中的每个第二图像样本，通过所述得分预测模型计算所述第二图像样本中的多个实例的分类得分、框得分、掩膜得分和实例数量得分；
    根据所述第二图像样本中的每个实例的分类得分、框得分、掩膜得分和实例数量得分计算所述第二图像样本的每个实施例的信息量子得分；
    计算所述第二图像样本的所有信息量子得分的平均值，得到所述第二图像样本的信息量得分。
  7. 如权利要求1所述的图像样本选择方法，其中，所述根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类包括：
    基于混合高斯模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类；或
    基于K均值模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类。
  8. 一种图像样本选择装置，其中，所述图像样本选择装置包括：
    获取模块，用于获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
    第一构建模块，用于构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
    第一训练模块，用于用所述多个第一图像样本训练所述实例分割模型；
    第二构建模块，用于构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
    第二训练模块，用于用所述多个第三图像样本训练所述得分预测模型；
    第一计算模块，用于基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
    第二计算模块，用于计算所述多个第二图像样本的特征向量；
    聚类模块，用于根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
    选取模块，用于根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
  9. 一种计算机设备，其中，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机可读指令以实现以下步骤：
    获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
    构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
    用所述多个第一图像样本训练所述实例分割模型；
    构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
    用所述多个第三图像样本训练所述得分预测模型；
    基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
    计算所述多个第二图像样本的特征向量；
    根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
    根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
  10. 如权利要求9所述的计算机设备，其中，所述处理器执行所述存储器中存储的计算机可读指令以实现所述用所述多个第一图像样本训练所述实例分割模型时，包括：
    对于所述多个第一图像样本中的每个第一图像样本，将所述第一图像样本输入所述第一FPN主干网络，通过所述第一FPN主干网络计算所述第一图像样本的特征表示；
    将所述第一图像样本的特征表示输入所述第一区域生成网络，通过所述第一区域生成网络生成所述第一图像样本的感兴趣区域；
    将所述第一图像样本的感兴趣区域输入所述三分支网络，通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割，得到第一图像样本的实例类型、实例框和实例掩膜；
    基于反向传播算法根据所述第一图像样本的实例类型与标注类型、所述第一图像样本的实例框与标注框、所述第一图像样本的实例掩膜与标注掩膜的差值对所述实例分割模型的参数进行优化。
  11. 如权利要求10所述的计算机设备，其中，所述处理器执行所述存储器中存储的计算机可读指令以实现所述通过所述第一FPN主干网络计算所述第一图像样本的特征表示时，包括：
    基于所述第一FPN主干网络的自下至上子网络计算所述第一图像样本的中间特征表示，依计算先后顺序，所述第一图像样本的中间特征表示包括第一子中间特征、第二子中间特征、第三子中间特征、第四子中间特征；
    基于所述第一FPN主干网络的自上至下子网络，对所述第四子中间特征进行降维计算，得到第四子特征；
    根据所述第三子中间特征的尺寸对所述第四子特征进行上采样计算，对所述第三子中间特征和上采样后的第四子特征进行单位加计算，得到第三子特征；
    根据所述第二子中间特征的尺寸对所述第三子特征进行上采样计算，对所述第二子中间特征和上采样后的第三子特征进行单位加计算，得到第二子特征；
    根据所述第一子中间特征的尺寸对所述第二子特征进行上采样计算，对所述第一子中间特征和上采样后的第二子特征进行单位加计算，得到第一子特征，组合所述第四子特征、所述第三子特征、所述第二子特征、所述第一子特征，得到所述第一图像样本的特征表示。
  12. 如权利要求10所述的计算机设备，其中，所述三分支网络包括第一RCNN分支、第二RCNN分支和掩膜分支，所述处理器执行所述存储器中存储的计算机可读指令以实现所述通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割时，包括：
    通过所述第一RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例类型；
    通过所述第二RCNN分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例框，所述第一RCNN分支与所述第二RCNN分支具有同一个RCNN结构；
    通过所述掩膜分支对所述第一图像样本的感兴趣区域进行编码计算，得到所述实例掩膜。
  13. 如权利要求9所述的计算机设备，其中，所述处理器执行所述存储器中存储的计算机可读指令以实现所述用所述多个第三图像样本训练所述得分预测模型时，包括：
    对于所述多个第三图像样本中的每个第三图像样本，将所述第三图像样本输入所述第二FPN主干网络，通过所述第二FPN主干网络计算所述第三图像样本的特征表示；
    将所述第三图像样本的特征表示输入所述第二区域生成网络，通过所述第二区域生成网络生成所述第三图像样本的感兴趣区域；
    将所述第三图像样本的感兴趣区域输入所述得分预测网络，通过所述得分预测网络对所述第三图像样本的感兴趣区域进行得分预测，得到分类得分、框得分、掩膜得分和实例数量得分，所述第三图像样本包括所述第三图像样本的感兴趣区域的分类标注分、框标注分、掩膜标注分、实例数量标注分；
    基于反向传播算法根据所述分类得分与所述分类标注分、所述框得分与所述框标注分、所述掩膜得分与所述掩膜标注分、所述实例数量得分与实例数量标注分的差值对所述得分预测网络的参数进行优化。
  14. 如权利要求9所述的计算机设备，其中，所述处理器执行所述存储器中存储的计算机可读指令以实现所述基于所述得分预测模型计算所述多个第二图像样本的信息量得分时，包括：
    对于所述多个第二图像样本中的每个第二图像样本，通过所述得分预测模型计算所述第二图像样本中的多个实例的分类得分、框得分、掩膜得分和实例数量得分；
    根据所述第二图像样本中的每个实例的分类得分、框得分、掩膜得分和实例数量得分计算所述第二图像样本的每个实施例的信息量子得分；
    计算所述第二图像样本的所有信息量子得分的平均值，得到所述第二图像样本的信息量得分。
  15. 如权利要求9所述的计算机设备，其中，所述处理器执行所述存储器中存储的计算机可读指令以实现所述根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类时，包括：
    基于混合高斯模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类；或
    基于K均值模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类。
  16. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令， 其中，所述计算机可读指令被处理器执行时实现以下步骤：
    获取实例标注后的多个第一图像样本、待实例标注的多个第二图像样本和得分标注后的多个第三图像样本；
    构建实例分割模型，所述实例分割模型包括第一FPN主干网络、第一区域生成网络和三分支网络；
    用所述多个第一图像样本训练所述实例分割模型；
    构建得分预测模型，所述得分预测模型包括与所述第一FPN主干网络共享参数和网络结构的第二FPN主干网络、与所述第一区域生成网络共享参数和网络结构的第二区域生成网络、得分预测网络；
    用所述多个第三图像样本训练所述得分预测模型；
    基于所述得分预测模型计算所述多个第二图像样本的信息量得分；
    计算所述多个第二图像样本的特征向量；
    根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类，得到所述多个第二图像样本的多个样本簇；
    根据所述多个第二图像样本的信息量得分和多个样本簇从所述多个第二图像样本中选取多个目标图像样本。
  17. 如权利要求16所述的存储介质，其中，所述计算机可读指令被所述处理器执行以实现所述用所述多个第一图像样本训练所述实例分割模型时，包括：
    对于所述多个第一图像样本中的每个第一图像样本，将所述第一图像样本输入所述第一FPN主干网络，通过所述第一FPN主干网络计算所述第一图像样本的特征表示；
    将所述第一图像样本的特征表示输入所述第一区域生成网络，通过所述第一区域生成网络生成所述第一图像样本的感兴趣区域；
    将所述第一图像样本的感兴趣区域输入所述三分支网络，通过所述三分支网络对所述第一图像样本的感兴趣区域进行实例分割，得到第一图像样本的实例类型、实例框和实例掩膜；
    基于反向传播算法根据所述第一图像样本的实例类型与标注类型、所述第一图像样本的实例框与标注框、所述第一图像样本的实例掩膜与标注掩膜的差值对所述实例分割模型的参数进行优化。
  18. 如权利要求16所述的存储介质，其中，所述计算机可读指令被所述处理器执行以实现所述用所述多个第三图像样本训练所述得分预测模型时，包括：
    对于所述多个第三图像样本中的每个第三图像样本，将所述第三图像样本输入所述第二FPN主干网络，通过所述第二FPN主干网络计算所述第三图像样本的特征表示；
    将所述第三图像样本的特征表示输入所述第二区域生成网络，通过所述第二区域生成网络生成所述第三图像样本的感兴趣区域；
    将所述第三图像样本的感兴趣区域输入所述得分预测网络，通过所述得分预测网络对所述第三图像样本的感兴趣区域进行得分预测，得到分类得分、框得分、掩膜得分和实例数量得分，所述第三图像样本包括所述第三图像样本的感兴趣区域的分类标注分、框标注分、掩膜标注分、实例数量标注分；
    基于反向传播算法根据所述分类得分与所述分类标注分、所述框得分与所述框标注分、所述掩膜得分与所述掩膜标注分、所述实例数量得分与实例数量标注分的差值对所述得分预测网络的参数进行优化。
  19. 如权利要求16所述的存储介质，其中，所述计算机可读指令被所述处理器执行以实现所述基于所述得分预测模型计算所述多个第二图像样本的信息量得分时，包括：
    对于所述多个第二图像样本中的每个第二图像样本，通过所述得分预测模型计算所述第二图像样本中的多个实例的分类得分、框得分、掩膜得分和实例数量得分；
    根据所述第二图像样本中的每个实例的分类得分、框得分、掩膜得分和实例数量得 分计算所述第二图像样本的每个实施例的信息量子得分；
    计算所述第二图像样本的所有信息量子得分的平均值，得到所述第二图像样本的信息量得分。
  20. 如权利要求16所述的存储介质，其中，所述计算机可读指令被所述处理器执行以实现所述根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类时，包括：
    基于混合高斯模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类；或
    基于K均值模型根据所述多个第二图像样本的特征向量对所述多个第二图像样本进行聚类。
PCT/CN2020/112238 2020-07-28 2020-08-28 图像样本选择方法及相关设备 WO2021135330A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/614,070 US11972601B2 (en) 2020-07-28 2020-08-28 Method for selecting image samples and related equipment
JP2021570005A JP7288088B2 (ja) 2020-07-28 2020-08-28 画像サンプルの選択方法及び関連装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010739700.8A CN111860508B (zh) 2020-07-28 图像样本选择方法及相关设备
CN202010739700.8 2020-07-28

Publications (1)

Publication Number Publication Date
WO2021135330A1 true WO2021135330A1 (zh) 2021-07-08

Family

ID=72948178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/112238 WO2021135330A1 (zh) 2020-07-28 2020-08-28 图像样本选择方法及相关设备

Country Status (3)

Country Link
US (1) US11972601B2 (zh)
JP (1) JP7288088B2 (zh)
WO (1) WO2021135330A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993839B (zh) * 2023-09-26 2024-01-26 苏州元脑智能科技有限公司 编码方式筛选方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657056A (zh) * 2018-11-14 2019-04-19 金色熊猫有限公司 目标样本获取方法、装置、存储介质及电子设备
CN110910864A (zh) * 2019-10-24 2020-03-24 深圳追一科技有限公司 训练样本的选取方法、装置、计算机设备和存储介质
US20200184313A1 (en) * 2018-03-29 2020-06-11 Pixar Adaptive sampling in monte carlo renderings using error-predicting neural networks
CN111275044A (zh) * 2020-02-21 2020-06-12 西北工业大学 基于样本选择和自适应难例挖掘的弱监督目标检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009533786A (ja) * 2006-04-10 2009-09-17 アヴァワークス インコーポレーテッド 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
EP3007696B1 (en) * 2013-06-14 2019-10-16 The Board of Regents of The University of Texas System Novel allosteric inhibitors of proteasome and methods of use thereof
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
CN105956612B (zh) 2016-04-25 2019-03-26 西安电子科技大学 基于主动学习和半监督学习的高光谱图像分类方法
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
JP7187244B2 (ja) * 2018-10-10 2022-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200184313A1 (en) * 2018-03-29 2020-06-11 Pixar Adaptive sampling in monte carlo renderings using error-predicting neural networks
CN109657056A (zh) * 2018-11-14 2019-04-19 金色熊猫有限公司 目标样本获取方法、装置、存储介质及电子设备
CN110910864A (zh) * 2019-10-24 2020-03-24 深圳追一科技有限公司 训练样本的选取方法、装置、计算机设备和存储介质
CN111275044A (zh) * 2020-02-21 2020-06-12 西北工业大学 基于样本选择和自适应难例挖掘的弱监督目标检测方法

Also Published As

Publication number Publication date
US11972601B2 (en) 2024-04-30
JP7288088B2 (ja) 2023-06-06
US20220230417A1 (en) 2022-07-21
CN111860508A (zh) 2020-10-30
JP2022534712A (ja) 2022-08-03

Similar Documents

Publication Publication Date Title
AU2019200270B2 (en) Concept mask: large-scale segmentation from semantic concepts
Li et al. Granular multi-label feature selection based on mutual information
CN103268317B (zh) 对图像进行语义注释的系统和方法
Alloghani et al. Implementation of machine learning algorithms to create diabetic patient re-admission profiles
CN110196908A (zh) 数据分类方法、装置、计算机装置及存储介质
CN109416705A (zh) 利用语料库中可用的信息用于数据解析和预测
US11901047B2 (en) Medical visual question answering
CN113168568A (zh) 用于具有深度特征化的主动迁移学习的系统和方法
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
Norris Machine Learning with the Raspberry Pi
CA3051572A1 (en) An artificial-intelligence-augmented classification system and method for tender search and analysis
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN112131261A (zh) 基于社区网络的社区查询方法、装置和计算机设备
Alymani et al. Graph machine learning classification using architectural 3D topological models
WO2021135330A1 (zh) 图像样本选择方法及相关设备
Zhu et al. Dual-decoder transformer network for answer grounding in visual question answering
US10685184B1 (en) Consumer insights analysis using entity and attribute word embeddings
Lin et al. LA-Net: LSTM and attention based point cloud down-sampling and its application
Yan et al. Discriminant space metric network for few-shot image classification
CN116030375A (zh) 视频特征提取、模型训练方法、装置、设备及存储介质
CN111860508B (zh) 图像样本选择方法及相关设备
He et al. Fast depth extraction from a single image
Geng et al. A robotic grasping approach with elliptical cone-based potential fields under disturbed scenes
US20230252311A1 (en) Systems and methods for transductive out-of-domain learning
Asano et al. Model-agnostic explanations for decisions using minimal patterns

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20909183

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021570005

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20909183

Country of ref document: EP

Kind code of ref document: A1