WO2021139313A1 - 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质 - Google Patents

基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2021139313A1
WO2021139313A1 PCT/CN2020/122637 CN2020122637W WO2021139313A1 WO 2021139313 A1 WO2021139313 A1 WO 2021139313A1 CN 2020122637 W CN2020122637 W CN 2020122637W WO 2021139313 A1 WO2021139313 A1 WO 2021139313A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature vector
data
screened
meta
model
Prior art date
Application number
PCT/CN2020/122637
Other languages
English (en)
French (fr)
Inventor
吕根鹏
庄伯金
王少军
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021139313A1 publication Critical patent/WO2021139313A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the field of machine learning technology in artificial intelligence, and in particular to a method for constructing a data screening model, a data screening method, a device, a computer device, and a storage medium based on meta-learning.
  • the embodiments of the present application provide a meta-learning-based data screening model construction method, data screening method, device, computer equipment, and storage medium, aiming to solve the problem of relatively low efficiency of existing data screening.
  • an embodiment of the present application provides a method for constructing a meta-learning-based data screening model, which includes: constructing a meta-training task, and using a feature extraction model to extract the first feature vector and the second feature vector of each meta-training task ,
  • each of the meta-training tasks includes a support set and a query set
  • the first feature vector is a feature vector of the training category included in each support set
  • the second feature vector is each The feature vector of the training data included in the query set
  • the relationship model is used to obtain the attribution value after the splicing of the first feature vector and the second feature vector
  • a preset calculation formula is used to calculate The gap value of the training data; based on the gap value, using a preset method to update the parameter values in the feature extraction model and the relationship model for a preset number of times to obtain the meta-learning-based data screening model.
  • an embodiment of the present application provides a data screening method based on meta-learning, which includes: obtaining a category to be screened and inputting the category to be screened into the meta-learning-based data screening model to extract the to-be-screened data screening model
  • the feature vector of each category in the category is used as the first target feature vector; acquiring the data to be screened and inputting the data to be screened into the meta-learning-based data screening model to extract the feature vector of each data to be screened in the data to be screened
  • a second target feature vector for each data to be screened, splicing the second target feature vector with the first target feature vector of each category to generate a third target feature vector corresponding to each data to be screened;
  • the attribution value of the third target feature vector of each data to be screened is compared with the preset attribution threshold value corresponding to each category to identify that the attribution value of the third target feature vector is greater than the preset
  • the data of the belonging degree threshold is used as the target data; the target data is marked
  • an embodiment of the present application also provides a meta-learning-based data screening model construction device, which includes: a construction extraction unit for constructing meta-training tasks, and the feature extraction model is used to extract the first part of each meta-training task.
  • a feature vector and a second feature vector wherein each of the meta-training tasks includes a support set and a query set, the first feature vector is a feature vector of a training category included in each support set, and the second The feature vector is the feature vector of the training data included in each query set; an acquisition unit, configured to use a relational model to acquire the attribution value of the first feature vector and the second feature vector after the splicing; a calculation unit, Used to calculate the gap value of the training data based on the attribution degree value using a preset calculation formula; an updating unit, configured to update the feature extraction model by using a preset method and a preset number of times based on the gap value And parameter values in the relational model to obtain the meta-learning-based data screening model.
  • an embodiment of the present application also provides a meta-learning-based data screening device, which includes: a first obtaining unit, configured to obtain a category to be screened and input the category to be screened into the meta-learning-based data
  • the screening model extracts the feature vector of each category in the category to be screened as the first target feature vector;
  • the second acquisition unit is used to obtain the data to be screened and input the data to be screened into the meta-learning-based data screening model Extract the feature vector of each data to be screened in the data to be screened as the second target feature vector;
  • the splicing unit is used to combine the second target feature vector with the first feature vector of each category for each data to be screened.
  • the target feature vector is spliced to generate a third target feature vector corresponding to each data to be screened; the comparison and recognition unit is used to compare the attribution value of the third target feature vector of each data to be screened with the prediction value corresponding to each category.
  • an embodiment of the present application also provides a computer device, which includes a memory and a processor, and a computer program is stored on the memory.
  • the processor executes the computer program, the following steps are implemented: construct a meta-training task , Using a feature extraction model to extract the first feature vector and the second feature vector of each meta-training task, where each meta-training task includes a support set and a query set, and the first feature vector is each support
  • the feature vector of the training category included in the set, the second feature vector is the feature vector of the training data included in each query set
  • the relationship model is used to obtain the splicing of the first feature vector and the second feature vector
  • the subsequent attribution degree value based on the attribution degree value, the gap value of the training data is calculated using a preset calculation formula; based on the gap value, the feature extraction model and the feature extraction model are updated with a preset number of times using a preset method
  • the parameter values in the relationship model are used to obtain the meta-learning-based data screening model.
  • an embodiment of the present application also provides a computer device, which includes a memory and a processor, and a computer program is stored on the memory.
  • the processor executes the computer program, the following steps are implemented: Obtain the category to be screened And input the to-be-screened category into the above-mentioned meta-learning-based data screening model to extract the feature vector of each category in the to-be-screened category as the first target feature vector; obtain the to-be-screened data and input the to-be-screened data into the The data screening model based on meta-learning extracts the feature vector of each data to be screened in the data to be screened as a second target feature vector; for each data to be screened, the second target feature vector is combined with all categories of The first target feature vector is spliced to generate a third target feature vector corresponding to each data to be screened; the attribution value of the third target feature vector of each data to be screened is assigned to a preset attribution degree corresponding to each category The threshold value is compared to identify
  • the embodiments of the present application also provide a computer-readable storage medium, the storage medium stores a computer program, and the computer program, when executed by a processor, can implement the following steps: construct a meta-training task, and adopt features
  • the extraction model extracts the first feature vector and the second feature vector of each meta-training task, where each meta-training task includes a support set and a query set, and the first feature vector is included in each support set
  • the feature vector of the training category, the second feature vector is the feature vector of the training data included in each query set
  • the relationship model is used to obtain the attribution of the first feature vector and the second feature vector after splicing Degree value; based on the attribution degree value, using a preset calculation formula to calculate the gap value of the training data; based on the gap value, using a preset method to update the feature extraction model and the relationship for a preset number of times
  • the parameter values in the model are used to obtain the data screening model based on meta-learning.
  • the embodiments of the present application also provide a computer-readable storage medium, the storage medium stores a computer program, and when the computer program is executed by a processor, the following steps can be implemented:
  • the category to be screened is input into the above-mentioned meta-learning-based data screening model to extract the feature vector of each category in the category to be screened as the first target feature vector; the data to be screened is obtained and the data to be screened is input into the element-based
  • the learned data screening model extracts the feature vector of each to-be-screened data in the to-be-screened data as the second target feature vector; for each to-be-screened data, the second target feature vector is combined with the first of each category
  • the target feature vectors are spliced to generate a third target feature vector corresponding to each data to be screened; the attribution value of the third target feature vector of each data to be screened is compared with the preset attribution threshold corresponding to each category , Identifying the data whose attribution value of the third target feature vector is
  • the technical solution of the embodiment of the present application first constructs a data screening model based on meta-learning, and then screens the data to be screened based on the model.
  • the feature vector of each category to be screened is first obtained as the first target feature vector, and then Obtain the feature vector of each data to be screened as the second target feature vector, and splice the first target feature vector and the second target feature vector to generate a third target feature vector corresponding to each data to be screened, and finally
  • the attribution value of the third target feature vector of the data is compared with the preset attribution threshold corresponding to each category to identify the data with the attribution value of the third target feature vector greater than the preset attribution threshold and use the preset label to It is marked as the category corresponding to the third target feature vector, so the efficiency of data screening can be improved and the cost of data labeling can be saved.
  • FIG. 1 is a schematic flowchart of a method for constructing a data screening model based on meta-learning according to an embodiment of the application;
  • FIG. 2 is a schematic diagram of a sub-process of a method for constructing a data screening model based on meta-learning provided by an embodiment of the application;
  • FIG. 3 is a schematic flowchart of a data screening method based on meta-learning provided by an embodiment of this application;
  • FIG. 4 is a schematic flowchart of a data screening method based on meta-learning provided by another embodiment of this application.
  • FIG. 5 is a schematic block diagram of an apparatus for constructing a data screening model based on meta-learning provided by an embodiment of the application;
  • FIG. 6 is a schematic block diagram of an acquisition unit of a meta-learning-based data screening model construction device provided by an embodiment of the application;
  • Fig. 7 is a schematic block diagram of an update unit of a meta-learning-based data screening model construction device provided by an embodiment of the application;
  • FIG. 8 is a schematic block diagram of a data screening device based on meta-learning provided by an embodiment of this application.
  • FIG. 9 is a schematic block diagram of a data screening device based on meta-learning provided by another embodiment of the application.
  • FIG. 10 is a schematic block diagram of a computer device provided by an embodiment of this application.
  • the term “if” can be interpreted as “when” or “once” or “in response to determination” or “in response to detection” depending on the context .
  • the phrase “if determined” or “if detected [described condition or event]” can be interpreted as meaning “once determined” or “in response to determination” or “once detected [described condition or event]” depending on the context ]” or “in response to detection of [condition or event described]”.
  • FIG. 1 is a schematic flowchart of a method for constructing a data screening model based on meta-learning provided by an embodiment of the present application.
  • the method for constructing a data screening model based on meta-learning in the embodiments of the present application can be applied to a server.
  • the method for constructing a data screening model based on meta-learning can be implemented by a software program configured on the server.
  • the method for constructing a data screening model based on meta-learning will be described in detail below. As shown in Fig. 1, the method includes the following steps S100-S130.
  • each of the meta-training tasks includes a support set and a query set, and the first feature vector Is the feature vector of the training category included in each support set, and the second feature vector is the feature vector of the training data included in each query set.
  • the training data is picture data or text data.
  • the support set is composed of a small number of examples of randomly sampled categories. For example, N training categories are randomly sampled, and K training data is selected for each training category.
  • the training data is a picture or text, which is recorded as It constitutes the support set of the meta-training task.
  • the training process it is necessary to randomly sample Q pieces of image data or text data for these N training categories, and randomly sample Q pieces of image data or text data that do not belong to these N training categories, denoted as Together constitute the query set.
  • the image data or text data of the query set during the training process are all labeled, denoted as If Belongs to training category i, then Belongs to training category i; if Does not belong to any of the N training categories, then Is -1.
  • the feature extraction model is denoted as f
  • the feature vector of each training category i is F i , as shown in formula (1).
  • the feature vector f m is extracted, as shown in formula (2).
  • F i is the first feature vector and f m is the second feature vector.
  • the feature extraction model is used to extract the feature vector supporting the centralized training category as the first feature vector, and after the feature vector of the training data in the query set is used as the second feature vector, the relation model is used to obtain the first feature vector The attribute value after splicing with the second feature vector.
  • the relational model is a comparative network, which is composed of a fully connected network and a sigmoid function, and is represented by g.
  • a fully connected network is a single switch that connects all inputs and outputs, and has the characteristics of large throughput, high reliability, and low latency.
  • the step S110 includes the following steps S111-S112.
  • the first feature vector and the second feature vector are spliced to generate a third feature vector.
  • the first feature vector and the second feature vector are spliced using cat( ⁇ ), and then the relationship model g is used to obtain the attribution degree of the third feature vector.
  • the relationship model g is used to find the image data or text in the query set data And the attribution degree sim m,i of each training category i, as shown in formula (3).
  • a preset calculation formula may be used to calculate the gap value of the training data.
  • the gap value of the training data is the difference between the value of which category the training data predicts to belong to and the value of which category actually belongs to, and is represented by loss. In practical applications, the smaller the difference, the better the data screening model.
  • the calculation of the gap value is shown in formula (4).
  • the feature extraction model and the relationship model are updated with a preset method for a preset number of times.
  • the preset method is a gradient descent optimization method
  • the gradient descent method is a commonly used first-order optimization method, and it is one of the simplest and most classic methods for solving unconstrained optimization problems.
  • the parameter values in the feature extraction model and the relationship model are continuously updated until the preset number of times is reached, and then the data screening model based on meta-learning can be obtained.
  • FIG. 3 is a schematic flowchart of a data screening method based on meta-learning provided by an embodiment of the present application.
  • the data filtering method based on meta-learning in the embodiments of the present application can be applied to a server.
  • the data filtering method based on meta-learning can be implemented by a software program configured on the server, thereby improving the efficiency and saving of data filtering based on meta-learning. Data labeling costs.
  • the data screening method based on meta-learning will be described in detail below. As shown in Fig. 3, the method includes the following steps S200-S240.
  • data screening is performed based on the model.
  • the categories to be screened are first obtained, where the categories to be screened are categories that the screening model learns to recognize. And define a preset attribution threshold for each category to be screened. If the preset attribution threshold is set to be relatively low, the recall rate of the category to be screened is higher; on the contrary, if the preset attribution threshold is set to be higher, then The accuracy of the categories to be filtered is relatively high.
  • the meta-learning-based data screening model After obtaining the filtered categories, input the to-be-screened categories into the meta-learning-based data screening model to extract the feature vectors of each category in the to-be-screened categories as the first feature vector.
  • the type to be screened is input to the feature extraction model of the data screening model based on meta-learning to extract the feature vector of each category in the category to be screened. More specifically, the feature vector of each category in the to-be-screened category is extracted as the first target feature vector by formula (1) in the data screening model.
  • the data to be screened is obtained and the data to be screened is input into the data screening model based on meta-learning to
  • the feature vector of the data to be screened is extracted as the second target feature vector.
  • the feature vector of the data to be screened is extracted as the second feature vector by formula (2) in the data screening model based on meta-learning.
  • the first target feature vector obtained by formula (1) and the second target feature vector obtained by formula (2) in the data screening model based on meta-learning will be spliced using cat( ⁇ ) , To generate a third target feature vector corresponding to each data to be screened.
  • the meta-learning-based The formula (3) in the data screening model of the data filter obtains the attribute value of the third target feature vector of each data to be screened, and then calculates the attribute value of the third target feature vector of each data to be screened Compare with the preset attribution thresholds corresponding to each category, to identify the data whose attribution value of the third target feature vector is greater than the preset attribution threshold as target data, and then label the target The data is marked as the category corresponding to the third target feature vector, that is, the screening of the data to be screened is completed.
  • the preset label can be #, & and other symbols, as long as the target data can be marked.
  • FIG. 4 is a schematic flowchart of a data screening method based on meta-learning provided by another embodiment of the application.
  • the data screening method based on meta-learning in this embodiment includes step S300 -S350.
  • the steps S300-S340 are similar to the steps S200-S240 in the foregoing embodiment, and will not be repeated here.
  • the step S350 added in this embodiment will be described in detail below.
  • FIG. 5 is a schematic block diagram of an apparatus 200 for constructing a data screening model based on meta-learning provided by an embodiment of the present application.
  • the present application also provides a meta-learning-based data screening model construction device 200.
  • the meta-learning-based data filtering model construction device 200 includes a unit for executing the above-mentioned meta-learning-based data filtering model construction method, and the device may be configured in a server.
  • the meta-learning-based data screening model construction device 200 includes a structure extraction unit 201, an acquisition unit 202, a calculation unit 203 and an update unit 204.
  • the construction extraction unit 201 is used to construct meta-training tasks, using a feature extraction model to extract the first feature vector and the second feature vector of each meta-training task, wherein each of the meta-training tasks includes a support set and a query.
  • the first feature vector is the feature vector of the training category included in each support set
  • the second feature vector is the feature vector of the training data included in each query set
  • the acquiring unit 202 uses The relationship model is used to obtain the attribution value of the first feature vector and the second feature vector after the splicing
  • the calculation unit 203 is configured to calculate the training data by using a preset calculation formula based on the attribution value Gap value
  • the updating unit 204 is configured to update the parameter values in the feature extraction model and the relationship model for a preset number of times based on the gap value using a preset method to obtain the meta-learning-based data screening model.
  • the acquisition unit 202 includes a splicing unit 2021 and an acquisition subunit 2022.
  • the splicing unit 2021 is used to splice the first feature vector and the second feature vector to generate a third feature vector; the obtaining subunit 2022 is used to obtain the attribute value of the third feature vector by using a relational model .
  • the update unit 204 includes an update subunit 2041.
  • the update subunit 2041 is configured to use a gradient descent optimization method based on the gap value to update the parameter values in the preset feature extraction model and the relationship model for a preset number of times to obtain the meta-learning-based data screening model.
  • FIG. 8 is a schematic block diagram of a data screening device 300 based on meta-learning provided by an embodiment of the present application. As shown in FIG. 8, corresponding to the above data screening method based on meta-learning, the present application also provides a data screening device 300 based on meta-learning.
  • the meta-learning-based data filtering device 300 includes a unit for executing the above-mentioned meta-learning-based data filtering method, and the device may be configured in a server. Specifically, referring to FIG. 8, the meta-learning-based data screening device 300 includes a first acquisition unit 301, a second acquisition unit 302, a splicing unit 303, a comparison recognition unit 304 and a marking unit 305.
  • the first obtaining unit 301 is configured to obtain a category to be screened and input the category to be screened into the meta-learning-based data screening model to extract the feature vector of each category in the category to be screened as the first target feature vector;
  • the second obtaining unit 302 is configured to obtain the data to be screened and input the data to be screened into the data screening model based on meta-learning to extract the feature vector of each data to be screened in the data to be screened as a second target feature vector
  • the splicing unit 303 is used to splice the second target feature vector with the first target feature vector of each category for each data to be screened to generate a third target feature vector corresponding to each data to be screened; compare
  • the identification unit 304 is configured to compare the attribution value of the third target feature vector of each data to be screened with the preset attribution threshold value corresponding to each category to identify the attribution value of the third target feature vector Data greater than the preset attribution degree threshold is used as target data;
  • FIG. 9 is a schematic block diagram of a data screening device 300 based on meta-learning provided by another embodiment of the present application. As shown in FIG. 9, the data screening device 300 of this embodiment adds a rejection unit 306 on the basis of the foregoing embodiment.
  • the removing unit 306 is used to remove all the data to be screened that is not marked by the preset label.
  • the above-mentioned meta-learning-based data screening model construction and data screening device can be implemented in the form of a computer program, and the computer program can be run on a computer device as shown in FIG. 10.
  • FIG. 10 is a schematic block diagram of a computer device according to an embodiment of the present application.
  • the computer device 300 is a server.
  • the server may be an independent server or a server cluster composed of multiple servers.
  • the computer device 300 includes a processor 302, a memory, and a network interface 305 connected through a system bus 301, where the memory may include a non-volatile storage medium 503 and an internal memory 304.
  • the non-volatile storage medium 303 can store an operating system 3031 and a computer program 3032.
  • the processor 302 can execute a method for constructing a data screening model based on meta-learning.
  • the processor 302 is used to provide calculation and control capabilities to support the operation of the entire computer device 300.
  • the internal memory 304 provides an environment for the operation of the computer program 3032 in the non-volatile storage medium 303.
  • the processor 302 can execute a method for constructing a data screening model based on meta-learning. .
  • the network interface 305 is used for network communication with other devices.
  • the structure shown in FIG. 10 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device 300 to which the solution of the present application is applied.
  • the specific computer device 300 may include more or fewer components than shown in the figure, or combine certain components, or have a different component arrangement.
  • the processor 302 is configured to run a computer program 3032 stored in a memory to implement the following steps: construct a meta-training task, and use a feature extraction model to extract the first feature vector and the second feature vector of each meta-training task,
  • each of the meta-training tasks includes a support set and a query set
  • the first feature vector is a feature vector of the training category included in each support set
  • the second feature vector is each of the query
  • the relationship model is used to obtain the attribution value after the splicing of the first feature vector and the second feature vector
  • the preset calculation formula is used to calculate the The gap value of the training data; based on the gap value, using a preset method to update the parameter values in the feature extraction model and the relationship model for a preset number of times to obtain the meta-learning-based data screening model.
  • the processor 302 when the processor 302 implements the step of using the relationship model to obtain the attribution value after the splicing of the first feature vector and the second feature vector, the processor 302 specifically implements the following steps: The first feature vector and the second feature vector are spliced together to generate a third feature vector; a relation model is used to obtain the attribution value of the third feature vector.
  • the processor 302 uses a preset method to update the parameter values in the feature extraction model and the relationship model for a preset number of times based on the difference value to obtain
  • the step of data screening model based on meta-learning the following steps are specifically implemented: based on the gap value, the gradient descent optimization method is used to update the preset feature extraction model and the parameter values in the relationship model for a preset number of times. Obtain the data screening model based on meta-learning.
  • the processor 302 is configured to run a computer program 3032 stored in the memory to implement the following steps: obtain the categories to be screened and input the categories to be screened into the meta-learning-based data screening model to extract the The feature vector of each category in the screening category is used as the first target feature vector; the data to be screened is obtained and the data to be screened is input into the data screening model based on meta-learning to extract the feature of each data to be screened in the data to be screened A vector is used as the second target feature vector; for each data to be screened, the second target feature vector is spliced with the first target feature vector of each category to generate a third target feature vector corresponding to each data to be screened Comparing the attribution value of the third target feature vector of each data to be screened with the preset attribution threshold value corresponding to each category to identify that the attribution value of the third target feature vector is greater than the preset Set the data of the belonging degree threshold as the target data; use a preset label to mark the target data as the category
  • the specific implementation further includes the following steps : Eliminate all the data to be filtered that are not marked by the preset label.
  • the processor 302 may be a central processing unit (Central Processing Unit, CPU), and the processor 302 may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • the computer program may be stored in a storage medium, and the storage medium is a computer-readable storage medium.
  • the computer program is executed by at least one processor in the computer system to implement the process steps of the foregoing method embodiment.
  • the storage medium may be a computer-readable storage medium, and the computer-readable storage medium may be nonvolatile or volatile.
  • the storage medium stores a computer program.
  • the processor executes the following steps: construct a meta-training task, and use a feature extraction model to extract the first feature vector and the second feature vector of each meta-training task, wherein each of the meta-training tasks It includes a support set and a query set, the first feature vector is a feature vector of the training category included in each support set, and the second feature vector is a feature vector of the training data included in each query set
  • Use a relational model to obtain the attribution value after the splicing of the first feature vector and the second feature vector; based on the attribution value, use a preset calculation formula to calculate the gap value of the training data;
  • the gap value uses a preset method to update the parameter values in the feature extraction model and the relationship model for a preset number of times to obtain the meta-learning-based data screening model
  • the processor executes the computer program to implement the step of using the relation model to obtain the attribution value after the first feature vector and the second feature vector are spliced
  • the following steps are specifically implemented: splicing the first feature vector and the second feature vector to generate a third feature vector; using a relationship model to obtain the attribution value of the third feature vector.
  • the processor is executing the computer program to realize the update of the feature extraction model and the relationship based on the gap value by using a preset method for a preset number of times
  • the following steps are specifically implemented: Based on the gap value, the gradient descent optimization method is used to update the preset feature extraction model and the preset number of times.
  • the parameter values in the relational model are used to obtain the meta-learning-based data screening model.
  • the processor executes the following steps: obtain the category to be filtered and input the category to be filtered into the meta-learning-based data screening model to extract the feature vector of each category in the category to be filtered As a first target feature vector; acquiring data to be screened and inputting the data to be screened into the meta-learning-based data screening model to extract a feature vector of each data to be screened in the data to be screened as a second target feature vector; For each data to be screened, the second target feature vector and the first target feature vector of each category are spliced to generate a third target feature vector corresponding to each data to be screened; The attribution value of the third target feature vector is compared with a preset attribution threshold value corresponding to each category, to identify data whose attribution value of the third target feature vector is greater than the preset attribution threshold as a target Data; using a preset label to mark the target data as a category corresponding to the third target feature vector.
  • the processor executes the computer program to implement the step of using a preset label to mark the target data as the category corresponding to the third target feature vector
  • the specific implementation also includes the following step: removing all the data to be screened that is not marked by the preset label.
  • the storage medium may be a U disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk, or an optical disk, and other computer-readable storage media that can store program codes.
  • ROM Read-Only Memory
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of each unit is only a logical function division, and there may be other division methods in actual implementation.
  • multiple units or components can be combined or integrated into another system, or some features can be omitted or not implemented.
  • the steps in the method in the embodiment of the present application can be adjusted, merged, and deleted in order according to actual needs.
  • the units in the devices in the embodiments of the present application may be combined, divided, and deleted according to actual needs.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a storage medium.
  • the technical solution of this application is essentially or the part that contributes to the existing technology, or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium. It includes several instructions to make a computer device (which may be a personal computer, a terminal, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

一种基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质，该方法包括：构建基于元学习的数据筛选模型，基于该模型提取待筛选类别中各类别的特征向量及待筛选数据中各待筛选数据的特征向量分别作为第一目标特征向量和第二目标特征向量；将第二目标特征向量与第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；将每个待筛选数据的第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以采用预设标签将目标数据标记为第三目标特征向量对应的类别。

Description

基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质
本申请要求于2020年07月30日提交中国专利局、申请号为202010752915.3，发明名称为“基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能中的机器学习技术领域，尤其涉及一种基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质。
背景技术
为了更好地使用深度神经网络训练模型，往往需要大量的训练样本，而训练样本的不足往往会导致模型的过拟合，影响模型的性能。在实际应用中，发明人发现训练样本的不足经常体现在少量的类别中，为了扩充这些样本量过少的类别，需要对大量的无标签数据进行标注，而数据标注是一件极其耗费人力与资金的事情，且在待标注的数据中，绝大多数的数据是样本量过多的类别的数据，这些数据是我们不需要的，只有那些样本量过少的类别的数据，是我们需要标注的目标数据，因此数据筛选的效率极低，过低的数据筛选导致了人力和资金的浪费。
发明内容
本申请实施例提供了一种基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质，旨在解决现有数据筛选效率比较低的问题。
第一方面，本申请实施例提供了一种基于元学习的数据筛选模型构建方法，其包括：构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
第二方面，本申请实施例提供了一种基于元学习的数据筛选方法，其包括：获取待筛选类别并将所述待筛选类别输入所述基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；采用预设标签将所述目标数据 标记为所述第三目标特征向量对应的类别。
第三方面，本申请实施例还提供了一种基于元学习的数据筛选模型构建装置，其包括：构造提取单元，用于构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；获取单元，用于采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；计算单元，用于基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；更新单元，用于基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
第四方面，本申请实施例还提供了一种基于元学习的数据筛选装置，其包括：第一获取单元，用于获取待筛选类别并将所述待筛选类别输入所述基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；第二获取单元，用于获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；拼接单元，用于对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；比较识别单元，用于将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；标记单元，用于采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
第五方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
第六方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：获取待筛选类别并将所述待筛选类别输入上述的基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向 量的归属度值大于所述预设归属度阈值的数据作为目标数据；采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
第七方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如下步骤：构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
第八方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如下步骤：获取待筛选类别并将所述待筛选类别输入上述的基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
本申请实施例的技术方案，先构建了基于元学习的数据筛选模型，再基于该模型对待筛选数据进行筛选，筛选过程中先获取各待筛选类别的特征向量作为第一目标特征向量，然后再获取各待筛选数据的特征向量作为第二目标特征向量，并将第一目标特征向量和第二目标特征向量进行拼接生成与各待筛选数据对应的第三目标特征向量，最后将每个待筛选数据的第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出第三目标特征向量的归属度值大于预设归属度阈值的数据并采用预设标签将其标记为第三目标特征向量对应的类别，因此可提高数据筛选的效率及节约数据标注成本。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种基于元学习的数据筛选模型构建方法的流程示意图；
图2为本申请实施例提供的一种基于元学习的数据筛选模型构建方法的子流程示意图；
图3为本申请一实施例提供的一种基于元学习的数据筛选方法的流程示意图；
图4为本申请另一实施例提供的一种基于元学习的数据筛选方法的流程示意图；
图5为本申请实施例提供的一种基于元学习的数据筛选模型构建装置的示意性框图；
图6为本申请实施例提供的基于元学习的数据筛选模型构建装置的获取单元的示意性框图；
图7为本申请实施例提供的基于元学习的数据筛选模型构建装置的更新单元的示意性框图；
图8为本申请一实施例提供的一种基于元学习的数据筛选装置的示意性框图；
图9为本申请另一实施例提供的一种基于元学习的数据筛选装置的示意性框图；以及
图10为本申请实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本申请实施例提供的一种基于元学习的数据筛选模型构建方法的流程示意图。本申请实施例的基于元学习的数据筛选模型构建方法可应用于服务器中，例如可通过配置于服务器上的软件程序来实现该基于元学习的数据筛选模型构建方法。下面对所述基于元学习的数据筛选模型构建方法进行详细说明。如图1所示，该方法包括以下步骤S100-S130。
S100、构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量。
在本申请实施例中，构建基于元学习的数据筛选模型，首先要构造元训练任务，并采用特征提取模型提取支持集中训练类别的特征向量作为第一特征向量，查询集中训练数据的特征向量作为第二特征向量。其中，训练数据为图片数据或文本数据。在实际应用场景中，支 持集是由随机采样的类别的少量样例构成，例如，随机采样N个训练类别，每个训练类别选取K个训练数据，其中训练数据为图片或者文本，记为
Figure PCTCN2020122637-appb-000001
构成该元训练任务的支持集。在训练过程中，需要依次为这N个训练类别随机采样Q个图片数据或者文本数据，以及随机采样Q个不属于这N个训练类别的图片数据或者文本数据，记为
Figure PCTCN2020122637-appb-000002
Figure PCTCN2020122637-appb-000003
一起构成查询集。从上可以看出，在训练过程中查询集的图片数据或者文本数据都是带标签的，记为
Figure PCTCN2020122637-appb-000004
若
Figure PCTCN2020122637-appb-000005
属于训练类别i，则
Figure PCTCN2020122637-appb-000006
属于训练类别i；若
Figure PCTCN2020122637-appb-000007
不属于N个训练类别的任何一个，则
Figure PCTCN2020122637-appb-000008
为-1。对支持集中的每一个训练类别获取其特征向量，若训练数据为图片数据，则采用CNN网络；若训练数据为文本数据，则采用BERT、RNN等网络。假设特征提取模型记为f，则每个训练类别i的特征向量为F i，如公式(1)所示。
Figure PCTCN2020122637-appb-000009
对于查询集中图片数据或者文本数据
Figure PCTCN2020122637-appb-000010
提取特征向量f m，如公式(2)所示。
Figure PCTCN2020122637-appb-000011
由上所述可知，F i为第一特征向量，f m为第二特征向量。
S110、采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值。
在本申请实施例中，采用特征提取模型提取支持集中训练类别的特征向量作为第一特征向量，查询集中训练数据的特征向量作为第二特征向量之后，会采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值。其中，关系模型为比较网络，由全连接网络和sigmoid函数构成，且用g表示。其中，全连接网络是把所有的输入与输出连接起来的单个交换机，具有吞吐量大、可靠性高、低延时的特点。
请参阅图2，在一实施例中，例如在本实施例中，所述步骤S110包括如下步骤S111-S112。
S111、将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量；
S112、采用关系模型获取所述第三特征向量的归属度值。
在本申请实施例中，将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量。具体为，使用cat(·)将第一特征向量和第二特征向量进行拼接，然后采用关系模型g获取所述第三特征向量的归属度，具体是使用关系模型g求查询集中图片数据或者文本数据
Figure PCTCN2020122637-appb-000012
和每一个训练类别i的归属度sim m,i，如公式(3)所示。
sim m,i＝g(cat(f m,F i))          (3)
S120、基于所述归属度值，采用预设计算公式可计算得出所述训练数据的差距值。
在本申请实施例中，采用关系模型获取所述第三特征向量的归属度值之后，基于所述归属度值，采用预设计算公式可计算得出所述训练数据的差距值。其中，所述训练数据的差距值为训练数据预测属于哪一个类别的值与实际属于哪一个类别的值之间的差值，用loss表示。在实际应用中，差值越小，数据筛选模型越好。差距值的计算如公式(4)所示。
Figure PCTCN2020122637-appb-000013
S130、基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
在本申请实施例中，采用预设计算公式计算得出所述训练数据的差距值之后，基于所述 差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。其中，预设方法为梯度下降优化方法，梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法，是求解无约束优化问题最简单、最经典的方法之一。通过此方法不断更新特征提取模型和关系模型中的参数值直至达到预设次数，然后可获得所述基于元学习的数据筛选模型。
请参阅图3，图3是本申请实施例提供的一种基于元学习的数据筛选方法的流程示意图。本申请实施例的基于元学习的数据筛选方法可应用于服务器中，例如可通过配置于服务器上的软件程序来实现该基于元学习的数据筛选方法，从而提高基于元学习的数据筛选效率及节约数据标注成本。下面对所述基于元学习的数据筛选方法进行详细说明。如图3所示，该方法包括以下步骤S200-S240。
S200、获取待筛选类别并将所述待筛选类别输入所述基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量。
在本申请实施例中，当基于元学习的数据筛选模型构建好之后，会基于该模型进行数据筛选，具体为，首先获取待筛选类别，其中，待筛选类别为让筛选模型学习识别的类别。并且为每个待筛选类别定义一个预设归属度阈值，若预设归属度阈值设置的比较低，则待筛选类别的召回率较高；反之，若预设归属度阈值设置的比较高，则待筛选类别的精确度比较高。其中，召回率为实际筛选出图片数据或者文本数据的数量与待筛选的图片数据或者文本数据的总量的比值；精确度为人工对筛选模型筛选出的图片数据或者文本数据的进行标注后的数量与数据筛选模型筛选出的图片数据或者文本数据的数量的比值。例如，假设有100个图片数据，3个筛选类别，经数据筛选模型筛选之后筛选出的属于这3个筛选类别的图片数据为20，而人工对这20个图片数据进行标注，最后标注数量为15，则召回率＝15/100；精确度＝15/20。获取筛选的类别之后将待筛选类别输入至基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一特征向量。具体为，将待筛选类型输入至基于元学习的数据筛选模型的特征提取模型以提取所述待筛选类别中各类别的特征向量。更为具体地是通过数据筛选模型中的公式(1)提取所述待筛选类别中各类别的特征向量作为第一目标特征向量。
S210、获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量。
在本申请实施例中，提取所述待筛选类别中各类别的特征向量作为第一目标特征向量之后，会获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据的特征向量作为第二目标特征向量。具体为，通过基于元学习的数据筛选模型中的公式(2)提取所述待筛选数据的特征向量作为第二特征向量。
S220、对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量。
在本申请实施例中，基于元学习的数据筛选模型中公式(1)求出的第一目标特征向量和公式(2)求出第二目标特征向量之后，会使用cat(·)将进行拼接，以生成与各待筛选数据对应的第三目标特征向量。
S230、将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据。
S240、采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
在本申请实施例中，在本申请实施例中，使用cat(·)将第一特征向量和第二特征向量拼接生成与各待筛选数据对应的第三目标特征向量之后，会使用基于元学习的数据筛选模型中的公式(3)求出每个待筛选数据的所述第三目标特征向量的归属度值，然后再将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据，然后会采用设标签将所述目标数据标记为所述第三目标特征向量对应的类别，即完成了待筛选数据的筛选。其中，预设标签可为#、&等符号，只需能将目标数据进行标记即可。
图4为本申请另一实施例提供的一种基于元学习的数据筛选方法的流程示意图，如图4所示，在本实施例中，本实施例的基于元学习的数据筛选方法包括步骤S300-S350。其中步骤S300-S340与上述实施例中的步骤S200-S240类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S350。
S350、剔除所有未被所述预设标签标记的所述待筛选数据。
在本申请实施例中，若数据筛选结束，待筛选数据都未被预设标签标记，表明该待筛选数据不属于任一待筛选类别，则剔除所有未被预设标签标记的所述待筛选数据。
图5是本申请实施例提供的一种基于元学习的数据筛选模型构建装置200的示意性框图。如图5所示，对应于以上基于元学习的数据筛选模型构建方法，本申请还提供一种基于元学习的数据筛选模型构建装置200。该基于元学习的数据筛选模型构建装置200包括用于执行上述基于元学习的数据筛选模型构建方法的单元，该装置可以被配置于服务器中。具体地，请参阅图5，该基于元学习的数据筛选模型构建装置200包括构造提取单元201、获取单元202、计算单元203以及更新单元204。
其中，构造提取单元201用于用于构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；获取单元202用于采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；计算单元203用于基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；更新单元204用于基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
在某些实施例，例如本实施例中，如图6所示，所述获取单元202包括拼接单元2021及获取子单元2022。
其中，拼接单元2021用于将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量；获取子单元2022用于采用关系模型获取所述第三特征向量的归属度值。
在某些实施例，例如本实施例中，如图7所示，所述更新单元204包括更新子单元2041。
其中，更新子单元2041用于基于所述差距值，采用梯度下降优化方法经过预设次数更新所述预设特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
图8是本申请实施例提供的一种基于元学习的数据筛选装置300的示意性框图。如图8所示，对应于以上基于元学习的数据筛选方法，本申请还提供一种基于元学习的数据筛选装置300。该基于元学习的数据筛选装置300包括用于执行上述基于元学习的数据筛选方法的单元，该装置可以被配置于服务器中。具体地，请参阅图8，该基于元学习的数据筛选装置300包括第一获取单元301、第二获取单元302、拼接单元303、比较识别单元304以及标记单元305。
其中，第一获取单元301用于获取待筛选类别并将所述待筛选类别输入所述基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；第二获取单元302，用于获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；拼接单元303用于对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；比较识别单元304用于将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；标记单元305用于采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
图9是本申请另一实施例提供的基于元学习的数据筛选装置300的示意性框图。如图9所示，本实施例的数据筛选装置300是在上述实施例的基础上增加了剔除单元306。
其中，剔除单元306用于剔除所有未被所述预设标签标记的所述待筛选数据。
上述基于元学习的数据筛选模型构建和数据筛选装置可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为服务器，具体地，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括非易失性存储介质503和内存储器304。
该非易失性存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于元学习的数据筛选模型构建方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于元学习的数据筛选模型构建方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出 的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
在某些实施例，例如本实施例中，处理器302在实现所述采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值步骤时，具体实现如下步骤：将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量；采用关系模型获取所述第三特征向量的归属度值。
在某些实施例，例如本实施例中，处理器302在实现所述基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型步骤时，具体实现如下步骤：基于所述差距值，采用梯度下降优化方法经过预设次数更新所述预设特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：获取待筛选类别并将所述待筛选类别输入所述基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
在某些实施例，例如本实施例中，处理器302在实现所述采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别的步骤之后，具体实现还包括如下步骤：剔除所有未被所述预设标签标记的所述待筛选数据。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(Central Processing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑 器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行如下步骤：构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值步骤时，具体实现如下步骤：将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量；采用关系模型获取所述第三特征向量的归属度值。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型步骤时，具体实现如下步骤：基于所述差距值，采用梯度下降优化方法经过预设次数更新所述预设特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
该计算机程序被处理器执行时使处理器执行如下步骤：获取待筛选类别并将所述待筛选类别输入所述的基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别的步骤之后，具体实现还包括如下步骤：剔除所有未被所述预设标签标记的所述待筛选数据。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，尚且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种基于元学习的数据筛选模型构建方法，包括：
    构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；
    采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；
    基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；
    基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
  2. 根据权利要求1所述的方法，其中，所述采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值，包括：
    将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量；
    采用关系模型获取所述第三特征向量的归属度值。
  3. 根据权利要求2所述的方法，其中，所述基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型，包括：
    基于所述差距值，采用梯度下降优化方法经过预设次数更新所述预设特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
  4. 根据权利要求1所述的方法，其中，所述训练数据为图片数据或文本数据。
  5. 一种基于元学习的数据筛选方法，包括：
    获取待筛选类别并将所述待筛选类别输入如权利要求1-4任一项所述的基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；
    获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；
    对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；
    将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；
    采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
  6. 根据权利要求5所述的方法，其中，所述采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别之后，还包括：
    剔除所有未被所述预设标签标记的所述待筛选数据。
  7. 一种基于元学习的数据筛选模型构建装置，包括：
    构造提取单元，用于构造元训练任务，采用特征提取模型提取每个元训练任务的第一特 征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；
    获取单元，用于采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；
    计算单元，用于基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；
    更新单元，用于基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
  8. 一种基于元学习的数据筛选装置，包括：
    第一获取单元，用于获取待筛选类别并将所述待筛选类别输入如权利要求1-4任一项所述的基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；
    第二获取单元，用于获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；
    拼接单元，用于对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；
    比较识别单元，用于将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；
    标记单元，用于采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
  9. 一种计算机设备，其中，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
    构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；
    采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；
    基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；
    基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
  10. 根据权利要求9所述的计算机设备，其中，所述采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值，包括：
    将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量；
    采用关系模型获取所述第三特征向量的归属度值。
  11. 根据权利要求10所述的计算机设备，其中，所述基于所述差距值，采用预设方法经 过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型，包括：
    基于所述差距值，采用梯度下降优化方法经过预设次数更新所述预设特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
  12. 根据权利要求9所述的计算机设备，其中，所述训练数据为图片数据或文本数据。
  13. 一种计算机设备，其中，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
    获取待筛选类别并将所述待筛选类别输入如权利要求1-4任一项所述的基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；
    获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；
    对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；
    将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；
    采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
  14. 根据权利要求13所述的计算机设备，其中，所述采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别之后，还包括：
    剔除所有未被所述预设标签标记的所述待筛选数据。
  15. 一种计算机可读存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如下步骤：
    构造元训练任务，采用特征提取模型提取每个元训练任务的第一特征向量和第二特征向量，其中，每个所述元训练任务包括支持集和查询集，所述第一特征向量为每个所述支持集所包括的训练类别的特征向量，所述第二特征向量为每个所述查询集所包括的训练数据的特征向量；
    采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值；
    基于所述归属度值，采用预设计算公式计算得出所述训练数据的差距值；
    基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述采用关系模型获取所述第一特征向量和所述第二特征向量拼接之后的归属度值，包括：
    将所述第一特征向量及所述第二特征向量进行拼接以生成第三特征向量；
    采用关系模型获取所述第三特征向量的归属度值。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述基于所述差距值，采用预设方法经过预设次数更新所述特征提取模型及所述关系模型中的参数值以获得所述基于元学 习的数据筛选模型，包括：
    基于所述差距值，采用梯度下降优化方法经过预设次数更新所述预设特征提取模型及所述关系模型中的参数值以获得所述基于元学习的数据筛选模型。
  18. 根据权利要求15所述的计算机可读存储介质，其中，所述训练数据为图片数据或文本数据。
  19. 一种计算机可读存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如下步骤：
    获取待筛选类别并将所述待筛选类别输入如权利要求1-4任一项所述的基于元学习的数据筛选模型以提取所述待筛选类别中各类别的特征向量作为第一目标特征向量；
    获取待筛选数据并将所述待筛选数据输入所述基于元学习的数据筛选模型以提取所述待筛选数据中各待筛选数据的特征向量作为第二目标特征向量；
    对于每个待筛选数据，将所述第二目标特征向量与各类别的所述第一目标特征向量进行拼接以生成与各待筛选数据对应的第三目标特征向量；
    将每个待筛选数据的所述第三目标特征向量的归属度值与各类别对应的预设归属度阈值进行比较，以识别出所述第三目标特征向量的归属度值大于所述预设归属度阈值的数据作为目标数据；
    采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述采用预设标签将所述目标数据标记为所述第三目标特征向量对应的类别之后，还包括：
    剔除所有未被所述预设标签标记的所述待筛选数据。
PCT/CN2020/122637 2020-07-30 2020-10-22 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质 WO2021139313A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010752915.3 2020-07-30
CN202010752915.3A CN111898739B (zh) 2020-07-30 2020-07-30 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021139313A1 true WO2021139313A1 (zh) 2021-07-15

Family

ID=73182706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/122637 WO2021139313A1 (zh) 2020-07-30 2020-10-22 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN111898739B (zh)
WO (1) WO2021139313A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806536A (zh) * 2021-09-14 2021-12-17 广州华多网络科技有限公司 文本分类方法及其装置、设备、介质、产品
CN114969293A (zh) * 2022-05-31 2022-08-30 支付宝(杭州)信息技术有限公司 数据处理方法、装置及设备
CN115082955A (zh) * 2022-05-12 2022-09-20 华南理工大学 一种深度学习全局优化方法、识别方法、装置及介质
CN117876910A (zh) * 2024-03-06 2024-04-12 西北工业大学 基于主动学习的无人机目标检测关键数据筛选方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977602B2 (en) * 2020-11-10 2024-05-07 Nec Corporation Domain generalized margin via meta-learning for deep face recognition
CN112786030B (zh) * 2020-12-30 2022-04-29 中山大学 一种基于元学习的对抗采样训练方法及装置
CN113377990B (zh) * 2021-06-09 2022-06-14 电子科技大学 基于元自步学习的视频/图片-文本跨模态匹配训练方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078359A1 (en) * 2014-09-12 2016-03-17 Xerox Corporation System for domain adaptation with a domain-specific class means classifier
US20190188212A1 (en) * 2016-07-27 2019-06-20 Anomalee Inc. Prioritized detection and classification of clusters of anomalous samples on high-dimensional continuous and mixed discrete/continuous feature spaces
CN110211121A (zh) * 2019-06-10 2019-09-06 北京百度网讯科技有限公司 用于推送模型的方法和装置
CN110232403A (zh) * 2019-05-15 2019-09-13 腾讯科技（深圳）有限公司 一种标签预测方法、装置、电子设备及介质
CN110766080A (zh) * 2019-10-24 2020-02-07 腾讯科技（深圳）有限公司 一种标注样本确定方法、装置、设备及存储介质
CN111090768A (zh) * 2019-12-17 2020-05-01 杭州深绘智能科技有限公司 一种基于深度卷积神经网络的相似图像检索系统和方法
CN111160469A (zh) * 2019-12-30 2020-05-15 湖南大学 一种目标检测系统的主动学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3533004B1 (en) * 2016-10-26 2020-07-29 Swiss Reinsurance Company Ltd. Data extraction engine for structured, semi-structured and unstructured data with automated labeling and classification of data patterns or data elements therein, and corresponding method thereof
CN109961089B (zh) * 2019-02-26 2023-04-07 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078359A1 (en) * 2014-09-12 2016-03-17 Xerox Corporation System for domain adaptation with a domain-specific class means classifier
US20190188212A1 (en) * 2016-07-27 2019-06-20 Anomalee Inc. Prioritized detection and classification of clusters of anomalous samples on high-dimensional continuous and mixed discrete/continuous feature spaces
CN110232403A (zh) * 2019-05-15 2019-09-13 腾讯科技（深圳）有限公司 一种标签预测方法、装置、电子设备及介质
CN110211121A (zh) * 2019-06-10 2019-09-06 北京百度网讯科技有限公司 用于推送模型的方法和装置
CN110766080A (zh) * 2019-10-24 2020-02-07 腾讯科技（深圳）有限公司 一种标注样本确定方法、装置、设备及存储介质
CN111090768A (zh) * 2019-12-17 2020-05-01 杭州深绘智能科技有限公司 一种基于深度卷积神经网络的相似图像检索系统和方法
CN111160469A (zh) * 2019-12-30 2020-05-15 湖南大学 一种目标检测系统的主动学习方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806536A (zh) * 2021-09-14 2021-12-17 广州华多网络科技有限公司 文本分类方法及其装置、设备、介质、产品
CN113806536B (zh) * 2021-09-14 2024-04-16 广州华多网络科技有限公司 文本分类方法及其装置、设备、介质、产品
CN115082955A (zh) * 2022-05-12 2022-09-20 华南理工大学 一种深度学习全局优化方法、识别方法、装置及介质
CN115082955B (zh) * 2022-05-12 2024-04-16 华南理工大学 一种深度学习全局优化方法、识别方法、装置及介质
CN114969293A (zh) * 2022-05-31 2022-08-30 支付宝(杭州)信息技术有限公司 数据处理方法、装置及设备
CN117876910A (zh) * 2024-03-06 2024-04-12 西北工业大学 基于主动学习的无人机目标检测关键数据筛选方法

Also Published As

Publication number Publication date
CN111898739A (zh) 2020-11-06
CN111898739B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
WO2021139313A1 (zh) 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质
WO2019153551A1 (zh) 文章分类方法、装置、计算机设备及存储介质
TWI729472B (zh) 特徵詞的確定方法、裝置和伺服器
CN107844560B (zh) 一种数据接入的方法、装置、计算机设备和可读存储介质
WO2021169301A1 (zh) 一种选取样本图像的方法、装置、存储介质和服务器
WO2021089013A1 (zh) 空间图卷积网络的训练方法、电子设备及存储介质
CN112561080B (zh) 样本筛选方法、样本筛选装置及终端设备
WO2020186887A1 (zh) 一种连续小样本图像的目标检测方法、装置及设备
CN109740689B (zh) 一种图像语义分割的错误标注数据筛选方法及系统
CN112862093A (zh) 一种图神经网络训练方法及装置
WO2017091985A1 (zh) 停用词识别方法与装置
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
EP3084704A1 (en) Long string pattern matching of aggregated account data
CN113283368B (zh) 一种模型训练方法、人脸属性分析方法、装置及介质
WO2019223104A1 (zh) 确定事件影响因素的方法、装置、终端设备及可读存储介质
WO2020164336A1 (zh) 通过强化学习提取主干词的方法及装置
WO2021079442A1 (ja) 推定プログラム、推定方法、情報処理装置、再学習プログラムおよび再学習方法
WO2023116561A1 (zh) 一种实体提取方法、装置、电子设备及存储介质
WO2020168754A1 (zh) 基于预测模型的绩效预测方法、装置及存储介质
WO2023241385A1 (zh) 一种模型迁移方法、装置及电子设备
CN109299263A (zh) 文本分类方法、电子设备及计算机程序产品
CN116032741A (zh) 一种设备识别方法、装置、电子设备和计算机存储介质
CN108364026A (zh) 一种簇心更新方法、装置及K-means聚类分析方法、装置
WO2023173543A1 (zh) 数据分类模型的训练方法、分类方法、装置、设备和介质
CN113590774B (zh) 事件查询方法、装置以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911763

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911763

Country of ref document: EP

Kind code of ref document: A1