WO2020073714A1 - 训练样本获取方法，账户预测方法及对应装置 - Google Patents

训练样本获取方法，账户预测方法及对应装置 Download PDF

Info

Publication number
WO2020073714A1
WO2020073714A1 PCT/CN2019/097090 CN2019097090W WO2020073714A1 WO 2020073714 A1 WO2020073714 A1 WO 2020073714A1 CN 2019097090 W CN2019097090 W CN 2019097090W WO 2020073714 A1 WO2020073714 A1 WO 2020073714A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
sub
account
features
scores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/097090
Other languages
English (en)
French (fr)
Inventor
张雅淋
周俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of WO2020073714A1 publication Critical patent/WO2020073714A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • One or more embodiments of this specification relate to the field of machine learning, and in particular, to a method and apparatus for using machine learning models for illegal account prediction, and obtaining training samples for the machine learning models.
  • One or more embodiments of this specification describe a training sample acquisition method, account prediction method, and corresponding device, so that based on fewer manual labeled samples, the training sample set is expanded through a sub-model collaborative training method to obtain a reliable prediction model, Used to predict abnormal accounts.
  • a method for obtaining training samples including:
  • the annotated sample set includes M annotated samples, each annotated sample includes a sample feature associated with the account information, and whether the account is an abnormal account sample label, wherein the sample features follow a predetermined grouping rule Is divided into n groups of features, where n is a natural number greater than 2;
  • each sub-labeled sample includes the i-th feature of the n sets of features as sub-sample features, and the sample label as its sub-sample label;
  • N sub-models are trained by using the n sub-labeled sample sets respectively, and the i-th sub-model is used to predict the probability that the corresponding account is an abnormal account based on the i-th group of features;
  • each unlabeled sample includes n groups of features divided according to the predetermined grouping rule, and the plurality of unlabeled samples includes a first sample;
  • (N-1) groups of features in the first group of samples other than the i-th group of features are respectively input into the (n-1) sub-models other than the i-th sub-model among the n sub-models , Respectively obtaining (n-1) scores of the (n-1) sub-models on the first sample, the scores representing the probability that the account corresponding to the first sample is an abnormal account;
  • the n sets of features include multiple of the following feature groups: basic attribute features of the user corresponding to the account; historical behavior features of the user; features of the user's association relationship; and features of the user's interaction.
  • the above-mentioned first comprehensive score is obtained in the following manner:
  • the (n-1) scores are averaged, and the average value is used as the first comprehensive score.
  • the first comprehensive score when the first comprehensive score is higher than the first threshold, an abnormal account label is added to the i-th group of features of the first sample; when the first comprehensive score is lower than In the case of a second threshold, a normal account label is added to the i-th feature of the first sample, and the second threshold is smaller than the first threshold.
  • the first comprehensive score is within the first number of the plurality of comprehensive scores that are located in the front end of the multiple comprehensive scores, add an abnormal account label to the i-th feature of the first sample;
  • the first comprehensive score is within the second number of the plurality of comprehensive scores that are located at the back end in the order of the largest comprehensive score, add the label of the normal account to the i-th group of features of the first sample.
  • the method further includes labeling the sample set with the updated i th sub-sample and training the i th sub-model again.
  • an account prediction method including:
  • the prediction result of the account to be tested is determined.
  • the total score of the account is determined in the following manner:
  • the n scores are averaged, and the average is taken as the total score.
  • the prediction result of the account to be tested is determined as follows:
  • the probability value of the account to be tested is determined as an abnormal account, and the probability value is used as the prediction result.
  • an apparatus for obtaining training samples including:
  • Annotated sample acquisition unit configured to acquire annotated sample set, the annotated sample set includes M annotated samples, each annotated sample includes a sample feature associated with account information, and whether the account is an abnormal account sample label, where all
  • the sample features are divided into n groups of features according to a predetermined grouping rule, where n is a natural number greater than 2;
  • a sub-sample set forming unit configured to form n sub-labeled sample sets, wherein the i-th sub-labeled sample set includes M sub-labeled samples, and each sub-labeled sample includes the i-th feature of the n sets of features as sub-sample features, and The sample label as its sub-sample label;
  • a sub-model training unit configured to train n sub-models using the n sub-labeled sample sets respectively, wherein the i-th sub-model is used to predict the probability that the corresponding account is an abnormal account based on the i-th group of features;
  • An unlabeled sample obtaining unit configured to obtain a plurality of unlabeled samples, each unlabeled sample includes n groups of features divided according to the predetermined grouping rule, and the plurality of unlabeled samples includes a first sample;
  • the score obtaining unit is configured to input (n-1) sets of features other than the i-th set of features out of the n sets of features of the first sample into the n sub-models except (i-th sub-model) n-1) sub-models, respectively obtaining (n-1) scores of the (n-1) sub-models for the first sample, the scores indicate that the account corresponding to the first sample is an abnormal account Probability
  • the integrated score acquisition unit is configured to obtain the first integrated score for the i-th group of features based on the (n-1) scores;
  • a label adding unit configured to add a first label to the i-th group of features of the first sample when the first comprehensive score meets a predetermined condition, the i-th group of features and the first label are formed
  • the sample adding unit is configured to add the first sub-labeled sample to the i-th sub-labeled sample set to update the i-th sub-labeled sample set.
  • an account prediction device including:
  • a feature acquisition unit configured to acquire account characteristics of the account to be tested
  • a feature grouping unit configured to divide the account features into n groups of features according to a predetermined classification rule
  • a score obtaining unit configured to input the n sets of features into n sub-models respectively to obtain n scores of the n sub-models for the abnormal probability of the account to be tested, the n sub-models are obtained by using the device of claim 11 Training samples of
  • a total score determination unit configured to determine the total score of the account to be tested according to the n scores
  • the result determination unit is configured to determine the prediction result of the account to be tested based on the total score.
  • a computer-readable storage medium on which a computer program is stored, and when the computer program is executed in a computer, the computer is caused to perform the method of the first aspect and the second aspect.
  • a computing device including a memory and a processor, wherein the memory stores executable code, and when the processor executes the executable code, the first aspect and the first Two ways.
  • a semi-supervised and multiple sub-model collaborative training method is used to train multiple reliable sub-models based on less manual labeled data.
  • multiple sub-models trained in this way are used to make predictions respectively, and then the results are synthesized to obtain reliable prediction results.
  • FIG. 1 is a schematic diagram of an implementation scenario of an embodiment disclosed in this specification
  • FIG. 2 shows a flowchart of a method for acquiring training samples according to an embodiment
  • FIG. 3 shows a sub-label sample set formed according to an embodiment
  • FIG. 4 shows a schematic diagram of a collaborative training process according to an embodiment
  • FIG. 5 shows a flowchart of an account prediction method according to an embodiment
  • FIG. 6 shows the process of account prediction based on the model trained in FIG. 4;
  • FIG. 7 shows a schematic block diagram of an apparatus for acquiring training samples according to an embodiment
  • FIG. 8 shows a schematic block diagram of an account prediction apparatus according to an embodiment.
  • the inventor of the present invention innovatively proposed a brand-new solution that uses semi-supervised and multi-model collaborative training to improve the performance of machine learning.
  • user features are grouped, and each group of features is used separately based on a collaborative training method to gradually mark unlabeled samples and expand the labeled sample set to build a more robust system.
  • FIG. 1 is a schematic diagram of an implementation scenario of an embodiment disclosed in this specification.
  • the implementation scenario can be divided into a model training stage and a model prediction stage.
  • the computing platform first obtains the marked account sample data. This part of the sample data may not be large.
  • For these sample data divide their features into multiple feature groups (three groups are shown schematically in Figure 1), and use each feature group and sample label to train a corresponding sub-model, which is shown schematically in Figure 1 Three sub-models are produced. Then, the three sub-models are used for collaborative training to gradually mark the unlabeled data. Specifically, for a piece of unlabeled sample data, the sample features are correspondingly divided into multiple feature groups (for example, 3).
  • the feature group Fi and the assigned The label can be used as a new training sample for training the sub-model Mi.
  • the label-free sample data is gradually labeled, and the training sample set is expanded. Then, you can continue to train each sub-model using the expanding training sample set to improve its performance.
  • the account data to be tested is received.
  • the sample features of the account data are also divided into multiple feature groups (for example, 3), and these multiple feature groups are respectively corresponding to multiple sub-models input by training, and their output results are obtained respectively. Synthesize the output results of multiple sub-models to determine whether the account under test is an abnormal account.
  • FIG. 2 shows a flowchart of a method for acquiring training samples according to an embodiment.
  • the method can be performed by any device, device, platform, device cluster, etc. with computing and processing capabilities, such as the computing platform of FIG. 1.
  • the method includes at least: Step 21, obtaining a labeled sample set, where the sample features of each labeled sample are divided into n groups of features; Step 22, forming n sub-labeled sample sets, in which the ith sub-labeled sample The set includes the i-th feature in n sets of features, and sample labels; Step 23, use the n sub-labeled sample set to train to obtain n sub-models; Step 24, obtain multiple unlabeled samples, including the first sample, The first sample includes the corresponding n sets of features; step 25, the (n-1) sets of features in the first set of features other than the i-th set of features are respectively input into the n sub-models except the (n-1) sub-models outside the i sub-model, get (n-
  • a labeled sample set is obtained.
  • the labeled sample set includes multiple labeled samples (hereinafter referred to as M for convenience of description), and each labeled sample includes a sample feature associated with the account information, and whether the account is an abnormal account sample label.
  • the sample features often include comprehensive features of various aspects of the user corresponding to the account, thereby forming thousands or even thousands of dimensional feature vectors.
  • the sample features are divided into n feature groups, where n is a natural number greater than 2.
  • the sample features of the account sample are divided into 3 feature groups.
  • the first feature group includes features related to the user's basic attribute information, such as the user's gender, age, education, registration duration, etc .
  • the feature group includes features related to the user's historical behavior, for example, the user's browsing history, consumption records, transaction records, etc. in the last week
  • the third feature group includes features related to the user's social relationship, such as friends who interact with the user Basic information (age, gender, education, etc.). If the overall feature of a sample is a 1500-dimensional vector, then the above grouping can be used to form three grouped feature vectors of about 500 dimensions.
  • sample features may be grouped differently from different angles, for example, divided into different number of feature groups, or different content feature groups. For example, you can also extract features related to the interaction between users and friends from the sample features to form an interactive feature group; or extract features related to the user's credit behavior specifically to form a credit feature group, and so on. This specification does not limit the way in which sample features are grouped.
  • n sub-labeled sample sets are formed, where the i-th sub-labeled sample set includes M sub-labeled samples, and each sub-labeled sample includes the i-th group among n sets of features
  • the feature is a sub-sample feature
  • the sample label is its sub-sample label, where i is any value from 1 to n.
  • Figure 3 shows a set of sub-labeled samples formed according to one embodiment.
  • each labeled sample Y j contains a sample feature F j and a sample label L j
  • the sample feature F 1 of the first sample is divided into 3 feature groups G 11 , G 12 and G 13 , and the sample label is L 1
  • the sample feature F 2 of the second sample is divided into G 21 and G 22 , G 23
  • the sample label is L 2 , and so on.
  • the i-th set of features and sample labels of each labeled sample are extracted to form each sub-labeled sample, and each sub-labeled sample constitutes the i-th sub-labeled sample set.
  • sub-label sample set 1 corresponds to feature group 1, which includes 100 sub-label samples
  • each sub-label sample includes the features in feature group 1 as sub-sample features, and the sample label as its sub-sample label.
  • extract the features in feature group 1 of the first sample that is, G 11 , and the corresponding label L 1 to form a sub-labeled sample based on feature group 1
  • extract the features in feature group 1 of the second sample namely G 21 , and the corresponding label L 2
  • form another sub-labeled sample based on feature group 1 and so on, so that 100 sub-labeled samples based on feature group 1 can be formed, thereby forming a first sub-labeled sample set.
  • sub-labeled sample set 2 corresponds to feature group 2, where each sub-labeled sample includes the features in feature group 2 as sub-sample features, and the sample label as its sub-sample label; sub-label sample set 3 corresponds to the feature group 3.
  • Each sub-labeled sample includes the features in feature group 3 as sub-sample features, and the sample label as its sub-sample label.
  • the n sub-labeled sample sets are used for model training to obtain corresponding n sub-models, wherein the i-th sub-model is used to predict correspondence based on the i-th group of features The probability that the account is an abnormal account.
  • any i-th sub-labeled sample set in the n sub-labeled sample sets because of having sample labels, various supervised learning methods can be used for model training to obtain the corresponding sub-model Mi. Since the i-th sub-labeled sample set is formed based on the i-th group of features, and the sample label is used to show whether the corresponding account is an abnormal account, then the i-th sub-model Mi trained based on the i-th sub-labeled sample set is used to base on The i-th group of features predicts the probability that the corresponding account is an abnormal account.
  • the sub-model trained in this way can be used as a preliminary sub-model, synergistically, marking unlabeled samples.
  • step 24 a plurality of unlabeled samples are obtained, and each unlabeled sample includes a corresponding sample feature, but does not have a sample label.
  • the sample features of unlabeled samples are divided into n feature groups according to the same grouping rules for processing labeled samples. The process of grouping is not repeated here.
  • first sample an unspecified sample among the plurality of unlabeled samples is referred to as a first sample, and the process of marking the above n sub-models with the first sample is described in conjunction with the first sample. It should be understood that the "first” in the first sample here, and the corresponding "first” in the following, are only for the convenience of distinction and description, and do not have any limited meaning.
  • step 25 the (n-1) sets of features of the first sample except the i-th set of features are respectively input to the (n-1) of the n sub-models except the i-th sub-model Sub-models, respectively obtaining (n-1) scores of the (n-1) sub-models for the first sample.
  • each sub-model is used to predict the probability that the corresponding account is an abnormal account based on the corresponding feature group. Therefore, each sub-model's score on the first sample is expressed as The probability that the corresponding account is an abnormal account.
  • step 26 based on the (n-1) scores output by the (n-1) sub-models, a first comprehensive score for the i-th group of features of the first sample is obtained.
  • the above (n-1) scores are summed, and the sum is used as the first integrated score. More specifically, in one example, the above summation may be a weighted summation. In such a case, corresponding weights can be set for each sub-model in advance according to factors such as the importance and reliability of each sub-model. In this way, for the scores of the (n-1) sub-models, the weight of each sub-model is used as the weight of the corresponding score, and the (n-1) scores are weighted and summed to obtain the first comprehensive score.
  • the (n-1) scores are averaged, and the average value is used as the first comprehensive score.
  • (n-1) scores may be integrated in other ways to obtain the first integrated score.
  • step 27 when the first comprehensive score satisfies the predetermined condition, a first label is added to the i-th feature of the first sample.
  • the above predetermined condition and the content of the corresponding first label may have different implementations.
  • a judgment threshold for comprehensive scores is set in advance, such as a higher first threshold and a lower second threshold, and the addition of the first label is determined according to the comparison result of the threshold. Specifically, if the first comprehensive score for the i-th group of features of the first sample is higher than the first threshold, it means that all sub-models except the i-th sub-model predict the overall probability that the first sample is an abnormal account High enough, therefore, add the label of the abnormal account to the i-th group of features of the first sample.
  • the first comprehensive score is lower than the second threshold, it means that the overall probability that each sub-model except the i-th sub-model predicts that the first sample is an abnormal account is very low, so it is the i-th group of the first sample Features add normal account tags.
  • the first comprehensive score is between the first threshold and the second threshold, it is possible that the prediction probabilities of other sub-models for whether the first sample is an abnormal account vary greatly, or that the prediction results are not consistent In such a case, the label of the i-th group of features of the first sample may not be temporarily added.
  • a ranking threshold for comprehensive points is set, and the addition of the first label is determined according to the ranking threshold.
  • the first comprehensive score corresponding to the first sample is within the first number (for example, 50) in the above ranking, add the label of the abnormal account to the i-th feature of the first sample.
  • the first comprehensive score corresponding to the first sample belongs to the first number with the highest comprehensive score among all unlabeled samples, for example, the 50 with the highest comprehensive score, then it means that other than the i-th sub-model
  • the overall probability that each sub-model predicts that the first sample is an abnormal account is sufficiently high, so the label of the abnormal account is added to the i-th group of features of the first sample.
  • the first comprehensive score is within the second number in the back-end of the multiple comprehensive scores, that is, the second number with the lowest score, it means that other than the i-th sub-model
  • the overall probability that each sub-model predicts that the first sample is an abnormal account is low enough, so the i-th group of features of the first sample is labeled with a normal account.
  • the first number and the second number may be set according to the number of unlabeled samples, and the two may be equal or different.
  • the other group features except the i-th group feature are input into other sub-models except the i-th sub-model, and based on the prediction results of each sub-model, a comprehensive score for the i-th group of features is obtained , And divide the i-th group feature based on the synthesis to add the first label.
  • the i-th set of features of the first sample and the added first label form a sub-labeled sample, called the first sub-labeled sample.
  • step 28 the thus obtained first sub-labeled sample is added to the aforementioned i-th sub-labeled sample set to update the i-th sub-labeled sample set.
  • the two sub-models, namely M2 and M3, get the two sub-models to score 2 of the first sample, and record them as c2 and c3.
  • step 26 based on the above-mentioned c2 and c3, the first comprehensive score S1 of the first sample for the first group of features is obtained.
  • S1 may be the sum or average of c2 and c3, and so on.
  • step 27 it is determined whether the first comprehensive score S1 satisfies a predetermined condition, so as to determine whether to add tags and what tags to add. For example, in one example, if S1 is greater than the threshold T1, the abnormal account label is added to the first group of features of the first sample; if S1 is less than the threshold T2, the normal account label is added to it.
  • the addition of tags is determined according to the ranking of the comprehensive score. For example, a comprehensive score of each unlabeled sample for the first group of features in 1000 unlabeled samples is obtained, and thus 1000 comprehensive scores are obtained. These 1000 comprehensive points can be sorted. If S1 belongs to the top 50 of the 1000 composite points, for example, then add the label of the abnormal account to the first group of features of the first sample; if S1 belongs to the bottom 50 of the 1000 composite points, for example, the last 50 Then, add the label of the normal account to the first group of features of the first sample.
  • the first group of features of the first sample and the corresponding labels form a sub-labeled sample, which is added to the set of sub-labeled samples for the first group of features.
  • each group of features (group 1 feature, group 2 feature, group 3 feature) of each unlabeled sample (1-1000) can be similarly processed to label some unlabeled samples. Expand to the training sample set.
  • the updated or expanded i-th sub-labeled sample set is used to train the i-th sub-model again.
  • the sub-model trained again can be used to predict and mark the next unlabeled samples. Repeating the cycle continuously, using the prediction results of multiple sub-models to automatically mark to expand the training sample set for another sub-model, and then use the expanded training sample set to train the sub-model again, so that the robustness of the entire system continues to improve.
  • FIG. 4 shows a schematic diagram of a collaborative training process according to an embodiment.
  • the sample feature information of each labeled sample is divided into 3 groups, which are basic information of the account, dynamic information, and relationship information.
  • 3 groups which are basic information of the account, dynamic information, and relationship information.
  • three sub-labeled sample sets corresponding to the three feature groups are formed, and each sub-labeled sample set includes 100 sub-labeled samples.
  • three initial sub-models are obtained by training, which are represented as model 1, model 2, and model 3 in FIG. 4.
  • each unlabeled sample is divided into three groups: basic information, dynamic information and relationship information. Enter each feature group of each unlabeled sample into the corresponding sub-model, for example, input basic information into model 1, dynamic information into model 2, and relationship information into model 3. Obtain the prediction results of each sub-model, that is, score based on these Scoring and marking of unmarked data.
  • each sample is based on Model 2 and The scores of 3 are combined to obtain S1, and thus each S1 of 1000 samples is obtained.
  • select the smallest (for example, 50) samples of S1 extract the basic information of these samples, and attach the normal account label to them.
  • S2 is obtained based on the scoring synthesis of models 1 and 3.
  • the numerical threshold or ranking corresponding to S2 several out of 1000 unlabeled samples are selected, their dynamic information is extracted, and the labels of normal accounts / abnormal accounts are added to them.
  • S3 is obtained.
  • the numerical threshold or ranking corresponding to S3 select several samples, extract the relationship information, and attach the label of normal account / abnormal account.
  • the labeled samples and the original labeled sample set can be fused together to form an updated or expanded training sample set. For example, if you select 50 samples with the highest comprehensive scores of the other 2 models for a set of features each time, add an abnormal account label, and select the 50 samples with the lowest comprehensive score to add a normal account label, then perform the above process once. The number of samples in each sub-labeled sample set was expanded to 200.
  • FIG. 5 shows a flowchart of an account prediction method according to an embodiment.
  • the prediction method includes: step 51, obtaining account characteristics of an account to be tested; step 52, dividing the account characteristics into n groups of characteristics according to a predetermined grouping rule; step 53, dividing the n groups of characteristics respectively Enter n sub-models to obtain n scores for the abnormal probability of the account to be tested by the n sub-models; Step 54, determine the total score of the account to be tested according to the n scores; Step 55, according to the The total score determines the prediction result of the account to be tested.
  • FIG. 6 shows the process of account prediction based on the model trained in FIG. 4.
  • step 51 the account characteristics of the account to be tested are obtained.
  • account characteristics include various characteristics related to the account, and the dimensions can be thousands or thousands of dimensions.
  • step 52 the account features are divided into n groups of features according to a predetermined grouping rule.
  • grouping rules are consistent with the rules for grouping the sample features of the training samples during the model training process.
  • the characteristics of the account to be tested are divided into three groups, namely basic information, dynamic information, and relationship information.
  • n sets of features are input into n sub-models respectively, and n sub-models are used to score n points of the abnormal probability of the account to be tested.
  • the n sub-models here are obtained by training using the training samples obtained by the method of FIG. 2. Therefore, the n sub-models correspond to n sets of features, respectively, and the i-th sub-model is trained to score the corresponding account based on the i-th feature, and the score indicates the probability that the corresponding account is an abnormal account. In this way, n sub-models output n scores correspondingly.
  • each prediction result corresponds to the above score, indicating the probability that the account predicted by the corresponding model is an abnormal account.
  • step 54 the total score of the account to be tested is determined according to the above n scores.
  • the n scores are summed and the sum is used as the total score. More specifically, in one example, the above summation may be a weighted summation. That is, according to the importance, reliability and other factors of each sub-model, corresponding weights are set in advance for each sub-model. In this way, for the scores of the above n sub-models, the weight of each sub-model is used as the weight of the corresponding score, and the n scores are weighted and summed to obtain a total score.
  • the n scores may be averaged, and the average value is used as the total score. Or, in other embodiments, other methods may be used to determine the total score based on the n scores.
  • step 55 the prediction result of the account to be tested is determined according to the above-mentioned total score.
  • the output prediction result is the judgment result of whether the account to be tested is a normal account or an abnormal account.
  • the above total score can be compared with a probability threshold, and if the total score is greater than the probability threshold, the account under test is determined to be an abnormal account, otherwise, the account under test is determined to be a normal account.
  • the output prediction result is the probability that the account to be tested is an abnormal account. More specifically, in one example, the above-mentioned total score is obtained by averaging n scores; in such a case, the above-mentioned total score can be directly used as the probability value of the abnormal account, and output as the prediction result. In another example, the above-mentioned total score is calculated by other means. In such a case, a simple processing operation can be performed on the above-mentioned total score, such as normalization processing, using the processing result as the probability value of the abnormal account, and outputting as forecast result.
  • this process is simply shown as synthesizing the prediction result 1, the prediction result 2 and the prediction result 3 to obtain the final prediction result.
  • the feature data of the account to be tested is divided into multiple groups, and the corresponding multiple sub-models are respectively input, and then the prediction results of the sub-models are synthesized. In this way, it avoids the impact of too high feature data dimensions on model calculation performance, and will not cause information loss due to discarded data.
  • the solution of the embodiment of the specification adopts a semi-supervised and multiple sub-model cooperative training method, and based on less manual annotation data, trains multiple reliable sub-models.
  • multiple sub-models trained in this way are used to make predictions respectively, and then the results are synthesized to obtain reliable prediction results.
  • an apparatus for acquiring training samples is also provided.
  • 7 shows a schematic block diagram of an apparatus for acquiring training samples according to an embodiment. As shown in FIG. 7, the device 700 includes:
  • Annotated sample acquisition unit 71 is configured to acquire annotated sample set, the annotated sample set includes M annotated samples, each annotated sample includes a sample feature associated with account information, and whether the account is an abnormal account sample label, where
  • the sample features are divided into n groups of features according to a predetermined grouping rule, where n is a natural number greater than 2;
  • the sub-sample set forming unit 72 is configured to form n sub-labeled sample sets, wherein the i-th sub-labeled sample set includes M sub-labeled samples, and each sub-labeled sample includes the i-th feature of the n sets of features as sub-sample features, And the sample label as its sub-sample label;
  • the sub-model training unit 73 is configured to use the n sub-labeled sample sets to train to obtain n sub-models, wherein the i-th sub-model is used to predict the probability that the corresponding account is an abnormal account based on the i-th group of features;
  • the unlabeled sample obtaining unit 74 is configured to obtain a plurality of unlabeled samples, each unlabeled sample includes n groups of features divided according to the predetermined grouping rule, and the plurality of unlabeled samples includes a first sample;
  • the score obtaining unit 75 is configured to input (n-1) sets of features other than the i-th set of features out of the n-group features of the first sample into the n sub-models except the i-th sub-model (n-1) sub-models, respectively obtaining (n-1) scores of the (n-1) sub-models for the first sample, the scores indicate that the account corresponding to the first sample is an abnormal account The probability;
  • the integrated score obtaining unit 76 is configured to obtain a first integrated score for the i-th group of features based on the (n-1) scores;
  • the label adding unit 77 is configured to add a first label to the i-th group of features of the first sample, the i-th group of features and the first label when the first comprehensive score meets a predetermined condition Form the first sub-label sample;
  • the sample adding unit 78 is configured to add the first sub-labeled sample to the i-th sub-labeled sample set to update the i-th sub-labeled sample set.
  • the n sets of features include multiple of the following feature groups: basic attribute features of the user corresponding to the account; historical behavior features of the user; features of the user's association relationship; and features of the user's interaction.
  • the above integrated sub-acquisition unit 76 is configured to:
  • the (n-1) scores are averaged, and the average value is used as the first comprehensive score.
  • the label adding unit 77 is configured as:
  • the integrated score acquisition unit 76 is configured to obtain multiple integrated scores for the i-th group of features corresponding to the multiple unlabeled samples
  • the label adding unit 77 is configured as:
  • the first comprehensive score is within the first number of the plurality of comprehensive scores that are located in the front-end in the order of large to small, add an abnormal account label to the i-th feature of the first sample;
  • the first comprehensive score is within the second number of the plurality of comprehensive scores that are located at the back end in the order of the largest comprehensive score, add the label of the normal account to the i-th feature of the first sample.
  • the sub-model training unit 73 is further configured to mark the sample set with the updated i-th sub-sample and train the i-th sub-model again.
  • an account prediction device is also provided. 8 shows a schematic block diagram of an account prediction apparatus according to an embodiment. As shown in FIG. 8, the device 800 includes:
  • the characteristic obtaining unit 81 is configured to obtain the account characteristics of the account to be tested
  • the feature grouping unit 82 is configured to divide the account features into n groups of features according to a predetermined classification rule
  • the score obtaining unit 83 is configured to input the n sets of features into n sub-models respectively, to obtain n scores of the n sub-models on the abnormal probability of the account under test, the n sub-models using the device of claim 11 The obtained training samples are trained;
  • the total score determination unit 84 is configured to determine the total score of the account to be tested according to the n scores;
  • the result determination unit 85 is configured to determine the prediction result of the account to be tested according to the total score.
  • the total score determination unit 84 is configured to sum the n scores and use the sum as the total score; or average the n scores and use the average as the total score.
  • the result determination unit 85 is configured to determine that the account to be tested is an abnormal account if the total score is greater than a predetermined threshold.
  • the result determination unit 85 is configured to determine the probability value of the account to be tested as an abnormal account based on the total score, and use the probability value as the prediction result.
  • a semi-supervised and multiple sub-model collaborative training method is used to train multiple reliable sub-models based on less manual labeled data.
  • multiple sub-models trained in this way are used to make predictions respectively, and then the results are synthesized to obtain reliable prediction results.
  • a computer-readable storage medium on which a computer program is stored, and when the computer program is executed in a computer, the computer is caused to perform the method described in conjunction with FIGS. 2 and 5.
  • a computing device including a memory and a processor, where executable code is stored in the memory, and when the processor executes the executable code, the implementation is combined with FIG. 2 and FIG. 5 The method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种训练样本获取方法，账户预测方法以及对应装置。训练样本获取方法包括，首先获取标注样本集，其中的样本特征被划分为n组特征，由此形成n个子标注样本集。利用这n个子标注样本集训练得到n个子模型。然后，获取未标注的第一样本，其包括对应的n组特征。将第一样本的除第i组特征外的(n-1)组特征，分别对应输入n个子模型中除第i子模型外的(n-1)个子模型，分别得到(n-1)个打分。接着，基于这(n-1)个打分，得到第一综合分，并且在该第一综合分满足预定条件的情况下，为第一样本的第i组特征添加第一标签，由此形成第一子标注样本。于是，可以将该第一子标注样本添加到第i个子标注样本集，以更新标注样本集。

Description

训练样本获取方法，账户预测方法及对应装置 技术领域
本说明书一个或多个实施例涉及机器学习领域，尤其涉及利用机器学习模型进行非法账户预测，以及为该机器学习模型获取训练样本的方法和装置。
背景技术
随着互联网的发展，移动支付的普及，基于支付宝等app的移动支付手段越受青睐。然而，与此同时，相关的问题接踵而至，对于移动支付平台而言，一个重要的威胁来自于非法账户的存在以及其恶性发展。非法用户注册大量的备用账户，并通过非法手段进行花呗套现等行为，这对于移动支付平台而言是极大的威胁。对于非法账户的检测以及对其潜在非法行为的禁止，对于构建更为安全稳定的移动支付平台，减少相关平台的经济损失，具有重要意义。
目前业界对于非法账户检测的系统，几乎都是依赖于规则实现，如此的系统只能覆盖极少的非法账户类型，对于潜在非法账户，很难做到及时的发现。
而基于机器学习的方法，大部分都采用监督学习的方式，即利用完全标注的数据来学习，此时需要花费极大的时间和精力来进行数据标注，在互联网的场景下很难做到。
因此，希望能有改进的方案，更加有效地对非法账户进行预测。
发明内容
本说明书一个或多个实施例描述了训练样本获取方法，账户预测方法及对应装置，从而基于较少的人工标注样本，通过子模型协同训练的方式，扩充训练样本集，得到可靠的预测模型，用以进行异常账户的预测。
根据第一方面，提供了一种获取训练样本的方法，包括：
获取标注样本集，所述标注样本集包括M个标注样本，每个标注样本包括与账户信息相关联的样本特征，以及该账户是否为异常账户的样本标签，其中所述样本特征按照预定分组规则被划分为n组特征，其中n为大于2的自然数；
形成n个子标注样本集，其中第i个子标注样本集包括M个子标注样本，每个子标注样本包括所述n组特征中的第i组特征作为子样本特征，以及所述样本标签作为其 子样本标签；
分别利用所述n个子标注样本集训练得到n个子模型，其中第i子模型用于基于第i组特征预测对应账户为异常账户的概率；
获取多个未标注样本，每个未标注样本包括按照所述预定分组规则进行划分的n组特征，所述多个未标注样本包括第一样本；
将所述第一样本的n组特征中除第i组特征外的(n-1)组特征，分别对应输入所述n个子模型中除第i子模型外的(n-1)个子模型，分别得到所述(n-1)个子模型对该第一样本的(n-1)个打分，所述打分表示与该第一样本对应的账户为异常账户的概率；
基于所述(n-1)个打分，得到针对第i组特征的第一综合分；
在所述第一综合分满足预定条件的情况下，为所述第一样本的第i组特征添加第一标签，所述第i组特征和所述第一标签形成第一子标注样本；
将所述第一子标注样本添加到所述第i个子标注样本集，以更新所述第i个子标注样本集。
在一个实施例中，所述n组特征包括以下特征组中的多个：账户对应的用户的基本属性特征；用户的历史行为特征；用户的关联关系特征；用户的交互特征。
根据一种实施方式，通过以下方式得到上述第一综合分：
对所述(n-1)个打分求和，将和值作为所述第一综合分；或者
对所述(n-1)个打分求平均，将平均值作为所述第一综合分。
根据一种可能的设计，在所述第一综合分高于第一阈值的情况下，为所述第一样本的第i组特征添加异常账户的标签；在所述第一综合分低于第二阈值的情况下，为所述第一样本的第i组特征添加正常账户的标签，所述第二阈值小于所述第一阈值。
根据另一种可能的设计，还针对所述多个未标注样本，对应得到针对第i组特征的多个综合分；
如果所述第一综合分在所述多个综合分的从大到小排序中位于前端的第一数目之内，为所述第一样本的第i组特征添加异常账户的标签；
如果所述第一综合分在所述多个综合分的从大到小排序中位于后端的第二数目之 内，为所述第一样本的第i组特征添加正常账户的标签。
根据一种实施方式，方法还包括，用更新后的第i个子标注样本集，再次训练所述第i子模型。
根据第二方面，提供一种账户预测方法，包括：
获取待测账户的账户特征；
按照预定分类规则将所述账户特征划分为n组特征；
将所述n组特征分别输入n个子模型，得到所述n个子模型对所述待测账户异常概率的n个打分，所述n个子模型利用权利要求1的方法所获取的训练样本训练得到；
根据所述n个打分，确定所述待测账户的总得分；
根据所述总得分，确定所述待测账户的预测结果。
在一个实施例中，通过以下方式确定所述账户的总得分：
对所述n个打分求和，将和值作为总得分；或者
对所述n个打分求平均，将均值作为总得分。
根据一种可能的设计，如下确定所述待测账户的预测结果：
在所述总得分大于预定阈值的情况下，确定所述待测账户为异常账户。
根据另一种可能的设计，根据所述总得分，确定所述待测账户为异常账户的概率值，将该概率值作为预测结果。
根据第三方面，提供一种获取训练样本的装置，包括：
标注样本获取单元，配置为获取标注样本集，所述标注样本集包括M个标注样本，每个标注样本包括与账户信息相关联的样本特征，以及该账户是否为异常账户的样本标签，其中所述样本特征按照预定分组规则被划分为n组特征，其中n为大于2的自然数；
子样本集形成单元，配置为形成n个子标注样本集，其中第i个子标注样本集包括M个子标注样本，每个子标注样本包括所述n组特征中的第i组特征作为子样本特征，以及所述样本标签作为其子样本标签；
子模型训练单元，配置为分别利用所述n个子标注样本集训练得到n个子模型，其中第i子模型用于基于第i组特征预测对应账户为异常账户的概率；
未标注样本获取单元，配置为获取多个未标注样本，每个未标注样本包括按照所述预定分组规则进行划分的n组特征，所述多个未标注样本包括第一样本；
打分获取单元，配置为将所述第一样本的n组特征中除第i组特征外的(n-1)组特征，分别对应输入所述n个子模型中除第i子模型外的(n-1)个子模型，分别得到所述(n-1)个子模型对该第一样本的(n-1)个打分，所述打分表示与该第一样本对应的账户为异常账户的概率；
综合分获取单元，配置为基于所述(n-1)个打分，得到针对第i组特征的第一综合分；
标签添加单元，配置为在所述第一综合分满足预定条件的情况下，为所述第一样本的第i组特征添加第一标签，所述第i组特征和所述第一标签形成第一子标注样本；
样本添加单元，配置为将所述第一子标注样本添加到所述第i个子标注样本集，以更新所述第i个子标注样本集。
根据第四方面，提供一种账户预测装置，包括：
特征获取单元，配置为获取待测账户的账户特征；
特征分组单元，配置为按照预定分类规则将所述账户特征划分为n组特征；
打分获取单元，配置为将所述n组特征分别输入n个子模型，得到所述n个子模型对所述待测账户异常概率的n个打分，所述n个子模型利用权利要求11的装置所获取的训练样本训练得到；
总分确定单元，配置为根据所述n个打分，确定所述待测账户的总得分；
结果确定单元，配置为根据所述总得分，确定所述待测账户的预测结果。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面和第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面和第二方面的方法。
通过本说明书实施例提供的方法和装置，采用半监督和多个子模型协同训练的方式，基于较少的人工标注数据，训练出多个可靠的子模型。在对待测账户进行预测时，利用如此训练的多个子模型分别进行预测，然后对结果进行综合，从而得到可靠的预测 结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的获取训练样本的方法流程图；
图3示出根据一个实施例形成的子标注样本集；
图4示出根据一个实施例的协同训练过程的示意图；
图5示出根据一个实施例的账户预测方法的流程图；
图6示出基于图4训练得到的模型进行账户预测的过程；
图7示出根据一个实施例的获取训练样本的装置的示意性框图；
图8示出根据一个实施例的账户预测装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，已经存在一些基于规则的方法来判断一个账户是否存在异常或是否是非法账户。然而这样的方案，很难做到对大量的非法账户的行为模式的覆盖。因此，仍然希望基于机器学习的方式来构建非法账户的检测系统，从而更加全面地对异常账户进行检测。然而，在互联网场景下，常规的机器学习方式存在一些困难，使其效果不够理想。
本案的发明人经过研究和分析提出，常规机器学习效果不够理想的原因至少有以下几点。一方面，监督学习需要大量的标注样本，标注样本越多，学习效果越好。但是，在非法账户预测的问题上，样本标注需要花费极大的时间和精力，因为要鉴别一个账户是不是真的非法账户，需要消耗巨大的人力，因此只有很少的账户是被标注出来非法或者合法的标记，大量的账户都是没有任何标记信息的。这使得可供监督学习的标注样本 数量不足，影响学习效果。另一方面，为了使得机器学习更加全面，往往对用户相关的大量特征进行采集。这就使得用来描述一个用户的特征向量变得非常大(如5000+维)，其中必然存在大量的信息冗余，而对于机器学习系统而言，这样的特征向量更是对于系统的效率带来极大的挑战。但是，如果简单地抛弃这一部分数据，又有可能造成信息损失，影响学习效果。因此，关于特征数据的采集，也存在两难问题。
基于以上的观察和分析，本案发明人创新性提出一种全新解决方案，采用半监督和多模型协同训练的方式提高机器学习的性能。具体来说，在说明书实施例的方案中，将用户特征进行分组，基于协同训练的方式对每组特征分别使用，来对无标记样本逐步打标，扩充标记样本集，来构建更为鲁棒的系统。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景可以划分为模型训练阶段，和模型预测阶段。在模型训练阶段，计算平台首先获取有标记的账户样本数据，这部分样本数据可能数量并不多。对于这些样本数据，将其特征划分为多个特征组(图1中示意性示出3个组)，利用每个特征组和样本标签，训练出一个对应的子模型，图1中示意性示出3个子模型。然后，利用这3个子模型协同训练的方式，逐步给无标记数据打标。具体地，对于一条无标记样本数据，也对应的将样本特征划分为多个特征组(例如3个)。对于任意一个子模型Mi和对应的特征组Fi，将其余的特征组分别输入对应的其余子模型，根据其余子模型的输出结果，为该条样本数据赋予标签，于是，特征组Fi和赋予的标签就可以作为用于训练子模型Mi的新的训练样本。如此，逐步给无标记样本数据赋予标签，扩充训练样本集。然后，可以利用不断扩充的训练样本集继续对各个子模型进行训练，提升其性能。
在模型预测阶段，接收到待测的账户数据。将该账户数据的样本特征也划分为多个特征组(例如3个)，将这多个特征组分别对应输入训练得到的多个子模型，分别获得其输出结果。综合多个子模型的输出结果，判断待测账户是否为异常账户。
下面描述以上实施场景中的具体实施过程。
图2示出根据一个实施例的获取训练样本的方法流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来执行，例如图1的计算平台。如图2所示，该方法至少包括：步骤21，获取标注样本集，其中每个标注样本的样本特征被划分为n组特征；步骤22，形成n个子标注样本集，其中第i个子标注样本集包括n组特征中的第i组特征，以及样本标签；步骤23，利用所述n个子标注样本集训练得到n个子模型；步骤24，获取多个未标注样本，其中包括第一样本，第一样本包括对应的 n组特征；步骤25，将第一样本的n组特征中除第i组特征外的(n-1)组特征，分别对应输入所述n个子模型中除第i子模型外的(n-1)个子模型，分别得到所述(n-1)个子模型对该第一样本的(n-1)个打分；步骤26，基于所述(n-1)个打分，得到第一综合分；步骤27，在第一综合分满足预定条件的情况下，为第一样本的第i组特征添加第一标签，所述第i组特征和所述第一标签形成第一子标注样本；步骤28，将所述第一子标注样本添加到所述第i个子标注样本集，以更新所述第i个子标注样本集。下面描述上述各个步骤的执行方式。
首先，在步骤21，获取标注样本集。一般地，标注样本集包括多个标注样本(下面为了描述方便，记为M个)，每个标注样本包括与账户信息相关联的样本特征，以及该账户是否为异常账户的样本标签。
如前所述，为了使得模型训练的更加全面，样本特征往往包含与账户对应的用户的各个方面的全面特征，由此形成上千甚至几千维的特征向量。在本说明书的实施例中，按照预定分组规则，将样本特征划分为n个特征组，其中n为大于2的自然数。
在一个具体例子中，将账户样本的样本特征划分为3个特征组，例如，第一特征组包括与用户基本属性信息相关的特征，例如用户的性别、年龄、学历、注册时长等；第二特征组包括与用户的历史行为相关的特征，例如，用户最近一周的浏览记录，消费记录，交易记录等等；第三特征组包括与用户的社交关系相关的特征，例如与用户存在交互的好友的基本信息(年龄、性别、学历等)。如果一个样本的总体特征为1500维的向量，那么可以通过以上分组，形成3个约500维的分组特征向量。
可以理解，以上仅仅是一个示例。在其他实施例中，还可以从不同角度，对样本特征进行不同的分组，例如划分为不同数目的特征组，或者不同内容的特征组。例如，还可以从样本特征中提取出与用户和好友之间的交互行为相关的特征，形成交互特征组；或者专门提取出与用户的信贷行为相关的特征，形成信贷特征组，等等。本说明书对于样本特征的分组方式不作限定。
接着，在步骤22，与划分的n个特征组相对应的，形成n个子标注样本集，其中第i个子标注样本集包括M个子标注样本，每个子标注样本包括n组特征中的第i组特征作为子样本特征，以及样本标签作为其子样本标签，其中i为1到n中任意的值。
下面延用3个特征组的例子，结合图3描述子标注样本集的形成。
图3示出根据一个实施例形成的子标注样本集。在图3的示例中，假定标注样本 集包含100个(即M＝100)标注样本，每个标注样本Y j包含样本特征F j和样本标签L j，而样本特征F j都被划分为3个特征组，即F j＝G j1+G j2+G j3。例如，第1条样本的样本特征F 1划分为3个特征组G 11，G 12和G 13，样本标签为L 1；第2条样本的样本特征F 2被划分为G 21，G 22，G 23，样本标签为L 2，等等。
根据一个实施例，提取各个标注样本的第i组特征和样本标签，形成各个子标注样本，各个子标注样本构成第i个子标注样本集。例如，子标注样本集1对应于特征组1，其中包括100个子标注样本，每个子标注样本包括特征组1中的特征作为子样本特征，以及样本标签作为其子样本标签。例如，提取第1条样本的特征组1中的特征，即G 11，以及对应标签L 1，形成基于特征组1的一条子标注样本；提取第2条样本的特征组1中的特征，即G 21，以及对应标签L 2，形成基于特征组1的另一条子标注样本，等等，如此，可以形成基于特征组1的100个子标注样本，从而构成第1子标注样本集。
类似地，子标注样本集2对应于特征组2，其中的每个子标注样本包括特征组2中的特征作为子样本特征，以及样本标签作为其子样本标签；子标注样本集3对应于特征组3，其中的每个子标注样本包括特征组3中的特征作为子样本特征，以及样本标签作为其子样本标签。
更多特征组的情况可以以此类推，不再赘述。
在形成了n个子标注样本集的基础上，在步骤23，分别利用所述n个子标注样本集进行模型训练，得到对应的n个子模型，其中第i子模型用于基于第i组特征预测对应账户为异常账户的概率。
可以理解，对于n个子标注样本集中任意的第i子标注样本集，由于具有样本标签，因此可以采用各种监督学习的方式进行模型训练，得到对应的子模型Mi。由于第i子标注样本集基于第i组特征形成，而样本标签用于示出对应账户是否为异常账户，那么相应地，基于第i子标注样本集训练得到的第i子模型Mi用于基于第i组特征预测对应账户为异常账户的概率。
延用图3中的例子，如果形成了3个子标注样本集，那么可以对应训练出3个子模型。
如此训练得到的子模型可以作为初步的子模型，协同作用，为未标注样本进行打标。
于是，接下来，在步骤24，获取多个未标注样本，每个未标注样本包括对应的样 本特征，但是不具有样本标签。对于未标注样本的样本特征，按照处理标注样本同样的分组规则，将样本特征进行划分，划分为n个特征组。分组的过程不再赘述。
为了描述的方便，将上述多个未标注样本中的某个不特定样本称为第一样本，结合该第一样本描述利用上述n个子模型对其进行打标的过程。需要理解，此处第一样本中的“第一”，以及下文中相应的“第一”，仅仅是为了区分和描述方便，而不具有任何限定意义。
在步骤25，将第一样本的n组特征中除第i组特征外的(n-1)组特征，分别对应输入所述n个子模型中除第i子模型外的(n-1)个子模型，分别得到所述(n-1)个子模型对该第一样本的(n-1)个打分。根据前述的各个子模型的训练说明，各个子模型用于基于对应的特征组预测对应账户为异常账户的概率，因此，各个子模型对第一样本的打分即表示，与该第一样本对应的账户为异常账户的概率。
然后在步骤26，基于所述(n-1)个子模型输出的(n-1)个打分，得到第一样本的针对第i组特征的第一综合分。
在一个实施例中，对上述(n-1)个打分求和，将和值作为所述第一综合分。更具体地，在一个例子中，上述求和可以是加权求和。在这样的情况下，可以根据各个子模型的重要性、可靠性等因素，预先为各个子模型设置对应的权重。如此，对于上述(n-1)个子模型的打分，将各个子模型的权重作为对应打分的权重，对(n-1)个打分进行加权求和，得到上述第一综合分。
在另一实施例中，对所述(n-1)个打分求平均，将平均值作为所述第一综合分。在其他实施例中，还可以采用其他方式对(n-1)个打分进行综合，得到第一综合分。
接着，对该第一综合分进行判断。在步骤27，在该第一综合分满足预定条件的情况下，为第一样本的第i组特征添加第一标签。
在不同实施例中，上述预定条件和对应的第一标签的内容可以有不同实现方式。
在一个实施例中，预先设定综合分的判断阈值，例如较高的第一阈值，和较低的第二阈值，根据阈值比较结果确定第一标签的添加。具体地，如果第一样本的针对第i组特征的第一综合分高于第一阈值，那么说明，除第i子模型外的其他各个子模型预测第一样本为异常账户的总体概率足够高，因此，为第一样本的第i组特征添加异常账户的标签。如果第一综合分低于第二阈值，则说明，除第i子模型外的其他各个子模型预测第一样本为异常账户的总体概率很低，因此，为第一样本的第i组特征添加正常账户 的标签。可选的，如果第一综合分在第一阈值和第二阈值之间，那么有可能其他各个子模型对第一样本是否为异常账户的预测概率差异较大，或者说，预测结果并不一致，在这样的情况下，可以暂时不为第一样本的第i组特征添加标签。
在另一实施例中，设定综合分的排名阈值，根据排名阈值确定第一标签的添加。可以理解，以上描述的获取第一样本针对第i组特征的第一综合分的过程，可以应用于步骤24获取的多个未标注样本中的每个样本，由此可以获得各个未标注样本的针对第i组特征的综合分，由此得到多个综合分。可以将这多个综合分进行从大到小的排序。
如果第一样本对应的第一综合分在上述排序中位于靠前的第一数目(例如50个)之内，为第一样本的第i组特征添加异常账户的标签。换而言之，如果第一样本对应的第一综合分属于所有未标注样本中综合分最高的第一数目个，例如综合分最高的50个，那么说明，除第i子模型外的其他各个子模型预测第一样本为异常账户的总体概率足够高，因此，为第一样本的第i组特征添加异常账户的标签。对应的，如果第一综合分在多个综合分的从大到小排序中位于后端的第二数目之内，即属于分数最低的第二数目个，则说明，除第i子模型外的其他各个子模型预测第一样本为异常账户的总体概率足够低，因此为第一样本的第i组特征添加正常账户的标签。上述第一数目和第二数目可以根据未标注样本的数量而设定，两者可以相等，也可以不相等。
如此，对于第一样本，将除第i组特征外的其他组特征对应输入除第i子模型外的其他子模型，基于各个子模型的预测结果，得出针对第i组特征的综合分，并基于该综合分为该第i组特征添加第一标签。第一样本的第i组特征，以及添加的第一标签，形成一个子标注样本，称为第一子标注样本。
接着，在步骤28，将如此得到的第一子标注样本添加到前述的第i个子标注样本集，以更新所述第i个子标注样本集。
可以理解，通过对各个未标注样本的各个特征组i进行以上步骤25到步骤28的操作过程，可以不断筛选出(n-1)个子模型的预测结果相对一致的未标注样本，为其特征组i添加与预测结果对应的标签，从而得到新的子标注样本，如此不断扩充各个子标注样本集，增加训练样本的数量。
下面仍沿用之前n＝3的例子，描述以上过程。
在一个例子中，获取了例如1000条未标注样本，每个未标注样本的样本特征被分为3个特征组。相应地，假定其中第一样本的样本特征被划分为U1，U2和U3。在步 骤25，在i＝1的情况下，将这3组特征中除第1组特征U1外的2组特征，即U2和U3，分别对应输入3个子模型中除第1子模型外的2个子模型，即M2和M3，分别得到这2个子模型对该第一样本的2个打分，记为c2和c3。
然后，在步骤26，基于上述c2和c3，得到第一样本的针对第1组特征的第一综合分S1。例如，S1可以是c2和c3的和值或均值，等等。
在步骤27，判断该第一综合分S1是否满足预定条件，以此确定是否添加标签以及添加什么标签。例如，在一个例子中，如果S1大于阈值T1，则为第一样本的第1组特征添加异常账户的标签；如果S1小于阈值T2，则为其添加正常账户的标签。
或者，在另一例子中，根据该综合分的排名来确定标签的添加。例如，获取1000个未标注样本中各个未标注样本针对第1组特征的综合分，如此得到1000个综合分。可以对这1000个综合分进行排序。如果S1属于这1000个综合分中得分最高的例如前50个，那么就为第一样本的第1组特征添加异常账户的标签；如果S1属于这1000个综合分中得分最低的例如后50个，那么就为第一样本的第1组特征添加正常账户的标签。
于是，第一样本的第1组特征和对应的标签就构成一条子标注样本，添加到针对第1组特征的子标注样本集中。
类似的，可以针对每条未标注样本(1-1000条)的每组特征(第1组特征，第2组特征，第3组特征)进行类似的处理，从而为部分未标注样本添加标签，扩充到训练样本集中。
在一个实施例中，在如此更新或扩充各个第i个子标注样本集后，用更新或扩充的第i个子标注样本集，再次训练第i子模型。之后，可以用再次训练的子模型来对接下来的未标注样本进行预测和打标。如此不断重复循环，利用多个子模型的预测结果进行自动打标来扩大对于另一子模型的训练样本集，再用扩大的训练样本集再次训练子模型，使得整个系统的鲁棒性不断提升。
图4示出根据一个实施例的协同训练过程的示意图。在图4的例子中，假设最初有100个账户的标注样本，每个标注样本的样本特征信息被分为3组，分别为账户的基本信息，动态信息和关系信息。由此，形成与3个特征组对应的3个子标注样本集，每个子标注样本集包含100个子标注样本。基于这3个子标注样本集，训练得到3个初始子模型，图4中表示为模型1，模型2和模型3。
另一方面，假定获取到1000条未标注样本数据。同样地，将每个未标注样本的特征信息划分为3组：基本信息，动态信息和关系信息。将各个未标注样本的各个特征组相应输入对应的子模型，例如将基本信息输入模型1，动态信息输入模型2，关系信息输入模型3，分别获得各个子模型的预测结果，即打分，基于这些打分进行无标记数据的筛选和打标。
具体地，对于某条未标注样本，为了对其基本信息(组1)进行打标，就考虑模型2对其动态信息(组2)的打分c2以及模型3对其关系信息(组3)的打分c3，基于这两个打分得出一个综合分S1。如果综合分S1满足一定条件，例如数值阈值条件，或者排名条件，则为该样本的基本信息对应添加异常账户/正常账户的标签，形成标记数据。
或者，从1000条未标注样本的整体来看，在利用模型1，模型2和模型3分别对各个未标记样本的基本信息、动态信息、关系信息进行打分后，对各个样本，基于模型2和3的打分综合得到S1，如此得到1000个样本各自的S1。从中选择S1大小超过一定数值阈值的，或者选择S1最大的若干个(例如50个)样本，获取这些样本的基本信息，为其加上异常账户的标签；选择S1小于另一较小数值阈值的，或者选择S1最小的若干个(例如50个)样本，提取这些样本的基本信息，为其附上正常账户的标签。
同理，基于模型1和3的打分综合得到S2。根据S2对应的数值阈值或排名，从1000个未标记样本中筛选出若干个，提取其动态信息，为其添加正常账户/异常账户的标签。基于模型1和2的打分综合得到S3。根据S3对应的数值阈值或排名，选择若干个样本，提取其关系信息，并附上正常账户/异常账户的标签。
换而言之，选择任意两个模型认为最可靠的那部分未标记样本，添加上标签，作为另外一个模型的训练样本。
如此添加了标签的样本与原标注样本集中的样本可以融合在一起，形成更新或扩充的训练样本集。例如，如果针对一组特征，每次选择另外2个模型的综合分最高的50个样本，添加异常账户标签，选择综合分最低的50个样本添加正常账户标签，那么执行一次上述过程，可以将各个子标注样本集的样本数目扩充到200个。
之后，可以利用更新的训练样本集再次训练各个子模型，如此不断重复循环，训练样本集越来越丰富，子模型的预测性能也越来越可靠，整个系统的鲁棒性不断提升。如此，利用数量较少的人工标注样本，就可以得到性能可靠的预测系统。
在反复训练各个子模型，使其可靠性达到一定程度之后，就可以利用如此训练得 到的子模型所构成的总模型，对未知账户进行预测。
图5示出根据一个实施例的账户预测方法的流程图。如图5所示，该预测方法包括：步骤51，获取待测账户的账户特征；步骤52，按照预定分组规则将所述账户特征划分为n组特征；步骤53，将所述n组特征分别输入n个子模型，得到所述n个子模型对所述待测账户异常概率的n个打分；步骤54，根据所述n个打分，确定所述待测账户的总得分；步骤55，根据所述总得分，确定所述待测账户的预测结果。
下面结合图6的例子描述以上过程。图6示出基于图4训练得到的模型进行账户预测的过程。
如图5和图6所示，首先在步骤51，获取待测账户的账户特征。一般地，账户特征包括与账户相关的多方面的特征，维度可达上千或者几千维。
接着，在步骤52，按照预定分组规则，将账户特征划分为n组特征。可以理解，此处的分组规则与模型训练过程中对训练样本的样本特征进行分组的规则一致。
例如，在图6中，与图4对应的，将待测账户的特征分为3组，即基本信息，动态信息，关系信息。
接着，在步骤53，将n组特征分别输入n个子模型，得到n个子模型对所述待测账户异常概率的n个打分。可以理解，此处的n个子模型是利用图2方法获取的训练样本训练得到的。因此，这n个子模型与n组特征分别对应，第i子模型被训练为，基于第i组特征为对应账户打分，该打分表示对应账户为异常账户的概率。如此，n个子模型对应输出n个打分。
在图6中，将待测账户的基本信息输入模型1，得到预测结果1；将动态信息输入模型2，得到预测结果2；将关系信息输入模型3，得到预测结果3。各个预测结果即对应于上述打分，表示对应模型预测的该账户为异常账户的概率。
接着，在步骤54，根据上述n个打分，确定待测账户的总得分。
在一个实施例中，在步骤54，对所述n个打分求和，将和值作为总得分。更具体地，在一个例子中，上述求和可以是加权求和。即根据各个子模型的重要性、可靠性等因素，预先为各个子模型设置对应的权重。如此，对于上述n个子模型的打分，将各个子模型的权重作为对应打分的权重，对n个打分进行加权求和，得到总得分。
在另一实施例中，还可以对所述n个打分求平均，将均值作为总得分。或者，在 其他实施例中，还可以采取其他方式基于这n个打分确定出总得分。
接着，在步骤55，根据上述总得分，确定待测账户的预测结果。
在一个实施例中，输出的预测结果为，待测账户是正常账户还是异常账户的判断结果。在这样的情况下，可以将上述总得分与一概率阈值进行比较，在总得分大于该概率阈值的情况下，确定待测账户为异常账户，否则，确定待测账户为正常账户。
在另一实施例中，输出的预测结果为，待测账户是异常账户的概率。更具体地，在一个例子中，上述总得分是对n个打分求平均而得到；在这样的情况下，可以直接将上述总得分作为异常账户的概率值，而输出作为预测结果。在另一例子中，上述总得分通过其他方式计算得到，在这样的情况下，可以对上述总得分进行简单的处理运算，例如归一化处理，将处理结果作为异常账户的概率值，输出作为预测结果。
在图6中，该过程简单示出为，将预测结果1，预测结果2和预测结果3进行综合，得到最终预测结果。
通过以上过程可以看到，在实施例的方案中，将待测账户的特征数据划分为多个组，分别输入对应的多个子模型，再对子模型的预测结果进行综合。如此，既避免了特征数据维度太高对模型计算性能的影响，又不会因为丢弃数据造成信息损失。
综合以上，说明书实施例的方案采用半监督和多个子模型协同训练的方式，基于较少的人工标注数据，训练出多个可靠的子模型。在对待测账户进行预测时，利用如此训练的多个子模型分别进行预测，然后对结果进行综合，从而得到可靠的预测结果。
根据另一方面的实施例，还提供一种获取训练样本的装置。图7示出根据一个实施例的获取训练样本的装置的示意性框图。如图7所示，该装置700包括：
标注样本获取单元71，配置为获取标注样本集，所述标注样本集包括M个标注样本，每个标注样本包括与账户信息相关联的样本特征，以及该账户是否为异常账户的样本标签，其中所述样本特征按照预定分组规则被划分为n组特征，其中n为大于2的自然数；
子样本集形成单元72，配置为形成n个子标注样本集，其中第i个子标注样本集包括M个子标注样本，每个子标注样本包括所述n组特征中的第i组特征作为子样本特征，以及所述样本标签作为其子样本标签；
子模型训练单元73，配置为分别利用所述n个子标注样本集训练得到n个子模型， 其中第i子模型用于基于第i组特征预测对应账户为异常账户的概率；
未标注样本获取单元74，配置为获取多个未标注样本，每个未标注样本包括按照所述预定分组规则进行划分的n组特征，所述多个未标注样本包括第一样本；
打分获取单元75，配置为将所述第一样本的n组特征中除第i组特征外的(n-1)组特征，分别对应输入所述n个子模型中除第i子模型外的(n-1)个子模型，分别得到所述(n-1)个子模型对该第一样本的(n-1)个打分，所述打分表示与该第一样本对应的账户为异常账户的概率；
综合分获取单元76，配置为基于所述(n-1)个打分，得到针对第i组特征的第一综合分；
标签添加单元77，配置为在所述第一综合分满足预定条件的情况下，为所述第一样本的第i组特征添加第一标签，所述第i组特征和所述第一标签形成第一子标注样本；
样本添加单元78，配置为将所述第一子标注样本添加到所述第i个子标注样本集，以更新所述第i个子标注样本集。
根据一种实施方式，所述n组特征包括以下特征组中的多个：账户对应的用户的基本属性特征；用户的历史行为特征；用户的关联关系特征；用户的交互特征。
在一个实施例中，上述综合分获取单元76配置为：
对所述(n-1)个打分求和，将和值作为所述第一综合分；或者
对所述(n-1)个打分求平均，将平均值作为所述第一综合分。
根据一种可能的设计，所述标签添加单元77配置为：
在所述第一综合分高于第一阈值的情况下，为所述第一样本的第i组特征添加异常账户的标签；
在所述第一综合分低于第二阈值的情况下，为所述第一样本的第i组特征添加正常账户的标签，所述第二阈值小于所述第一阈值。
在一种实施方式中，综合分获取单元76配置为，针对所述多个未标注样本，对应得到针对第i组特征的多个综合分；
相应地，标签添加单元77配置为：
如果所述第一综合分在所述多个综合分的从大到小排序中位于前端的第一数目之 内，为所述第一样本的第i组特征添加异常账户的标签；
如果所述第一综合分在所述多个综合分的从大到小排序中位于后端的第二数目之内，为所述第一样本的第i组特征添加正常账户的标签。
在一个实施例中，子模型训练单元73还配置为，用更新后的第i个子标注样本集，再次训练所述第i子模型。
根据又一方面的实施例，还提供一种账户预测装置。图8示出根据一个实施例的账户预测装置的示意性框图。如图8所示，该装置800包括：
特征获取单元81，配置为获取待测账户的账户特征；
特征分组单元82，配置为按照预定分类规则将所述账户特征划分为n组特征；
打分获取单元83，配置为将所述n组特征分别输入n个子模型，得到所述n个子模型对所述待测账户异常概率的n个打分，所述n个子模型利用权利要求11的装置所获取的训练样本训练得到；
总分确定单元84，配置为根据所述n个打分，确定所述待测账户的总得分；
结果确定单元85，配置为根据所述总得分，确定所述待测账户的预测结果。
在一个实施例中，总分确定单元84配置为：对所述n个打分求和，将和值作为总得分；或者，对所述n个打分求平均，将均值作为总得分。
根据一种可能的设计，结果确定单元85配置为：在所述总得分大于预定阈值的情况下，确定所述待测账户为异常账户。
根据另一种可能的设计，结果确定单元85配置为：根据所述总得分，确定所述待测账户为异常账户的概率值，将该概率值作为预测结果。
通过图7和图8的装置，采用半监督和多个子模型协同训练的方式，基于较少的人工标注数据，训练出多个可靠的子模型。在对待测账户进行预测时，利用如此训练的多个子模型分别进行预测，然后对结果进行综合，从而得到可靠的预测结果。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2和图5所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2和图5所述 的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (21)

  1. 一种获取训练样本的方法，包括：
    获取标注样本集，所述标注样本集包括M个标注样本，每个标注样本包括与账户信息相关联的样本特征，以及该账户是否为异常账户的样本标签，其中所述样本特征按照预定分组规则被划分为n组特征，其中n为大于2的自然数；
    形成n个子标注样本集，其中第i个子标注样本集包括M个子标注样本，每个子标注样本包括所述n组特征中的第i组特征作为子样本特征，以及所述样本标签作为其子样本标签；
    分别利用所述n个子标注样本集训练得到n个子模型，其中第i子模型用于基于第i组特征预测对应账户为异常账户的概率；
    获取多个未标注样本，每个未标注样本包括按照所述预定分组规则进行划分的n组特征，所述多个未标注样本包括第一样本；
    将所述第一样本的n组特征中除第i组特征外的(n-1)组特征，分别对应输入所述n个子模型中除第i子模型外的(n-1)个子模型，分别得到所述(n-1)个子模型对该第一样本的(n-1)个打分，所述打分表示与该第一样本对应的账户为异常账户的概率；
    基于所述(n-1)个打分，得到针对第i组特征的第一综合分；
    在所述第一综合分满足预定条件的情况下，为所述第一样本的第i组特征添加第一标签，所述第i组特征和所述第一标签形成第一子标注样本；
    将所述第一子标注样本添加到所述第i个子标注样本集，以更新所述第i个子标注样本集。
  2. 根据权利要求1所述的方法，其中所述n组特征包括以下特征组中的多个：账户对应的用户的基本属性特征；用户的历史行为特征；用户的关联关系特征；用户的交互特征。
  3. 根据权利要求1所述的方法，其中基于所述(n-1)个打分，得到针对第i组特征的第一综合分包括：
    对所述(n-1)个打分求和，将和值作为所述第一综合分；或者
    对所述(n-1)个打分求平均，将平均值作为所述第一综合分。
  4. 根据权利要求1所述的方法，其中在所述第一综合分满足预定条件的情况下，为所述第一样本的第i组特征添加第一标签包括：
    在所述第一综合分高于第一阈值的情况下，为所述第一样本的第i组特征添加异常账户的标签；
    在所述第一综合分低于第二阈值的情况下，为所述第一样本的第i组特征添加正常账户的标签，所述第二阈值小于所述第一阈值。
  5. 根据权利要求1所述的方法，还包括，针对所述多个未标注样本，对应得到针对第i组特征的多个综合分；
    所述在所述第一综合分满足预定条件的情况下，为所述第一样本的第i组特征添加第一标签包括：
    如果所述第一综合分在所述多个综合分的从大到小排序中位于前端的第一数目之内，为所述第一样本的第i组特征添加异常账户的标签；
    如果所述第一综合分在所述多个综合分的从大到小排序中位于后端的第二数目之内，为所述第一样本的第i组特征添加正常账户的标签。
  6. 根据权利要求1所述的方法，还包括，用更新后的第i个子标注样本集，再次训练所述第i子模型。
  7. 一种账户预测方法，包括：
    获取待测账户的账户特征；
    按照预定分类规则将所述账户特征划分为n组特征；
    将所述n组特征分别输入n个子模型，得到所述n个子模型对所述待测账户异常概率的n个打分，所述n个子模型利用权利要求1的方法所获取的训练样本训练得到；
    根据所述n个打分，确定所述待测账户的总得分；
    根据所述总得分，确定所述待测账户的预测结果。
  8. 根据权利要求7所述的方法，其中根据所述n个打分，确定所述账户的总得分包括：
    对所述n个打分求和，将和值作为总得分；或者
    对所述n个打分求平均，将均值作为总得分。
  9. 根据权利要求7所述的方法，其中根据所述总得分，确定所述待测账户的预测结果包括：
    在所述总得分大于预定阈值的情况下，确定所述待测账户为异常账户。
  10. 根据权利要求7所述的方法，其中根据所述总得分，确定所述待测账户的预测结果包括：
    根据所述总得分，确定所述待测账户为异常账户的概率值，将该概率值作为预测结果。
  11. 一种获取训练样本的装置，包括：
    标注样本获取单元，配置为获取标注样本集，所述标注样本集包括M个标注样本，每个标注样本包括与账户信息相关联的样本特征，以及该账户是否为异常账户的样本标签，其中所述样本特征按照预定分组规则被划分为n组特征，其中n为大于2的自然数；
    子样本集形成单元，配置为形成n个子标注样本集，其中第i个子标注样本集包括M个子标注样本，每个子标注样本包括所述n组特征中的第i组特征作为子样本特征，以及所述样本标签作为其子样本标签；
    子模型训练单元，配置为分别利用所述n个子标注样本集训练得到n个子模型，其中第i子模型用于基于第i组特征预测对应账户为异常账户的概率；
    未标注样本获取单元，配置为获取多个未标注样本，每个未标注样本包括按照所述预定分组规则进行划分的n组特征，所述多个未标注样本包括第一样本；
    打分获取单元，配置为将所述第一样本的n组特征中除第i组特征外的(n-1)组特征，分别对应输入所述n个子模型中除第i子模型外的(n-1)个子模型，分别得到所述(n-1)个子模型对该第一样本的(n-1)个打分，所述打分表示与该第一样本对应的账户为异常账户的概率；
    综合分获取单元，配置为基于所述(n-1)个打分，得到针对第i组特征的第一综合分；
    标签添加单元，配置为在所述第一综合分满足预定条件的情况下，为所述第一样本的第i组特征添加第一标签，所述第i组特征和所述第一标签形成第一子标注样本；
    样本添加单元，配置为将所述第一子标注样本添加到所述第i个子标注样本集，以更新所述第i个子标注样本集。
  12. 根据权利要求11所述的装置，其中所述n组特征包括以下特征组中的多个：账户对应的用户的基本属性特征；用户的历史行为特征；用户的关联关系特征；用户的交互特征。
  13. 根据权利要求11所述的装置，其中所述综合分获取单元配置为：
    对所述(n-1)个打分求和，将和值作为所述第一综合分；或者
    对所述(n-1)个打分求平均，将平均值作为所述第一综合分。
  14. 根据权利要求11所述的装置，其中所述标签添加单元配置为：
    在所述第一综合分高于第一阈值的情况下，为所述第一样本的第i组特征添加异常账户的标签；
    在所述第一综合分低于第二阈值的情况下，为所述第一样本的第i组特征添加正常账户的标签，所述第二阈值小于所述第一阈值。
  15. 根据权利要求11所述的装置，所述综合分获取单元配置为，针对所述多个未标注样本，对应得到针对第i组特征的多个综合分；
    所述标签添加单元配置为：
    如果所述第一综合分在所述多个综合分的从大到小排序中位于前端的第一数目之内，为所述第一样本的第i组特征添加异常账户的标签；
    如果所述第一综合分在所述多个综合分的从大到小排序中位于后端的第二数目之内，为所述第一样本的第i组特征添加正常账户的标签。
  16. 根据权利要求11所述的装置，所述子模型训练单元还配置为，用更新后的第i个子标注样本集，再次训练所述第i子模型。
  17. 一种账户预测装置，包括：
    特征获取单元，配置为获取待测账户的账户特征；
    特征分组单元，配置为按照预定分类规则将所述账户特征划分为n组特征；
    打分获取单元，配置为将所述n组特征分别输入n个子模型，得到所述n个子模型对所述待测账户异常概率的n个打分，所述n个子模型利用权利要求11的装置所获取的训练样本训练得到；
    总分确定单元，配置为根据所述n个打分，确定所述待测账户的总得分；
    结果确定单元，配置为根据所述总得分，确定所述待测账户的预测结果。
  18. 根据权利要求17所述的装置，其中所述总分确定单元配置为：
    对所述n个打分求和，将和值作为总得分；或者
    对所述n个打分求平均，将均值作为总得分。
  19. 根据权利要求17所述的装置，其中所述结果确定单元配置为：
    在所述总得分大于预定阈值的情况下，确定所述待测账户为异常账户。
  20. 根据权利要求17所述的装置，其中所述结果确定单元配置为：
    根据所述总得分，确定所述待测账户为异常账户的概率值，将该概率值作为预测结果。
  21. 一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。
PCT/CN2019/097090 2018-10-12 2019-07-22 训练样本获取方法，账户预测方法及对应装置 Ceased WO2020073714A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811191003.2A CN109583468B (zh) 2018-10-12 2018-10-12 训练样本获取方法，样本预测方法及对应装置
CN201811191003.2 2018-10-12

Publications (1)

Publication Number Publication Date
WO2020073714A1 true WO2020073714A1 (zh) 2020-04-16

Family

ID=65920055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/097090 Ceased WO2020073714A1 (zh) 2018-10-12 2019-07-22 训练样本获取方法，账户预测方法及对应装置

Country Status (3)

Country Link
CN (1) CN109583468B (zh)
TW (1) TW202014940A (zh)
WO (1) WO2020073714A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860644A (zh) * 2020-07-20 2020-10-30 北京百度网讯科技有限公司 一种异常账号的识别方法、装置、设备和存储介质
CN113011895A (zh) * 2021-03-31 2021-06-22 腾讯科技（深圳）有限公司 关联账户样本筛选方法、装置和设备及计算机存储介质
CN113537630A (zh) * 2021-08-04 2021-10-22 支付宝(杭州)信息技术有限公司 业务预测模型的训练方法及装置
CN113807536A (zh) * 2021-04-01 2021-12-17 京东科技控股股份有限公司 一种数据处理方法、装置及电子设备
CN114649064A (zh) * 2022-03-25 2022-06-21 国科大杭州高等研究院 预测模型及构建方法、预测方法及装置、电子设备
CN114861820A (zh) * 2022-05-27 2022-08-05 北京百度网讯科技有限公司 样本数据筛选方法、模型训练方法、装置及电子设备
CN114926174A (zh) * 2022-05-06 2022-08-19 上海浦东发展银行股份有限公司 一种账户监测方法、装置、设备及存储介质
CN116071611A (zh) * 2021-10-28 2023-05-05 株式会社理光 用于扩充图像特征样本以及构建神经网络的方法
CN116302661A (zh) * 2023-05-15 2023-06-23 合肥联宝信息技术有限公司 一种异常预测方法、装置、电子设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583468B (zh) * 2018-10-12 2020-09-22 阿里巴巴集团控股有限公司 训练样本获取方法，样本预测方法及对应装置
CN110175653A (zh) * 2019-05-29 2019-08-27 北京达佳互联信息技术有限公司 图像识别的方法、装置、设备及存储介质
CN110222791B (zh) * 2019-06-20 2020-12-04 杭州睿琪软件有限公司 样本标注信息的审核方法及装置
CN110310123B (zh) * 2019-07-01 2023-09-26 创新先进技术有限公司 风险判断方法和装置
CN112183759B (zh) * 2019-07-04 2024-02-13 创新先进技术有限公司 模型训练方法、装置及系统
CN112183757B (zh) * 2019-07-04 2023-10-27 创新先进技术有限公司 模型训练方法、装置及系统
CN112711643B (zh) * 2019-10-25 2023-10-10 北京达佳互联信息技术有限公司 训练样本集获取方法及装置、电子设备、存储介质
US20230064674A1 (en) * 2021-08-31 2023-03-02 International Business Machines Corporation Iterative training of computer model for machine learning
CN117113071B (zh) * 2022-05-12 2025-09-30 腾讯科技（深圳）有限公司 训练样本处理方法、数据分类方法、装置以及电子设备
CN114896385A (zh) * 2022-07-15 2022-08-12 北京聆心智能科技有限公司 一种对话生成模型的训练以及对话生成方法、装置及设备
CN116304716A (zh) * 2023-04-12 2023-06-23 中国三峡新能源(集团)股份有限公司 设备异常的识别方法、装置及服务器
CN119295852B (zh) * 2024-09-11 2025-05-23 深圳市睿格晟设备有限公司 复杂背景噪声条件下特征识别机器学习算法的优化方法
CN119671747A (zh) * 2024-11-27 2025-03-21 中国平安人寿保险股份有限公司 保单投诉评估方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314174A1 (en) * 2013-12-10 2016-10-27 China Unionpay Co., Ltd. Data mining method
CN106294590A (zh) * 2016-07-29 2017-01-04 重庆邮电大学 一种基于半监督学习的社交网络垃圾用户过滤方法
CN106709513A (zh) * 2016-12-10 2017-05-24 中泰证券股份有限公司 一种基于有监督机器学习的证券配资账户识别方法
CN108595495A (zh) * 2018-03-15 2018-09-28 阿里巴巴集团控股有限公司 预测异常样本的方法和装置
CN109583468A (zh) * 2018-10-12 2019-04-05 阿里巴巴集团控股有限公司 训练样本获取方法，样本预测方法及对应装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977667B (zh) * 2016-10-21 2019-02-19 西安电子科技大学 基于半监督协同训练的sar目标鉴别方法
CN107992887B (zh) * 2017-11-28 2021-02-19 东软集团股份有限公司 分类器生成方法、分类方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314174A1 (en) * 2013-12-10 2016-10-27 China Unionpay Co., Ltd. Data mining method
CN106294590A (zh) * 2016-07-29 2017-01-04 重庆邮电大学 一种基于半监督学习的社交网络垃圾用户过滤方法
CN106709513A (zh) * 2016-12-10 2017-05-24 中泰证券股份有限公司 一种基于有监督机器学习的证券配资账户识别方法
CN108595495A (zh) * 2018-03-15 2018-09-28 阿里巴巴集团控股有限公司 预测异常样本的方法和装置
CN109583468A (zh) * 2018-10-12 2019-04-05 阿里巴巴集团控股有限公司 训练样本获取方法，样本预测方法及对应装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860644A (zh) * 2020-07-20 2020-10-30 北京百度网讯科技有限公司 一种异常账号的识别方法、装置、设备和存储介质
CN113011895A (zh) * 2021-03-31 2021-06-22 腾讯科技（深圳）有限公司 关联账户样本筛选方法、装置和设备及计算机存储介质
CN113011895B (zh) * 2021-03-31 2023-07-18 腾讯科技（深圳）有限公司 关联账户样本筛选方法、装置和设备及计算机存储介质
CN113807536A (zh) * 2021-04-01 2021-12-17 京东科技控股股份有限公司 一种数据处理方法、装置及电子设备
CN113807536B (zh) * 2021-04-01 2024-04-16 京东科技控股股份有限公司 一种数据处理方法、装置及电子设备
CN113537630A (zh) * 2021-08-04 2021-10-22 支付宝(杭州)信息技术有限公司 业务预测模型的训练方法及装置
CN116071611A (zh) * 2021-10-28 2023-05-05 株式会社理光 用于扩充图像特征样本以及构建神经网络的方法
CN114649064A (zh) * 2022-03-25 2022-06-21 国科大杭州高等研究院 预测模型及构建方法、预测方法及装置、电子设备
CN114926174A (zh) * 2022-05-06 2022-08-19 上海浦东发展银行股份有限公司 一种账户监测方法、装置、设备及存储介质
CN114861820A (zh) * 2022-05-27 2022-08-05 北京百度网讯科技有限公司 样本数据筛选方法、模型训练方法、装置及电子设备
CN116302661A (zh) * 2023-05-15 2023-06-23 合肥联宝信息技术有限公司 一种异常预测方法、装置、电子设备及存储介质
CN116302661B (zh) * 2023-05-15 2023-10-13 合肥联宝信息技术有限公司 一种异常预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109583468B (zh) 2020-09-22
TW202014940A (zh) 2020-04-16
CN109583468A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
WO2020073714A1 (zh) 训练样本获取方法，账户预测方法及对应装置
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
US11580560B2 (en) Identity resolution for fraud ring detection
CN116049412B (zh) 文本分类方法、模型训练方法、装置及电子设备
TW202020691A (zh) 特徵詞的確定方法、裝置和伺服器
CN110263822B (zh) 一种基于多任务学习方式的图像情感分析方法
CN110110792A (zh) 一种基于增量学习的多标签数据流分类方法
CN109087205A (zh) 舆情指数的预测方法及装置、计算机设备和可读存储介质
CN116955534B (zh) 投诉工单智能处理方法、装置、设备及存储介质
CN113420127B (zh) 威胁情报处理方法、装置、计算设备及存储介质
CN118094639B (zh) 基于人工智能的企业大数据挖掘方法及系统
CN109271624A (zh) 一种目标词确定方法、装置及存储介质
CN118627623A (zh) 一种基于因果推断的多模态事实核查方法
CN115687732B (zh) 基于ai和流式计算的用户分析方法及系统
Cai et al. Semantic and correlation disentangled graph convolutions for multilabel image recognition
CN120523955B (zh) 基于伪标签的意图识别模型训练方法、意图识别方法和装置
CN115080735A (zh) 关系抽取模型优化方法、装置和电子设备
CN107515854B (zh) 基于带权时序文本网络的时序社区以及话题的检测方法
CN115099310A (zh) 训练模型、对企业进行行业分类的方法和装置
CN113360724A (zh) 物品属性值的确定方法和装置
CN109542766A (zh) 基于代码映射和词法分析的大规模程序相似性快速检测与证据生成方法
CN116894216A (zh) 服务器硬件告警类别的确定方法、装置及电子设备
JP7700273B2 (ja) ラベルなしデータからのフィールド抽出のためのシステム及び方法
CN109036390A (zh) 一种基于集成梯度提升机的广播关键字识别方法
US20240394564A1 (en) Exploratory offline generative online machine learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870110

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19870110

Country of ref document: EP

Kind code of ref document: A1