WO2021052422A1 - 用于执行自动机器学习方案的系统、方法及电子设备 - Google Patents

用于执行自动机器学习方案的系统、方法及电子设备 Download PDF

Info

Publication number
WO2021052422A1
WO2021052422A1 PCT/CN2020/115913 CN2020115913W WO2021052422A1 WO 2021052422 A1 WO2021052422 A1 WO 2021052422A1 CN 2020115913 W CN2020115913 W CN 2020115913W WO 2021052422 A1 WO2021052422 A1 WO 2021052422A1
Authority
WO
WIPO (PCT)
Prior art keywords
stage
strategy
machine learning
training
data
Prior art date
Application number
PCT/CN2020/115913
Other languages
English (en)
French (fr)
Inventor
乔胜传
王敏
Original Assignee
第四范式（北京）技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 第四范式（北京）技术有限公司 filed Critical 第四范式（北京）技术有限公司
Publication of WO2021052422A1 publication Critical patent/WO2021052422A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to the field of data analysis, and more specifically, to a system for executing an automatic machine learning solution, a method for executing an automatic machine learning solution, an electronic device, and a computer-readable storage medium.
  • the automatic machine learning process can be regarded as an automatic modeling program.
  • the core of the program is an automatic modeling strategy, including some automatic modeling methods, such as automatic control of sample generation (That is, data splicing), feature extraction, model training and other processes are used as means to produce the best modeling effect as the goal, and the process of automatic modeling is carried out.
  • the program is an automatic modeling black box, that is, after data is input, the automatic modeling black box automatically executes the machine learning process and directly outputs the model results, and the system operator cannot intuitively feel the automatic modeling
  • the execution of the black box can only wait for the overall end of the program, and then observe the model results, the visibility is poor, and the entire automatic modeling black box is a single strategy and is not executed in stages, so this method is used for different business scenarios , Will cause larger effects and performance problems.
  • An object of the present disclosure is to provide a system for executing an automatic machine learning program, which includes: a program editor configured to set various stages included in the automatic machine learning training, and provide for each stage separately At least one configuration interface for the user to configure at least one strategy of the corresponding stage through the at least one configuration interface; the solution executor is configured to execute the selected ones of each stage in parallel according to the execution sequence of each stage A strategy is connected to multiple workflows in series to obtain the execution result corresponding to each of the workflows, and according to the execution result, a workflow is selected as the final machine learning solution; wherein, each strategy in the previous stage is separately Connect in series with each strategy of the latter stage.
  • the various stages include a data splicing stage, a feature extraction stage, and a model training stage.
  • the data splicing stage is configured to splice the imported behavior data and feedback data into training data;
  • the feature extraction stage is configured to perform feature extraction on the training data.
  • the model training stage is configured to use a model training algorithm to train a machine learning model based on the training samples.
  • the scheme editor is configured to provide a different generation method for each of the strategies to generate the strategy; the generation method includes directed acyclic Figure, at least one of script language generation and programming language generation; wherein the script language generation includes at least one of custom script language generation and mainstream script language generation.
  • the solution editor is configured to provide at least two configuration interfaces for the data splicing phase; and, one of the configuration interfaces is configured to configure the data splicing
  • the stage includes an expert strategy, and another configuration interface is configured to configure the data splicing stage to include an automatic splicing strategy.
  • the solution executor is configured to execute multiple tasks in series in parallel according to the execution sequence of the various stages.
  • a judgment step is introduced after at least one of the stages, so that only the best effect of the current stage is continued to the subsequent stages.
  • the solution executor is configured to provide a configuration interface for the judgment step, for the user to configure the judgment step through the configuration interface.
  • the solution executor is configured to provide different generation methods to generate the judgment step;
  • the generation method includes at least one of script language generation and programming language generation ;
  • the script language generation includes at least one of custom script language generation and mainstream script language generation.
  • system further includes an information displayer configured to display the execution information of each stage according to the stage.
  • the information presenter is configured to provide execution information of the various stages on the same interactive interface.
  • the first part of the interactive interface is configured to display the overall operation information and the overall operation diagram of the automatic machine learning training process; wherein, the overall operation diagram is a directed acyclic Figure, and, the directed acyclic graph displays the current progress of each stage; the second part of the interactive interface is configured to display the current operating state of each stage; the third part of the interactive interface The part is configured to display resource occupancy and log information of the automatic machine learning training process; the second part of the interactive interface is also configured to display the strategy content of each stage.
  • a method for executing an automatic machine learning solution which includes: setting each stage included in the automatic machine learning training; and for each of the stages, respectively providing at least one configuration interface; Acquire at least one strategy of the corresponding stage configured through the at least one configuration interface; according to the execution sequence of the various stages, execute in parallel multiple workflows that are connected in series by a strategy selected from each stage to obtain the corresponding The execution result of each workflow; wherein, each strategy of the previous stage is connected in series with each strategy of the latter stage; and according to the execution result, a workflow is selected as the final machine learning solution.
  • the various stages include a data splicing stage, a feature extraction stage, and a model training stage.
  • the data splicing stage is configured to splice the imported behavior data and feedback data into training data;
  • the feature extraction stage is configured to perform feature extraction on the training data.
  • the model training stage is configured to use a model training algorithm to train a machine learning model based on the training samples.
  • the method further includes: for each of the strategies, a different generation method is provided to generate the strategy; the generation method includes a directed acyclic graph, a script At least one of language generation and programming language generation; wherein the script language generation includes at least one of custom script language generation and mainstream script language generation.
  • the method further includes: respectively providing at least two configuration interfaces for the data splicing stage; and, one of the configuration interfaces is configured to configure the data splicing stage including an expert Strategy, another configuration interface is configured to configure the data splicing phase including an automatic splicing strategy.
  • the method further includes: in accordance with the execution sequence of the various stages, a process of parallelly executing multiple workflows that are connected in series by a strategy selected from each stage In the process, a judging step is introduced after at least one of the stages, so that only the optimal effect of the current stage continues to the subsequent stage.
  • the method further includes: providing a configuration interface for the judging step; and obtaining the judging step configured through the configuration interface.
  • the method further includes: providing different generation methods to generate the judgment step; the generation method includes at least one of script language generation and programming language generation; wherein, The script language generation includes at least one of custom script language generation and mainstream script language generation.
  • the method further includes: displaying the execution information of each stage according to the stage.
  • the method further includes: providing the execution information of the various stages on the same interactive interface.
  • the method further includes: the first part of the interactive interface is configured to display the overall operation information and the overall operation diagram of the automatic machine learning training process; wherein, the overall operation The picture is a directed acyclic graph, and the directed acyclic graph displays the current progress of each of the stages; the second part of the interactive interface is configured to display the current operating status of each of the stages; The third part of the interactive interface is configured to display resource occupancy and log information of the automatic machine learning training process; the second part of the interactive interface is also configured to display the strategy content of each stage.
  • an electronic device which includes the system for executing an automatic machine learning scheme as described in the first aspect of the present disclosure; or, it includes a processor and a memory, and the memory is configured To store instructions, the instructions are configured to control the processor to execute the method according to the first aspect of the present disclosure.
  • a computer-readable storage medium wherein a computer program is stored thereon, and the computer program, when executed by a processor, implements the method as described in the second aspect of the present disclosure.
  • the system, method and electronic device of this embodiment divides the automatic machine learning training process into various stages, and provides at least one configuration interface for each stage, so that the user can configure the corresponding configuration through at least one configuration interface.
  • At least one strategy of the stage and in accordance with the execution order of each stage, execute multiple workflows in series from a strategy selected in each stage in parallel to obtain the execution result corresponding to each workflow, and select according to the execution result
  • a workflow is used as the final machine learning solution, and each strategy of the previous stage is connected in series with each strategy of the latter stage. That is, the system of the present disclosure supports simultaneous operation of multiple stages and multiple strategies, and the best of them is selected In order to improve the modeling effect and performance of automatic modeling in various business scenarios, we can piece together a complete automatic machine learning solution.
  • Fig. 1 is a schematic diagram of the hardware structure of an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of a process for executing an automatic machine learning solution according to an embodiment of the present disclosure
  • Figures 3a-6 are examples for executing an automatic machine learning scheme according to an exemplary embodiment of the present disclosure
  • Fig. 7a is a functional block diagram of a system for executing an automatic machine learning scheme according to an embodiment of the present disclosure
  • Fig. 7b is a functional block diagram of a system for executing an automatic machine learning scheme according to another embodiment of the present disclosure.
  • Fig. 8 is a functional block diagram of an electronic device according to an embodiment of the present disclosure.
  • Fig. 9 is a schematic diagram of the hardware structure of an electronic device according to another embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a hardware configuration of an electronic device 1000 that can implement an embodiment of the present disclosure.
  • the electronic device 1000 may be a portable computer, a desktop computer, a mobile phone, a tablet computer, and the like.
  • the electronic device 1000 may include a processor 1100, a memory 1200, an interface device 1300, a communication device 1400, a display device 1500, an input device 1600, a speaker 1700, a microphone 1800, and so on.
  • the processor 1100 may be a central processing unit (CPU), a microprocessor MCU, or the like.
  • the memory 1200 includes, for example, ROM (Read Only Memory), RAM (Random Access Memory), nonvolatile memory such as a hard disk, and the like.
  • the interface device 1300 includes, for example, a USB interface, a headphone interface, and the like.
  • the communication device 1400 can, for example, perform wired or wireless communication, and specifically may include Wifi communication, Bluetooth communication, 2G/3G/4G/5G communication, and the like.
  • the display device 1500 is, for example, a liquid crystal display, a touch display, or the like.
  • the input device 1600 may include, for example, a touch screen, a keyboard, a somatosensory input, and the like. The user can input/output voice information through the speaker 1700 and the microphone 1800.
  • the electronic device shown in FIG. 1 is merely illustrative and in no way implies any limitation on the present disclosure, its application or use.
  • the memory 1200 of the electronic device 1000 is configured to store instructions, and the instructions are configured to control the processor 1100 to operate to execute any item provided by the embodiments of the present disclosure for executing automatic machine learning solutions. method.
  • the present disclosure may only involve some of the devices.
  • the electronic device 1000 only involves the processor 1100 and the storage device 1200. Technicians can design instructions according to the solutions disclosed in the present disclosure. How the instruction controls the processor to operate is well known in the art, so it will not be described in detail here.
  • the electronic device 1000 may include a system 7000 for executing an automatic machine learning solution for implementing the method for executing an automatic machine learning solution according to any embodiment of the present disclosure.
  • a method for executing an automatic machine learning solution is provided.
  • the method for executing an automatic machine learning solution may be executed by the electronic device 1000 or the system 7000 for executing the automatic machine learning solution.
  • the method for executing an automatic machine learning solution of this embodiment may include the following steps S2100 to S2500:
  • step S2100 each stage included in the automatic machine learning training is set.
  • the stage is the smallest execution unit of automatic machine learning training.
  • the automatic machine learning training may be divided into a data splicing phase, a feature extraction phase, and a model training phase.
  • the data splicing stage is configured to splice the imported behavior data and feedback data into training data;
  • the feature extraction stage is configured to perform feature extraction on the training data to generate training samples;
  • the model training stage is configured to use model training algorithms , Based on training samples to train machine learning models.
  • the behavior data and the feedback data relate to the characteristic part of the training sample, and can be imported by the user in different ways, which is not described in detail in this embodiment.
  • data splicing stage, feature extraction stage, and model training stage are only typical stages divided by automatic machine learning training, which are applicable to different business scenarios, but this embodiment is not limited to this.
  • it may also be Automatic machine learning training is divided into data template definition stage, data splicing stage, feature extraction stage and model training stage.
  • the automatic machine learning training can also be divided into other stages according to different business scenarios. This embodiment does not limit the specific number of stages and the specific division method of the stages.
  • the following methods can be adopted, including: obtaining candidate model configurations sampled during automatic machine learning for the target data set, where a candidate model configuration includes a certain machine learning algorithm and a set of hyperparameters; For each candidate model configuration in at least part of the obtained candidate model configurations, the revised evaluation value corresponding to the candidate model configuration is obtained by the following method: using the first fidelity evaluation method for the candidate model Configure the evaluation to obtain the first evaluation value, use the evaluation value residual predictor to predict the difference between the first evaluation value and the second evaluation value of the candidate model configuration, and use the difference to correct the first evaluation value.
  • the second evaluation value refers to the evaluation value that should be obtained when the candidate model configuration is evaluated using the second fidelity evaluation method, and the second guarantee The fidelity of the truth evaluation method is higher than that of the first fidelity evaluation method; based on the evaluation value corresponding to each candidate model configuration, a candidate model configuration is selected for the target data set.
  • the step of initializing the evaluation value residual predictor before using the evaluation value residual predictor to perform prediction, is further included, and this step includes: obtaining at least one candidate model randomly sampled during automatic machine learning for the target data set Configuration; respectively use the first fidelity evaluation method and the second fidelity evaluation method to evaluate each candidate model configuration in the at least one candidate model configuration to obtain a first evaluation corresponding to each candidate model configuration Value and a second evaluation value; each candidate model configuration in the at least one candidate model configuration is used as sample data, and the difference between the second evaluation value and the first evaluation value of the candidate model configuration is used as a mark of the sample data , Constructing training samples for training the evaluation value residual predictor, and training the evaluation value residual predictor based on the constructed training samples.
  • the candidate model configuration sampled during automatic machine learning for the target data set is obtained, and for each candidate model configuration of at least some of the obtained candidate model configurations, the candidate model configuration is obtained.
  • the corresponding revised evaluation value includes: whenever a candidate model configuration is sampled, the current candidate model configuration is evaluated using the first fidelity evaluation method to obtain the first evaluation value, and the evaluation value residual predictor is used to predict The difference between the first evaluation value and the second evaluation value of the current candidate model configuration, and the first evaluation value is corrected by the difference to obtain the revised evaluation value corresponding to the current candidate model configuration; at least based on the current The revised evaluation value corresponding to the candidate model configuration is sampled for the new candidate model configuration.
  • the method further includes: each time a first preset number of candidate model configurations and their corresponding revised evaluation values are obtained, selecting from the first preset number of candidate model configurations Select a candidate model configuration; use the second fidelity evaluation method to evaluate the selected candidate model configuration to obtain the second evaluation value of the candidate model, use the candidate model configuration as sample data, and set the second evaluation value of the candidate model configuration
  • the difference between the second evaluation value and the first evaluation value is used as a mark of the sample data, and a new training sample for training the evaluation value residual predictor is constructed; at least the evaluation value residual predictor is trained based on the constructed new training sample , Get the updated evaluation value residual predictor; use the updated evaluation value residual predictor to predict the difference between the second evaluation value and the first evaluation value corresponding to the candidate model configuration sampled subsequently, and then obtain the corresponding After the revised evaluation value of the evaluation value; when the evaluation value residual predictor is updated for the second preset number of times, stop sampling the new candidate model configuration.
  • the selecting a candidate model configuration from the candidate model configurations of the first preset value includes: selecting a corresponding candidate model configuration from the candidate model configurations of the first preset value A candidate model configuration with the highest/lowest revised evaluation value; the selection of a candidate model configuration for the target data set based on the evaluation value corresponding to each candidate model configuration includes: performing a second fidelity evaluation method The candidate model configuration with the highest/lowest second evaluation value is selected among the candidate model configurations for which the corresponding second evaluation value is obtained.
  • the method further includes: initializing the evaluation value residual predictor before using the evaluation value residual predictor to perform prediction, wherein the evaluation value residual predictor includes a plurality of sub-predictors, wherein the initialization
  • the evaluation value residual predictor step includes: obtaining at least one candidate model configuration randomly sampled during automatic machine learning for the target data set; using the first fidelity evaluation method to perform evaluation on each candidate model in the at least one candidate model configuration The configuration is evaluated to obtain the first evaluation value corresponding to each candidate model configuration; for each sub-predictor, it is trained in the following manner: each candidate model configuration in the at least one candidate model configuration is used as a sample Data, and use the third fidelity evaluation method corresponding to the sub-predictor to evaluate the candidate model configuration between the third evaluation value of the candidate model configuration and the first evaluation value of the candidate model configuration The difference value of the sample data is used as the mark of the sample data, the first training sample for training the sub-predictor is constructed, and the sub-predictor is trained based on the constructed first training sample, wherein
  • the candidate model configuration sampled during automatic machine learning for the target data set is obtained, and for each candidate model configuration of at least some of the obtained candidate model configurations, the candidate model configuration is obtained.
  • the corresponding revised evaluation value includes: whenever a candidate model configuration is sampled, the revised evaluation value corresponding to the current candidate model configuration is obtained by the following method: the current candidate model configuration is configured using the first fidelity evaluation method Perform evaluation to obtain a first evaluation value; each sub-predictor of the plurality of sub-predictors is used to predict the difference between the first evaluation value and the third evaluation value of the current candidate model configuration, where the third evaluation value Refers to the evaluation value that should be obtained when the candidate model configuration is evaluated by the third fidelity evaluation method corresponding to each sub-predictor, and the fidelity of the third fidelity evaluation method is lower than the first fidelity evaluation Between the fidelity of the method and the fidelity of the second fidelity evaluation method; amended by the result obtained by multiplying and summing the difference predicted by each sub-predictor and the weight of each sub-predict
  • the method further includes: each time a first preset number of candidate model configurations and their corresponding revised evaluation values are obtained, configuring from the first preset number of candidate models Select a candidate model configuration in the selection; use the second fidelity evaluation method to evaluate the selected candidate model configuration to obtain the second evaluation value of the candidate model configuration, which will be a feature vector composed of the difference predicted by each sub-predictor As sample data, and use the second evaluation value and the first evaluation value of the candidate model configuration as the markers of the sample data to construct a training sample for training the linear regression model; at least train the linear regression based on the constructed training sample
  • the model is used to obtain the weights of the updated sub-predictors, and then the evaluation value residual predictors are updated; each sub-predictor is used to perform prediction on the candidate model configuration of the subsequent sampling, and the prediction results of each sub-predictor are compared with each The updated weights of the sub-predictors are multiplied and the results obtained are summed to correct the first evaluation value, thereby obtaining the corresponding
  • the system 7000 for executing an automatic machine learning scheme may include a scheme editor 7100, and the scheme editor 7100 divides the automatic machine learning training into a data splicing phase, a feature extraction phase, and a model training phase. And so on.
  • At least one strategy can be set for each stage through at least one configuration interface in combination with subsequent steps, and in accordance with the execution order of each stage, parallel execution is selected from each stage One of the multiple workflows connected in series by one strategy to obtain the execution result corresponding to each workflow, and then according to the execution result, select the workflow with the best effect as the final machine learning solution.
  • step S2200 at least one configuration interface is provided for each stage.
  • the configuration interface can be, for example, an input box, a drop-down list, voice input, etc.
  • the system operator can input at least one strategy of the corresponding stage through the provided at least one input box; for another example, the system operator can use the provided drop-down list Select at least one strategy for the corresponding stage; for another example, the system operator can voice input at least one strategy for the corresponding stage.
  • the scheme editor 7100 may respectively provide at least one configuration interface for each stage.
  • the scheme editor 7100 may respectively provide at least one configuration interface for the data splicing stage, the feature extraction stage, and the model training stage.
  • At least one strategy can be set for each stage through at least one configuration interface in combination with subsequent steps, and the parallel execution is selected by each stage according to the execution order of each stage.
  • the multiple workflows formed in series by a strategy are obtained, and the execution result corresponding to each workflow is obtained, and then according to the execution result, the workflow with the best effect is selected as the final machine learning solution.
  • Step S2300 Obtain at least one strategy of a corresponding stage configured through at least one configuration interface.
  • the scheme editor 7100 may configure at least one strategy for each stage through at least one configuration interface.
  • the scheme editor 7100 configures the corresponding data splicing stage through at least one configuration interface of the corresponding data splicing stage.
  • At least one strategy is configured to configure at least one strategy corresponding to the feature extraction stage through at least one configuration interface corresponding to the feature extraction stage, and at least one strategy corresponding to the model training stage is configured through at least one configuration interface corresponding to the model training stage.
  • the generation method may be, for example, at least one of directed acyclic graph, script language generation, and programming language generation.
  • automatic machine learning training includes a data splicing phase, a feature extraction phase, and a model training phase.
  • the strategy selected in the data splicing stage can be expert strategy and automatic splicing strategy.
  • the expert strategy can be the data table 1.
  • Data table 2 and data table 3 are spliced into splicing table A, and the automatic splicing strategy can be to splicing data table 1, data table 2 and data table 3 into splicing table B, that is, after the data splicing stage is executed, You can get a spelling table A and a spelling table B.
  • the A spelling is generated B feature table
  • B is the result of the feature engineering method A, which generates the A feature table of the table B
  • the feature engineering method B the B feature table of the table B is generated.
  • the automatic parameter adjustment algorithm A is selected.
  • These 4 feature tables are respectively subjected to the same automatic parameter adjustment method A, and 4 models are generated. That is, it can be understood that, in Figure 3a and Figure 3b, there are two strategies for the data splicing stage, two strategies for the feature extraction stage, and one strategy for the model training stage. There are five strategies in the three stages. The strategies are chained into four workflows.
  • step S2400 according to the execution order of each stage, multiple workflows connected in series by a strategy selected from each stage are executed in parallel, and after the execution result corresponding to each workflow is obtained, the best effect can be selected according to the execution result A workflow as the final machine learning solution.
  • step S2500 according to the execution result, a workflow is selected as the final machine learning solution.
  • the machine learning model corresponding to the machine learning model with the highest AUC may be selected as the most final machine learning model in the workflow, where AUC (Area Under Curve) is the receiver operating characteristic ROC (receiver operating characteristic) curve and coordinates The area enclosed by the shaft.
  • AUC Absolute Under Curve
  • ROC receiver operating characteristic
  • the method of this embodiment divides the automatic machine learning training process into various stages, and provides at least one configuration interface for each stage, so that the user can configure at least one of the corresponding stages through the at least one configuration interface.
  • the execution order of each stage multiple workflows connected in series by a strategy selected from each stage are executed in parallel, and the execution result corresponding to each workflow is obtained.
  • a workflow is selected as the final
  • each strategy of the previous stage is connected in series with each strategy of the latter stage. That is, the disclosed system supports simultaneous operation of multiple stages and multiple strategies, and selects the best strategy to generate and piece together
  • a complete automatic machine learning solution can improve the modeling effect and performance of automatic modeling in various business scenarios.
  • the method for executing an automatic machine learning scheme of the present disclosure may further include:
  • the solution executor 7200 may, in the process of executing multiple workflows connected in series by a strategy selected from each stage in parallel according to the execution sequence of each stage, introduce judgment after at least one stage. step.
  • automatic machine learning training includes a data splicing phase, a feature extraction phase, and a model training phase.
  • the strategy selected in the data splicing stage can be expert strategy and automatic splicing strategy.
  • the expert strategy can be the data table 1.
  • Data table 2 and data table 3 are spliced into splicing table A, and through automatic splicing strategy, data table 1, data table 2 and data table 3 can be spliced into splicing table B, that is, after the data splicing stage is executed, Get Pin List A and Pin List B.
  • a merging step is introduced, that is, combining the results of the A spelling table and the B spelling table results to obtain the merged and splicing result, which is used as the input of the feature extraction stage.
  • the strategies selected in the feature extraction stage include feature engineering method A and feature engineering method B.
  • the merged tabulation result passes through feature engineering method A to generate a feature table of merged tabulation result A, and after feature engineering method B, a combined tabularity result is generated The B characteristic table.
  • the automatic parameter adjustment algorithm A is selected in the model training stage, and the two feature tables respectively pass the same automatic parameter adjustment algorithm A to generate two models.
  • the method for executing the automatic machine learning scheme of the present disclosure may further include:
  • a configuration interface is provided for users to configure the judgment step through the configuration interface.
  • the judgment step may be generated by different generation methods, and the generation method may be, for example, at least one of directed acyclic graph, script language generation, and programming language generation.
  • the script language generation includes at least one of custom script language generation and mainstream script language generation.
  • the custom scripting language and mainstream scripting language have been introduced in detail in the above embodiments, and will not be repeated here.
  • the configuration interface can be, for example, an input box, a drop-down list, voice input, etc., for example, a system operator can input a judgment step through the input box; another example, a system operator can select a judgment step through a drop-down list; another example, a system operator can Voice input judgment step.
  • the method for executing an automatic machine learning scheme of the present disclosure may further include:
  • the system 7000 for executing an automatic machine learning solution may include an information display device 7300, and the information display device 7300 displays the execution information of each stage according to the stage.
  • the information presenter 7300 may also provide execution information of various stages on the same interactive interface.
  • Figures 5 and 6 are exemplary schematic diagrams of interactive interfaces for providing execution information of various stages, which are only examples and do not limit the present disclosure.
  • the interactive interface may include a first part (middle part), a second part (left part), and a third part (right part).
  • the first part of the interactive interface can be used to display the overall operation information of the automatic machine learning training process and the overall operation graph; among them, the overall operation graph can be a directed acyclic graph (DAG graph), and a directed acyclic graph can be Show the current progress of each stage.
  • DAG graph directed acyclic graph
  • the directed acyclic graph (DAG graph) shown in the middle part of FIG. 6 shows 6 nodes: "feedback data” node, “behavior data” node, “sample generation” node, and “feature engineering” Node, "LR (Logistic Regression) Algorithm” node and "GBDT (Gradient Boosting Decision Tree) Algorithm” node.
  • DAG graph directed acyclic graph
  • the "feedback data” node and the “behavior data” node correspond to the data splicing stage
  • the “sample generation” node and the “feature engineering” node correspond to the feature extraction stage
  • the "LR (logistic regression) algorithm” node and the “GBDT” node (Gradient Boosting Decision Tree) Algorithm” node corresponds to the model training stage.
  • FIG. 6 shows two specific preset algorithms, but this is only an exemplary description, and the present disclosure does not limit the number of preset algorithms and specific algorithms.
  • the second part of the interactive interface can be used to display the current operating status of each stage, as well as to display the content of each stage of the strategy. For example, as shown in Figure 5, when the data splicing stage is executed, it can display the running status of the data splicing stage.
  • the left part of Figure 5 shows the number of samples generated during the data splicing stage, namely, splicing table 1 and splicing 2, and pruning The number of post samples etc.
  • the third part of the interactive interface can be used to display the resource occupation and log information of the automatic machine learning training process.
  • it can uniformly display the execution information of each stage by stage, so that system operators can understand the execution process of the automatic machine learning solution in real time and improve user experience.
  • a system 7000 for executing an automatic machine learning solution includes a solution editor 7100 and a solution executor 7200.
  • the solution editor 7100 is configured to set the stages included in the automatic machine learning training, and for each stage, at least one configuration interface is provided for the user to configure at least one of the corresponding stages through the at least one configuration interface.
  • Kind of strategy is provided for the user to configure at least one of the corresponding stages through the at least one configuration interface.
  • the solution executor 7200 is configured to execute multiple workflows connected in series by a strategy selected from each stage in parallel according to the execution sequence of the various stages, and obtain the execution result corresponding to each of the workflows. , And according to the execution result, select a workflow as the final machine learning solution; wherein, each strategy of the previous stage is connected in series with each strategy of the subsequent stage.
  • the various stages include a data splicing stage, a feature extraction stage, and a model training stage.
  • the model training stage is configured to use a model training algorithm to train a machine learning model based on the training samples.
  • the solution editor 7100 is configured to provide a different generation method for each strategy to generate the strategy.
  • the script language generation includes at least one of custom script language generation and mainstream script language generation.
  • the solution editor 7100 is configured to provide at least two configuration interfaces for the data splicing stage.
  • One of the configuration interfaces is configured to configure the data splicing stage to include an expert strategy, and the other configuration interface is configured to configure the data splicing stage to include an automatic splicing strategy.
  • the generation method includes at least one of script language generation and programming language generation.
  • the script language generation includes at least one of custom script language generation and mainstream script language generation.
  • the system 7000 further includes an information presenter 7300.
  • the information displayer 7300 is configured to display the execution information of each stage according to the stage.
  • the information presenter 7300 is configured to provide the execution information of the various stages on the same interactive interface.
  • the second part of the interactive interface is configured to display the current operating status of each stage.
  • the third part of the interactive interface is configured to display resource occupation and log information of the automatic machine learning training process.
  • the second part of the interactive interface is also configured to display the strategy content of each of the stages.
  • an electronic device 1000 is also provided.
  • the electronic device 1000 may be the electronic device shown in FIG. 1.
  • the electronic device 1000 may include the aforementioned apparatus 7000 for executing an automatic machine learning solution for implementing the method for executing an automatic machine learning solution according to any embodiment of the present disclosure.
  • the electronic device 1000 may further include a processor 1100 and a memory 1200, the memory 1200 is configured to store executable instructions; the processor 1100 is configured to operate the electronic device according to the control of the instructions 1000 executes a method for executing an automatic machine learning scheme according to any embodiment of the present disclosure.
  • the electronic device 1000 may be a mobile phone, a tablet computer, a palmtop computer, a desktop computer, a notebook computer, a workstation, a game console, and other devices.
  • a computer-readable storage medium is also provided, on which a computer program is stored.
  • the computer program is executed by a processor, the method for executing an automatic machine learning solution as in any embodiment of the present disclosure is implemented.
  • the present disclosure may be a device, a method, and/or a computer program product.
  • the computer program product may include a computer-readable storage medium loaded with computer-readable program instructions configured to cause a processor to implement various aspects of the present disclosure.
  • the computer-readable storage medium may be a tangible device that can hold and store instructions used by the instruction execution device.
  • the computer-readable storage medium may be, for example, but not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • Non-exhaustive list of computer-readable storage media include: portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM) Or flash memory), static random access memory (SRAM), portable compact disk read-only memory (CD-ROM), digital versatile disk (DVD), memory stick, floppy disk, mechanical encoding device, such as a printer with instructions stored thereon
  • RAM random access memory
  • ROM read-only memory
  • EPROM erasable programmable read-only memory
  • flash memory flash memory
  • SRAM static random access memory
  • CD-ROM compact disk read-only memory
  • DVD digital versatile disk
  • memory stick floppy disk
  • mechanical encoding device such as a printer with instructions stored thereon
  • the computer-readable storage medium used here is not interpreted as the instantaneous signal itself, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (for example, light pulses through fiber optic cables), or through wires Transmission of electrical signals.
  • the computer-readable program instructions described herein can be downloaded from a computer-readable storage medium to various computing/processing devices, or downloaded to an external computer or external storage device via a network, such as the Internet, a local area network, a wide area network, and/or a wireless network.
  • the network may include copper transmission cables, optical fiber transmission, wireless transmission, routers, firewalls, switches, gateway computers, and/or edge servers.
  • the network adapter card or network interface in each computing/processing device receives computer-readable program instructions from the network, and forwards the computer-readable program instructions for storage in the computer-readable storage medium in each computing/processing device .
  • the remote computer can be connected to the user's computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computer (for example, using an Internet service provider to access the Internet). connection).
  • LAN local area network
  • WAN wide area network
  • an electronic circuit such as a programmable logic circuit, a field programmable gate array (FPGA), or a programmable logic array (PLA), can be customized by using the status information of the computer-readable program instructions.
  • the computer-readable program instructions are executed to realize various aspects of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种用于执行自动机器学习方案的系统、方法及电子设备，该系统包括：方案编辑器，用于设置自动机器学习训练所包含的各个阶段，并针对每一所述阶段，分别提供至少一个配置接口，供用户通过所述至少一个配置接口配置对应阶段的至少一种策略；方案执行器，用于按照所述各个阶段的执行顺序，并行执行由每一所述阶段选取出的一个策略串联成的多个工作流，获得对应每一所述工作流的执行结果，并根据所述执行结果，选取一工作流作为最终的机器学习方案；其中，前一阶段的每一策略分别与后一阶段的每一策略相串联。

Description

用于执行自动机器学习方案的系统、方法及电子设备
本公开要求于2019年09月17日提交中国专利局，申请号为201910876293.2，申请名称为“用于执行自动机器学习方案的系统、方法及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及数据分析领域，更具体地，涉及一种用于执行自动机器学习方案的系统、用于执行自动机器学习方案的方法、电子设备以及计算机可读存储介质。
背景技术
在自动机器学习领域中，可以是将自动机器学习过程视为一个自动建模的程序，其程序的核心是一个自动建模的策略，包含了一些自动建模的方法，例如以自动控制样本生成(即，数据拼接)、特征抽取、模型训练等过程为手段，以产出最佳的建模效果为目标，进行自动建模的过程。
现有技术中，该程序为一个自动建模黑箱，即，在输入数据之后，该自动建模黑箱自动执行机器学习过程，并直接输出模型结果，系统操作人员并不能直观的感受到自动建模黑箱内部的执行情况，只能等待程序整体结束，然后观察模型结果，可视性差，而且，整个自动建模黑盒为单策略且不分阶段执行，从而对于不同的业务场景均采用该种方式，会导致较大的效果和性能问题。
发明内容
本公开的一个目的是提供一种用于执行自动机器学习方案的系统，其包括：方案编辑器，被配置为设置自动机器学习训练所包含的各个阶段，并针对每一所述阶段，分别提供至少一个配置接口，供用户通过所述至少一个配置接口配置对应阶段的至少一种策略；方案执行器，被配置为按照所述各个阶段的执行顺序，并行执行由每一所述阶段选取出的一个策略串联成的多个工作流，获得对应每一所述工作流的执行结果，并根据所述执行结果，选取一工作流作为最终的机器学习方案；其中，前一阶段的每一策略分别与后一阶段的每一策略相串联。
在第一方面一种可能的实现方式中，所述各个阶段包括数据拼接阶段、特征抽取阶段以及模型训练阶段。
在第一方面一种可能的实现方式中，所述数据拼接阶段被配置为将导入的行为数据和反馈数据拼接成训练数据；所述特征抽取阶段被配置为对所述训练数据进行特征抽取来生成训练样本；以及，所述模型训练阶段被配置为利用模型训练算法，基于所述训练样本来训练机器学习模型。
在第一方面一种可能的实现方式中，所述方案编辑器，被配置为对于每一所述策略，均提供不同的生成方式进行所述策略的生成；所述生成方式包括有向无环图、脚本语言生成和编程语言生成之中的至少一种；其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
在第一方面一种可能的实现方式中，所述方案编辑器，被配置为针对所述数据拼接阶段，分别提供至少两个配置接口；以及，其中一个配置接口被配置为配置所述数据拼接阶段包括专家策略，另外一个配置接口被配置为配置所述数据拼接阶段包括自动拼接策略。
在第一方面一种可能的实现方式中，所述方案执行器，被配置为按照所述各个阶段的执行顺序，在并行执行由每一所述阶段选取出的一个策略串联成的多个工作流的过程中，在至少一个所述阶段之后引入判断步骤，以使只有当前阶段的最优效果继续往下进行后续阶段。
在第一方面一种可能的实现方式中，所述方案执行器，被配置为针对所述判断步骤，提供配置接口，供用户通过所述配置接口配置所述判断步骤。
在第一方面一种可能的实现方式中，所述方案执行器，被配置为提供不同的生成方式生成所述判断步骤；所述生成方式包括脚本语言生成和编程语言生成之中的至少一种；其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
在第一方面一种可能的实现方式中，所述系统还包括信息展示器，所述信息展示器被配置为按照阶段来展示每一所述阶段的执行信息。
在第一方面一种可能的实现方式中，所述信息展示器，被配置为将所述各个阶段的执行信息提供在同一交互界面上。
在第一方面一种可能的实现方式中，所述交互界面的第一部分被配置为显示自动机器学习训练过程的整体运行情况信息以及整体运行图；其中，所述整体运行图为有向无环图，以及，所述有向无环图显示每一所述阶段的当前进度；所述交互界面的第二部分被配置为显示每一所述阶段的当前运行状态；所述交互界面的第三部分被配置为显示自动机器学习训练过程的资源占用及日志信息；所述交互界面的第二部分还被配置为显示每一所述阶段的策略内容。
根据本公开的第二方面，还提供一种用于执行自动机器学习方案的方法，其包括：设置自动机器学习训练所包含的各个阶段；针对每一所述阶段，分别提供至少一个配置接口；获取通过所述至少一个配置接口配置的对应阶段的至少一种策略；按照所述各个阶段的执行顺序，并行执行由每一所述阶段选取出的一个策略串联成的多个工作流，获得对应每一所述工作流的执行结果；其中，前一阶段的每一策略分别与后一阶段的每一策略相串联；并根据所述执行结果，选取一工作流作为最终的机器学习方案。
在第二方面一种可能的实现方式中，所述各个阶段包括数据拼接阶段、特征抽取阶段以及模型训练阶段。
在第二方面一种可能的实现方式中，所述数据拼接阶段被配置为将导入的行为数据和反馈数据拼接成训练数据；所述特征抽取阶段被配置为对所述训练数据进行特征抽取来生成训练样本；以及，所述模型训练阶段被配置为利用模型训练算法，基于所述训练样本来训练机器学习模型。
在第二方面一种可能的实现方式中，所述方法还包括：对于每一所述策略，均提供不同的生成方式进行所述策略的生成；所述生成方式包括有向无环图、脚本语言生成和编程语言生成之中的至少一种；其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
在第二方面一种可能的实现方式中，所述方法还包括：针对所述数据拼接阶段，分别提供至少两个配置接口；以及，其中一个配置接口被配置为配置所述数据拼接阶段包括专家策略，另外一个配置接口被配置为配置所述数据拼接阶段包括自动拼接策略。
在第二方面一种可能的实现方式中，所述方法还包括：按照所述各个阶段的执行顺序，在并行执行由每一所述阶段选取出的一个策略串联成的多个工作流的过程中，在至少一个所述阶段之后引入判断步骤，以使只有当前阶段的最优效果继续往下进行后续阶段。
在第二方面一种可能的实现方式中，所述方法还包括：针对所述判断步骤，提供配置 接口；获取通过所述配置接口配置的所述判断步骤。
在第二方面一种可能的实现方式中，所述方法还包括：提供不同的生成方式生成所述判断步骤；所述生成方式包括脚本语言生成和编程语言生成之中的至少一种；其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
在第二方面一种可能的实现方式中，所述方法还包括：按照阶段来展示每一所述阶段的执行信息。
在第二方面一种可能的实现方式中，所述方法还包括：将所述各个阶段的执行信息提供在同一交互界面上。
在第二方面一种可能的实现方式中，所述方法还包括：所述交互界面的第一部分被配置为显示自动机器学习训练过程的整体运行情况信息以及整体运行图；其中，所述整体运行图为有向无环图，以及，所述有向无环图显示每一所述阶段的当前进度；所述交互界面的第二部分被配置为显示每一所述阶段的当前运行状态；所述交互界面的第三部分被配置为显示自动机器学习训练过程的资源占用及日志信息；所述交互界面的第二部分还被配置为显示每一所述阶段的策略内容。
根据本公开的第三方面，还提供一种电子设备，其包括如本公开第一方面所述的用于执行自动机器学习方案的系统；或者，其包括处理器和存储器，所述存储器被配置为存储指令，所述指令被配置为控制所述处理器执行根据本公开第一方面中所述的方法。
根据本公开的第四方面，还提供一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如本公开第二方面中所述的方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
根据本实施例的系统、方法及电子设备，一方面，其是将自动机器学习训练过程划分为各个阶段，并针对每一阶段，分别提供至少一个配置接口，供用户通过至少一个配置接口配置对应阶段的至少一种策略，并按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果，并根据执行结果，选取一工作流作为最终的机器学习方案，而且，前一阶段的每一策略分别与后一阶段的每一策略相串联，即，本公开的系统支持多阶段多策略同时运行，并选取其中最佳的策略，拼凑出完整的自动机器学习方案，进而提高自动建模在各种业务场景的建模效果和性能。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
图1是根据本公开实施例的电子设备的硬件结构示意图；
图2是根据本公开实施例的用于执行自动机器学习方案的流程示意图；
图3a-图6是根据本公开示例性实施例的用于执行自动机器学习方案的示例；
图7a是根据本公开实施例的用于执行自动机器学习方案的系统的原理框图；
图7b是根据本公开另一实施例的用于执行自动机器学习方案的系统的原理框图；
图8是根据本公开实施例的电子设备的原理框图；
图9是根据本公开另一实施例的电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其 应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是示出可以实现本公开的实施例的电子设备1000的硬件配置的框图。
电子设备1000可以是便携式电脑、台式计算机、手机、平板电脑等。
在一个实施例中，如图1所示，电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
图1所示的电子设备仅仅是说明性的并且决不意味着对本公开、其应用或使用的任何限制。应用于本公开的实施例中，电子设备1000的存储器1200被配置为存储指令，指令被配置为控制处理器1100进行操作以执行本公开实施例提供的任意一项用于执行自动机器学习方案的方法。本领域技术人员应当理解，尽管在图1中对电子设备1000示出了多个装置，但是，本公开可以仅涉及其中的部分装置，例如，电子设备1000只涉及处理器1100和存储装置1200。技术人员可以根据本公开所公开方案来设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
在另外一个实施例中，如图8所示，电子设备1000可以包括用于执行自动机器学习方案的系统7000，用于实施本公开任意实施例的用于执行自动机器学习方案的方法。
在本实施例中，提供一种用于执行自动机器学习方案的方法，该用于执行自动机器学习方案的方法可以是由用于执行自动机器学习方案的电子设备1000或系统7000执行。
根据图2所示，本实施例的用于执行自动机器学习方案的方法可以包括如下步骤S2100～S2500：
步骤S2100，设置自动机器学习训练所包含的各个阶段。
阶段是自动机器学习训练的最小执行单元，本实施例中，例如可以是将自动机器学习训练划分为数据拼接阶段、特征抽取阶段以及模型训练阶段。
其中，数据拼接阶段被配置为将导入的行为数据和反馈数据拼接成训练数据；特征抽取阶段被配置为对训练数据进行特征抽取来生成训练样本；以及，模型训练阶段被配置为利用模型训练算法，基于训练样本来训练机器学习模型。其中，行为数据和反馈数据涉及训练样本的特征部分，可以由用户通过不同的方式来导入，本实施例在此不做详细赘述。
可以理解的是，以上数据拼接阶段、特征抽取阶段以及模型训练阶段仅为自动机器学习训练所划分的典型阶段，其适用于不同的业务场景，但本实施例不限于此，例如，还可以是将自动机器学习训练划分为数据模板定义阶段、数据拼接阶段、特征抽取阶段以及模型训练阶段等。当然，还可以是根据业务场景的不同，将自动机器学习训练划分为其他阶段，本实施例并不限定阶段的具体数量以及阶段的具体划分方式。
作为示例，在模型训练阶段，可采取以下方法，包括：获取针对目标数据集进行自动机器学习时采样的候选模型配置，其中，一个候选模型配置包括确定的机器学习算法和一组超参数；对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配 置，通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
在一个例子中，在利用评价值残差预测器进行预测之前还包括初始化所述评价值残差预测器的步骤，该步骤包括：获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；分别利用第一保真度评价方法和第二保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值和第二评价值；将所述至少一个候选模型配置中的每个候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建用于训练所述评价值残差预测器的训练样本，并基于构建的训练样本来训练所述评价值残差预测器。
在一个例子中，获取针对目标数据集进行自动机器学习时采样的候选模型配置，以及对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，得到与该候选模型配置对应的修正后的评价值包括：每当采样到一个候选模型配置，利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值；至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
在一个例子中，该方法进一步包括：每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，从该第一预设值个数的候选模型配置中选择一个候选模型配置；利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型的第二评价值，将该候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建一条用于训练所述评价值残差预测器的新训练样本；至少基于构建的新训练样本训练所述评价值残差预测器，得到更新后的评价值残差预测器；利用更新后的评价值残差预测器预测后续采样到的候选模型配置对应的第二评价值与第一评价值之间的差值，进而得到相应的修正后的评价值；当所述评价值残差预测器被更新第二预设值次数后，停止采样新的候选模型配置。
在一个例子中，在所述方法中，所述从该第一预设值个数的候选模型配置中选择一个候选模型配置包括：从该第一预设值个数的候选模型配置中选择对应的修正后的评价值最高/最低的一个候选模型配置；所述基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置包括：从利用第二保真度评价方法进行评价并得到相应第二评价值的各候选模型配置中选择第二评价值最高/最低的候选模型配置。
在一个例子中，所述方法还包括：在利用评价值残差预测器进行预测之前初始化所述评价值残差预测器，其中，所述评价值残差预测器包括多个子预测器，其中，初始化所述评价值残差预测器步骤包括：获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；利用第一保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值；针对每个子预测器，通过以下方式对其进行训练：将所述至少一个候选模型配置中的每个候选模型配置作为样本数据，并将利用与该子预测器对应的第三保真度评价方法对该候选模型配置进行评价所获得的该候选模型配置的第三评价值与该候选模型配置的第一评价值之间的差值作为该样本数据的标记，构建用于训练该子预测器的第一训练样本，并且基于构建的第一训练样本训练该子预测器，其中，与每个子预测器对应的第三保真度评价方法的保真度各不相同，并 且其保真度均介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；对所述多个子预测器的各自的权重进行设置。
在一个例子中，获取针对目标数据集进行自动机器学习时采样的候选模型配置，以及对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，得到与该候选模型配置对应的修正后的评价值包括：每当采样到一个候选模型配置，通过以下方式获得与该当前候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值；利用所述多个子预测器中的每个子预测器预测出该当前候选模型配置的第一评价值与第三评价值之间的差值，其中，第三评价值指利用与每个子预测器对应的第三保真度评价方法对该候选模型配置进行评价时应得的评价值，并且第三保真度评价方法的保真度介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；用通过将各个子预测器预测出的差值和各子预测器的权重相乘并求和所获得的结果来修正第一评价值，以得到与该当前候选模型配置对应的修正后的评价值；至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
在一个例子中，所述方法还包括：每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，从该第一预设值个数的候选模型配置中选择一个候选模型配置；利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型配置的第二评价值，将由各个子预测器预测出的差值组成的特征向量作为样本数据，并将该候选模型配置的第二评价值与第一评价值作为该样本数据的标记，构建一条用于训练线性回归模型的训练样本；至少基于构建的训练样本训练所述线性回归模型来得到更新后的各个子预测器的权重，进而更新所述评价值残差预测器；利用各个子预测器分别对后续采样的候选模型配置执行预测，并用将各子预测器的预测结果与各个子预测器的更新后的权重相乘并求和所获得的结果来修正第一评价值，进而得到相应的修正后的评价值；当所述评价值残差预测器被更新第二预设值次数后，停止采样新的候选模型配置。
本实施例中，例如可以是用于执行自动机器学习方案的系统7000中包括有方案编辑器7100，由该方案编辑器7100将自动机器学习训练划分为数据拼接阶段、特征抽取阶段以及模型训练阶段等阶段。
通过步骤S2100设置自动机器学习训练所包含的各个阶段之后，可以结合后续步骤通过至少一个配置接口为每一阶段设置至少一种策略，并按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果，进而根据执行结果，选取效果最好的一工作流作为最终的机器学习方案。
在设置自动机器学习训练所包含的各个阶段之后，进入：
步骤S2200，针对每一阶段，分别提供至少一个配置接口。
该配置接口例如可以是输入框、下拉列表、语音输入等，例如，系统操作人员可以通过提供的至少一个输入框输入对应阶段的至少一种策略；又例如，系统操作人员可以通过提供的下拉列表选择对应阶段的至少一种策略；又例如，系统操作人员可以语音输入对应阶段的至少一种策略。
本实施例中，可以是方案编辑器7100针对每一阶段，分别提供至少一个配置接口，例如，方案编辑器7100针对数据拼接阶段、特征抽取阶段以及模型训练阶段，分别提供至少一个配置接口。
通过步骤S2200针对每一阶段，分别提供至少一个配置接口之后，可以结合后续步骤通过至少一个配置接口为每一阶段设置至少一种策略，并按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果，进而根据执行结果，选取效果最好的一工作流作为最终的机器学习方案。
在针对每一阶段，分别提供至少一个配置接口之后，进入：
步骤S2300，获取通过至少一个配置接口配置的对应阶段的至少一种策略。
本实施例中，可以是由方案编辑器7100为每一阶段分别通过至少一个配置接口配置至少一个策略，例如，方案编辑器7100通过对应数据拼接阶段的至少一个配置接口配置对应数据拼接阶段包括的至少一种策略，通过特征抽取阶段对应的至少一个配置接口配置特征抽取阶段对应的至少一种策略，以及，通过模型训练阶段对应的至少一个配置接口配置模型训练阶段对应的至少一种策略。
本实施例中，对于每一种策略，均提供不同的生成方式进行策略的生成。该生成方式例如可以是有向无环图、脚本语言生成和编程语言生成之中的至少一种。
以上脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。该主流脚本语言例如可以是Perl语言、Python语言以及Ruby语言等。该自定义脚本语言例如可以是通过Java语言、C++语言以及C语言等编写的语言。
以数据拼接阶段为例，可以是针对数据拼接阶段，通过以上步骤S2200分别提供至少两个配置接口，其中一个配置接口被配置为配置数据拼接阶段包括专家策略，另外一个配置接口被配置为配置数据拼接阶段包括自动拼接策略，且专家策略和自动拼接策略均可以采用自定义脚本语言生成和主流脚本语言生成之中的至少一种生成。
通过步骤S2300通过至少一个配置接口为每一阶段设置至少一种策略之后，可以结合后续步骤按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果，进而根据执行结果，选取效果最好的一工作流作为最终的机器学习方案。
在获取通过至少一个配置接口配置的对应阶段的至少一种策略之后，进入：
步骤S2400，按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果。
在本实施例中，前一阶段的每一策略分别与后一阶段的每一策略相串联。
本实施例中，例如可以是由方案执行器7200按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，进而获得对应每一工作流的执行结果。
参照图3a和图3b所示，自动机器学习训练包括数据拼接阶段、特征抽取阶段以及模型训练阶段。数据拼接阶段设置有专家策略和自动拼接策略这两种不同的策略，即，该数据拼接阶段选取的策略可以有专家策略和自动拼接策略这两种策略，其中，通过专家策略可以是将数据表1、数据表2以及数据表3拼接成拼表A，以及，通过自动拼接策略可以是将数据表1、数据表2以及数据表3拼接成拼表B，即，在执行完数据拼接阶段，可以得到拼表A和拼表B。特征抽取阶段可以设置有专家特征策略和自动特征策略这两种不同的策略，即，该特征抽取阶段选取的策略可以有专家特征策略和自动特征策略这两种策略，其中，通过专家特征策略可以是将拼表A和拼表B分别进行特征抽取以生成第一训练样本和第二训练样本，以及，通过自动特征策略可以是将拼表A和拼表B分别进行自动特征抽取以生成第三训练样本和第四训练样本，即，在执行完特征抽取之后，得到四种训练样本。模型训练阶段可以仅设置一种自动调参策略，即，该模型训练阶段选取的策略可以仅有自动调参策略这一种策略，通过该自动调参策略分别对四种训练样本进行自动调参(结合预置的模型训练算法)，进而得到对应四种训练样本的机器学习模型。参见图3b,数据拼接阶段选取的策略有自动拼表算法A和自动拼表算法B，数据表1、数据表2和数据表3在数据拼接阶段经过自动拼表算法A，生成了A拼表结果，经过自动拼表算法B，生成了B拼表结果。在特征抽取阶段选取的策略有特征工程方法A和特征工程方法B，A拼表结果经过特征工程方法A，生成了A拼表的A特征表，经过特征工程方法B，生成了A拼表的B特征表；B拼表结果经过特征工程方法A，生成了拼表B的A特征表，经过特征工程方法B，生成了拼表B的B特征表。在模型训练阶段选取自动调参算法A，这4个特征表分别经过同一种自动调参方法A，生成了4个模型。即，可以理解的是，图3a和图3b中，数据拼接阶段设置有两种策略、特征抽取阶段设置有两种策略，以及，模型训练阶段设置有 一种策略，该三个阶段的共五种策略串联成四个工作流。
通过步骤S2400按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果之后，便可根据执行结果，选取效果最好的一工作流作为最终的机器学习方案。
在按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果之后，进入：
步骤S2500，根据执行结果，选取一工作流作为最终的机器学习方案。
本实施例中，例如可以是由方案执行器4200根据执行结果，选取一工作流作为最终的机器学习方案。
本实施例中，例如可以是选择具有最高AUC的机器学习模型对应的工作流最为最终的机器学习模型，其中，AUC(Area Under Curve)为接受者操作特性ROC(receiver operating characteristic)曲线下与坐标轴围成的面积。
继续上述示例，如图3b所示，例如可以是通过以上步骤S2400得到对应四个工作流的机器学习模型之后，可以是选取具有最高AUC的机器学习模型对应的工作流作为最终的机器学习方案。
根据本实施例的方法，一方面，其是将自动机器学习训练过程划分为各个阶段，并针对每一阶段，分别提供至少一个配置接口，供用户通过至少一个配置接口配置对应阶段的至少一种策略，并按照各个阶段的执行顺序，并行执行由每一阶段选取出的一个策略串联成的多个工作流，获得对应每一工作流的执行结果，并根据执行结果，选取一工作流作为最终的机器学习方案，而且，前一阶段的每一策略分别与后一阶段的每一策略相串联，即，本公开系统支持多阶段多策略同时运行，并选取其中最佳的策略产生，拼凑出完整的自动机器学习方案，进而提高自动建模在各种业务场景的建模效果和性能。
在一个实施例中，本公开用于执行自动机器学习方案的方法还可以进一步包括：
按照各个阶段的执行顺序，在并行执行由每一阶段选取出的一个策略串联成的多个工作流的过程中，在至少一个阶段之后引入判断步骤，以使只有当前阶段的最优效果继续往下进行后续阶段。该最优效果可以是预先设定好的判断标准。
应当注意的是，在引入判断步骤，以对当前阶段的各个效果进行判断之后，如果没有获得当前阶段的最优效果，还可以是引入优化步骤，以对当前阶段的各个效果进行优化，进而获得当前阶段的最优效果，该优化步骤例如可以是剪枝、删除和合并之中的至少一项。
本实施例中，例如可以是由方案执行器7200按照各个阶段的执行顺序，在并行执行由每一阶段选取出的一个策略串联成的多个工作流的过程中，在至少一个阶段之后引入判断步骤。
参照图4a和图4b所示，自动机器学习训练包括数据拼接阶段、特征抽取阶段以及模型训练阶段。数据拼接阶段设置有专家策略和自动拼接策略这两种不同的策略，即，该数据拼接阶段选取的策略可以有专家策略和自动拼接策略这两种策略，其中，通过专家策略可以是将数据表1、数据表2以及数据表3拼接为拼表A，以及，通过自动拼接策略可以是将数据表1、数据表2以及数据表3拼接为拼表B，即，在执行完数据拼接阶段，得到拼表A和拼表B。应当注意的是，本示例中，在执行完数据拼接阶段之后，可以引入图4a和图4b所示的合并步骤，以对拼表A和拼表B进行合并，进而得到一张拼表。特征抽取阶段可以设置有专家特征策略和自动特征策略这两种不同的策略，即，该特征抽取阶段选取的策略可以有专家特征策略和自动特征策略这两种策略，其中，通过专家特征策略可以是将得到的该张拼表进行特征抽取以生成第一训练样本，以及，通过自动特征策略可以是将该张拼表进行自动特征抽取以生成第二训练样本，即，在执行完特征抽取阶段之后，得到两种训练样本。模型训练阶段可以仅设置一种自动调参策略，即，该模型训练阶段选取的策略可以仅有自动调参策略这一种策略，通过该自动调参策略对两种训练样本进行自动 调参(结合预置的模型训练算法)，进而得到对应两种训练样本的机器学习模型。可以理解的是，参见图4b，数据拼接阶段选取的策略有自动拼表算法A和自动拼表算法B，数据表1、数据表2和数据表3在数据拼接阶段经过自动拼表算法A，生成了A拼表结果，经过自动拼表结果B，生成了B拼表结果，在数据拼接阶段之后，对A拼表结果和B拼表结果进行判断，由于两者的效果均不是最优效果，在此，引入合并步骤，即，将A拼表结果和B拼表结果进行合并得到合并拼接结果，作为特征抽取阶段的输入。特征抽取阶段选取的策略有特征工程方法A和特征工程方法B，合并拼表结果经过特征工程方法A，生成了合并拼表结果的A特征表，经过特征工程方法B，生成了合并拼表结果的B特征表。模型训练阶段选取自动调参算法A，这两个特征表分别经过同一种自动调参算法A，生成了两个模型。
即，可以理解的是，图4a和图4b中，该三个阶段的共五种策略串联成两个工作流，也就是说，对应两种训练样本的机器学习模型即为对应两个工作流的机器学习模型，并选取AUC最高的机器学习模型对应的工作流作为最终的机器学习模型。
本实施例中，本公开用于执行自动机器学习方案的方法还可以进一步包括：
针对判断步骤，提供配置接口，供用户通过配置接口配置判断步骤。
该判断步骤可以是通过不同的生成方式生成，该生成方式例如可以是有向无环图、脚本语言生成和编程语言生成之中的至少一种。其中，脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。关于自定义脚本语言和主流脚本语言已经在以上实施例中详细介绍，在此不做赘述。
该配置接口例如可以是输入框、下拉列表、语音输入等，例如，系统操作人员可以通过输入框输入判断步骤；又例如，系统操作人员可以通过下拉列表选择判断步骤；又例如，系统操作人员可以语音输入判断步骤。
根据本实施例的方法，其通过引入判断步骤，能够实现多策略间的融合和对比，以通过策略融合提升探索出的自动机器学习方案的效果和效率。
在一个实施例中，本公开用于执行自动机器学习方案的方法还可以进一步包括：
按照阶段来展示每一阶段的执行信息。
本实施例中，例如可以是用于执行自动机器学习方案的系统7000中包括有信息展示器7300，由该信息展示器7300按照阶段来展示每一阶段的执行信息。
在本实施例中，该信息展示器7300还可以是将各个阶段的执行信息提供在同一交互界面上。
图5和图6为示例性的提供各个阶段的执行信息的交互界面示意图，仅为示例，不对本公开进行限制。参照图5所示，该交互界面可以包括第一部分(中间部分)、第二部分(左边部分)和第三部分(右边部分)。
该交互界面的第一部分可以用于显示自动机器学习训练过程的整体运行情况信息以及整体运行图；其中，整体运行图可以为有向无环图(DAG图)，以及，有向无环图可以显示每一阶段的当前进度。
具体地讲，图6的中间部分示出的有向无环图(DAG图)示出了6个节点：“反馈数据”节点、“行为数据”节点、“样本生成”节点、“特征工程”节点、“LR(逻辑回归)算法”节点和“GBDT(梯度提升决策树)算法”节点。其中，“反馈数据”节点和“行为数据”节点，对应于数据拼接阶段，“样本生成”节点和“特征工程”节点，对应于特征抽取阶段，“LR(逻辑回归)算法”节点和“GBDT(梯度提升决策树)算法”节点，对应于模型训练阶段。注意，图6示出了2种具体预置算法，但是这仅是示例性说明，本公开并不对预置算法的数量和具体算法进行限制。
该交互界面的第二部分可以用来显示每一阶段的当前运行状态，以及，显示每一阶段的策略内容等。例如图5所示，在执行数据拼接阶段时，其可以显示数据拼接阶段的运行 状态，在图5左边部分显示有数据拼接阶段所生成的样本数，即拼表1和拼接2，以及剪枝后样本数等。
该交互界面的第三部分可以用来显示自动机器学习训练过程的资源占用及日志信息等。
本实施例中，其可以按阶段来将每个阶段的执行信息进行统一展示，便于系统操作人员实时了解自动机器学习方案的执行过程，提高用户体验。
在本实施例中，提供一种用于执行自动机器学习方案的系统7000，如图7a所示，用于执行自动机器学习方案的系统7000包括方案编辑器7100和方案执行器7200。
该方案编辑器7100，被配置为设置自动机器学习训练所包含的各个阶段，并针对每一所述阶段，分别提供至少一个配置接口，供用户通过所述至少一个配置接口配置对应阶段的至少一种策略。
该方案执行器7200，被配置为按照所述各个阶段的执行顺序，并行执行由每一所述阶段选取出的一个策略串联成的多个工作流，获得对应每一所述工作流的执行结果，并根据所述执行结果，选取一工作流作为最终的机器学习方案；其中，前一阶段的每一策略分别与后一阶段的每一策略相串联。
在一个实施例中，所述各个阶段包括数据拼接阶段、特征抽取阶段以及模型训练阶段。
在一个实施例中，所述数据拼接阶段被配置为将导入的行为数据和反馈数据拼接成训练数据。
所述特征抽取阶段被配置为对所述训练数据进行特征抽取来生成训练样本；以及，
所述模型训练阶段被配置为利用模型训练算法，基于所述训练样本来训练机器学习模型。
在一个实施例中，该方案编辑器7100，被配置为对于每一所述策略，均提供不同的生成方式进行所述策略的生成。
所述生成方式包括有向无环图、脚本语言生成和编程语言生成之中的至少一种。
其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
在一个实施例中，该方案编辑器7100，被配置为针对所述数据拼接阶段，分别提供至少两个配置接口；以及，
其中一个配置接口被配置为配置所述数据拼接阶段包括专家策略，另外一个配置接口被配置为配置所述数据拼接阶段包括自动拼接策略。
在一个实施例中，该方案执行器7200，被配置为按照所述各个阶段的执行顺序，在并行执行由每一所述阶段选取出的一个策略串联成的多个工作流的过程中，在至少一个所述阶段之后引入判断步骤，以使只有当前阶段的最优效果继续往下进行后续阶段。
在一个实施例中，该方案执行器7200，被配置为针对所述判断步骤，提供配置接口，供用户通过所述配置接口配置所述判断步骤。
在一个实施例中，该方案执行器7200，被配置为提供不同的生成方式生成所述判断步骤。
所述生成方式包括脚本语言生成和编程语言生成之中的至少一种。
其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
在一个实施例中，如图7b所示，该系统7000还包括信息展示器7300。
该信息展示器7300，被配置为按照阶段来展示每一所述阶段的执行信息。
在一个实施例中，该信息展示器7300，被配置为将所述各个阶段的执行信息提供在同一交互界面上。
在一个实施例中，所述交互界面的第一部分被配置为显示自动机器学习训练过程的整体运行情况信息以及整体运行图；其中，所述整体运行图为有向无环图，以及，所述有向 无环图显示每一所述阶段的当前进度。
所述交互界面的第二部分被配置为显示每一所述阶段的当前运行状态。
所述交互界面的第三部分被配置为显示自动机器学习训练过程的资源占用及日志信息。
所述交互界面的第二部分还被配置为显示每一所述阶段的策略内容。
在本实施例中，还提供一种电子设备1000。该电子设备1000可以是图1所示的电子设备。
在一方面，如图8所示，该电子设备1000可以包括前述的用于执行自动机器学习方案的装置7000，用于实施本公开任意实施例的用于执行自动机器学习方案的方法。
在另一方面，如图9所示，电子设备1000还可以包括处理器1100和存储器1200，该存储器1200被配置为存储可执行的指令；该处理器1100被配置为根据指令的控制运行电子设备1000执行根据本公开任意实施例的用于执行自动机器学习方案的方法。
在本实施例中，该电子设备1000可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等设备。
在本实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时实现如本公开任意实施例的用于执行自动机器学习方案的方法。
本公开可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有被配置为使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
被配置为执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个被配置为实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。
工业实用性
通过本公开实施例，其支持多阶段多策略同时运行，并选取其中最佳的策略产生，拼凑出完整的自动机器学习方案，进而提高自动建模在各种业务场景的建模效果和性能。因此本公开具有很强的工业实用性。

Claims (24)

  1. 一种用于执行自动机器学习方案的系统，包括：
    方案编辑器，被配置为设置自动机器学习训练所包含的各个阶段，并针对每一所述阶段，分别提供至少一个配置接口，供用户通过所述至少一个配置接口配置对应阶段的至少一种策略；
    方案执行器，被配置为按照所述各个阶段的执行顺序，并行执行由每一所述阶段选取出的一个策略串联成的多个工作流，获得对应每一所述工作流的执行结果，并根据所述执行结果，选取一工作流作为最终的机器学习方案；其中，前一阶段的每一策略分别与后一阶段的每一策略相串联。
  2. 根据权利要求1所述的系统，其中，
    所述各个阶段包括数据拼接阶段、特征抽取阶段以及模型训练阶段。
  3. 根据权利要求1或2所述的系统，其中，
    所述数据拼接阶段被配置为将导入的行为数据和反馈数据拼接成训练数据；
    所述特征抽取阶段被配置为对所述训练数据进行特征抽取来生成训练样本；以及，
    所述模型训练阶段被配置为利用模型训练算法，基于所述训练样本来训练机器学习模型。
  4. 根据权利要求1至3中任一项所述的系统，其中，
    所述方案编辑器，被配置为对于每一所述策略，均提供不同的生成方式进行所述策略的生成；
    所述生成方式包括有向无环图、脚本语言生成和编程语言生成之中的至少一种；
    其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
  5. 根据权利要求1至4中任一项所述的系统，其中，
    所述方案编辑器，被配置为针对所述数据拼接阶段，分别提供至少两个配置接口；以及，
    其中一个配置接口被配置为配置所述数据拼接阶段包括专家策略，另外一个配置接口被配置为配置所述数据拼接阶段包括自动拼接策略。
  6. 根据权利要求1至5中任一项所述的系统，其中，
    所述方案执行器，被配置为按照所述各个阶段的执行顺序，在并行执行由每一所述阶段选取出的一个策略串联成的多个工作流的过程中，在至少一个所述阶段之后引入判断步骤，以使只有当前阶段的最优效果继续往下进行后续阶段。
  7. 根据权利要求1至6中任一项所述的系统，其中，
    所述方案执行器，被配置为针对所述判断步骤，提供配置接口，供用户通过所述配置接口配置所述判断步骤。
  8. 根据权利要求1至7中任一项所述的系统，其中，
    所述方案执行器，被配置为提供不同的生成方式生成所述判断步骤；
    所述生成方式包括脚本语言生成和编程语言生成之中的至少一种；
    其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
  9. 根据权利要求1至8中任一项所述的系统，其中，所述系统还包括信息展示器；
    所述信息展示器，被配置为按照阶段来展示每一所述阶段的执行信息。
  10. 根据权利要求1至9中任一项所述的系统，其中，
    所述信息展示器，被配置为将所述各个阶段的执行信息提供在同一交互界面上。
  11. 根据权利要求1至10中任一项所述的系统，其中，
    所述交互界面的第一部分被配置为显示自动机器学习训练过程的整体运行情况信息以及整体运行图；其中，所述整体运行图为有向无环图，以及，所述有向无环图显示每一所述阶段的当前进度；
    所述交互界面的第二部分被配置为显示每一所述阶段的当前运行状态；
    所述交互界面的第三部分被配置为显示自动机器学习训练过程的资源占用及日志信息；
    所述交互界面的第二部分还被配置为显示每一所述阶段的策略内容。
  12. 一种用于执行自动机器学习方案的方法，包括：
    设置自动机器学习训练所包含的各个阶段；
    针对每一所述阶段，分别提供至少一个配置接口；
    获取通过所述至少一个配置接口配置的对应阶段的至少一种策略；
    按照所述各个阶段的执行顺序，并行执行由每一所述阶段选取出的一个策略串联成的多个工作流，获得对应每一所述工作流的执行结果；其中，前一阶段的每一策略分别与后一阶段的每一策略相串联；
    并根据所述执行结果，选取一工作流作为最终的机器学习方案。
  13. 根据权利要求12所述的方法，其中，
    所述各个阶段包括数据拼接阶段、特征抽取阶段以及模型训练阶段。
  14. 根据权利要求12或13所述的方法，其中，
    所述数据拼接阶段被配置为将导入的行为数据和反馈数据拼接成训练数据；
    所述特征抽取阶段被配置为对所述训练数据进行特征抽取来生成训练样本；以及，
    所述模型训练阶段被配置为利用模型训练算法，基于所述训练样本来训练机器学习模型。
  15. 根据权利要求12至14中任一项所述的方法，其中，所述方法还包括：
    对于每一所述策略，均提供不同的生成方式进行所述策略的生成；
    所述生成方式包括有向无环图、脚本语言生成和编程语言生成之中的至少一种；
    其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
  16. 根据权利要求12至15中任一项所述的方法，其中，所述方法还包括：
    针对所述数据拼接阶段，分别提供至少两个配置接口；以及，
    其中一个配置接口被配置为配置所述数据拼接阶段包括专家策略，另外一个配置接口被配置为配置所述数据拼接阶段包括自动拼接策略。
  17. 根据权利要求12至16中任一项所述的方法，其中，所述方法还包括：
    按照所述各个阶段的执行顺序，在并行执行由每一所述阶段选取出的一个策略串联成的多个工作流的过程中，在至少一个所述阶段之后引入判断步骤，以使只有当前阶段的最优效果继续往下进行后续阶段。
  18. 根据权利要求12至17中任一项所述的方法，其中，所述方法还包括：
    针对所述判断步骤，提供配置接口；
    获取通过所述配置接口配置的所述判断步骤。
  19. 根据权利要求12至18中任一项所述的方法，其中，所述方法还包括：
    提供不同的生成方式生成所述判断步骤；
    所述生成方式包括脚本语言生成和编程语言生成之中的至少一种；
    其中，所述脚本语言生成包括自定义脚本语言生成和主流脚本语言生成之中的至少一种。
  20. 根据权利要求12至19中任一项所述的方法，其中，所述方法还包括：
    按照阶段来展示每一所述阶段的执行信息。
  21. 根据权利要求12至20中任一项所述的方法，其中，所述方法还包括：
    将所述各个阶段的执行信息提供在同一交互界面上。
  22. 根据权利要求12至21中任一项所述的方法，其中，所述方法还包括：
    所述交互界面的第一部分被配置为显示自动机器学习训练过程的整体运行情况信息以及整体运行图；其中，所述整体运行图为有向无环图，以及，所述有向无环图显示每一所述阶段的当前进度；
    所述交互界面的第二部分被配置为显示每一所述阶段的当前运行状态；
    所述交互界面的第三部分被配置为显示自动机器学习训练过程的资源占用及日志信息；
    所述交互界面的第二部分还被配置为显示每一所述阶段的策略内容。
  23. 一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求12至22中任一项所述的方法。
  24. 一种电子设备，包括：
    如权利要求1所述的用于执行自动机器学习方案的系统；或者，
    处理器和存储器，所述存储器被配置为存储指令，所述指令被配置为控制所述处理器执行根据权利要求12至22中任一项所述的方法。
PCT/CN2020/115913 2019-09-17 2020-09-17 用于执行自动机器学习方案的系统、方法及电子设备 WO2021052422A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910876293.2 2019-09-17
CN201910876293.2A CN110728371A (zh) 2019-09-17 2019-09-17 用于执行自动机器学习方案的系统、方法及电子设备

Publications (1)

Publication Number Publication Date
WO2021052422A1 true WO2021052422A1 (zh) 2021-03-25

Family

ID=69219106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/115913 WO2021052422A1 (zh) 2019-09-17 2020-09-17 用于执行自动机器学习方案的系统、方法及电子设备

Country Status (2)

Country Link
CN (1) CN110728371A (zh)
WO (1) WO2021052422A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728371A (zh) * 2019-09-17 2020-01-24 第四范式（北京）技术有限公司 用于执行自动机器学习方案的系统、方法及电子设备
CN112558938B (zh) * 2020-12-16 2021-11-09 中国科学院空天信息创新研究院 一种基于有向无环图的机器学习工作流调度方法及系统
CN113033816A (zh) * 2021-03-08 2021-06-25 北京沃东天骏信息技术有限公司 机器学习模型的处理方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796533A (zh) * 2014-12-30 2017-05-31 华为技术有限公司 自适应地选择执行模式的系统和方法
CN108897587A (zh) * 2018-06-22 2018-11-27 北京优特捷信息技术有限公司 可插拔式机器学习算法运行方法、装置及可读存储介质
US20180373986A1 (en) * 2017-06-26 2018-12-27 QbitLogic, Inc. Machine learning using dynamic multilayer perceptrons
CN109241139A (zh) * 2018-08-31 2019-01-18 联想(北京)有限公司 数据处理方法、逻辑模型系统以及数据处理系统
CN109376419A (zh) * 2018-10-16 2019-02-22 北京字节跳动网络技术有限公司 一种数据建模的方法、装置、电子设备及可读介质
CN110728371A (zh) * 2019-09-17 2020-01-24 第四范式（北京）技术有限公司 用于执行自动机器学习方案的系统、方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844837B (zh) * 2017-10-31 2020-04-28 第四范式（北京）技术有限公司 针对机器学习算法进行算法参数调优的方法及系统
CN108710949A (zh) * 2018-04-26 2018-10-26 第四范式（北京）技术有限公司 用于创建机器学习建模模板的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796533A (zh) * 2014-12-30 2017-05-31 华为技术有限公司 自适应地选择执行模式的系统和方法
US20180373986A1 (en) * 2017-06-26 2018-12-27 QbitLogic, Inc. Machine learning using dynamic multilayer perceptrons
CN108897587A (zh) * 2018-06-22 2018-11-27 北京优特捷信息技术有限公司 可插拔式机器学习算法运行方法、装置及可读存储介质
CN109241139A (zh) * 2018-08-31 2019-01-18 联想(北京)有限公司 数据处理方法、逻辑模型系统以及数据处理系统
CN109376419A (zh) * 2018-10-16 2019-02-22 北京字节跳动网络技术有限公司 一种数据建模的方法、装置、电子设备及可读介质
CN110728371A (zh) * 2019-09-17 2020-01-24 第四范式（北京）技术有限公司 用于执行自动机器学习方案的系统、方法及电子设备

Also Published As

Publication number Publication date
CN110728371A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
WO2021052422A1 (zh) 用于执行自动机器学习方案的系统、方法及电子设备
US11710300B2 (en) Computing systems with modularized infrastructure for training generative adversarial networks
US20180307978A1 (en) Multi-Modal Construction of Deep Learning Networks
CN110807515A (zh) 模型生成方法和装置
CN108710949A (zh) 用于创建机器学习建模模板的方法及系统
KR20190117713A (ko) 신경망 아키텍처 최적화
US11069356B2 (en) Computer system and method for controlling user-machine dialogues
US11556860B2 (en) Continuous learning system for models without pipelines
JP2022505015A (ja) 知識グラフのベクトル表現生成方法、装置及び電子機器
JP2023512135A (ja) オブジェクト推薦方法及び装置、コンピュータ機器並びに媒体
CN108475345A (zh) 生成较大神经网络
US20200265353A1 (en) Intelligent workflow advisor for part design, simulation and manufacture
CN111931057A (zh) 一种自适应输出的序列推荐方法和系统
US11222283B2 (en) Hierarchical conversational policy learning for sales strategy planning
US11417337B1 (en) Initiating conversation monitoring system action based on conversational content
US11144879B2 (en) Exploration based cognitive career guidance system
CN114154461A (zh) 一种文本数据的处理方法、装置及系统
US11650717B2 (en) Using artificial intelligence to iteratively design a user interface through progressive feedback
US9912572B2 (en) Decomposing application topology data into transaction tracking data
US20220318675A1 (en) Secure environment for a machine learning model generation platform
CN111767316A (zh) 目标任务处理方法、装置及电子设备
CN113366510A (zh) 经由训练的原始网络与双网络来执行多目标任务
US20200184261A1 (en) Collaborative deep learning model authoring tool
US20220318887A1 (en) Machine learning model generation platform
US11360763B2 (en) Learning-based automation machine learning code annotation in computational notebooks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20866569

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20866569

Country of ref document: EP

Kind code of ref document: A1