WO2020177377A1 - 基于机器学习的数据预测处理方法、装置和计算机设备 - Google Patents

基于机器学习的数据预测处理方法、装置和计算机设备 Download PDF

Info

Publication number
WO2020177377A1
WO2020177377A1 PCT/CN2019/117290 CN2019117290W WO2020177377A1 WO 2020177377 A1 WO2020177377 A1 WO 2020177377A1 CN 2019117290 W CN2019117290 W CN 2019117290W WO 2020177377 A1 WO2020177377 A1 WO 2020177377A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
feature
prediction
preset
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/117290
Other languages
English (en)
French (fr)
Inventor
陈娴娴
阮晓雯
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020177377A1 publication Critical patent/WO2020177377A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu

Definitions

  • This application relates to a data prediction processing method, device and computer equipment based on machine learning.
  • Epidemic infectious diseases refer to infectious diseases caused by various pathogenic microorganisms or pathogens, such as dengue fever, epidemic viral colds, meningitis, cholera, etc. Due to the transmission characteristics of infectious diseases, they can spread widely in a relatively short period of time. They are important diseases that endanger human health and threaten human life. For example, dengue fever (dengue) is an acute vector-borne disease caused by the transmission of dengue virus via mosquitoes, and the sudden drop in the onset is harmful. The number of weekly dengue fever fluctuates frequently. Although there is a certain outbreak period every year, the fluctuation cycle is not fixed and the fluctuation range changes greatly. Therefore, the error of the 3-5 year long-term forecast is more difficult to control, and the forecast is very difficult.
  • a data prediction processing method, device, and computer equipment based on machine learning are provided.
  • a data prediction processing method based on machine learning includes:
  • the prediction result data generated by using the plurality of index data and corresponding prediction values, and the prediction result data is pushed to the terminal.
  • a data prediction processing device based on machine learning includes:
  • the request receiving module is configured to receive a data prediction request sent by the terminal, where the data prediction request includes the request type and request information;
  • a data acquisition module configured to identify field factors in the request information, and acquire multiple target factor data according to the request type and the field factors, and the target factor data includes multiple field data;
  • the feature processing module is configured to perform feature processing and feature extraction on the target factor data, calculate feature dimension values of the multiple field data, and extract feature vectors corresponding to the multiple field data according to the feature dimension values;
  • the data prediction module is configured to obtain a preset data prediction model according to the request type, and train and analyze the characteristic variables through the data analysis model to obtain multiple index data and corresponding prediction values;
  • the result data generation module is configured to use the prediction result data generated by the multiple index data and corresponding prediction values, and push the prediction result data to the terminal.
  • a computer device including a memory and one or more processors, the memory stores computer readable instructions, when the computer readable instructions are executed by the processor, the one or more processors execute The following steps:
  • the prediction result data generated by using the plurality of index data and corresponding prediction values is used to push the prediction result data to the terminal.
  • One or more non-volatile computer-readable storage media storing computer-readable instructions.
  • the one or more processors execute the following steps:
  • the prediction result data generated by using the plurality of index data and corresponding prediction values is used to push the prediction result data to the terminal.
  • Fig. 1 is an application scenario diagram of a data prediction processing method based on machine learning according to one or more embodiments.
  • Fig. 2 is a schematic flowchart of a data prediction processing method based on machine learning according to one or more embodiments.
  • Fig. 3 is a schematic flowchart of the steps of predicting a model based on training data in one or more embodiments.
  • Fig. 4 is a schematic flowchart of the steps of optimizing a data prediction model according to one or more embodiments.
  • Fig. 5 is a block diagram of a data prediction processing device based on machine learning according to one or more embodiments.
  • Figure 6 is a block diagram of a computer device according to one or more embodiments.
  • the data prediction processing method based on machine learning provided in this application can be applied to the application environment as shown in FIG. 1.
  • the terminal 102 communicates with the server 104 through the network through the network.
  • the terminal 102 may be, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server 104 may be implemented by an independent server or a server cluster composed of multiple servers.
  • the terminal 102 may send a data prediction request to the server 104.
  • the data prediction request includes the request type and request information.
  • the server 104 After the server 104 receives the data prediction request sent by the terminal 102, it identifies the field factor in the request information, and then obtains the data according to the request type and field factor.
  • Target factor data the target factor data includes multiple field data.
  • the server 104 performs feature processing and feature extraction on the target factor data to obtain feature vectors corresponding to multiple field data.
  • the server 104 further obtains a preset data prediction model according to the request type, and analyzes multiple feature vectors through the data analysis model, thereby effectively obtaining multiple index data and corresponding predicted values.
  • the server 104 then generates prediction result data using multiple index data and corresponding predicted values, and pushes the prediction result data to the corresponding terminal 102.
  • the server extracts the feature vector in the target factor data, it performs predictive analysis through the data prediction model to accurately and effectively predict the development trend of the target data in the future, thereby effectively improving the accuracy of data analysis and prediction.
  • a data prediction processing method based on machine learning is provided. Taking the method applied to the server in FIG. 1 as an example for description, the method includes the following steps:
  • Step 202 Receive a data prediction request sent by a terminal, where the data prediction request includes the request type and request information.
  • the data prediction request may be a request for obtaining prediction result data corresponding to the multiple target factor data after analyzing multiple target factor data according to the requested information.
  • the user can use the corresponding terminal to send a data prediction request to the server.
  • the data prediction request includes the request type and request information, where the request type can be the type of the target prediction data obtained, such as the incidence prediction data of Gden fever; request information It can be parameter information input by the user through the terminal, such as time dimension parameters, area dimension parameters, and so on.
  • Step 204 Identify the field factor in the request information, and obtain multiple target factor data according to the request type and the field factor, and the target factor data includes multiple field data.
  • the server After the server receives the data prediction request sent by the terminal, it analyzes the request information in the data prediction request. Specifically, the server obtains the parameter information in the request information, parses the parameter information, and identifies field factors in the parameter information.
  • the field factors may include time factors, regional factors, weather factors, and the like.
  • the server then obtains corresponding multiple target factor data from the local database according to the request type and the identified field factor.
  • the server can also obtain multiple corresponding target factor data from a third-party database.
  • the target factor data includes multiple fields. data.
  • the target factor data can be data corresponding to the field factor.
  • the target factor data can include weather data, environmental data, and historical incidence data corresponding to the disease type, such as obtaining future Weekly weather data, including weekly average temperature, weekly maximum pressure, weekly precipitation, etc.
  • Step 206 Perform feature processing and feature extraction on the target factor data, calculate feature dimension values of multiple field data, and extract feature vectors corresponding to multiple field data according to the feature dimension values.
  • the server After the server obtains multiple target factor data, it processes the target factor data. Specifically, the server first vectorizes multiple field data corresponding to the target factor data, converts the multiple target factor data into corresponding feature vectors in a time series, and converts the multiple feature vectors into multiple feature variables and corresponding The dimensional feature value, the dimensional feature value can be expressed as the feature dimension to which the feature variable belongs, thereby obtaining feature vectors corresponding to multiple field data. The server further performs data cleaning and derivation processing on the feature vector to obtain multiple feature vectors after processing.
  • the server can preprocess multiple feature vectors by means of mean filling, custom filling and book model filling, and process multiple feature vectors through data mean, variance, and standard deviation to extract multiple feature vectors and dimensions. Eigenvalues.
  • the server may further perform missing value filling, outlier extraction and replacement on the feature vector.
  • some feature engineering algorithms such as statistical feature derivation, can be used to perform lag analysis on the feature vectors of each dimension. , Take the n-dimensional lag data of each dimension as the derivation of variance, standard deviation, mean, etc., and then obtain the derived characteristic variables for the target factor data.
  • the server After obtaining the processed feature vector, the server further performs feature extraction on the target factor data to obtain feature vectors corresponding to multiple corresponding field data, and calculate multiple feature dimension values of the feature vector according to a preset objective function. Specifically, feature extraction is performed on multiple feature vectors according to a preset feature dimensionality reduction algorithm, the feature dimension value calculates the similarity between the multiple feature vectors, and the feature vector whose similarity reaches a threshold is extracted.
  • algorithms such as singular value decomposition and principal component analysis can be used to reduce the overall dimensionality of feature variables, thereby effectively extracting features from target factor data and extracting valuable feature vectors and corresponding dimensional feature values.
  • Step 208 Obtain a preset data prediction model according to the request type, and train and analyze multiple characteristic variables through the data analysis model to obtain multiple index data and corresponding predicted values.
  • Step 210 Generate prediction result data using multiple index data and corresponding prediction values, and push the prediction result data to the terminal.
  • the server After the server extracts the corresponding feature vector in the target factor data, it obtains a preset data prediction model according to the request type.
  • the data prediction model may be a neural network model based on machine learning, and the data prediction model may include a preset input layer, LSTM layer, dropout layer, and output layer.
  • the server inputs multiple feature vectors and corresponding dimensional feature values into the input layer of the data prediction model, and trains the input data through the data prediction model. Specifically, the weights corresponding to the multiple feature vectors are calculated through a preset function in the data prediction model, and the correlation between the multiple feature vectors and the target feature data is calculated.
  • the server uses a preset algorithm to perform regression analysis based on the correlation between multiple feature vectors and target feature data, and outputs multiple preset indicator data and corresponding predicted values through the output layer of the data prediction model, and then based on multiple indicators The data and the corresponding predicted value generate predicted result data corresponding to the data prediction request.
  • the server receives the data prediction request and obtains the weather data and environmental data of the corresponding time period and area according to the request type and request information.
  • weather data may include weekly average temperature, weekly maximum air pressure, weekly precipitation, etc.
  • the server performs feature processing and feature extraction on the acquired target factor data, and extracts the corresponding feature vector in the target factor data.
  • the server then inputs the extracted feature vector corresponding to the target factor data into the data prediction model for learning and training, and performs regression analysis to analyze the trend of the incidence of dengue fever within a preset time period.
  • the server then sends the prediction result data to the corresponding terminal. Further, the server may also generate the corresponding view prediction data according to a preset manner from the prediction result data. Specifically, the server may obtain the corresponding integration function according to the request type in the data prediction request, and integrate the corresponding view prediction data through the integration function according to a plurality of preset timing parameters and corresponding prediction values in the prediction result data, and the server will then The view prediction data is pushed to the terminal. After extracting the feature vector in the target factor data, analyze it through the data prediction model to accurately and effectively predict the development trend of the target data for a period of time in the future, thereby effectively improving the accuracy of data analysis and prediction.
  • the terminal can send a data prediction request to the server.
  • the data prediction request includes the request type and request information.
  • the server After receiving the data prediction request sent by the terminal, the server identifies the field factors in the request information, and then according to the request Type and field factor obtain multiple target factor data, and the target factor data includes multiple field data.
  • the server performs feature processing and feature extraction on the target factor data, calculates feature dimension values of multiple field data, and extracts feature vectors corresponding to multiple field data according to the feature dimension values.
  • the server further obtains a preset data prediction model according to the request type, and analyzes multiple feature vectors through the data analysis model, thereby effectively obtaining multiple index data and corresponding predicted values.
  • the server then generates prediction result data based on multiple index data and corresponding prediction values, and pushes the prediction result data to the corresponding terminal.
  • the server extracts the feature vector in the target factor data, it is analyzed through the data prediction model to accurately and effectively predict the development trend of the target data in the future, thereby effectively improving the accuracy of data analysis and prediction.
  • the step of performing feature processing and feature extraction on target factor data, calculating feature dimension values of multiple field data, and extracting feature vectors corresponding to multiple field data according to the feature dimension values includes: The corresponding multiple field data is vectorized to obtain the feature vector corresponding to the multiple field data; the feature vector is derivatized to obtain the processed multiple feature vector; the multiple feature dimension values of the feature vector are calculated according to the preset objective function Calculate the similarity between multiple feature vectors according to the preset distance algorithm and the feature dimension value; extract the feature vectors whose similarity reaches the preset threshold.
  • the user can use the corresponding terminal to send a data prediction request to the server.
  • the data prediction request includes the request type and request information.
  • the server analyzes the request information in the data prediction request. Specifically, the server obtains the parameter information in the request information, parses the parameter information, and identifies field factors in the parameter information. The server then obtains corresponding multiple target factor data from the local database according to the request type and the identified field factor. The server can also obtain multiple corresponding target factor data from a third-party database.
  • the target factor data includes multiple fields. data.
  • the server After the server obtains multiple target factor data, it processes the target factor data. Specifically, the server first vectorizes multiple field data corresponding to the target factor data, and converts the multiple target factor data into corresponding feature vectors in a time series. The server further calculates the feature dimension values corresponding to the multiple feature vectors according to the preset objective function, and the feature dimension values can be expressed as the feature dimension to which the feature vector belongs, thereby obtaining feature vectors corresponding to the multiple field data. The server further performs data cleaning and derivation processing on the feature vector to obtain multiple feature vectors after processing.
  • the server can preprocess multiple feature vectors through means such as mean filling, custom filling, and book model filling, and process multiple feature vectors through data mean, variance, and standard deviation to extract multiple feature vectors and calculate The corresponding feature dimension value.
  • the server may further perform missing value filling, outlier extraction and replacement on the feature vector.
  • some feature engineering algorithms such as statistical feature derivation, can be used to perform lag analysis on the feature vectors of each dimension. , Take the n-dimensional lag data of each dimension as the derivation of variance, standard deviation, mean, etc., and then obtain the derived feature vector for the target factor data.
  • the server After the server obtains the processed feature vector, it further performs feature extraction on the target factor data. Specifically, the similarity between multiple feature vectors is calculated according to the preset distance algorithm and feature dimension value, and the feature whose similarity reaches the threshold is extracted vector.
  • the server can further use algorithms such as singular value decomposition and principal component analysis to reduce the overall dimensionality of the feature vector, thereby effectively extracting features from target factor data, and extracting valuable feature vectors and corresponding feature dimension values.
  • this step specifically includes the following content:
  • Step 302 Obtain multiple historical factor data, and generate corresponding training set data and verification set data based on the multiple historical factor data.
  • the server Before the server obtains the preset data prediction model, it also needs to construct and train the data prediction model. Specifically, the server can obtain a large amount of historical incidence data, weather data, environmental data and other historical factor data from a local database or a third-party database in advance. For example, the server can obtain the weekly number of dengue fever cases from 2000 to 2018, and the weekly Weather data, including historical data such as weekly average temperature, weekly maximum pressure, weekly precipitation, etc. The server generates training set data and validation set data from historical factor data. The training set data may be manually labeled data.
  • Step 304 Perform cluster analysis on multiple historical factor data in the training set data to obtain a clustering result.
  • Step 306 Perform feature extraction on the clustering result to extract multiple feature variables.
  • Step 308 Obtain a preset neural network model, train the training set data through the neural network model to obtain feature dimension values and weights corresponding to multiple feature variables, and construct initial data based on the feature dimension values and weights corresponding to multiple feature variables Forecast model.
  • Step 310 Use the verification set data to further train and verify the data prediction model until the number of the verification set data that meets the preset threshold reaches a preset ratio, stop training, and obtain a trained data prediction model.
  • the server first performs data cleaning and data preprocessing on the historical factor data in the training set data. Specifically, the server vectorizes multiple field data corresponding to the historical factor data to obtain feature vectors corresponding to the multiple field data, and then combine the features The vector is converted to the corresponding feature variable. The server further derives the characteristic variables to obtain multiple characteristic variables after processing. Such as filling in missing values for characteristic variables, extraction and replacement of outliers, etc.
  • the server uses a preset clustering algorithm to perform cluster analysis on the feature variables corresponding to the training set data.
  • the preset clustering algorithm may be a k-means (k-means algorithm) clustering method.
  • the server obtains multiple clustering results after clustering the characteristic variables multiple times.
  • the server calculates the similarity between the multiple feature variables according to the preset algorithm, and extracts the feature variables whose similarity reaches the preset threshold.
  • the server may separately combine feature variables in multiple clustering results to obtain multiple combined feature variables. Obtain the target variable, and use the target variable to test the correlation of multiple combined feature variables. When the test passes, an interactive label is added to the combined feature variable. Use the combined feature variable after adding the interactive label to analyze the corresponding feature variable.
  • the combined feature variable after adding the interactive label may be a feature variable that reaches a preset threshold, and the server extracts a feature variable that reaches the preset threshold.
  • the server obtains the preset neural network model.
  • the neural network model may include a preset input layer, multiple LSTM layers, dropout layer, and output layer.
  • the neural network model includes multiple network nodes, and the rejection rate of each layer of network nodes can be 0.2.
  • the LSTM layer of the neural network model includes activation functions, and the fully connected artificial neural network output through the LSTM layer also includes the corresponding activation functions.
  • the neural network model also includes a calculation method for determining the error, for example, the mean square error algorithm can be used; it also includes an iterative update method for determining the weight parameter, for example, the RMSprop algorithm can be used.
  • the neural network model also includes a regression model. After predictive analysis of the data, continuous data prediction values can be obtained. Further, the neural network model may also include a common neural network layer for dimensionality reduction of the output result.
  • the server After obtaining the preset neural network model, the server further inputs the feature vector corresponding to the extracted training set data into the neural network model for learning and training. After the server trains a large amount of incidence history data in the training set, it can obtain feature dimension values and weights corresponding to multiple feature variables, and then construct an initial data prediction model according to the feature dimension values and weights corresponding to multiple feature variables.
  • the server After the server obtains the initial data prediction model, it obtains the validation set data, and trains and validates the constructed initial data prediction model through a large number of historical factor data in the validation set data. Until the number of verification set data that meets the preset threshold reaches the preset ratio, the training is stopped, and the data prediction model after the training is obtained. Through training and learning a large amount of historical factor data, a data prediction model with a higher prediction accuracy can be effectively constructed, thereby effectively improving the accuracy of data prediction.
  • the step of analyzing multiple feature vectors through a data prediction model to obtain corresponding prediction result data includes: using multiple feature vectors as input to the data prediction model, and according to presets in the data prediction model The function calculates the weights corresponding to multiple eigenvectors; calculates the correlation between multiple eigenvectors and the target feature data according to the weights; performs regression analysis according to the weights and correlations, and outputs multiple index data and data through the output layer in the data prediction model The corresponding predicted value.
  • the user can use the corresponding terminal to send a data prediction request to the server.
  • the data prediction request includes the request type and request information.
  • the server analyzes the request information in the data prediction request. Specifically, the server obtains the parameter information in the request information, parses the parameter information, and identifies field factors in the parameter information. The server then obtains corresponding multiple target factor data from the local database according to the request type and the identified field factor. The server can also obtain multiple corresponding target factor data from a third-party database.
  • the target factor data includes multiple fields. data.
  • the server After acquiring multiple target factor data, the server performs feature processing and feature extraction on the target factor data to obtain feature vectors corresponding to multiple field data.
  • the server further obtains the preset data prediction model, uses the feature vector corresponding to multiple field data as the input of the data prediction model, and then learns and trains the multiple feature vectors through the data prediction model, according to the preset in the data prediction model
  • the function calculates the weights corresponding to multiple feature vectors, and calculates the correlation between multiple feature vectors and the target feature data based on the weights.
  • the data prediction model also includes a regression analysis model. The server then uses the preset algorithm in the data prediction model to perform regression analysis based on the weights of multiple feature vectors and the correlation between multiple feature vectors and multiple preset target feature data.
  • multiple index data and corresponding predicted values can be analyzed. Furthermore, multiple index data and corresponding predicted values are output through the output layer in the data prediction model.
  • the server uses multiple index data and corresponding predicted values to generate prediction result data corresponding to the data prediction request.
  • the method further includes a step of optimizing the data prediction model, and the step specifically includes the following content:
  • Step 402 Acquire multiple historical factor data from a preset database according to a preset frequency.
  • Step 404 Perform cluster analysis on multiple historical factor data to obtain an analysis result.
  • Step 406 Perform feature selection according to the analysis result to obtain multiple feature variables.
  • Step 408 Calculate the weights of multiple feature variables according to a preset algorithm.
  • Step 410 Optimize and adjust the data prediction model according to multiple feature variables and corresponding weights.
  • the data prediction model can be adjusted and optimized according to the preset frequency.
  • the server can obtain a large amount of historical factor data from the database according to a preset frequency.
  • the preset frequency can be one week, two weeks, one month, three months, etc.
  • the server can obtain the past week, two weeks, and one month.
  • the historical factor data within three months, the historical factor data may include the incidence data, weather data and environmental data of a preset area, for example, the weather data may include weekly average temperature, weekly maximum air pressure, weekly precipitation, etc.
  • the server first obtains a large amount of historical factor data for data cleaning and data preprocessing. Specifically, the server vectorizes multiple field data corresponding to the historical factor data to obtain feature variables corresponding to multiple field data, and derive the feature variables Processing to obtain multiple characteristic variables after processing. Such as filling in missing values for characteristic variables, extraction and replacement of outliers, etc.
  • the server uses a preset clustering algorithm to perform cluster analysis on the feature variables corresponding to the training set data.
  • the preset clustering algorithm may be a k-means (k-means algorithm) clustering method.
  • the server obtains multiple clustering results after clustering the characteristic variables multiple times.
  • the server calculates the similarity between the multiple feature variables according to the preset algorithm, and extracts the feature variables whose similarity reaches the preset threshold.
  • the server may separately combine feature variables in multiple clustering results to obtain multiple combined feature variables. Obtain the target variable, and use the target variable to test the correlation of multiple combined feature variables. When the test passes, an interactive label is added to the combined feature variable. Use the combined feature variable after adding the interactive label to analyze the corresponding feature variable.
  • the combined feature variable after adding the interactive label may be a feature variable that reaches a preset threshold, and the server extracts a feature variable that reaches the preset threshold.
  • the server further calculates the weights of multiple characteristic variables according to a preset algorithm, and then optimizes and adjusts the data prediction model according to the multiple characteristic variables and corresponding weights. Specifically, the server may adjust the model parameters in the data prediction model according to multiple feature variables and corresponding weights, thereby effectively tuning and optimizing the data prediction model.
  • the method further includes: obtaining a preset integration function according to the request type; integrating corresponding view prediction data through the integration function according to multiple preset timing parameters and corresponding predicted values in the prediction result data;
  • the view prediction data adds an event type identifier and corresponding interface call parameters, and the view prediction data is sent to the terminal.
  • the terminal can send a data prediction request to the server.
  • the data prediction request includes the request type and request information.
  • the server receives the data prediction request sent by the terminal, it identifies the field factor in the request information, and then obtains multiple target factor data according to the request type and field factor ,
  • the target factor data includes multiple field data.
  • the server performs feature processing and feature extraction on the target factor data to obtain feature variables corresponding to multiple field data.
  • the server further obtains a preset data prediction model according to the request type, analyzes multiple characteristic variables through the data analysis model, and obtains multiple indicator data and corresponding predicted values.
  • the server then generates predictions based on multiple indicator data and corresponding predicted values.
  • the result data can accurately and effectively predict the development trend of the target data in the future, thereby effectively improving the accuracy of data analysis and prediction.
  • the server After the server generates the prediction result data corresponding to the data prediction request, it may further convert the prediction result data into corresponding view prediction data.
  • the request type includes the type of the acquired target prediction result data
  • the prediction result data includes multiple index data and corresponding prediction values.
  • it may include parameters such as the incidence probability and incidence distribution based on the time dimension and the corresponding predicted value.
  • the time dimension can be every 3 hours, every 12 hours as the time unit, every day, or every week as the time unit.
  • the server can obtain preset integration functions according to the request type, such as python visualization functions, and integrate multiple indicator data and corresponding predicted values into corresponding view data.
  • visualization functions such as histogram visualization functions, distribution density, and heat maps can be used to embed Integrate corresponding view data, and draw corresponding visual images through nested functions.
  • the server After the server integrates the corresponding view prediction data through the integration function based on multiple index data and corresponding prediction values in the prediction result data, it further adds event type identification and corresponding interface call parameters to the view resource data, and integrates the corresponding class for storage .
  • event type identification and corresponding interface call parameters to the view resource data, and integrates the corresponding class for storage .
  • the server or terminal In order to facilitate the server or terminal to call the generated view prediction data, so that when the server or terminal obtains the associated time series data or view data again, it can directly call the mining analysis view according to the event type identification and the corresponding interface call parameters Resource data, thereby improving the analysis efficiency and utilization value of time series data.
  • the server After the server generates the corresponding view prediction data, it pushes the view prediction data to the corresponding terminal.
  • the server analyzes and predicts the target factor data, and obtains the corresponding prediction result data, and converts the prediction result data into corresponding view data, which can effectively visualize the prediction result data, so that users can effectively obtain and View the forecast result data.
  • a data prediction processing device based on machine learning including: a request receiving module 502, a data acquisition module 504, a feature processing module 506, a data prediction module 508, and result data Generate module 510, where:
  • the request receiving module 502 is configured to receive a data prediction request sent by the terminal, and the data prediction request includes the request type and request information;
  • the data acquisition module 504 is used to identify the field factor in the request information, and acquire multiple target factor data according to the request type and the field factor, and the target factor data includes multiple field data;
  • the feature processing module 506 is configured to perform feature processing and feature extraction on target factor data, calculate feature dimension values of multiple field data, and extract feature vectors corresponding to multiple field data according to the feature dimension values;
  • the data prediction module 508 is used to obtain a preset data prediction model according to the request type, and train and analyze the characteristic variables through the data analysis model to obtain multiple index data and corresponding prediction values;
  • the result data generating module 510 is used to generate prediction result data using multiple index data and corresponding prediction values, and push the prediction result data to the terminal.
  • the feature processing module 506 is also used to vectorize multiple field data corresponding to the target factor data to obtain feature vectors corresponding to multiple field data; perform derivation processing on the feature variables to obtain the processed multiple Feature vectors; calculate multiple feature dimension values of the feature vector according to the preset objective function; calculate the similarity between multiple feature vectors according to the preset distance algorithm and feature dimension value; extract the feature vectors whose similarity reaches the preset threshold .
  • the device further includes a model training module for acquiring multiple historical factor data, and generating corresponding training set data and verification set data according to the multiple historical factor data; Perform clustering analysis on the historical factor data to obtain the clustering results; perform feature extraction on the clustering results to extract multiple feature variables; obtain the preset neural network model, and train the training set data through the neural network model to obtain multiple
  • the feature dimension values and weights corresponding to each feature variable are used to construct an initial data prediction model based on the feature dimension values and weights corresponding to multiple feature variables; the data prediction model is further trained and verified with the validation set data until the validation set data meets the requirements When the number of thresholds reaches the preset ratio, the training is stopped, and the data prediction model after the training is obtained.
  • the data prediction module 508 is further configured to use multiple feature vectors as the input of the data prediction model, and calculate the weights corresponding to the multiple feature vectors according to preset functions in the data prediction model; calculate multiple features according to the weights The correlation between the vector and the target feature data; perform regression analysis according to the weight and correlation of the feature vector, and output multiple index data and corresponding predicted values through the output layer in the data prediction model.
  • the device further includes a model optimization module for obtaining multiple historical factor data from a preset database according to a preset frequency; performing cluster analysis on the multiple historical factor data to obtain the analysis result; As a result, feature selection is performed to obtain multiple feature variables; the weights of multiple feature variables are calculated according to a preset algorithm; the data prediction model is optimized and adjusted according to multiple feature variables and corresponding weights.
  • a model optimization module for obtaining multiple historical factor data from a preset database according to a preset frequency; performing cluster analysis on the multiple historical factor data to obtain the analysis result; As a result, feature selection is performed to obtain multiple feature variables; the weights of multiple feature variables are calculated according to a preset algorithm; the data prediction model is optimized and adjusted according to multiple feature variables and corresponding weights.
  • the device further includes a view integration module for obtaining a preset integration function according to the request type; according to a plurality of preset timing parameters and corresponding predicted values in the prediction result data, the corresponding integrated function is integrated View prediction data; add event type identifiers and corresponding interface call parameters to the view prediction data, and send the view prediction data to the terminal.
  • a view integration module for obtaining a preset integration function according to the request type; according to a plurality of preset timing parameters and corresponding predicted values in the prediction result data, the corresponding integrated function is integrated View prediction data; add event type identifiers and corresponding interface call parameters to the view prediction data, and send the view prediction data to the terminal.
  • Each module in the above-mentioned machine learning-based data prediction processing device can be implemented in whole or in part by software, hardware, and combinations thereof.
  • the foregoing modules may be embedded in the form of hardware or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the foregoing modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 6.
  • the computer equipment includes a processor, a memory, a network interface and a database connected through a system bus. Among them, the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the database of the computer equipment is used to store target factor data, historical factor data, predicted result data, and attempted result data.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • FIG. 6 is only a block diagram of part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device to which the solution of the present application is applied.
  • the specific computer device may Including more or fewer parts than shown in the figure, or combining some parts, or having a different arrangement of parts.
  • a computer device includes a memory and one or more processors.
  • the memory stores computer readable instructions.
  • the one or more processors execute the following steps:
  • the data prediction request includes the request type and request information
  • Identify the field factor in the request information obtain multiple target factor data according to the request type and field factor, and the target factor data includes multiple field data;
  • the prediction result data generated by multiple index data and corresponding prediction values is used to push the prediction result data to the terminal.
  • One or more non-volatile computer-readable storage media storing computer-readable instructions.
  • the one or more processors execute the following steps:
  • the data prediction request includes the request type and request information
  • Identify the field factor in the request information obtain multiple target factor data according to the request type and field factor, and the target factor data includes multiple field data;
  • the prediction result data generated by multiple index data and corresponding prediction values is used to push the prediction result data to the terminal.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • ROM read only memory
  • PROM programmable ROM
  • EPROM electrically programmable ROM
  • EEPROM electrically erasable programmable ROM
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于机器学习的数据预测处理方法、装置和计算机设备，所述方法包括：接收终端发送的数据预测请求，数据预测请求包括请求类型和请求信息；识别请求信息中的字段因子，根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括多个字段数据；对目标因素数据进行特征处理和特征提取，得到多个字段数据对应的特征向量；根据请求类型获取预设的数据预测模型，通过数据分析模型对特征变量进行训练和分析，得到多个指标数据和对应的预测值；根据多个指标数据和对应的预测值生成的预测结果数据，并将预测结果数据推送至终端。

Description

基于机器学习的数据预测处理方法、装置和计算机设备
相关申请的交叉引用：
本申请要求于2019年03月07日提交至中国专利局，申请号为2019101723231，申请名称为“基于机器学习的数据预测处理方法、装置和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及一种基于机器学习的数据预测处理方法、装置和计算机设备。
背景技术
流行性传染病是指由各种致病性微生物或病原体引起的具有传染性的疾病，如登革热、流行性病毒感冒、脑膜炎、霍乱等。由于传染病具有传播的特性，能在较短的时间内广泛蔓延，是危害人类身体健康，威胁人类生命安全的重要疾病。例如，登革热(dengue)是登革病毒经蚊媒传播引起的急性虫媒传染病，起病骤降危害大。登革热周发病人数波动较频繁，虽然每年有一定的爆发期规律，但波动周期紊乱不固定，波动幅度变换很大，因此3-5年长期预测的误差较难控制，预测难度非常高。
然而，随着计算机技术的迅速发展，出现了一些通过对已有的数据进行分析，从而对发病情况进行预测。但现有的方式中对发病情况进行分析的数据源较少，而影响发病情况的因素较多且有不稳定型，导致对数据进行分析预测的准确率较低。
发明内容
根据本申请公开的各种实施例，提供一种基于机器学习的数据预测处理方法、装置和计算机设备。
一种基于机器学习的数据预测处理方法包括：
接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值， 根据所述特征维度值提取所述多个字段数据对应的特征向量；
根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
利用所述多个指标数据和对应的预测值生成的预测结果数据，并将所述预测结果数据推送至所述终端。
一种基于机器学习的数据预测处理装置包括：
请求接收模块，用于接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
数据获取模块，用于识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
特征处理模块，用于对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值，根据所述特征维度值提取所述多个字段数据对应的特征向量；
数据预测模块，用于根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
结果数据生成模块，用于利用所述多个指标数据和对应的预测值生成的预测结果数据，并将所述预测结果数据推送至所述终端。
一种计算机设备，包括存储器和一个或多个处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述一个或多个处理器执行以下步骤：
接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值，根据所述特征维度值提取所述多个字段数据对应的特征向量；
根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
利用所述多个指标数据和对应的预测值生成的预测结果数据，将所述预测结果数据推送至所述终端。
一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值，根据所述特征维度值提取所述多个字段数据对应的特征向量；
根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
利用所述多个指标数据和对应的预测值生成的预测结果数据，将所述预测结果数据推送至所述终端。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为根据一个或多个实施例中基于机器学习的数据预测处理方法的应用场景图。
图2为根据一个或多个实施例中基于机器学习的数据预测处理方法的流程示意图。
图3为根据一个或多个实施例中训练数据预测模型步骤的流程示意图。
图4为根据一个或多个实施例中优化数据预测模型的步骤的流程示意图。
图5为根据一个或多个实施例中基于机器学习的数据预测处理装置的框图。
图6为根据一个或多个实施例中计算机设备的框图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于机器学习的数据预测处理方法，可以应用于如图1所示的应用环境中。终端102通过网络与服务器104通过网络进行通信。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102可以向服务器104发送数据预测请 求，数据预测请求包括请求类型和请求信息，服务器104接收终端102发送的数据预测请求后，识别请求信息中的字段因子，进而根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括了多个字段数据。服务器104则对目标因素数据进行特征处理和特征提取，得到多个字段数据对应的特征向量。服务器104进一步根据请求类型获取预设的数据预测模型，通过数据分析模型对多个特征向量进行分析，由此能够有效得到多个指标数据和对应的预测值。服务器104进而利用多个指标数据和对应的预测值生成预测结果数据，将预测结果数据推送至对应的终端102。服务器提取出目标因素数据中的特征向量后，通过数据预测模型进行预测分析，准确有效地预测未来一段时间内目标数据的发展趋势，由此能够有效提高数据分析和预测的准确率。
在其中一个实施例中，如图2所示，提供了一种基于机器学习的数据预测处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，接收终端发送的数据预测请求，数据预测请求包括请求类型和请求信息。
数据预测请求可以是请求获取根据请求信息对多个目标因素数据进行分析后，得到对多个目标因素数据对应的预测结果数据。用户可以利用对应的终端向服务器发送数据预测请求，数据预测请求中包括了请求类型和请求信息，其中，请求类型可以是获取的目标预测数据的类型，例如革登热的发病预测数据；请求信息可以是用户通过终端输入的参数信息，例如时间维度参数、区域维度参数等。
步骤204，识别请求信息中的字段因子，根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括多个字段数据。
服务器接收到终端发送的数据预测请求后，对数据预测请求中的请求信息进行分析。具体地，服务器获取请求信息中的参数信息，对参数信息进行解析，识别参数信息中的字段因子，例如，字段因子可以包括时间因子、区域因子、天气因子等。服务器进而根据请求类型和识别出的字段因子从本地数据库中获取对应的多个目标因素数据，服务器还可以从第三方数据库中获取对应的多个目标因素数据，目标因素数据中包括了多个字段数据。目标因素数据可以是与字段因子相对应的数据，例如当请求类型为革登热发病趋势预测时，则目标因素数据可以包括天气数据、环境数据以及疾病类型对应的历史发病数据等，例如获取未来一周的天气数据，包括周平均温度、周最大气压、周降水量等。
步骤206，对目标因素数据进行特征处理和特征提取，计算多个字段数据的特征维度值，根据特征维度值提取多个字段数据对应的特征向量。
服务器获取多个目标因素数据后，则对目标因素数据进行处理。具体地，服务器首先对 目标因素数据对应的多个字段数据进行向量化，将多个目标因素数据按照时间序列转换为对应的特征向量，并将多个特征向量转换为多个特征变量和对应的维度特征值，维度特征值可以表示为特征变量所属的特征维度，由此得到多个字段数据对应的特征向量。服务器进一步对特征向量进行数据清洗和衍生处理，得到处理后的多个特征向量。
例如，服务器可以通过均值填充、定制填充和书模型填充等方式对多个特征向量进行预处理，并通过数据均值、方差和标准差等对多个特征向量处理，提取出多个特征向量和维度特征值。服务器可以进一步对特征向量进行缺失值填充、异常值抽取更替等。例如，得到多个维度的特征向量后，这些数据背后可能还有隐藏的信息，因此还可以采用一些特征工程的算法，如统计学相关的特征衍生，通过对每一维度的特征向量作滞后分析，将每一维度n维的滞后数据作方差、标准差、均值等的衍生，进而得到目标因素数据对于的衍生特征变量。
服务器得到处理后的特征向量后，进一步对目标因素数据进行特征提取，得到对应的多个字段数据对应的特征向量，并根据预设的目标函数计算特征向量的多个特征维度值。具体地，根据预设的特征降维算法对多个特征向量进行特征提取，特征维度值计算多个特征向量之间的相似度，提取出相似度达到阈值的特征向量。例如，可以利用奇异值分解、主成分分析等算法对特征变量整体进行降维，从而能够有效地对目标因素数据进行特征提取，提取出有价值的特征向量和对应的维度特征值。
步骤208，根据请求类型获取预设的数据预测模型，通过数据分析模型对多个特征变量进行训练和分析，得到多个指标数据和对应的预测值。
步骤210，利用多个指标数据和对应的预测值生成预测结果数据，将预测结果数据推送至终端。
服务器提取出目标因素数据中对应的特征向量后，则根据请求类型获取预设的数据预测模型。数据预测模型可以是基于机器学习的神经网络模型，数据预测模型中可以包括预设的输入层、LSTM层、Dropout层和输出层。服务器则将多个特征向量和对应的维度特征值输入至数据预测模型的输入层中，通过数据预测模型对输入的数据进行训练。具体地，通过数据预测模型中的预设函数计算多个特征向量对应的权重，并计算多个特征向量与目标特征数据之间的相关性。服务器进而利用预设算法根据多个特征向量与目标特征数据之间的相关性进行回归分析，通过数据预测模型的输出层输出多个预设的指标数据和对应的预测值，进而根据多个指标数据和对应的预测值生成与数据预测请求相对应的预测结果数据。
例如，当终端向服务器发送的数据预测请求是基于革登热发病趋势的预测请求时，服务器接收到数据预测请求后，根据请求类型和请求信息获取对应时间段和区域的天气数据和环 境数据等，例如，天气数据可以包括周平均温度、周最大气压、周降水量等。服务器则对获取的目标因素数据进行特征处理和特征提取，提取出目标因素数据中对应的特征向量。服务器进而将提取出的目标因素数据对应的特征向量输入至数据预测模型中进行学习和训练，并进行回归分析，分析出在预设时间段内革登热的发病预测趋势。
服务器进而将预测结果数据发送至对应终端。进一步地，服务器还可以将预测结果数据按照预设方式生成对应的视图预测数据。具体地，服务器可以根据数据预测请求中的请求类型获取对应的集成函数，并根据预测结果数据中的多个预设时序参数和对应的预测值通过集成函数集成对应的视图预测数据，服务器进而将视图预测数据推送至终端。通过提取出目标因素数据中的特征向量后，通过数据预测模型进行分析，准确有效地预测未来一段时间内的目标数据发展趋势，由此能够有效提高数据分析和预测的准确率。
上述基于机器学习的数据预测方法中，终端可以向服务器发送数据预测请求，数据预测请求包括请求类型和请求信息，服务器接收终端发送的数据预测请求后，识别请求信息中的字段因子，进而根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括了多个字段数据。服务器则对目标因素数据进行特征处理和特征提取，计算多个字段数据的特征维度值，根据特征维度值提取多个字段数据对应的特征向量。服务器进一步根据请求类型获取预设的数据预测模型，通过数据分析模型对多个特征向量进行分析，由此能够有效得到多个指标数据和对应的预测值。服务器进而根据多个指标数据和对应的预测值生成预测结果数据，将预测结果数据推送至对应的终端。服务器提取出目标因素数据中的特征向量后，通过数据预测模型进行分析，准确有效地预测未来一段时间内目标数据的发展趋势，由此能够有效提高数据分析和预测的准确率。
在其中一个实施例中，对目标因素数据进行特征处理和特征提取，计算多个字段数据的特征维度值，根据特征维度值提取多个字段数据对应的特征向量的步骤，包括：对目标因素数据对应的多个字段数据进行向量化，得到多个字段数据对应的特征向量；对特征向量进行衍生处理，得到处理后的多个特征向量；根据预设目标函数计算特征向量的多个特征维度值；根据预设距离算法和特征维度值计算多个特征向量之间的相似度；提取出相似度达到预设阈值的特征向量。
用户可以利用对应的终端向服务器发送数据预测请求，数据预测请求中包括了请求类型和请求信息。服务器接收到终端发送的数据预测请求后，对数据预测请求中的请求信息进行分析。具体地，服务器获取请求信息中的参数信息，对参数信息进行解析，识别参数信息中的字段因子。服务器进而根据请求类型和识别出的字段因子从本地数据库中获取对应的多个 目标因素数据，服务器还可以从第三方数据库中获取对应的多个目标因素数据，目标因素数据中包括了多个字段数据。
服务器获取多个目标因素数据后，则对目标因素数据进行处理。具体地，服务器首先对目标因素数据对应的多个字段数据进行向量化，将多个目标因素数据按照时间序列转换为对应的特征向量。服务器进而根据预设的目标函数计算多个特征向量对应的特征维度值，特征维度值可以表示为特征向量所属的特征维度，由此得到多个字段数据对应的特征向量。服务器进一步对特征向量进行数据清洗和衍生处理，得到处理后的多个特征向量。
例如，服务器可以通过均值填充、定制填充和书模型填充等方式对多个特征向量进行预处理，并通过数据均值、方差和标准差等对多个特征向量处理，提取出多个特征向量和计算出对应的特征维度值。服务器可以进一步对特征向量进行缺失值填充、异常值抽取更替等。例如，得到多个维度的特征向量后，这些数据背后可能还有隐藏的信息，因此还可以采用一些特征工程的算法，如统计学相关的特征衍生，通过对每一维度的特征向量作滞后分析，将每一维度n维的滞后数据作方差、标准差、均值等等的衍生，进而得到目标因素数据对于的衍生特征向量。
服务器得到处理后的特征向量后，进一步对目标因素数据进行特征提取，具体地，根据预设的距离算法和特征维度值计算多个特征向量之间的相似度，提取出相似度达到阈值的特征向量。服务器还可以进一步利用奇异值分解、主成分分析等算法对特征向量整体进行降维，从而能够有效地对目标因素数据进行特征提取，提取出有价值的特征向量和对应的特征维度值。
在其中一个实施例中，如图3所示，获取预设的数据预测模型之前，还包括构建和训练数据预测模型的步骤，该步骤具体包括以下内容：
步骤302，获取多个历史因素数据，根据多个历史因素数据生成对应的训练集数据和验证集数据。
服务器在获取预设的数据预测模型之前，还需要构建和训练出数据预测模型。具体地，服务器可以预先从本地数据库或第三方数据库中获取大量的历史发病数据、天气数据以及环境数据等多个历史因素数据，例如服务器可以获取2000-2018年的登革热的周发病人数、每周的天气数据，包括周平均温度、周最大气压、周降水量等历史数据。服务器则将历史因素数据生成训练集数据和验证集数据。训练集数据可以是经过人工标注后的数据。
步骤304，对练集数据中的多个历史因素数据进行聚类分析，得到聚类结果。
步骤306，对聚类结果进行特征提取，提取出多个特征变量。
步骤308，获取预设的神经网络模型，通过神经网络模型对训练集数据进行训练，得到多个特征变量对应的特征维度值和权重，根据多个特征变量对应的特征维度值和权重构建初始数据预测模型。
步骤310，利用验证集数据对所述数据预测模型进行进一步训练和验证，直到验证集数据中满足预设阈值的数量达到预设比值时，停止训练，得到训练完成的数据预测模型。
服务器首先对训练集数据中的历史因素数据进行数据清洗和数据预处理，具体地，服务器对历史因素数据对应的多个字段数据进行向量化，得到多个字段数据对应的特征向量，并将特征向量转换为对应的特征变量。服务器进一步对特征变量进行衍生处理，得到处理后的多个特征变量。如对特征变量进行缺失值填充、异常值抽取更替等。
服务器进而采用预设的聚类算法对训练集数据对应的特征变量进行聚类分析。例如，预设的聚类算法可以为k-means(k-均值算法)聚类的方法。服务器通过对特征变量进行多次聚类后得到多个聚类结果。服务器并根据预设算法计算多个特征变量之间的相似度，提取出相似度达到预设阈值的特征变量。
例如，服务器可以对多个聚类结果内的特征变量分别进行组合，得到多个组合特征变量。获取目标变量，利用目标变量对多个组合特征变量进行相关性检验。检验通过时，对组合特征变量添加交互标签。利用添加交互标签后的组合特征变量解析对应的特征变量。添加交互标签后的组合特征变量可以为达到预设阈值的特征变量，服务器则提取出达到预设阈值特征变量。通过对特征变量进行特征处理和特征提取，能够有效地提取出有价值的特征变量。
服务器则获取预设的神经网络模型。例如，神经网络模型可以包括预设的输入层、多个LSTM层、dropout层和输出层。神经网络模型中包括多个网络节点，其中每一层网络节点的舍弃率可以为0.2。神经网络模型的LSTM层包括激活函数，通过LSTM层输出的完全连接人工神经网络也包括对应的激活函数。神经网络模型中还包括确定误差的计算方式，例如可以采用均方误差算法；还包括确定权重参数的迭代更新方式，例如可以采用RMSprop算法。神经网络模型中还包括回归模型，通过对数据进行预测分析后，进而可以得到连续的数据预测值。进一步地，神经网络模型中还可以包括一层普通的神经网络层，用于输出结果的降维。
服务器获取预设的神经网络模型后，进一步将提取出的训练集数据对应的特征向量输入至神经网络模型中进行学习和训练。服务器通过对训练集中的大量发病历史数据进行训练后，可以得到得到多个特征变量对应的特征维度值和权重，进而根据多个特征变量对应的特征维度值和权重构建初始数据预测模型。
服务器得到初始数据预测模型后，则获取验证集数据，通过验证集数据中的大量历史因 素数据对构建的初始数据预测模型进行训练和验证。直到验证集数据中满足预设阈值的数量达到预设比值时，则停止训练，进而得到训练完成的数据预测模型。通过对大量的历史因素数据进行训练和学习，进而能够有效构建出预测准确率较高的数据预测模型，从而有效提高了数据预测的准确率。
在其中一个实施例中，通过数据预测模型对多个特征向量进行分析，得到对应的预测结果数据的步骤，包括：将多个特征向量作为数据预测模型的输入，根据数据预测模型中的预设函数计算多个特征向量对应的权重；根据权重计算多个特征向量与目标特征数据之间的相关性；根据权重和相关性进行回归分析，通过数据预测模型中的输出层输出多个指标数据和对应的预测值。
用户可以利用对应的终端向服务器发送数据预测请求，数据预测请求中包括了请求类型和请求信息。服务器接收到终端发送的数据预测请求后，对数据预测请求中的请求信息进行分析。具体地，服务器获取请求信息中的参数信息，对参数信息进行解析，识别参数信息中的字段因子。服务器进而根据请求类型和识别出的字段因子从本地数据库中获取对应的多个目标因素数据，服务器还可以从第三方数据库中获取对应的多个目标因素数据，目标因素数据中包括了多个字段数据。
服务器获取多个目标因素数据后，对目标因素数据进行特征处理和特征提取，得到多个字段数据对应的特征向量。服务器则进一步获取预设的数据预测模型，将多个字段数据对应的特征向量作为数据预测模型的输入，进而通过数据预测模型对多个特征向量进行学习和训练，根据数据预测模型中的预设函数计算出多个特征向量对应的权重，并根据权重计算出多个特征向量与目标特征数据的相关性。数据预测模型中还包括回归分析模型，服务器进而通过数据预测模型中的预设算法根据多个特征向量的权重以及多个特征向量与多个预设目标特征数据之间的相关性进行回归分析，由此可以分析得到多个指标数据和对应的预测值。进而通过数据预测模型中的输出层输出多个指标数据和对应的预测值。服务器则利用多个指标数据和对应的预测值生成与数据预测请求对应的预测结果数据。通过利用预先训练的数据预测模型对目标因素数据进行预测分析，能够有效地提高数据预测的准确率。
在其中一个实施例中，如图4所示，该方法还包括对数据预测模型进行优化的步骤，该步骤具体包括以下内容：
步骤402，根据预设频率从预设数据库中获取多个历史因素数据。
步骤404，对多个历史因素数据进行聚类分析，得到分析结果。
步骤406，根据所述分析结果进行特征选择，得到多个特征变量。
步骤408，根据预设的算法计算多个特征变量的权重。
步骤410，根据多个特征变量和对应的权重对所述数据预测模型进行优化调整。
服务器训练得到数据预测模型后，还可以根据预设的频率对数据预测模型进行调参优化。具体地，服务器可以根据预设频率从数据库中获取大量的历史因素数据，例如预设频率可以为一周、两周、一个月、三个月等，服务器则可以获取过去一周、两周、一个月、三个月内的历史因素数据，历史因素数据可以包括预设区域的发病数据、天气数据以及环境数据等，例如，天气数据可以包括周平均温度、周最大气压、周降水量等。
服务器首先获取的大量历史因素数据进行数据清洗和数据预处理，具体地，服务器对历史因素数据对应的多个字段数据进行向量化，得到多个字段数据对应的特征变量，并对特征变量进行衍生处理，得到处理后的多个特征变量。如对特征变量进行缺失值填充、异常值抽取更替等。
服务器进而采用预设的聚类算法对训练集数据对应的特征变量进行聚类分析。例如，预设的聚类算法可以为k-means(k-均值算法)聚类的方法。服务器通过对特征变量进行多次聚类后得到多个聚类结果。服务器并根据预设算法计算多个特征变量之间的相似度，提取出相似度达到预设阈值的特征变量。
例如，服务器可以对多个聚类结果内的特征变量分别进行组合，得到多个组合特征变量。获取目标变量，利用目标变量对多个组合特征变量进行相关性检验。检验通过时，对组合特征变量添加交互标签。利用添加交互标签后的组合特征变量解析对应的特征变量。添加交互标签后的组合特征变量可以为达到预设阈值的特征变量，服务器则提取出达到预设阈值特征变量。通过对特征变量进行特征处理和特征提取，能够有效地提取出有价值的特征变量。
服务器进一步根据预设的算法计算多个特征变量的权重，进而根据多个特征变量和对应的权重对数据预测模型进行优化调整。具体地，服务器可以根据多个特征变量和对应的权重对数据预测模型中的模型参数进行调整，由此能够有效地对数据预测模型进行调参优化。
在其中一个实施例中，该方法还包括：根据请求类型获取预设的集成函数；根据预测结果数据中的多个预设时序参数和对应的预测值通过集成函数集成对应的视图预测数据；对视图预测数据添加事件类型标识和对应的接口调用参数，将视图预测数据发送至终端。
终端可以向服务器发送数据预测请求，数据预测请求包括请求类型和请求信息，服务器接收终端发送的数据预测请求后，识别请求信息中的字段因子，进而根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括了多个字段数据。服务器则对目标因素数据进行特征处理和特征提取，得到多个字段数据对应的特征变量。服务器进一步根据请求类型获 取预设的数据预测模型，通过数据分析模型对多个特征变量进行分析，得到多个指标数据和对应的预测值，服务器进而根据多个指标数据和对应的预测值生成预测结果数据，由此准确有效地预测未来一段时间内目标数据的发展趋势，进而能够有效提高数据分析和预测的准确率。
服务器生成与数据预测请求对应的预测结果数据后，还可以进一步将预测结果数据转换为对应的视图预测数据。具体地，请求类型中包括了获取的目标预测结果数据的类型，预测结果数据中包括了多个指标数据和对应的预测值。例如，可以包括基于时间维度的发病概率、发病分布情况等参数以及对应的预测值。如时间维度可以是每3小时、每12小时为时间单位每天或者每周为时间单位。服务器可以根据请求类型获取预设的集成函数，例如python可视化函数，将多个指标数据和对应的预测值集成对应的视图数据，例如可以利用直方图可视化函数、分布密度、热度图等可视化函数嵌入集成对应的视图数据，通过嵌套函数能够绘制出对应的可视化图像。
服务器根据预测结果数据中的多个指标数据和对应的预测值通过集成函数集成对应的视图预测数据后，进一步对视图资源数据添加事件类型标识和对应的接口调用参数，并集成对应的类进行存储。以利于服务器或终端对生成的视图预测数据进行调用，由此使得服务器或终端再次获取相关联的时序数据或视图数据时，可以直接根据事件类型标识和对应的接口调用参数调用挖掘分析出的视图资源数据，进而提高了对时序数据的分析效率和利用价值。
服务器生成对应的视图预测数据后，则将视图预测数据推送至对应的终端。服务器对目标因素数据进行分析和预测，并得到对应的预测结果数据后，通过将预测结果数据转换为对应的视图数据，由此能够有效地对预测结果数据进行可视化，使得用户能够有效地获取和查看预测结果数据。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图5所示，提供了一种基于机器学习的数据预测处理装置，包括：请求接收模块502、数据获取模块504、特征处理模块506、数据预测模块508和结果数据生成模块510，其中：
请求接收模块502，用于接收终端发送的数据预测请求，数据预测请求包括请求类型和请求信息；
数据获取模块504，用于识别请求信息中的字段因子，根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括多个字段数据；
特征处理模块506，用于对目标因素数据进行特征处理和特征提取，计算多个字段数据的特征维度值，根据特征维度值提取多个字段数据对应的特征向量；
数据预测模块508，用于根据请求类型获取预设的数据预测模型，通过数据分析模型对特征变量进行训练和分析，得到多个指标数据和对应的预测值；
结果数据生成模块510，用于利用多个指标数据和对应的预测值生成的预测结果数据，并将预测结果数据推送至终端。
在其中一个实施例中，特征处理模块506还用于对目标因素数据对应的多个字段数据进行向量化，得到多个字段数据对应的特征向量；对特征变量进行衍生处理，得到处理后的多个特征向量；根据预设目标函数计算特征向量的多个特征维度值；根据预设距离算法和特征维度值计算多个特征向量之间的相似度；提取出相似度达到预设阈值的特征向量。
在其中一个实施例中，该装置还包括模型训练模块，用于获取多个历史因素数据，根据所述多个历史因素数据生成对应的训练集数据和验证集数据；对训练集数据中的多个历史因素数据进行聚类分析，得到聚类结果；对聚类结果进行特征提取，提取出多个特征变量；获取预设的神经网络模型，通过神经网络模型对训练集数据进行训练，得到多个特征变量对应的特征维度值和权重，根据多个特征变量对应的特征维度值和权重构建初始数据预测模型；利用验证集数据对数据预测模型进行进一步训练和验证，直到验证集数据中满足预设阈值的数量达到预设比值时，停止训练，得到训练完成的数据预测模型。
在其中一个实施例中，数据预测模块508还用于将多个特征向量作为数据预测模型的输入，根据数据预测模型中的预设函数计算多个特征向量对应的权重；根据权重计算多个特征向量与目标特征数据之间的相关性；根据特征向量的权重和相关性进行回归分析，并通过数据预测模型中的输出层输出多个指标数据和对应的预测值。
在其中一个实施例中，该装置还包括模型优化模块，用于根据预设频率从预设数据库中获取多个历史因素数据；对多个历史因素数据进行聚类分析，得到分析结果；根据分析结果进行特征选择，得到多个特征变量；根据预设的算法计算多个特征变量的权重；根据多个特征变量和对应的权重对数据预测模型进行优化调整。
在其中一个实施例中，该装置还包括视图集成模块，用于根据请求类型获取预设的集成 函数；根据预测结果数据中的多个预设时序参数和对应的预测值通过集成函数集成对应的视图预测数据；对视图预测数据添加事件类型标识和对应的接口调用参数，并将视图预测数据发送至终端。
关于基于机器学习的数据预测处理装置的具体限定可以参见上文中对于基于机器学习的数据预测处理方法的限定，在此不再赘述。上述基于机器学习的数据预测处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储目标因素数据、历史因素数据、预测结果数据以及试图结果数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现本申请任意一个实施例中提供的基于机器学习的数据预测处理方法的步骤。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种计算机设备，包括存储器和一个或多个处理器，存储器中储存有计算机可读指令，计算机可读指令被处理器执行时，使得一个或多个处理器执行以下步骤：
接收终端发送的数据预测请求，数据预测请求包括请求类型和请求信息；
识别请求信息中的字段因子，根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括多个字段数据；
对目标因素数据进行特征处理和特征提取，计算多个字段数据的特征维度值，根据特征维度值提取多个字段数据对应的特征向量；
根据请求类型获取预设的数据预测模型，通过数据分析模型对特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
利用多个指标数据和对应的预测值生成的预测结果数据，将预测结果数据推送至终端。
一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
接收终端发送的数据预测请求，数据预测请求包括请求类型和请求信息；
识别请求信息中的字段因子，根据请求类型和字段因子获取多个目标因素数据，目标因素数据包括多个字段数据；
对目标因素数据进行特征处理和特征提取，计算多个字段数据的特征维度值，根据特征维度值提取多个字段数据对应的特征向量；
根据请求类型获取预设的数据预测模型，通过数据分析模型对特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
利用多个指标数据和对应的预测值生成的预测结果数据，将预测结果数据推送至终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种基于机器学习的数据预测处理方法，所述方法包括：
    接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
    识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
    对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值，根据所述特征维度值提取所述多个字段数据对应的特征向量；
    根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
    利用所述多个指标数据和对应的预测值生成的预测结果数据，将所述预测结果数据推送至所述终端。
  2. 根据权利要求1所述的方法，其特征在于，所述对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值，根据所述特征维度值提取所述多个字段数据对应的特征向量的步骤，包括：
    对所述目标因素数据对应的多个字段数据进行向量化，得到多个字段数据对应的特征向量；
    对所述特征变量进行衍生处理，得到处理后的多个特征向量；
    根据预设目标函数计算所述特征向量的多个特征维度值；
    根据预设距离算法和所述特征维度值计算多个特征向量之间的相似度；及
    提取出所述相似度达到预设阈值的特征向量。
  3. 根据权利要求1所述的方法，其特征在于，所述获取预设的数据预测模型的步骤之前，还包括：
    获取多个历史因素数据，根据所述多个历史因素数据生成对应的训练集数据和验证集数据；
    对所述训练集数据中的多个历史因素数据进行聚类分析，得到聚类结果；
    对所述聚类结果进行特征提取，提取出多个特征变量；
    获取预设的神经网络模型，通过所述神经网络模型对所述训练集数据进行训练，得到多个特征变量对应的特征维度值和权重，根据多个特征变量对应的特征维度值和权重构建初始数据预测模型；及
    利用所述验证集数据对所述数据预测模型进行进一步训练和验证，直到所述验证集数据 中满足预设阈值的数量达到预设比值时，停止训练，得到训练完成的数据预测模型。
  4. 根据权利要求1所述的方法，其特征在于，所述通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值的步骤，包括：
    将所述多个特征向量作为所述数据预测模型的输入，根据所述数据预测模型中的预设函数计算多个特征向量对应的权重；
    根据所述权重计算多个特征向量与目标特征数据之间的相关性；及
    根据所述特征向量的权重和所述相关性进行回归分析，通过所述数据预测模型中的输出层输出多个指标数据和对应的预测值。
  5. 根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
    根据预设频率从预设数据库中获取多个历史因素数据；
    对多个历史因素数据进行聚类分析，得到分析结果；
    根据所述分析结果进行特征选择，得到多个特征变量；
    根据预设的算法计算多个特征变量的权重；及
    根据多个特征变量和对应的权重对所述数据预测模型进行优化调整。
  6. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    根据所述请求类型获取预设的集成函数；
    根据所述预测结果数据中的多个预设时序参数和对应的预测值通过所述集成函数集成对应的视图预测数据；及
    对所述视图预测数据添加事件类型标识和对应的接口调用参数，将所述视图预测数据发送至所述终端。
  7. 一种基于机器学习的数据预测处理装置，所述装置包括：
    请求接收模块，用于接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
    数据获取模块，用于识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
    特征处理模块，用于对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值，根据所述特征维度值提取所述多个字段数据对应的特征向量；
    数据预测模块，用于根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
    结果数据生成模块，用于利用所述多个指标数据和对应的预测值生成的预测结果数据，并将所述预测结果数据推送至所述终端。
  8. 根据权利要求7所述的装置，其特征在于，所述特征处理模块还用于对所述目标因素数据对应的多个字段数据进行向量化，得到多个字段数据对应的特征向量；对所述特征变量进行衍生处理，得到处理后的多个特征向量；根据预设目标函数计算所述特征向量的多个特征维度值；根据预设距离算法和所述特征维度值计算多个特征向量之间的相似度；及提取出所述相似度达到预设阈值的特征向量。
  9. 根据权利要求7所述的装置，其特征在于，所述装置还包括模型训练模块，用于获取多个历史因素数据，根据所述多个历史因素数据生成对应的训练集数据和验证集数据；对所述训练集数据中的多个历史因素数据进行聚类分析，得到聚类结果；对所述聚类结果进行特征提取，提取出多个特征变量；获取预设的神经网络模型，通过所述神经网络模型对所述训练集数据进行训练，得到多个特征变量对应的特征维度值和权重，根据多个特征变量对应的特征维度值和权重构建初始数据预测模型；及利用所述验证集数据对所述数据预测模型进行进一步训练和验证，直到所述验证集数据中满足预设阈值的数量达到预设比值时，停止训练，得到训练完成的数据预测模型。
  10. 根据权利要求7所述的装置，其特征在于，所述数据预测模块还用于将所述多个特征向量作为所述数据预测模型的输入，根据所述数据预测模型中的预设函数计算多个特征向量对应的权重；根据所述权重计算多个特征向量与目标特征数据之间的相关性；及根据所述特征向量的权重和所述相关性进行回归分析，并通过所述数据预测模型中的输出层输出多个指标数据和对应的预测值。
  11. 根据权利要求7所述的装置，其特征在于，所述装置还包括模型优化模块，用于根据预设频率从预设数据库中获取多个历史因素数据；对多个历史因素数据进行聚类分析，得到分析结果；根据所述分析结果进行特征选择，得到多个特征变量；根据预设的算法计算多个特征变量的权重；及根据多个特征变量和对应的权重对所述数据预测模型进行优化调整。
  12. 根据权利要求7所述的装置，其特征在于，所述装置还包括视图集成模块，用于根据所述请求类型获取预设的集成函数；根据所述预测结果数据中的多个预设时序参数和对应的预测值通过所述集成函数集成对应的视图预测数据；及对所述视图预测数据添加事件类型标识和对应的接口调用参数，将所述视图预测数据发送至所述终端。
  13. 一种计算机设备，包括存储器及一个或多个处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，使得所述一个或多个处理器 执行以下步骤：
    接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
    识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
    对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值，根据所述特征维度值提取所述多个字段数据对应的特征向量；
    根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
    利用所述多个指标数据和对应的预测值生成的预测结果数据，将所述预测结果数据推送至所述终端。
  14. 根据权利要求13所述的计算机设备，其特征在于，所述处理器执行计算机可读指令时还执行以下步骤：将所述多个特征向量作为所述数据预测模型的输入，根据所述数据预测模型中的预设函数计算多个特征向量对应的权重；根据所述权重计算多个特征向量与目标特征数据之间的相关性；及根据所述特征向量的权重和所述相关性进行回归分析，通过所述数据预测模型中的输出层输出多个指标数据和对应的预测值。
  15. 根据权利要求13所述的计算机设备，其特征在于，所述处理器执行计算机可读指令时还执行以下步骤：根据预设频率从预设数据库中获取多个历史因素数据；对多个历史因素数据进行聚类分析，得到分析结果；根据所述分析结果进行特征选择，得到多个特征变量；根据预设的算法计算多个特征变量的权重；及根据多个特征变量和对应的权重对所述数据预测模型进行优化调整。
  16. 根据权利要求13所述的计算机设备，其特征在于，所述处理器执行计算机可读指令时还执行以下步骤：根据所述请求类型获取预设的集成函数；根据所述预测结果数据中的多个预设时序参数和对应的预测值通过所述集成函数集成对应的视图预测数据；及对所述视图预测数据添加事件类型标识和对应的接口调用参数，将所述视图预测数据发送至所述终端。
  17. 一种非易失性的计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机可读指令，所述计算机可读指令由处理器加载并执行以下步骤：
    接收终端发送的数据预测请求，所述数据预测请求包括请求类型和请求信息；
    识别所述请求信息中的字段因子，根据所述请求类型和所述字段因子获取多个目标因素数据，所述目标因素数据包括多个字段数据；
    对所述目标因素数据进行特征处理和特征提取，计算所述多个字段数据的特征维度值， 根据所述特征维度值提取所述多个字段数据对应的特征向量；
    根据所述请求类型获取预设的数据预测模型，通过所述数据分析模型对所述特征变量进行训练和分析，得到多个指标数据和对应的预测值；及
    利用所述多个指标数据和对应的预测值生成的预测结果数据，将所述预测结果数据推送至所述终端。
  18. 根据权利要求17所述的存储介质，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：将所述多个特征向量作为所述数据预测模型的输入，根据所述数据预测模型中的预设函数计算多个特征向量对应的权重；根据所述权重计算多个特征向量与目标特征数据之间的相关性；及根据所述特征向量的权重和所述相关性进行回归分析，通过所述数据预测模型中的输出层输出多个指标数据和对应的预测值。
  19. 根据权利要求17所述的存储介质，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：根据预设频率从预设数据库中获取多个历史因素数据；对多个历史因素数据进行聚类分析，得到分析结果；根据所述分析结果进行特征选择，得到多个特征变量；根据预设的算法计算多个特征变量的权重；及根据多个特征变量和对应的权重对所述数据预测模型进行优化调整。
  20. 根据权利要求17所述的存储介质，其特征在于，所述计算机可读指令被所述处理器执行时还执行以下步骤：根据所述请求类型获取预设的集成函数；根据所述预测结果数据中的多个预设时序参数和对应的预测值通过所述集成函数集成对应的视图预测数据；及对所述视图预测数据添加事件类型标识和对应的接口调用参数，将所述视图预测数据发送至所述终端。
PCT/CN2019/117290 2019-03-07 2019-11-12 基于机器学习的数据预测处理方法、装置和计算机设备 Ceased WO2020177377A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910172323.1A CN109935338A (zh) 2019-03-07 2019-03-07 基于机器学习的数据预测处理方法、装置和计算机设备
CN201910172323.1 2019-03-07

Publications (1)

Publication Number Publication Date
WO2020177377A1 true WO2020177377A1 (zh) 2020-09-10

Family

ID=66986709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117290 Ceased WO2020177377A1 (zh) 2019-03-07 2019-11-12 基于机器学习的数据预测处理方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN109935338A (zh)
WO (1) WO2020177377A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116341152A (zh) * 2021-12-14 2023-06-27 新智我来网络科技有限公司 一种用气负荷预测方法、装置、电子设备及存储介质
US11775936B1 (en) * 2020-05-27 2023-10-03 Amazon Technologies, Inc. Forecasting long duration floating holidays in online traffic

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109935338A (zh) * 2019-03-07 2019-06-25 平安科技（深圳）有限公司 基于机器学习的数据预测处理方法、装置和计算机设备
CN110489630B (zh) * 2019-07-09 2024-08-20 平安科技（深圳）有限公司 资源数据的处理方法、装置、计算机设备和存储介质
CN110516714B (zh) * 2019-08-05 2022-04-01 网宿科技股份有限公司 一种特征预测方法、系统及引擎
CN110517768A (zh) * 2019-08-28 2019-11-29 泰康保险集团股份有限公司 异常预测方法、异常预测装置、电子设备及存储介质
CN110874644B (zh) * 2019-11-13 2025-09-12 第四范式（北京）技术有限公司 辅助用户探索数据集、数据表的方法及装置
CN111160604A (zh) * 2019-11-22 2020-05-15 深圳壹账通智能科技有限公司 缺失信息预测方法、装置、计算机设备及存储介质
CN111090686B (zh) * 2019-12-24 2023-04-18 腾讯科技（深圳）有限公司 数据处理方法、装置、服务器和存储介质
CN111222585B (zh) * 2020-01-15 2024-09-20 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及介质
CN111288973B (zh) * 2020-01-23 2021-09-24 中山大学 海表流速获取方法、装置、计算机设备和存储介质
CN113436748A (zh) * 2020-03-23 2021-09-24 深圳云天励飞技术有限公司 疫情趋势预测方法及相关装置
CN113496287A (zh) * 2020-04-07 2021-10-12 广州华工弈高科技有限公司 一种基于地域数据的自动化特征工程方法及装置
CN113642354B (zh) * 2020-04-27 2024-07-05 武汉Tcl集团工业研究院有限公司 人脸姿态的确定方法、计算机设备、计算机可读存储介质
CN111885181B (zh) * 2020-07-28 2023-02-28 平安科技（深圳）有限公司 监控数据上报方法、装置、计算机设备及存储介质
CN112015774B (zh) * 2020-09-25 2023-08-29 北京百度网讯科技有限公司 一种图表推荐方法、装置、电子设备及存储介质
CN112256760B (zh) * 2020-10-23 2021-07-06 平安科技（深圳）有限公司 一种数据预测方法、装置、计算机设备及存储介质
CN112037930B (zh) * 2020-11-02 2021-02-05 平安科技（深圳）有限公司 一种传染病预测设备、方法、装置及存储介质
CN112217908B (zh) * 2020-12-08 2021-03-09 平安科技（深圳）有限公司 基于迁移学习的信息推送方法、装置及计算机设备
CN112667569B (zh) * 2020-12-23 2024-04-16 平安银行股份有限公司 特征方法、系统、计算机设备及计算机可读存储介质
CN112804304B (zh) * 2020-12-31 2022-04-19 平安科技（深圳）有限公司 基于多点输出模型的任务节点分配方法、装置及相关设备
CN112768090A (zh) * 2021-01-05 2021-05-07 山东福来克思智能科技有限公司 一种用于慢病检测及风险评估的过滤系统及方法
CN115409223A (zh) * 2021-05-26 2022-11-29 中国移动通信集团设计院有限公司 VoLTE语音投诉预测方法、装置、设备及计算机存储介质
CN113780580B (zh) * 2021-09-09 2024-04-19 平安银行股份有限公司 基于机器学习的数据分析方法、装置、设备及存储介质
CN114565165A (zh) * 2022-03-02 2022-05-31 深圳唯爱智云科技有限公司 资源处理数据预测方法及装置
CN115002042B (zh) * 2022-05-25 2023-06-20 中国平安财产保险股份有限公司 基于机器学习的专线流量管控方法、装置及计算机设备
CN117349456A (zh) * 2022-06-28 2024-01-05 北京罗克维尔斯科技有限公司 信息推荐方法、模型的预训练方法、相关设备及车辆
CN115646848A (zh) * 2022-10-21 2023-01-31 微山金源煤矿 一种煤矿智能分类方法及系统
CN116886768B (zh) * 2023-07-17 2026-01-13 中国电信股份有限公司技术创新中心 数据分析方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170909A (zh) * 2017-12-13 2018-06-15 中国平安财产保险股份有限公司 一种智能建模的模型输出方法、设备及存储介质
CN108182515A (zh) * 2017-12-13 2018-06-19 中国平安财产保险股份有限公司 智能规则引擎规则输出方法、设备及计算机可读存储介质
US20180285771A1 (en) * 2017-03-31 2018-10-04 Drvision Technologies Llc Efficient machine learning method
CN108830380A (zh) * 2018-04-11 2018-11-16 开放智能机器（上海）有限公司 一种基于云服务的训练模型生成方法及系统
CN109935338A (zh) * 2019-03-07 2019-06-25 平安科技（深圳）有限公司 基于机器学习的数据预测处理方法、装置和计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633323A (zh) * 2017-08-28 2018-01-26 平安科技（深圳）有限公司 核保难度预测的方法、装置、计算机设备及存储介质
CN107730031B (zh) * 2017-09-25 2022-08-09 中国电力科学研究院有限公司 一种超短期高峰负荷预测方法及其系统
CN109376936A (zh) * 2018-10-31 2019-02-22 平安直通咨询有限公司 房屋价值预测方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285771A1 (en) * 2017-03-31 2018-10-04 Drvision Technologies Llc Efficient machine learning method
CN108170909A (zh) * 2017-12-13 2018-06-15 中国平安财产保险股份有限公司 一种智能建模的模型输出方法、设备及存储介质
CN108182515A (zh) * 2017-12-13 2018-06-19 中国平安财产保险股份有限公司 智能规则引擎规则输出方法、设备及计算机可读存储介质
CN108830380A (zh) * 2018-04-11 2018-11-16 开放智能机器（上海）有限公司 一种基于云服务的训练模型生成方法及系统
CN109935338A (zh) * 2019-03-07 2019-06-25 平安科技（深圳）有限公司 基于机器学习的数据预测处理方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775936B1 (en) * 2020-05-27 2023-10-03 Amazon Technologies, Inc. Forecasting long duration floating holidays in online traffic
CN116341152A (zh) * 2021-12-14 2023-06-27 新智我来网络科技有限公司 一种用气负荷预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109935338A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
WO2020177377A1 (zh) 基于机器学习的数据预测处理方法、装置和计算机设备
WO2020177366A1 (zh) 基于时序数据的数据处理方法、装置和计算机设备
JP7162726B2 (ja) 機械学習に基づく医療データ分類方法、装置、コンピュータデバイス及び記憶媒体
US12379977B2 (en) Systems and methods for synthetic data generation for time-series data using data segments
CN109816221B (zh) 项目风险决策方法、装置、计算机设备和存储介质
WO2021128679A1 (zh) 基于数据决策的测试数据生成方法、装置、计算机设备
CN110717650B (zh) 单据数据处理方法、装置、计算机设备和存储介质
WO2021027553A1 (zh) 微表情分类模型生成、图像识别方法、装置、设备及介质
US20210264300A1 (en) Systems and methods for labeling data
WO2020015089A1 (zh) 身份信息风险评定方法、装置、计算机设备和存储介质
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN109063984B (zh) 风险旅客方法、装置、计算机设备和存储介质
WO2021004324A1 (zh) 资源数据的处理方法、装置、计算机设备和存储介质
US20250200342A1 (en) Synthetic time-series data generation and its use in survival analysis and selection of drug for further development
CN110610125A (zh) 基于神经网络的牛脸识别方法、装置、设备及存储介质
WO2020034801A1 (zh) 医疗特征筛选方法、装置、计算机设备和存储介质
US20140279815A1 (en) System and Method for Generating Greedy Reason Codes for Computer Models
CN118690713A (zh) 一种评测集成电路的方法及系统
CN113643283A (zh) 一种人体衰老状况的检测方法、装置、设备及存储介质
CN110251119B (zh) 分类模型获取方法、hrv数据分类方法、装置及相关产品
CN118760984B (zh) 突发事件应急预案数据匹配方法、装置和计算机设备
CN117520836A (zh) 训练样本的生成方法、装置、设备和存储介质
Park et al. Uncertainty-based data-wise label smoothing for calibrating multiple instance learning in histopathology image classification
CN120337860B (zh) 数据大屏可视化方法、系统、设备及存储介质
CN120746493A (zh) 基于人工智能的科技创新项目风险处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917705

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19917705

Country of ref document: EP

Kind code of ref document: A1