WO2021073152A1 - 基于神经网络的数据标签生成方法、装置、终端及介质 - Google Patents

基于神经网络的数据标签生成方法、装置、终端及介质 Download PDF

Info

Publication number
WO2021073152A1
WO2021073152A1 PCT/CN2020/098885 CN2020098885W WO2021073152A1 WO 2021073152 A1 WO2021073152 A1 WO 2021073152A1 CN 2020098885 W CN2020098885 W CN 2020098885W WO 2021073152 A1 WO2021073152 A1 WO 2021073152A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
neural network
training
preset
round
Prior art date
Application number
PCT/CN2020/098885
Other languages
English (en)
French (fr)
Inventor
陆彬
杨琳琳
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021073152A1 publication Critical patent/WO2021073152A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • This application relates to the field of data processing technology, and in particular to a method, device, terminal and medium for generating data labels based on neural networks.
  • the first aspect of the present application provides a method for generating data labels based on a neural network, the method including:
  • the second aspect of the present application provides a neural network-based data label generation device, the device includes:
  • Data acquisition module for acquiring historical data
  • the parameter initialization module is used to initialize the input parameters of the preset neural network
  • the model training module is used to input the historical data to the preset neural network for training;
  • the label extraction module is used to extract the output of the specified layer of the preset neural network as the candidate data label after the training is finished;
  • a scoring calculation module which is used to calculate the scoring result of the candidate data label
  • the retraining module is configured to reinitialize the input parameters of the preset neural network according to the scoring result and perform a new round of training based on the new input parameters until the preset exploration period is reached;
  • the label saving module is used to save the neural network model obtained in each round of training and the candidate data label extracted from each round of neural network model;
  • the label determination module is used to filter out the target data label from the saved candidate data labels according to the preset filter conditions.
  • a third aspect of the present application provides a terminal, the terminal includes a processor, and the processor is configured to implement the following steps when executing computer-readable instructions stored in a memory:
  • a fourth aspect of the present application provides a computer-readable storage medium having computer-readable instructions stored on the computer-readable storage medium, and when the computer-readable instructions are executed by a processor, the following steps are implemented:
  • the neural network-based data label generation method, device, terminal, and medium described in this application belong to the field of financial technology and can be applied to scenarios such as smart government affairs and smart life, thereby promoting the development of smart cities.
  • This application initializes the input parameters of the preset neural network, inputs the historical data into the preset neural network for training, and when the training is over, extracts the output of the specified layer of the preset neural network as the candidate data label; calculates The scoring result of the candidate data label; according to the scoring result, the input parameters of the preset neural network are reinitialized and a new round of training is performed based on the new input parameters; the neural network model obtained from each round of training is saved and obtained from the The candidate data labels extracted from the neural network model, and finally the target data labels are filtered from the candidate data labels.
  • this application can obtain a large number of data labels in a short time.
  • the generation efficiency of data labels far exceeds traditional processing methods, and solves the technical problems of the traditional generation of data labels with a small number and low efficiency; in addition, due to the nonlinear characteristics of neural networks, the obtained data labels are more diverse; due to training neural networks
  • FIG. 1 is a flowchart of a method for generating data labels based on a neural network provided in Embodiment 1 of the present application.
  • Fig. 2 is a structural diagram of a neural network-based data label generating device provided in the second embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a terminal provided in Embodiment 3 of the present application.
  • FIG. 1 is a flowchart of a method for generating data labels based on a neural network provided in Embodiment 1 of the present application.
  • the neural network-based data label generation method specifically includes the following steps. According to different needs, the order of the steps in the flowchart can be changed, and some can be omitted.
  • the historical data may include: historical financial asset data, historical facial image data, historical facial expression data, historical car damage image data, etc.
  • historical financial asset data historical facial image data
  • historical facial expression data historical car damage image data
  • car damage image data etc.
  • the above data is only an example, and any need to be predicted now or in the future The data can be applied to this, and this application does not make any restrictions here.
  • the data factor or data feature is the intermediate amount between the historical data and the predicted result, and the data factor or data feature is collectively referred to as the data label.
  • historical financial asset data can be used as an example for illustration.
  • you can obtain historical financial asset data of the target financial company such as daily opening price, daily closing price, daily highest price, daily lowest price, monthly financial data, etc.
  • the neural network model is trained based on the acquired historical financial asset data, and when the neural network model reaches local convergence, the output data of the specified layer is extracted as the data label.
  • the data output by the specified layer is a technical indicator (for example, stochastic indicator KDJ, Bollinger indicator BOLL, BRAR indicator, ASI indicator, etc.) that predicts the future income of the target financial company.
  • the method further includes:
  • the historical data is preprocessed.
  • the preprocessing may include, but is not limited to: deleting empty data, removing extreme value data, and data standardization.
  • the empty data may refer to data when the stock is suspended.
  • the deleting of empty data includes: filling incomplete data in the historical data with 0 or filling in non-existent data with 0.
  • the removing extreme value data includes: removing the data in the first K1 row and the last K2 row in the historical data; averaging the historical data to obtain the average data, and calculating the historical data that is larger than the average data. It is assumed that the data of the first multiple is reduced as the average data, and the data in the historical data that is less than the preset second multiple of the average data is increased to the average data.
  • the data standardization includes min-max normalization (Min-max normalization), log function conversion, z-score normalization (zero-mean normalization), etc., which are prior art, and this application will not elaborate here.
  • the pre-processed historical data has a higher quality, which is convenient for subsequent training of the neural network model, the obtained data labels are more reliable, and the convergence speed of the training neural network model can be accelerated.
  • the input parameters may include: the total number of layers of the neural network, training batches, dropout ratio, neural network weight distribution, and the like.
  • the neural network can be preset as a supervised learning network, or an unsupervised learning network, or a semi-supervised learning network.
  • the supervised learning network includes: Multi-Layer Perception (MLP), Long Short-Term Memory (LSTM), Convolutional Neural Networks (CNN), etc.
  • Unsupervised learning networks include: autoencoders and so on.
  • the choice of neural network can be determined by itself according to actual needs and individual needs.
  • this example presets an autoencoder as the prototype structure of the neural network, and the autoencoder includes the following three parts:
  • the goal of the encoder is to maximize compression, use neural networks to perform linear and nonlinear transformations, and extract hidden information from the original input features.
  • d represents the dimension of the stock factor
  • the encoder first uses a neural network to map X to the hidden layer, Where D i represents the number of i-th neuron in the hidden layer, F i represents the i-th output of the hidden layer.
  • D i represents the number of i-th neuron in the hidden layer
  • F i represents the i-th output of the hidden layer.
  • the expression of F i is as follows:
  • W i and b i are the i-th layer of heavy weight and bias.
  • the goal of the decoder is to use the neural network to restore the original input features to the greatest extent based on the output of the encoder.
  • the autoencoder is trained by minimizing the reconstruction error, and the loss function is defined as follows:
  • the input parameters for initializing the preset neural network include:
  • the weight distribution of the neural network is initialized to a uniform distribution.
  • 2, 100, 0.2 and the uniform distribution can be input into the preset neural network at the same time as a set of parameters, for example, input into an autoencoder.
  • the historical data can be input into the preset neural network for training.
  • the method before the inputting the historical data into the preset neural network for training, the method further includes:
  • N-1 pieces of data among the N pieces of data are selected in turn as the training set, and the remaining piece of data is used as the verification set.
  • the second piece of data is used as a test set.
  • the training set is used to train the neural network model and determine the parameters of the neural network model
  • the verification set is used to optimize the parameters of the neural network model
  • the test set is used to test the promotion ability of the trained neural network model.
  • inputting the historical data to the preset neural network for training is inputting the training set to the preset neural network for training.
  • the training process can be deemed to be over.
  • the output of the specified layer is extracted as the newly generated data label.
  • the extracting the output of the specified layer of the preset neural network as the candidate data label includes:
  • the preset neural network type is a supervised learning network, extract the output of the last layer as the candidate data label;
  • the output of the middle layer is extracted as the candidate data label.
  • the type of the determined neural network can be set accordingly.
  • the types of neural networks are divided into two categories, one is a supervised learning network, and the other is an unsupervised learning network. If a supervised learning network is selected as the neural network prototype, historical data is used as input, asset return, risk, etc. are the training targets, and the output of the last layer of output layer is designated as the candidate data label. If an unsupervised learning network is selected as the neural network prototype, historical data is used as the input, the input and output are as similar as possible as the training goal, and the output result of the middle layer is designated as the candidate data label.
  • the extracted candidate data tags need to be scored, and the input parameters of the preset neural network need to be adjusted according to the score result.
  • the calculation of the scoring result of the candidate data label includes:
  • the Pearson correlation coefficient between two variables is defined as the quotient of the covariance and standard deviation between the two variables.
  • the calculation of the Pearson correlation coefficient is a prior art, which will not be elaborated in this application.
  • part of the data is selected from the candidate data tags to perform regression prediction, and the Sharpe ratio of the back-tested net value is calculated as score2.
  • regression prediction as a prior art, this application will not introduce it in detail here.
  • Sharpe Ratio (Sharpe Ratio) can consider both income and risk at the same time. The larger the Sharpe Ratio, the higher the risk return obtained by the risk of the fund unit.
  • test set is used to test the test pass rate of the neural network model at the end of the training.
  • the test pass rate is used as the accuracy of the neural network model and is recorded as score3.
  • the ROC curve is constructed, and the AUC value enclosed by the ROC curve and the XY coordinate axis is calculated, which is recorded as score4.
  • AUC Absolute Under Curve
  • the scoring result of the candidate data label is calculated according to the following formula:
  • the scoring result of the candidate data label is calculated according to the following formula:
  • S16 Re-initialize the input parameters of the preset neural network according to the scoring result, and perform a new round of training based on the new input parameters until the preset exploration period is reached.
  • the neural network model obtained in each round of training will correspondingly calculate a scoring result, and the input parameters of the next round of preset neural network will be reinitialized according to the scoring result of the previous round.
  • the neural network performs the next round of neural network model training based on the newly initialized input parameters, the neural network is optimized in a better direction, finds new local optimal points, learns different data labels in historical data, and then Extract candidate data labels from the trained neural network model.
  • the reinitializing the input parameters of the preset neural network according to the scoring result includes:
  • the initial input parameter is the initial input parameter of the previous round.
  • ⁇ t ⁇ t '+(1- ⁇ t) ⁇ tt1 , 1 ⁇ t ⁇ T,
  • ⁇ t ' is a set of exploration parameters randomly generated in the next round, t represents rounds, T is the preset exploration period, and ⁇ is the attenuation coefficient.
  • the input parameters ⁇ 1 are initialized in the first round, and the first round of scoring results O 1 are calculated at the end of training, and the input parameters in each iteration of the next round are re-initialized based on the scoring results of the previous round, so The final initial input parameters of this round are used to train the neural network model and extract the newly generated candidate data labels.
  • the exploration period refers to the time from exploring new initialization input parameters, and then training until the neural network model converges.
  • the neural network model is iteratively trained by changing the initial input parameters, and the next iterative exploration parameters are generated according to the results of the previous parameter exploration, until the set exploration period T is reached.
  • the set of exploration parameters for each round includes: the total number of layers of the neural network, the dropout ratio, and the neural network weight distribution.
  • the total number of layers of the neural network is randomly selected from the set of total layers of the neural network
  • the dropout ratio is randomly selected from the set of dropout ratios
  • the neural network weight distribution is selected from the neural network weight distribution set Randomly selected.
  • the number of layers of the neural network is m
  • the data dimension of the input layer is R 1 ⁇ N
  • the data dimension of the output layer is R 1 ⁇ M
  • m does not exceed N-M+1
  • the set of m is ⁇ m
  • the input layer is reduced layer by layer, and a network with an arithmetic sequence of neurons is constructed.
  • the set of dropout ratios is ⁇ 0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9 ⁇ .
  • the diversity of the network can be further improved through the dropout ratio.
  • the value of dropout is sampled at equal intervals, such as ⁇ 0.3, 0.5, 0.7, 0.9 ⁇ .
  • the neural network weight distribution set is ⁇ constant, uniform distribution, Gaussian distribution, truncated Gaussian distribution ⁇ .
  • a parameter is arbitrarily selected from each set, and the Cartesian product is performed, and 1600 hyperparameter combinations can be obtained. Using it as an iterator, 1600 neural network models can be trained.
  • new initial input parameters are continuously explored, and the neural network model is trained based on the new initial input parameters until the exploration period is reached.
  • the initialization input parameters corresponding to the neural network model trained in each iteration are saved, so that the initialization input parameters and the training data label obtained by the neural network model obtained by the training can be used for profit or risk prediction in the future.
  • the output of the specified layer is extracted as the generated candidate data label and saved in the preset database.
  • all the extracted candidate data tags can be grouped together.
  • S18 Filter out target data tags from the stored candidate data tags according to preset filtering conditions.
  • the preset screening conditions are preset screening criteria, which can be set or adjusted according to actual needs.
  • the screening condition may be: calculating the correlation between each candidate data label and the income of the target financial company; and eliminating the correlations whose correlation is less than the preset correlation threshold Candidate data label.
  • the screening condition may further include: removing a round of candidate data tags whose scoring result is less than a preset scoring result.
  • the deleted candidate data label is the target data label, and the target data label can be used to predict the future stock price, future revenue capability, risk identification, asset pricing, etc. of the target financial company.
  • a neural network set can be preset, and multiple sub-threads can be started synchronously, and multiple neural network models can be trained in parallel through multiple sub-threads.
  • each sub-thread executes the training of the neural network model based on the historical data.
  • Different sub-threads can preset the same neural network or different neural networks.
  • the main thread controls the initial settings of all sub-threads. Input parameters.
  • 4 sub-threads are started synchronously, where the first sub-thread is used to train a multilayer perceptron network model based on the historical data, and the second sub-thread is used to train a long and short-term memory network model based on the historical data.
  • the third sub-thread is used to train a convolutional neural network model based on the historical data
  • the fourth sub-thread is used to train a self-encoder network model based on the historical data
  • the main thread is used to initialize the input of each neural network model parameter. Since multiple sub-threads are simultaneously opened to perform the training of multiple neural network models in parallel, the number of candidate data tags can be increased, and the efficiency of extracting candidate data tags can be improved, thereby increasing the number of target data tags and improving the efficiency of generating target data tags.
  • the neural network-based data label generation method described in this application initializes the input parameters of the preset neural network, inputs the historical data to the preset neural network for training, and extracts the Preset the output of the specified layer of the neural network as the candidate data label; calculate the scoring result of the candidate data label; reinitialize the input parameters of the preset neural network according to the scoring result and perform a new round of training based on the new input parameters; Save the neural network model obtained in each round of training and the candidate data labels extracted from the neural network model, and finally filter out the target data labels from the candidate data labels.
  • this application can obtain a large number of data labels in a short time.
  • the generation efficiency of data labels far exceeds traditional processing methods, and solves the technical problems of the traditional generation of data labels with a small number and low efficiency; in addition, due to the nonlinear characteristics of neural networks, the obtained data labels are more diverse; due to training neural networks
  • the neural network-based data label generation method described in this application belongs to the field of financial technology and can be applied to scenarios such as smart government affairs and smart life, thereby promoting the development of smart cities.
  • Fig. 2 is a structural diagram of the neural network-based data label generating device described in this application.
  • the neural network-based data label generation device 20 may include a plurality of functional modules composed of computer-readable instruction segments.
  • the computer-readable instructions of each program segment in the neural network-based data label generating device 20 can be stored in the memory of the terminal and executed by the at least one processor to execute (see Figure 1 for details). The function of neural network data label generation.
  • the neural network-based data label generating device 20 can be divided into multiple functional modules according to the functions it performs.
  • the functional modules may include: a data acquisition module 201, a data processing module 202, a parameter initialization module 203, a model training module 204, a data division module 205, a label extraction module 206, a score calculation module 207, a retraining module 208, and a label storage module 209 and label determination module 210.
  • the module referred to in this application refers to a series of computer-readable instruction segments that can be executed by at least one processor and can complete fixed functions, and are stored in a memory. In this embodiment, the functions of each module will be described in detail in subsequent embodiments.
  • the data acquisition module 201 is used to acquire historical data.
  • the historical data may include: historical financial asset data, historical facial image data, historical facial expression data, historical car damage image data, etc.
  • historical financial asset data historical facial image data
  • historical facial expression data historical car damage image data
  • car damage image data etc.
  • the above data is only an example, and any need to be predicted now or in the future The data can be applied to this, and this application does not make any restrictions here.
  • the data factor or data feature is the intermediate amount between the historical data and the predicted result, and the data factor or data feature is collectively referred to as the data label.
  • historical financial asset data can be used as an example for illustration.
  • you can obtain historical financial asset data of the target financial company such as daily opening price, daily closing price, daily highest price, daily lowest price, monthly financial data, etc.
  • the neural network model is trained based on the acquired historical financial asset data, and when the neural network model reaches local convergence, the output data of the specified layer is extracted as the data label.
  • the data output by the specified layer is a technical indicator (for example, stochastic indicator KDJ, Bollinger indicator BOLL, BRAR indicator, ASI indicator, etc.) that predicts the future income of the target financial company.
  • the apparatus further includes:
  • the data processing module 202 is used for preprocessing the historical data.
  • the preprocessing may include, but is not limited to: deleting empty data, removing extreme value data, and data standardization.
  • the empty data may refer to data when the stock is suspended.
  • the deleting of empty data includes: filling incomplete data in the historical data with 0 or filling in non-existent data with 0.
  • the removing extreme value data includes: removing the data in the first K1 row and the last K2 row in the historical data; averaging the historical data to obtain the average data, and calculating the historical data that is larger than the average data. It is assumed that the data of the first multiple is reduced as the average data, and the data in the historical data that is less than the preset second multiple of the average data is increased to the average data.
  • the data standardization includes min-max normalization (Min-max normalization), log function conversion, z-score normalization (zero-mean normalization), etc., which are prior art, and this application will not elaborate here.
  • the pre-processed historical data has a higher quality, which is convenient for subsequent training of the neural network model, the obtained data labels are more reliable, and the convergence speed of the training neural network model can be accelerated.
  • the parameter initialization module 203 is used to initialize the input parameters of the preset neural network.
  • the input parameters may include: the total number of layers of the neural network, training batches, dropout ratio, neural network weight distribution, and the like.
  • the neural network can be preset as a supervised learning network, or an unsupervised learning network, or a semi-supervised learning network.
  • the supervised learning network includes: Multi-Layer Perception (MLP), Long Short-Term Memory (LSTM), Convolutional Neural Networks (CNN), etc.
  • Unsupervised learning networks include: autoencoders and so on.
  • the choice of neural network can be determined by itself according to actual needs and individual needs.
  • this example presets an autoencoder as the prototype structure of the neural network, and the autoencoder includes the following three parts:
  • the goal of the encoder is to maximize compression, use neural networks to perform linear and nonlinear transformations, and extract hidden information from the original input features.
  • d represents the dimension of the stock factor
  • the encoder first uses a neural network to map X to the hidden layer, Where D i represents the number of i-th neuron in the hidden layer, F i represents the i-th output of the hidden layer.
  • D i represents the number of i-th neuron in the hidden layer
  • F i represents the i-th output of the hidden layer.
  • the expression of F i is as follows:
  • W i and b i are the i-th layer of heavy weight and bias.
  • the goal of the decoder is to use the neural network to restore the original input features to the greatest extent based on the output of the encoder.
  • the autoencoder is trained by minimizing the reconstruction error, and the loss function is defined as follows:
  • the input parameters for initializing the preset neural network include:
  • the weight distribution of the neural network is initialized to a uniform distribution.
  • 2, 100, 0.2 and the uniform distribution can be input into the preset neural network at the same time as a set of parameters, for example, input into an autoencoder.
  • the model training module 204 is used to input the historical data to the preset neural network for training.
  • the historical data can be input into the preset neural network for training.
  • the device before the input of the historical data into the preset neural network for training, the device further includes:
  • a data dividing module 205 configured to divide the historical data into a first piece of data and a second piece of data, wherein the quantity of the second piece of data is smaller than the quantity of the first piece of data;
  • N-1 pieces of data among the N pieces of data are selected in turn as the training set, and the remaining piece of data is used as the verification set.
  • the second piece of data is used as a test set.
  • the training set is used to train the neural network model and determine the parameters of the neural network model
  • the verification set is used to optimize the parameters of the neural network model
  • the test set is used to test the promotion ability of the trained neural network model.
  • inputting the historical data to the preset neural network for training is inputting the training set to the preset neural network for training.
  • the label extraction module 206 is configured to extract the output of the specified layer of the preset neural network as the candidate data label after the training is completed.
  • the training process can be deemed to be over.
  • the output of the specified layer is extracted as the newly generated data label.
  • extracting the output of the specified layer of the preset neural network by the label extraction module 206 as the candidate data label includes:
  • the preset neural network type is a supervised learning network, extract the output of the last layer as the candidate data label;
  • the output of the middle layer is extracted as the candidate data label.
  • the type of the determined neural network can be set accordingly.
  • the types of neural networks are divided into two categories, one is a supervised learning network, and the other is an unsupervised learning network. If a supervised learning network is selected as the neural network prototype, historical data is used as input, asset return, risk, etc. are the training targets, and the output of the last layer of output layer is designated as the candidate data label. If an unsupervised learning network is selected as the neural network prototype, historical data is used as the input, the input and output are as similar as possible as the training goal, and the output result of the middle layer is designated as the candidate data label.
  • the score calculation module 207 is used to calculate the score result of the candidate data label.
  • the extracted candidate data tags need to be scored, and the input parameters of the preset neural network need to be adjusted according to the score result.
  • the scoring calculation module 207 calculating the scoring result of the candidate data label includes:
  • the Pearson correlation coefficient between two variables is defined as the quotient of the covariance and standard deviation between the two variables.
  • the calculation of the Pearson correlation coefficient is a prior art, which will not be elaborated in this application.
  • part of the data is selected from the candidate data tags to perform regression prediction, and the Sharpe ratio of the back-tested net value is calculated as score2.
  • regression prediction as a prior art, this application will not introduce it in detail here.
  • Sharpe Ratio (Sharpe Ratio) can consider both income and risk at the same time. The larger the Sharpe Ratio, the higher the risk return obtained by the risk of the fund unit.
  • test set is used to test the test pass rate of the neural network model at the end of the training.
  • the test pass rate is used as the accuracy of the neural network model and is recorded as score3.
  • the ROC curve is constructed, and the AUC value enclosed by the ROC curve and the XY coordinate axis is calculated, which is recorded as score4.
  • AUC Absolute Under Curve
  • the scoring result of the candidate data label is calculated according to the following formula:
  • the scoring result of the candidate data label is calculated according to the following formula:
  • the retraining module 208 is configured to reinitialize the input parameters of the preset neural network according to the scoring result and perform a new round of training based on the new input parameters until the preset exploration period is reached.
  • the neural network model obtained in each round of training will correspondingly calculate a scoring result, and the input parameters of the next round of preset neural network will be reinitialized according to the scoring result of the previous round.
  • the neural network performs the next round of neural network model training based on the newly initialized input parameters, the neural network is optimized in a better direction, finds new local optimal points, learns different data labels in historical data, and then Extract candidate data labels from the trained neural network model.
  • the re-training module 208 re-initializing the input parameters of the preset neural network according to the scoring result includes:
  • the initial input parameter is the initial input parameter of the previous round.
  • ⁇ t ⁇ t '+(1- ⁇ t) ⁇ t-1 , 1 ⁇ t ⁇ T,
  • ⁇ t ' is a set of exploration parameters randomly generated in the next round, t represents rounds, T is the preset exploration period, and ⁇ is the attenuation coefficient.
  • the input parameters ⁇ 1 are initialized in the first round, and the first round of scoring results O 1 are calculated at the end of training, and the input parameters in each iteration of the next round are re-initialized based on the scoring results of the previous round, so The final initial input parameters of this round are used to train the neural network model and extract the newly generated candidate data labels.
  • the exploration period refers to the time from exploring new initialization input parameters, and then training until the neural network model converges.
  • the neural network model is iteratively trained by changing the initial input parameters, and the next iterative exploration parameters are generated according to the results of the previous parameter exploration, until the set exploration period T is reached.
  • the set of exploration parameters for each round includes: the total number of layers of the neural network, the dropout ratio, and the neural network weight distribution.
  • the total number of layers of the neural network is randomly selected from the set of total layers of the neural network
  • the dropout ratio is randomly selected from the set of dropout ratios
  • the neural network weight distribution is selected from the neural network weight distribution set Randomly selected.
  • the number of layers of the neural network is m
  • the data dimension of the input layer is R 1 ⁇ N
  • the data dimension of the output layer is R 1 ⁇ M
  • m does not exceed N-M+1
  • the set of m is ⁇ m
  • the input layer is reduced layer by layer, and a network with an arithmetic sequence of neurons is constructed.
  • the set of dropout ratios is ⁇ 0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9 ⁇ .
  • the diversity of the network can be further improved through the dropout ratio.
  • the value of dropout is sampled at equal intervals, such as ⁇ 0.3, 0.5, 0.7, 0.9 ⁇ .
  • the neural network weight distribution set is ⁇ constant, uniform distribution, Gaussian distribution, truncated Gaussian distribution ⁇ .
  • a parameter is arbitrarily selected from each set, and a Cartesian product is performed to obtain 1600 hyperparameter combinations. Using it as an iterator, 1600 neural network models can be trained.
  • the label saving module 209 is configured to save the neural network model obtained in each round of training and the candidate data label extracted from each round of neural network model.
  • new initial input parameters are continuously explored, and the neural network model is trained based on the new initial input parameters until the exploration period is reached.
  • the initialization input parameters corresponding to the neural network model obtained during each iteration are saved, so that the initialization input parameters and the training data label obtained by the neural network model obtained by the training can be used for profit or risk prediction in the future.
  • the output of the specified layer is extracted as the generated candidate data label and saved in the preset database.
  • all the extracted candidate data tags can be grouped together.
  • the label determination module 210 is configured to filter out the target data label from the stored candidate data labels according to a preset filter condition.
  • the preset screening conditions are preset screening criteria, which can be set or adjusted according to actual needs.
  • the screening condition may be: calculating the correlation between each candidate data label and the income of the target financial company; eliminating the correlation between the data label and the target financial company's income; Candidate data label.
  • the screening condition may further include: removing a round of candidate data tags whose scoring result is less than a preset scoring result.
  • the deleted candidate data label is the target data label, and the target data label can be used to predict the future stock price, future revenue capability, risk identification, asset pricing, etc. of the target financial company.
  • a neural network set can be preset, and multiple sub-threads can be started synchronously, and multiple neural network models can be trained in parallel through multiple sub-threads.
  • each sub-thread executes the training of the neural network model based on the historical data.
  • Different sub-threads can preset the same neural network or different neural networks.
  • the main thread controls the initial settings of all sub-threads. Input parameters.
  • 4 sub-threads are started synchronously, where the first sub-thread is used to train a multilayer perceptron network model based on the historical data, and the second sub-thread is used to train a long and short-term memory network model based on the historical data.
  • the third sub-thread is used to train a convolutional neural network model based on the historical data
  • the fourth sub-thread is used to train a self-encoder network model based on the historical data
  • the main thread is used to initialize the input of each neural network model parameter. Since multiple sub-threads are synchronized to execute training of multiple neural network models in parallel, the number of candidate data tags can be increased, and the efficiency of extracting candidate data tags can be improved, thereby increasing the number of target data tags and improving the efficiency of generating target data tags.
  • the neural network-based data label generation device described in this application initializes the input parameters of the preset neural network, inputs the historical data into the preset neural network for training, and extracts the Preset the output of the specified layer of the neural network as the candidate data label; calculate the scoring result of the candidate data label; reinitialize the input parameters of the preset neural network according to the scoring result and perform a new round of training based on the new input parameters; Save the neural network model obtained in each round of training and the candidate data labels extracted from the neural network model, and finally filter the target data labels from the candidate data labels.
  • this application can obtain a large number of data labels in a short time.
  • the generation efficiency of data labels far exceeds traditional processing methods, and solves the technical problems of the traditional generation of data labels with a small number and low efficiency; in addition, due to the nonlinear characteristics of neural networks, the obtained data labels are more diverse; due to training neural networks
  • the neural network-based data label generation device described in this application belongs to the field of financial technology technology and can be applied to scenarios such as smart government affairs and smart life, thereby promoting the development of smart cities.
  • the terminal 3 includes a memory 31, at least one processor 32, at least one communication bus 33, and a transceiver 34.
  • the structure of the terminal shown in FIG. 3 does not constitute a limitation of the embodiment of the present application. It may be a bus-type structure or a star structure. The terminal 3 may also include more More or less other hardware or software, or different component arrangements.
  • the terminal 3 is a device that can automatically perform numerical calculation and/or information processing according to pre-set or stored instructions. Its hardware includes but is not limited to a microprocessor, an application specific integrated circuit, and Programming gate arrays, digital processors and embedded devices, etc.
  • the terminal 3 may also include client equipment.
  • the client equipment includes, but is not limited to, any electronic product that can interact with the client through a keyboard, a mouse, a remote control, a touch panel, or a voice control device, for example, a personal computer. Computers, tablets, smart phones, digital cameras, etc.
  • terminal 3 is only an example. If other existing or future electronic products can be adapted to this application, they should also be included in the protection scope of this application and included here by reference.
  • the memory 31 is used to store computer-readable instructions and various data, such as a device installed in the terminal 3, and realize high-speed and automatic completion of programs or data during the operation of the terminal 3 Access.
  • the memory 31 includes volatile and non-volatile memory, such as random access memory (Random Access Memory, RAM), read-only memory (Read-Only Memory, ROM), and programmable read-only memory (Programmable Read-Only).
  • PROM Erasable Programmable Read-Only Memory
  • EPROM Erasable Programmable Read-Only Memory
  • OTPROM Electronic Erasable Programmable Read-Only Memory
  • EEPROM Electrically-Erasable Programmable Read-Only Memory
  • CD-ROM Compact Disc Read-Only Memory
  • the computer-readable storage medium may be non-volatile or volatile.
  • the at least one processor 32 may be composed of integrated circuits, for example, may be composed of a single packaged integrated circuit, or may be composed of multiple integrated circuits with the same function or different functions, including one Or a combination of multiple central processing units (CPU), microprocessors, digital processing chips, graphics processors, and various control chips.
  • the at least one processor 32 is the control core (Control Unit) of the terminal 3, which uses various interfaces and lines to connect the various components of the entire terminal 3, runs or executes programs or modules stored in the memory 31, and calls The data stored in the memory 31 is used to perform various functions of the terminal 3 and process data.
  • Control Unit Control Unit
  • the at least one communication bus 33 is configured to implement connection and communication between the memory 31 and the at least one processor 32 and the like.
  • the terminal 3 may also include a power source (such as a battery) for supplying power to various components.
  • the power source may be logically connected to the at least one processor 32 through a power management device, so as to realize management through the power management device. Functions such as charging, discharging, and power management.
  • the power supply may also include any components such as one or more DC or AC power supplies, recharging devices, power failure detection circuits, power converters or inverters, and power status indicators.
  • the terminal 3 may also include various sensors, Bluetooth modules, Wi-Fi modules, etc., which will not be repeated here.
  • the above-mentioned integrated unit implemented in the form of a software function module may be stored in a computer readable storage medium.
  • the above-mentioned software function module is stored in a storage medium and includes several instructions to make a computer device (which may be a personal computer, a terminal, or a network device, etc.) or a processor execute the method described in each embodiment of the present application. section.
  • the at least one processor 32 can execute the operating device of the terminal 3 and various installed applications, computer-readable instructions, etc., such as the above-mentioned modules.
  • the memory 31 stores computer-readable instructions, and the at least one processor 32 can call the computer-readable instructions stored in the memory 31 to perform related functions.
  • the various modules described in FIG. 2 are computer-readable instructions stored in the memory 31 and executed by the at least one processor 32, so as to realize the functions of the various modules.
  • the memory 31 stores multiple instructions, and the multiple instructions are executed by the at least one processor 32 to implement all or part of the steps in the method described in the present application.
  • the disclosed device and method can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the modules is only a logical function division, and there may be other division methods in actual implementation.
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于神经网络的数据标签生成方法、装置、终端及介质，包括：获取历史数据（S11）；初始化预设神经网络的输入参数（S12）；输入所述历史数据至所述预设神经网络中进行训练（S13）；当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签（S14）；计算所述候选数据标签的评分结果（S15）；根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期（S16）；保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签（S17）；根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签（S18）。该方法能够快速有效的生成大量的数据标签。

Description

基于神经网络的数据标签生成方法、装置、终端及介质
本申请要求于2019年10月14日提交中国专利局，申请号为201910974647.7发明名称为“基于神经网络的数据标签生成方法、装置、终端及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，具体涉及一种基于神经网络的数据标签生成方法、装置、终端及介质。
背景技术
金融资产的估值与未来收益的预测一直是投资领域的一项重要课题。由于金融资产有很强的实效性，而金融资产标签的分布往往随着时间不断改变，若要对金融资产进行预测且获得较高的预测准确度，必须要有足够的金融资产标签。
发明人意识到传统的金融资产标签一般是由研究员通过对已知的金融资产基础数据进行逻辑关系组合生成的。这种方式存在以下缺点1)生成标签的效率低下；2)生成的标签数量有限；3)生成的标签覆盖范围有限。
因此，有必要提出一种新的金融资产标签生成方案，解决金融资产标签生成数量少及效率低下的技术问题，从而提高金融资产的预测准确度。
发明内容
鉴于以上内容，有必要提出一种基于神经网络的数据标签生成方法、装置、终端及介质，能够快速有效的生成大量的数据标签。
本申请的第一方面提供一种基于神经网络的数据标签生成方法，所述方法包括：
获取历史数据；
初始化预设神经网络的输入参数；
输入所述历史数据至所述预设神经网络中进行训练；
当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
计算所述候选数据标签的评分结果；
根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
本申请的第二方面提供一种基于神经网络的数据标签生成装置，所述装置包括：
数据获取模块，用于获取历史数据；
参数初始模块，用于初始化预设神经网络的输入参数；
模型训练模块，用于输入所述历史数据至所述预设神经网络中进行训练；
标签提取模块，用于当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
评分计算模块，用于计算所述候选数据标签的评分结果；
重新训练模块，用于根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
标签保存模块，用于保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
标签确定模块，用于根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
本申请的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机可读指令时实现以下步骤：
获取历史数据；
初始化预设神经网络的输入参数；
输入所述历史数据至所述预设神经网络中进行训练；
当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
计算所述候选数据标签的评分结果；
根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
获取历史数据；
初始化预设神经网络的输入参数；
输入所述历史数据至所述预设神经网络中进行训练；
当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
计算所述候选数据标签的评分结果；
根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
综上所述，本申请所述的基于神经网络的数据标签生成方法、装置、终端及介质，属于金融科技技术领域，可应用于智慧政务、智慧生活等场景中，从而推动智慧城市的发展。本申请通过初始化预设神经网络的输入参数，输入所述历史数据至所述预设神经网络中进行训练，当训练结束后，提取所述预设神经网络指定层的输出作为候选数据标签；计算所述候选数据标签的评分结果；根据评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练；保存每一轮训练得到的神经网络模型及从所述神经网络模型中提取出的候选数据标签，最后从候选数据标签中筛选出目标数据标签。利用神经网络的高维非线性变换特性，以及通过随机化初始训练参数对历史数据进行训练以获得不同局部最优解的方法，相较于传统方法，本申请能在短时间内获得大量的数据标签，数据标签的生成效率远超传统的处理方法，解决了传统生成数据标签数量少、效率低的技术问题；此外，由于神经网络的非线性特性，获得的数据标签更具多样性；由于训练神经网络模型的动态特性，生成的数据标签有效性强，具有较强的实用性。
附图说明
图1是本申请实施例一提供的基于神经网络的数据标签生成方法的流程图。
图2是本申请实施例二提供的基于神经网络的数据标签生成装置的结构图。
图3是本申请实施例三提供的终端的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特 征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
实施例一
图1是本申请实施例一提供的基于神经网络的数据标签生成方法的流程图。
如图1所示，所述基于神经网络的数据标签生成方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，获取历史数据。
本实施例中，所述历史数据可以包括：历史金融资产数据、历史人脸图像数据、历史面部表情数据、历史车损图像数据等，上述数据仅为举例，现在或今后出现的任何需要进行预测的数据都可以适用于此，本申请在此不做任何限制。
通常而言，若要根据所述历史数据进行某种预测，需要先对历史数据进行加工与处理，从中提取出具有预测能力的数据因子或数据特征，再基于所提取得到的数据因子或数据特征进行预测得到预测结果。即，数据因子或数据特征是历史数据与预测结果之间的中间量，将数据因子或数据特征统称为数据标签。
实际生活中，历史数据的数量不足，导致基于少量的历史数据进行的某种预测准确率较低，而神经网络具有较多的网络层次，尤其是中间的网络层的神经元远多于输入层，通过这种较多层的网络结构对输入至输入层的历史数据进行处理，可以得到大于历史数据的数量的中间数据，这种中间数据对输出层的预测结果有一定的影响，因而可以将这种处于中间层的中间数据作为数据标签提取出来，再将数据标签结合在一起作为研究的对象，大量的数据标签有助于提高数据的预测准确率。
为便于理解本申请的发明思想，可以以历史金融资产数据为例进行说明。若要对目标金融公司的未来收益进行预测，可以获取目标金融公司的历史金融资产数据，例如每日开盘价，每日收盘价、每日最高价、每日最低价、每月财务数据等，基于所获取的历史金融资产数据训练神经网络模型，并在神经网络模型达到局部收敛时，提取出指定层输出的数据作为数据标签。指定层输出的数据是具有预测目标金融公司的未来收益的技术指标(例如，随机指标KDJ、布林指标BOLL、BRAR指标、ASI指标等)。
在一个可选的实施例中，在所述获取历史数据之后，所述方法还包括：
对所述历史数据进行预处理。
所述预处理可以包括，但不限于：删除空数据、去除极值数据、数据标准化。
示例性的，所述空数据可以是指股票停牌时的数据。所述删除空数据包括：对所述历史数据中的不完整数据填充0或者不存在的数据填充为0。
所述去除极值数据包括：去除所述历史数据中位于前K1行和后K2行的数据；对所述历史数据进行平均计算得到平均数据，将所述历史数据中大于所述平均数据的预设第一倍数的数据降低为所述平均数据，将所述历史数据中小于所述平均数据的预设第二倍数的数据提高为所述平均数据。
所述数据标准化包括min-max标准化(Min-max normalization)，log函数转换，z-score标准化(zero-mean normalization)等，为现有技术，本申请在此不再详细阐述。
在该可选的实施例中，经过预处理之后的历史数据具有较高的质量，便于后续训练神经网络模型时，得到的数据标签更可靠，且能加快训练神经网络模型的收敛速度。
S12，初始化预设神经网络的输入参数。
所述输入参数可以包括：所述神经网络总层数、训练批次、dropout比例和神经网络权重 分布等。
本实施例中，可以预先设置神经网络为有监督的学习网络，或者为无监督的学习网络，或者为半监督的学习网络。其中，所述有监督的学习网络包括：多层感知器(Multi-Layer Perception，MLP)、长短期记忆网络(Long Short-Term Memory，LSTM)、卷积神经网络(Convolutional Neural Networks，CNN)等，无监督的学习网络包括：自编码器等。
神经网络的选择可以依据实际需要和个性化需求自行确定。
示例性的，本实例预先设置自编码器作为神经网络的原型结构，所述自编码器包括如下3个部分：
(1)编码器
编码器的目标是最大限度的压缩，使用神经网络进行线性和非线性变换，从原始输入特征中提取出隐含信息。给定股票数据X＝{x 1,x 2,…,x n},x i∈R d，其中d表示股票因子的维度，编码器首先使用神经网络将X映射到隐含层，
Figure PCTCN2020098885-appb-000001
其中d i表示第i个隐藏层的神经元的个数，F i表示第i个隐藏层的输出。F i的表达式如下：
F i＝s(W iF i-1+b i)
其中，s为激活函数，W i和b i分别为第i层的权重和偏置。
(2)解码器
解码器的目标是根据编码器的输出，使用神经网络最大程度的还原原始的输入特征。给定编码器的输出
Figure PCTCN2020098885-appb-000002
解码器表示为
Figure PCTCN2020098885-appb-000003
其中d j表示第j层解码层的维度，F j表示解码器第j层的输出。其中F l为输出层，d l＝d。
(3)损失函数
自编码器通过最小化重构误差进行训练，定义损失函数如下：
Figure PCTCN2020098885-appb-000004
通过梯度下降，找出使重构误差最小的W和b，得到最优的自编码器。
优选的，初始化预设神经网络的输入参数包括：
初始化所述神经网络总层数为2；
初始化所述训练批次为100；
初始化所述dropout比例为0.2；
初始化所述神经网络权重分布为均匀分布。
本实施例中，对预设神经网络的输入参数进行初始化之后，可以将2，100，0.2及均匀分布作为一组参数同时输入预设神经网络中，例如，输入自编码器中。
需要说明的是，训练批次是固定的。
S13，输入所述历史数据至所述预设神经网络中进行训练。
本实施例中，预设神经网络的输入参数被初始化之后，即可将所述历史数据输入预设神经网络中进行训练。
在一个可选的实施例中，在所述输入所述历史数据至所述预设神经网络中进行训练之前，所述方法还包括：
划分所述历史数据为第一份数据和第二份数据，其中，所述第二份数据的数量小于所述第一份数据的数量；
打乱所述第一份数据并均分为N份数据；
轮流选择所述N份数据中的N-1份数据作为训练集，剩余一份数据作为验证集。
所述第二份数据作为测试集。
所述训练集用于训练神经网络模型和确定神经网络模型参数，所述验证集用于优化神经网络模型的参数，所述测试集用于测试所训练好的神经网络模型的推广能力。轮流选择N份数据中的N-1份数据训练，剩余的一份做验证，计算预测误差平方和，最后把N次的预测误 差平方和再做平均作为选择最优模型结构的依据。
由于将所述历史数据划分为了训练集、验证集及测试集，则输入所述历史数据至所述预设神经网络中进行训练为输入所述训练集至所述预设神经网络中进行训练。
S14，当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签。
本实施例中，若在基于所述历史数据训练预设神经网络的过程中，得到的神经网络模型达到了局部最优解，即可认为训练过程结束。此时，将指定层的输出提取出来，作为新生成的数据标签。
在一个可选的实施例中，所述提取所述预设神经网络的指定层的输出作为候选数据标签包括：
获取所述预设神经网络的类型；
当所述预设神经网络的类型为有监督的学习网络时，提取最后一层的输出作为候选数据标签；
当所述预设神经网络的类型为无监督的学习网络时，提取最中间层的输出作为候选数据标签。
在事先确定神经网络时，即可对应设置所确定的神经网络的类型。
本实施例中，将神经网络的类型分为两大类，一类是有监督的学习网络，一类是无监督的学习网络。若选择有监督的学习网络作为神经网络原型，则以历史数据作为输入，以资产收益率、风险等为训练目标，指定最后一层输出层输出的结果作为候选数据标签。若选择无监督的学习网络作为神经网络原型，则以历史数据作为输入，以输入和输出尽可能相似为训练目标，指定最中间层输出的结果作为候选数据标签。
S15，计算所述候选数据标签的评分结果。
本实施例中，提取出指定层的输出之后，需要对所提取出的候选数据标签进行评分，通过评分结果调整所述预设神经网络的输入参数。
在一个可选的实施例中，所述计算所述候选数据标签的评分结果包括：
1)计算所述候选数据标签与目标指标的皮尔逊相关系数；
将候选数据标签按时间序列进行排序，得到序列P＝{p1,p2,……,pt}，目标指标序列为Q＝{q1,q2,……,qt}，计算P与Q的皮尔逊相关系数，得到score1。
两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商。计算所述皮尔逊相关系数为现有技术，本申请不做具体阐述。
2)对所述候选数据标签进行净值回测得到夏普比率；
具体的，从所述候选数据标签中选取部分数据进行回归预测，计算回测净值的夏普比率，作为score2。关于回归预测为现有技术，本申请在此不做详细介绍。
夏普比率(Sharpe Ratio)可以同时对收益与风险进行考虑，夏普比率越大，说明基金单位风险所获得的风险回报越高。
3)计算训练结束后得到的神经网络模型的准确率；
当预先设置的神经网络对历史数据进行训练结束后，使用测试集来测试训练结束时的神经网络模型的测试通过率，所述测试通过率作为神经网络模型的准确度，记为score3。
4)计算ROC曲线下与坐标轴围成的AUC值；
当预先设置的神经网络对历史数据进行训练结束后，构建ROC曲线，计算ROC曲线与XY坐标轴所围成的AUC值，记为score4。
AUC(Area Under Curve)被定义为ROC曲线下与坐标轴围成的面积，取值范围在0.5和1之间。AUC值越大，表明预设神经网络训练结束时得到的模型的分类效果更好。关于ROC曲线的构建过程为现有技术，由于本申请的重点不在于此，在此不再详细阐述。
5)根据所述皮尔逊相关系数、夏普比率、准确率及AUC值得到评分结果。
如果选择的是有监督的学习网络作为预设神经网络，则根据如下公式计算所述候选数据标签的评分结果：
scoreu＝w1*score1+w2*score2+w3*score3+w4*score4，其中权重w1、w2、w3、w4为预先设定的值，且w1+w2+w3+w4＝1。
如果选择的是无监督的学习网络作为预设神经网络，则根据如下公式计算所述候选数据标签的评分结果：
scoreu＝w1*score1+w2*score2，其中，权重w1、w2为预先设定的值，且w1+w2＝1。
S16，根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期。
本实施例中，每一轮训练得到的神经网络模型都会对应计算出一个评分结果，根据上一轮的评分结果对下一轮预设神经网络的输入参数重新进行初始化。神经网络基于新初始化的输入参数进行下一轮的神经网络模型的训练时，使神经网络向更好的方向进行优化，寻找出新的局部最优点，学习出历史数据中的不同数据标签，进而从训练好的神经网络模型中提取出候选数据标签。
在一个可选的实施例中，所述根据所述评分结果重新初始化所述预设神经网络的输入参数包括：
为下一轮随机生成一组探索参数；
根据所述探索参数计算下一轮的初始输入参数；
基于所述初始输入参数训练下一轮神经网络模型并计算出下一轮的评分结果；
判断下一轮的评分结果是否大于上一轮的评分结果；
如果下一轮的评分结果大于上一轮的评分结果，则保留所述初始输入参数；
如果下一轮的评分结果小于或等于上一轮的评分结果，则所述初始输入参数为上一轮的初始输入参数。
在一个可选的实施例中，采用如下公式计算每一轮的初始输入参数：
θ t＝αθ t’+(1-αt)θ tt1，1＜t＜T，
其中，θ t’为下一轮随机生成的一组探索参数，t代表轮次，T为所述预设探索周期，α为衰减系数。
示例性的，假设第一轮初始化输入参数θ 1，训练结束时计算得到的第一轮评分结果O 1，接下来每一轮迭代时的输入参数基于上一轮的评分结果重新进行初始化，从而生成该轮的最终初始输入参数用于训练神经网络模型并提取出新生成的候选数据标签。
若当前轮次为t，随机生成一组探索参数θ t’，计算t轮的初始输入参数为θ t＝αθ t’+(1-αt)θ t-1。用θ t重新训练预设神经网络，并在训练结束时计算对应的评分结果O t，如果O t＞O t-1，则保留θ t；如果O t＜O t-1，则θ t＝θ t-1。
所述探索周期是指从探索新的初始化输入参数开始，然后训练至神经网络模型收敛为止的时间。通过改变初始化输入参数来迭代训练神经网络模型，根据上一次参数探索结果生成下一次迭代探索参数，直到达到设定的探索周期T。
优选的，所述衰减系数α＝0.2，所述探索周期T＝50。
本实施例中，所述每轮的一组探索参数包括：神经网络总层数、dropout比例及神经网络权重分布。其中，所述神经网络总层数是从神经网络总层数集合中随机选取的，所述dropout比例是从dropout比例集合中随机选取的，所述神经网络权重分布是从神经网络权重分布集合中随机选取的。
示例性的，神经网络的层数m，输入层的数据维度为R 1×N，输出层的数据维度为R 1×M，m最大不超过N-M+1，m的集合为{m|m∈[2,51]}，从m＝2开始，依次递增，直到m＝51。为了能够融合多个特征标签的输入信息，从输入层逐层递减，构建一个神经元数为等差序列的网络。每层神经元维度为{R 1×N，R 1×(N-ski)，R 1×(N-2skip)，…，R 1×M}，其中skip＝(N-M)/(m-1)。
示例性的，dropout比例集合为{0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9}，通过dropout比例可进一 步提高网络的多样性，dropout取值方式为等间隔采样，如{0.3,0.5,0.7,0.9}。
示例性的，神经网络权重分布集合为{常量，均匀分布，高斯分布，截断高斯分布}。
通过上述集合，从每一个集合任意选取一个参数，进行笛卡尔积，可以得到1600种超参组合，将其作为迭代器，可以训练得到1600个神经网络模型。
S17，保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签。
本实施例中，通过不断的探索新的初始输入参数，并基于新的初始化输入参数训练神经网络模型，直到达到探索周期。将每一轮迭代时训练得到的神经网络模型对应的初始化输入参数进行保存，以便后续可以采用初始化输入参数及训练得到的神经网络模型重新所得到的训练数据标签进行收益或风险预测等。
在每一轮训练神经网络模型结束时，提取出指定层的输出作为生成的候选数据标签并保存在预设数据库中。当探索周期达到时，可以将所有提取出的候选数据标签集合在一起。
S18，根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
所述预设筛选条件是预先设置的筛选标准，可以根据实际需求自行设置或调整。
示例性的，若要预测目标金融公司的未来收益，则所述筛选条件可以为：计算每个所述候选数据标签与目标金融公司的收益的相关性；剔除相关性小于预设相关性阈值的候选数据标签。
在其他实施例中，所述筛选条件还可以包括：剔除评分结果小于预设评分结果的一轮候选数据标签。
剔除后的候选数据标签即为目标数据标签，所述目标数据标签可以用于预测目标金融公司未来股价、未来营收能力、风险识别、资产定价等。
优选的，为了提高候选数据标签的生成效率，可以预先设置神经网络集合，并同步开启多个子线程，通过多个子线程并行训练多个神经网络模型。其中，每一个子线程执行基于所述历史数据的神经网络模型的训练，不同的子线程可以预设设置相同的神经网络，也可以预设设置不同的神经网络，主线程控制所有子线程的初始输入参数。示例性的，同步开启4个子线程，其中，第1个子线程用于基于所述历史数据训练出多层感知器网络模型，第2个子线程用于基于所述历史数据训练出长短期记忆网络模型，第3个子线程用于基于所述历史数据训练出卷积神经网络模型，第4个子线程用于基于所述历史数据训练出自编码器网络模型，主线程用于初始化每个神经网络模型的输入参数。由于同步开启多个子线程并行执行多个神经网络模型的训练，能够增加提取候选数据标签的数量，提高提取候选数据标签的效率，从而增加目标数据标签的数量和提高生成目标数据标签的效率。
综上，本申请所述的基于神经网络的数据标签生成方法，初始化预设神经网络的输入参数，输入所述历史数据至所述预设神经网络中进行训练，当训练结束后，提取所述预设神经网络指定层的输出作为候选数据标签；计算所述候选数据标签的评分结果；根据评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练；保存每一轮训练得到的神经网络模型及从所述神经网络模型中提取出的候选数据标签，最后从候选数据标签中筛选出目标数据标签。利用神经网络的高维非线性变换特性，以及通过随机化初始训练参数对历史数据进行训练以获得不同局部最优解的方法，相较于传统方法，本申请能在短时间内获得大量的数据标签，数据标签的生成效率远超传统的处理方法，解决了传统生成数据标签数量少、效率低的技术问题；此外，由于神经网络的非线性特性，获得的数据标签更具多样性；由于训练神经网络模型的动态特性，生成的数据标签有效性强，具有较强的实用性。
本申请所述的基于神经网络的数据标签生成方法，属于金融科技技术领域，可应用于智慧政务、智慧生活等场景中，从而推动智慧城市的发展。
实施例二
图2是本申请所述的基于神经网络的数据标签生成装置的结构图。
在一些实施例中，所述基于神经网络的数据标签生成装置20可以包括多个由计算机可读指令段所组成的功能模块。所述基于神经网络的数据标签生成装置20中的各个程序段的计算机可读指令可以存储于终端的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)基于神经网络的数据标签生成的功能。
本实施例中，所述基于神经网络的数据标签生成装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：数据获取模块201、数据处理模块202、参数初始模块203、模型训练模块204、数据划分模块205、标签提取模块206、评分计算模块207、重新训练模块208、标签保存模块209及标签确定模块210。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
数据获取模块201，用于获取历史数据。
本实施例中，所述历史数据可以包括：历史金融资产数据、历史人脸图像数据、历史面部表情数据、历史车损图像数据等，上述数据仅为举例，现在或今后出现的任何需要进行预测的数据都可以适用于此，本申请在此不做任何限制。
通常而言，若要根据所述历史数据进行某种预测，需要先对历史数据进行加工与处理，从中提取出具有预测能力的数据因子或数据特征，再基于所提取得到的数据因子或数据特征进行预测得到预测结果。即，数据因子或数据特征是历史数据与预测结果之间的中间量，将数据因子或数据特征统称为数据标签。
实际生活中，历史数据的数量不足，导致基于少量的历史数据进行的某种预测准确率较低，而神经网络具有较多的网络层次，尤其是中间的网络层的神经元远多于输入层，通过这种较多层的网络结构对输入至输入层的历史数据进行处理，可以得到大于历史数据的数量的中间数据，这种中间数据对输出层的预测结果有一定的影响，因而可以将这种处于中间层的中间数据作为数据标签提取出来，再将数据标签结合在一起作为研究的对象，大量的数据标签有助于提高数据的预测准确率。
为便于理解本申请的发明思想，可以以历史金融资产数据为例进行说明。若要对目标金融公司的未来收益进行预测，可以获取目标金融公司的历史金融资产数据，例如每日开盘价，每日收盘价、每日最高价、每日最低价、每月财务数据等，基于所获取的历史金融资产数据训练神经网络模型，并在神经网络模型达到局部收敛时，提取出指定层输出的数据作为数据标签。指定层输出的数据是具有预测目标金融公司的未来收益的技术指标(例如，随机指标KDJ、布林指标BOLL、BRAR指标、ASI指标等)。
在一个可选的实施例中，在所述获取历史数据之后，所述装置还包括：
数据处理模块202，用于对所述历史数据进行预处理。
所述预处理可以包括，但不限于：删除空数据、去除极值数据、数据标准化。
示例性的，所述空数据可以是指股票停牌时的数据。所述删除空数据包括：对所述历史数据中的不完整数据填充0或者不存在的数据填充为0。
所述去除极值数据包括：去除所述历史数据中位于前K1行和后K2行的数据；对所述历史数据进行平均计算得到平均数据，将所述历史数据中大于所述平均数据的预设第一倍数的数据降低为所述平均数据，将所述历史数据中小于所述平均数据的预设第二倍数的数据提高为所述平均数据。
所述数据标准化包括min-max标准化(Min-max normalization)，log函数转换，z-score标准化(zero-mean normalization)等，为现有技术，本申请在此不再详细阐述。
在该可选的实施例中，经过预处理之后的历史数据具有较高的质量，便于后续训练神经网络模型时，得到的数据标签更可靠，且能加快训练神经网络模型的收敛速度。
参数初始模块203，用于初始化预设神经网络的输入参数。
所述输入参数可以包括：所述神经网络总层数、训练批次、dropout比例和神经网络权重分布等。
本实施例中，可以预先设置神经网络为有监督的学习网络，或者为无监督的学习网络，或者为半监督的学习网络。其中，所述有监督的学习网络包括：多层感知器(Multi-Layer Perception，MLP)、长短期记忆网络(Long Short-Term Memory，LSTM)、卷积神经网络(Convolutional Neural Networks，CNN)等，无监督的学习网络包括：自编码器等。
神经网络的选择可以依据实际需要和个性化需求自行确定。
示例性的，本实例预先设置自编码器作为神经网络的原型结构，所述自编码器包括如下3个部分：
(1)编码器
编码器的目标是最大限度的压缩，使用神经网络进行线性和非线性变换，从原始输入特征中提取出隐含信息。给定股票数据X＝{x 1,x 2,…,x n},x i∈R d，其中d表示股票因子的维度，编码器首先使用神经网络将X映射到隐含层，
Figure PCTCN2020098885-appb-000005
其中d i表示第i个隐藏层的神经元的个数，F i表示第i个隐藏层的输出。F i的表达式如下：
F i＝s(W iF i-1+b i)
其中，s为激活函数，W i和b i分别为第i层的权重和偏置。
(2)解码器
解码器的目标是根据编码器的输出，使用神经网络最大程度的还原原始的输入特征。给定编码器的输出
Figure PCTCN2020098885-appb-000006
解码器表示为
Figure PCTCN2020098885-appb-000007
其中d j表示第j层解码层的维度，F j表示解码器第j层的输出。其中F l为输出层，d l＝d。
(3)损失函数
自编码器通过最小化重构误差进行训练，定义损失函数如下：
Figure PCTCN2020098885-appb-000008
通过梯度下降，找出使重构误差最小的W和b，得到最优的自编码器。
优选的，初始化预设神经网络的输入参数包括：
初始化所述神经网络总层数为2；
初始化所述训练批次为100；
初始化所述dropout比例为0.2；
初始化所述神经网络权重分布为均匀分布。
本实施例中，对预设神经网络的输入参数进行初始化之后，可以将2，100，0.2及均匀分布作为一组参数同时输入预设神经网络中，例如，输入自编码器中。
需要说明的是，训练批次是固定的。
模型训练模块204，用于输入所述历史数据至所述预设神经网络中进行训练。
本实施例中，预设神经网络的输入参数被初始化之后，即可将所述历史数据输入预设神经网络中进行训练。
在一个可选的实施例中，在所述输入所述历史数据至所述预设神经网络中进行训练之前，所述装置还包括：
数据划分模块205，用于划分所述历史数据为第一份数据和第二份数据，其中，所述第二份数据的数量小于所述第一份数据的数量；
打乱所述第一份数据并均分为N份数据；
轮流选择所述N份数据中的N-1份数据作为训练集，剩余一份数据作为验证集。
所述第二份数据作为测试集。
所述训练集用于训练神经网络模型和确定神经网络模型参数，所述验证集用于优化神经网络模型的参数，所述测试集用于测试所训练好的神经网络模型的推广能力。轮流选择N份数据中的N-1份数据训练，剩余的一份做验证，计算预测误差平方和，最后把N次的预测误差平方和再做平均作为选择最优模型结构的依据。
由于将所述历史数据划分为了训练集、验证集及测试集，则输入所述历史数据至所述预设神经网络中进行训练为输入所述训练集至所述预设神经网络中进行训练。
标签提取模块206，用于当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签。
本实施例中，若在基于所述历史数据训练预设神经网络的过程中，得到的神经网络模型达到了局部最优解，即可认为训练过程结束。此时，将指定层的输出提取出来，作为新生成的数据标签。
在一个可选的实施例中，所述标签提取模块206提取所述预设神经网络的指定层的输出作为候选数据标签包括：
获取所述预设神经网络的类型；
当所述预设神经网络的类型为有监督的学习网络时，提取最后一层的输出作为候选数据标签；
当所述预设神经网络的类型为无监督的学习网络时，提取最中间层的输出作为候选数据标签。
在事先确定神经网络时，即可对应设置所确定的神经网络的类型。
本实施例中，将神经网络的类型分为两大类，一类是有监督的学习网络，一类是无监督的学习网络。若选择有监督的学习网络作为神经网络原型，则以历史数据作为输入，以资产收益率、风险等为训练目标，指定最后一层输出层输出的结果作为候选数据标签。若选择无监督的学习网络作为神经网络原型，则以历史数据作为输入，以输入和输出尽可能相似为训练目标，指定最中间层输出的结果作为候选数据标签。
评分计算模块207，用于计算所述候选数据标签的评分结果。
本实施例中，提取出指定层的输出之后，需要对所提取出的候选数据标签进行评分，通过评分结果调整所述预设神经网络的输入参数。
在一个可选的实施例中，所述评分计算模块207计算所述候选数据标签的评分结果包括：
1)计算所述候选数据标签与目标指标的皮尔逊相关系数；
将候选数据标签按时间序列进行排序，得到序列P＝{p1,p2,……,pt}，目标指标序列为Q＝{q1,q2,……,qt}，计算P与Q的皮尔逊相关系数，得到score1。
两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商。计算所述皮尔逊相关系数为现有技术，本申请不做具体阐述。
2)对所述候选数据标签进行净值回测得到夏普比率；
具体的，从所述候选数据标签中选取部分数据进行回归预测，计算回测净值的夏普比率，作为score2。关于回归预测为现有技术，本申请在此不做详细介绍。
夏普比率(Sharpe Ratio)可以同时对收益与风险进行考虑，夏普比率越大，说明基金单位风险所获得的风险回报越高。
3)计算训练结束后得到的神经网络模型的准确率；
当预先设置的神经网络对历史数据进行训练结束后，使用测试集来测试训练结束时的神经网络模型的测试通过率，所述测试通过率作为神经网络模型的准确度，记为score3。
4)计算ROC曲线下与坐标轴围成的AUC值；
当预先设置的神经网络对历史数据进行训练结束后，构建ROC曲线，计算ROC曲线与XY坐标轴所围成的AUC值，记为score4。
AUC(Area Under Curve)被定义为ROC曲线下与坐标轴围成的面积，取值范围在0.5和1之间。AUC值越大，表明预设神经网络训练结束时得到的模型的分类效果更好。关于ROC曲线的构建过程为现有技术，由于本申请的重点不在于此，在此不再详细阐述。
5)根据所述皮尔逊相关系数、夏普比率、准确率及AUC值得到评分结果。
如果选择的是有监督的学习网络作为预设神经网络，则根据如下公式计算所述候选数据标签的评分结果：
scoreu＝w1*score1+w2*score2+w3*score3+w4*score4，其中权重w1、w2、w3、w4为预先设定的值，且w1+w2+w3+w4＝1。
如果选择的是无监督的学习网络作为预设神经网络，则根据如下公式计算所述候选数据标签的评分结果：
scoreu＝w1*score1+w2*score2，其中，权重w1、w2为预先设定的值，且w1+w2＝1。
重新训练模块208，用于根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期。
本实施例中，每一轮训练得到的神经网络模型都会对应计算出一个评分结果，根据上一轮的评分结果对下一轮预设神经网络的输入参数重新进行初始化。神经网络基于新初始化的输入参数进行下一轮的神经网络模型的训练时，使神经网络向更好的方向进行优化，寻找出新的局部最优点，学习出历史数据中的不同数据标签，进而从训练好的神经网络模型中提取出候选数据标签。
在一个可选的实施例中，所述重新训练模块208根据所述评分结果重新初始化所述预设神经网络的输入参数包括：
为下一轮随机生成一组探索参数；
根据所述探索参数计算下一轮的初始输入参数；
基于所述初始输入参数训练下一轮神经网络模型并计算出下一轮的评分结果；
判断下一轮的评分结果是否大于上一轮的评分结果；
如果下一轮的评分结果大于上一轮的评分结果，则保留所述初始输入参数；
如果下一轮的评分结果小于或等于上一轮的评分结果，则所述初始输入参数为上一轮的初始输入参数。
在一个可选的实施例中，采用如下公式计算每一轮的初始输入参数：
θ t＝αθ t’+(1-αt)θ t-1，1＜t＜T，
其中，θ t’为下一轮随机生成的一组探索参数，t代表轮次，T为所述预设探索周期，α为衰减系数。
示例性的，假设第一轮初始化输入参数θ 1，训练结束时计算得到的第一轮评分结果O 1，接下来每一轮迭代时的输入参数基于上一轮的评分结果重新进行初始化，从而生成该轮的最终初始输入参数用于训练神经网络模型并提取出新生成的候选数据标签。
若当前轮次为t，随机生成一组探索参数θ t’，计算t轮的初始输入参数为θ t＝αθ t’+(1-αt)θ t-1。用θ t重新训练预设神经网络，并在训练结束时计算对应的评分结果O t，如果O t＞O t-1，则保留θ t；如果O t＜O t-1，则θ t＝θ t-1。
所述探索周期是指从探索新的初始化输入参数开始，然后训练至神经网络模型收敛为止的时间。通过改变初始化输入参数来迭代训练神经网络模型，根据上一次参数探索结果生成下一次迭代探索参数，直到达到设定的探索周期T。
优选的，所述衰减系数α＝0.2，所述探索周期T＝50。
本实施例中，所述每轮的一组探索参数包括：神经网络总层数、dropout比例及神经网络权重分布。其中，所述神经网络总层数是从神经网络总层数集合中随机选取的，所述dropout比例是从dropout比例集合中随机选取的，所述神经网络权重分布是从神经网络权重分布集合中随机选取的。
示例性的，神经网络的层数m，输入层的数据维度为R 1×N，输出层的数据维度为R 1×M，m最大不超过N-M+1，m的集合为{m|m∈[2,51]}，从m＝2开始，依次递增，直到m＝51。为了能够融合多个特征标签的输入信息，从输入层逐层递减，构建一个神经元数为等差序列的网络。每层神经元维度为{R 1×N，R 1×(N-ski)，R 1×(N-2sk)，…，R 1×M}，其中skip＝(N-M)/(m-1)。
示例性的，dropout比例集合为{0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9}，通过dropout比例可进一 步提高网络的多样性，dropout取值方式为等间隔采样，如{0.3,0.5,0.7,0.9}。
示例性的，神经网络权重分布集合为{常量，均匀分布，高斯分布，截断高斯分布}。
通过上述集合，从每一个集合任意选取一个参数，进行笛卡尔积，可以得到1600种超参组合，将其作为迭代器，可以训练得到1600个神经网络模型。
标签保存模块209，用于保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签。
本实施例中，通过不断的探索新的初始输入参数，并基于新的初始化输入参数训练神经网络模型，直到达到探索周期。将每一轮迭代时训练得到的神经网络模型对应的初始化输入参数进行保存，以便后续可以采用初始化输入参数及训练得到的神经网络模型重新所得到的训练数据标签进行收益或风险预测等。
在每一轮训练神经网络模型结束时，提取出指定层的输出作为生成的候选数据标签并保存在预设数据库中。当探索周期达到时，可以将所有提取出的候选数据标签集合在一起。
标签确定模块210，用于根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
所述预设筛选条件是预先设置的筛选标准，可以根据实际需求自行设置或调整。
示例性的，若要预测目标金融公司的未来收益，则所述筛选条件可以为：计算每个所述候选数据标签与目标金融公司的收益的相关性；剔除相关性小于预设相关性阈值的候选数据标签。
在其他实施例中，所述筛选条件还可以包括：剔除评分结果小于预设评分结果的一轮候选数据标签。
剔除后的候选数据标签即为目标数据标签，所述目标数据标签可以用于预测目标金融公司未来股价、未来营收能力、风险识别、资产定价等。
优选的，为了提高候选数据标签的生成效率，可以预先设置神经网络集合，并同步开启多个子线程，通过多个子线程并行训练多个神经网络模型。其中，每一个子线程执行基于所述历史数据的神经网络模型的训练，不同的子线程可以预设设置相同的神经网络，也可以预设设置不同的神经网络，主线程控制所有子线程的初始输入参数。示例性的，同步开启4个子线程，其中，第1个子线程用于基于所述历史数据训练出多层感知器网络模型，第2个子线程用于基于所述历史数据训练出长短期记忆网络模型，第3个子线程用于基于所述历史数据训练出卷积神经网络模型，第4个子线程用于基于所述历史数据训练出自编码器网络模型，主线程用于初始化每个神经网络模型的输入参数。由于同步开启多个子线程并行执行多个神经网络模型的训练，能够增加提取候选数据标签的数量，提高提取候选数据标签的效率，从而增加目标数据标签的数量和提高生成目标数据标签的效率。
综上，本申请所述的基于神经网络的数据标签生成装置，初始化预设神经网络的输入参数，输入所述历史数据至所述预设神经网络中进行训练，当训练结束后，提取所述预设神经网络指定层的输出作为候选数据标签；计算所述候选数据标签的评分结果；根据评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练；保存每一轮训练得到的神经网络模型及从所述神经网络模型中提取出的候选数据标签，最后从候选数据标签中筛选出目标数据标签。利用神经网络的高维非线性变换特性，以及通过随机化初始训练参数对历史数据进行训练以获得不同局部最优解的方法，相较于传统方法，本申请能在短时间内获得大量的数据标签，数据标签的生成效率远超传统的处理方法，解决了传统生成数据标签数量少、效率低的技术问题；此外，由于神经网络的非线性特性，获得的数据标签更具多样性；由于训练神经网络模型的动态特性，生成的数据标签有效性强，具有较强的实用性。
本申请所述的基于神经网络的数据标签生成装置，属于金融科技技术领域，可应用于智慧政务、智慧生活等场景中，从而推动智慧城市的发展。
实施例三
参阅图3所示，为本申请实施例三提供的终端的结构示意图。在本申请较佳实施例中，所述终端3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的终端的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述终端3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述终端3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述终端3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储计算机可读指令和各种数据，例如安装在所述终端3中的装置，并在终端3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括易失性和非易失性存储器，例如随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或其他计算机可读存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性的。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述终端3的控制核心(Control Unit)，利用各种接口和线路连接整个终端3的各个部件，通过运行或执行存储在存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行终端3的各种功能和处理数据。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述终端3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述终端3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述终端3的操作装置以及安装的各类应用程序、计算机可读指令等，例如，上述的各个模块。
所述存储器31中存储有计算机可读指令，且所述至少一个处理器32可调用所述存储器31中存储的计算机可读指令以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的计算机可读指令，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能。
在本申请的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以实现本申请所述的方法中的全部或者部分步骤。
具体地，所述至少一个处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (22)

  1. 一种基于神经网络的数据标签生成方法，其中，所述方法包括：
    获取历史数据；
    初始化预设神经网络的输入参数；
    输入所述历史数据至所述预设神经网络中进行训练；
    当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
    计算所述候选数据标签的评分结果；
    根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
    保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
    根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
  2. 如权利要求1所述的基于神经网络的数据标签生成方法，其中，所述提取所述预设神经网络的指定层的输出作为候选数据标签包括：
    获取所述预设神经网络的类型；
    当所述预设神经网络的类型为有监督的学习网络时，提取最后一层的输出作为候选数据标签；
    当所述预设神经网络的类型为无监督的学习网络时，提取最中间层的输出作为候选数据标签。
  3. 如权利要求1所述的基于神经网络的数据标签生成方法，其中，所述根据所述评分结果重新初始化所述预设神经网络的输入参数包括：
    为下一轮随机生成一组探索参数；
    根据所述探索参数计算下一轮的初始输入参数；
    基于所述初始输入参数训练下一轮神经网络模型并计算出下一轮的评分结果；
    判断下一轮的评分结果是否大于上一轮的评分结果；
    如果下一轮的评分结果大于上一轮的评分结果，则保留所述初始输入参数；
    如果下一轮的评分结果小于或等于上一轮的评分结果，则所述初始输入参数为上一轮的初始输入参数。
  4. 如权利要求3所述的基于神经网络的数据标签生成方法，其中，采用如下公式计算每一轮的初始输入参数：
    θ t＝αθ t’+(1-αt)θ t-1，1<t<T，
    其中，θ t’为下一轮随机生成的一组探索参数，t代表轮次，T为所述预设探索周期，α为衰减系数。
  5. 如权利要求1至4中任意一项所述的基于神经网络的数据标签生成方法，其中，所述计算所述候选数据标签的评分结果包括：
    计算所述候选数据标签与目标指标的皮尔逊相关系数；
    对所述候选数据标签进行净值回测得到夏普比率；
    计算训练结束后得到的神经网络模型的准确率；
    计算ROC曲线下与坐标轴围成的AUC值；
    根据所述皮尔逊相关系数、夏普比率、准确率及AUC值得到评分结果。
  6. 如权利要求1至4中任意一项所述的基于神经网络的数据标签生成方法，其中，在所述输入所述历史数据至所述预设神经网络中进行训练之前，所述方法还包括：
    划分所述历史数据为第一份数据和第二份数据，其中，所述第二份数据的数量小于所述第一份数据的数量；
    打乱所述第一份数据并均分为N份数据；
    轮流选择所述N份数据中的N-1份数据作为训练集，剩余一份数据作为验证集。
  7. 如权利要求1至4中任意一项所述的基于神经网络的数据标签生成方法，其中，在所述获取历史数据之后，所述方法还包括：
    对所述历史数据进行预处理，所述预处理包括：删除空数据、去除极值数据、数据标准化，其中，
    所述删除空数据包括：对所述历史数据中的不完整数据填充0或者不存在的数据填充为0；
    所述去除极值数据包括：去除所述历史数据中位于前K1行和后K2行的数据；对所述历史数据进行平均计算得到平均数据，将所述历史数据中大于所述平均数据的预设第一倍数的数据降低为所述平均数据，将所述历史数据中小于所述平均数据的预设第二倍数的数据提高为所述平均数据。
  8. 一种基于神经网络的数据标签生成装置，其中，所述装置包括：
    数据获取模块，用于获取历史数据；
    参数初始模块，用于初始化预设神经网络的输入参数；
    模型训练模块，用于输入所述历史数据至所述预设神经网络中进行训练；
    标签提取模块，用于当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
    评分计算模块，用于计算所述候选数据标签的评分结果；
    重新训练模块，用于根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
    标签保存模块，用于保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
    标签确定模块，用于根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
  9. 一种终端，其中，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机可读指令时实现以下步骤：
    获取历史数据；
    初始化预设神经网络的输入参数；
    输入所述历史数据至所述预设神经网络中进行训练；
    当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
    计算所述候选数据标签的评分结果；
    根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
    保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
    根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
  10. 如权利要求9所述的终端，其中，所述处理器执行所述计算机可读指令以实现提取所述预设神经网络的指定层的输出作为候选数据标签时，具体包括：
    获取所述预设神经网络的类型；
    当所述预设神经网络的类型为有监督的学习网络时，提取最后一层的输出作为候选数据标签；
    当所述预设神经网络的类型为无监督的学习网络时，提取最中间层的输出作为候选数据标签。
  11. 如权利要求9所述的终端，其中，所述处理器执行所述计算机可读指令以实现根据所述评分结果重新初始化所述预设神经网络的输入参数时，具体包括：
    为下一轮随机生成一组探索参数；
    根据所述探索参数计算下一轮的初始输入参数；
    基于所述初始输入参数训练下一轮神经网络模型并计算出下一轮的评分结果；
    判断下一轮的评分结果是否大于上一轮的评分结果；
    如果下一轮的评分结果大于上一轮的评分结果，则保留所述初始输入参数；
    如果下一轮的评分结果小于或等于上一轮的评分结果，则所述初始输入参数为上一轮的初始输入参数。
  12. 如权利要求11所述的终端，其中，采用如下公式计算每一轮的初始输入参数：
    θ t＝αθ t’+(1-αt)θ t-1，1<t<T，
    其中，θ t’为下一轮随机生成的一组探索参数，t代表轮次，T为所述预设探索周期，α为衰减系数。
  13. 如权利要求9至12中任意一项所述的终端，其中，所述处理器执行所述计算机可读指令以实现计算所述候选数据标签的评分结果时，具体包括：
    计算所述候选数据标签与目标指标的皮尔逊相关系数；
    对所述候选数据标签进行净值回测得到夏普比率；
    计算训练结束后得到的神经网络模型的准确率；
    计算ROC曲线下与坐标轴围成的AUC值；
    根据所述皮尔逊相关系数、夏普比率、准确率及AUC值得到评分结果。
  14. 如权利要求9至12中任意一项所述的终端，其中，在所述输入所述历史数据至所述预设神经网络中进行训练之前，所述处理器执行所述计算机可读指令时还用以实现以下步骤：
    划分所述历史数据为第一份数据和第二份数据，其中，所述第二份数据的数量小于所述第一份数据的数量；
    打乱所述第一份数据并均分为N份数据；
    轮流选择所述N份数据中的N-1份数据作为训练集，剩余一份数据作为验证集。
  15. 如权利要求9至12中任意一项所述的终端，其中，在所述获取历史数据之后，所述处理器执行所述计算机可读指令时还用以实现以下步骤：
    对所述历史数据进行预处理，所述预处理包括：删除空数据、去除极值数据、数据标准化，其中，
    所述删除空数据包括：对所述历史数据中的不完整数据填充0或者不存在的数据填充为0；
    所述去除极值数据包括：去除所述历史数据中位于前K1行和后K2行的数据；对所述历史数据进行平均计算得到平均数据，将所述历史数据中大于所述平均数据的预设第一倍数的数据降低为所述平均数据，将所述历史数据中小于所述平均数据的预设第二倍数的数据提高为所述平均数据。
  16. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其中，所述计算机可读指令被处理器执行时实现以下步骤：
    获取历史数据；
    初始化预设神经网络的输入参数；
    输入所述历史数据至所述预设神经网络中进行训练；
    当训练结束后，提取所述预设神经网络的指定层的输出作为候选数据标签；
    计算所述候选数据标签的评分结果；
    根据所述评分结果重新初始化所述预设神经网络的输入参数并基于新的输入参数进行新一轮的训练直至达到预设探索周期；
    保存每一轮训练得到的神经网络模型及从每一轮神经网络模型中提取出的所述候选数据标签；
    根据预设筛选条件从所保存的候选数据标签中筛选出目标数据标签。
  17. 如权利要求16所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现提取所述预设神经网络的指定层的输出作为候选数据标签时，具体包括：
    获取所述预设神经网络的类型；
    当所述预设神经网络的类型为有监督的学习网络时，提取最后一层的输出作为候选数据标签；
    当所述预设神经网络的类型为无监督的学习网络时，提取最中间层的输出作为候选数据标签。
  18. 如权利要求16所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现根据所述评分结果重新初始化所述预设神经网络的输入参数时，具体包括：
    为下一轮随机生成一组探索参数；
    根据所述探索参数计算下一轮的初始输入参数；
    基于所述初始输入参数训练下一轮神经网络模型并计算出下一轮的评分结果；
    判断下一轮的评分结果是否大于上一轮的评分结果；
    如果下一轮的评分结果大于上一轮的评分结果，则保留所述初始输入参数；
    如果下一轮的评分结果小于或等于上一轮的评分结果，则所述初始输入参数为上一轮的初始输入参数。
  19. 如权利要求18所述的计算机可读存储介质，其中，采用如下公式计算每一轮的初始输入参数：
    θ t＝αθ t’+(1-αt)θ t-1，1<t<T，
    其中，θ t’为下一轮随机生成的一组探索参数，t代表轮次，T为所述预设探索周期，α为衰减系数。
  20. 如权利要求16至19中任意一项所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现计算所述候选数据标签的评分结果时，具体包括：
    计算所述候选数据标签与目标指标的皮尔逊相关系数；
    对所述候选数据标签进行净值回测得到夏普比率；
    计算训练结束后得到的神经网络模型的准确率；
    计算ROC曲线下与坐标轴围成的AUC值；
    根据所述皮尔逊相关系数、夏普比率、准确率及AUC值得到评分结果。
  21. 如权利要求16至19中任意一项所述的计算机可读存储介质，其中，在所述输入所述历史数据至所述预设神经网络中进行训练之前，所述计算机可读指令被所述处理器执行时还用以实现：
    划分所述历史数据为第一份数据和第二份数据，其中，所述第二份数据的数量小于所述第一份数据的数量；
    打乱所述第一份数据并均分为N份数据；
    轮流选择所述N份数据中的N-1份数据作为训练集，剩余一份数据作为验证集。
  22. 如权利要求16至19中任意一项所述的计算机可读存储介质，其中，在所述获取历史数据之后，所述计算机可读指令被所述处理器执行时还用以实现：
    对所述历史数据进行预处理，所述预处理包括：删除空数据、去除极值数据、数据标准化，其中，
    所述删除空数据包括：对所述历史数据中的不完整数据填充0或者不存在的数据填充为0；
    所述去除极值数据包括：去除所述历史数据中位于前K1行和后K2行的数据；对所述历史数据进行平均计算得到平均数据，将所述历史数据中大于所述平均数据的预设第一倍数的数据降低为所述平均数据，将所述历史数据中小于所述平均数据的预设第二倍数的数据提高为所述平均数据。
PCT/CN2020/098885 2019-10-14 2020-06-29 基于神经网络的数据标签生成方法、装置、终端及介质 WO2021073152A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910974647.7 2019-10-14
CN201910974647.7A CN110888857B (zh) 2019-10-14 2019-10-14 基于神经网络的数据标签生成方法、装置、终端及介质

Publications (1)

Publication Number Publication Date
WO2021073152A1 true WO2021073152A1 (zh) 2021-04-22

Family

ID=69746177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/098885 WO2021073152A1 (zh) 2019-10-14 2020-06-29 基于神经网络的数据标签生成方法、装置、终端及介质

Country Status (2)

Country Link
CN (1) CN110888857B (zh)
WO (1) WO2021073152A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159444A (zh) * 2021-05-06 2021-07-23 国家电网有限公司 一种基于深度循环神经网络的审计意见预测方法及装置
CN113326177A (zh) * 2021-06-17 2021-08-31 深圳前海微众银行股份有限公司 一种指标异常检测方法、装置、设备及存储介质
CN113407680A (zh) * 2021-06-30 2021-09-17 竹间智能科技（上海）有限公司 异质集成模型筛选方法和电子设备
CN113457167A (zh) * 2021-06-29 2021-10-01 网易（杭州）网络有限公司 用户分类网络的训练方法、用户分类方法及装置
CN113570056A (zh) * 2021-06-23 2021-10-29 上海交通大学 容错神经网络结构的优化方法、系统、介质及电子设备
CN113782187A (zh) * 2021-09-10 2021-12-10 平安国际智慧城市科技股份有限公司 指标数据处理方法、相关设备及介质
CN113988205A (zh) * 2021-11-08 2022-01-28 福建龙净环保股份有限公司 一种电除尘工况的判定方法及系统
CN114372532A (zh) * 2022-01-11 2022-04-19 腾讯科技（深圳）有限公司 标签标注质量的确定方法、装置、设备、介质及产品
CN114611400A (zh) * 2022-03-18 2022-06-10 河北金锁安防工程股份有限公司 一种预警信息筛选方法及系统
CN114673246A (zh) * 2022-03-31 2022-06-28 成都工贸职业技术学院 一种污水管道防堵塞测量方法及其测量系统
CN114863554A (zh) * 2022-04-08 2022-08-05 哈尔滨工程大学 一种基于深度学习模型的手语识别系统和方法
CN115127192A (zh) * 2022-05-20 2022-09-30 中南大学 基于图神经网络的半监督的冷水机组故障诊断方法及系统
CN115130620A (zh) * 2022-08-31 2022-09-30 南方电网数字电网研究院有限公司 一种电力设备用电模式识别模型生成方法及装置
CN115374130A (zh) * 2022-10-26 2022-11-22 中科三清科技有限公司 一种大气污染历史数据存储方法及介质
CN115786889A (zh) * 2023-02-13 2023-03-14 广州志橙半导体有限公司 Cvd设备的数据采集方法和装置
CN115891741A (zh) * 2022-09-30 2023-04-04 南京邮电大学 一种适用于电动汽车充电过程的远程故障预警方法及装置
CN116189332A (zh) * 2022-10-20 2023-05-30 开源网安物联网技术(武汉)有限公司 一种车辆健康评分方法、装置、电子设备以及存储介质
CN116505972A (zh) * 2023-06-27 2023-07-28 北京易桓科技有限公司 一种线缆信号传输的智能检测方法及系统
CN116720728A (zh) * 2023-04-26 2023-09-08 广州地铁设计研究院股份有限公司 风险评估方法、电子设备及存储介质
CN117140847A (zh) * 2023-10-24 2023-12-01 南通佳腾精密模具有限公司 一种精密模具用的封装方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888857B (zh) * 2019-10-14 2023-11-07 平安科技（深圳）有限公司 基于神经网络的数据标签生成方法、装置、终端及介质
CN112434965A (zh) * 2020-12-04 2021-03-02 广东电力信息科技有限公司 一种基于词频的专家标签产生方法、装置、终端
CN113033758A (zh) * 2021-03-24 2021-06-25 北京航空航天大学 针对ct图像分类的神经网络性能评价方法及系统
CN117272839B (zh) * 2023-11-20 2024-02-06 北京阿迈特医疗器械有限公司 基于神经网络的支架压握性能预测方法及装置
CN117615359A (zh) * 2023-11-28 2024-02-27 广州视声智能股份有限公司 基于多种规则引擎的蓝牙数据传输方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132445A1 (en) * 2007-09-27 2009-05-21 Rice Daniel M Generalized reduced error logistic regression method
CN107220217A (zh) * 2017-05-31 2017-09-29 北京京东尚科信息技术有限公司 基于逻辑回归的特征系数训练方法和装置
CN108596393A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种金融电子资源预测模型的训练方法和装置
CN110009384A (zh) * 2019-01-07 2019-07-12 阿里巴巴集团控股有限公司 预测业务指标的方法及装置
CN110888857A (zh) * 2019-10-14 2020-03-17 平安科技（深圳）有限公司 基于神经网络的数据标签生成方法、装置、终端及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8321220B1 (en) * 2005-11-30 2012-11-27 At&T Intellectual Property Ii, L.P. System and method of semi-supervised learning for spoken language understanding using semantic role labeling
US8595153B2 (en) * 2010-06-09 2013-11-26 Microsoft Corporation Exploring data using multiple machine-learning models
CN108875059B (zh) * 2018-06-29 2021-02-12 北京百度网讯科技有限公司 用于生成文档标签的方法、装置、电子设备和存储介质
CN109190834A (zh) * 2018-09-12 2019-01-11 百色学院 基于神经网络的股票价格趋势预测方法及系统
CN110276501A (zh) * 2019-06-28 2019-09-24 新奥数能科技有限公司 短期电力交易市场的电价的预测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132445A1 (en) * 2007-09-27 2009-05-21 Rice Daniel M Generalized reduced error logistic regression method
CN107220217A (zh) * 2017-05-31 2017-09-29 北京京东尚科信息技术有限公司 基于逻辑回归的特征系数训练方法和装置
CN108596393A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种金融电子资源预测模型的训练方法和装置
CN110009384A (zh) * 2019-01-07 2019-07-12 阿里巴巴集团控股有限公司 预测业务指标的方法及装置
CN110888857A (zh) * 2019-10-14 2020-03-17 平安科技（深圳）有限公司 基于神经网络的数据标签生成方法、装置、终端及介质

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159444A (zh) * 2021-05-06 2021-07-23 国家电网有限公司 一种基于深度循环神经网络的审计意见预测方法及装置
CN113326177A (zh) * 2021-06-17 2021-08-31 深圳前海微众银行股份有限公司 一种指标异常检测方法、装置、设备及存储介质
CN113570056A (zh) * 2021-06-23 2021-10-29 上海交通大学 容错神经网络结构的优化方法、系统、介质及电子设备
CN113457167A (zh) * 2021-06-29 2021-10-01 网易（杭州）网络有限公司 用户分类网络的训练方法、用户分类方法及装置
CN113407680A (zh) * 2021-06-30 2021-09-17 竹间智能科技（上海）有限公司 异质集成模型筛选方法和电子设备
CN113782187B (zh) * 2021-09-10 2023-06-27 深圳平安智慧医健科技有限公司 指标数据处理方法、相关设备及介质
CN113782187A (zh) * 2021-09-10 2021-12-10 平安国际智慧城市科技股份有限公司 指标数据处理方法、相关设备及介质
CN113988205A (zh) * 2021-11-08 2022-01-28 福建龙净环保股份有限公司 一种电除尘工况的判定方法及系统
CN113988205B (zh) * 2021-11-08 2022-09-20 福建龙净环保股份有限公司 一种电除尘工况的判定方法及系统
CN114372532A (zh) * 2022-01-11 2022-04-19 腾讯科技（深圳）有限公司 标签标注质量的确定方法、装置、设备、介质及产品
CN114611400A (zh) * 2022-03-18 2022-06-10 河北金锁安防工程股份有限公司 一种预警信息筛选方法及系统
CN114611400B (zh) * 2022-03-18 2023-08-29 河北金锁安防工程股份有限公司 一种预警信息筛选方法及系统
CN114673246A (zh) * 2022-03-31 2022-06-28 成都工贸职业技术学院 一种污水管道防堵塞测量方法及其测量系统
CN114863554A (zh) * 2022-04-08 2022-08-05 哈尔滨工程大学 一种基于深度学习模型的手语识别系统和方法
CN115127192B (zh) * 2022-05-20 2024-01-23 中南大学 基于图神经网络的半监督的冷水机组故障诊断方法及系统
CN115127192A (zh) * 2022-05-20 2022-09-30 中南大学 基于图神经网络的半监督的冷水机组故障诊断方法及系统
CN115130620A (zh) * 2022-08-31 2022-09-30 南方电网数字电网研究院有限公司 一种电力设备用电模式识别模型生成方法及装置
CN115130620B (zh) * 2022-08-31 2023-04-28 南方电网数字电网研究院有限公司 一种电力设备用电模式识别模型生成方法及装置
CN115891741A (zh) * 2022-09-30 2023-04-04 南京邮电大学 一种适用于电动汽车充电过程的远程故障预警方法及装置
CN115891741B (zh) * 2022-09-30 2023-09-22 南京邮电大学 一种适用于电动汽车充电过程的远程故障预警方法及装置
CN116189332B (zh) * 2022-10-20 2024-03-19 开源网安物联网技术(武汉)有限公司 一种车辆健康评分方法、装置、电子设备以及存储介质
CN116189332A (zh) * 2022-10-20 2023-05-30 开源网安物联网技术(武汉)有限公司 一种车辆健康评分方法、装置、电子设备以及存储介质
CN115374130A (zh) * 2022-10-26 2022-11-22 中科三清科技有限公司 一种大气污染历史数据存储方法及介质
CN115374130B (zh) * 2022-10-26 2022-12-20 中科三清科技有限公司 一种大气污染历史数据存储方法及介质
CN115786889A (zh) * 2023-02-13 2023-03-14 广州志橙半导体有限公司 Cvd设备的数据采集方法和装置
CN116720728A (zh) * 2023-04-26 2023-09-08 广州地铁设计研究院股份有限公司 风险评估方法、电子设备及存储介质
CN116505972B (zh) * 2023-06-27 2023-09-01 北京易桓科技有限公司 一种线缆信号传输的智能检测方法及系统
CN116505972A (zh) * 2023-06-27 2023-07-28 北京易桓科技有限公司 一种线缆信号传输的智能检测方法及系统
CN117140847A (zh) * 2023-10-24 2023-12-01 南通佳腾精密模具有限公司 一种精密模具用的封装方法及系统
CN117140847B (zh) * 2023-10-24 2023-12-29 南通佳腾精密模具有限公司 一种精密模具用的封装方法及系统

Also Published As

Publication number Publication date
CN110888857B (zh) 2023-11-07
CN110888857A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
WO2021073152A1 (zh) 基于神经网络的数据标签生成方法、装置、终端及介质
Sayavong et al. Research on stock price prediction method based on convolutional neural network
Mehdiyev et al. A multi-stage deep learning approach for business process event prediction
Yao et al. High-frequency stock trend forecast using LSTM model
Li et al. Multi-factor based stock price prediction using hybrid neural networks with attention mechanism
CN116186548B (zh) 电力负荷预测模型训练方法及电力负荷预测方法
Anwar et al. ANNs-based early warning system for Indonesian Islamic banks
Rasheed et al. Improving stock prediction accuracy using cnn and lstm
Buyrukoğlu Promising cryptocurrency analysis using deep learning
Li et al. Stock trading strategies based on deep reinforcement learning
Abakarim et al. Towards an efficient real-time approach to loan credit approval using deep learning
Xu et al. Deep learning with multiple scale attention and direction regularization for asset price prediction
Kumaresan et al. Stock Price Prediction Model Using LSTM: A Comparative Study
Chang et al. An ensemble of neural networks for stock trading decision making
Goyal et al. Using LSTM, DNN, and ARIMA approaches to predict the trends in the Stock Market
CN115761576A (zh) 视频动作识别方法、装置及存储介质
Lin et al. Stock price range forecast via a recurrent neural network based on the zero-crossing rate approach
KR102409041B1 (ko) 액터 크리틱 모델을 이용한 포트폴리오 자산배분 강화학습방법
Chen Mobile Phone Price Prediction with Feature Reduction
CN113065662A (zh) 数据处理方法、自学习系统及电子设备
Shirata et al. A Proposal of a Method to Determine the Appropriate Learning Period in Stock Price Prediction Using Machine Learning
Poženel et al. Discovering language of the stocks
Zhang et al. Prediction of stock based on convolution neural network
US20230237274A1 (en) Explainable passage classification
Kethmi et al. Artificial Neural Network Analysis in Finance: Evidence using a Literature Review

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20876753

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20876753

Country of ref document: EP

Kind code of ref document: A1