WO2022247049A1 - 基于复数值前向神经网络的风速预测方法 - Google Patents
基于复数值前向神经网络的风速预测方法 Download PDFInfo
- Publication number
- WO2022247049A1 WO2022247049A1 PCT/CN2021/116621 CN2021116621W WO2022247049A1 WO 2022247049 A1 WO2022247049 A1 WO 2022247049A1 CN 2021116621 W CN2021116621 W CN 2021116621W WO 2022247049 A1 WO2022247049 A1 WO 2022247049A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- complex
- neural network
- valued
- forward neural
- training
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000013598 vector Substances 0.000 claims abstract description 84
- 238000012549 training Methods 0.000 claims abstract description 80
- 238000005457 optimization Methods 0.000 claims abstract description 68
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 210000002569 neuron Anatomy 0.000 claims description 73
- 230000006870 function Effects 0.000 claims description 67
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 20
- 230000003595 spectral effect Effects 0.000 claims description 17
- 210000002364 input neuron Anatomy 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000003121 nonmonotonic effect Effects 0.000 claims description 4
- 238000013277 forecasting method Methods 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/08—Fluids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Definitions
- the invention relates to the technical field of wind speed prediction, in particular to a wind speed prediction method based on a complex-valued forward neural network.
- wind energy As a green and environmentally friendly renewable energy source, has attracted more and more people's attention, and the development of wind energy has become a current trend.
- wind energy due to the randomness and intermittent nature of wind speed, the instability of wind speed will pose a threat to the security and stability of the power grid system. Therefore, accurate prediction of wind speed plays a vital role in wind energy development.
- the physical model prediction method based on weather forecast data and the wind speed prediction method based on historical data.
- the physical models and forecasting methods for wind speed prediction based on weather forecast data are relatively seldom used, so more historical data are used to predict the dynamic change of wind speed.
- Predicting the dynamic change of wind speed based on historical data has been widely used in wind farms, and the common methods include artificial neural network, support vector machine and Kalman filter to predict the dynamic change of wind speed.
- the technical problem to be solved by the present invention is to overcome the deficiencies in the prior art, and propose a wind speed prediction method based on a complex-valued forward neural network that can realize network structure and parameter optimization at the same time.
- the invention provides a method for predicting wind speed based on a complex-valued forward neural network, comprising the following steps:
- Step 1 Obtain the data used for wind speed prediction and organize it into a data set, and divide the data set into a training set and a prediction set;
- Step 2 Construct a complex-valued forward neural network, initialize the parameter vector ⁇ in the complex-valued forward neural network, and the parameter vector ⁇ consists of the connection weights between neurons, the bias of neurons and the gain coefficient of the activation function Adjustable parameter composition;
- Step 3 Introduce the Group Lasso regularization term to construct the objective function of the complex-valued forward neural network training, and transform the training of the complex-valued forward neural network into the solution of the constrained optimization problem;
- Step 4 Obtain the trained complex-valued forward neural network, and input the prediction set into the trained complex-valued forward neural network to obtain the wind speed prediction result.
- a complex-valued forward neural network is constructed, and the complex-valued forward neural network constructed includes P input neurons, N hidden layer neurons and Q output neurons, and the complex-valued forward neural network
- the parameter vector ⁇ in is a column vector, and all adjustable parameters are arranged in order as a parameter vector ⁇ :
- w p represents the complex vector composed of the connection weights between the pth input neuron and the hidden layer neuron
- b 1 is the complex vector composed of the bias of all hidden layer neurons
- ⁇ 1 represents the hidden layer neuron
- v n represents the complex vector composed of the connection weight between the nth hidden layer neuron and the output layer neuron
- b 2 is the complex vector composed of the bias of all output layer neurons
- ⁇ 2 represents the complex vector composed of the gain coefficient of the neuron activation function of the output layer
- the superscript T represents the transpose
- the superscript R represents the vector composed of the real part of the corresponding complex vector
- the superscript I represents the imaginary part of the corresponding complex vector
- f C ( ⁇ ) Indicates the activation function
- W [w 1 ,w 2 ,...,w P ] is the weight matrix between the input layer and the hidden layer neurons
- z j is the jth input sample of the complex-valued feedforward neural network
- V [v 1 ,v 2 ,...,v N ] is the weight matrix between neurons in the hidden layer and the output layer.
- step 3 is:
- Step 3.1 Introduce the Group Lasso regularization term R GL into the traditional mean square error function E' to obtain the objective function E during complex-valued forward neural network training;
- Step 3.2 Introduce a set of artificial variables ⁇ a to transform the unconstrained optimization problem into a constrained optimization problem st
- ⁇ a , a 1,2,...,A;
- ⁇ [ ⁇ 1 , ⁇ 2 ,..., ⁇ A ] T as a real vector composed of the introduced variable ⁇ a , at this time the parameter vector to be optimized in training is
- Step 3.3 Use and Matrix calculation approximates the Hessian matrix H (m) and obtains the quadratic optimization problem of approximation band constraint;
- ⁇ is a constant, represents the parameter variation s (i) and the gradient variation r (i) of keeping the most recent ⁇ times;
- S represents the matrix consisting of the parameter variation s (i) from the m- ⁇ to the m-1 iteration
- R represents the gradient variation r (i) from the m- ⁇ to the m-1 iteration i) the matrix formed
- m represents the mth iteration;
- Step 3.4 Solve the approximate quadratic optimization problem with constraints through the spectral projection gradient algorithm, and obtain the solution of the approximate quadratic optimization problem with constraints
- Step 3.5 Approximate the solution to the constrained quadratic optimization problem using Compute the original constrained optimization problem st
- ⁇ a , a 1,2,...,A is feasible to descend direction d (m) at the mth iteration, and use Armijo linear search to determine the appropriate learning step size ⁇ (m) ;
- Step 3.6 Update with d (m) and ⁇ (m) and update matrices S and R;
- Step 3.7 Repeat steps 3.3 to 3.6 until the preset iteration end condition is met to stop the training of the complex-valued forward neural network.
- the objective function E of complex-valued forward neural network training is:
- represents the dimension of the vector,
- step 3.3 the specific process of the step 3.3 is:
- Step 3.3.1 the calculation formula of approximate Hessian matrix H (m) is:
- Step 3.3.2 Utilize the approximate Hessian matrix H (m) to obtain the approximate quadratic optimization problem with constraints during the m iteration:
- step 3.4 is:
- Step 3.4.1 Utilize formula calculate and according to the formula calculated in Represents the objective function of an approximate quadratic optimization problem with constraints in The gradient at , t represents the number of iterations to optimize the approximate quadratic optimization problem with constraints using the spectral projection gradient algorithm;
- Step 3.4.2 Using the projection operator
- Step 3.4.3 According to the formula Get the search direction for solving the approximate quadratic optimization problem with constraints at the tth iteration
- Step 3.4.4 For the search direction
- the learning step size is calculated by non-monotonic linear search
- Step 3.4.5 According to the formula Update the parameters, and judge whether the number of evaluations of the objective function in the approximate quadratic optimization problem with constraints is greater than the preset constant T e ;
- step 3.4.1 If not, return to step 3.4.1; if yes, the algorithm stops, and the solution to the approximate quadratic optimization problem with constraints is obtained
- the solution of the constrained quadratic optimization problem is first calculated using the spectral projection gradient algorithm Then according to the formula Get the original constrained optimization problem st
- ⁇ a , a 1,2,..., the feasible descent direction d (m) of A at the mth iteration.
- step 3.5 use Armijo linear search to determine suitable learning step size ⁇ (m) , specifically:
- step 3 is specifically:
- the number of evaluations of the objective function during the training of the complex-valued forward neural network reaches the preset maximum number of evaluations or the change in the value of the objective function during the training of the complex-valued forward neural network in two consecutive iterations is less than the preset threshold or The maximum variation of the adjustable parameter in is less than the preset threshold.
- the objective function when obtaining the complex-valued forward neural network training can effectively delete redundant input in the training process Neurons and hidden layer neurons realize the optimization of network structure and parameter vector.
- the complex-valued forward neural network is trained using the custom complex-valued projection quasi-Newton algorithm, and the gain coefficient of the activation function is optimized as an adjustable parameter, which overcomes the adverse effects on the training process caused by the activation function falling into the saturation region.
- the weights of redundant neurons in the complex-valued feedforward neural network will be directly set to zero, without presetting the threshold, redundant neurons can be deleted directly, and have no impact on the final output of the model, that is, the network can be realized at the same time Optimization of structures and parameter vectors.
- Fig. 1 is a flow chart of the present invention.
- Fig. 2 is a schematic diagram of training a complex-valued feedforward neural network using a customized complex-valued projection quasi-Newton algorithm in the present invention.
- Fig. 3 is a flow chart of the training method for customizing complex-valued projection quasi-Newton algorithm in the present invention.
- a kind of embodiment of the wind speed prediction method based on complex-valued forward neural network of the present invention comprises the following steps:
- the data set is collected historical data.
- Step 2 Construct the complex-valued feedforward neural network model.
- the parameter vector ⁇ in the complex-valued feedforward neural network consists of adjustable parameters including the connection weights between neurons, the bias of neurons and the gain coefficient of the activation function .
- the complex-valued forward neural network model includes P input neurons (the number P of input neurons is consistent with the dimension P of the data set), N hidden layer neurons and Q output neurons, and the complex-valued forward
- the parameter vector ⁇ in the neural network is a column vector, and all adjustable parameters are arranged in order as a parameter vector ⁇ :
- w p represents the complex vector composed of the connection weights between the pth input neuron and the hidden layer neuron
- b 1 is the complex vector composed of the bias of all hidden layer neurons
- ⁇ 1 represents the hidden layer neuron
- v n represents the complex vector composed of the connection weight between the nth hidden layer neuron and the output layer neuron
- b 2 is the complex vector composed of the bias of all output layer neurons
- ⁇ 2 represents the complex vector composed of the gain coefficient of the neuron activation function of the output layer
- the superscript T represents the transpose
- the superscript R represents the vector composed of the real part of the corresponding complex vector
- the superscript I represents the imaginary part of the corresponding complex vector
- the gain coefficient of the activation function is optimized together as an adjustable parameter, which prevents the activation function of the hidden layer neurons from falling into the saturation region, and overcomes the adverse effects on the training process caused by the activation function falling into
- f C ( ) represents the activation function
- z j is the jth input sample of the complex-valued feedforward neural network
- V [v 1 ,v 2 ,...,v N ] is the weight matrix between neurons in the hidden layer and the output layer.
- Step 3 Introduce the Group Lasso regularization term to construct the objective function of the complex-valued forward neural network training, and transform the training of the complex-valued forward neural network model into the solution of the constrained optimization problem; use the training set and custom complex-valued projection quasi-Newton
- the algorithm performs iterative training, deletes redundant input neurons and hidden layer neurons, and achieves the goal of optimizing the network structure and parameter vector at the same time.
- step 3 is as follows:
- Step 3.1 Introduce the Group Lasso regularization item R GL into the traditional mean square error function E′ to obtain the objective function E during training;
- represents the dimension of the vector,
- Step 3.2 Transform the unconstrained optimization problem into a constrained optimization problem, that is, introduce a set of artificial variables ⁇ a to transform the unconstrained optimization problem Transformed into a constrained optimization problem:
- ⁇ [ ⁇ 1 , ⁇ 2 ,..., ⁇ A ] T as a real vector composed of the introduced variable ⁇ a , the parameter vector to be optimized in training is
- Step 3.3 Iteratively train the complex-valued feed-forward neural network using the training set and the custom complex-valued projection quasi-Newton algorithm, using and Matrix calculation approximates the Hessian matrix H (m) and obtains the quadratic optimization problem of approximation band constraint;
- ⁇ is a constant, represents the parameter variation s (i) and the gradient variation r (i) of keeping the most recent ⁇ times;
- Indicates the parameter vector value at the i+1th iteration Indicates the parameter vector value at the i-th iteration, Indicates that the objective function E is in the gradient at Indicates that the objective function E is in The gradient at
- S represents the matrix consisting of the parameter variation s (i) from the m- ⁇ to the m-1 iteration
- R represents the gradient variation r (i) from the m- ⁇ to the m-1 iteration i) the matrix formed
- m represents the mth iteration;
- Step 3.3.1 the calculation formula of approximate Hessian matrix H (m) is:
- I is the identity matrix
- L is the element Formed matrix
- D diag[(s (m- ⁇ ) ) T (r (m- ⁇ ) ),..., (s (m-1) ) T (r (m-1) )] is the pair angle matrix;
- Step 3.3.2 Utilize the approximate Hessian matrix H (m) to obtain the approximate quadratic optimization problem with constraints during the m iteration:
- Step 3.4 Solve the approximate quadratic optimization problem with constraints through the spectral projection gradient algorithm, and obtain the solution of the approximate quadratic optimization problem with constraints
- spectral projection gradient algorithm uses the spectral step size as the initial step size, and uses non-monotone linear search to determine the learning step size.
- spectral step size is as follows:
- the parameters of each group of neurons are modified to meet the constraints.
- Feasible descent directions for solving approximate quadratic optimization problems with constraints in for right The solution obtained after the parameters of each group of neurons in the above projection operation.
- Step 3.4.1 Adopt the formula calculate and according to the formula calculated in Represents the objective function of an approximate quadratic optimization problem with constraints in The gradient at , t represents the number of iterations to optimize the approximate quadratic optimization problem with constraints using the spectral projection gradient algorithm;
- Step 3.4.2 Using the projection operator
- Step 3.4.3 According to the formula Get the search direction for solving the approximate quadratic optimization problem with constraints at the tth iteration
- Step 3.4.4 For the search direction
- the learning step size is calculated by non-monotonic linear search
- Step 3.4.5 According to the formula Updating parameters, and judging whether the number of evaluations of the objective function in the approximate quadratic optimization problem with constraints is greater than a preset constant T e , and T e takes a value of 10 in this embodiment;
- step 3.4.1 If not, return to step 3.4.1; if yes, the algorithm stops, and the solution to the approximate quadratic optimization problem with constraints is obtained
- Step 3.5 Approximate the solution to the constrained quadratic optimization problem using Compute the original constrained optimization problem st
- ⁇ a , a 1,2,...,A is feasible to descend direction d (m) at the mth iteration, and use Armijo linear search to determine the appropriate learning step size ⁇ (m) ;
- Step 3.5.1 When customizing the m-th iteration of the complex-valued projection quasi-Newton algorithm, first use the spectral projection gradient algorithm to calculate the solution of the quadratic optimization problem with constraints Then according to the formula Get the original constrained optimization problem st
- ⁇ a , a 1,2,..., the feasible descending direction d (m) of A at the mth iteration;
- Step 3.5.2 Use Armijo linear search to determine the appropriate learning step size ⁇ (m) when customizing the mth iteration of the complex-valued projection quasi-Newton algorithm:
- Step 3.6 Update with d (m) and ⁇ (m) And update matrices S and R.
- Step 3.7 Repeat the customized complex-valued projection quasi-Newton algorithm in steps 3.3 to 3.6 for iterative training until the preset iteration end condition is met to stop the training of the complex-valued forward neural network and complete the iterative training.
- the preset iteration end condition is specifically: the number of evaluations of the objective function during the training of the complex-valued forward neural network reaches the preset maximum number of evaluations or the change of the value of the objective function during the training of the complex-valued forward neural network in two consecutive iterations amount is less than a preset threshold or The maximum variation of the adjustable parameter in is less than the preset threshold (that is, enters a stagnation state). If the iteration end condition is met, the training is stopped, and the trained complex-valued forward neural network is used for wind speed prediction. If the iteration end condition is not met, go to step 3.3 to continue training the complex-valued forward neural network.
- Step 4 Obtain the trained complex-valued forward neural network, and input the prediction set into the trained complex-valued forward neural network to obtain the wind speed prediction result.
- the desired output is a complex number y of wind speed and direction.
- 2000 samples are selected for training a complex-valued feedforward neural network containing 20 hidden layer neurons, and another 100 samples are used to test the performance of the complex-valued feedforward neural network.
- the present invention (SC_PQN) is compared with split gradient descent training method (SCBPG) and full complex gradient descent training method (FCBPG), and the results of training and testing are shown in Table 1:
- the present invention uses the customized complex-valued projection quasi-Newton algorithm, the average training error and the average test error are the smallest, and the best training and prediction effects are achieved. Moreover, compared with other training methods, the present invention has the number of deleted hidden layer neurons and the number of deleted input neurons. By deleting these redundant neurons, the network structure can be optimized, and a complex structure with a more compact structure can be obtained. Numerical feedforward neural network model to enhance the generalization performance of the model.
- the above-mentioned technical scheme of the present invention has the following advantages: the wind speed prediction method (1) based on the complex-valued forward neural network of the present invention, in the training process, by introducing Group in the traditional mean square error function
- the Lasso regularization term obtains the objective function of the complex-valued forward neural network training, so that redundant input neurons and hidden layer neurons can be effectively deleted during the training process, and the network structure and parameter vector can be optimized.
- the complex-valued forward neural network is trained using the custom complex-valued projection quasi-Newton algorithm, and the gain coefficient of the activation function is optimized as an adjustable parameter, which overcomes the adverse effects on the training process caused by the activation function falling into the saturation region.
- the weights of redundant neurons in the complex-valued feedforward neural network will be directly set to zero, without presetting the threshold, redundant neurons can be deleted directly, and have no impact on the final output of the model, that is, the network can be realized at the same time Optimization of structures and parameter vectors.
- (3) By introducing the Group Lasso regularization term and using the custom complex-valued projection quasi-Newton algorithm to train the complex-valued forward neural network, and at the same time optimize the network structure and parameters, so that the structure of the complex-valued forward neural network is compact and the network is enhanced
- the generalization performance of the model makes the complex-valued feedforward neural network have smaller errors in predicting wind speed and improves the prediction accuracy.
- the embodiments of the present application may be provided as methods, systems, or computer program products. Accordingly, the present application may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present application may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
- computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
- These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing apparatus to operate in a specific manner, such that the instructions stored in the computer-readable memory produce an article of manufacture comprising instruction means, the instructions
- the device realizes the function specified in one or more procedures of the flowchart and/or one or more blocks of the block diagram.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于复数值前向神经网络的风速预测方法，包括：获取用于风速预测的训练集和预测集，构建复数值前向神经网络并初始化参数向量；在复数值前向神经网络训练的目标函数中引入Group Lasso正则化项，并将训练转化为约束优化问题的求解，采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络，直到满足预设的条件结束训练，得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。本发明通过引入Group Lasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络实现网络结构和参数的优化，使网络结构紧凑、泛化性能强，同时提高风速预测的准确性。
Description
本发明涉及风速预测技术领域，具体涉及一种基于复数值前向神经网络的风速预测方法。
相比于石油等一些传统的不可再生能源，风能作为一种绿色、环保的可再生能源吸引了越来越多人的关注，发展风能已经成为当前的一种趋势。但是，由于风速具有随机性和间歇性等特点，风速的不稳定性会对电网系统的安全性和稳定性构成威胁。因此，精确预测风速在风能开发中扮演着至关重要的角色。
目前，风速预测方法主要有基于天气预报数据的物理模型预测法和基于历史数据的风速预测法两种方法。然而，由于数值气象信息的缺乏，基于天气预报数据进行风速预测的物理模型和预测方法使用相对较少，因此更多的是利用历史数据预测风速的动态变化。基于历史数据预测风速的动态变化在风电场中得到了广泛的应用，其中常见的方法有通过人工神经网络、支持向量机和卡尔曼滤波等来预测风速的动态变化。
人工神经网络作为一种简单有效的建模方法具有优异的非线性映射和逼近能力，近年来被广泛地用于风速预测及与之相关的应用中。但是，在利用人工神经网络模型进行风速预测时，经常会出现由于网络结构设计不合理导致在风速预测中难以达到预期性能的情况。因此，对于人工神经网络方法而言，选择一个合适的网络结构就是一个急需解决的问题，其中最为简单的方法就是通过人工不断试错直至确定一个较为合适的结构，但是该方法既费时又费力。同时，为了获得合适的网络权值和偏置等参数，梯度下降法被广泛用于前向神经网络 的训练过程中，但是梯度下降法容易出现陷入局部极小值、收敛速度缓慢等问题。因此，如何设计合适的训练方法寻找合适的网络结构和参数也值得进一步研究。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中的不足，提出一种可以同时实现网络结构和参数优化的基于复数值前向神经网络的风速预测方法。
为解决上述技术问题，本发明提供了一种基于复数值前向神经网络的风速预测方法，包括以下步骤：
步骤1：获取用于风速预测的数据并整理成数据集，将数据集分为训练集和预测集；
步骤2：构建复数值前向神经网络，初始化复数值前向神经网络中的参数向量ψ，参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成；
步骤3：引入Group Lasso正则化项构建复数值前向神经网络训练时的目标函数，将复数值前向神经网络的训练转化为约束优化问题的求解；
采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络，直到满足预设的迭代结束条件停止训练；
步骤4：得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。
进一步地，所述步骤2中构建复数值前向神经网络，构建的复数值前向神经网络包括P个输入神经元、N个隐层神经元和Q个输出神经元，复数值前向 神经网络中的所述参数向量ψ为列向量，所有可调参数按顺序排列为参数向量ψ：
其中，w
p表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量，b
1是所有隐层神经元的偏置构成的复向量，σ
1表示隐层神经元激活函数的增益系数构成的复向量，v
n表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量，b
2是所有输出层神经元的偏置构成的复向量，σ
2表示输出层神经元激活函数的增益系数构成的复向量，上标T表示转置；上标R表示对应复向量的实部构成的向量，上标I表示对应复向量的虚部构成的向量，
所述复数值前向神经网络的隐层输出向量h
j＝f
C(Wz
j+b
1)，输出层的输出向量o
j＝f
C(Vh
j+b
2)；其中f
C(·)表示激活函数，W＝[w
1,w
2,...,w
P]为输入层和隐层神经元之间的权值矩阵，z
j是复数值前向神经网络的第j个输入样本；V＝[v
1,v
2,...,v
N]为隐层和输出层神经元之间的权值矩阵。
进一步地，所述步骤3的具体过程为：
步骤3.1：在传统的均方误差函数E'中引入Group Lasso正则化项R
GL得到复数值前向神经网络训练时的目标函数E；
步骤3.2：引入一组人工变量ρ
a将无约束优化问题
转 化成约束优化问题
s.t.||ψ
a||≤ρ
a,a＝1,2,...,A；
定义ρ＝[ρ
1,ρ
2,...,ρ
A]
T为由引入的变量ρ
a所构成的实向量，此时训练中需要优化的参数向量为
步骤3.3：使用
和
矩阵计算近似海塞矩阵Η
(m)并得到近似带约束条件的二次优化问题；其中τ为常数，表示保留最近τ次的参数变化量s
(i)和梯度变化量r
(i)；
表示第i+1次迭代时的参数向量值，
表示第i次迭代时的参数向量值，
表示目标函数E在
处的梯度，
表示目标函数E在
处的梯度，S表示由从第m-τ到m-1次迭代时参数变化量s
(i)组成的矩阵，R表示由从第m-τ到m-1次迭代时梯度变化量r
(i)组成的矩阵，m表示第m次迭代；
步骤3.4：通过谱投影梯度算法求解近似带约束条件的二次优化问题，得到近似带约束条件的二次优化问题的解
步骤3.5：利用近似带约束条件的二次优化问题的解
计算原约束优化问题
s.t.||ψ
a||≤ρ
a,a＝1,2,...,A在第m迭代时可行下降方向d
(m)，并使用Armijo线性搜索确定合适的学习步长η
(m)；
步骤3.6：利用d
(m)和η
(m)更新
并更新矩阵S和R；
步骤3.7：重复步骤3.3～步骤3.6，直到满足预设的迭代结束条件停止复数值前向神经网络的训练。
进一步地，所述步骤3.1中的Group Lasso正则化项
复数值前向神经网络训练时的目标函数E为：
其中
为传统的均方误差函数，J是训练样本的总数，o
j表示第j个训练样本的实际输出，y
j表示第j个训练样本的期望输出，上标H表示共轭转置；λ为正则化系数，a＝1,2,...,A，A＝P+N+2表示可能被惩罚的神经元总个数，即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和；|·|表示向量的维数，||·||为欧几里得范数，ψ
a表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
进一步地，所述步骤3.3的具体过程为：
步骤3.3.1：近似海塞矩阵Η
(m)的计算公式为：
H
(m)＝σ
(m)I-NM
-1N
T，
其中
L为由元素
组成的矩阵，I为单位矩阵，D＝diag[(s
(m-τ))
T(r
(m-τ))，...，(s
(m-1))
T(r
(m-1))]为对角矩阵；
步骤3.3.2：利用近似海塞矩阵Η
(m)得到第m次迭代时的近似带约束条件的二次优化问题：
进一步地，所述步骤3.4的具体过程为：
步骤3.4.1：利用式
计算
并根据式
计算得到
其中
表示近似带约束条件的二次优化问题的目标函数在
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题的迭代次数；
步骤3.4.2：利用投影算子
对
中每一组神经元的参数进行修正使其满足约束条件||ψ
a||≤ρ
a,a＝1,2,...,A，计算得到
步骤3.4.3：根据式
得到第t次迭代时求解近似带约束条件的二次优化问题的搜索方向
步骤3.4.4：对搜索方向
采用非单调线性搜索计算得到学习步长
步骤3.4.5：根据式
更新参数，并判断近似带约束条件的二次优化问题中目标函数的评估次数是否大于预先设置的常数T
e；
若否，则返回执行步骤3.4.1；若是，则算法停止，得到近似带约束条件的二次优化问题的解
进一步地，所述步骤3.5中可行下降方向d
(m)的计算方法为：
在定制复数值投影拟牛顿算法的第m次迭代时，首先利用谱投影梯度算法 计算带约束条件的二次优化问题的解
然后根据式
得到原约束优化问题
s.t||ψ
a||≤ρ
a,a＝1,2,...,A在第m次迭代时的可行下降方向d
(m)。
进一步地，所述步骤3.5中使用Armijo线性搜索确定合适的学习步长η
(m)，具体为：
在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η
(m)：
其中l
4∈(0,1)，d
(m)表示原约束优化问题
s.t||ψ
a||≤ρ
a,a＝1,2,...,A在第m次迭代的可行下降方向，
表示目标函数E在
处的梯度。
进一步地，所述步骤3.6中利用d
(m)和η
(m)更新
并更新矩阵S和R，具体过程为：
根据公式
更新复数值前向神经网络训练中需要优化的参数向量
计算
并将s
(m)和r
(m)信息存储到S和R矩阵中，抛弃S和R矩阵中第m-τ次的s
(m-τ)和r
(m
-
τ)，实现矩阵S和R的更新。
进一步地，所述步骤3中预设的迭代结束条件，具体为：
复数值前向神经网络训练时的目标函数的评估次数达到预设的最大评估次数或者连续两次迭代中复数值前向神经网络训练时的目标函数值的变化量小于 预设的阈值或者
中可调参数的最大变化量小于预设的阈值。
本发明的上述技术方案相比现有技术具有以下优点：
(1)本发明的训练过程中，通过在传统的均方误差函数中引入Group Lasso正则化项得到复数值前向神经网络训练时的目标函数，使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元，实现网络结构和参数向量的优化。
(2)采用定制复数值投影拟牛顿算法训练复数值前向神经网络，将激活函数的增益系数作为可调参数一并优化，克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。同时，复数值前向神经网络中冗余神经元的权值会被直接置零，无需预先设置阈值，冗余神经元可以直接删除，并且对模型的最终输出无任何影响，即可以同时实现网络结构和参数向量的优化。
(3)通过引入Group Lasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络，同时实现网络结构和参数的优化，从而使复数值前向神经网络的结构紧凑、增强网络模型的泛化性能，并且使得复数值前向神经网络在预测风速时的误差更小、提高预测准确性。
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的流程图。
图2是本发明中采用定制复数值投影拟牛顿算法训练复数值前向神经网络的示意图。
图3是本发明中定制复数值投影拟牛顿算法训练方法的流程图。
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人 员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在本发明的描述中，需要理解的是，术语“包括”意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备，没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
参照图1流程图所示，本发明一种基于复数值前向神经网络的风速预测方法的实施例，包括以下步骤：
步骤1：获取用于风速预测的数据并整理成数据集，将数据集分为训练集和预测集；数据集z＝[z
1,z
2,…,z
P]
T，P表示输入的维数，包括风速平均值、风向平均值、标准差、气压、温度和湿度六组参数。数据集为采集到的历史数据，本实施例中P取值为六，z＝[z
1,z
2,…,z
P]
T中的各维数据分别对应风速平均值、风向平均值、标准差、气压、温度和湿度。
步骤2：构建复数值前向神经网络模型，复数值前向神经网络中的参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成。所述复数值前向神经网络模型包括P个输入神经元(输入神经元的个数P与数据集的维数P保持一致)、N个隐层神经元和Q个输出神经元，复数值前向神经网络中的所述参数向量ψ为列向量，所有可调参数按顺序排列为参数向量ψ：
其中，w
p表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量，b
1是所有隐层神经元的偏置构成的复向量，σ
1表示隐层神经元激活函数的增益 系数构成的复向量，v
n表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量，b
2是所有输出层神经元的偏置构成的复向量，σ
2表示输出层神经元激活函数的增益系数构成的复向量，上标T表示转置；上标R表示对应复向量的实部构成的向量，上标I表示对应复向量的虚部构成的向量，
将激活函数的增益系数作为可调参数一并优化，避免了隐层神经元激活函数陷入饱和区域，克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。
当输入为第j个训练样本时，所述复数值前向神经网络的隐层的输出向量为h
j＝f
C(Wz
j+b
1)，输出层的输出向量为o
j＝f
C(Vh
j+b
2)；其中f
C(·)表示激活函数，W＝[w
1,w
2,...,w
P]为输入层和隐层神经元之间的权值矩阵，z
j是复数值前向神经网络的第j个输入样本；V＝[v
1,v
2,...,v
N]为隐层和输出层神经元之间的权值矩阵。
初始化复数值前向神经网络模型中由神经元之间的连接权值、神经元的偏置和激活函数的增益系数构成的参数向量ψ。
步骤3：引入Group Lasso正则化项构建复数值前向神经网络训练的目标函数，并将复数值前向神经网络模型的训练转化为约束优化问题的求解；采用训练集和定制复数值投影拟牛顿算法进行迭代训练，删除冗余的输入神经元和隐层神经元，达到同时实现网络结构和参数向量优化的目的。
如图2-3所示，步骤3的具体过程为：
步骤3.1：在传统的均方误差函数E′中引入Group Lasso正则化项R
GL得到训练时的目标函数E；
Group Lasso正则化项
复数值前向神经网络训练时的目 标函数E为：
其中
为传统的均方误差函数，J是训练样本的总数，o
j表示第j个训练样本的实际输出，y
j表示第j个训练样本的期望输出，上标H表示共轭转置；λ为正则化系数，a＝1,2,...,A，A＝P+N+2表示可能被惩罚的神经元总个数，即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和；|·|表示向量的维数，||·||为欧几里得范数，ψ
a表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
在传统的均方误差函数中引入Group Lasso正则化项得到复数值前向神经网络训练时的目标函数，使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元，实现网络结构和参数向量的优化，增强模型的泛化性能。
步骤3.2：将无约束优化问题转化成约束优化问题，即引入一组人工变量ρ
a将无约束优化问题
转化成约束优化问题：
定义ρ＝[ρ
1,ρ
2,...,ρ
A]
T为由引入的变量ρ
a所构成的实向量，训练中需要优化的参数向量为
步骤3.3：使用训练集和定制复数值投影拟牛顿算法迭代训练复数值前向神经网络，使用
和
矩阵计算近似海塞矩阵Η
(m)并得到近似带约束条件的二次优化问题；其中τ为常数，表示保留最近τ次的参数变化量s
(i)和梯度变化量r
(i)；
表示第i+1次迭代 时的参数向量值，
表示第i次迭代时的参数向量值，
表示目标函数E在
处的梯度，
表示目标函数E在
处的梯度，S表示由从第m-τ到m-1次迭代时参数变化量s
(i)组成的矩阵，R表示由从第m-τ到m-1次迭代时梯度变化量r
(i)组成的矩阵，m表示第m次迭代；
步骤3.3.1：近似海塞矩阵Η
(m)的计算公式为：
H
(m)＝σ
(m)I-NM
-1N
T，
其中
I为单位矩阵，
L为由元素
组成的矩阵，D＝diag[(s
(m-τ))
T(r
(m-τ))，...，(s
(m-1))
T(r
(m-1))]为对角矩阵；
步骤3.3.2：利用近似海塞矩阵Η
(m)得到第m次迭代时的近似带约束条件的二次优化问题：
步骤3.4：通过谱投影梯度算法求解近似带约束条件的二次优化问题，得到近似带约束条件的二次优化问题的解
根据谱投影梯度算法求解近似带约束条件的二次优化问题得到一个解
其中谱投影梯度算法的主要特点是采用了谱步长作为初始步长，并采用非单调线性搜索确定学习步长
谱步长的具体形式如下：
其中
表示近似带约束条件的二次优化问题的目标函数Q在
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题时的迭代次数，即谱投影梯度算法的第t次迭代。
在第t次迭代时，首先采用负梯度方向计算近似带约束条件的二次优化问题的目标函数Q的初始解
然而，此时计算得到的
并不一定满足约束条件||ψ
a||≤ρ
a,a＝1,2,...,A。因此，采用投影算子
对每一组神经元的参数进行修正以满足约束条件。例如，对于第一个输入神经元的权值向量ψ
1＝ri(w
1)及参数ρ
1，如果||ψ
1||≤ρ
1，则该神经元的权值参数不需要修正，即为上式的第一种情形；如果||ψ
1||＞ρ
1且||ψ
1||+ρ
1＞0，则采用投影算子修正为
从而满足约束条件；如果||ψ
1||＞ρ
1且||ψ
1||+ρ
1≤0，则采用投影算子将该神经元的参数修正为(0,0)，即上式的第三种情形。此时，采用
得到求解近似带约束条件的二次优化问题的可行下降方向
其中
为对
中每组神经元参数按照上述投影操作后得到的解。
接着，采用非单调线性搜索去确定步长
具体形式如下：
其中l
3∈(0,1)，k通常取值为10，
表示第t次迭代时近似带约束条件的二次优化问题的搜索方向。不断迭代，直到达到投影梯度算法的停止条件为止，得到带约束条件的二次优化问题的解
为了更加直观地说明谱投影梯度算法，谱投影梯度算法的具体流程总结如下：
步骤3.4.1：采用式
计算
并根据式
计算得到
其中
表示近似带约束条件的二次优化问题的目标函数在
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题的迭代次数；
步骤3.4.2：利用投影算子
对
中每一组神经元的参数进行修正使其满足约束条件||ψ
a||≤ρ
a,a＝1,2,...,A，计算得到
通过使用投影算子将复数值前向神经网络中冗余神经元的权值直接置零，无需预先设置阈值即可直接删除冗余神经元，并且对模型的最终输出无任何影响，同时实现网络结构和参数向量的优化的选择，从而使复数值前向神经网络的结构紧凑。
步骤3.4.3：根据式
得到第t次迭代时求解近似带约束条件的二次优化问题的搜索方向
步骤3.4.4：对搜索方向
采用非单调线性搜索计算得到学习步长
步骤3.4.5：根据式
更新参数，并判断近似带约束条件的二次优化问题中目标函数的评估次数是否大于预先设置的常数T
e，本实施例中T
e取值为10；
若否，则返回执行步骤3.4.1；若是，则算法停止，得到近似带约束条件的二次优化问题的解
步骤3.5：利用近似带约束条件的二次优化问题的解
计算原约束优化问题
s.t.||ψ
a||≤ρ
a,a＝1,2,...,A在第m迭代时可行下降方向d
(m)，并使用Armijo线性搜索确定合适的学习步长η
(m)；
步骤3.5.1：在定制复数值投影拟牛顿算法的第m次迭代时，首先利用谱投影梯度算法计算带约束条件的二次优化问题的解
然后根据式
得到原约束优化问题
s.t||ψ
a||≤ρ
a,a＝1,2,...,A在第m次迭代的可行下降方向d
(m)；
步骤3.5.2：在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η
(m)：
其中l
4∈(0,1)，d
(m)表示原约束优化问题
s.t||ψ
a||≤ρ
a,a＝1,2,...,A在第m次迭代的可行下降方向，
表示目标函数E在
处的梯度。
步骤3.6：利用d
(m)和η
(m)更新
并更新矩阵S和R。
根据公式
更新复数值前向神经网络训练中需要优化的参数向量
计算
并将s
(m)和r
(m)信息存储到S和R矩阵中，抛弃S和R矩阵中第m-τ次的s
(m-τ)和r
(m
-
τ)信息，实现矩阵S和R的更新，本实施例中τ取值为10。
步骤3.7：重复步骤3.3～步骤3.6的定制复数值投影拟牛顿算法进行迭代训练，直到满足预设的迭代结束条件停止复数值前向神经网络的训练，完成对
的迭代训练。预设的迭代结束条件具体为：复数值前向神经网络训练时的目标函数的评估次数达到预设的最大评估次数或者连续两次迭代中复数值前向神经网络训练时的目标函数值的变化量小于预设的阈值或者
中可调参数的最大变化量小于预设的阈值(即进入停滞状态)。如果满足迭代结束条件则停止训练，并将训练好的复数值前向神经网络用于风速预测，如果不满足迭代结束条件则转到步骤3.3继续训练复数值前向神经网络。
步骤4：得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。期望输出为风速和风向构成的复数y。
为了进一步说明本发明的有益效果，本实施例中选取2000个样本用于训练含20个隐层神经元的复数值前向神经网络，并用另外100个样本测试复数值前向神经网络的性能。将本发明(SC_PQN)与分裂式梯度下降训练方法(SCBPG)、全复数梯度下降训练方法(FCBPG)进行比较，训练和测试的结果如表1所示：
| SCBPG | FCBPG | SC_PQN | |
| 平均训练误差 | 0.0663 | 0.0904 | 0.0656 |
| 平均测试误差 | 0.1246 | 0.1605 | 0.0840 |
| 删除的隐层神经元个数 | 0 | 0 | 14 |
| 删除的输入神经元个数 | 0 | 0 | 2 |
表1 SC_PQN、SCBPG、FCBPG训练和测试的结果比较表
从表1可以看出本发明使用定制复数值投影拟牛顿算法时，平均训练误差和平均测试误差都最小，取得了最好的训练和预测效果。并且，相比于其它训练方法，本发明都有删除的隐层神经元个数和删除的输入神经元的个数，删除了这些冗余神经元可以优化网络结构，得到一个结构更加紧凑的复数值前向神经网络模型，增强模型的泛化性能。
本发明的上述技术方案相比现有技术具有以下优点：本发明所述的基于复数值前向神经网络的风速预测方法(1)在训练过程中，通过在传统的均方误差函数中引入Group Lasso正则化项得到复数值前向神经网络训练时的目标函数，使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元，实现网络结构和参数向量的优化。(2)采用定制复数值投影拟牛顿算法训练复数值前向神经网络，将激活函数的增益系数作为可调参数一并优化，克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。同时，复数值前向神经网络中冗余神经元的权值会被直接置零，无需预先设置阈值，冗余神经元可以直接删除，并且对模型的最终输出无任何影响，即可以同时实现网络结构和参数向量的优化。(3)通过引入Group Lasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络，同时实现网络结构和参数的优化，从而使复数值前向神经网络的结构紧凑、增强网络模型的泛化性能，并且使得复数值前向神经网络在预测风速时的误差更小、提高预测准确性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或 方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
- 一种基于复数值前向神经网络的风速预测方法，其特征在于：包括以下步骤：步骤1：获取用于风速预测的数据并整理成数据集，将数据集分为训练集和预测集；步骤2：构建复数值前向神经网络，初始化复数值前向神经网络中的参数向量ψ，参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成；步骤3：引入Group Lasso正则化项构建复数值前向神经网络训练时的目标函数，将复数值前向神经网络的训练转化为约束优化问题的求解；采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络，直到满足预设的迭代结束条件停止训练；步骤4：得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。
- 根据权利要求1所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤2中构建复数值前向神经网络，构建的复数值前向神经网络包括P个输入神经元、N个隐层神经元和Q个输出神经元，复数值前向神经网络中的所述参数向量ψ为列向量，所有可调参数按顺序排列为参数向量ψ：
其中，w p表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量，b 1是所有隐层神经元的偏置构成的复向量，σ 1表示隐层神经元激活函数的增益系数构成的复向量，v n表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量，b 2是所有输出层神经元的偏置构成的复向量，σ 2表示输出层神经元激活函数的增益系数构成的复向量，上标T表示转置；上标R表示对应复向量的实部构成的向量，上标I表示对应复向量的虚部构成的向量，
所述复数值前向神经网络的隐层输出向量h j＝f C(Wz j+b 1)，输出层的输出向量o j＝f C(Vh j+b 2)；其中f C(·)表示激活函数，W＝[w 1,w 2,...,w P]为输入层和隐层神经元之间的权值矩阵，z j是复数值前向神经网络的第j个输入样本；V＝[v 1,v 2,...,v N]为隐层和输出层神经元之间的权值矩阵。 - 根据权利要求1所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3的具体过程为：步骤3.1：在传统的均方误差函数E'中引入Group Lasso正则化项R GL得到复数值前向神经网络训练时的目标函数E；步骤3.2：引入一组人工变量ρ a将无约束优化问题转化成约束优化问题
s.t.||ψ a||≤ρ a,a＝1,2,...,A；
定义ρ＝[ρ 1,ρ 2,...,ρ A] T为由引入的变量ρ a所构成的实向量，此时训练中需要优化的参数向量为
步骤3.3：使用和
矩阵计算近似海塞矩阵Η (m)并得 到近似带约束条件的二次优化问题；其中τ为常数，表示保留最近τ次的参数变化量s (i)和梯度变化量r (i)；
表示第i+1次迭代时的参数向量值，
表示第i次迭代时的参数向量值，
表示目标函数E在
处的梯度，
表示目标函数E在
处的梯度，S表示由从第m-τ到m-1次迭代时参数变化量s (i)组成的矩阵，R表示由从第m-τ到m-1次迭代时梯度变化量r (i)组成的矩阵，m表示第m次迭代；
步骤3.4：通过谱投影梯度算法求解近似带约束条件的二次优化问题，得到近似带约束条件的二次优化问题的解
步骤3.5：利用近似带约束条件的二次优化问题的解计算原约束优化问题
s.t.||ψ a||≤ρ a,a＝1,2,...,A在第m迭代时可行下降方向d (m)，并使用Armijo线性搜索确定合适的学习步长η (m)；
步骤3.6：利用d (m)和η (m)更新并更新矩阵S和R；
步骤3.7：重复步骤3.3～步骤3.6，直到满足预设的迭代结束条件停止复数值前向神经网络的训练。 - 根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.1中的Group Lasso正则化项复数值前向神经网络训练时的目标函数E为：
其中为传统的均方误差函数，J是训练样本的总数，o j表示第j个训练样本的实际输出，y j表示第j个训练样本的期望输出，上标H表 示共轭转置；λ为正则化系数，a＝1,2,...,A，A＝P+N+2表示可能被惩罚的神经元总个数，即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和；|·|表示向量的维数，||·||为欧几里得范数，ψ a表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
- 根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.3的具体过程为：步骤3.3.1：近似海塞矩阵Η (m)的计算公式为：H (m)＝σ (m)I-NM -1N T，其中N＝[σ (m)S R]，
L为由元素
组成的矩阵，I为单位矩阵，D＝diag[(s (m-τ)) T(r (m-τ))，...，(s (m-1)) T(r (m-1))]为对角矩阵；
步骤3.3.2：利用近似海塞矩阵Η (m)得到第m次迭代时的近似带约束条件的二次优化问题：
- 根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.4的具体过程为：步骤3.4.1：利用式计算
并根据式
计算得到
其中
表示近似带约束条件的二次优化问题的目标函数在
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题的迭代次数；
步骤3.4.2：利用投影算子
对中每一组神经元的参数进行修正使其满足约束条件||ψ a||≤ρ a,a＝1,2,...,A，计算得到
步骤3.4.3：根据式得到第t次迭代时求解近似带约束条件的二次优化问题的搜索方向
步骤3.4.4：对搜索方向采用非单调线性搜索计算得到学习步长
步骤3.4.5：根据式更新参数，并判断近似带约束条件的二次优化问题中目标函数的评估次数是否大于预先设置的常数T e；
若否，则返回执行步骤3.4.1；若是，则算法停止，得到近似带约束条件的二次优化问题的解
- 根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.5中可行下降方向d (m)的计算方法为：在定制复数值投影拟牛顿算法的第m次迭代时，首先利用谱投影梯度算法计算带约束条件的二次优化问题的解然后根据式
得到原约束优 化问题
s.t||ψ a||≤ρ a,a＝1,2,...,A在第m次迭代时的可行下降方向d (m)。
- 根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.5中使用Armijo线性搜索确定合适的学习步长η (m)，具体为：在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η (m)：
其中l 4∈(0,1)，d (m)表示原约束优化问题s.t||ψ a||≤ρ a,a＝1,2,...,A在第m次迭代的可行下降方向，
表示目标函数E在
处的梯度。
- 根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.6中利用d (m)和η (m)更新并更新矩阵S和R，具体过程为：
根据公式更新复数值前向神经网络训练中需要优化的参数向量
计算并将s (m)和r (m)信息存储到S和R矩阵中，抛弃S和R矩阵中第m-τ次的s (m-τ)和r (m-τ)，实现矩阵S和R的更新。
- 根据权利要求1-9任一项所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3中预设的迭代结束条件，具体为：复数值前向神经网络训练时的目标函数的评估次数达到预设的最大评估次 数或者连续两次迭代中复数值前向神经网络训练时的目标函数值的变化量小于预设的阈值或者中可调参数的最大变化量小于预设的阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/789,038 US20230316069A1 (en) | 2021-05-24 | 2021-09-06 | Wind speed prediction method based on forward complex-valued neural network |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110565347.0A CN113158582A (zh) | 2021-05-24 | 2021-05-24 | 基于复数值前向神经网络的风速预测方法 |
| CN202110565347.0 | 2021-05-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022247049A1 true WO2022247049A1 (zh) | 2022-12-01 |
Family
ID=76877094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/116621 WO2022247049A1 (zh) | 2021-05-24 | 2021-09-06 | 基于复数值前向神经网络的风速预测方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230316069A1 (zh) |
| CN (1) | CN113158582A (zh) |
| WO (1) | WO2022247049A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116211458A (zh) * | 2022-12-12 | 2023-06-06 | 高峰医疗器械(无锡)有限公司 | 种植体规划方法、装置、设备及存储介质 |
| CN117371299A (zh) * | 2023-12-08 | 2024-01-09 | 安徽大学 | 一种托卡马克新经典环向粘滞力矩的机器学习方法 |
| CN117454124A (zh) * | 2023-12-26 | 2024-01-26 | 山东大学 | 一种基于深度学习的船舶运动预测方法及系统 |
| CN118134698A (zh) * | 2024-05-08 | 2024-06-04 | 南京邮电大学 | 基于物理信息神经网络的水厂泵组调度方法及系统 |
| CN118153438A (zh) * | 2024-03-20 | 2024-06-07 | 四川农业大学 | 一种非独立低矮建筑风压场预测方法及设备 |
| CN118171583A (zh) * | 2024-05-14 | 2024-06-11 | 南昌工程学院 | 一种通过机器学习确定矩形植被堰流量的方法 |
| CN118364364A (zh) * | 2024-06-19 | 2024-07-19 | 南京信息工程大学 | 一种基于复数神经网络的光伏发电预测方法及系统 |
| CN118551741A (zh) * | 2024-07-30 | 2024-08-27 | 卓世智星(青田)元宇宙科技有限公司 | 一种文本生成模型的构建方法 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158582A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
| CN113705724B (zh) * | 2021-09-13 | 2022-08-30 | 苏州大学 | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 |
| CN114897144A (zh) * | 2022-05-13 | 2022-08-12 | 苏州大学 | 基于复值神经网络的复值时序信号预测方法 |
| CN115081590A (zh) * | 2022-06-09 | 2022-09-20 | 苏州大学 | 基于复数值加速算法的短期风速预测方法 |
| CN117408164B (zh) * | 2023-12-13 | 2024-03-22 | 西安热工研究院有限公司 | 储能辅助黑启动的风速智能预测方法及系统 |
| CN117454233B (zh) * | 2023-12-22 | 2024-03-22 | 厦门锋联信息技术有限公司 | 基于定位识别的安全生产管理方法及系统 |
| CN118171058B (zh) * | 2024-02-27 | 2024-10-01 | 广东海洋大学 | 一种基于区域环境的沿海线列车风速预测方法及系统 |
| CN117933499B (zh) * | 2024-03-22 | 2024-09-06 | 中国铁建电气化局集团有限公司 | 高速铁路接触网的入侵风险预测方法、装置和存储介质 |
| CN118484682B (zh) * | 2024-07-16 | 2024-09-27 | 江西联创光电超导应用有限公司 | 一种有色金属加热过程温度预测方法及系统 |
| CN118536677B (zh) * | 2024-07-18 | 2024-10-01 | 长沙矿冶研究院有限责任公司 | 选矿系统工艺参数智能决策方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243259A (zh) * | 2015-09-02 | 2016-01-13 | 上海大学 | 基于极限学习机的脉动风速快速预测方法 |
| CN106295794A (zh) * | 2016-07-27 | 2017-01-04 | 中国石油大学(华东) | 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法 |
| CN106875002A (zh) * | 2017-02-20 | 2017-06-20 | 中国石油大学(华东) | 基于梯度下降法与广义逆的复值神经网络训练方法 |
| CN111160520A (zh) * | 2019-12-06 | 2020-05-15 | 南京理工大学 | 一种基于遗传算法优化的bp神经网络风速预测方法 |
| CN111950711A (zh) * | 2020-08-14 | 2020-11-17 | 苏州大学 | 复值前向神经网络的二阶混合构建方法及系统 |
| CN113158582A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11205096B2 (en) * | 2018-11-19 | 2021-12-21 | Google Llc | Training image-to-image translation neural networks |
| CN112598106B (zh) * | 2020-12-17 | 2024-03-15 | 苏州大学 | 基于复数值前向神经网络的复信道均衡器设计方法 |
-
2021
- 2021-05-24 CN CN202110565347.0A patent/CN113158582A/zh active Pending
- 2021-09-06 US US17/789,038 patent/US20230316069A1/en active Pending
- 2021-09-06 WO PCT/CN2021/116621 patent/WO2022247049A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243259A (zh) * | 2015-09-02 | 2016-01-13 | 上海大学 | 基于极限学习机的脉动风速快速预测方法 |
| CN106295794A (zh) * | 2016-07-27 | 2017-01-04 | 中国石油大学(华东) | 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法 |
| CN106875002A (zh) * | 2017-02-20 | 2017-06-20 | 中国石油大学(华东) | 基于梯度下降法与广义逆的复值神经网络训练方法 |
| CN111160520A (zh) * | 2019-12-06 | 2020-05-15 | 南京理工大学 | 一种基于遗传算法优化的bp神经网络风速预测方法 |
| CN111950711A (zh) * | 2020-08-14 | 2020-11-17 | 苏州大学 | 复值前向神经网络的二阶混合构建方法及系统 |
| CN113158582A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| DONG ZHONGYING; HUANG HE: "A Structural Optimization Algorithm for Complex-Valued Neural Networks", 2019 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE (SSCI), IEEE, 6 December 2019 (2019-12-06), pages 1530 - 1535, XP033717375, DOI: 10.1109/SSCI44817.2019.9003040 * |
| DONG, ZHONGYING ET AL.: "A Training Algorithm with Selectable Search Direction for Complex-valued Feedforward Neural Networks", NEURAL NETWORKS, vol. 137, 28 January 2021 (2021-01-28), XP086524006, ISSN: 0893-6080, DOI: 10.1016/j.neunet.2021.01.014 * |
| WU RONGRONG: "Study of Learning Algorithms of Complex-Valued Feedforward Neural Networks with Applications", MASTER THESIS, TIANJIN POLYTECHNIC UNIVERSITY, CN, no. 1, 15 January 2019 (2019-01-15), CN , XP093008533, ISSN: 1674-0246 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116211458A (zh) * | 2022-12-12 | 2023-06-06 | 高峰医疗器械(无锡)有限公司 | 种植体规划方法、装置、设备及存储介质 |
| CN116211458B (zh) * | 2022-12-12 | 2023-10-03 | 高峰医疗器械(无锡)有限公司 | 种植体规划方法、装置、设备及存储介质 |
| CN117371299A (zh) * | 2023-12-08 | 2024-01-09 | 安徽大学 | 一种托卡马克新经典环向粘滞力矩的机器学习方法 |
| CN117371299B (zh) * | 2023-12-08 | 2024-02-27 | 安徽大学 | 一种托卡马克新经典环向粘滞力矩的机器学习方法 |
| CN117454124A (zh) * | 2023-12-26 | 2024-01-26 | 山东大学 | 一种基于深度学习的船舶运动预测方法及系统 |
| CN117454124B (zh) * | 2023-12-26 | 2024-03-29 | 山东大学 | 一种基于深度学习的船舶运动预测方法及系统 |
| CN118153438A (zh) * | 2024-03-20 | 2024-06-07 | 四川农业大学 | 一种非独立低矮建筑风压场预测方法及设备 |
| CN118134698A (zh) * | 2024-05-08 | 2024-06-04 | 南京邮电大学 | 基于物理信息神经网络的水厂泵组调度方法及系统 |
| CN118171583A (zh) * | 2024-05-14 | 2024-06-11 | 南昌工程学院 | 一种通过机器学习确定矩形植被堰流量的方法 |
| CN118364364A (zh) * | 2024-06-19 | 2024-07-19 | 南京信息工程大学 | 一种基于复数神经网络的光伏发电预测方法及系统 |
| CN118551741A (zh) * | 2024-07-30 | 2024-08-27 | 卓世智星(青田)元宇宙科技有限公司 | 一种文本生成模型的构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113158582A (zh) | 2021-07-23 |
| US20230316069A1 (en) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022247049A1 (zh) | 基于复数值前向神经网络的风速预测方法 | |
| Xiaoyun et al. | Short-term prediction of wind power based on deep long short-term memory | |
| CN108304623B (zh) | 一种基于堆栈降噪自动编码器的概率潮流在线计算方法 | |
| Yang et al. | Bidirectional extreme learning machine for regression problem and its learning effectiveness | |
| CN109523084A (zh) | 一种基于主元分析和机器学习的风电功率超短期预测方法 | |
| WO2022193681A1 (zh) | 一种基于时间卷积网络的防洪调度方案优选方法 | |
| CN111178616B (zh) | 基于负相关学习和正则化极限学习机集成的风速预测方法 | |
| CN107609667B (zh) | 基于Box_cox变换和UFCNN的供热负荷预测方法及系统 | |
| CN104077632B (zh) | 一种基于深度神经网络的风电场功率预测方法 | |
| CN113468817B (zh) | 一种基于igoa优化elm的超短期风电功率预测方法 | |
| CN102510059A (zh) | 基于bp神经网络的超短期风电功率预测方法 | |
| CN110942205A (zh) | 一种基于himvo-svm的短期光伏发电功率预测方法 | |
| CN114462718A (zh) | 基于时间滑动窗口的cnn-gru风电功率预测方法 | |
| CN109599872A (zh) | 基于堆栈降噪自动编码器的电力系统概率最优潮流计算方法 | |
| CN111027229B (zh) | 基于稀疏异方差多样条回归的风功率曲线拟合的方法 | |
| CN114298140A (zh) | 一种考虑机组分类的风电短期功率预测校正方法 | |
| Liu et al. | An online transfer learning model for wind turbine power prediction based on spatial feature construction and system-wide update | |
| CN113052373A (zh) | 一种基于改进elm模型的月径流变化趋势预测方法 | |
| CN116415177A (zh) | 一种基于极限学习机的分类器参数辨识方法 | |
| CN110738363B (zh) | 一种光伏发电功率预测方法 | |
| CN111192158A (zh) | 一种基于深度学习的变电站日负荷曲线相似度匹配方法 | |
| Du et al. | Super resolution generative adversarial networks for multi-fidelity pressure distribution prediction | |
| Sang et al. | Ensembles of gradient boosting recurrent neural network for time series data prediction | |
| CN113095547A (zh) | 一种基于gra-lstm-ice模型的短期风功率预测方法 | |
| CN110276478B (zh) | 基于分段蚁群算法优化svm的短期风电功率预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21942616 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21942616 Country of ref document: EP Kind code of ref document: A1 |