WO2024077752A1 - 一种混合储能系统充放电状态实时优化控制方法 - Google Patents

一种混合储能系统充放电状态实时优化控制方法 Download PDF

Info

Publication number
WO2024077752A1
WO2024077752A1 PCT/CN2022/137722 CN2022137722W WO2024077752A1 WO 2024077752 A1 WO2024077752 A1 WO 2024077752A1 CN 2022137722 W CN2022137722 W CN 2022137722W WO 2024077752 A1 WO2024077752 A1 WO 2024077752A1
Authority
WO
WIPO (PCT)
Prior art keywords
energy storage
power
target
time
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/137722
Other languages
English (en)
French (fr)
Inventor
杨之乐
江俊杰
刘祥飞
郭媛君
吴承科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Publication of WO2024077752A1 publication Critical patent/WO2024077752A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/28—Arrangements for balancing of the load in networks by storage of energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/28—Arrangements for balancing of the load in networks by storage of energy
    • H02J3/32—Arrangements for balancing of the load in networks by storage of energy using batteries or super capacitors with converting means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2101/00—Supply or distribution of decentralised, dispersed or local electric power generation
    • H02J2101/20—Dispersed power generation using renewable energy sources
    • H02J2101/22—Solar energy
    • H02J2101/24—Photovoltaics
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2103/00—Details of circuit arrangements for mains or AC distribution networks
    • H02J2103/30—Simulating, planning, modelling, reliability check or computer assisted design [CAD] of electric power networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/56—Power conversion systems, e.g. maximum power point trackers

Definitions

  • the present invention relates to the field of new energy technology, and in particular to a real-time optimization control method for charging and discharging states of a hybrid energy storage system.
  • Photovoltaic power generation has been widely used, but it is greatly affected by sunlight conditions.
  • the photovoltaic power generation power will fluctuate greatly during different periods of the day, and there will often be a mismatch between the photovoltaic power generation power and the power load power.
  • thermal power is needed as a supplement.
  • the photovoltaic power generation power is greater than the power load power, the power abandonment action will obviously cause energy waste, which is not conducive to environmental protection.
  • the present invention provides a real-time optimization control method for the charging and discharging state of a hybrid energy storage system, aiming to solve the problem in the prior art that when the photovoltaic power generation power does not match the power load power, thermal power is used to supplement or photovoltaic power generation is abandoned, which is not conducive to environmental protection.
  • a first aspect of the present invention provides a method for real-time optimization control of charging and discharging states of a hybrid energy storage system, the method comprising:
  • Acquiring state constraint data based on performance data of each energy storage component of the energy storage system of the target power grid, wherein the state constraint data includes constraint conditions of charge and discharge states executable by each energy storage component of the energy storage system;
  • the state constraint data, the power load predicted power and the photovoltaic power generation predicted power are input into a deep reinforcement learning model, a target control scheme output by the deep reinforcement learning model is obtained, and the charging and discharging states of each energy storage component of the energy storage system within the target time period are controlled according to the target control scheme.
  • the real-time optimization control method for the charging and discharging state of the hybrid energy storage system wherein the obtaining of the predicted power load of the target power grid in the target period and the predicted photovoltaic power generation power in the target period, comprises:
  • the real-time optimization control method for the charging and discharging state of the hybrid energy storage system wherein the step of obtaining the predicted power load power according to the actual power load power of the target power grid in the historical period corresponding to the target period, comprises:
  • the neural network model is a CNN model.
  • the real-time optimization control method for the charging and discharging state of the hybrid energy storage system, wherein the state constraint data is obtained based on the performance data of each energy storage component of the energy storage system of the target power grid, comprises:
  • the state constraint data includes a first constraint condition and a second constraint condition
  • the first constraint condition is that the charge/discharge power of each energy storage component in the energy storage system does not exceed the maximum charge/discharge power of the energy storage component;
  • the second constraint condition is that the charge/discharge power of each energy storage component in the energy storage system does not exceed the real-time power data of the energy storage component at the beginning of the target time period.
  • the real-time optimization control method for the charging and discharging state of the hybrid energy storage system wherein the deep reinforcement learning model is trained using multiple groups of data, each group of training data includes sample input state data, a sample control scheme and a reward value corresponding to the sample control scheme, the sample input state data includes sample state constraint data, sample power load predicted power and sample photovoltaic power generation predicted power, the sample control scheme satisfies the sample state constraint data, and the reward value corresponding to the sample control method is calculated based on the result data after executing the sample control scheme under the sample input state data conditions.
  • the real-time optimization control method for the charging and discharging state of the hybrid energy storage system wherein the training data used to train the deep reinforcement learning model is obtained based on a sample power grid, and the structure of the sample power grid is the same as that of the target power grid;
  • the reward value corresponding to the sample control scheme in the training data is calculated using the following steps:
  • a weighted sum is performed on the first reward value, the second reward value, and the third reward value to obtain a reward value corresponding to the sample control solution.
  • the real-time optimization control method for the charging and discharging state of the hybrid energy storage system wherein the energy storage components in the sample power grid include lithium batteries and hydrogen storage devices, and the third reward value is obtained according to the total charging time and the total discharging time corresponding to each energy storage component in the sample control scheme, including:
  • the first score and the second score are summed to obtain the third reward value.
  • a second aspect of the present invention provides a device for real-time optimization control of charging and discharging state of a hybrid energy storage system, comprising:
  • a prediction module is used to obtain the predicted power load of the target power grid in the target period and the predicted photovoltaic power generation power in the target period;
  • a constraint module configured to acquire state constraint data based on performance data of each energy storage component of the energy storage system of the target power grid, wherein the state constraint data includes constraint conditions of charge and discharge states executable by each energy storage component of the energy storage system;
  • a control module is used to input the state constraint data, the power load predicted power and the photovoltaic power generation predicted power into a deep reinforcement learning model, obtain a target control scheme output by the deep reinforcement learning model, and control the charging and discharging states of each energy storage component of the energy storage system at each preset time within the target time period according to the target control scheme.
  • a terminal comprising a processor and a computer-readable storage medium communicatively connected to the processor, wherein the computer-readable storage medium is suitable for storing a plurality of instructions, and the processor is suitable for calling the instructions in the computer-readable storage medium to execute the steps of the real-time optimization control method for the charging and discharging state of a hybrid energy storage system as described in any one of the above items.
  • a fourth aspect of the present invention provides a computer-readable storage medium, which stores one or more programs, and the one or more programs can be executed by one or more processors to implement the steps of the real-time optimization control method for the charging and discharging state of a hybrid energy storage system as described in any of the above items.
  • the present invention provides a real-time optimization control method for the charging and discharging state of a hybrid energy storage system.
  • the real-time optimization control method for the charging and discharging state of a hybrid energy storage system first predicts the photovoltaic power generation power and the user load power in the next time period, and then, based on the prediction results, uses a reinforcement learning model to select a control scheme for the charging and discharging state of each energy storage component in the energy storage system at each moment in the next time period.
  • the energy storage component is used to charge when the photovoltaic power generation power is large and to discharge when the photovoltaic power generation power is insufficient, which can reduce the utilization rate of thermal power, avoid the waste of photovoltaic power generation, and be more environmentally friendly.
  • FIG1 is a flow chart of an embodiment of a method for real-time optimization control of charging and discharging states of a hybrid energy storage system provided by the present invention
  • FIG2 is a structural principle diagram of an embodiment of a device for real-time optimization control of charging and discharging states of a hybrid energy storage system provided by the present invention
  • FIG3 is a schematic diagram showing the principles of an embodiment of a terminal provided by the present invention.
  • the real-time optimization control method for the charging and discharging state of a hybrid energy storage system provided by the present invention can be applied to a terminal with computing capabilities.
  • the terminal can execute the real-time optimization control method for the charging and discharging state of a hybrid energy storage system provided by the present invention to control the energy storage components in the energy storage system.
  • the terminal can be, but is not limited to, various computers, mobile terminals, smart home appliances, wearable devices, etc.
  • the steps include:
  • S100 Obtain the predicted power load power of the target power grid in the target period and the predicted photovoltaic power generation power in the target period.
  • the target power grid is controlled by time period, that is, before the end of each time period, the energy storage system control strategy for the next time period is determined based on the power consumption data in the time period and the previous time period.
  • the duration of the target time period can be determined based on the complexity of the power consumption equipment of the target power grid, which can be 1 hour, half an hour or other durations.
  • the acquisition of the predicted power load power of the target power grid in the target time period and the predicted photovoltaic power generation power of the target time period includes:
  • the historical period corresponding to the target period is the period in the N days before the target period that is in the same period position as the target period in a day. For example, if the target period is from 7 to 8 o'clock, the actual power load power from 7 to 8 o'clock every day on the N dates before the date of the target period is selected to predict the power load power in the target period.
  • the working day attribute of the historical period is the same as the working day attribute of the target period. That is to say, when the target period is on a working day, the historical period corresponding to the target period is also a period on a working day. When the target period is on a holiday, the historical period corresponding to the target period is also a period on a holiday.
  • the predicted power of the power load in the target period can be obtained by counting the actual power load power in the historical period corresponding to the target period and taking the average value, but the accuracy of this method is not high.
  • a neural network model is pre-trained to predict the power load. Specifically, the predicted power of the power load is obtained according to the actual power load power of the target power grid in the historical period corresponding to the target period, including:
  • the neural network model is a CNN model.
  • the neural network model is trained using a large amount of training data to learn the changing patterns of electricity consumption of users in the target power grid.
  • the main influencing factor of photovoltaic power generation is the sunshine condition. Therefore, in this embodiment, the photovoltaic power generation prediction law is obtained according to the weather forecast data corresponding to the time period.
  • the method provided in this embodiment further includes the steps of:
  • S200 Acquire state constraint data based on performance data of each energy storage component of the energy storage system of the target power grid, wherein the state constraint data includes constraint conditions of charge and discharge states executable by each energy storage component of the energy storage system.
  • the charging and discharging state of the energy storage component that makes the power supply power of the power grid match the predicted power of the power load can be directly obtained according to the charging and discharging power of the energy storage component.
  • different energy storage components such as batteries and hydrogen storage devices, have different costs for charging and discharging actions and different charging and discharging durations, and in practical applications, it is not necessary to strictly require that the power of the power load and the power supply power of the power grid are completely consistent, and it is acceptable that there is a certain difference between the two.
  • the deep reinforcement learning model will output an action based on the input data (in this embodiment, the action is the charge and discharge state control scheme of the energy storage device).
  • the action is the charge and discharge state control scheme of the energy storage device.
  • constraints are set so that the deep reinforcement learning model outputs an action that satisfies the constraints.
  • the state constraint data is obtained based on the performance data of each energy storage device of the energy storage system of the target power grid, including:
  • the state constraint data includes a first constraint condition and a second constraint condition
  • the first constraint condition is that the charge/discharge power of each energy storage component in the energy storage system does not exceed the maximum charge/discharge power of the energy storage component;
  • the second constraint condition is that the charge/discharge power of each energy storage component in the energy storage system does not exceed the real-time power data of the energy storage component at the beginning of the target time period.
  • the method provided in this embodiment further includes the steps of:
  • the deep reinforcement learning model is trained using multiple sets of data, each set of training data includes sample input state data, sample control schemes, and reward values corresponding to the sample control schemes.
  • the sample input state data includes sample state constraint data, sample power load forecast power, and sample photovoltaic power generation forecast power.
  • the sample control schemes satisfy the sample state constraint data, and the reward values corresponding to the sample control methods are calculated based on the result data after executing the sample control schemes under the sample input state data.
  • the training data used to train the deep reinforcement learning model is obtained based on a sample power grid, and the sample power grid has the same structure as the target power grid.
  • the reward value during the training of the deep reinforcement learning model is designed by integrating multiple factors so that the deep reinforcement learning model after training can output a better control solution.
  • the reward value corresponding to the sample control scheme in the training data is calculated using the following steps:
  • a weighted sum is performed on the first reward value, the second reward value, and the third reward value to obtain a reward value corresponding to the sample control solution.
  • part of the reward value used to evaluate the sample control scheme is the variance between the input power of the sample power grid at each moment in the sample target period after the sample control scheme is adopted, and the sample target period is equal to the target period. The larger the variance, the greater the fluctuation. Therefore, when performing weighted summation, the weight of the first reward value is negative.
  • part of the reward value used to evaluate the sample control scheme is based on the difference between the average value of the input power of the sample power grid during the sample target period after the sample control scheme is adopted and the predicted power of the sample power load. Specifically, the absolute value of the difference is used as the second reward value. When performing weighted summation, the weight of the second reward value is also negative.
  • part of the reward value is also obtained based on the total charging time and total discharging time corresponding to each energy storage component in the sample control scheme.
  • the hydrogen storage device can be used for fuel cell regeneration, as well as for other industries such as chemical industry, and can also be used for long-distance transportation.
  • the hydrogen storage device is charged first. It is worth noting that the hydrogen storage device converts electrical energy into hydrogen for storage.
  • the process of converting electrical energy into hydrogen by the hydrogen storage device is also called the charging process.
  • the third reward value is obtained according to the total charging time and total discharge time corresponding to each energy storage component in the sample control scheme, including:
  • the first score and the second score are summed to obtain the third reward value.
  • the deep learning model will be trained multiple times, and each time the deep learning model will output a control scheme. According to the reward value corresponding to the control scheme, the parameters of the deep learning model can be updated. Finally, the parameters of the deep learning model will tend to converge, and the training is completed. At this time, the deep learning model will output a better control scheme based on the input data.
  • the reward value is also updated by comparing the reward value with the reward value obtained in the previous training.
  • the reward value obtained in the previous M trainings is obtained, where M is a positive integer, preferably, M is greater than or equal to 20.
  • M is a positive integer, preferably, M is greater than or equal to 20.
  • the variance of the reward value this time and the reward value obtained in the previous M trainings is greater than a preset threshold, it means that the deep learning model has not found the optimal optimization direction and is in a random optimization state. At this time, the reward value this time can be reduced so that the deep learning model can try more directions.
  • the variance of the reward value this time and the reward value obtained in the previous M trainings is less than a preset threshold, it means that the deep learning model has tended to a fixed direction. At this time, the reward value this time can be kept unchanged or enlarged to improve the training efficiency of the deep learning model.
  • this embodiment provides a real-time optimization control method for the charging and discharging state of a hybrid energy storage system.
  • the photovoltaic power generation power and the user load power in the next time period are predicted.
  • a reinforcement learning model is used to select a control scheme for the charging and discharging state of each energy storage component in the energy storage system at each moment in the next time period.
  • the energy storage component is used to charge when the photovoltaic power generation power is large and discharge when the photovoltaic power generation power is insufficient, thereby reducing the utilization rate of thermal power, avoiding the waste of photovoltaic power generation, and being more environmentally friendly.
  • steps in the flowchart may include multiple sub-steps or multiple stages, and these sub-steps or stages are not necessarily executed at the same time, but can be executed at different times, and the execution order of these sub-steps or stages is not necessarily to be carried out in sequence, but can be executed in turn or alternately with other steps or at least a part of the sub-steps or stages of other steps.
  • Non-volatile memory can include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM) or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous link (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).
  • the present invention also provides a real-time optimization control device for charging and discharging state of a hybrid energy storage system.
  • the real-time optimization control device for charging and discharging state of a hybrid energy storage system comprises:
  • a prediction module used to obtain the predicted power load of the target power grid in the target period and the predicted photovoltaic power generation power in the target period, as described in the first embodiment
  • a constraint module used for acquiring state constraint data based on performance data of each energy storage component of the energy storage system of the target power grid, wherein the state constraint data includes constraint conditions of the charge and discharge states executable by each energy storage component of the energy storage system, as specifically described in the first embodiment;
  • a control module is used to input the state constraint data, the power load predicted power and the photovoltaic power generation predicted power into a deep reinforcement learning model, obtain a target control scheme output by the deep reinforcement learning model, and control the charging and discharging states of each energy storage component of the energy storage system at each preset time within the target time period according to the target control scheme, as specifically described in Example 1.
  • the present invention also provides a terminal, as shown in Figure 3, the terminal includes a processor 10 and a memory 20.
  • Figure 3 only shows some components of the terminal, but it should be understood that it is not required to implement all the components shown, and more or fewer components can be implemented instead.
  • the memory 20 may be an internal storage unit of the terminal, such as a hard disk or memory of the terminal. In other embodiments, the memory 20 may also be an external storage device of the terminal, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash card (Flash Card), etc. equipped on the terminal. Further, the memory 20 may also include both an internal storage unit of the terminal and an external storage device. The memory 20 is used to store application software and various types of data installed on the terminal. The memory 20 may also be used to temporarily store data that has been output or is to be output.
  • a plug-in hard disk such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash card (Flash Card), etc. equipped on the terminal.
  • the memory 20 may also include both an internal storage unit of the terminal and an external storage device.
  • the memory 20 is used to store
  • the memory 20 stores a real-time optimization control program 30 for the charge and discharge state of a hybrid energy storage system, and the real-time optimization control program 30 for the charge and discharge state of a hybrid energy storage system can be executed by the processor 10, thereby realizing the real-time optimization control method for the charge and discharge state of a hybrid energy storage system in the present application.
  • the processor 10 may be a central processing unit (CPU), a microprocessor or other chip, used to run the program code or process data stored in the memory 20, such as executing the real-time optimization control method for the charging and discharging state of the hybrid energy storage system.
  • CPU central processing unit
  • microprocessor or other chip
  • the processor 10 executes the real-time optimization control program 30 for the charging and discharging state of the hybrid energy storage system in the memory 20, the following steps are implemented:
  • Acquiring state constraint data based on performance data of each energy storage component of the energy storage system of the target power grid, wherein the state constraint data includes constraint conditions of charge and discharge states executable by each energy storage component of the energy storage system;
  • the state constraint data, the power load predicted power and the photovoltaic power generation predicted power are input into a deep reinforcement learning model, a target control scheme output by the deep reinforcement learning model is obtained, and the charging and discharging states of each energy storage component of the energy storage system within the target time period are controlled according to the target control scheme.
  • the present invention also provides a computer-readable storage medium, which stores one or more programs, and the one or more programs can be executed by one or more processors to implement the steps of the real-time optimization control method for the charging and discharging state of the hybrid energy storage system as described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种混合储能系统充放电状态实时优化控制方法，方法包括：获取目标电网在目标时段的用电负荷预测功率以及目标时段的光伏发电预测功率；基于目标电网的储能系统的各个储能件的性能数据获取状态约束数据，状态约束数据包括储能系统的各个储能件可执行的充放电状态的约束条件；将状态约束数据、用电负荷预测功率和光伏发电预测功率输入至深度强化学习模型中，获取深度强化学习模型输出的目标控制方案，根据目标控制方案控制储能系统的各个储能件在目标时段内的充放电状态。本发明利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，可以降低火电的使用率，也可以避免光伏发电的浪费，更加环保。

Description

一种混合储能系统充放电状态实时优化控制方法 技术领域
本发明涉及新能源技术领域，特别涉及一种混合储能系统充放电状态实时优化控制方法。
 背景技术
光伏发电已经有大面积应用，但是光伏发电受日照条件的影响大，在一天的不同时段内光伏发电功率会存在较大的波动，经常会产生光伏发电功率与用电负荷功率不匹配的问题，当光伏发电功率小于用电负荷功率时，需要火电作为补充，当光伏发电功率大于用电负荷功率时，弃电动作显然会造成能源的浪费，不利于环保。
因此，现有技术还有待改进和提高。
 技术问题
针对现有技术的上述缺陷，本发明提供一种混合储能系统充放电状态实时优化控制方法，旨在解决现有技术中光伏发电功率与用电负荷功率不匹配时采用火电补充或者对光伏发电进行弃电不利于环保的问题。
 技术解决方案
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种混合储能系统充放电状态实时优化控制方法，所述方法包括：
获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：
根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；
获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：
将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；
其中，所述神经网络模型为CNN模型。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：
基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；
基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；
其中，所述状态约束数据包括第一约束条件和第二约束条件；
所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；
所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。
所述的混合储能系统充放电状态实时优化控制方法，其中，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同；
所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：
基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；
计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；
计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；
根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；
对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述样本电网中的储能件包括锂电池和储氢设备，所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：
获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；
将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；
对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；
对所述第一分值和所述第二分值求和，得到所述第三奖励值。
本发明的第二方面，提供一种混合储能系统充放电状态实时优化控制装置，包括：
预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
 有益效果
与现有技术相比，本发明提供了一种混合储能系统充放电状态实时优化控制方法，所述的混合储能系统充放电状态实时优化控制方法，首先对下一时段内的光伏发电功率以及用户负荷功率进行预测，再根据预测结果，采用强化学习模型选择储能系统中各个储能件的在下一时段内各个时刻的充放电状态的控制方案，这样利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，可以降低火电的使用率，也可以避免光伏发电的浪费，更加环保。
 附图说明
图1为本发明提供的混合储能系统充放电状态实时优化控制方法的实施例的流程图；
图2为本发明提供的混合储能系统充放电状态实时优化控制装置的实施例的结构原理图；
图3为本发明提供的终端的实施例的原理示意图。
 本发明的实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的混合储能系统充放电状态实时优化控制方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的混合储能系统充放电状态实时优化控制方法对储能系统中的储能件进行控制，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
实施例一
如图1所示，所述混合储能系统充放电状态实时优化控制方法的一个实施例中，包括步骤：
S100、获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率。
在实际应用中，对所述目标电网采用时段控制，即在每个时段结束之前，根据该时段以及之前的时段中的用电数据确定下一时段内的储能系统控制策略。所述目标时段的时长可以根据所述目标电网的用电设备复杂度来确定，可以为1个小时、半个小时或者其他的时长。具体地，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：
根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；
获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
所述目标时段对应的历史时段为所述目标时段前的N天内与所述目标时段在一天内的时段位置相同的时段，例如所述目标时段为7点到8点，那么选取所述目标时段所在日期的前N个日期每天7点到8点的实际用电负荷功率来预测所述目标时段内的用电负荷功率，为了提升准确性，所述历史时段的工作日属性和所述目标时段的工作日属性相同，也就是说，当所述目标时段在工作日时，所述目标时段对应的历史时段也是在工作日内的时段，当所述目标时段在休息日时，所述目标时段对应的历史时段也是在休息日内的时段。
在一种可能的实现方式中，可以通过统计所述目标时段对应的历史时段内的实际用电负荷功率，取均值得到所述目标时段的所述用电负荷预测功率，但是这种方式的准确性不高，在本实施例中，预先训练一神经网络模型用于预测用电负荷。具体地，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：
将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；
其中，所述神经网络模型为CNN模型。
所述神经网络模型采用大量的训练数据训练得到，以学习到所述目标电网中的用户用电的变化规律。
而光伏发电的主要影响因素是日照条件，因此，在本实施例中，根据所述时段时段对应的天气预测数据来获取所述光伏发电预测规律。
请再次参阅图1，本实施例提供的方法，还包括步骤：
S200、基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件。
在得到所述用电负荷预测功率以及所述光伏发电预测功率后，虽然在理论上，可以直接根据储能件的充放电功率来获取到使得电网的供电功率与所述用电负荷预测功率相匹配的储能件充放电状态。然而，不同的储能件，例如电池和储氢设备，充放电动作以及不同的充放电时长带来的代价不同，并且，在实际应用中，并不是需要严格要求用电负荷功率和电网的供电功率完全一致，可以接受二者之间有一定的差异，也就是说，在得到所述用电负荷预测功率以及所述光伏发电预测功率之后，实际上有多种储能件的充放电状态的控制方案都是可行的，本申请中，为了寻找多种储能件的充放电状态的控制方案中较优的控制方案，采用深度强化学习模型来获取目标控制方案作为最终的控制方案。
深度强化学习模型会根据输入数据来输出一个动作（在本实施例中，动作为储能件的充放电状态控制方案），本实施例中，为了保证深度强化学习模型输出的动作的可实现性，首先基于所述目标电网的储能系统的各个储能件的性能数据设置约束条件以使得所述深度强化学习模型输出满足约束条件的动作。具体地，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：
基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；
基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；
其中，所述状态约束数据包括第一约束条件和第二约束条件；
所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；
所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
请再次参阅图1，本实施例提供的方法，还包括步骤：
S300、将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。具体地，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同。
前文已经说明，在实际应用中，并不是需要严格要求用电负荷功率和电网的供电功率完全一致，可以接受二者之间有一定的差异，因此不应当只采用用电负荷功率和电网的供电功率的一致性来判断所述深度强化学习模型输出的方案的优劣性。在本实施例中，融合考虑多方面因素来设计所述深度强化学习模型训练时的奖励值，以使得训练完成的所述深度强化学习模型能够输出更优的控制方案。
具体地，所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：
基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；
计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；
计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；
根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；
对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
首先，虽然储能件，例如电池等有设计的额定充放电功率，而在实际应用中，储能件的充放电过程中并产生变化，实际功率并不一定和理论上的充放电功率相同，会存在一定的波动，而电网的输入功率的波动越小，用户的用电体验会更好，对于用电设备的损耗也会更低，因此，在本实施例中，用于评价所述样本控制方案的奖励值的一部分是采用所述样本控制方案后所述样本电网在样本目标时段内的各个时刻的输入功率之间的方差，所述样本目标时段与所述目标时段的时长相等。方差越大，波动越大，因此，在进行加权求和时，所述第一奖励值的权重为负值。
其次，虽然并不是需要严格要求用电负荷功率和电网的供电功率完全一致，但是二者的一致性越高，显然更有利于用户的用电体验，因此，在本实施例中，用于评价所述样本控制方案的奖励值中还有一部分是基于采用了所述样本控制方案后所述样本电网的输入功率在所述样本目标时段内的平均值与所述样本用电负荷预测功率之间的差值，具体地，是采用该差值的绝对值作为所述第二奖励值。在进行加权求和时，所述第二奖励值的权重也为负值。
而出于环保考虑，在保证用电的前提下，储能件更多地进行充电动作是更优的，因此，在本实施例中，还基于所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到奖励值的一部分。
进一步地，根据储能系统中的储能件的不同，不同的充放电动作会带来不同的经济效益，目前常见的储能件有锂电池和储氢设备，储氢设备储存的氢，除了可以用于燃料电池再发电之外，还可以用于化工等其他产业，也可以进行长途运输，为了更高的经济效益，在本实施例中，优先地对储氢设备进行充电，值得说明的是，储氢设备是将电能转换为氢进行存储，这里为了方便表示，将储氢设备将电能转化为氢的过程也称为充电过程。所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：
获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；
将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；
对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；
对所述第一分值和所述第二分值求和，得到所述第三奖励值。
进一步地，所述深度学习模型中会进行多次的训练，每次所述深度学习模型会输出一个控制方案，根据该控制方案对应的奖励值，可以更新所述深度学习模型的参数，最后所述深度学习模型的参数会趋于收敛，训练完成，这时所述深度学习模型会基于输入的数据输出一个较优的控制方案。为了加快所述深度学习模型的训练进程，缩短训练时间，在本实施例中，在获取到所述奖励值后，在将所述奖励值反馈至所述深度学习模型之前，还根据所述奖励值与上一次训练得到的所述奖励值进行对比来更新所述奖励值。具体地，获取前M次训练中得到的所述奖励值，M为正整数，优选地，M大于等于20，当本次的所述奖励值与前M次训练中得到的所述奖励值的方差大于预设阈值时，说明所述深度学习模型还没有寻找到最优的优化方向，处于随机优化状态，此时可以对本次的所述奖励值进行缩小，以使得所述深度学习模型可以尝试更多的方向，而当本次的所述奖励值与前M次训练中得到的所述奖励值的方差小于预设阈值时，说明所述深度学习模型已经趋向于固定的方向，此时可以保持本次的所述奖励值不变或者进行放大，以提升所述深度学习模型的训练效率。
综上所述，本实施例提供一种混合储能系统充放电状态实时优化控制方法，首先对下一时段内的光伏发电功率以及用户负荷功率进行预测，再根据预测结果，采用强化学习模型选择储能系统中各个储能件的在下一时段内各个时刻的充放电状态的控制方案，这样利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，降低火电的使用率，也可以避免光伏发电的浪费，更加环保。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
实施例二
基于上述实施例，本发明还相应提供了一种混合储能系统充放电状态实时优化控制装置，如图2所示，所述混合储能系统充放电状态实时优化控制装置包括：
预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，具体如实施例一中所述；
约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件，具体如实施例一中所述；
控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有混合储能系统充放电状态实时优化控制程序30，该混合储能系统充放电状态实时优化控制程序30可被处理器10所执行，从而实现本申请中混合储能系统充放电状态实时优化控制方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit, CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述混合储能系统充放电状态实时优化控制方法等。
在一实施例中，当处理器10执行所述存储器20中混合储能系统充放电状态实时优化控制程序30时实现以下步骤：
获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的混合储能系统充放电状态实时优化控制方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

  1. 一种混合储能系统充放电状态实时优化控制方法，其特征在于，所述方法包括：
    获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
    基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
    将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
  2. 根据权利要求1所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：
    根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；
    获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
  3. 根据权利要求2所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：
    将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；
    其中，所述神经网络模型为CNN模型。
  4. 根据权利要求1所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：
    基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；
    基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；
    其中，所述状态约束数据包括第一约束条件和第二约束条件；
    所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；
    所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
  5. 根据权利要求1所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。
  6. 根据权利要求5所述的混合储能系统充放电状态实时优化控制方法，其特征在于，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同；
    所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：
    基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；
    计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；
    计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；
    根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；
    对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
  7. 根据权利要求6所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述样本电网中的储能件包括锂电池和储氢设备，所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：
    获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；
    将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；
    对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；
    对所述第一分值和所述第二分值求和，得到所述第三奖励值。
  8. 一种混合储能系统充放电状态实时优化控制装置，其特征在于，包括：
    预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
    约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
    控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态。
  9. 一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
PCT/CN2022/137722 2022-10-10 2022-12-08 一种混合储能系统充放电状态实时优化控制方法 Ceased WO2024077752A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211231237.1 2022-10-10
CN202211231237.1A CN115313447B (zh) 2022-10-10 2022-10-10 一种混合储能系统充放电状态实时优化控制方法

Publications (1)

Publication Number Publication Date
WO2024077752A1 true WO2024077752A1 (zh) 2024-04-18

Family

ID=83867255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/137722 Ceased WO2024077752A1 (zh) 2022-10-10 2022-12-08 一种混合储能系统充放电状态实时优化控制方法

Country Status (2)

Country Link
CN (1) CN115313447B (zh)
WO (1) WO2024077752A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118316053A (zh) * 2024-05-08 2024-07-09 深圳市中龙电气有限公司 一种用于光伏储能逆变器能量调度优化控制方法
CN118472952A (zh) * 2024-07-15 2024-08-09 西安热工研究院有限公司 一种超容耦合火电机组的智能调控方法及系统
CN118484672A (zh) * 2024-05-07 2024-08-13 金润方舟科技股份有限公司 利用深度学习的bim模型错误自动检测系统
CN118572702A (zh) * 2024-08-02 2024-08-30 湖南西来客储能装置管理系统有限公司 一种多源储能系统的集中控制方法及系统
CN118589501A (zh) * 2024-08-06 2024-09-03 国网吉林省电力有限公司电力科学研究院 基于多智能体深度强化学习的氢储能单元功率分配方法
CN118659423A (zh) * 2024-05-29 2024-09-17 国网青海省电力公司电力科学研究院 一种光伏场储能优化配置方法及系统
CN118677067A (zh) * 2024-07-02 2024-09-20 深圳市卡格尔数码科技有限公司 移动电源的快速充放电控制方法、装置及移动电源
CN118783482A (zh) * 2024-06-12 2024-10-15 南京汇川技术研发中心有限公司 储能设备控制方法、装置、设备、存储介质及程序产品
CN118971096A (zh) * 2024-10-14 2024-11-15 湖南西来客储能科技有限公司 一种基于云计算的储能装置管理系统
CN119010019A (zh) * 2024-10-23 2024-11-22 西安热工研究院有限公司 一种光伏储能汇流分段变压方法及系统
CN119134511A (zh) * 2024-11-13 2024-12-13 广州市哲明惠科技有限责任公司 光伏发电与市电协同供电方法、设备和存储介质
CN119154344A (zh) * 2024-11-15 2024-12-17 深圳市尚科新能源有限公司 一种离并网储能系统的动态负荷调节方法
CN119337727A (zh) * 2024-10-17 2025-01-21 北京理工大学 含多储罐的电-氢系统长短时联合储氢运行优化方法、装置、介质及产品
CN119648315A (zh) * 2024-11-27 2025-03-18 国网江苏综合能源服务有限公司 一种用户储能辅助结算方法及系统
CN119726855A (zh) * 2024-12-11 2025-03-28 上海寰晟电力能源科技有限公司 一种多能耦合互补光储充管理系统
CN119765854A (zh) * 2024-12-10 2025-04-04 青岛亿高信息科技有限公司 一种基于电压的智能电源调整方法、系统及存储介质
CN119864880A (zh) * 2025-03-25 2025-04-22 福建闽高电力能源集团有限公司 一种基于储能系统的光伏功率预测控制方法及系统
CN119944881A (zh) * 2024-12-18 2025-05-06 中船海神医疗科技有限公司 一种基于混合储能的方舱最优放电控制方法及系统
CN120357521A (zh) * 2025-06-20 2025-07-22 北京飔合科技有限公司 一种基于强化学习的电力储能系统优化调度方法及系统
CN120430580A (zh) * 2025-05-09 2025-08-05 京能远景领金智汇(北京)科技有限公司 基于强化学习的光伏储能协同优化调度预测方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115313447B (zh) * 2022-10-10 2022-12-16 深圳先进技术研究院 一种混合储能系统充放电状态实时优化控制方法
CN117239868B (zh) * 2023-09-14 2024-10-01 内蒙古工业大学 光伏储能系统充放电控制方法
CN120150194B (zh) * 2025-02-17 2025-08-15 安徽智储新能源科技发展有限公司 基于ai智能调控的混合储能系统优化调度方法
CN119853130B (zh) * 2025-03-20 2025-06-17 浙江晶科储能有限公司 储能系统的充放电方法及储能系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198042A (zh) * 2019-06-27 2019-09-03 上海极熵数据科技有限公司 一种电网储能的动态优化方法及存储介质
CN111884213A (zh) * 2020-07-27 2020-11-03 国网北京市电力公司 一种基于深度强化学习算法的配电网电压调节方法
WO2021146806A1 (en) * 2020-01-21 2021-07-29 Adaptr, Inc. Delivery of stored electrical energy from generation sources to nano-grid systems
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN115313447A (zh) * 2022-10-10 2022-11-08 深圳先进技术研究院 一种混合储能系统充放电状态实时优化控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113085A (zh) * 2014-08-05 2014-10-22 华东理工大学 一种微电网能量优化管理方法
CN113131584B (zh) * 2021-04-26 2023-08-15 国家电网有限公司信息通信分公司 一种数据中心电池充放电优化控制方法及装置
CN114696351B (zh) * 2022-03-11 2024-10-18 国网安徽省电力有限公司电力科学研究院 一种电池储能系统动态优化方法、装置、电子设备和存储介质
CN114844058A (zh) * 2022-05-30 2022-08-02 深圳市爱识赑科技合伙企业(有限合伙) 一种海上风电储能参与调峰辅助服务的调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198042A (zh) * 2019-06-27 2019-09-03 上海极熵数据科技有限公司 一种电网储能的动态优化方法及存储介质
WO2021146806A1 (en) * 2020-01-21 2021-07-29 Adaptr, Inc. Delivery of stored electrical energy from generation sources to nano-grid systems
CN111884213A (zh) * 2020-07-27 2020-11-03 国网北京市电力公司 一种基于深度强化学习算法的配电网电压调节方法
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN115313447A (zh) * 2022-10-10 2022-11-08 深圳先进技术研究院 一种混合储能系统充放电状态实时优化控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG ZIDONG: "A coordinated control method for hybrid energy storage system in microgrid based on deep reinforcement learning", POWER SYSTEM TECHNOLOGY, vol. 43, no. 6, 5 June 2019 (2019-06-05), pages 1914 - 1921, XP093158068, DOI: 10.13335/j.1000-3673.pst.2018.2369 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118484672A (zh) * 2024-05-07 2024-08-13 金润方舟科技股份有限公司 利用深度学习的bim模型错误自动检测系统
CN118316053A (zh) * 2024-05-08 2024-07-09 深圳市中龙电气有限公司 一种用于光伏储能逆变器能量调度优化控制方法
CN118659423A (zh) * 2024-05-29 2024-09-17 国网青海省电力公司电力科学研究院 一种光伏场储能优化配置方法及系统
CN118783482A (zh) * 2024-06-12 2024-10-15 南京汇川技术研发中心有限公司 储能设备控制方法、装置、设备、存储介质及程序产品
CN118677067A (zh) * 2024-07-02 2024-09-20 深圳市卡格尔数码科技有限公司 移动电源的快速充放电控制方法、装置及移动电源
CN118472952A (zh) * 2024-07-15 2024-08-09 西安热工研究院有限公司 一种超容耦合火电机组的智能调控方法及系统
CN118572702A (zh) * 2024-08-02 2024-08-30 湖南西来客储能装置管理系统有限公司 一种多源储能系统的集中控制方法及系统
CN118589501A (zh) * 2024-08-06 2024-09-03 国网吉林省电力有限公司电力科学研究院 基于多智能体深度强化学习的氢储能单元功率分配方法
CN118971096A (zh) * 2024-10-14 2024-11-15 湖南西来客储能科技有限公司 一种基于云计算的储能装置管理系统
CN119337727A (zh) * 2024-10-17 2025-01-21 北京理工大学 含多储罐的电-氢系统长短时联合储氢运行优化方法、装置、介质及产品
CN119010019A (zh) * 2024-10-23 2024-11-22 西安热工研究院有限公司 一种光伏储能汇流分段变压方法及系统
CN119134511A (zh) * 2024-11-13 2024-12-13 广州市哲明惠科技有限责任公司 光伏发电与市电协同供电方法、设备和存储介质
CN119154344A (zh) * 2024-11-15 2024-12-17 深圳市尚科新能源有限公司 一种离并网储能系统的动态负荷调节方法
CN119648315A (zh) * 2024-11-27 2025-03-18 国网江苏综合能源服务有限公司 一种用户储能辅助结算方法及系统
CN119765854A (zh) * 2024-12-10 2025-04-04 青岛亿高信息科技有限公司 一种基于电压的智能电源调整方法、系统及存储介质
CN119726855A (zh) * 2024-12-11 2025-03-28 上海寰晟电力能源科技有限公司 一种多能耦合互补光储充管理系统
CN119944881A (zh) * 2024-12-18 2025-05-06 中船海神医疗科技有限公司 一种基于混合储能的方舱最优放电控制方法及系统
CN119864880A (zh) * 2025-03-25 2025-04-22 福建闽高电力能源集团有限公司 一种基于储能系统的光伏功率预测控制方法及系统
CN120430580A (zh) * 2025-05-09 2025-08-05 京能远景领金智汇(北京)科技有限公司 基于强化学习的光伏储能协同优化调度预测方法及系统
CN120357521A (zh) * 2025-06-20 2025-07-22 北京飔合科技有限公司 一种基于强化学习的电力储能系统优化调度方法及系统

Also Published As

Publication number Publication date
CN115313447A (zh) 2022-11-08
CN115313447B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN115313447B (zh) 一种混合储能系统充放电状态实时优化控制方法
Shu et al. Optimal operation strategy of energy storage system for grid-connected wind power plants
WO2024022194A1 (zh) 电网实时调度优化方法、系统、计算机设备及存储介质
CN111934360B (zh) 基于模型预测控制的虚拟电厂-储能系统能量协同优化调控方法
CN112491094B (zh) 一种混合驱动的微电网能量管理方法、系统及装置
CN115566741B (zh) 基于lstm预测校正的储能多时间尺度优化控制方法
CN118630837A (zh) 虚拟电厂的调峰调度方法、系统、电子设备及存储介质
CN114362218B (zh) 基于深度q学习的微电网内多类型储能的调度方法及装置
CN118134228B (zh) 含电动汽车负荷的工业园区综合能源系统在线调度方法
Huang et al. Parameter adaptive stochastic model predictive control for wind–solar–hydrogen coupled power system
CN117526276A (zh) 基于随机预测模型控制方法的海上风电制氢能量管理系统
CN115549137A (zh) 分布式电网调控系统及调控方法
CN111210048A (zh) 储能容量配置方法、装置、计算机设备及可读存储介质
CN114844120A (zh) 一种含多类型储能的新能源生产模拟运行优化方法和系统
CN115619147A (zh) 面向新能源消纳的储能系统协同规划方法
CN112134304B (zh) 一种基于深度学习的微电网全自动导航方法、系统与装置
CN120433318A (zh) 一种源网荷储系统运行控制方法、系统、设备及介质
CN117638944B (zh) 基于源荷储互动的电网容量裕度动态配置方法及系统
CN119647824A (zh) 基于主从非合作博弈的虚拟电厂参与联合市场竞价方法
CN119382127A (zh) 源网荷储人工智能调度方法、系统及设备
US20240104264A1 (en) Method for designing energy systems
CN119315540A (zh) 一种光储充能量调度方法、系统、装置及介质
CN118199028A (zh) 电力系统的日前与日内滚动调度方法、系统及存储介质
CN120655114A (zh) 一种多堆电解槽多目标日内滚动优化运行方法及系统
CN118199019A (zh) 一种电力系统备用容量的确定方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22961931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22961931

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 22961931

Country of ref document: EP

Kind code of ref document: A1