TWI687890B - 基於強化學習的能源競價方法及裝置 - Google Patents

基於強化學習的能源競價方法及裝置 Download PDF

Info

Publication number
TWI687890B
TWI687890B TW108116387A TW108116387A TWI687890B TW I687890 B TWI687890 B TW I687890B TW 108116387 A TW108116387 A TW 108116387A TW 108116387 A TW108116387 A TW 108116387A TW I687890 B TWI687890 B TW I687890B
Authority
TW
Taiwan
Prior art keywords
energy
demand
supply
quotation
electricity
Prior art date
Application number
TW108116387A
Other languages
English (en)
Other versions
TW202042166A (zh
Inventor
邱偉育
胡展維
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW108116387A priority Critical patent/TWI687890B/zh
Priority to US16/508,321 priority patent/US11063434B2/en
Application granted granted Critical
Publication of TWI687890B publication Critical patent/TWI687890B/zh
Publication of TW202042166A publication Critical patent/TW202042166A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • H02J3/144—Demand-response operation of the power transmission or distribution network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/008—Circuit arrangements for ac mains or ac distribution networks involving trading of energy or energy transmission rights
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/30—Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
    • Y02B70/3225—Demand response systems, e.g. load shedding, peak shaving
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/56—Power conversion systems, e.g. maximum power point trackers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/76—Power conversion electric or electronic aspects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
    • Y04S20/20—End-user application control systems
    • Y04S20/222—Demand response systems, e.g. load shedding, peak shaving
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S50/00—Market activities related to the operation of systems integrating technologies related to power network operation or related to communication or information technologies
    • Y04S50/10—Energy trading, including energy flowing from end-user application to grid

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種基於強化學習的能源競價方法及裝置，適於由能源聚合端決定多個能源供應端與多個能源需求端之間的供電配置。此方法包括下列步驟：取得各個能源供應端的供應量及各個能源需求端的需求量；計算能源需求端的總需求量以回傳至各能源供應端，以及計算能源供應端的總供應量以回傳至各能源需求端；接收各能源需求端依據自身的需求量及總供應量而決定的購電報價，以及各能源供應端依據自身的供應量及總需求量而決定的售電報價；以及依據各能源供應端提供的供應量及售電報價與各能源需求端提供的需求量及購電報價，利用線性規劃方法決定能源供應端與能源需求端之間的供電配置。

Description

基於強化學習的能源競價方法及裝置
本發明是有關於一種競價方法及裝置，且特別是有關於一種基於強化學習的能源競價方法及裝置。
近年來，再生能源（renewable energy sources，RES）由於具有低空氣污染、低環境影響、高安全性等優點，已逐漸受到重視。再生能源的電力取自風力、潮汐、地熱等自然資源，相較於傳統發電，對環境更為友善。因此，目前在各國能源利用的組成中，再生能源所佔的比例大幅成長。
由於再生能源的發電量會隨著環境變化導致其不穩定性，造成市場售價波動較劇烈，目前存在由能源聚合商在綠能用戶與綠能發電業者之間協調供電配置及價格的自由化電業交易架構，由能源聚合商代表用戶向綠能發電業者議價，以決定該向哪些發電業者購入多少電量。
目前議價多透過疊代計算，並尋找平衡點來求解。然而，此類方法須假設發電端與用電端的利益模型，實作上不易取得，即使用估測方式克服相關困難，也有隱私外洩的問題。另一方面，為確保疊代計算之收斂性，發電端與用電端的利益模型通常得侷限在二次函數的假設下。
本發明提供一種基於強化學習的能源競價方法及裝置，可實現聚合商收益、再生能源發電業者收益，與綠能用戶支出的最佳化。
本發明提供一種基於強化學習的能源競價方法，適於由能源聚合端決定多個能源供應端與多個能源需求端之間的供電配置。此方法包括下列步驟：取得各個能源供應端的供應量及各個能源需求端的需求量；計算能源需求端的總需求量以回傳至各能源供應端，以及計算能源供應端的總供應量以回傳至各能源需求端；接收各能源需求端依據自身的需求量及總供應量而決定的購電報價，以及各能源供應端依據自身的供應量及總需求量而決定的售電報價；以及依據各能源供應端提供的供應量及售電報價與各能源需求端提供的需求量及購電報價，利用線性規劃方法決定能源供應端與能源需求端之間的供電配置。
在本發明的一實施例中，上述依據各能源供應端提供的供應量及售電報價與各能源需求端提供的需求量及購電報價，利用線性規劃方法決定能源供應端與能源需求端之間的供電配置的步驟包括將能源需求端的購電報價的購價向量與分配給能源需求端的購電額度的決定向量的乘積作為收入，並將能源供應端的售電報價的售價向量與分配給能源供應端的售電額度的決定向量的乘積作為支出，利用線性規劃方法求取使收入與支出的差值最大化的解，據以決定供電配置。
在本發明的一實施例中，上述依據各能源供應端提供的供應量及售電報價與各能源需求端提供的需求量及購電報價，利用線性規劃方法決定能源供應端與能源需求端之間的供電配置的步驟包括對能源供應端的售電報價進行上升排序，並由售電報價最低的能源供應端開始，選擇作為供電來源的能源供應端，直到所選擇的能源供應端的總供應量達到總需求量為止。
本發明提供一種基於強化學習的能源競價裝置，此能源競價裝置作為能源聚合端，以決定多個能源供應端與多個能源需求端之間的供電配置。此能源競價裝置包括連接裝置、儲存裝置及處理器。其中，連接裝置用以連接各能源供應端與各能源需求端。儲存裝置用以儲存電腦程式。處理器耦接連接裝置及儲存裝置，經配置以載入並執行電腦程式以取得各能源供應端的供應量及各能源需求端的需求量；計算能源需求端的總需求量以回傳至各能源供應端，以及計算能源供應端的總供應量以回傳至各能源需求端；接收各能源需求端依據自身的需求量及總供應量而決定的購電報價，以及各能源供應端依據自身的供應量及總需求量而決定的售電報價；以及依據各能源供應端提供的供應量及售電報價與各能源需求端提供的需求量及購電報價，利用線性規劃方法決定能源供應端與能源需求端之間的供電配置。
在本發明的一實施例中，上述各能源供應端包括計算自身的供應量與能源需求端的總需求量的差異，查看基於強化學習方法所建構的強化學習表，以找出適於此差異下的建議報價，而作為售電報價提供給能源聚合端。
在本發明的一實施例中，上述各能源供應端更針對供應量與總需求量的差異向能源聚合端提出多個售電報價，並接收能源聚合端針對各售電報價所分配的售電量，以計算提出各售電報價下的售電收益，以及選擇售電收益中最高者所對應的售電報價作為此差異下的建議報價而記錄於強化學習表。
在本發明的一實施例中，上述各能源需求端包括計算自身的需求量與能源供應端的總供應量的差異，查看基於強化學習方法所建構的強化學習表，以找出適於此差異下的建議報價，而作為購電報價提供給能源聚合端。
在本發明的一實施例中，上述各能源需求端更針對需求量與總供應量的差異向能源聚合端提出多個購電報價，並接收能源聚合端針對各購電報價所分配的購電量，以計算提出各購電報價下的購電支出，以及選擇購電支出中最低者所對應的購電報價作為此差異下的建議報價而記錄於強化學習表。
在本發明的一實施例中，上述各能源需求端更針對需求量與總供應量的差異向能源聚合端提出多個購電報價，並接收能源聚合端針對各購電報價所分配的購電量，以計算提出各購電報價下的購電支出，並將需求量與能源聚合端針對各購電報價所分配的購電量帶入滿足函數，以計算滿足函數值，以及計算各購電報價下的購電支出與滿足函數值的總和，而選擇這些總和中最低者所對應的購電報價作為此差異下的建議報價而記錄於強化學習表。
在本發明的一實施例中，上述處理器包括將能源需求端的購電報價的購價向量與分配給能源需求端的購電額度的決定向量的乘積作為收入，並將能源供應端的售電報價的售價向量與分配給能源供應端的售電額度的決定向量的乘積作為支出，利用線性規劃方法求取使收入與支出的差值最大化的解，據以決定供電配置。
在本發明的一實施例中，上述處理器包括對能源供應端的售電報價進行上升排序，並由售電報價最低的能源供應端開始，選擇作為供電來源的能源供應端，直到所選擇的能源供應端的總供應量達到總需求量為止。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明實施例將強化學習（reinforcement learning，RL）演算法運用於綠能用戶及再生能源發電業者，兩方依照自身目前所需用電量/發電量，以及總發電量/總用電量之差異做為依據進行報價，以達到總支出最小化/總收入最大化之目的。其中，聚合商端透過線性規劃方法對綠能用戶及發電業者之間的供電配置進行動態計算，以根據兩方提供的資訊決定該向哪些發電業者購入多少電量以及該向哪些綠能用戶售出多少電量。藉此，可實現聚合商收益、再生能源發電業者收益，與綠能用戶支出的最佳化。
圖1是根據本發明一實施例所繪示的能源市場模型。請參考圖1，本實施例的能源市場模型1是由多個能源供應端1~M、多個能源需求端1~N及能源聚合端10組成。其中，能源供應端1~M例如是綠能發電業者，可將其目前可提供的電力供應量
Figure 02_image001
~
Figure 02_image003
傳送給能源聚合端10。能源需求端1~N例如是綠能用戶，可向能源聚合端10提出所需的電力需求量
Figure 02_image005
~
Figure 02_image007
。基於上述能源市場模型1，本發明實施例的能源聚合端10可根據能源需求端1~N所提出的電力需求量
Figure 02_image005
~
Figure 02_image007
，以及能源供應端1~M所能提供的電力供應量
Figure 02_image001
~
Figure 02_image003
，評估該向能源供應端1~M購買的電力量
Figure 02_image009
~
Figure 02_image011
，以及可向能源需求端1~N販售的電力量
Figure 02_image013
~
Figure 02_image015
，以使雙方及自身的利益達到最佳化。
詳細而言，圖2是根據本發明一實施例所繪示的能源競價裝置的方塊圖。請同時參考圖1及圖2，本發明實施例的能源競價裝置20例如是作為圖1中的能源聚合端10，而可決定多個能源供應端1~M與多個能源需求端1~N之間的供電配置。其中，能源競價裝置20例如是電腦、工作站、伺服器等計算機裝置，其中包括連接裝置22、儲存裝置24及處理器26等元件，這些元件的功能分述如下：
連接裝置22例如是可與能源供應端1~M及能源需求端1~N連接的任意的有線或無線的介面裝置。對於有線方式而言，連接裝置可以是通用序列匯流排（universal serial bus，USB）、RS232、通用非同步接收器/傳送器（universal asynchronous receiver/transmitter，UART）、內部整合電路（I2C）、序列周邊介面（serial peripheral interface，SPI）、顯示埠（display port）、雷電埠（thunderbolt）或區域網路（local area network，LAN）介面，但不限於此。對於無線方式而言，連接裝置可以是支援無線保真（wireless fidelity，Wi-Fi）、RFID、藍芽、紅外線、近場通訊（near-field communication，NFC）或裝置對裝置（device-to-device，D2D）等通訊協定的裝置，亦不限於此。
儲存裝置24例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器26執行的電腦程式。
處理器26例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、微控制器（Microcontroller）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，本發明不在此限制。在本實施例中，處理器26可從儲存裝置24載入電腦程式，以執行本發明實施例的基於強化學習的能源競價方法。
圖3是依照本發明一實施例所繪示的基於強化學習的能源競價方法的流程圖。請同時參照圖2及圖3，本實施例的方法適用於上述的能源競價裝置20，以下即搭配能源競價裝置20的各項元件說明本實施例的能源競價方法的詳細步驟。
在步驟S202中，處理器16利用連接裝置12取得各能源供應端的供應量及各能源需求端的需求量。在一實施例中，處理器16例如是利用連接裝置12接收各能源供應端主動上傳的供應量及各能源需求端主動上傳的需求量。在其他實施例中，處理器16亦可在接收到能源需求端提出的能源需求量後，利用連接裝置12向各能源供應端發出詢問請求，以請求各能源供應端回報其目前可提供的電源供應量，以便進行供電分配。本實施例並不限於上述實施方式。
在步驟S204中，處理器16計算能源需求端的總需求量，並利用連接裝置12將所計算的總需求量回傳至各能源供應端，此外還計算能源供應端的總供應量，並利用連接裝置12將所計算的總供應量回傳至各能源需求端。其中，由於處理器16回傳至各能源供應端的資訊僅是目前所有能源需求端的總需求量，並未揭露出能源需求端的身份，因此可確保能源需求端的隱私。類似地，由於處理器16回傳至各能源需求端的資訊僅是目前所有能源供應端所能提供的總供應量，並未揭露出能源供應端的身份，因此可確保能源供應端的隱私。
在步驟S206中，處理器16利用連接裝置12接收各能源需求端依據自身的需求量及總供應量而決定的購電報價，以及各能源供應端依據自身的供應量及總需求量而決定的售電報價。其中，各能源供應端及各能源需求端可依據目前所得資訊，分別利用強化學習（Q-learning）方法來學習並決定適於當前狀態的報價，以達到自身利益的最大化。所述的強化學習方法可分為學習階段及執行階段，以下將舉實施例詳細說明。
對於能源供應端而言，在學習階段中，各能源供應端會計算自身的供應量與能源需求端的總需求量的差異，以針對此差異向能源聚合端提出多個售電報價，並接收能源聚合端針對各售電報價所分配的售電量，以計算提出各售電報價下的售電收益，從而在這些售電收益中選擇收益最高者，而將其所對應的售電報價作為此差異下的建議報價而記錄於強化學習表。
詳細而言，能源供應端收益的最大化可以下列數學式表示：
Figure 02_image017
其中，
Figure 02_image019
Figure 02_image021
代表預期每單位能源的售價；
Figure 02_image023
代表售電量；
Figure 02_image025
代表電源供應端的成本函數；
Figure 02_image027
代表售電量的最大值；
Figure 02_image029
和
Figure 02_image031
分別代表售價的上下限； T代表學習時間長度。
在時間T內能源供應端可向能源聚合端提出多個售電報價，並檢視能源聚合端針對各售電報價所分配的售電量，而將售電報價與被分配的售電量兩者相乘並扣除成本後，即可得知提出各售電報價後所能獲得的售電收益。藉此，能源供應端即可找出在此狀態下可讓自身售電收益最大化的售電報價，而記錄在強化學習表中。
在執行階段中，各能源供應端在獲得由能源聚合端回傳的能源需求端的總需求量後，則可計算自身的供應量與此總需求量的差異，並查看先前基於強化學習方法所建構的強化學習表，以找出適於當前差異下的建議報價，而作為售電報價提供給能源聚合端。由於此報價是經過強化學習後所得到的適於當前狀態（差異）下的最佳報價，因此採用此報價可使能源供應端獲得最大收益。
另一方面，對於能源需求端而言，在學習階段中，各能源需求端會計算自身的需求量與能源供應端的總供應量的差異，以針對此差異向能源聚合端提出多個購電報價，並接收能源聚合端針對各購電報價所分配的購電量，以計算提出各購電報價下的購電支出，從而在這些購電支出中選擇花費最低者，將其所對應的購電報價作為此差異下的建議報價而記錄於強化學習表。
在一些實施例中，電源需求端更包括可用以儲存電量的儲能裝置。電源需求端之儲能裝置可以下列數學式建模:
Figure 02_image033
其中，
Figure 02_image035
為下個時刻之儲能裝置電量，
Figure 02_image037
為當下時刻之儲能裝置電量，
Figure 02_image039
為儲能裝置電量變化量。儲能裝置需符合以下限制:
Figure 02_image041
其中，
Figure 02_image043
代表儲能裝置下限保護電量；
Figure 02_image045
代表儲能裝置容量。據此，能源需求端花費的最小化可以下列數學式表示：
Figure 02_image047
其中，
Figure 02_image049
Figure 02_image051
代表能源需求端所提出的購電報價；
Figure 02_image053
代表能源聚合端分配給能源需求端購買的購電量；
Figure 02_image055
代表電源需求端的滿足函數；
Figure 02_image057
代表基本需求量；
Figure 02_image059
代表能源需求端所提出的能源需求量；
Figure 02_image061
和
Figure 02_image063
分別代表購價的上下限；
Figure 02_image065
代表電源需求端之儲能裝置容量； T代表學習時間長度。
Figure 02_image067
代表電源需求端在提出能源需求量
Figure 02_image059
後，對於能源聚合端所分配的購電量
Figure 02_image053
的滿足函數，其定義如下：
Figure 02_image069
其中，調整參數
Figure 02_image071
的數值例如為
Figure 02_image073
，以允許不同的個人喜好。例如，較大
Figure 02_image071
的代表上述的差異造成較多的不滿。反之，較大
Figure 02_image071
的代表上述的差異造成較少的不滿。
在時間T內能源需求端可向能源聚合端提出多個購電報價，並檢視能源聚合端針對各購電報價所分配的購電量，將購電報價與被分配的購電量兩者相乘並加上滿足函數的函數值後，所得的計算結果可作為各購電報價下的購電支出。藉此，能源需求端即可找出在此狀態下可使自身購電支出最小化的購電報價，而記錄在強化學習表中。
在執行階段中，各能源需求端在獲得由能源聚合端回傳的能源供應端的總供應量後，則可計算自身的需求量與此總供應量的差異，並查看先前基於強化學習方法所建構的強化學習表，以找出適於當前差異下的建議報價，而作為購電報價提供給能源聚合端。由於此報價是經過強化學習後所得到的適於當前狀態（差異）下的最佳報價，因此採用此報價可使能源供應端的支出最小化。
需說明的是，在其他實施例中，各能源需求端也可在不考慮滿足函數的情況下，僅依據由各購電報價乘上被分配的購電量所得的計算結果作為購電支出，來評估可讓自身購電支出最小化的購電報價，而記錄在強化學習表中。或者，各能源需求端也可考慮加入其他函數，本實施例不以此為限。
回到圖3的流程，在步驟S308中，處理器26在接收到各能源需求端提出的購電報價及各能源供應端提出的售電報價後，即可依據各能源供應端提供的供應量及售電報價與各能源需求端提供的需求量及購電報價，利用線性規劃方法決定能源供應端與能源需求端之間的供電配置。
詳細而言，圖4是依照本發明一實施例所繪示的基於強化學習的能源競價方法的範例。請參照圖4，本實施例繪示在時間t時能源市場的資訊交換機制。
在步驟①中，能源聚合端46會接收由各能源供應端42所提出的供應量所形成的能源供應向量
Figure 02_image075
，以及由各能源需求端42所提出的需求量所形成的能源需求向量
Figure 02_image077
。
在步驟②中，能源聚合端46會將能源需求向量中的需求量加總以獲得總需求量
Figure 02_image079
，而回傳給各能源供應端42，且將能源供應向量中的供應量加總以獲得總供應量
Figure 02_image081
，而回傳給各能源需求端46。在步驟③中，各能源供應端42即依據自身的供應量及總需求量決定售電報價並傳送給能源聚合端46，其中能源聚合端46會接收由各能源供應端42所決定的售電報價形成的售價向量
Figure 02_image083
。
在步驟③中，各能源需求端46亦依據自身的需求量及總供應量決定購電報價並傳送給能源聚合端46，其中能源聚合端46會接收由各能源需求端46所決定的購電報價形成的購價向量
Figure 02_image085
。
在步驟④中，能源聚合端46即依據來自能源供應端42的能源供應向量與售價向量，以及來自能源需求端46的能源需求向量及購價向量，利用線性規劃方法決定各能源供應端42可販售的售電量（形成售電量向量
Figure 02_image087
）以及各能源需求端46可購賣的購電量（形成購電量向量
Figure 02_image089
），而分別提供給對應的能源供應端42及能源需求端46。
基於上述與能源供應端及能源需求端交換的資訊，本發明實施例的處理器26會將能源需求端的購電報價的購價向量與分配給能源需求端的購電額度的購電量向量的乘積作為收入，並將能源供應端的售電報價的售價向量與分配給能源供應端的售電額度的售電量向量的乘積作為支出，利用線性規劃方法求取使收入與支出的差值最大化的解，據以決定供電配置。
詳細而言，能源聚合端收益的最大化可以下列數學式表示：
Figure 02_image091
其中，
Figure 02_image093
Figure 02_image051
代表能源需求端所提出的購電報價；
Figure 02_image053
代表能源聚合端分配給能源需求端購買的購電量；
Figure 02_image021
代表預期每單位能源的售價；
Figure 02_image023
代表售電量；
Figure 02_image027
代表售電量的最大值；
Figure 02_image029
和
Figure 02_image031
分別代表售價的上下限；
Figure 02_image057
代表基本需求量；
Figure 02_image059
代表能源需求端所提出的能源需求量；
Figure 02_image061
和
Figure 02_image063
分別代表購價的上下限。
在上述實施例中，公式(8)的最佳化可簡化為找出能源供應端與能源需求端的最佳定價策略。其中，能源聚合端扮演環境的角色，而在能源供應端與能源需求端之間作為中間人進行溝通及互動。在一些實施例中，能源聚合端係考慮如何以最低價格從能源供應端購得所需電量。
舉例來說，圖5是依照本發明一實施例所繪示的能源聚合端向能源供應端的購電行為的示意圖。請參考圖5，假設能源聚合端從能源供應端獲得的售電報價為
Figure 02_image095
，此時能源聚合端可對這些售電報價進行上升排序，而得到由低至高的售電報價
Figure 02_image097
、
Figure 02_image099
、
Figure 02_image001
、
Figure 02_image101
、
Figure 02_image103
，依序繪示在圖5的供應量與價格的關係圖中。其中，能源聚合端可由售電報價最低的能源供應端（即，報價為
Figure 02_image097
的能源供應端）開始，依序選擇報價為
Figure 02_image097
、
Figure 02_image099
、
Figure 02_image001
、
Figure 02_image101
的能源供應端作為供電來源的能源供應端，直到所選擇的能源供應端的總供應量
Figure 02_image105
達到所述總需求量
Figure 02_image079
為止。
需說明的是，在上述能源競價裝置20的處理器26決定能源供應端與能源需求端之間的供電配置（即步驟S308）之後，各能源需求端及各能源供應端仍可在特定事件（例如供應量或需求量改變）發生時或是定期地更新自身的強化學習表，以使強化學習表中的學習值能貼近目前狀態或條件。
舉例來說，在時間t時，能源聚合端在目前狀態 s t 下選擇最佳動作 a t （即，最佳報價）後，可從環境接收到報償（reward） r t +1（即，利益。對能源供應端而言，例如是售電量乘上售電報價），並轉換到下一個狀態 s t+1 。而在時間t+1時，能源聚合端可以下列公式來更新條件( s t , a t )的學習值（即，Q值）：
Figure 02_image107
Figure 02_image109
其中，
Figure 02_image111
為學習率，
Figure 02_image113
代表RL演算法中的折扣因子。
綜上所述，在本發明實施例的基於強化學習的能源競價方法及裝置中，藉由對能源供應端與能源需求端兩者提出一種可更新聚合（renewable aggregation）架構下的基於強化學習的報價競標機制，使得能源需求端可提出適於目前狀態的理想報價。此外，藉由將滿意度納入學習模型，可進一步促使能源需求端主動參與。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
1:電子裝置 10:處理器 20:能源竸價裝置 22:連接裝置 24:儲存裝置 26:處理器 42:能源供應端 44:能源需求端 46:能源聚合端
Figure 02_image013
~
Figure 02_image015
:販售電力量
Figure 02_image009
~
Figure 02_image011
:購買電力量
Figure 02_image115
~
Figure 02_image117
:電力需求量
Figure 02_image001
~
Figure 02_image003
:電力供應量 S302~S308:步驟
圖1是根據本發明一實施例所繪示的能源市場模型。 圖2是根據本發明一實施例所繪示的能源競價裝置的方塊圖。 圖3是依照本發明一實施例所繪示的基於強化學習的能源競價方法的流程圖。 圖4是依照本發明一實施例所繪示的基於強化學習的能源競價方法的範例。 圖5是依照本發明一實施例所繪示的能源聚合端向能源供應端的購電行為的示意圖。
S302~S308:步驟

Claims (14)

  1. 一種基於強化學習的能源競價方法，適於由能源聚合端決定多個能源供應端與多個能源需求端之間的供電配置，所述方法包括下列步驟：取得各所述能源供應端的供應量及各所述能源需求端的需求量；計算所述能源需求端的總需求量以回傳至各所述能源供應端，以及計算所述能源供應端的總供應量以回傳至各所述能源需求端；接收各所述能源需求端依據自身的所述需求量及所述總供應量而決定的購電報價，以及各所述能源供應端依據自身的所述供應量及所述總需求量而決定的售電報價；以及依據各所述能源供應端提供的所述供應量及所述售電報價與各所述能源需求端提供的所述需求量及所述購電報價，利用線性規劃方法決定所述能源供應端與所述能源需求端之間的供電配置，包括：將所述能源需求端的所述購電報價的購價向量與分配給所述能源需求端的購電額度的購電量向量的乘積作為收入，並將所述能源供應端的所述售電報價的售價向量與分配給所述能源供應端的售電額度的售電量向量的乘積作為支出，利用線性規劃方法求取使所述收入與所述支出的差值最大化的解，據以決定所述供電配置。
  2. 如申請專利範圍第1項所述的方法，其中各所述能源供應端依據自身的所述供應量及所述總需求量而決定所述售電報價的步驟包括：各能源供應端計算自身的所述供應量與所述能源需求端的所述總需求量的差異，查看基於強化學習方法所建構的強化學習表，以找出適於所述差異下的建議報價，而作為所述售電報價提供給所述能源聚合端。
  3. 如申請專利範圍第2項所述的方法，其中各能源供應端在查看基於所述強化學習方法所建構的所述強化學習表，以找出適於所述差異下的所述建議報價的步驟之前，更包括：針對所述供應量與所述總需求量的所述差異向所述能源聚合端提出多個售電報價，並接收所述能源聚合端針對各所述售電報價所分配的售電量，以計算提出各所述售電報價下的售電收益；以及選擇所述售電收益中最高者所對應的所述售電報價作為所述差異下的建議報價而記錄於所述強化學習表。
  4. 如申請專利範圍第1項所述的方法，其中各所述能源需求端依據自身的所述需求量及所述總供應量而決定所述購電報價的步驟包括：各能源需求端計算自身的所述需求量與所述能源供應端的所述總供應量的差異，查看基於強化學習方法所建構的強化學習表， 以找出適於所述差異下的建議報價，而作為所述購電報價提供給所述能源聚合端。
  5. 如申請專利範圍第4項所述的方法，其中各能源需求端在查看基於所述強化學習方法所建構的所述強化學習表，以找出適於所述差異下的所述建議報價的步驟之前，更包括：針對所述需求量與所述總供應量的所述差異向所述能源聚合端提出多個購電報價，並接收所述能源聚合端針對各所述購電報價所分配的購電量，以計算提出各所述購電報價下的購電支出；以及選擇所述購電支出中最低者所對應的所述購電報價作為所述差異下的建議報價而記錄於所述強化學習表。
  6. 如申請專利範圍第4項所述的方法，其中各能源需求端在查看基於所述強化學習方法所建構的所述強化學習表，以找出適於所述差異下的所述建議報價的步驟之前，更包括：針對所述需求量與所述總供應量的所述差異向所述能源聚合端提出多個購電報價，並接收所述能源聚合端針對各所述購電報價所分配的購電量，以計算提出各所述購電報價下的購電支出；將所述需求量與所述能源聚合端針對各所述購電報價所分配的所述購電量帶入滿足函數，以計算滿足函數值；以及計算各所述購電報價下的所述購電支出與所述滿足函數值的總和，而選擇所述總和中最低者所對應的所述購電報價作為所述差異下的建議報價而記錄於所述強化學習表。
  7. 如申請專利範圍第1項所述的方法，其中依據各所述能源供應端提供的所述供應量及所述售電報價與各所述能源需求端提供的所述需求量及所述購電報價，利用線性規劃方法決定所述能源供應端與所述能源需求端之間的供電配置的步驟包括：上升排序所述能源供應端的所述售電報價，並由所述售電報價最低的所述能源供應端開始，選擇作為供電來源的所述能源供應端，直到所選擇的所述能源供應端的總供應量達到所述總需求量為止。
  8. 一種基於強化學習的能源競價裝置，所述能源競價裝置作為能源聚合端，以決定多個能源供應端與多個能源需求端之間的供電配置，包括：連接裝置，連接各所述能源供應端與各所述能源需求端；儲存裝置，儲存電腦程式；以及處理器，耦接所述連接裝置及所述儲存裝置，經配置以載入並執行所述電腦程式以：取得各所述能源供應端的供應量及各所述能源需求端的需求量；計算所述能源需求端的總需求量以回傳至各所述能源供應端，以及計算所述能源供應端的總供應量以回傳至各所述能源需求端； 接收各所述能源需求端依據自身的所述需求量及所述總供應量而決定的購電報價，以及各所述能源供應端依據自身的所述供應量及所述總需求量而決定的售電報價；以及依據各所述能源供應端提供的所述供應量及所述售電報價與各所述能源需求端提供的所述需求量及所述購電報價，利用線性規劃方法決定所述能源供應端與所述能源需求端之間的供電配置，其中所述處理器包括將所述能源需求端的所述購電報價的購價向量與分配給所述能源需求端的購電額度的購電量向量的乘積作為收入，並將所述能源供應端的所述售電報價的售價向量與分配給所述能源供應端的售電額度的售電量向量的乘積作為支出，利用線性規劃方法求取使所述收入與所述支出的差值最大化的解，據以決定所述供電配置。
  9. 如申請專利範圍第8項所述的基於強化學習的能源競價裝置，其中各能源供應端計算自身的所述供應量與所述能源需求端的所述總需求量的差異，查看基於強化學習方法所建構的強化學習表，以找出適於所述差異下的建議報價，而作為所述售電報價提供給所述能源聚合端。
  10. 如申請專利範圍第9項所述的基於強化學習的能源競價裝置，其中各能源供應端更針對所述供應量與所述總需求量的所述差異向所述能源聚合端提出多個售電報價，並接收所述能源聚合端針對各所述售電報價所分配的售電量，以計算提出各所述 售電報價下的售電收益，以及選擇所述售電收益中最高者所對應的所述售電報價作為所述差異下的建議報價而記錄於所述強化學習表。
  11. 如申請專利範圍第8項所述的基於強化學習的能源競價裝置，其中各能源需求端計算自身的所述需求量與所述能源供應端的所述總供應量的差異，查看基於強化學習方法所建構的強化學習表，以找出適於所述差異下的建議報價，而作為所述購電報價提供給所述能源聚合端。
  12. 如申請專利範圍第11項所述的基於強化學習的能源競價裝置，其中各能源需求端更針對所述需求量與所述總供應量的所述差異向所述能源聚合端提出多個購電報價，並接收所述能源聚合端針對各所述購電報價所分配的購電量，以計算提出各所述購電報價下的購電支出以及選擇所述購電支出中最低者所對應的所述購電報價作為所述差異下的建議報價而記錄於所述強化學習表。
  13. 如申請專利範圍第11項所述的基於強化學習的能源競價裝置，其中各能源需求端更針對所述需求量與所述總供應量的所述差異向所述能源聚合端提出多個購電報價，並接收所述能源聚合端針對各所述購電報價所分配的購電量，以計算提出各所述購電報價下的購電支出，將所述需求量與所述能源聚合端針對各所述購電報價所分配的所述購電量帶入滿足函數，以計算滿足函數值，以及計算各所述購電報價下的所述購電支出與所述滿足函 數值的總和，而選擇所述總和中最低者所對應的所述購電報價作為所述差異下的建議報價而記錄於所述強化學習表。
  14. 如申請專利範圍第8項所述的基於強化學習的能源競價裝置，其中所述處理器包括上升排序所述能源供應端的所述售電報價，並由所述售電報價最低的所述能源供應端開始，選擇作為供電來源的所述能源供應端，直到所選擇的所述能源供應端的總供應量達到所述總需求量為止。
TW108116387A 2019-05-13 2019-05-13 基於強化學習的能源競價方法及裝置 TWI687890B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108116387A TWI687890B (zh) 2019-05-13 2019-05-13 基於強化學習的能源競價方法及裝置
US16/508,321 US11063434B2 (en) 2019-05-13 2019-07-11 Method and apparatus for reinforcement learning based energy bidding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108116387A TWI687890B (zh) 2019-05-13 2019-05-13 基於強化學習的能源競價方法及裝置

Publications (2)

Publication Number Publication Date
TWI687890B true TWI687890B (zh) 2020-03-11
TW202042166A TW202042166A (zh) 2020-11-16

Family

ID=70766917

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108116387A TWI687890B (zh) 2019-05-13 2019-05-13 基於強化學習的能源競價方法及裝置

Country Status (2)

Country Link
US (1) US11063434B2 (zh)
TW (1) TWI687890B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767525B (zh) * 2021-01-20 2022-06-11 國立清華大學 基於強化學習的再生能源配置方法及裝置
TWI779732B (zh) * 2021-07-21 2022-10-01 國立清華大學 使用多智能體遷移式強化學習的再生能源競價方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627728B (zh) * 2021-07-09 2024-03-15 国网冀北电力有限公司物资分公司 计算产品数量的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903073A (zh) * 2014-04-23 2014-07-02 河海大学 一种含分布式电源及储能的微电网优化规划方法及系统
CN104376378A (zh) * 2014-11-14 2015-02-25 浙江工商大学 基于混合整数锥优化的含分布式电源配电网无功优化方法
CN104484757A (zh) * 2014-12-15 2015-04-01 中山大学 一种应用于智能微电网的异质载荷调度和能量管理方法
CN104809519A (zh) * 2015-04-29 2015-07-29 国家电网公司 一种计及电网拓扑优化的电力系统经济调度方法
CN104978608A (zh) * 2015-06-24 2015-10-14 云南电网有限责任公司电力科学研究院 一种风电功率预测装置及预测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020107773A1 (en) * 2000-03-24 2002-08-08 Abdou Hamed M Method and apparatus for providing an electronic commerce environment for leveraging orders from a plurality of customers
US7778940B2 (en) * 2001-07-11 2010-08-17 Mazzarella Joseph R System and method for creating and operating an enhanced distributed energy network or virtual power plant
US20110238583A1 (en) 2010-03-26 2011-09-29 Palo Alto Research Center Incorporated Technique for aggregating reactive power loads
US20150379542A1 (en) * 2014-06-30 2015-12-31 Battelle Memorial Institute Transactive control framework for heterogeneous devices
TWI650728B (zh) 2016-10-26 2019-02-11 行政院原子能委員會核能硏究所 微電網多代理日前市場排程方法
US11210749B2 (en) * 2016-12-05 2021-12-28 Nec Corporation Power management apparatus, power management system, power management method, and non-transitory storage medium
CN107644370A (zh) 2017-09-29 2018-01-30 中国电力科学研究院 一种自增强学习的撮合竞价方法及系统
US20200160411A1 (en) * 2018-11-16 2020-05-21 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for Optimal Joint Bidding and Pricing of Load Serving Entity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903073A (zh) * 2014-04-23 2014-07-02 河海大学 一种含分布式电源及储能的微电网优化规划方法及系统
CN104376378A (zh) * 2014-11-14 2015-02-25 浙江工商大学 基于混合整数锥优化的含分布式电源配电网无功优化方法
CN104484757A (zh) * 2014-12-15 2015-04-01 中山大学 一种应用于智能微电网的异质载荷调度和能量管理方法
CN104809519A (zh) * 2015-04-29 2015-07-29 国家电网公司 一种计及电网拓扑优化的电力系统经济调度方法
CN104978608A (zh) * 2015-06-24 2015-10-14 云南电网有限责任公司电力科学研究院 一种风电功率预测装置及预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767525B (zh) * 2021-01-20 2022-06-11 國立清華大學 基於強化學習的再生能源配置方法及裝置
TWI779732B (zh) * 2021-07-21 2022-10-01 國立清華大學 使用多智能體遷移式強化學習的再生能源競價方法

Also Published As

Publication number Publication date
US20200366094A1 (en) 2020-11-19
TW202042166A (zh) 2020-11-16
US11063434B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
TWI687890B (zh) 基於強化學習的能源競價方法及裝置
Zeng et al. An incentivized auction-based group-selling approach for demand response management in V2G systems
Zhang et al. Incentive mechanism for proximity-based mobile crowd service systems
Luo et al. Distributed peer-to-peer energy trading based on game theory in a community microgrid considering ownership complexity of distributed energy resources
CN103886499A (zh) 基于组合拍卖的移动云资源在线电子拍卖方法及系统
Zheng et al. Secondary markets for mobile data: Feasibility and benefits of traded data plans
CN104219647B (zh) 无线信道控制方法、流量包交易、推荐方法及相关设备
TWI767525B (zh) 基於強化學習的再生能源配置方法及裝置
KR20160115071A (ko) 전력 거래 방법 및 장치
Wang et al. Resource allocation in cloud environment: a model based on double multi-attribute auction mechanism
Xu et al. DATA: A double auction based task assignment mechanism in crowdsourcing systems
CN111754308A (zh) 一种能源交易市场下的多指标多对多双边匹配方法
CN107146117A (zh) 云计算服务市场提供商和用户双边市场博弈的定价方法
Zhang et al. Online auction-based incentive mechanism design for horizontal federated learning with budget constraint
CN111343595B (zh) 一种d2d任务卸载系统及其多类型资源交易方法
Mak et al. Two-stage auction mechanism for long-term participation in crowdsourcing
CN116542490A (zh) 虚拟电厂日前调度封装模型以及调度出清模型构建方法
CN115660351A (zh) 一种基于shapley值的收益分配方法和装置
CN108429260A (zh) 售电公司多时间尺度交易电量决策方法和系统
CN110163585B (zh) 一种电子红包的发放方法及装置
Wang et al. Distributed Reputation-Distance iterative auction system for Peer-To-Peer power trading
CN112954628B (zh) 一种p2p任务卸载系统及其组合资源交易方法
TWI779732B (zh) 使用多智能體遷移式強化學習的再生能源競價方法
CN111859246A (zh) 一种基于可再生能源电力消纳的能源出清参数优化方法及系统
CN111210161A (zh) 一种基于现货市场波动性的电力套餐设计方法