KR20220026110A - 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템 - Google Patents
자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템 Download PDFInfo
- Publication number
- KR20220026110A KR20220026110A KR1020200106769A KR20200106769A KR20220026110A KR 20220026110 A KR20220026110 A KR 20220026110A KR 1020200106769 A KR1020200106769 A KR 1020200106769A KR 20200106769 A KR20200106769 A KR 20200106769A KR 20220026110 A KR20220026110 A KR 20220026110A
- Authority
- KR
- South Korea
- Prior art keywords
- energy
- energy management
- data
- unit
- base station
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 53
- 238000007726 management method Methods 0.000 claims description 208
- 238000012545 processing Methods 0.000 claims description 112
- 230000006870 function Effects 0.000 claims description 67
- 238000004891 communication Methods 0.000 claims description 55
- 238000004422 calculation algorithm Methods 0.000 claims description 38
- 230000009471 action Effects 0.000 claims description 28
- 238000004519 manufacturing process Methods 0.000 claims description 20
- 238000013480 data collection Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 description 20
- 238000004146 energy storage Methods 0.000 description 19
- 238000005265 energy consumption Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000002787 reinforcement Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007787 long-term memory Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000002803 fossil fuel Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/266—Arrangements to supply power to external peripherals either directly from the computer or under computer control, e.g. supply of power through the communication port, computer controlled power-strips
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/10—Current supply arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0894—Policy-based network configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/02—Power saving arrangements
- H04W52/0203—Power saving arrangements in the radio access network or backbone network of wireless communication networks
- H04W52/0206—Power saving arrangements in the radio access network or backbone network of wireless communication networks in access points, e.g. base stations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 에너지 관리 장치 및 에너지 관리 시스템에 관한 것으로, 에너지 관리 시스템은 제1 에너지 관리부 및 상기 제1 에너지 관리부와 통신 가능한 적어도 하나의 제2 에너지 관리부를 포함하되, 상기 적어도 하나의 제2 에너지 관리부는 수집한 데이터를 이용하여 관찰 데이터를 획득하고 획득한 관찰 데이터를 상기 제1 에너지 관리부로 전송하고, 상기 제1 에너지 관리부는 상기 관찰 데이터를 기반으로 학습을 수행하여 전역적 신경망 매개 변수를 획득하고, 상기 신경망 매개 변수를 상기 제2 에너지 관리부로 전달하고, 상기 적어도 하나의 제2 에너지 관리부는 상기 신경망 매개 변수 및 상기 수집한 데이터를 이용하여 학습을 수행하여 에너지 디스패치를 결할 수 있다.
Description
자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템에 관한 것이다.
모바일 에지 컴퓨팅(MEC: Mobile Edge Computing)은 기기(단말기나 센서 등)가 수집한 데이터를 기기 자체 또는 기기 주변의 다른 장치를 이용해서 바로 처리하고 이에 대응하는 결과를 획득하여 기기 등을 제어할 수 있는 컴퓨팅 기술로, 종래의 중앙 집중형 처리보다 상대적으로 신속하면서도 적절하게 데이터를 처리할 수 있고 또한 중앙의 컴퓨터 장치의 과부화를 방지할 수도 있다. 이런 장점 때문에 근자에 모바일 에지 컴퓨팅에 대한 관심이 증가하고 있으며, 무선 네트워크와 같은 다양한 분야에 적용될 것으로 예상되고 있다. 모바일 에지 컴퓨팅 기술이 네트워크 등에 적절하게 적용되기 위해서는 네트워크에는 에너지(전력)가 충분하게 안정적으로 공급될 필요가 있다. 또한, 네트워크에 충분한 에너지가 안정적으로 제공된다고 하더라도 이를 위한 비용이 상당히 크다면, 효율적으로 에너지가 관리되고 있다고 할 수 없다. 특히 대량의 화석 연료의 사용은 네트워크 운영 비용 증가에 지대한 영향을 끼치고 있다. 따라서, 안정적인 에너지 공급 및 비용 절감을 위해 무선 네트워크에는 재생 가능 에너지와 같은 대체 에너지를 공급하기 위한 대체 에너지 발전 원(예를 들어, 솔라 셀이나 풍력 발전기 등)이 더 추가될 수 있다. 이와 같은 자가 발전원에 의해 무선 네트워크는 내부적으로 에너지가 자체 생산할 수 있게 된다. 그러나, 자가 발전원의 사용은 네트워크 내에서의 에너지 수요 및 에너지 생산 양자 모두에 불확실성을 야기한다. 이는 서비스 제공 등에 필요한 리소스(통신 또는 연산 등)의 요구량이나 자가 발전원의 에너지 생성 패턴이나 생산량은 가변적이며 예측하기 어려운 부분이 많기 때문이다. 이러한 에너지 수요 및 생성 패턴의 불확실성은 최적의 에너지 관리를 어렵게 한다. 특히 종래의 에너지 관리 모델은 네트워크 리소스 할당에 대한 에너지 관리 및 사용자 작업 오프로드(off load) 등 만을 고려할 뿐, 컴퓨팅에 대한 무작위적 수요, 모바일 에지 애플리케이션의 리소스 요구 및 서비스의 통신 요구 사항 등은 전혀 고려하지 않아 에너지의 최적 관리에 어려움이 있었다. 그러므로, 재생 가능 에너지를 이용하는 모바일 에지 컴퓨팅 기술 분야에서는 공급되는 에너지를 효율적이면서 적절하게 분배하고 최적으로 사용할 수 있도록 하는 적절한 에너지 디스패치(energy dispatch)의 설계와 이에 따른 에너지 관리 방법이 요구되고 있었다.
효율적인 에너지 디스패치를 보장함으로써 네트워크의 에너지 소비 비용을 최소화하면서도 환경이 불확실한 상황에서도 네트워크 인프라에 부합하도록 에너지의 원활한 흐름을 제공할 수 있게 되는 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 에너지 관리 방법, 이를 수행하기 위한 에너지 관리 장치 및 에너지 관리 시스템이 제공된다.
에너지 관리 시스템은 제1 에너지 관리부 및 상기 제1 에너지 관리부와 통신 가능한 적어도 하나의 제2 에너지 관리부를 포함하되, 상기 적어도 하나의 제2 에너지 관리부는 수집한 데이터를 이용하여 관찰 데이터를 획득하고 획득한 관찰 데이터를 상기 제1 에너지 관리부로 전송하고, 상기 제1 에너지 관리부는 상기 관찰 데이터를 기반으로 학습을 수행하여 전역적 신경망 매개 변수를 획득하고, 상기 신경망 매개 변수를 상기 제2 에너지 관리부로 전달하고, 상기 적어도 하나의 제2 에너지 관리부는 상기 신경망 매개 변수 및 상기 수집한 데이터를 이용하여 학습을 수행하여 에너지 디스패치를 결정할 수 있다.
상기 적어도 하나의 제2 에너지 관리부는, 상기 수집한 데이터를 기반으로 상태를 선택하고, 선택한 상기 상태를 기반으로 학습을 수행하여 행동 및 상기 행동에 대응하는 보상을 결정하고, 상기 행동 및 상기 보상을 상기 제1 에너지 관리부로 전송할 수 있다.
상기 적어도 하나의 제2 에너지 관리부는, 가치 함수, 이익 함수 및 정책 기울기 중 적어도 하나를 추정할 수 있다.
상기 적어도 하나의 제2 에너지 관리부는, 미리 정의된 타임 슬롯 동안 반복적으로 관찰 데이터를 획득하고, 상기 타임 슬롯이 종료되면 종료 시점에서의 관찰 데이터를 상기 제1 에너지 관리부로 전송할 수 있다.
상기 제1 에너지 관리부는, 전역적 에너지 디스패치 정책을 결정하거나, 또는 정책 손실을 평가할 수 있다.
에너지 관리 시스템은, 상기 적어도 하나의 제2 에너지 관리부와 연결되고 외부의 장치와 통신을 수행하며 에너지를 소비하는 적어도 하나의 기지국부 및 상기 적어도 하나의 제2 에너지 관리부와 연결되고 대체 에너지를 생산하는 에너지 생성부 중 적어도 하나를 포함할 수 있다.
상기 제1 에너지 관리부는, 외부와의 통신 수행을 위해 에너지를 소비하는 적어도 하나의 기지국부 및 대체 에너지를 생산하는 에너지 생성부 중 적어도 하나와 연결되고, 상기 기지국부 및 상기 에너지 생성부 중 적어도 하나로부터 수집한 데이터를 이용하여 학습을 수행하고, 학습 수행에 따라 획득한 정보를 기반으로 학습을 수행하여 전역적 신경망 매개 변수를 획득하고, 상기 신경망 매개 변수를 이용하여 학습을 수행하여 에너지 디스패치를 결정할 수 있다.
에너지 관리 장치는, 외부의 에너지 관리 장치로부터 관찰 데이터를 수신하는 통신부 및 상기 관찰 데이터를 기반으로, 에너지 디스패치 정책의 결정에 관한 학습 알고리즘을 위한 최적화된 신경망 매개 변수를 획득하는 처리부를 포함하되, 상기 통신부는 상기 신경망 매개 변수를 상기 외부의 에너지 관리 장치로 전송할 수 있다.
상기 처리부는, 정책 손실 함수의 기울기를 평가하여 최적화된 신경망 매개 변수를 획득할 수 있다.
에너지 관리 장치는 에너지의 생산 및 수요에 관한 데이터를 수집하는 데이터 수집부, 상기 데이터 수집부가 수집한 데이터를 기반으로 관찰 데이터를 획득하는 처리부 및 상기 관찰 데이터를 에너지 관리 장치로 전송하고, 상기 외부의 에너지 관리 장치로부터 신경망 매개 변수를 수신하는 통신부를 포함할 수도 있으며, 여기서 상기 처리부는 상기 신경망 매개 변수를 이용하여 학습을 수행할 수도 있다.
상기 처리부는 상기 수집한 데이터를 이용하여 상태를 선택하고, 선택한 상태를 기반으로 학습을 수행하여 행동 및 상기 행동에 대응하는 보상을 결정할 수도 있다.
상기 처리부는 미리 정의된 타임 슬롯 동안 반복적으로 상기 관찰 데이터를 획득하고, 상기 통신부는 상기 타임 슬롯이 종료된 이후에 상기 관찰 데이터를 상기 외부의 관리 장치로 전송할 수도 있다.
상기 처리부는 가치 함수, 이익 함수 및 정책 기울기 중 적어도 하나를 추정할 수도 있다.
에너지 관리 방법은, 에너지 수요 및 생산에 관하여 데이터를 수집하는 단계, 상기 데이터를 기반으로 관찰 데이터가 획득되는 단계, 상기 관찰 데이터를 이용하여 학습을 더 수행함으로써 복수의 에너지 관리 장치에 의해 이용되는 전역적 신경망 매개 변수가 획득되는 단계 및 상기 전역적 신경망 매개 변수 및 상기 수집한 데이터를 이용하여 학습을 더 수행함으로써, 각각의 에너지 관리 장치의 에너지 디스패치 정책이 결정되는 단계를 포함할 수 있다.
상기 데이터를 기반으로 관찰 데이터가 획득되는 단계는, 상기 수집한 데이터를 기반으로 상태를 선택하는 단계 및 선택한 상기 상태를 기반으로 학습을 수행하여 행동 및 상기 행동에 대응하는 보상을 결정하는 단계를 포함할 수 있다.
상기 데이터를 기반으로 관찰 데이터가 획득되는 단계는, 가치 함수, 이익 함수 및 정책 기울기 중 적어도 하나를 추정하는 단계를 더 포함할 수도 있다.
상기 에너지 수요 및 생산에 관하여 데이터를 수집하는 단계 및 상기 데이터를 기반으로 관찰 데이터가 획득되는 단계는 미리 정의된 타임 슬롯 동안 계속해서 반복될 수도 있다.
상기 에너지 수요 및 생산에 관하여 데이터를 수집하는 단계 및 상기 데이터를 기반으로 관찰 데이터가 획득되는 단계는 제2 장치에 의해 수행되고, 상기 관찰 데이터를 이용하여 학습을 더 수행함으로써 복수의 에너지 관리 장치에 의해 이용되는 전역적 신경망 매개 변수가 획득되는 단계는, 상기 제2 장치와 상이한 제1 장치에 의해 수행될 수 있다.
이 경우, 에너지 관리 방법은, 상기 제2 장치가 상기 제1 장치로 상기 관찰 데이터를 전송하는 단계 및 상기 제1 장치가 상기 제2 장치로 상기 전역적 신경망 매개 변수를 전송하는 단계를 더 포함할 수 있다.
상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템에 의하면, 네트워크(일례로 무선 네트워크)를 위한 효율적이고 효과적인 에너지 디스패치를 적절하게 설계할 수 있게 된다.
상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템에 의하면, 효과적인 에너지 디스패치 설계에 따라서 네트워크의 에너지 비용을 절감하면서도 불확실한 환경에서도 네트워크 인프라에 따라 무선 네트워크 내에서 에너지가 보다 원활하게 공급 및 전달되는 효과를 얻을 수 있으며, 이에 따라 자가 발전원을 갖는 유선 또는 무선 네트워크 내에서 불확실한 에너지 수요 및 생성에 기인한 에너지 장애 위험을 감소시키는 효과도 얻을 수 있다.
상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템에 의하면, 에너지 수요 및 생성 패턴이 독립 항등 분포적(i.i.d: independent identically distributed)이지 않아 불확실성이 높은 상황에서도 이에 대한 동적 환경을 효과적으로 처리할 수 있게 되는 효과도 얻을 수 있다.
상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템에 의하면, 각각의 로컬 장치 간의 정보 교환의 총량 및/또는 빈도를 감소시킬 수 있게 되어 데이터 통신에 따른 에너지 소비나 트래픽을 감소시킬 수도 있게 된다.
상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템에 의하면, 에너지 디스패치 결정을 위해 보다 효율적으로 학습 및 훈련을 수행할 수 있으면서 동시에 이의 결정을 위한 학습의 정확도를 더욱 향상시킬 수 있게 된다. 또한, 각 로컬 장치에 관련된 연산 시간을 상대적으로 단축시킬 수 있게 되어 에너지 디스패치 결정의 효율성 및 신뢰성이 증진되는 효과도 얻을 수 있다.
상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템에 의하면, 높은 예측 정확성에 따라 네트워크의 에너지 지속 가능성을 보장할 수 있게 되고, 재생 불가능한 에너지 소비를 감소시킬 수 있다.
도 1은 에너지 관리 시스템(10)의 일 실시예에 대한 도면이다.
도 2는 제1 기지국 시스템 및 제2 기지국 시스템의 일 실시예에 대한 블록도이다.
도 3은 제1 에너지 관리부 및 제2 에너지 관리부의 동작의 일례를 설명하기 위한 블록도이다.
도 4는 에너지 관리 방법의 일 실시예에 대한 흐름도이다.
도 2는 제1 기지국 시스템 및 제2 기지국 시스템의 일 실시예에 대한 블록도이다.
도 3은 제1 에너지 관리부 및 제2 에너지 관리부의 동작의 일례를 설명하기 위한 블록도이다.
도 4는 에너지 관리 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다.
명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분에 따라서 물리적 연결을 의미할 수도 있고, 또는 전기적으로 연결된 것을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다.
제 1이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 3을 참조하여 에너지 관리 시스템 및 에너지 관리 장치의 구체적 실시예에 대해서 설명하도록 한다.
도 1은 에너지 관리 시스템(10)의 일 실시예에 대한 도면이고, 도 2는 제1 기지국 시스템 및 제2 기지국 시스템의 일 실시예에 대한 블록도이다.
도 1에 도시된 바를 참조하면, 에너지 관리 시스템(10)은 적어도 둘은 통신 가능하게 마련된 다수의 기지국(100, 200, 200-1)을 포함할 수 있으며, 보다 구체적으로는 상대적으로 넓은 지역(이하 제1 셀(C10))을 포괄하는 제1 기지국 시스템(100)과, 각각 상대적으로 협소한 적어도 하나의 지역(이하 제2 셀(C21, C22))을 포괄하는 적어도 하나의 제2 기지국 시스템(200, 200-1)을 포함할 수 있다. 여기서, 제1 셀(C10)은 제2 셀(C21, C22) 중 적어도 하나를 포함할 수도 있고 또는 포함하지 않을 수도 있다. 복수의 제2 셀(C21, C22) 중 적어도 둘은 서로 중첩될 수도 있고, 접할 수도 있으며, 또는 이격되어 있을 수도 있다.
제1 기지국 시스템(100)과 제2 기지국 시스템(200, 200-1) 중 적어도 하나는 상호 통신 가능하도록 마련된다. 이 경우, 제1 기지국 시스템(100) 및/또는 적어도 하나의 제2 기지국 시스템(200, 200-1) 간의 통신은, 소정의 통신 네트워크를 기반으로 수행될 수 있으며, 소정의 통신 네트워크는 무선 통신 네트워크, 유선 통신 네트워크 또는 이들의 조합으로 형성된 유무선 통신 네트워크를 포함할 수 있다. 여기서, 무선 통신 네트워크는 근거리 통신 네트워크 및 이동 통신 네트워크 중 적어도 하나를 이용하여 구현된 것일 수 있다. 제1 기지국 시스템(100) 및 적어도 하나의 제2 기지국 시스템(200, 200-1)이 통신 가능하게 연결됨에 따라서 제1 기지국 시스템(100)은 제2 기지국 시스템(200, 200-1) 중 적어도 하나로부터 데이터를 수신하여 획득하고, 수신한 데이터를 기반으로 새로운 데이터(일례로 학습을 위한 매개 변수 등)를 생성한 후, 이를 제2 기지국 시스템(200, 200-1) 중 적어도 하나로 전송할 수 있게 된다. 실시예에 따라서, 적어도 두 개의 제2 기지국 시스템(200, 200-1)도 상호 간에 통신을 수행 가능하게 마련될 수도 있다. 이에 따라, 적어도 두 개의 제2 기지국 시스템(200, 200-1)도 상호 필요한 데이터나 제어 명령 등을 송수신할 수도 있다.
도 1에는 하나의 제1 기지국 시스템(100) 및 두 개의 제2 기지국 시스템(200, 200-1)을 포함하는 에너지 관리 시스템(10)이 도시되어 있으나, 이는 예시적인 것이다. 에너지 관리 시스템(10)은 실시예에 따라서 둘 이상의 제1 기지국 시스템(100)을 포함할 수도 있다. 이 경우, 미리 정의된 설정이나, 둘 이상의 제1 기지국 시스템(100) 중 적어도 하나의 선택이나, 제2 기지국 시스템(200, 200-1) 각각의 선택이나, 또는 이외 다양한 방법에 의해 결정된 바에 따라서, 각각의 제2 기지국 시스템(200, 200-1)은 둘 이상의 제1 기지국 시스템(100) 중 어느 하나와 통신을 수행하고 이를 기반으로 최적의 에너지 디스패치를 결정할 수도 있다. 또한, 에너지 관리 시스템(10)은 하나의 제2 기지국 시스템(200)을 포함할 수도 있고 또는 셋 이상의 제2 기지국 시스템을 포함할 수도 있다.
도 1 및 도 2에 도시된 바를 참조하면, 제1 기지국 시스템(110)은 일 실시예에 있어서 제1 기지국부(101), 제1 에너지 생성부(102), 제1 에너지 저장부(103) 및 제1 에너지 관리부(110)를 포함할 수 있다.
제1 기지국부(101)는 외부의 통신 장치(예를 들어, 스마트폰, 태블릿 피씨, 셀룰러 폰, 레이더 장치, 무전기, 휴대용 게임기, 내비게이션 장치, 차량 또는 인공 위성 등)나 다른 기지국 등과 신호를 송수신함으로써 장치 간에 통신이 가능하게 할 수 있다. 이 경우, 제1 기지국(101)은 전자기파를 통해 또는 케이블을 통해 신호 송수신을 수행할 수도 있다. 상황에 따라서, 제1 기지국부(101)는 제1 에너지 생성부(102)가 생성한 에너지를 이용하여 동작할 수도 있고 및/또는 외부의 전력 그리드(9)에서 제공되는 에너지를 이용하여 동작할 수도 있다. 제1 기지국부(101)는 매크로 베이스 스테이션(MBS: macro base station)을 포함할 수도 있다.
제1 에너지 생성부(102)는 자체적으로 에너지, 일례로 전기 에너지를 생산하고, 생산한 전기 에너지를 제1 기지국부(101)에 제공함으로써 제1 기지국부(101)가 동작하도록 하거나 또는 제1 에너지 저장부(103)로 전달하여 에너지가 일시적 또는 비일시적으로 저장되도록 할 수 있다. 실시예에 따라 제1 에너지 생성부(102)가 생성한 에너지는 소정의 전력 케이블을 통해서 전력망 제어부(2)나 전력 그리드(9)로 전달될 수도 있다. 일 실시예에 의하면, 제1 에너지 생성부(102)는 대체 에너지를 생산할 수 있는 적어도 하나의 장치(일례로 대체 에너지 발전기)를 포함할 수 있다. 보다 구체적으로 예를 들어 제1 에너지 생성부(102)는 태양광 발전기(솔라 셀 등), 태양열 발전기, 풍력 발전기, 조력 발전기, 지열 발전기 및/또는 수력 발전기 등을 적어도 하나 포함할 수 있다. 뿐만 아니라 제1 에너지 생성부(102)는 이들 외에도 다양한 대체 에너지의 생산 장치를 포함할 수 있다. 만약 제1 에너지 생성부(102)가 대체 연료를 이용하여 전기 에너지를 생산하는 경우, 제1 에너지 생성부(102)에 의해 생성되는 에너지 량은 일정하지 않을 수 있으며, 주변 환경의 변화에 따라 가변적일 수도 있다. 예를 들어, 풍향이나 풍속의 변화에 따라 풍력 발전기에 의해 생산되는 전기 에너지는 지속적으로 변화할 수 있는데, 이와 같은 전기 에너지 생산량의 변화는 예측이 불가능하거나 상당히 어려울 수 있다. 따라서, 제1 기지국 시스템(110)은 에너지 생산 및 소비를 적절하게 관리할 필요가 있다. 한편, 실시예에 따라서, 제1 에너지 생성부(102)는 화석 연료를 이용하는 발전기(예를 들어, 화력 발전기)를 포함하는 것도 가능하다.
제1 에너지 저장부(103)는 제1 에너지 생성부(102)와 연결되어 제1 에너지 생성부(102)에서 생성된 전력을 일시적 또는 비일시적으로 저장하도록 마련된다. 실시예에 따라서, 제1 에너지 저장부(103)는 전력망 제어부(2) 또는 전력 그리드(9)에 연결되어 있으며, 전력망 제어부(2) 또는 전력 그리드(9)로 전기 에너지를 제공할 수도 있고, 또는 반대로 전력망 제어부(2) 또는 전력 그리드(9)로부터 전기 에너지를 공급받을 수도 있다. 제1 에너지 저장부(103)는, 예를 들어, 전지 등을 이용하여 구현 가능하다.
제1 에너지 관리부(110)는 제1 기지국 시스템(100) 또는 제2 기지국 시스템(200)의 동작에 필요한 데이터를 획득하거나, 연산 처리를 수행하거나, 필요한 데이터를 생성하거나 및/또는 제어 신호 등을 생성하여 다른 장치(101 내지 103, 200, 200-1)로 전달할 수도 있다. 보다 구체적으로 예를 들어, 제1 에너지 관리부(110)는 통신 모듈이나 센서 모듈 등을 통해 제1 기지국 시스템(100) 또는 제2 기지국 시스템(200)에 관한 적어도 하나의 정보를 수집하고, 수집한 정보를 일시적 또는 비일시적으로 저장하고, 수집한 정보에 대한 연산을 수행하거나, 수집한 정보에 대해 학습 알고리즘을 적용하여 학습 및 훈련을 수행하거나, 연산, 학습 또는 훈련의 결과를 기반으로 각종 판단 및 결정을 수행할 수 있다. 또한, 제1 에너지 관리부(110)는, 필요에 따라 제어 신호를 생성하고, 제어 신호를 다른 장치(101 내지 103 등) 또는 이와 연결된 다른 장치(미도시)에 전송함으로써 이들 장치(101 내지 103 등)를 제어하는 것도 가능하다. 구체적으로 예를 들어, 제1 에너지 관리부(110)는 제1 에너지 생성부(102)에 의해 생성된 에너지의 사용 여부, 에너지의 저장 여부 및/또는 외부의 그리드(9) 등으로의 에너지 전송 여부 등 다양한 행동을 결정하고, 결정된 바에 대응하는 제어 신호를 생성한 후, 생성한 제어 신호를 제1 에너지 생성부(102)에 전달하거나 또는 제1 에너지 저장부(103)에 장착되거나 또는 전기적으로 연결된 장치(회로 등)에 전달함으로써 이들 장치(101 내지 103)를 제어할 수도 있다.
제1 에너지 관리부(110)는 상술한 제1 기지국부(101), 제1 에너지 생성부(102) 및 제1 에너지 저장부(103)와 물리적으로 분리된 적어도 하나의 컴퓨팅 장치를 이용하여 구현될 수도 있다. 다시 말해서, 제1 에너지 관리부(110)는 별도로 마련된 제1 에너지 관리 장치일 수 있다. 이 경우, 제1 에너지 관리부(110, 즉 제1 에너지 관리 장치)는, 예를 들어, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 스마트폰, 셀룰러 폰, 태블릿 피씨 또는 셋 톱 박스 등을 이용하여 구현될 수도 있고, 또는 에너지 관리를 위해 특별히 고안된 전자 장치를 이용하여 구현될 수도 있다.
또한, 실시예에 따라 제1 에너지 관리부(110)는 에지 컴퓨팅 기능을 수행할 수도 있다. 예를 들어, 제1 에너지 관리부(110)는 제1 기지국(101)에 접속한 다른 장치, 일례로 스마트폰 등에 대한 모바일 에지 컴퓨팅 서비스를 제공함으로써, 스마트폰이 요청하는 정보나 처리 결과가 보다 신속하게 전달되도록 할 수도 있다. 실시예에 따라서, 에지 컴퓨팅 기능은 제1 에너지 관리부(110)와 별도로 마련되고 물리적으로 분리된 다른 장치(일례로 서버 장치)에 의해 수행되는 것도 가능하다.
일 실시예에 의하면, 제1 에너지 관리부(110)는 제1 통신부(121), 제1 데이터 저장부(123) 및 제1 처리부(130)를 포함할 수 있으며, 실시예에 따라 제1 데이터 수집부(190)를 더 포함할 수 있다.
제1 통신부(121)는, 유선 통신 네트워크나 무선 통신 네트워크를 통하여, 외부의 다른 장치(일례로 제2 기지국 시스템(200))와의 통신을 수행할 수 있다. 제1 통신부(121)는, 예를 들어, 제2 기지국부(201) 및/또는 제2 통신부(221)와 통신을 수행함으로써 필요한 데이터나 명령/지시 등을 송수신할 수 있다. 제1 통신부(121)는 안테나나 통신 회로 등을 기반으로 구현될 수 있다. 실시예에 따라, 제1 통신부(121)는 생략 가능하며, 이 경우 제1 기지국부(101)가 제2 기지국 시스템(200)과 통신을 수행하도록 설계될 수도 있다. 이 경우, 제1 기지국부(101)는 제2 기지국 시스템(200)의 제2 기지국부(201) 또는 제2 통신부(221)와 통신을 수행하여, 데이터나 명령 등을 상호 전달할 수 있다.
제1 데이터 저장부(123)는 제2 기지국 시스템(200)으로부터 전달받은 데이터나, 메타 처리부(130)가 획득 또는 갱신한 결과 데이터나, 학습 또는 훈련에 필요한 학습 알고리즘(예를 들어, 장단기 메모리(LSTM: Long Short-Term Memory) 등)이나, 에너지 관리나 기지국 시스템(100)의 동작 제어 등에 필요한 적어도 하나의 애플리케이션(프로그램, 앱 또는 소프트웨어 등으로 지칭 가능함) 등을 일시적 또는 비일시적으로 저장할 수 있다. 여기서, 애플리케이션은, 설계자에 의해 직접 작성 및 저장된 것일 수도 있고, 데이터 입출력 단자 등을 통해 외부의 메모리 장치 등으로부터 전달받아 저장된 것일 수도 있으며, 유선 또는 무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 제1 데이터 저장부(123)에 저장된 데이터나 애플리케이션은 제1 처리부(130) 등의 요청에 따라 제1 처리부(130)에 제공될 수도 있고 및/또는 제2 기지국 시스템(200), 일례로 제2 에너지 관리부(210) 등의 요청에 따라 제2 기지국 시스템(200)에 제공될 수도 있다. 일 실시예에 의하면, 제1 데이터 저장부(123)는, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있으며, 여기서 보조기억장치는 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), SD(Secure Digital) 카드, 플래시 메모리 장치, 콤팩트 디스크(CD) 또는 디브이디(DVD) 등 데이터의 기록이 가능한 적어도 하나의 저장 매체를 이용하여 구현 가능하다.
제1 처리부(130)는 에너지 관리에 필요한 연산, 학습 및 데이터 획득 동작을 수행할 수 있다. 또한, 제1 처리부(130)는 제1 기지국 시스템(100)의 전반적인 동작과 관련된 연산 및 제어 동작을 수행하는 것도 가능하다. 제1 처리부(130)는 제1 데이터 저장부(123)에 저장된 애플리케이션을 구동시켜, 연산, 판단 및/또는 제어 동작 등을 수행할 수도 있다. 제1 처리부(130)는, 예를 들어, 중앙 처리 장치(CPU, Central Processing Unit), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 애플리케이션 프로세서(AP, Application Processor), 마이컴(Micom, Micro Processor), 전자 제어 유닛(ECU, Electronic Controlling Unit) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 전자 장치 등을 이용하여 구현될 수 있다. 이들 장치는 예를 들어 하나 또는 둘 이상의 반도체 칩 및 관련 부품을 포함할 수 있다.
일 실시예에 의하면, 제1 처리부(130)는, 제1 기지국 시스템(100) 및 제2 기지국 시스템(200, 200-1) 중 적어도 하나로부터, 각각의 시스템(100, 200, 200-1)에 대한 에너지 디스패치 정책을 수집하고 이를 기반으로 전역적인 에너지 디스패치 정책(global energy dispatch policy)을 결정할 수도 있다. 여기서 전역적인 에너지 디스패치 정책은, 에너지 관리 시스템(10)의 네트워크 상에 존재하는 모든 또는 일부의 기지국 시스템(100, 200, 200-1)에 관한 에너지 디스패치 정책을 포함할 수 있다. 일 실시예에 의하면, 제1 처리부(130)는, 적어도 하나의 학습 알고리즘(예를 들어, 장단기 메모리)을 사용하여, 제1 기지국 시스템(100) 및/또는 각각의 제2 기지국 시스템(200)의 독립 항등 분포적이지 않은 에너지 수요 및 에너지 생성에 관한 관리 방법을 판단 및 결정할 수 있다. 이 경우, 제1 처리부(130)는 학습 알고리즘을 일 회 이용할 수도 있고, 학습 알고리즘을 다 회 이용할 수도 있다. 후자의 경우, 제1 처리부(130)는 동일한 학습 알고리즘만을 이용할 수도 있고, 둘 이상의 상이한 학습 알고리즘을 이용할 수도 있다. 이어서, 제1 기지국 시스템(100) 및/또는 제2 기지국 시스템(200)은 판단 및 결정 결과에 따라서 에너지 생성 및 수요에 대한 관리 동작을 각각 수행할 수 있다. 구체적으로 예를 들어, 제2 기지국 시스템(200)은 제1 처리부(130)로부터 신경망에 대한 매개 변수를 수신하고, 수신한 신경망에 대한 매개 변수를 기반으로 에너지 디스패치를 결정함으로써 에너지 생성 및 수요에 대한 관리 동작을 수행할 수 있다. 매개 변수의 전달은 제1 통신부(121) 및 제2 통신부(221)를 통해 수행될 수 있다. 제1 기지국 시스템(100)의 에너지 관리 동작은 제1 처리부(130)가 직접 신경망에 대한 매개 변수를 기반으로 에너지 디스패치를 결정함으로써 수행될 수도 있다. 실시예에 따라, 신경망에 대한 매개 변수를 기반으로 에너지 디스패치를 결정하는 동작은 제1 처리부(130) 이외의 다른 서버 장치(미도시) 등에 의해 수행되는 것도 가능하다. 이에 대한 자세한 설명은 후술한다.
일 실시예에 의하면, 제1 데이터 수집부(190)는 제1 기지국부(101), 제1 에너지 생성부(102) 및 제1 에너지 저장부(103) 중 적어도 하나로부터 에너지 관리에 필요한 적어도 하나의 데이터를 수집하고 이를 제1 처리부(130)로 전달할 수 있다. 예를 들어, 제1 데이터 수집부(190)는 제1 기지국 시스템(100)의 에너지 소비에 대한 정보를 획득할 수 있다. 보다 구체적으로는 제1 데이터 수집부(190)는 제1 에너지 관리부(110) 또는 에지 컴퓨팅 기능을 수행하기 위한 다른 컴퓨팅 장치의 에너지 소비나, 제1 기지국부(101)의 에너지 소비에 대한 정보를 획득할 수 있다. 제1 에너지 관리부(110) 또는 에지 컴퓨팅 기능을 수행하기 위한 다른 컴퓨팅 장치의 에너지 소비는, 동적 에너지 소비 및 정적 에너지 소비라는 두 가지 유형의 에너지 소비를 포함할 수 있다. 여기서, 동적 에너지 소비는, 작업 실행을 위한 처리 장치(일례로 중앙 처리 장치)의 활동에 따라 변화하는 에너지 소비로, 열 설계 전력(TDP: thermal design power), 메모리 및/또는 디스크 입출력 작업에도 반영될 수 있다. 동적 에너지의 소비량은 외부의 장치로의 또는 외부의 장치로부터의 데이터 전송량에 따라서도 변화할 수 있다. 정적 에너지 소비는 처리 장치의 유휴 상태 전력과 같은 에너지 소비, 패킷 수신을 위한 일정한 에너지 소비, 각 기지국부(101, 201) 간의 유무선 통신을 위한 에너지 소비 등을 포함할 수 있다. 이와 같이 제1 기지국 시스템(100) 내에서 소비되는 에너지는 제1 에너지 생성부(102)나 전력 그리드(9) 등으로부터 공급된 것일 수 있다. 이와 같이 에너지 관리에 필요한 적어도 하나의 데이터를 수집한 경우, 제1 처리부(130)는 후술하는 제2 처리부(230)와 동일하거나 또는 일부 변형된 방법으로 상태 선택(도 3의 231), 행동 결정(도 3의 232), 보상 계산(도 3의 234) 및/또는 함수나 기울기 추정(도 3의 235 및 236) 등의 동작을 수행할 수도 있으며, 제1 처리부(130)가 직접 획득한 정보를 기반으로 최적화(도 3의 132), 결정(도 3의 134) 및/또는 손실 평가(136) 등의 동작을 수행하건, 제1 기지국 시스템(100)에 대한 에너지 디스패치 정책을 결정할 수도 있다.
일 실시예에 의하면, 어느 하나의 제2 기지국 시스템(200)은, 제2 기지국부(201), 제2 에너지 생성부(202), 제2 에너지 저장부(203) 및 제2 에너지 관리부(210)를 포함할 수 있다.
제2 기지국부(201)는 제1 기지국부(101)와 동일하게 외부의 장치나 다른 기지국(100, 200-1) 등과 전파 등을 통해 신호를 송수신할 수 있다. 이 경우, 제2 기지국부(201)는 제1 기지국부(101)보다 상대적으로 협소한 범위를 포괄하여 통신을 수행하도록 마련된 것일 수 있다. 예를 들어, 제2 기지국부(201)는 스몰 셀 기지국(sbs: small cell base station)일 수 있으며, 상세하게는 펨토셀 기지국(femtocell base station), 피코셀 기지국(picocell base station), 마이크로셀 기지국(microcell base station) 및 와이파이(Wi-Fi) 공유기 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 실시예에 따라서, 제2 기지국부(201)는 제1 기지국부(101) 또는 제1 통신부(121)와 통신을 수행하는 것도 가능하다. 이 경우, 제2 통신부(221)는 생략될 수도 있다.
제2 에너지 생성부(202)는 자체적으로 에너지를 생성하고 이를 제2 기지국부(201)에 제공하거나 제2 에너지 저장부(203)에 전달하도록 마련된다. 제2 에너지 생성부(202)는 에너지 생산 장치, 일례로 발전기를 이용하여 구현될 수 있으며, 상술한 바와 같이 대체 에너지 발전기를 이용하여 구현될 수도 있다. 예를 들어, 제2 에너지 생성부(202)는 태양광 발전기나 풍력 발전기 등을 이용하여 구현될 수 있다. 이 경우, 제2 에너지 생성부(202)는 제1 에너지 생성부(102)와 동일한 발전기를 이용하여 구현될 수도 있고, 또는 상이한 발전기를 이용하여 구현될 수도 있다. 제2 에너지 생성부(202)가 생산하는 전력 에너지는 일정하지 않을 수 있으며 시간에 따라 가변적일 수 있다.
제2 에너지 저장부(203)는, 제1 에너지 저장부(103)와 동일하게 제2 에너지 생성부(202)에서 생성된 전기 에너지를 일시적 또는 비일시적으로 저장할 수 있으며, 전지 등을 이용하여 구현될 수 있다. 또한, 제2 에너지 저장부(203) 역시, 실시예에 따라, 전력망 제어부(2) 또는 전력 그리드(9)에 연결되어, 이들(2, 9)에게 전기 에너지를 제공하거나 또는 이들(2,9)로부터 전기 에너지를 제공받는 것도 가능하다.
제2 에너지 관리부(210)는, 제2 기지국 시스템(200)의 동작에 필요한 각종 데이터를 수집하거나, 연산 처리를 수행하거나, 연산 결과에 대응하는 데이터를 획득하거나, 획득한 데이터를 제1 에너지 관리부(110)로 전달하거나, 획득한 데이터 또는 제1 에너지 관리부(110)로부터 전달받은 데이터를 기반으로 에너지 관리에 필요한 처리를 수행하거나, 학습 알고리즘을 이용하여 학습 및 훈련을 수행하거나 및/또는 학습 결과나 획득 데이터를 기반으로 제어 신호를 생성하여 제2 기지국부(201), 제2 에너지 생성부(202) 및 제2 에너지 저장부(203) 중 적어도 하나를 제어하는 등 적어도 하나의 동작을 수행할 수 있다. 제2 에너지 관리부(210)의 동작 또는 기능은, 그 동작 또는 기능의 전부 또는 일부가 제1 에너지 관리부(110)의 동작 또는 기능과 동일할 수도 있고 상이할 수도 있다. 실시예에 따라 제2 에너지 관리부(210)가 에지 컴퓨팅 기능을 수행할 수도 있고, 또는 제2 에너지 관리부(210)와 별도로 마련된 다른 컴퓨팅 장치가 에지 컴퓨팅 기능을 수행할 수도 있다.
제1 에너지 관리부(110)와 동일하게, 제2 에너지 관리부(210) 역시 제2 기지국부(201), 제2 에너지 생성부(202) 및 제1 에너지 저장부(203)와 물리적으로 분리된 적어도 하나의 컴퓨팅 장치(즉, 제2 에너지 관리 장치)를 이용하여 구현될 수 있다. 제2 에너지 관리 장치 역시 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 스마트폰, 셀룰러 폰, 태블릿 피씨, 셋 톱 박스 또는 에너지 관리를 위해 특별히 고안된 전자 장치를 이용하여 구현될 수도 있으나, 이에 한정되는 것은 아니다.
도 2에 도시된 바와 같이, 일 실시예에 의하면, 제2 에너지 관리부(210)는 제2 통신부(221), 제2 데이터 저장부(223), 제2 처리부(130) 및 제2 데이터 수집부(290)를 포함할 수 있다. 이들 중 일부는 생략 가능하다.
제2 통신부(221)는 유선 또는 무선 통신 네트워크를 통해, 외부의 다른 장치나 제1 기지국 시스템(100)과 데이터나 명령 등을 송수신할 수 있다. 이 경우, 제2 통신부(221)는 제1 통신부(121)와 통신을 수행할 수도 있고, 제1 기지국부(101)와 통신을 수행할 수도 있다. 실시예에 따라, 제2 통신부(221)는 생략 가능하다.
제2 데이터 저장부(223)는 제2 데이터 수집부(290)가 수집한 데이터나, 제1 에너지 관리부(110)가 전달한 데이터(일례로 신경망 매개 변수)나, 제2 기지국 시스템(200)의 동작에 필요한 적어도 하나의 애플리케이션이나 또는 이와 관련된 학습 알고리즘(예를 들어, 장단기 메모리나 심층 강화 학습(deep reinforcement learning) 등) 등을 일시적 또는 비일시적으로 저장할 수 있으며, 제2 처리부(230)의 호출에 따라 필요한 데이터를 제2 처리부(230)에게 제공할 수 있다. 제2 데이터 저장부(223) 역시 제1 데이터 저장부(123)와 동일하게 주기억장치나 보조기억장치 등을 포함할 수 있다.
제2 처리부(230)는 제2 기지국 시스템(200)의 에너지 관리와 관련된 연산 처리 및 제어 동작을 수행할 수 있다. 또한, 제2 처리부(230)는 이를 위하여 학습 알고리즘을 기반으로 학습 및 훈련을 수행할 수도 있다. 구체적으로 제2 처리부(230)는 심층 강화 학습 등과 같은 학습 알고리즘을 기반으로 제2 기지국 처리 시스템(200) 또는 제2 기지국부(201) 각각의 에너지 수요 및 생성을 위한 마르코비안 동역학(Markovian dynamics)를 분할 및 구분할 수 있다. 또한, 제2 처리부(230)는 시간의 변화에 따라 획득한 데이터(관찰 결과)를, 제2 통신부(201)를 통해 제1 에너지 관리부(110)로 전달할 수도 있고, 제1 에너지 관리부(110)로부터 전달된 피드백을 기반으로 에너지 디스패치 정책을 실행하고 이에 대응하는 제어 신호를 생성할 수도 있다.
제2 데이터 수집부(290)는 제2 기지국 시스템(200)의 에너지 생산 또는 소비와 관련된 정보를 수집할 수 있다. 예를 들어, 제2 데이터 수집부(290)는 제2 기지국부(201), 제2 에너지 관리부(210) 또는 에지 컴퓨팅 기능을 수행하기 위한 다른 컴퓨팅 장치에 의해 소비되는 에너지에 대한 정보를 수집할 수 있다. 수집한 정보는 제2 처리부(230)로 전달될 수도 있고, 또는 제2 통신부(221)를 통해 제1 에너지 관리부(110)로 전달될 수도 있다. 상술한 바와 같이 제2 에너지 관리부(210) 등에 의해 소비되는 에너지는 동적 에너지 소비와 정적 에너지 소비를 포함할 수 있다.
다른 제2 기지국 시스템(200-1)은, 상술한 어느 하나의 제2 기지국 시스템(200)과 동일하게 제2 기지국부(미도시), 제2 에너지 생성부(미도시), 제2 에너지 저장부(미도시) 및 제2 에너지 관리부(제2 에너지 관리 장치, 미도시)를 포함할 수도 있고, 또는 이들 중 일부만 포함할 수도 있다. 또한, 실시예에 따라, 다른 제2 기지국 시스템(200-1)은 제2 기지국 시스템(200)에 부재한 다른 장치나 부품 등을 더 포함하는 것도 가능하다. 다른 제2 기지국 시스템(200-1)의 에너지 수요량이나 생산량도 시간에 따라 변화할 수 있으며, 상술한 제2 기지국 시스템(200)의 에너지 수요량이나 생산량과 동일할 수도 있고 상이할 수도 있다.
도 1에 도시된 바에 따르면, 에너지 관리 시스템(10)은, 일 실시예에 있어서, 전력망 제어부(2) 및 전력 그리드(9) 중 적어도 하나와 연결되어 있을 수도 있다. 보다 구체적으로는, 예를 들어, 제1 기지국 시스템(100) 및/또는 제2 기지국 시스템(200)의 에너지 생성부(102, 202)나 에너지 저장부(103, 203) 등은 송전 케이블 등을 통해 전력망 제어부(2)에 연결되거나 및/또는 전력 그리드(9)에 연결되어 있을 수 있다.
전력망 제어부(2)는 에너지 관리 시스템(10)과 전력 그리드(9) 간의 인터페이스로 동작할 수 있다. 구체적으로 예를 들어, 전력망 제어부(2)는 네트워크(11)의 전력 수요 요청에 응하여 전력 그리드(9)로부터 에너지 관리 시스템(10), 일례로 각 기지국 시스템(100, 200, 200-1)으로 에너지를 공급하거나 또는 외부의 요청에 따라 에너지 관리 시스템(10), 일례로 각 기지국 시스템(100, 200, 200-1) 중 적어도 하나로부터 전력 그리드(9) 또는 이외의 다른 장치 등으로 에너지를 공급하도록 관리 및 제어하도록 마련된 것일 수 있다. 실시예에 따라, 전력망 제어부(2)는 배전 계통 운영자(DSO: Distribution system operators)의 기능을 수행할 수도 있다.
상술한 에너지 관리 시스템(10) 또는 에너지 관리 장치(110, 210)는 다양한 분야의 네트워크 인프라에 적용 가능하다. 예를 들어, 상술한 에너지 관리 시스템(10) 또는 에너지 관리 장치(110, 210)는 셀룰러 네트워크, 수중 네트워크, 사물 인터넷 등 비용 효율적이면서 지속 가능한 에너지를 요구하는 다양한 네트워크 플랫폼에 적용되어 이용될 수 있다. 여기서, 네트워크 플랫폼은, 예를 들어, 스마트 시티, 스마트 공장, 스마트 의료 시스템, 스마트 에너지 시스템, 스마트 농업 및/또는 미션 크리티컬 인프라(일례로 광업용 네트워크) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 뿐만 아니라, 상술한 에너지 관리 시스템(10) 또는 에너지 관리 장치(110, 210)는 하이브리드 에너지 원 인프라의 관리를 수행하는 배전 계통 운영자 등과 같은 통합 플랫폼에도 적용 가능하다.
상술한 제1 기지국 시스템(100)의 제1 기지국부(101)나 제1 에너지 관리부(110)의 에너지 수요는 항상 일정한 것은 아니며 시간에 따라 변화하는 패턴을 보인다. 제2 기지국 시스템(200)의 제2 기지국부(201)이나 제2 에너지 관리부(120)의 에너지 수요 역시 마찬가지이다. 또한, 상술한 바와 같이 제1 에너지 생성부(102)나 제2 에너지 생성부(202)에 의한 에너지 생성 패턴도 시간에 따라 변화한다. 이와 같은 에너지의 생산 및 수요 패턴의 시간에 따른 가변성은 비독립적이고 비항등적으로 분산된 에너지 디스패치를 유도하며, 에너지 흐름의 불확실성의 강화하게 된다. 제1 에너지 관리부(110) 및 제2 에너지 관리부(210)는 이와 같은 불확실성 정도를 특성화 함으로써 제1 기지국 시스템(100) 및 제2 기지국 시스템(200) 내의 에너지 흐름을 보장하도록 할 수 있다.
이하 도 3을 참조하여 제1 에너지 관리부(110) 및 제2 에너지 관리부(210)가 학습 및 훈련을 통해 에너지 관리를 수행하는 과정을 설명한다.
도 3은 제1 에너지 관리부 및 제2 에너지 관리부의 동작의 일례를 설명하기 위한 블록도이다.
일 실시예에 의하면, 제1 에너지 관리부(110) 및 제2 에너지 관리부(120) 중 적어도 하나는 강화 학습(reinforcement learning)을 이용하여 에너지 관리 시스템(10) 내에서의 에너지 관리를 수행할 수도 있다. 강화 학습 하에서 적어도 하나의 에이전트(일례로 제1 에너지 관리부(110) 또는 제2 에너지 관리부(210) 등)는 특정 시점의 자신의 상태를 획득하고, 이러한 상태 하에서 가능한 행동을 결정 및 수행하고, 수행 결과에 따라 새로운 상태와 보상(reward)를 획득하는 것을 반복 수행한다. 보상은 누적되고, 에이전트는 누적된 보상을 최대화함으로써 원하는 결과를 획득할 수 있다.
보다 구체적으로, 도 3에 도시된 일 실시예에 의하면, 제2 에너지 관리부(210)의 제2 처리부(230)는, 강화 학습을 수행하기 위하여, 먼저 제2 데이터 수집부(290)로부터 제2 데이터 수집부(290)가 수집한 데이터(일례로 에너지 환경에 관련된 데이터)를 수신하고, 수신한 데이터를 기반으로 학습에 필요한 상태를 선택하고 이에 대응하는 상태 정보(일례로 상태 공간 등)를 생성할 수 있다(231). 상태 정보의 생성은 예측 스케줄링이나 로드 밸런싱 등과 같은 에너지 모델에 따라서 수행될 수도 있다. 필요에 따라, 이와 더불어 데이터 전처리도 수행될 수 있다.
순차적으로 에너지 생산 및 수요에 대응하는 정책(일례로 에너지 디스패치 정책)이 결정되거나, 및/또는 필요한 동작이 결정될 수 있다(232).
일 실시예에 의하면, 이와 같은 결정은 소정의 학습 알고리즘을 이용한 학습 및 훈련을 통해 수행될 수도 있다(232a). 이 경우, 학습은 후술하는 바와 같이 제1 에너지 관리부(110)로부터 전달된 데이터(일례로 신경망 관련 매개변수)를 이용하여 수행될 수도 있고 또는 제1 에너지 관리부(110)로부터 전달된 데이터를 이용하지 않고 수행될 수도 있다. 예를 들어, 최초로 에너지 디스패치 정책을 결정할 때는 후자의 경우와 같이 제1 에너지 관리부(110)로부터 전달된 데이터 없이 제2 처리부(230)가 획득한 데이터를 기반으로 학습을 수행할 수도 있다. 또한, 학습(232a)은 결정된 동작 및 계산된 보상을 더 이용하여 수행될 수도 있다. 예를 들어, 제2 처리부(230)의 각 동작(231 내지 236)은 반복 수행될 수 있으며, 이에 따라 현 시점에서의 학습(232a)의 수행 전에 동작(233) 및 보상(234)이 결정되어 있을 수 있다. 학습(232a)은 이와 같이 학습(232a)의 수행 전에 결정된 동작(233) 및 보상(234)을 이용하여 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 장단기 메모리, 심층 강화 학습 알고리즘, 심층 신경망(DNN: Deep Neural Network), 합성곱 신경망(CNN: Convolution Neural Network), 순환 신경망(RNN: Recurrent Neural Network), 심층 신뢰 신경망(DBN: Deep Belief Network) 및/또는 심층 Q-네트워크(Deep Q-Network) 등과 같이 설계자가 고려 가능한 소정의 학습 알고리즘을 하나 이상 포함할 수 있다. 동작의 결정은, 학습 또는 훈련 중에 수행될 수도 있고, 학습 또는 훈련이 종료된 이후 수행될 수도 있다. 동작의 결정은 훈련 중의 탐사(exploration)를 위해 선택된 것일 수 있다. 동작의 결정을 위해, 사전에 훈련된 신경망 알고리즘이나 다양한 종류의 통계 알고리즘이 미리 정의된 바에 따라 또는 임의적으로 이용될 수 있다. 상술한 바와 같이 결정된 동작은 학습(232a)을 위해 이용될 수도 있다.
동작이 결정되면, 이에 대응하여 보상이 계산될 수 있다(234). 보상은 강화 학습에 있어서 어떤 상태에 대한 행동에 대응하여 결정된 것일 수 있으며, 보상 모델(보상 함수)을 이용하여 계산될 수 있다. 보상 모델은 보상의 결정 전에 정의 또는 결정된 것일 수도 있으며, 에너지 디스패치를 결정하는 목적을 고려하여 정의 또는 결정될 수 있다. 보상은 주어진 에너지 모델(일례로 예측, 스케줄링, 로드 밸런싱 등)에 따라 상이하게 결정될 수 있다. 보상은 이용되는 보상 모델에 따라 장기 보상일 수도 있고, 또는 단기 보상일 수도 있다. 실시예에 따라서 보상은 에너지 요구 사항이나 우선 순위 등에 따라 지연 처리될 수도 있다.
또한, 적어도 하나의 함수가 추정 및 결정될 수도 있다(235). 여기서, 적어도 하나의 함수는 가치 함수(value function) 및 이익 함수(advantage function) 중 적어도 하나를 포함할 수 있다. 가치 함수의 추정은 보상 기대 가치 함수를 기반으로 수행될 수 있다. 보상 기대 가치 함수는 벨만 방정식(Bellman equation)에 기반한 것으로, 마르코프 속성(Markovian property)은 제2 에너지 관리부(210)의 시간에 따른 가변적 에너지 수요 및 생산에 대해 특성화된다. 또한, 이익 함수의 추정은 시간적 차이(temporal difference)를 이용하여 수행될 수 있다. 여기서, 시간적 차이 오류(TD error)는 현재의 에너지 디스패치 정책 및 가치 추정을 기반으로 결정된 것일 수 있다. 이에 따라 제2 처리부(230)는 현재 결정에 대한 이익을 계산할 수 있게 된다. 이외에도 설계자나 사용자의 선택에 따라서 다양한 방법으로 가치 함수 및 이익 함수 등은 추정될 수 있다. 또한, 필요에 따라 제2 처리부(230)는 가치 함수나 이익 함수 이외에도 다른 함수를 추정하는 것도 가능하다.
또한, 제2 처리부(230)는 최적의 에너지 디스패치 정책을 찾기 위하여 정책 기울기(policy gradient)를 결정할 수도 있다. 정책 기울기는 각 제2 에너지 관리부(210, 210-1)에 대한 에너지 디스패치 정책을 개별적으로 갱신하므로, 알 수 없는 상태에 대한 분포(상태 분포)를 결정할 수 있게 한다.
상술한 제2 처리부(230)의 각각의 동작, 일례로 상태 선택(231), 결정(232), 보상 계산(234), 함수 추정(235) 및 기울기 추정(236)은 미리 정의된 타임 슬롯 내에서 계속해서 반복 수행될 수도 있다. 여기서 미리 정의된 타임 슬롯은 제2 처리부(230)가 제2 기지국 시스템(100) 내의 각 장치(201, 202, 203 등)의 동작에 대한 데이터를 수집하여 관찰하는 기간(관찰 기간)을 포함할 수 있으며, 관찰 기간은 설계자나 사용자의 선택에 따라 결정될 수 있다. 예를 들어, 관찰 기간은 15분, 60분 또는 그 이상의 시간으로 결정될 수 있다. 이 경우, 학습(232a) 및 이를 기반으로 한 최종적인 에너지 디스패치 정책의 결정(232)은 타임 슬롯의 종료 시에 수행될 수도 있다.
상술한 제2 처리부(230)의 동작은 다른 제2 에너지 관리부(210-1)의 처리부에도 적용 가능하다. 다시 말해서, 각각의 제2 에너지 관리부(210, 210-1)마다 상술한 상태 선택(231), 결정(232), 보상 계산(234), 함수 추정(235) 및 기울기 추정(236) 동작이 순차적으로 또는 비순차적으로 수행될 수 있다. 일 실시예에 의하면, 에너지 관리 시스템(10) 내의 모든 제2 에너지 관리부(210, 210-1)가 상술한 동작(231 내지 236)을 각각 수행할 수도 있다. 다른 실시예에 의하면, 에너지 관리 시스템(10) 내의 복수의 제2 에너지 관리부(210, 210-1) 중 일부의 제2 에너지 관리부만이 상술한 동작(231 내지 236)을 수행하고, 다른 일부의 제2 에너지 관리부는 상술한 동작(231 내지 236)의 전부 또는 일부를 수행하지 않는 것도 가능하다.
제2 처리부(230)에 의해 획득된 정보는 통신부(221, 121)를 통해 제1 에너지 관리부(110)의 제1 처리부(130)로 전달될 수 있다. 이 경우, 전달되는 정보는 제2 처리부(230)가 관찰에 따라 획득한 데이터(관찰 데이터)를 포함할 수 있으며, 예를 들어 현 상태에서의 보상(감가율에 따라 할인된 보상을 포함할 수 있음), 다음 상태에서의 보상(동일하게 할인된 보상을 포함 가능함), 현재 행동, 다음 행동, 시간 슬롯(예를 들어, 관찰 기간) 및 시간적 차이 오류(즉, 이익) 중 적어도 하나를 포함할 수 있다.
일 실시예에 의하면, 제1 에너지 관리부(110)로의 정보(일례로 관찰 데이터)의 전달은 특정한 타임 슬롯이 종료된 이후에 수행되는 것도 가능하다. 보다 구체적으로 예를 들어, 제2 처리부(230)는 미리 정의된 관찰 기간(예를 들어, 15분, 60분 또는 그 이상의 기간) 동안에 상술한 동작(231 내지 236)을 계속해서 반복 수행하고, 관찰 기간이 경과되면, 획득한 정보를 제1 에너지 관리부(110)로 전달할 수도 있다. 이 경우, 제1 에너지 관리부(110)에 전달되는 정보는 타임 슬롯의 종료 시점(즉, 관찰 기간이 종료된 시점)에서의 정보(즉, 관찰 데이터)를 포함할 수 있다. 실시예에 따라서, 제2 처리부(230)는 관찰 기간과 무관하게 정보를 제1 에너지 관리부(110)로 전달하는 것도 가능하다. 또한, 일 실시예에 의하면, 제2 처리부(230)가 획득한 정보의 전달은 비동기적으로 수행될 수도 있다. 다시 말해서, 제2 처리부(230)가 정보를 획득 및 갱신한다고 하더라도 획득 및 갱신한 정보가 획득 및 갱신 때마다 제1 에너지 관리부(110)로 전달되는 것은 아닐 수도 있다. 다른 실시예에 의하면, 이와 반대로 제2 처리부(230)가 획득한 정보의 전달은 동기적으로 수행될 수도 있다. 다시 말해서, 정보의 획득 시마다 제2 처리부(230)가 획득한 정보가 바로 또는 일정 시간 이내에 제1 처리부(130)로 전달될 수도 있다.
제1 처리부(130)는 제2 에너지 관리부(210)로부터 전달된 정보, 즉 관찰 데이터를 이용하여 학습 및 훈련을 수행할 수 있다. 보다 상세하게는 제1 처리부(130)는 먼저 제2 기지국 시스템(200)으로부터 전달된 정보를 이용하여 신경망 매개 변수를 최적화할 수 있다(132). 보다 구체적으로 예를 들어, 제1 처리부(130)는 제2 처리부(230)로부터 동기적으로 또는 비동기적으로 수신한 정보를 기반으로 각각의 제2 기지국 시스템(200)에 대한 정책 기울기를 갱신할 수 있다. 또한, 제1 처리부(130)는 엔트로피 손실이나 손실의 기울기는 제2 처리부(230)가 송신한 정보를 기반으로 추정할 수도 있다. 아울러, 제1 처리부(130)는 장기 종속성의 유지를 위해 자체 상태 정보를 생성하고, 생성한 자체 상태 정보를 신경망 매개 변수를 최적화에 사용할 수도 있다. 매개 변수의 최적화는 소정의 학습 알고리즘(일례로 장단기 메모리)를 이용하여 수행될 수도 있다. 일 실시예에 의하면, 제1 처리부(130)는 제2 처리부(230)의 학습 알고리즘과 동일한 종류의 학습 알고리즘을 이용하여 학습을 수행할 수도 있으며, 이 경우 양 처리부(130, 230)의 학습 알고리즘은 동일한 크기의 셀들로 형성된 학습 알고리즘일 수도 있다. 실시예에 따라서, 제1 처리부(130)의 학습 알고리즘은 제2 처리부(130)의 학습 알고리즘과 서로 상이할 수도 있다. 또한, 제1 처리부(130)는 하나의 학습 알고리즘을 이용하여 학습을 수행할 수도 있고, 동일한 다수의 학습 알고리즘을 이용하여 학습을 수행할 수도 있다. 실시예에 따라, 제1 처리부(130)는 서로 상이한 다수의 학습 알고리즘을 이용하여 학습을 수행하는 것도 가능하다.
제1 처리부(130)는 순차적으로 또는 비순차적으로 시스템(10) 내의 장치들(100, 200, 200-1)에 관한 전역적인 에너지 디스패치 정책을 결정할 수도 있다(134). 제1 처리부(130)는, 전역적인 에너지 디스패치 정책의 결정을 위해 별도의 이익 함수를 이용할 수 있다. 이익 함수는 각 제2 에너지 관리부(210)의 관찰 결과(데이터)를 이용하여 실행되는 것일 수 있다.또한, 제1 처리부(130)는 최적의 신경망 매개 변수를 결정하기 위하여 시스템(10)에 대한 정책 손실(policy loss)에 대한 함수(정책 손실 함수)를 추정할 수도 있으며, 구체적으로 예를 들어 정책 손실 함수의 기울기를 추정할 수도 있다(136). 정책 손실 함수의 추정은 경사 하강법이나 확률적 경사 하강법 등을 이용하여 수행될 수 있다. 제1 처리부(130)에 의해 획득된 신경망 매개 변수는 통신부(121, 221)를 통해 제2 처리부(230)로 전달될 수 있다. 신경망 매개 변수의 전송은 주기적으로 수행될 수도 있고 비주기적으로 수행될 수도 있다. 주기적으로 신경망 매개 변수가 전송되는 경우, 매개 변수의 전송 간격은 학습 모델과 디스패치 정책의 목표에 따라 상이하게 결정될 수 있다.
상술한 동작에 따라서 제1 처리부(130)는 전역적인 신경망 매개 변수를 획득할 수 있다.
신경망 매개 변수를 수신하면, 제2 에너지 관리부(210)의 제2 처리부(230)는 신경망 매개 변수를 기반으로 학습을 수행하고(232a), 이를 기반으로 에너지 생산 및 수요에 대응하는 정책을 결정하거나 및/또는 필요한 동작을 결정할 수 있다. 이 경우, 제2 에너지 관리부(210)는 소정의 시간 슬롯(예를 들어, 관찰 기간)이 종료된 이후에 수신한 신경망 매개 변수를 기반으로 자체 에너지 디스패치 정책을 결정할 수도 있다.
상술한 제1 처리부(130)의 동작(132, 134, 136)은 제2 처리부(230)의 동작(231 내지 236)과 비동기적으로 수행될 수도 있다.
이하 도 4를 참조하여 에너지 관리 방법의 여러 실시예에 대해서 설명하도록 한다.
도 4는 에너지 관리 방법의 일 실시예에 대한 흐름도이다.
도 4에 도시된 바에 의하면, 먼저 타임 슬롯이 시작된다(300). 타임 슬롯의 진행 및 경과 여부는, 상대적으로 작은 구역을 포괄하는 제2 기지국 시스템의 제2 처리부에 의해 수행될 수 있으며, 필요에 따라 제1 기지국 시스템의 제1 처리부에 의해서도 수행될 수 있다. 제1 처리부 및 제2 처리부 양자 모두에 의해 처리되는 경우, 타임 슬롯은 양자 모두 동일한 길이를 가질 수 있으며, 동시에 시작하여 동시에 종료되도록 설계될 수 있다. 타임 슬롯은 관찰 기간을 포함할 수 있으며, 관찰 기간은, 예를 들어, 15분, 60분 또는 그 이상의 시간 등으로 설계자나 사용자의 선택에 따라 다양하게 결정될 수 있다.
제1 기지국 시스템의 제1 처리부 및/또는 적어도 하나의 제2 기지국 시스템의 제2 처리부는 수집한 데이터를 기반으로 상태를 결정하고 결정한 상태에 대응하는 상태 정보를 생성할 수 있다. 여기서 상태 정보는 강화 학습의 수행에 이용되는 정보일 수 있다. 상태 정보는 예측 스케줄링이나 로드 밸런싱 등과 같은 모델을 기반으로 수행될 수 있다. 아울러 상태 선택과 더불어 데이터 전 처리 등도 수행될 수 있다.
순차적으로 상태 정보를 기반으로 학습 또는 훈련이 수행될 수 있으며, 학습 또는 훈련이 진행되는 동안에 또는 학습 또는 훈련이 종료된 이후에 동작이 결정될 수 있다(304). 또한, 학습 또는 훈련은 반복 과정(310, 322)에서 사전에 제2 처리부에 의해 획득되었던 동작과 보상을 이용하여 수행될 수도 있다. 실시예에 따라서, 학습 또는 훈련은 제1 기지국 시스템의 제1 에너지 관리부로부터 전달된 신경망 관련 매개 변수를 더 이용하여 수행될 수도 있다. 학습 또는 훈련은 소정의 하나 또는 둘 이상의 학습 알고리즘을 기반으로 처리될 수 있으며, 여기서 학습 알고리즘은 예를 들어 장단기 메모리, 심층 강화 학습 또는 순환 신경망 등을 하나 또는 둘 이상 포함할 수 있다.
동작이 결정되면, 결정된 동작에 대응하는 보상이 계산되어 결정될 수 있다(306). 보상은 보상 모델을 이용하여 계산될 수 있으며, 보상 계산의 결과는 이용되는 보상 모델에 따라 달라질 수 있다. 보상 모델은 실시예에 따라서 사전에 결정된 것일 수도 있고, 또는 에너지 관리 방법의 수행 중에 결정된 것일 수도 있다.
보상의 계산과 동시에 또는 이시에 학습에 필요한 적어도 하나의 함수나 정책 기울기 등이 연산 및 추정될 수 있다(308). 예를 들어, 함수나 정책 기울기의 추정은, 보상의 계산이 종료된 이후에 수행될 수 있다. 여기서 적어도 하나의 함수는 가치 함수 및 이익 함수 중 적어도 하나를 포함할 수 있다. 함수는 가치 함수 및 이익 함수 중 적어도 하나를 포함할 수 있다. 일 실시예에 의하면, 가치 함수는 벨만 방정식에 기반한 보상 기대 가치 함수를 이용하여 수행될 수 있고, 이익 함수는 시간적 차이를 기반으로 추정될 수 있으나, 이에 한정되는 것은 아니다.
상술한 과정에 따라서 현재의 행동, 현재의 행동에 대응하는 보상, 시간 슬롯과 관련된 정보, 가치 함수, 이익 함수 및/또는 이외 제1 에너지 관리부의 동작에 필요한 기타 정보 등과 같은 관찰 데이터가 획득될 수 있게 된다. 또한, 후술하는 바와 같이 반복적 동작(310)에 따라서 다음 행동 및 다음 행동에 대응하는 보상 중 적어도 하나가 더 획득될 수도 있다.
순차적으로 타임 슬롯의 종료 여부가 판단될 수 있다(310). 만약 시간이 충분히 경과하지 않아 타임 슬롯이 종료되지 않았다면(310의 아니오), 상태 선택(302), 학습 및 행동 결정(304), 보상 계산(308) 및 각종 함수 및 기울기 추정 과정(308)은 계속해서 반복 실행될 수 있다. 반대로 타임 슬롯이 종료되었다면(310의 예), 제2 에너지 관리부에 의해 획득된 정보(즉, 관찰 데이터)는 제1 에너지 관리부로 유선 또는 무선 통신 네트워크를 통해 전달될 수 있다(312). 관찰 데이터의 송신은 비동기적으로 수행될 수도 있고 또는 동기적으로 수행될 수도 있다.
제1 기지국 시스템의 제1 에너지 관리부는, 제2 에너지 관리부로부터 관찰 데이터를 수신하고, 관찰 데이터를 이용하여 학습 및 훈련을 수행할 수 있다. 이 경우, 제1 에너지 관리부는, 에너지 관리 시스템 내의 모든 제2 에너지 관리부로부터 관찰 데이터를 수신할 수도 있고 또는 에너지 관리 시스템 내의 일부의 제2 에너지 관리부만으로부터 관찰 데이터를 수신할 수도 있다.
제1 에너지 관리부의 제1 처리부는 신경망 매개 변수를 최적화할 수 있다(314). 상세하게는 제1 처리부는 제2 기지국 시스템에 대한 정책 기울기를 갱신하거나, 제2 에너지 관리부로부터 수신한 정보를 기초로 엔트로피 손실이나 손실의 기울기를 추정하거나, 자체 상태 정보를 획득할 수도 있다. 신경망 매개 변수의 최적화는 하나의 학습 알고리즘을 이용하거나 또는 둘 이상의 학습 알고리즘을 조합 이용하여 수행될 수 있다. 여기서 학습 알고리즘은 장단기 메모리, 심층 강화 학습 또는 순환 신경망 등을 포함할 수 있다. 실시예에 따라서 제1 처리부의 학습 알고리즘은 제2 에너지 관리부의 제2 처리부의 학습 알고리즘과 동일할 수도 있고 상이할 수도 있다. 일례로 제1 처리부의 학습 알고리즘과 제2 처리부의 학습 알고리즘은 서로 동일한 크기의 셀들로 이루어진 심층 강화 학습 알고리즘일 수도 있다.
또한 제1 에너지 관리부의 제1 처리부는 전역적 에너지 디스패치 정책을 결정할 수도 있으며, 이를 위해 소정의 이익 함수를 이용할 수도 있다(316). 정책의 결정은 최적화 과정(314)과 더불어 또는 순차적으로 수행될 수 있다.
또한, 제1 에너지 관리부의 제1 처리부는 정책 손실 함수를 추정할 수도 있으며, 구체적으로는 정책 손실 함수의 기울기를 추정할 수도 있다(318). 정책 손실 함수의 추정 과정(318)은 최적화 과정(314) 또는 정책 결정 과정(316)과 동시에 또는 순차적으로 수행될 수도 있다.
이에 따라 제1 에너지 관리부는 에너지 관리 시스템 내의 각 기지국 시스템 각각이 이용할 전역적인 신경망 매개 변수를 획득할 수 있게 된다. 획득된 매개 변수는 대응하는 제2 기지국 시스템의 제2 에너지 관리부로 각각 전송될 수 있다(320).
상술한 과정(300 내지 320)는 실시예에 따라서 계속해서 반복 수행될 수도 있다(322의 예).
상술한 실시예에 따른 에너지 관리 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다.
상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 솔리드 스테이트 드라이브(SSD), 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치, 하드 디스크나 플로피 디스크 등과 같은 자기 디스크 저장 매체, 콤팩트 디스크나 디브이디 등과 같은 광 기록 매체, 플롭티컬 디스크 등과 같은 자기-광 기록 매체 및 자기 테이프 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 적어도 한 종류의 물리적 장치를 포함할 수 있다.
이상 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 장치 및 시스템의 여러 실시예에 대해 설명하였으나, 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 장치 및 시스템은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 방법, 장치 또는 시스템 역시 상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 장치 또는 시스템의 일례가 될 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나 다른 구성 요소 또는 균등물에 의하여 대치되거나 또는 치환되더라도 상술한 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 장치 및 시스템의 일 실시예가 될 수 있다.
2: 전력망 제어부
9: 전력 그리드
10: 에너지 관리 시스템 100: 제1 기지국 시스템
101: 제1 기지국부 102: 제1 에너지 생성부
103: 제1 에너지 저장부 110: 제1 에너지 관리부
130: 제1 처리부 200: 제2 기지국 시스템
201: 제2 기지국부 202: 제2 에너지 생성부
203: 제2 에너지 저장부 210: 제2 에너지 관리부
230: 제2 처리부
10: 에너지 관리 시스템 100: 제1 기지국 시스템
101: 제1 기지국부 102: 제1 에너지 생성부
103: 제1 에너지 저장부 110: 제1 에너지 관리부
130: 제1 처리부 200: 제2 기지국 시스템
201: 제2 기지국부 202: 제2 에너지 생성부
203: 제2 에너지 저장부 210: 제2 에너지 관리부
230: 제2 처리부
Claims (19)
- 제1 에너지 관리부; 및
상기 제1 에너지 관리부와 통신 가능한 적어도 하나의 제2 에너지 관리부;를 포함하되,
상기 적어도 하나의 제2 에너지 관리부는 수집한 데이터를 이용하여 관찰 데이터를 획득하고 획득한 관찰 데이터를 상기 제1 에너지 관리부로 전송하고,
상기 제1 에너지 관리부는 상기 관찰 데이터를 기반으로 학습을 수행하여 전역적 신경망 매개 변수를 획득하고, 상기 신경망 매개 변수를 상기 제2 에너지 관리부로 전달하고,
상기 적어도 하나의 제2 에너지 관리부는 상기 신경망 매개 변수 및 상기 수집한 데이터를 이용하여 학습을 수행하여 에너지 디스패치를 결정하는 에너지 관리 시스템. - 제1항에 있어서,
상기 적어도 하나의 제2 에너지 관리부는, 상기 수집한 데이터를 기반으로 상태를 선택하고, 선택한 상기 상태를 기반으로 학습을 수행하여 행동 및 상기 행동에 대응하는 보상을 결정하고, 상기 행동 및 상기 보상을 상기 제1 에너지 관리부로 전송하는 에너지 관리 시스템. - 제2항에 있어서,
상기 적어도 하나의 제2 에너지 관리부는, 가치 함수, 이익 함수 및 정책 기울기 중 적어도 하나를 추정하는 에너지 관리 시스템. - 제1항에 있어서,
상기 적어도 하나의 제2 에너지 관리부는, 미리 정의된 타임 슬롯 동안 반복적으로 관찰 데이터를 획득하고, 상기 타임 슬롯이 종료되면 종료 시점에서의 관찰 데이터를 상기 제1 에너지 관리부로 전송하는 에너지 관리 시스템. - 제1항에 있어서,
상기 제1 에너지 관리부는, 전역적 에너지 디스패치 정책을 결정하거나, 또는 정책 손실을 평가하는 에너지 관리 시스템. - 제1항에 있어서,
상기 적어도 하나의 제2 에너지 관리부와 연결되고 외부의 장치와 통신을 수행하며 에너지를 소비하는 적어도 하나의 기지국부; 및
상기 적어도 하나의 제2 에너지 관리부와 연결되고 대체 에너지를 생산하는 에너지 생성부; 중 적어도 하나를 포함하는 에너지 관리 시스템. - 제1항에 있어서,
상기 제1 에너지 관리부는, 외부와의 통신 수행을 위해 에너지를 소비하는 적어도 하나의 기지국부 및 대체 에너지를 생산하는 에너지 생성부 중 적어도 하나와 연결되고, 상기 기지국부 및 상기 에너지 생성부 중 적어도 하나로부터 수집한 데이터를 이용하여 학습을 수행하고, 학습 수행에 따라 획득한 정보를 기반으로 학습을 수행하여 전역적 신경망 매개 변수를 획득하고, 상기 신경망 매개 변수를 이용하여 학습을 수행하여 에너지 디스패치를 결정하는 에너지 관리 시스템. - 외부의 에너지 관리 장치로부터 관찰 데이터를 수신하는 통신부;
상기 관찰 데이터를 기반으로, 에너지 디스패치 정책의 결정에 관한 학습 알고리즘을 위한 최적화된 신경망 매개 변수를 획득하는 처리부;를 포함하되,
상기 통신부는 상기 신경망 매개 변수를 상기 외부의 에너지 관리 장치로 전송하는 에너지 관리 장치. - 제8항에 있어서,
상기 처리부는, 정책 손실 함수의 기울기를 평가하여 최적화된 신경망 매개 변수를 획득하는 에너지 관리 장치. - 에너지의 생산 및 수요에 관한 데이터를 수집하는 데이터 수집부;
상기 데이터 수집부가 수집한 데이터를 기반으로 관찰 데이터를 획득하는 처리부; 및
상기 관찰 데이터를 에너지 관리 장치로 전송하고, 상기 외부의 에너지 관리 장치로부터 신경망 매개 변수를 수신하는 통신부;를 포함하되,
상기 처리부는 상기 신경망 매개 변수를 이용하여 학습을 수행하는 에너지 관리 장치. - 제10항에 있어서,
상기 처리부는 상기 수집한 데이터를 이용하여 상태를 선택하고, 선택한 상태를 기반으로 학습을 수행하여 행동 및 상기 행동에 대응하는 보상을 결정하는 에너지 관리 장치. - 제10항에 있어서,
상기 처리부는 미리 정의된 타임 슬롯 동안 반복적으로 상기 관찰 데이터를 획득하고,
상기 통신부는 상기 타임 슬롯이 종료된 이후에 상기 관찰 데이터를 상기 외부의 관리 장치로 전송하는 에너지 관리 장치. - 제10항에 있어서,
상기 처리부는 가치 함수, 이익 함수 및 정책 기울기 중 적어도 하나를 추정하는 에너지 관리 장치. - 에너지 수요 및 생산에 관하여 데이터를 수집하는 단계;
상기 데이터를 기반으로 관찰 데이터가 획득되는 단계;
상기 관찰 데이터를 이용하여 학습을 더 수행함으로써 복수의 에너지 관리 장치에 의해 이용되는 전역적 신경망 매개 변수가 획득되는 단계; 및
상기 전역적 신경망 매개 변수 및 상기 수집한 데이터를 이용하여 학습을 더 수행함으로써, 각각의 에너지 관리 장치의 에너지 디스패치 정책이 결정되는 단계;를 포함하는 에너지 관리 방법. - 제14항에 있어서,
상기 데이터를 기반으로 관찰 데이터가 획득되는 단계는,
상기 수집한 데이터를 기반으로 상태를 선택하는 단계; 및
선택한 상기 상태를 기반으로 학습을 수행하여 행동 및 상기 행동에 대응하는 보상을 결정하는 단계;를 포함하는 에너지 관리 방법 - 제15항에 있어서,
상기 데이터를 기반으로 관찰 데이터가 획득되는 단계는,
가치 함수, 이익 함수 및 정책 기울기 중 적어도 하나를 추정하는 단계;를 더 포함하는 에너지 관리 방법. - 제14항에 있어서,
상기 에너지 수요 및 생산에 관하여 데이터를 수집하는 단계 및 상기 데이터를 기반으로 관찰 데이터가 획득되는 단계가, 미리 정의된 타임 슬롯 동안 계속해서 반복되는 단계;를 더 포함하는 에너지 관리 방법. - 제14항에 있어서,
상기 에너지 수요 및 생산에 관하여 데이터를 수집하는 단계 및 상기 데이터를 기반으로 관찰 데이터가 획득되는 단계는 제2 장치에 의해 수행되고,
상기 관찰 데이터를 이용하여 학습을 더 수행함으로써 복수의 에너지 관리 장치에 의해 이용되는 전역적 신경망 매개 변수가 획득되는 단계는, 상기 제2 장치와 상이한 제1 장치에 의해 수행되는 에너지 관리 방법. - 제18항에 있어서,
상기 제2 장치가 상기 제1 장치로 상기 관찰 데이터를 전송하는 단계; 및 상기 제1 장치가 상기 제2 장치로 상기 전역적 신경망 매개 변수를 전송하는 단계;를 더 포함하는 에너지 관리 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/002,530 US11775042B2 (en) | 2020-08-25 | 2020-08-25 | Method, apparatus and system for managing energy in self-powered network |
| KR1020200106769A KR102383321B1 (ko) | 2020-08-25 | 2020-08-25 | 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200106769A KR102383321B1 (ko) | 2020-08-25 | 2020-08-25 | 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20220026110A true KR20220026110A (ko) | 2022-03-04 |
| KR102383321B1 KR102383321B1 (ko) | 2022-04-06 |
| KR102383321B9 KR102383321B9 (ko) | 2022-12-05 |
Family
ID=80356800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200106769A KR102383321B1 (ko) | 2020-08-25 | 2020-08-25 | 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11775042B2 (ko) |
| KR (1) | KR102383321B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220190990A1 (en) * | 2020-12-16 | 2022-06-16 | Qualcomm Incorporated | Network-configured training procedure |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013106202A (ja) * | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
| KR20200084431A (ko) * | 2018-12-26 | 2020-07-13 | 삼성전자주식회사 | 신경망 기반의 데이터 처리 방법, 신경망 트레이닝 방법 및 그 장치들 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190019082A1 (en) * | 2017-07-12 | 2019-01-17 | International Business Machines Corporation | Cooperative neural network reinforcement learning |
| WO2019075430A1 (en) * | 2017-10-12 | 2019-04-18 | Gravyty Technologies, Inc. | SYSTEMS AND METHODS FOR PROVIDING AND MANAGING PROACTIVE AND INTELLIGENT COMMUNICATIONS |
| WO2019197712A1 (en) * | 2018-04-09 | 2019-10-17 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US10580424B2 (en) * | 2018-06-01 | 2020-03-03 | Qualcomm Incorporated | Perceptual audio coding as sequential decision-making problems |
| WO2020070376A1 (en) * | 2018-10-02 | 2020-04-09 | Nokia Technologies Oy | An apparatus, a method and a computer program for running a neural network |
| JP7135969B2 (ja) * | 2019-03-27 | 2022-09-13 | 富士通株式会社 | 情報処理方法及び情報処理装置 |
| US11449651B2 (en) * | 2019-11-05 | 2022-09-20 | Ford Global Technologies, Llc | Enhanced component dimensioning |
-
2020
- 2020-08-25 US US17/002,530 patent/US11775042B2/en active Active
- 2020-08-25 KR KR1020200106769A patent/KR102383321B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013106202A (ja) * | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
| KR20200084431A (ko) * | 2018-12-26 | 2020-07-13 | 삼성전자주식회사 | 신경망 기반의 데이터 처리 방법, 신경망 트레이닝 방법 및 그 장치들 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220066526A1 (en) | 2022-03-03 |
| US11775042B2 (en) | 2023-10-03 |
| KR102383321B1 (ko) | 2022-04-06 |
| KR102383321B9 (ko) | 2022-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Offloading time optimization via Markov decision process in mobile-edge computing | |
| Lin et al. | A survey on computation offloading modeling for edge computing | |
| Zhu et al. | BLOT: Bandit learning-based offloading of tasks in fog-enabled networks | |
| Zhang et al. | Distributed energy management for multiuser mobile-edge computing systems with energy harvesting devices and QoS constraints | |
| Zheng et al. | Deep reinforcement learning-based workload scheduling for edge computing | |
| Qiao et al. | Online learning and optimization for computation offloading in D2D edge computing and networks | |
| CN109951873B (zh) | 一种物联网雾计算中信息不对称不确定下的任务卸载机制 | |
| Tang et al. | Energy efficient and deadline satisfied task scheduling in mobile cloud computing | |
| Thananjeyan et al. | Mobility-aware energy optimization in hosts selection for computation offloading in multi-access edge computing | |
| CN113645637B (zh) | 超密集网络任务卸载方法、装置、计算机设备和存储介质 | |
| Liu et al. | RLC: A reinforcement learning-based charging algorithm for mobile devices | |
| Castro et al. | Modeling the energy harvested by an RF energy harvesting system using gamma processes | |
| Temesgene et al. | Distributed deep reinforcement learning for functional split control in energy harvesting virtualized small cells | |
| Li et al. | Multi-layer coordination for high-performance energy-efficient federated learning | |
| KR102383321B1 (ko) | 자가 발전원을 갖는 네트워크 내에서의 에너지 관리 방법, 이를 수행하기 위한 장치 및 시스템 | |
| Muhammad et al. | Deep-reinforcement-learning-based sustainable energy distribution for wireless communication | |
| Bai et al. | Joint optimization of computation offloading, data compression, energy harvesting, and application scenarios in fog computing | |
| Ghafouri et al. | Mobile-kube: Mobility-aware and energy-efficient service orchestration on kubernetes edge servers | |
| Gong et al. | Dependent Task‐Offloading Strategy Based on Deep Reinforcement Learning in Mobile Edge Computing | |
| CN106921985B (zh) | 一种超密集网络的自组织优化方法及装置 | |
| Ibrahim | Enhanced power management scheme for embedded road side units | |
| Yang et al. | On sampling time maximization in wireless powered Internet of Things | |
| Yang et al. | Computation offloading time optimisation via Q‐learning in opportunistic edge computing | |
| Ray et al. | Designing energy efficient strategies using markov decision process for crowd-sensing applications | |
| Vieira et al. | An energy management method of sensor nodes for environmental monitoring in Amazonian Basin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| G170 | Re-publication after modification of scope of protection [patent] |