KR102576947B1 - 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치 - Google Patents

다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치 Download PDF

Info

Publication number
KR102576947B1
KR102576947B1 KR1020210140987A KR20210140987A KR102576947B1 KR 102576947 B1 KR102576947 B1 KR 102576947B1 KR 1020210140987 A KR1020210140987 A KR 1020210140987A KR 20210140987 A KR20210140987 A KR 20210140987A KR 102576947 B1 KR102576947 B1 KR 102576947B1
Authority
KR
South Korea
Prior art keywords
power usage
agents
agent
power
information
Prior art date
Application number
KR1020210140987A
Other languages
English (en)
Other versions
KR20230057039A (ko
Inventor
김진영
선영규
Original Assignee
주식회사 스마트에버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스마트에버 filed Critical 주식회사 스마트에버
Priority to KR1020210140987A priority Critical patent/KR102576947B1/ko
Publication of KR20230057039A publication Critical patent/KR20230057039A/ko
Application granted granted Critical
Publication of KR102576947B1 publication Critical patent/KR102576947B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Power Engineering (AREA)
  • Neurology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

본 실시예들은 다중 에이전트를 가지는 심층 강화학습 모델을 이용하여 전력 사용 예측 정확도를 개선할 수 있는 전력 사용량 예측 방법 및 장치를 제공한다.

Description

다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치 {METHOD AND APPARATUS FOR POWER CONSUMPTION PREDICTION BASED ON DEEP REINFORCEMENT LEARNING WITH MULTI-AGENT}
본 발명이 속하는 기술 분야는 심층 강화학습 기반 전력 사용량 예측 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
전력 네트워크의 높은 신뢰성과 안정적인 전력공급을 위해 스마트그리드(smart grid) 연구가 활발히 진행되고 있다. 스마트그리드 분야에서 전력의 수요와 공급면에서 발생 가능한 문제를 해결할 수 있는 시스템으로 마이크로그리드(microgrid)를 주목하고 있다. 마이크로그리드의 에너지 관리 시스템의 주요 기능은 전력 발전량과 전력 수요 예측량을 고려하여 전력을 효율적으로 관리하는 것이다. 전력 수요량을 정확히 예측하기 위해서는 좋은 성능의 전력 사용량 예측 기술이 요구된다. 전력 사용량 예측 기술은 장기, 중기, 단기로 구분될 수 있으며 마이크로그리드에서의 효율적 실시간 전력 관리를 위해 단기 예측 기술이 필요하다.
전력 사용 예측을 위해 다양한 예측 모델이 개발되었으나 시간, 장소, 날씨 등 전력 사용 데이터 이외의 데이터가 수집되어야 높은 정확도를 가진다. 이에 전력 사용 예측 모델의 높은 정확도에 따른 모델의 복잡성에 문제가 있다.
한국공개특허공보 제10-2018-0060317호 (2018.06.07) 한국공개특허공보 제10-2015-0129835호 (2015.11.20)
본 발명의 실시예들은 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용 예측을 통해 효율적 전력 관리를 제공하는데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 전력 사용량 예측 장치에 의한 전력 사용량 예측 방법에 있어서, 부하로부터 전력 사용을 감지하고 전력 사용량을 측정하는 단계; 상기 전력 사용량으로부터 복수의 에이전트를 갖는 전력 사용량 예측 모델을 통해 예측한 전력 예측량을 출력하는 단계를 포함하는 전력 사용량 예측 방법을 제공한다.
상기 전력 사용량 예측 방법은 상기 전력 사용량을 측정하는 단계 이후에, 상기 전력 사용량 예측 모델을 학습하는 단계를 포함할 수 있다.
상기 전력 사용량 예측 모델을 학습하는 단계는, 상기 전력 사용량 예측 장치의 환경부와 상기 에이전트의 상호작용의 결과를 저장부에 저장하고 저장된 데이터를 통해 상기 에이전트를 학습시킬 수 있다.
상기 전력 예측 데이터를 출력하는 단계는, 상기 전력 사용량의 자릿수에 매칭하는 상기 복수의 에이전트의 조합에 의해 상기 전력 예측 데이터를 예측할 수 있다.
상기 전력 예측 데이터를 출력하는 단계는, 상기 전력 사용량의 자릿수에 매칭하는 상기 복수의 에이전트의 조합에 의해 상기 전력 예측 데이터를 예측할 수 있다.
상기 전력 사용량 예측 모델은, 강화 학습 기반의 심층 Q 네트워크 모델을 적용하며, 상기 심층 Q 네트워크 모델의 네트워크에 LSTM(Long-Short Term Memory) 기반의 가치 함수를 적용할 수 있다.
본 실시예의 다른 측면에 의하면, 전력 사용량 예측 장치에 있어서, 전력 사용량을 측정하는 측정부; 상기 측정부로부터 상기 전력 사용량을 수신하고 저장하는 저장부; 상기 저장부로부터 상기 전력 사용량을 수신하고 상기 전력 사용량을 기반으로 현재 상태를 결정하는 환경부; 상기 환경부로부터 상기 현재 상태 정보를 수신하고 상기 현재 상태 정보를 기반으로 최대 보상을 받을 수 있는 행동을 선택하여 행동 정보 및 보상 정보를 상기 환경부로 전송하는 상기 복수의 에이전트를 갖는 에이전트부를 포함하는 전력 사용량 예측 장치를 제공할 수 있다.
상기 환경부는 상기 복수의 에이전트로부터 상기 행동 정보 및 상기 보상 정보를 수신하여 다음 상태 정보를 결정하고, 상기 저장부는 상기 환경부로부터 상기 현재 상태 정보, 상기 행동 정보, 상기 보상 정보, 상기 다음 상태 정보를 수신하여 저장할 수 있다.
상기 환경부는 현재 전력 사용량을 기준으로 복수의 단계 이전의 데이터까지의 데이터 시퀀스를 상기 현재 상태 정보로 결정하고, 상기 현재 상태 정보의 첫 단계의 데이터를 삭제하고 상기 에이전트부로부터 수신한 행동 정보를 추가한 데이터 시퀀스를 상기 다음 상태 정보로 결정할 수 있다.
상기 에이전트부는 상기 전력 사용량의 각 자릿수의 값을 상기 복수의 에이전트에 각각 할당하고, 상기 행동 정보를 0부터 9까지의 정수로 설정하고, 목표값과 예측값의 차이를 보상 정보로 설정하고, 상기 복수의 에이전트의 선택을 위해 가치 함수를 포함할 수 있다.
상기 가치 함수는 심층 순환 신경망인 LSTM(long-short term memory)으로 구성될 수 있다.
상기 에이전트부는 상기 복수의 에이전트 중에서 일부의 에이전트를 선택하고 선택된 에이전트를 활성화시키는 에이전트 제어부를 포함할 수 있다.
상기 에이전트부는 상기 일부의 에이전트가 활성화되지 않아 자릿수가 부족한 상황에서 사용하는 예비 에이전트를 포함할 수 있다.
상기 에이전트부는 전체 에이전트를 활성화시킨 상태에서 자릿수 처리 범위를 넘는 상황에서 일부의 에이전트를 시분할 처리하고 다른 에이전트의 처리 공백 시간에 처리된 데이터에 관한 임시 복사 공간을 제공하는 교환 에이전트를 포함할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 다중 에이전트를 가지는 심층 강화학습 모델을 이용하여 전력 사용 예측 정확도를 개선할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 전력 사용량 예측 장치를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 전력 사용량 예측 장치의 동작을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 전력 사용량 예측 장치를 구현한 컴퓨팅 디바이스를 예시한 도면이다.
도 4 내지 도 6은 본 발명의 다른 실시예에 따른 전력 사용량 예측 방법을 예시한 흐름도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
본 명세서에 기재된 실시예들은 다양한 에너지 분야에 적용될 수 있다. 스마트 그리드, 지능형 검침 인프라(AMI), 스마트 미터기 기반 스마트 시티 서비스, 에너지 인터넷(Internet of Energy, IoE) 서비스, 실시간 전력 사용량 분석 기반 에너지 관리 시스템(EMS) 등에 적용될 수 있다.
본 실시예에 따른 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 장치는 전력 사용 예측 모델로 다중 에이전트를 가지는 심층 강화학습 모델을 이용하여 전력 사용 예측 정확도 개선을 제공할 수 있다. 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 장치는 전력 사용량 예측 모델의 복잡성 및 처리속도 개선을 제공할 수 있다. 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 장치는 발전된 효율적 전력 관리를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전력 사용량 예측 장치를 예시한 도면이다.
전력 사용량 예측 장치는 측정부(100), 저장부(200), 환경부(300), 에이전트부(400)를 포함한다. 전력 사용량 예측 장치는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 전력 사용량 예측 장치는 표시부 등을 추가로 포함할 수 있다.
측정부(100)는 전력 사용량을 측정한다. 예컨대, 사용 전류를 감지하고 사용 에너지를 측정한다. 측정부는 비접촉식 전류 감지기를 통해 부하의 도선에 흐르는 전류를 감지할 수 있다.
저장부(200)는 측정부로부터 전력 사용량을 수신하고 저장한다. 저장부는 환경부로부터 현재 상태 정보, 행동 정보, 보상 정보, 다음 상태 정보를 수신하여 저장한다.
환경부(300)는 저장부로부터 전력 사용량을 수신하고 전력 사용량을 기반으로 현재 상태를 결정한다. 환경부는 복수의 에이전트로부터 행동 정보 및 보상 정보를 수신하여 다음 상태 정보를 결정한다. 환경부는 현재 전력 사용량을 기준으로 복수의 단계 이전의 데이터까지의 데이터 시퀀스를 상기 현재 상태 정보로 결정하고, 현재 상태 정보의 첫 단계의 데이터를 삭제하고 에이전트부로부터 수신한 행동 정보를 추가한 데이터 시퀀스를 다음 상태 정보로 결정한다.
에이전트부(400)는 환경부로부터 현재 상태 정보를 수신하고 현재 상태 정보를 기반으로 최대 보상을 받을 수 있는 행동을 선택하여 행동 정보 및 보상 정보를 환경부로 전송하는 복수의 에이전트(411, 412, 413, 414)를 갖는다.
에이전트부(400)는 전력 사용량의 각 자릿수의 값을 복수의 에이전트에 각각 할당하고, 행동 정보를 0부터 9까지의 정수로 설정하고, 목표값과 예측값의 차이를 보상 정보로 설정하고, 복수의 에이전트의 선택을 위해 가치 함수를 적용한다. 가치 함수는 심층 순환 신경망인 LSTM(long-short term memory)으로 구현될 수 있다.
s는 현재 상태, a는 행동, s'은 다음 상태, r(s,a)는 상태 s에서 행동 a를 취할 때의 보상, Q(s,a)는 s에서 행동 a를 취할 때의 가치, γ는 할인율이다.
에이전트부(400)는 복수의 에이전트 중에서 일부의 에이전트를 선택하고 선택된 에이전트를 활성화시키는 에이전트 제어부(420)를 포함한다. 각각의 에어전트에 활성화 신호를 전송하여 활성화/비활성화를 제어한다.
에이전트부(400)는 일부의 에이전트가 활성화되지 않아 자릿수가 부족한 상황에서 사용하는 예비 에이전트(430)를 포함한다. 오류 발생한 에이전트를 예비 에이전트(430)로 대체할 수 있다. 에이전트 제어부(420)가 대체 경로를 설정한다. 에이전트 제어부(420)는 오류 발생한 에이전트의 전/후단에 연결된 신호 경로를 예비 에이전트(430)의 전/후단에 연결한다.
에이전트부(400)는 전체 에이전트를 활성화시킨 상태에서 자릿수 처리 범위를 넘는 상황에서 일부의 에이전트를 시분할 처리하고 다른 에이전트의 처리 공백 시간에 처리된 데이터에 관한 임시 복사 공간을 제공하는 교환 에이전트(400)를 포함한다. 교환 에이전트(400)는 일부의 에어전트가 시구간에 따라 처리한 데이터를 일종의 블록 단위로 백업 저장하고 해당 에이전트로 다시 복귀시킨다. 교환 에이전트(400)를 통해 파이프라인 처리를 가능하게 한다.
도 2는 본 발명의 일 실시예에 따른 전력 사용량 예측 장치의 모델 동작을 예시한 도면이다.
강화학습 기반 전력 사용량 예측 모델은 강화 학습 기반의 심층 Q 네트워크 모델을 적용한다. 강화학습 기반 전력 사용량 예측 모델은 환경과 복수의 에이전트를 포함한다. 환경에 에너지 사용량 데이터가 입력되고 복수의 에이전트는 각각 상태를 입력받고 보상과 행동을 출력한다.
주변 상태에 따라 어떤 행동을 할지 판단을 내리는 주체인 에이전트가 있다. 에이전트가 속한 환경이 있다. 에이전트가 취할 수 있는 행동, 그에 따른 보상 등의 모든 규칙이 환경이며, 환경은 상태 변화를 일으키고, 보상을 계산한다. 에이전트가 행동을 하면 그에 따라 상태가 바뀌게 되고, 보상을 받을 수다. 강화학습의 목표는 주어진 환경에서 보상을 최대한 많이 받을 수 있는 에이전트를 학습하는 것이다.
에이전트는 현재 상황에서 어떤 액션을 해야 할지 결정하고, 결정된 행동을 환경으로 보내고, 환경으로부터 그에 따른 보상과 다음 상태 정보를 수신한다.
에이전트가 현재 상태에서 현재 보상을 기반으로 환경으로부터 가장 큰 다음 보상을 얻을 수 있는 행동을 할 수 있도록 신경망 네트워크를 학습시킨다.
환경은 선택된 행동 기반으로 다음 상태와 다음 보상을 전달한다.
다음 상태와 다음 보상은 다시 현재 상태와 현재 보상이 된다.
보상이 현재 상태, 행동에 대해서만 평가하는 즉각적인 값이며, 장기적으로 가장 좋은 결과를 얻을 수 있는 행동을 고르기 위해선 현재 보상이 제일 높은 행동이 아니라 누적 보상이 제일 높은 행동을 골라야 한다.
r은 보상, Etarget은 관측된 에너지(전력) 사용량 데이터 중 현재 상태에서의 다음 에너지 사용량, a는 행동을 나타낸다. 에너지 사용량의 각 자릿수의 값이 에이전트로 할당되고 각각의 에이전트는 할당된 상태에 따라 0에서 9까지의 총 10개의 행동 중 하나를 선택하여 보상을 받는다.
측정부의 측정 정밀도에 의해 에이전트 수가 결정된다. 예를 들어, 측정부가 천의자리부터 일의자리까지 표시하는 장치라면 에이전트의 수는 4개, 천의자리부터 소수점 첫째자리까지 표시하는 장치라면 에이전트의 수는 5개, 일의 자리부터 소수점 둘째자리까지 표시하는 장치라면 에이전트의 수는 3개가 될 수 있다.
상태 정보의 형태는 임의로 결정할 수 있지만 최소 2x1를 가져야 한다. 측정부가 일의 자리부터 천의 자리까지가 측정범위일 때, 에이전트의 수는 4개가 된다. 예컨대 상태 정보의 형태를 4x1로 가정한다.
측정부에서 현재 시점(t)에서 측정되는 전력이 'mnop'이고 'ijkl'은 t-1시점, 'efgh'는 t-2시점, 'abcd'는 t-3시점에서 측정값이다. 시점의 간격은 측정부의 샘플링타임에 따라 결정된다.
환경부에서 현재 상태 정보가 결정되서 각 에이전트로 현재 상태 정보가 전송된다. 에이전트#1의 경우, 측정값들의 천의 자리 숫자가 시간 순서로 현재 상태 정보([a e i m], S_#1)가 결정됩니다. 에이전트#2는 백의 자리 숫자가, 에이전트#3은 십의 자리 숫자가, 에이전트#4는 일의 자리 숫자가 에이전트#1과 동일하게 현재 상태 정보가 결정된다. S_#1, S_#2, S_#3, S_#4가 결정되어 각 에이전트의 입력되고 각 에이전트는 보상(r_#1, r_#2, r_#3, r_#4)과 행동(a_#1, a_#2, a_#3, a_#4)을 출력한다. 각 에이전트의 출력값들이 환경부로 전송되고 각 에이전트의 행동들이 결합되어 다음 상태 정보를 결정하게 된다.
도 3은 본 발명의 일 실시예에 따른 전력 사용량 예측 장치를 구현한 컴퓨팅 디바이스를 예시한 도면이다.
전력 사용량 예측 장치의 환경부 및 에이전트부 등은 프로세서 등으로 구현될 수 있다.
전력 사용량 예측 장치(11)는 적어도 하나의 프로세서(12), 컴퓨터 판독 가능한 저장매체(13) 및 통신 버스(17)를 포함한다.
프로세서(12)는 전력 사용량 예측 장치(11)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(12)는 컴퓨터 판독 가능한 저장 매체(13)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(12)에 의해 실행되는 경우 전력 사용량 예측 장치(10)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(13)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(13)에 저장된 프로그램(14)은 프로세서(12)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(13)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 전력 사용량 예측 장치(11)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(17)는 프로세서(12), 컴퓨터 판독 가능한 저장 매체(14)를 포함하여 전력 사용량 예측 장치(11)의 다른 다양한 컴포넌트들을 상호 연결한다.
전력 사용량 예측 장치(11)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(15) 및 하나 이상의 통신 인터페이스(16)를 포함할 수 있다. 입출력 인터페이스(15) 및 통신 인터페이스(16)는 통신 버스(17)에 연결된다. 입출력 장치는 입출력 인터페이스(15)를 통해 전력 사용량 예측 장치(11)의 다른 컴포넌트들에 연결될 수 있다.
도 4 내지 도 6은 본 발명의 다른 실시예에 따른 전력 사용량 예측 방법을 예시한 흐름도이다.
전력 사용량 예측 방법은 전력 사용량 예측 장치 등에 의해 동작을 수행할 수 있다.
전력 사용량 예측 장치에 의한 전력 사용량 예측 방법은, 부하로부터 전력 사용을 감지하고 전력 사용량을 측정하는 단계(S21), 전력 사용량으로부터 복수의 에이전트를 갖는 전력 사용량 예측 모델을 통해 예측한 전력 예측량을 출력하는 단계(S23)를 포함한다.
전력 사용량 예측 방법은 전력 사용량을 측정하는 단계(S21) 이후에, 전력 사용량 예측 모델을 학습하는 단계(S22)를 포함할 수 있다.
전력 사용량 예측 모델을 학습하는 단계(S22)는, 전력 사용량 예측 장치의 환경부와 에이전트의 상호작용의 결과를 저장부에 저장하고 저장된 데이터를 통해 에이전트를 학습시킬 수 있다.
전력 예측 데이터를 출력하는 단계(S23)는, 전력 사용량의 자릿수에 매칭하는 복수의 에이전트의 조합에 의해 전력 예측 데이터를 예측할 수 있다.
전력 예측 데이터를 출력하는 단계(S23)는, 전력 사용량의 자릿수에 매칭하는 복수의 에이전트의 조합에 의해 전력 예측 데이터를 예측할 수 있다.
전력 사용량 예측 모델은, 강화 학습 기반의 심층 Q 네트워크 모델을 적용하며, 심층 Q 네트워크 모델의 네트워크에 LSTM(Long-Short Term Memory) 기반의 가치 함수를 적용할 수 있다.
학습 단계에 관한 도 5를 참조하면, 전력 사용량 예측 방법은 과거 전력 사용 데이터를 수신하고(S31), 현재 상태 정보를 결정하고 다중 에이전트로 송신하고(S32), 현재 상태에서 최대 보상의 행동을 선택하고, 보상 정보 및 행동 정보를 송신하고(S33), 다음 상태를 결정하고, 현재 상태 정보, 보상 정보, 행동 정보, 다음 상태 정보를 저장하고(S34), 저장 데이터로 다중 에이전트를 학습한다(S35).
실행 단계에 관한 도 6을 참조하면, 전력 사용량 예측 방법은 전력 사용량을 측정하고(S41), 현재 상태 정보를 결정하고(S42), 학습된 다중 에이전트의 행동을 결정하고(S43), 행동 정보를 종합하고 전력 사용량을 예측한다(S44).
전력 사용량 예측 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
전력 사용량 예측 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 4 내지 도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4 내지 도 6에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 전력 사용량 예측 장치에 의한 전력 사용량 예측 방법에 있어서,
    부하로부터 전력 사용을 감지하고 전력 사용량을 측정하는 단계; 및
    상기 전력 사용량으로부터 복수의 에이전트를 갖는 전력 사용량 예측 모델을 통해 예측한 전력 예측량을 출력하는 단계를 포함하고,
    상기 전력 예측량을 출력하는 단계는, 상기 전력 사용량의 자릿수에 매칭하는 상기 복수의 에이전트의 조합에 의해 상기 전력 예측량을 예측하는 것을 특징으로 하는 전력 사용량 예측 방법.
  2. 제1항에 있어서,
    상기 전력 사용량을 측정하는 단계 이후에,
    상기 전력 사용량 예측 모델을 학습하는 단계를 포함하는 것을 특징으로 하는 전력 사용량 예측 방법.
  3. 제2항에 있어서,
    상기 전력 사용량 예측 모델을 학습하는 단계는,
    상기 전력 사용량 예측 장치의 환경부와 상기 에이전트의 상호작용의 결과를 저장부에 저장하고 저장된 데이터를 통해 상기 에이전트를 학습시키는 것을 특징으로 하는 전력 사용량 예측 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 전력 예측량을 출력하는 단계는,
    상기 전력 사용량의 자릿수에 매칭하는 상기 복수의 에이전트 각각이 병렬 처리하여 상기 전력 예측량을 예측하는 것을 특징으로 하는 전력 사용량 예측 방법.
  6. 제1항에 있어서,
    상기 전력 사용량 예측 모델은,
    강화 학습 기반의 심층 Q 네트워크 모델을 적용하며, 상기 심층 Q 네트워크 모델의 네트워크에 LSTM(Long-Short Term Memory) 기반의 가치 함수를 적용하는 것을 특징으로 하는 전력 사용량 예측 방법.
  7. 전력 사용량 예측 장치에 있어서,
    전력 사용량을 측정하는 측정부;
    상기 측정부로부터 상기 전력 사용량을 수신하고 저장하는 저장부;
    상기 저장부로부터 상기 전력 사용량을 수신하고 상기 전력 사용량을 기반으로 현재 상태를 결정하는 환경부;
    상기 환경부로부터 상기 현재 상태 정보를 수신하고 상기 현재 상태 정보를 기반으로 최대 보상을 받을 수 있는 행동을 선택하여 행동 정보 및 보상 정보를 상기 환경부로 전송하는 복수의 에이전트를 갖는 에이전트부를 포함하고,
    상기 에이전트부는, 상기 전력 사용량의 각 자릿수의 값을 상기 복수의 에이전트에 각각 할당하고, 상기 행동 정보를 0부터 9까지의 정수로 설정하고, 목표값과 예측값의 차이를 보상 정보로 설정하고, 상기 복수의 에이전트의 선택을 위해 가치 함수를 포함하는 것을 특징으로 하는 전력 사용량 예측 장치.
  8. 제7항에 있어서,
    상기 환경부는 상기 복수의 에이전트로부터 상기 행동 정보 및 상기 보상 정보를 수신하여 다음 상태 정보를 결정하고,
    상기 저장부는 상기 환경부로부터 상기 현재 상태 정보, 상기 행동 정보, 상기 보상 정보, 상기 다음 상태 정보를 수신하여 저장하는 것을 특징으로 하는 전력 사용량 예측 장치.
  9. 제8항에 있어서,
    상기 환경부는,
    현재 전력 사용량을 기준으로 복수의 단계 이전의 데이터까지의 데이터 시퀀스를 상기 현재 상태 정보로 결정하고,
    상기 현재 상태 정보의 첫 단계의 데이터를 삭제하고 상기 에이전트부로부터 수신한 행동 정보를 추가한 데이터 시퀀스를 상기 다음 상태 정보로 결정하는 것을 특징으로 하는 전력 사용량 예측 장치.
  10. 삭제
  11. 제7항에 있어서,
    상기 가치 함수는 심층 순환 신경망인 LSTM(long-short term memory)으로 구성되는 것을 특징으로 하는 전력 사용량 예측 장치.
  12. 제7항에 있어서,
    상기 에이전트부는,
    상기 복수의 에이전트 중에서 일부의 에이전트를 선택하고 선택된 에이전트를 활성화시키는 에이전트 제어부를 포함하는 것을 특징으로 하는 전력 사용량 예측 장치.
  13. 제7항에 있어서,
    상기 에이전트부는,
    일부의 에이전트가 활성화되지 않아 자릿수가 부족한 상황에서 사용하는 예비 에이전트를 포함하는 것을 특징으로 하는 전력 사용량 예측 장치.
  14. 제7항에 있어서,
    상기 에이전트부는,
    전체 에이전트를 활성화시킨 상태에서 자릿수 처리 범위를 넘는 상황에서 일부의 에이전트를 시분할 처리하고 다른 에이전트의 처리 공백 시간에 처리된 데이터에 관한 임시 복사 공간을 제공하는 교환 에이전트를 포함하는 전력 사용량 예측 장치.
KR1020210140987A 2021-10-21 2021-10-21 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치 KR102576947B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210140987A KR102576947B1 (ko) 2021-10-21 2021-10-21 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210140987A KR102576947B1 (ko) 2021-10-21 2021-10-21 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230057039A KR20230057039A (ko) 2023-04-28
KR102576947B1 true KR102576947B1 (ko) 2023-09-11

Family

ID=86143360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210140987A KR102576947B1 (ko) 2021-10-21 2021-10-21 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102576947B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988504B1 (ko) * 2019-02-28 2019-10-01 아이덴티파이 주식회사 딥러닝에 의해 생성된 가상환경을 이용한 강화학습 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160041573A1 (en) 2013-03-14 2016-02-11 Kool Koncepts Limited Energy management system
KR20180060317A (ko) 2016-11-28 2018-06-07 한국전력공사 심층 신경망 기반 수용가 전력 수요 예측 장치 및 방법
KR102089772B1 (ko) * 2017-12-18 2020-03-17 두산중공업 주식회사 전력 사용량 예측 시스템 및 방법
KR102327274B1 (ko) * 2019-06-10 2021-11-17 숭실대학교산학협력단 전력 소비량 예측 및 전력 공급 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988504B1 (ko) * 2019-02-28 2019-10-01 아이덴티파이 주식회사 딥러닝에 의해 생성된 가상환경을 이용한 강화학습 방법

Also Published As

Publication number Publication date
KR20230057039A (ko) 2023-04-28

Similar Documents

Publication Publication Date Title
Memarzadeh et al. Value of information in sequential decision making: Component inspection, permanent monitoring and system-level scheduling
Wu et al. Optimal inspection and maintenance for a repairable k-out-of-n: G warm standby system
Walter et al. Condition-based maintenance for complex systems based on current component status and Bayesian updating of component reliability
Levitin et al. Optimal sequencing of warm standby elements
US20160110933A1 (en) Generating Cumulative Wear-Based Indicators for Vehicular Components
Levitin et al. Optimization of predetermined standby mode transfers in 1-out-of-N: G systems
Chen et al. Optimal variability sensitive condition-based maintenance with a Cox PH model
JP2020042398A (ja) 半導体装置及び解析システム
US20190188581A1 (en) Switching from calendar-based to predictive maintenance: a leaner and faster software-based solution orchestrating data-driven forecasting models
US11402889B2 (en) Storage medium, job power estimation method, and job power estimating device
Zhang et al. An adaptive prognostic approach incorporating inspection influence for deteriorating systems
Sharma et al. Modeling and analysis of leftover issues and release time planning in multi-release open source software using entropy based measure
Cekyay et al. Reliability of semi-Markov missions
KR102576947B1 (ko) 다중 에이전트를 가지는 심층 강화학습 기반의 전력 사용량 예측 방법 및 장치
Yang Adaptive risk-based life-cycle management for large-scale structures using deep reinforcement learning and surrogate modeling
RU2701484C1 (ru) Устройство для определения рациональной программы технического обслуживания и эксплуатации изделия
Pradhan et al. Emerging trends and future directions in software reliability growth modeling
Cheng et al. Joint optimisation of buffer size and preventive maintenance for a deteriorating upstream machine
KR102309554B1 (ko) 심층 순환신경망 기반 에너지 사용 예측과 부하 제어 장치 및 방법
Heidrich et al. ProbPNN: Enhancing Deep Probabilistic Forecasting with Statistical Information
Pinciroli et al. Deep reinforcement learning for optimizing operation and maintenance of energy systems equipped with phm capabilities
RU2604437C2 (ru) Устройство для определения оптимального периода технического обслуживания изделия
Xu et al. An optimal solutions-guided deep reinforcement learning approach for online energy storage control
Okamura et al. Parametric uncertainty propagation through dependability models
Carmichael et al. Application of deep neural networks to distribution system state estimation and forecasting

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant