KR102556093B1

KR102556093B1 - 전력의 피크 부하를 저감하기 위한 보상 생성 방법 및 그 방법을 수행하는 동작 제어 장치

Info

Publication number: KR102556093B1
Application number: KR1020200147996A
Authority: KR
Inventors: 신철호
Original assignee: 한국전자통신연구원
Priority date: 2020-11-06
Filing date: 2020-11-06
Publication date: 2023-07-18
Also published as: KR20220061709A; US20220146996A1

Abstract

본 발명은 전력의 피크 부하를 저감하기 위한 보상 생성 방법 및 그 방법을 수행하는 동작 제어 장치에 관한 것으로, 보상 생성 방법은 건물에서 모니터링된 전력 소비 데이터를 AI 기반의 강화 학습 기법에 적용함으로써, 건물의 피크 부하 저감을 위해 연속적인 ESS 동작에 따른 보상을 생성한다.

Description

전력의 피크 부하를 저감하기 위한 보상 생성 방법 및 그 방법을 수행하는 동작 제어 장치{REWARD GENERATION METHOD TO REDUCE PEAK LOAD OF ELECTRIC POWER AND ACTION CONTROL APPARATUS PERFORMING THE SAME METHOD}

본 발명은 전력의 피크 부하를 저감하기 위한 보상 생성 방법 및 그 방법을 수행하는 동작 제어 장치에 관한 것으로, 보다 구체적으로는 건물에서 사용되는 전력의 피크 부하를 관리하기 위해 에너지 저장 장치의 동작을 제어하기 위한 방법에 관한 것이다.

전 세계적으로 에너지 수요가 급증함에 따라, 신재생 에너지의 사용이 권장되고 있으며, 이러한 신재생 에너지를 사용에 있어 핵심 요소는 에너지 저장 장치로 생산한 에너지를 저장하거나 방출하여 줌으로써, 효율적인 전력 사용을 가능하게 하는 것이다.

최근에는 에너지 저장 장치(ESS)를 이용한 전력 수요 관리를 위한 방안으로 계절 별 부하 시간을 고려하여 경부하 시간대에 전력 에너지를 충전하여 최대 부하 시간에 전력 에너지를 방전함으로써 최대 피크 부하를 줄이기 위한 에너지 저장 시스템(ESS) 운용 스케줄링 방법이 사용되었다. 그러나, ESS 운용 스케줄링 방법은 전력 수요 관리의 효율을 높이기 위해, 전력 계통의 부하에서 모니터링 된 전력 소비 데이터를 분석한 결과를 바탕으로 결정됨에 따라, 군집 분석 및 오차보정 기법이 추가적으로 활용되어야 보다 정확한 전력소비의 예측이 가능하다.

또한, ESS 운용 스케줄링 방법은 예측 결과를 이용하여 전력 계통으로 유입되는 전력량을 일정하게 유지하도록 ESS 스케줄링을 실시하거나, 또는, 수집된 전력 소비 데이터를 분석함으로써, 최적의 ESS 방전 전력에 따른 분석된 최적 ESS 방전전력과 예측된 방전 전력 간의 에러를 최소화하도록 신경망을 학습하는 최대 수요전력 저감을 위한 LSTM (Long-Short Term Memory) 기반의 ESS 운영 스케줄링 기법 등이 이용된다.

그러나, 상술한 방법들은 주로 과거의 데이터만을 이용하여 현재의 수요 전력을 예측하는 방법을 사용하여 비정상 상태 또는 최근의 전력 사용 패턴 등이 반영되지 아니한 결과를 예측할 뿐이다. 또한, 특정 건물에서 측정된 장기간 전력 소비 데이터 분석에 기반하고 있어서, 전력 부하 패턴이 다른 건물에 적용하기 위해서는 전문적인 지식을 바탕으로 추가적인 분석이 필요하다는 문제가 있다.

본 발명은 전력이 사용되는 모든 건물을 대상으로 건물에서 모니터링된 전력 소비 데이터를 전문적인 지식에 관한 사전 분석하는 과정 없이, 전력 소비 데이터를 자동 분석 및 학습을 수행함으로써, 건물의 피크 부하 저감을 위한 최적의 ESS 제어를 수행하는 장치 및 방법을 제공한다.

본 발명은 최적의 ESS 제어를 수행하기 위한 AI 기법으로 강화 학습 기법을 이용함으로써, 건물의 피크 부하 저감을 위한 강화 학습 모델을 학습시키는데 핵심적인 요소인 연속적인 ESS 동작에 따른 보상을 생성하는 장치 및 방법을 제공한다.

본 발명의 일실시예에 따른 보상 생성 방법은 강화 학습 모델을 기반으로 수집 구간 내 건물에서 모니터링된 전력 소비 데이터들을 이용하여 건물의 최대 변동 부하를 결정하는 단계; 최대 변동 부하를 이용하여 전력 소비 데이터들 각각에 대한 에너지 저장 장치 동작에 따른 보상값(RV: Reward Value)들을 생성하는 단계; 및 보상값들을 에너지 저장 장치의 동작이 적용될 1일 단위로 구분하여 에너지 저장 장치를 제어하기 위한 보상(Reward)을 생성하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 건물의 최대 변동 부하를 결정하는 단계는, 기 설정된 수집 기간 동안 건물의 전력 수요에 따른 제어 시간 단위 마다 수집된 n 개의 전력 소비 데이터들을 수신하는 단계; n개의 전력 소비 데이터들 각각에 대응하여 건물의 최대 부하 및 최소 부하를 결정하는 단계; 및 건물의 최대 부하와 최소 부하를 이용하여 건물의 최대 변동 부하를 결정하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 보상값들을 생성하는 단계는, 제어 시간 단위 마다 n개의 전력 소비 데이터들에 의해 상호 작용하는 에너지 저장 장치의 n개의 동작을 생성하여 생성된 n개의 에너지 저장 장치의 동작에 대응하는 보상값들을 결정할 수 있다.

본 발명의 실시예에 따른 보상값들을 생성하는 단계는, 에너지 저장 장치의 n개의 동작 중 i 번째 동작이 적용될 샘플 구간에 포함된 전력 소비 데이터를 확인하는 단계; 건물의 최대 변동 부하 및 최소 부하를 이용하여 샘플 구간에 포함된 전력 소비 데이터들의 전력 인덱스를 결정하는 단계; 샘플 구간에 포함된 전력 소비 데이터들의 전력 인덱스를 설정 단계에 따라 구분하여 설정 단계에 대응하는 보상 인덱스를 설정하는 단계; 및 보상 인덱스를 이용하여 i 번째 에너지 저장 장치의 동작에 대한 보상값을 결정하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 보상값들은, 건물의 에너지 저장 장치의 제어 시점에서 수행될 에너지 저장 장치의 충전 동작, 방전 동작 및 대기 동작 중 적어도 하나의 동작에 대해 음수 또는 양수로 정의되는 값일 수 있다.

본 발명의 실시예에 따른 보상을 생성하는 단계는, 1일 단위에서 연속적으로 수행되는 에너지 저장 장치의 동작에 의한 보상값들로부터 에너지 저장 장치를 제어하기 위한 보상을 생성할 수 있다.

본 발명의 다른 실시예에 따른 동작 제어 방법은 건물에서 수집한 전력 소비 데이터들을 입력으로 받아 전력 피크 부하 저감 목적의 제어 정책을 반복 학습하여 에너지 저장 장치를 제어할 수 있는 최적의 강화학습 모델을 생성하는 단계; 학습이 완료된 강화학습 모델에 현재의 전력 데이터를 입력하여 다음 단계의 에너지 저장 장치 제어 정보를 생성하는 단계; 강화학습 모델에서 생성한 에너지 저장 장치 제어 정보를 이용하여 에너지 저장 장치를 제어하는 단계;를 포함 할 수 있다.

본 발명의 실시예에 따른 강화학습 모델을 생성하는 단계는, 전력 피크 부하 저감 목적의 제어 정책을 달성하기 위해 과거에 수집된 전력 데이터(Train 데이터)를 이용하여 강화학습 모델의 반복학습을 통해 1일 단위의 보상들이 최대가 되는 최적의 강화학습 모델을 생성하는 방법을 포함할 수 있다.

본 발명의 실시예에 따른 상기 에너지 저장 장치 제어 단계는, 학습이 완료된 최적의 강화학습 모델에 현재 시간의 전력 데이터를 입력하여 다음 제어 시간 단위에서 운용할 에너지 저장 장치 제어 정보를 생성하는 단계; 에너지 저장 장치 방전 제어 정보에 따라 에너지 저장 장치가 방전 동작을 수행하도록 에너지 저장 장치의 동작을 제어하는 단계; 에너지 저장 장치 충전 제어 정보에 따라 에너지 저장 장치가 충전 동작을 수행하도록 .에너지 저장 장치의 동작을 제어하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 프로세서는, 기 설정된 수집 기간 동안 건물의 전력 수요에 따른 제어 시간 단위 마다 수집된 n 개의 전력 소비 데이터들을 수신하고, n개의 전력 소비 데이터들을 이용하여 건물의 최대 부하 및 최소 부하를 결정하고, 건물의 최대 부하와 최소 부하를 이용하여 건물의 최대 변동 부하를 결정할 수 있다.

본 발명의 실시예에 따른 프로세서는, 제어 시간 단위 마다 n개의 전력 소비 데이터들에 의해 상호 작용하는 에너지 저장 장치의 n개의 동작을 생성하여 생성된 n개의 에너지 저장 장치의 동작에 대응하는 보상값들을 결정할 수 있다.

본 발명의 실시예에 따른 프로세서는, 에너지 저장 장치의 n개의 동작 중 i 번째 동작이 적용될 샘플 구간에 포함된 전력 소비 데이터를 확인하고, 건물의 최대 변동 부하 및 최소 부하를 이용하여 샘플 구간에 포함된 전력 소비 데이터의 전력 인덱스를 결정하고, 샘플 구간에 포함된 전력 소비 데이터의 전력 인덱스를 설정 단계에 따라 구분하여 설정 단계에 대응하는 보상 인덱스를 설정하고, 보상 인덱스를 이용하여 i 번째 에너지 저장 장치 동작에 대한 보상값을 결정할 수 있다.

본 발명의 실시예에 따른 보상값들은, 건물의 에너지 저장 장치 제어 시점에서 수행될 에너지 저장 장치의 충전 동작, 방전 동작 및 대기 동작 중 적어도 하나의 동작에 대해 음수 또는 양수로 정의되는 값일 수 있다.

본 발명의 실시예에 따른 프로세서는, 1일 단위에서 연속적으로 수행되는 에너지 저장 장치의 동작에 의한 보상값들로부터 에너지 저장 장치를 제어하기 위한 보상을 생성할 수 있다.

본 발명의 다른 실시예에 따른 동작 제어 방법을 수행하는 동작 제어 장치에 있어서, 동작 제어 장치는 프로세서를 포함하고, 프로세서는, 건물에서 수집한 전력 소비 데이터들을 입력으로 받아 전력 피크 부하 저감 목적의 제어 정책을 반복 학습하여 에너지 저장 장치를 제어할 수 있는 최적의 강화학습 모델을 생성하고, 학습이 완료된 강화학습 모델에 현재의 전력 데이터를 입력하여 다음 단계의 에너지 저장 장치 제어 정보를 생성하고, 강화학습 모델에서 생성한 에너지 저장 장치 제어 정보를 이용하여 에너지 저장 장치를 제어 할 수 있다.

본 발명의 실시예에 따른 프로세서는, 전력 피크 부하 저감 목적의 제어 정책을 달성하기 위해 과거에 수집된 전력 데이터를 이용하여 강화학습 모델의 반복학습을 통해 1일 단위의 보상들이 최대가 되는 최적의 강화학습 모델을 생성하는 방법을 포함할 수 있다.

본 발명의 실시예에 따른 프로세서는, 학습이 완료된 최적의 강화학습 모델에 현재 시간의 전력 데이터를 입력하여 다음 제어 시간 단위에서 운용할 에너지 저장 장치 제어 정보를 생성하고, 에너지 저장 장치 방전 제어 정보에 따라 에너지 저장 장치가 방전 동작을 수행하도록 에너지 저장 장치 동작을 제어하고, 에너지 저장 장치 충전 제어 정보에 따라 에너지 저장 장치가 충전 동작을 수행하도록 에너지 저장 장치의 동작을 제어할 수 있다.

본 발명의 일실시예에 따른 보상 생성 방법은 전력이 사용되는 모든 건물을 대상으로 건물에서 모니터링된 전력 소비 데이터를 전문적인 지식으로 사전 분석하는 과정 없이, 전력 소비 데이터를 자동 분석 및 학습을 수행함으로써, 건물의 피크 부하 저감을 위한 최적의 ESS 제어를 수행할 수 있다.

본 발명의 일실시예에 따른 보상 생성 방법은 최적의 ESS 제어를 수행하기 위한 AI 기법으로 강화 학습 기법을 이용함으로써, 건물의 피크 부하 저감을 위한 강화 학습 모델을 학습시키는데 핵심적인 요소인 연속적인 ESS 동작에 따른 보상을 생성할 수 있다.

본 발명의 일실시예에 따른 보상 생성 방법은 본 발명에서 제안한 보상 생성 방안을 이용하여 보상을 최대화하도록 학습하는 과정을 통해 입력으로 사용된 전력 소비 데이터를 자연스럽게 분석 및 활용이 가능할 수 있다.

도 1은 본 발명의 일실시예에 따른 강화 학습 모델을 기반으로 에너지 저장 장치를 제어하기 위한 과정을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 강화 학습 모델을 기반으로 단계별로 보상을 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 전력소비데이터의 최대부하, 최소부하, 최대 변동 부하를 설명하기 위해 도시한 그래프이다.
도 4는 본 발명의 일실시예에 따른 샘플 구간의 전력 소비 데이터의 상대적인 전력 인덱스를 설명하기 위해 도시한 그래프이다.
도 5는 본 발명의 일실시예에 따른 강화 학습의 입력으로 사용될 전력 소비 패턴을 설명하기 위해 도시한 그래프이다.
도 6은 본 발명의 일실시예에 따른 에너지 저장 장치(ESS)의 동작을 제어한 전과 후의 결과를 도시한 그래프이다.
도 7은 본 발명의 일실시예에 따른 보상 생성 방법을 설명하기 위해 도시한 흐름도이다.
도 8은 본 발명의 일실시예에 따른 동작 제어 방법을 설명하기 위해 도시한 흐름도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 ESS 제어 시스템을 도시한 도면이다.

도 1을 참고하면, 동작 제어 장치(101)는 강화학습 모델을 이용하여 건물의 피크 부하를 저감하기 위해 에너지 저장 장치(102)의 동작을 제어할 수 있다. 동작 제어 장치(101)는 강화 학습 모델을 기반으로 건물에서 수집된 전력 소비 데이터를 입력으로 받아 전력 피크 부하 저감 목적의 제어 정책을 학습하여 에너지 저장 정치(102)를 제어할 수 있는 최저의 강화학습 모델을 생성할 수 있다. 강화학습 모델은 과거에 수집된 전력 소비 데이터를 이용하여 제어 정책에 따른 학습을 수행하고 학습이 완료된 강화학습 모델에 현재의 데이터를 입력하여 다음 단계의 에너지 저장 장치(102)의 동작을 제어한다.

동작 제어 장치(101)의 강화학습 모델을 학습하기 위해 동작 제어 장치(101)는 건물(103)에서 사용되는 전력의 피크 부하를 저감하기 위해 기 설정된 수집 기간 동안 건물의 전력 수요에 따른 제어 시간 단위 마다 수집된 n 개의 전력 소비 데이터들을 수신할 수 있다. 동작 제어 장치(101)는 수신한 전력 소비 데이터를 입력으로 받아 제어 정책인 전력 피크 부하 저감이라는 목적에 따라 보상을 최대화되도록 학습하는 과정을 통해 입력으로 사용된 전력 소비 데이터를 분석 및 활용할 수 있다.

동작 제어 장치(101)는 n개의 전력 소비 데이터들을 이용하여 전력의 크기 변화를 나타내는 최대 변동 부하를 결정할 수 있다. 동작 제어 장치(101)는 건물(103)로부터 수집된 전력 소비 데이터에 대한 데이터를 활용할 수 있다. 동작 제어 장치(101)는 수집된 전력 소비 데이터를 기반으로 건물(103)에서 사용되는 전력의 최대 부하 및 최소 부하를 결정할 수 있다. 동작 제어 장치(101)는 결정된 전력의 최대 부하와 최소 부하에 기초하여 최대 변동 부하를 결정할 수 있다.

동작 제어 장치(101)는 최대 변동 부하를 기반으로 제어 시간 단위 마다 n개의 전력 소비 데이터들에 의해 상호 작용하는 에너지 저장 장치(102)의 n개의 동작을 생성하여 생성된 n개의 에너지 저장 장치(102)의 동작에 대응하는 보상값들을 결정할 수 있다.

동작 제어 장치(101)는 보상값들을 에너지 저장 장치(102)의 동작이 적용될 1일 단위로 구분하여 에너지 저장 장치(102)를 제어하기 위한 보상(Reward)을 생성할 수 있다.

따라서, 동작 제어 장치(101)는 전력 부하 패턴이 다른 건물에 적용하더라도 수집된 전력 소비 데이터를 입력으로만 넣어주면 자동 분석 및 학습하여 최적의 에너지 저장 장치(102)의 제어를 수행할 수 있다.

도 2는 본 발명의 일실시예에 따른 강화 학습 모델을 기반으로 단계별로 보상을 생성하는 과정을 설명하기 위해 도시한 도면이다.

도 2를 참고하면, 동작 제어 장치(101)는 전력의 피크 부하를 관리하기 위한 여러 가지 수요 관리 방안으로, 전력의 충, 방전이 가능한 에너지 저장 장치(ESS)와 연동할 수 있다. 본 발명에서는 강화 학습 기반의 전력 소비 데이터를 입력으로 받아 제어 정책을 학습 하는 과정을 수행할 수 있다.

동작 제어 장치(101)는 건물(103)을 모니터링하면서 수집된 전력 소비 데이터를 전문적인 지식을 바탕으로 별도의 사전 분석하는 과정 없이 건물(103)의 피크 부하 저감이라는 목적에 맞게 전력 소비 데이터를 자동으로 분석할 수 있다. 여기서, 강화 학습 모델의 목적은 하루(24시간) 동안의 연속된 에너지 저장 장치(102)의 제어 동작에 의한 보상값(RV: Reward_Value)들의 합인 보상(Reward)이 최대가 되도록 학습할 수 있다. 동작 제어 장치(101)는 보상 인덱스(Reward_index)가 작을 때, 충전하고, 보상 인덱스가 높을 때 방전하여 1일 단위의 충.방전에 따른 보상값들의 합인 보상이 최대화 되도록 강화 학습 모델을 자동으로 학습할 수 있다.

동작 제어 장치(101)는 AI 기법의 강화 학습 모델을 적용하기 위해, 데이터베이스(104)를 통해 건물의 전력 소비 데이터를 자체 입력으로 받고, 이를 자동으로 분석할 수 있다.

보다 자세하게, 동작 제어 장치(101)는 강화 학습 모델을 기반으로 전력의 피크 부하 저감을 위한 에너지 저장 장치(102)의 제어 동작 즉, ESS 충/방전 동작(action)에 따른 보상을 생성할 수 있다. 동작 제어 장치(101)는 3단계에 걸쳐 동작을 수행할 수 있다.

1 단계(201)에서 동작 제어 장치(101)는 ESS 제어 시스템을 학습(Train)할 때 사용할 일정 구간 동안의 n개의 전력 소비 데이터(Train Data)를 이용하여 최대 부하 및 최소 부하를 구하고, 최대 부하 및 최소 부하에 따른 최대 변동 부하를 결정할 수 있다.

2 단계(202)에서 동작 제어 장치(101)는 최소 부하 및 최대 변동 부하를 이용하여 제어 시간 단위(15분)마다 n 개의 전력 소비 데이터에 의해 생성된 n 개의 에너지 저장 장치의 제어 동작에 따른 n 개의 보상값들을 생성할 수 있다.

3 단계(203)에서 동작 제어 장치(101)는 N개의 날로 구성된 전력 소비 데이터 n개를 이용하여 구한 n 개의 보상값들을 하루 단위로 구분하고 하루 단위에 포함된 모든 보상값들을 합산하여 1일 단위의 보상으로 사용할 N개의 최종 보상(Reward)들을 설정할 수 있다.

일례로, 동작 제어 장치(101)는 15분 단위의 보상값들을 이용하여 i 번째 날(하루는 96개의 샘플로 구성)에 적용할 최종 보상(Reward)을 구할 수 있다. 최종 보상은 다음의 수학식 1을 이용하여 결정할 수 있다.

여기서, Ri는 i번째 날의 보상이며 RV_i _-1은 i번째 날의 1번 샘플에 의해 생성된 보상값이다.

결국, 동작 제어 장치(101)는 강화 학습 모델을 기반으로 전력의 피크 부하를 저감하기 위한 ESS 충/방전 동작(action)에 따른 보상을 생성할 수 있다.

본 발명은 특정 건물에서 수집된 전력 데이터에 종속되지 않으므로 전력 부하 패턴이 다른 건물에 적용하더라도 수집된 전력 소비 데이터를 입력으로만 넣어 주면 자동 분석 및 학습하여 최적의 ESS 제어를 수행할 수 있다.

도 3은 본 발명의 일실시예에 따른 전력소비데이터의 최대부하, 최소부하, 최대 변동 부하를 설명하기 위해 도시한 그래프이다.

도 3을 참고하면, 동작 제어 장치는 건물에서 사용되는 전력의 피크 부하를 저감하기 위해 기 설정된 수집 기간 동안 건물의 전력 수요에 따른 제어 시간 단위 마다 수집된 n 개의 전력 소비 데이터들을 수신할 수 있다. 일례로, 동작 제어 장치는 강화 학습 모델을 학습(Train)할 때, 사용할 일정 구간 동안(1주, 1달, 1년 등)의 건물에서 모니터링 된 n개의 전력 소비 데이터(Train Data)를 이용할 수 있다.

동작 제어 장치는 n개의 전력 소비 데이터를 강화 학습 모델에 적용하여 전력의 크기 변화를 나타내는 최대 변동 부하를 결정할 수 있다. 동작 제어 장치는 n개의 전력 소비 데이터를 이용하여 건물에서 사용되는 전력의 최대 부하(Max_E) 및 최소 부하(Min_E)를 결정할 수 있다. 동작 제어 장치는 전력의 최대 부하와 최소 부하에 기초하여 최대 변동 부하를 결정할 수 있다.

여기서, 수학식 2는 건물에서 수집된 n개의 전력 소비 데이터로부터 전력의 최대 부하를 구하는 수식일 수 있다.

여기서, 수학식 3은 건물에서 수집된 n개의 전력 소비 데이터로부터 전력의 최소 부하를 구하는 수식일 수 있다.

여기서, 수학식 4는 전력의 최대 부하 및 최소 부하를 이용한 최대 변동 부하를 구하는 수식일 수 있다.

도 4는 본 발명의 일실시예에 따른 샘플 구간의 전력 소비 데이터의 상대적인 전력 인덱스를 설명하기 위해 도시한 그래프이다.

도 4를 참고하면, 동작 제어 장치는 최대 변동 부하를 이용하여 n 개의 전력 소비 데이터에 대응하는 n개의 보상값(RV: Reward Value)들을 생성할 수 있다. 다시 말해, 동작 제어 장치는 제어 시간 단위마다 수집되는 n 개의 전력 소비 데이터에 대응하여 n 개의 에너지 저장 장치의 제어 동작에 따른 n 개의 보상값들을 생성할 수 있다. 여기서, 에너지 저장 장치의 제어 동작은 에너지 저장 장치의 충전, 방전, 또는, 대기 중 하나에 해당할 수 있다. 일례로, 제어 시간 단위는 전력 소비 데이터를 수집하기 위한 시간으로 본 발명에서는 15분을 제어 시간 단위로 설정할 수 있다

동작 제어 장치는 전력 소비 데이터로부터 구한 최대 변동 부하(Delta_E)를 이용하여 아래의 수학식 5와 같이 전력 인덱스(Energy_index)를 결정할 수 있다. 다시 말해, 동작 제어 장치는 모니터링된 전체에 해당하는 전력 소비 데이터에서 구한 최대 변동 부하(Delta_E)를 이용하여 i 번째 에너지 저장 장치의 제어 동작이 적용될 샘플 구간의 전력 소비 데이터(Ei)의 상대적인 전력비(Energy_index)를 구할 수 있다.

여기서, 수학식 5를 참고하면, 전력 인덱스는 전력 소비 데이터, 전력의 최소 부하 및 최대 변동 부하에 의해 결정될 수 있다. 이때, 전력 인덱스는 i 번째 에너지 저장 장치의 동작이 적용될 샘플 구간의 전력 소비 데이터(Ei)의 상대적인 전력비를 의미할 수 있다. 전력 인덱스는 샘플 구간의 목적에 따라 특정 단위의 설정 단계로 설정될 수 있다. 특정 단위는 에너지 저장 장치의 동작을 구분하기 위한 단위일 수 있다.

본 발명에서 제안하는 i 번째 에너지 저장 장치의 제어 동작에 의해 생성될 보상값은 전력 인덱스가 클수록 높은 보상 인덱스를 갖도록 설정할 수 있으며, 전력 인덱스의 설정 단계는 목적에 맞게 다양한 단계로 설정 가능할 수 있다. 일례로, 본 발명은 전력 인덱스의 설정 단계를 5 단계로 구분할 수 있으며, 구분된 각 단계의 전력 인덱스에 의한 보상 인덱스는 수학식 6과 같이 설정될 수 있다.

여기서, 전력 인덱스의 값을 나타내는 파라미터() 및 보상 인덱스의 값을 나타내는 파라미터( ) 및 보상 가중치(Reward_Weight)는 상수일 수 있다.

동작 제어 장치는 다음의 수학식 7에 기초하여 i 번째 에너지 저장 장치의 제어 동작(ESS_action)에 따라 보상값을 결정 할 수 있다.

i 번째 에너지 저장 장치의 제어 동작에 의한 i 번째 보상값(RV: Reward Value)는 다음의 조건에 따라 최종적으로 결정될 수 있다.

① ESS_action이 충전(1)이면, RV = -Reward_index

② ESS_action이 방전(-1)이면, RV = Reward_index

③ ESS_action이 대기(0)이면, RV = 0

에너지 저장 장치의 제어 동작이 충전일 때, 음의 값, 방전일 때, 양의 값을 갖는 보상 인덱스를 갖는 이유는, 최종적인 보상이 에너지 저장 장치의 동작이 적용될 1일 단위로 구분된 에너지 저장 장치의 동작에 의한 보상값들의 합으로 이루어짐에 따라, 보상인덱스(Reward_index)가 작을 때 충전이 이루어지고 보상인덱스(Reward_index)가 클 때 방전이 이루어질 때 1일 단위의 보상이 최대가 되도록 하기 위함이다.

이에, 동작 제어 장치의 강화학습 모델 학습 과정과 학습 결과를 확인하기 위한 일실시예로 다음의 표 1과 같은 ESS 제원을 사용하였다. 표 1을 참고하면, 에너지 저장 장치의 용량은 100 kWh로 가정하였으며, 최대 충전량 및 방전량은 30 kW로 설정하였다.

동작 제어 장치는 표 1을 기반으로 위의 전력 인덱스, 보상 인덱스, 에너지 저장 장치의 제어 동작, 보상 가중치에 적용할 n개의 보상값을 생성하기 위한 파라미터 값을 다음과 같이 설정할 수 있다.

① α1 = 0.5, α2 = 0.7, α3 = 0.8, α4 = 0.9, α5 = 1.0

② β0 = 0.2, β1 = 0.5, β2 = 0.8, β3 = 0.9, β4 = 1.0, β5 = 1.2

③ ESS_action = -1 (충전) or 1(방전) or 0(대기)

④ Reward_Weight = 100

도 5는 본 발명의 일실시예에 따른 강화 학습에 이용할 전력 소비 패턴을 설명하기 위해 도시한 그래프이다.

도 5의 본 그래프는 약 2 주간 건물에서 수집한 전력 소비 데이터를 이용하여 건물의 전력 소비 패턴을 도시한 결과를 나타낼 수 있다.

이에 따른, 동작 제어 장치는 건물에서 소비된 전력에 관한 n개의 전력 소비 데이터를 강화 학습 모델의 입력 데이터로 사용할 수 있다. ESS 제어 시스템은 기 설정된 제어 시간 단위를 기반으로 15분 간격으로 전력 소비 데이터를 모니터링 및 수집할 수 있다. 전력 소비 데이터는 건물과 연동하는 별도의 데이터베이스를 통해 일괄적으로 수집할 수 있다. 동작 제어 장치는 일괄적으로 수집되는 전력 소비 데이터를 데이터베이스로부터 추출하고, 이에 따른 강화 학습 모델에 사용된 건물의 전력 소비 패턴을 생성할 수 있다.

일례로, 도 5는 강화학습 모델의 학습(Train) 데이터로 사용된 전체 구간 중 일부인 2주간의 전력 소비 패턴을 보여주고 있다. 도 5는 15분 간격으로 수집된 전력 소비데이터의 예를 보이고 있으며 1일은 96개의 전력 소비 데이터로 구성되고 2주는 96개 * 2주(14일)에 해당하는 1,344개의 전력 소비 데이터로 구성된다.

도 6은 본 발명의 일실시예에 따른 에너지 저장 장치(ESS)의 동작을 제어한 전과 후의 건물의 1일 단위의 전력 에너지 소비 결과를 도시한 그래프이다.

도 6의 그래프는 피크 부하 저감을 위한 보상 생성 방법을 적용하여 강화 학습 기반의 ESS 제어 시스템의 전력 피크 부하 저감 성능을 분석한 결과를 나타낸다.

본 그래프의 결과로는 학습된 강화학습 모델을 이용하여 24시간, 하루 동안의 연속된 에너지 저장 장치를 제어함으로써 건물의 전력 피크 부하를 저감하고 있음을 확인할 수 있다.

도 7은 본 발명의 일실시예에 따른 보상 생성 방법을 설명하기 위해 도시한 흐름도이다.

단계(701)에서 동작 제어 장치는 강화 학습 모델을 기반으로 수집 구간 내 건물에서 모니터링된 전력 소비 데이터들(Train 데이터)을 이용하여 건물의 최대 변동 부하를 결정할 수 있다. 자세하게, 동작 제어 장치는 건물에서 사용되는 전력의 피크 부하를 저감하기 위해 기 설정된 수집 기간 동안 건물의 전력 수요에 따른 제어 시간 단위 마다 수집된 n 개의 전력 소비 데이터들을 수신할 수 있다.

동작 제어 장치는 n개의 전력 소비 데이터들의 전력 크기 변화를 나타내는 최대 변동 부하를 결정할 수 있다. 동작 제어 장치는 건물로부터 수집된 전력 소비 데이터에 대한 데이터를 활용할 수 있다. 동작 제어 장치는 수집된 전력 소비 데이터를 기반으로 건물에서 사용되는 전력의 최대 부하 및 최소 부하를 결정할 수 있다. 동작 제어 장치는 결정된 전력의 최대 부하와 최소 부하에 기초하여 최대 변동 부하를 결정할 수 있다.

단계(702)에서 동작 제어 장치는 최대 변동 부하를 이용하여 n 개의 전력 소비 데이터에 대응하는 에너지 저장 장치 동작에 따른 n개의 보상값(RV: Reward Value)들을 생성할 수 있다. 다시 말해, 동작 제어 장치는 최대 변동 부하를 기반으로 제어 시간 단위 마다 n개의 전력 소비 데이터들에 의해 상호 작용하는 에너지 저장 장치의 n개의 동작을 생성하여 생성된 n개의 에너지 저장 장치의 동작에 대응하는 보상값들을 결정할 수 있다.

동작 제어 장치는 건물의 최대 변동 부하 및 최소 부하를 이용하여 n개의 전력 소비 데이터들 중 i번째 전력 소비 데이터의 전력 인덱스(Energy_index)를 도 4와 같이 결정할 수 있다.

동작 제어 장치는 n개의 전력 소비 데이터들의 전력 인덱스를 설정 단계에 따라 구분하여 설정 단계에 대응하는 보상 인덱스를 설정할 수 있다. 여기서, 동작 제어 장치는 전력 인덱스에 따라 서로 다르게 적용되는 보상 인텍스와 보상 가중치 및 n개의 전력 소비 데이터들에 의해 상호 작용하는 에너지 저장 장치의 n개의 동작에 따른 n개의 보상값을 수학식 7과 같이 결정할 수 있다.

여기서, 보상값들은 건물의 에너지 저장 장치 제어 시점에서 수행될 에너지 저장 장치의 충전 동작, 방전 동작 및 대기 동작 중 적어도 하나의 동작에 대해 음수 또는 양수로 정의될 수 있다.

단계(703)에서 동작 제어 장치는 보상값들을 에너지 저장 장치의 동작이 적용될 1일 단위로 구분하여 강화학습모델을 학습시키는데 이용할 보상(Reward)을 생성한다..

상세하게, 동작 제어 장치는 N개의 날로 구성된 전력 소비 데이터 n개를 이용하여 구한 n개의 보상값들을 하루 단위로 구분하고 하루 단위에 포함된 모든 보상값들의 값을 합산하여 1일 단위의 보상으로 사용할 N개의 최종 보상(Reward)을 설정할 수 있다.

단계(704)에서 동작 제어 장치내의 강화학습 모델은 수집 구간 내 건물에서 모니터링된 전력 소비 데이터들(Train 데이터)을 이용하여 반복 학습을 통해 1일 단위의 N개의 최종 보상(Reward)이 최대가 되도록 학습할 수 있다. 따라서 동작 제어 장치는 1일 단위의 충.방전에 따른 보상값들의 합인 보상이 최대화 되도록 보상 인덱스(Reward_index)가 작을 때 충전하고, 보상 인덱스가 높을 때 방전하도록 강화 학습 모델을 자동으로 학습할 수 있다.

도 8은 본 발명의 일실시예에 따른 동작 제어 방법을 설명하기 위해 도시한 흐름도이다.

단계(801)에서 동작 제어 장치는 강화학습 모델을 기반으로 건물에서 수집된 전력 소비 데이터를 입력으로 받아 전력 피크 부하 저감 목적의 제어 정책을 학습하여 도 7과 같은 과정을 통해 에너지 저장 정치를 제어할 수 있는 최적의 강화학습 모델을 생성할 수 있다.

단계(802)에서 동작 제어 장치는 학습이 완료된 최적의 강화학습 모델에 현재의 전력 소비 데이터를 입력하여 다음 단계의 에너지 저장 장치 동작을 제어할 정보를 생성한다.

단계(803)에서 동작 제어 장치는 강화학습 모델에서 생성한 에너지 저장 장치 제어 정보를 이용하여 에너지 저장 장치를 제어한다.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100: ESS 제어 시스템 (101 : 동작 제어 장치, 104: 데이터베이스 포함)
101: 동작 제어 장치
102: 에너지 저장 장치
103: 건물 - 전력 에너지 부하
104: 데이터베이스
105: 전력선

Claims

강화 학습 모델을 기반으로 수집 구간 내 건물에서 모니터링된 전력 소비 데이터들을 이용하여 건물의 최대 변동 부하를 결정하는 단계;
상기 최대 변동 부하를 이용하여 전력 소비 데이터들 각각에 대한 에너지 저장 장치 동작에 따른 보상값(RV: Reward Value)들을 생성하는 단계; 및
상기 보상값들을 에너지 저장 장치의 동작이 적용될 하루 단위로 구분하여 에너지 저장 장치를 제어하기 위한 보상(Reward)을 생성하는 단계;
를 포함하고,
상기 보상값들을 생성하는 단계는,
상기 에너지 저장 장치의 n개의 제어 동작 중 i 번째 에너지 저장 장치의 제어 동작에 대응하여 전력 인덱스와 보상 인덱스 간의 비례 관계를 갖도록 상기 i 번째 에너지 저장 장치의 제어 동작에 따른 보상값(RV)을 생성하고,
상기 전력 인덱스는,
상기 i 번째 에너지 저장 장치의 제어 동작이 적용될 샘플 구간의 전력 소비 데이터의 상대적인 전력비이고,
상기 보상 인덱스는,
상기 전력 인덱스를 구분하는 설정 단계에 대응하는 값인 보상 생성 방법.
제1항에 있어서,
상기 건물의 최대 변동 부하를 결정하는 단계는,
기 설정된 수집 기간 동안 건물의 전력 수요에 따른 제어 시간 단위 마다 수집된 n 개의 전력 소비 데이터들을 수신하는 단계;
상기 n개의 전력 소비 데이터들을 이용하여 건물의 최대 부하 및 최소 부하를 결정하는 단계; 및
상기 건물의 최대 부하와 최소 부하를 이용하여 건물의 최대 변동 부하를 결정하는 단계;
를 포함하는 보상 생성 방법.
제2항에 있어서,
상기 보상값들을 생성하는 단계는,
상기 제어 시간 단위 마다 n개의 전력 소비 데이터들에 의해 상호 작용하는 에너지 저장 장치의 n개의 동작을 생성하여 상기 생성된 n개의 에너지 저장 장치의 동작에 대응하는 보상값들을 결정하는 보상 생성 방법.
제3항에 있어서,
상기 보상값들을 생성하는 단계는,
상기 에너지 저장 장치의 n개의 동작 중 i 번째 동작이 적용될 샘플 구간에 포함된 전력 소비 데이터를 확인하는 단계;
상기 건물의 최대 변동 부하 및 최소 부하를 이용하여 샘플 구간에 포함된 전력 소비 데이터들의 전력 인덱스를 결정하는 단계;
상기 샘플 구간에 포함된 전력 소비 데이터들의 전력 인덱스를 설정 단계에 따라 구분하여 설정 단계에 대응하는 보상 인덱스를 설정하는 단계; 및
상기 보상 인덱스를 이용하여 i 번째 에너지 저장 장치의 제어 동작에 대한 보상값을 결정하는 단계;
를 포함하는 보상 생성 방법.
제1항에 있어서,
상기 보상값들은,
상기 건물의 에너지 저장 장치 제어 시점에서 수행될 에너지 저장 장치의 충전 동작, 방전 동작 및 대기 동작 중 적어도 하나의 동작에 대해 음수 또는 양수로 정의되는 값인 보상 생성 방법.
제1항에 있어서,
상기 보상을 생성하는 단계는,
N개의 날로 구성된 전력 소비 데이터 n개를 이용하여 구한 n개의 보상값들을 1일 단위로 구분하고 1일 단위에 포함된 모든 보상값들을 합산하여 1일 단위의 보상으로 사용할 N개의 최종 보상(Reward)들을 생성하는 보상 생성 방법.
건물에서 수집한 전력 소비 데이터들을 입력으로 받아 전력 피크 부하 저감 목적의 제어 정책을 반복 학습하여 에너지 저장 장치를 제어할 수 있는 최적의 강화학습 모델을 생성하는 단계;
학습이 완료된 강화학습 모델에 현재의 전력 데이터를 입력하여 다음 단계의 에너지 저장 장치 제어 정보를 생성하는 단계;
강화학습 모델에서 생성한 에너지 저장 장치 제어 정보를 이용하여 에너지 저장 장치를 제어하는 단계;
를 포함하고,
상기 최적의 강화학습 모델을 생성하는 단계는,
상기 건물의 최대 변동 부하를 이용하여 전력 소비 데이터들 각각에 대한 에너지 저장 장치의 n개의 제어 동작 중 i 번째 에너지 저장 장치의 제어 동작에 대응하여 전력 인덱스- 상기 전력 인덱스는, 상기 i 번째 에너지 저장 장치의 제어 동작이 적용될 샘플 구간의 전력 소비 데이터의 상대적인 전력비임 -와 보상 인덱스- 상기 보상 인덱스는, 상기 전력 인덱스를 구분하는 설정 단계에 대응하는 값임 - 간의 비례 관계를 갖도록 상기 i 번째 에너지 저장 장치의 제어 동작에 따른 보상값(RV)들을 생성하는 단계;
상기 생성된 보상값(RV)들을 1일 단위로 구분하고, 상기 1일 단위에 포함된 모든 보상값(RV)들을 합산하는 단계; 및
강화 학습 모델의 반복 학습을 통해 모든 보상값(RV)들의 합인 1일 단위의 보상들이 최대가 되는 최적의 강화학습 모델을 생성하는 단계;
를 포함하는 동작 제어 방법.
삭제
제7항에 있어서,
상기 에너지 저장 장치 제어 단계는,
학습이 완료된 최적의 강화학습 모델에 현재 시간의 전력 데이터를 입력하여 다음 제어 시간 단위에서 운용할 에너지 저장 장치 제어 정보를 생성하는 단계;
에너지 저장 장치 방전 제어 정보에 따라 에너지 저장 장치가 방전 동작을 수행하도록 에너지 저장 장치의 동작을 제어하는 단계;
에너지 저장 장치 충전 제어 정보에 따라 에너지 저장 장치가 충전 동작을 수행하도록 .에너지 저장 장치의 동작을 제어하는 단계;
를 포함하는 동작 제어 방법.
보상 생성 방법을 수행하는 동작 제어 장치에 있어서,
상기 동작 제어 장치는 프로세서를 포함하고,
상기 프로세서는,
강화 학습 모델을 기반으로 수집 구간 내 건물에서 모니터링된 전력 소비 데이터들을 이용하여 건물의 최대 변동 부하를 결정하고,
상기 최대 변동 부하를 이용하여 전력 소비 데이터들 각각에 대한 에너지 저장 장치 동작에 따른 보상값들을 생성하고,
상기 보상값들을 에너지 저장 장치의 동작이 적용될 1일 단위로 구분하여 에너지 저장 장치를 제어하기 위한 보상을 생성하고,
상기 보상값들을 생성함에 있어,
상기 에너지 저장 장치의 n개의 제어 동작 중 i 번째 에너지 저장 장치의 제어 동작에 대응하여 전력 인덱스와 보상 인덱스 간의 비례 관계를 갖도록 상기 i 번째 에너지 저장 장치의 제어 동작에 따른 보상값(RV)을 생성하고,
상기 전력 인덱스는,
상기 i 번째 에너지 저장 장치의 제어 동작이 적용될 샘플 구간의 전력 소비 데이터의 상대적인 전력비이고,
상기 보상 인덱스는,
상기 전력 인덱스를 구분하는 설정 단계에 대응하는 값인 동작 제어 장치.
제10항에 있어서,
상기 프로세서는,
기 설정된 수집 기간 동안 건물의 전력 수요에 따른 제어 시간 단위 마다 수집된 n 개의 전력 소비 데이터들을 수신하고,
상기 n개의 전력 소비 데이터들을 이용하여 건물의 최대 부하 및 최소 부하를 결정하고,
상기 건물의 최대 부하와 최소 부하를 이용하여 건물의 최대 변동 부하를 결정하는 동작 제어 장치.
제11항에 있어서,
상기 프로세서는,
상기 제어 시간 단위 마다 n개의 전력 소비 데이터들에 의해 상호 작용하는 에너지 저장 장치의 n개의 동작을 생성하여 상기 생성된 n개의 에너지 저장 장치의 동작에 대응하는 보상값들을 결정하는 동작 제어 장치.
제12항에 있어서,
상기 프로세서는,
상기 에너지 저장 장치의 n개의 동작 중 i 번째 동작이 적용될 샘플 구간에 포함된 전력 소비 데이터를 확인하고,
상기 건물의 최대 변동 부하 및 최소 부하를 이용하여 샘플 구간에 포함된 전력 소비 데이터들의 전력 인덱스를 결정하고,
상기 샘플 구간에 포함된 전력 소비 데이터들의 전력 인덱스를 설정 단계에 따라 구분하여 설정 단계에 대응하는 보상 인덱스를 설정하고,
상기 보상 인덱스를 이용하여 i 번째 동작에 대한 보상값을 결정하는 동작 제어 장치.
제10항에 있어서,
상기 보상값들은,
상기 건물의 에너지 저장 장치 제어 시점에서 수행될 에너지 저장 장치의 충전 동작, 방전 동작 및 대기 동작 중 적어도 하나의 동작에 대해 음수 또는 양수로 정의되는 값인 동작 제어 장치.
제10항에 있어서,
상기 프로세서는,
N개의 날로 구성된 전력 소비 데이터 n개를 이용하여 구한 n개의 보상값들을 1일 단위로 구분하고 1일 단위에 포함된 모든 보상값들을 합산하여 1일 단위의 보상으로 사용할 N개의 최종 보상(Reward)들을 생성하는 동작 제어 장치.
동작 제어 방법을 수행하는 동작 제어 장치에 있어서,
상기 동작 제어 장치는 프로세서를 포함하고,
상기 프로세서는,
건물에서 수집한 전력 소비 데이터들을 입력으로 받아 전력 피크 부하 저감 목적의 제어 정책을 반복 학습하여 에너지 저장 장치를 제어할 수 있는 최적의 강화학습 모델을 생성하고,
학습이 완료된 강화학습 모델에 현재의 전력 데이터를 입력하여 다음 단계의 에너지 저장 장치 제어 정보를 생성하고,
강화학습 모델에서 생성한 에너지 저장 장치 제어 정보를 이용하여 에너지 저장 장치를 제어하고.
상기 최적의 강화학습 모델을 생성함에 있어,
상기 건물의 최대 변동 부하를 이용하여 전력 소비 데이터들 각각에 대한 에너지 저장 장치의 n개의 제어 동작 중 i 번째 에너지 저장 장치의 제어 동작에 대응하여 전력 인덱스- 상기 전력 인덱스는, 상기 i 번째 에너지 저장 장치의 제어 동작이 적용될 샘플 구간의 전력 소비 데이터의 상대적인 전력비임 -와 보상 인덱스- 상기 보상 인덱스는, 상기 전력 인덱스를 구분하는 설정 단계에 대응하는 값임 - 간의 비례 관계를 갖도록 상기 i 번째 에너지 저장 장치의 제어 동작에 따른 보상값(RV)들을 생성하고,
상기 생성된 보상값(RV)들을 1일 단위로 구분하고, 상기 1일 단위에 포함된 모든 보상값(RV)들을 합산하여
강화 학습 모델의 반복 학습을 통해 상기 모든 보상값(RV)들의 합인 1일 단위의 보상들이 최대가 되는 최적의 강화학습 모델을 생성하는 동작 제어 장치.
삭제
제16항에 있어서,
상기 프로세서는,
학습이 완료된 최적의 강화학습 모델에 현재 시간의 전력 데이터를 입력하여 다음 제어 시간 단위에서 운용할 에너지 저장 장치 제어 정보를 생성하고,
에너지 저장 장치 방전 제어 정보에 따라 에너지 저장 장치가 방전 동작을 수행하도록 에너지 저장 장치의 동작을 제어하고,
에너지 저장 장치 충전 제어 정보에 따라 에너지 저장 장치가 충전 동작을 수행하도록 .에너지 저장 장치의 동작을 제어하는 동작 제어 장치.