KR102497271B1 - 열화비용을 고려한 ess와 수전해설비 이용 비율 최적화 장치 및 방법 - Google Patents

열화비용을 고려한 ess와 수전해설비 이용 비율 최적화 장치 및 방법 Download PDF

Info

Publication number
KR102497271B1
KR102497271B1 KR1020210189567A KR20210189567A KR102497271B1 KR 102497271 B1 KR102497271 B1 KR 102497271B1 KR 1020210189567 A KR1020210189567 A KR 1020210189567A KR 20210189567 A KR20210189567 A KR 20210189567A KR 102497271 B1 KR102497271 B1 KR 102497271B1
Authority
KR
South Korea
Prior art keywords
ess
water electrolysis
degradation
facility
prediction model
Prior art date
Application number
KR1020210189567A
Other languages
English (en)
Inventor
함경선
김태형
임정택
김민호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210189567A priority Critical patent/KR102497271B1/ko
Application granted granted Critical
Publication of KR102497271B1 publication Critical patent/KR102497271B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • C—CHEMISTRY; METALLURGY
    • C25—ELECTROLYTIC OR ELECTROPHORETIC PROCESSES; APPARATUS THEREFOR
    • C25B—ELECTROLYTIC OR ELECTROPHORETIC PROCESSES FOR THE PRODUCTION OF COMPOUNDS OR NON-METALS; APPARATUS THEREFOR
    • C25B1/00—Electrolytic production of inorganic compounds or non-metals
    • C25B1/01—Products
    • C25B1/02—Hydrogen or oxygen
    • C25B1/04—Hydrogen or oxygen by electrolysis of water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E70/00—Other energy conversion or management systems reducing GHG emissions
    • Y02E70/30—Systems combining energy storage with energy generation of non-fossil origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Power Engineering (AREA)
  • Materials Engineering (AREA)
  • Electrochemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Inorganic Chemistry (AREA)
  • Water Supply & Treatment (AREA)
  • Metallurgy (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrolytic Production Of Non-Metals, Compounds, Apparatuses Therefor (AREA)

Abstract

ESS(Energy Storage System)와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치 및 방법이 개시된다. ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 예측 장치는 ESS의 열화 변화량을 예측하는 ESS 열화예측모델을 생성하는 ESS 모델 생성부와, 수전해설비의 열화 변화량을 예측하는 수전해 열화예측모델을 생성하는 수전해 모델 생성부와, ESS 열화예측모델과 수전해 열화예측모델을 기반으로 강화학습을 수행하여, ESS의 열화비용과 수전해설비의 열화비용이 최소화되는 ESS와 수전해설비의 이용 비율을 시간대 별로 예측하는 폴리시(Policy) 모델을 생성하는 강화학습부를 포함한다.

Description

열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치 및 방법{Apparatus and method for optimizing the use ratio of ESS and water electrolysis facilities considering deterioration cost}
본 발명은 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치 및 방법에 관한 것으로, 보다 상세하게는, 그리드에 저장된 에너지를 ESS와 수전해설비로 방출하거나 ESS와 수전해설비에 저장된 에너지를 가져올 때 열화 비용이 최소화되도록 하는 ESS와 수전해설비의 최적화된 이용 비율을 예측할 수 있는 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치 및 방법에 관한 것이다.
전력 계통의 안정성을 위해서는 그리드 내부에서의 총 발전량과 총 수요량의 균형이 맞아야 한다. 그러나, 탄소중립 사회를 위해 신재생에너지 자원의 수요가 늘어나면서 이러한 균형을 조율하는데 어려움이 발생하고 있다.
이는 발전량을 제어할 수 있는 기존 전통적인 발전기와는 달리 신재생에너지의 발전량은 기상상태에 의존적이므로 신재생에너지의 발전량 제어가 어려운 신재생에너지의 특징 때문이다.
따라서, 신재생에너지의 발전량이 충분히 많을 때는 그리드로부터 에너지를 흡수해 저장하고, 신재생에너지의 발전량이 부족할 때는 저장했던 에너지를 그리드로 방출하는 시스템이 필요하며, 이런 역할을 수행하는 설비로서 리튬이온배터리로 만든 ESS(Energy Storage System)와 가역 고체산화물전지(Reversible Solid Oxide Cell, RSOC) 로 만든 수전해설비가 있다.
그러나, 기존에는 ESS와 수전해설비의 열화를 고려하지 않고 에너지를 저장하거나 방출하므로 기기 손실 비용이 발생하고, 설비 수명을 감소시키는 문제가 있다.
국내 공개특허 10-2020-0109112호
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, ESS와 수전해설비에 그리드의 에너지를 저장하고, 필요한 경우 ESS와 수전해설비에 저장된 에너지를 그리드로 방출하는 미래 계획이 수립된 상황에서 ESS와 수전해설비가 시간별로 에너지를 저장하고 방출하는 비율을 각 설비의 열화 비용을 고려하여 최적화할 수 있는 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치는, ESS(Energy Storage System)의 열화 변화량을 예측하는 ESS 열화예측모델을 생성하는 ESS 모델 생성부; 수전해설비의 열화 변화량을 예측하는 수전해 열화예측모델을 생성하는 수전해 모델 생성부; 및 상기 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 강화학습을 수행하여, ESS의 열화비용과 수전해설비의 열화비용이 최소화되는 ESS와 수전해설비의 이용 비율을 시간대 별로 예측하는 폴리시(Policy) 모델을 생성하는 강화학습부;를 포함할 수 있다.
상기 ESS 모델 생성부는, 상기 ESS에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 ESS 수집부; 상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 ESS의 열화지표를 측정하는 ESS 측정부; 및 상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 ESS 열화예측모델을 생성하는 ESS 열화예측모델 생성부;를 포함할 수 있다.
상기 ESS 수집부에서, 상기 ESS에 설정되는 입력데이터는 ESS의 입력 전류(I)와 ESS의 내부 공기온도(TΔ)를 포함하고, ESS의 출력데이터는 ESS의 전압(V)이다.
상기 ESS 측정부는, 다음 식을 이용하여 ESS의 열화지표를 측정할 수 있다.
Figure 112021151462141-pat00001
여기서, C는 측정 시점에서 ESS의 용량, CBOL은 ESS의 초기 용량, Crel은 상기 ESS의 열화 지표이다.
상기 수전해 모델 생성부는, 상기 수전해설비에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 수전해 수집부; 상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 수전해설비의 열화지표를 측정하는 수전해 측정부; 및 상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 수전해 열화예측모델을 생성하는 수전해 열화예측모델 생성부;를 포함할 수 있다.
상기 수전해 수집부에서, 상기 수전해설비에 설정되는 입력데이터는 수전해설비의 동작 온도(Top), 수전해설비의 전압(V), 수전해설비의 수소의 분압(PH), 수전해설비의 연료 압력(Pf) 및 수전해설비의 연료 유량(uf)을 포함하고, 수전해설비의 출력데이터는 수전해설비의 전류(I)이다.
상기 수전해 측정부는, 다음 식을 이용하여 수전해설비의 열화지표를 측정한다.
Figure 112021151462141-pat00002
여기서, I는 측정 시점에서 수전해설비의 전류, IBOL은 수전해설비의 초기 전류, Irel은 상기 수전해설비의 열화 지표이다.
상기 강화학습부는, 상기 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 스테이트(State), 액션(Action), 리워드(Reward) 및 디스카운트 팩터(Discount Factor)를 정의하여 MDP를 구축하는 MDP 구축부; 및 상기 스테이트, 액션, 리워드 및 디스카운트 팩터로 구축되는 MDP에 강화학습을 적용하여 상기 폴리시 모델을 생성하는 폴리시 모델 생성부;를 포함하고, 상기 MDP 구축부는, 그리드 에너지 저장 및 방출 계획이 완료되는 시각 중 현재 시점을 기준으로 남은 저장 및 방출 계획과, 상기 ESS의 내부 상태변수와, 상기 수전해설비의 내부 상태변수를 스테이트로 정하고, 시간대 별로 ESS와 수전해설비가 이용되는 비율을 액션으로 정하고, 상기 ESS와 수전해설비의 열화 비용을 리워드로 정하고, 0부터 1사이의 값 중 하나를 열화 비용에 적용할 디스카운트 팩터로 정할 수 있다.
상기 MDP 구축부는, 다음 식을 이용하여 리워드를 산출할 수 있다.
Figure 112021151462141-pat00003
여기서,
Figure 112021151462141-pat00004
은 상기 ESS 열화모델에 의해 예측되는 ESS의 열화 변화량,
Figure 112021151462141-pat00005
은 상기 수전해 열화모델에 의해 예측되는 수전해설비의 열화 변화량, MESS는 ESS의 설치비용, MELE는 수전해설비의 설치비용, Cu는 ESS의 수명을 판단하는 임계 용량, Iu는 수전해설비의 수명을 판단하는 임계 전류이다.
상기 ESS와 수전해설비의 실제 내부 상태정보와 실제 그리드 에너지 저장 및 방출 시계열 계획데이터를 상기 폴리시 모델에 스테이트로서 입력하여 상기 ESS와 수전해설비의 열화 비용이 최소화되는 ESS와 수전해설비의 이용 비율을 액션으로서 시간대 별로 예측하는 예측부;를 더 포함할 수 있다.
한편, 본 발명의 실시 예들에 따른 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법은, (A) 전자장치가, ESS(Energy Storage System)의 열화 변화량을 예측하는 ESS 열화예측모델을 생성하는 단계; (B) 상기 전자장치가, 수전해설비의 열화 변화량을 예측하는 수전해 열화예측모델을 생성하는 단계; 및 (C) 상기 전자장치가, 상기 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 강화학습을 수행하여, ESS의 열화비용과 수전해설비의 열화비용이 최소화되는 ESS와 수전해설비의 이용 비율을 시간대 별로 예측하는 폴리시(Policy) 모델을 생성하는 단계;를 포함할 수 있다.
상기 (A) 단계는, (A1) 상기 ESS에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 단계; (A2) 상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 ESS의 열화지표를 측정하는 단계; 및 (A3) 상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 ESS 열화예측모델을 생성하는 단계;를 포함할 수 있다.
상기 (A1) 단계에서, 상기 ESS에 설정되는 입력데이터는 ESS의 입력 전류(I)와 ESS의 내부 공기온도(TΔ)를 포함하고, ESS의 출력데이터는 ESS의 전압(V)이다.
상기 (B) 단계는, (B1) 상기 수전해설비에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 단계; (B2) 상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 수전해설비의 열화지표를 측정하는 단계; 및 (B3) 상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 수전해 열화예측모델을 생성하는 단계;를 포함할 수 있다.
상기 (C) 단계는, (C1) 그리드 에너지 저장 및 방출 계획이 완료되는 시각 중 현재 시점을 기준으로 남은 저장 및 방출 계획과, 상기 ESS의 내부 상태변수와, 상기 수전해설비의 내부 상태변수를 스테이트로(State)로 정하는 단계; (C2) 시간대 별로 ESS와 수전해설비가 이용되는 비율을 액션(Action)으로 정하는 단계; (C3) 상기 ESS와 수전해설비의 열화 비용을 리워드(Reward)로 정하는 단계; (C4) 0부터 1사이의 값 중 하나를 열화 비용에 적용할 디스카운트 팩터(Discount Factor)로 정하는 단계; (C5) 상기 스테이트, 액션, 리워드 및 디스카운트 팩터로 구축되는 MDP에 강화학습을 적용하여 상기 폴리시 모델을 생성하는 단계;를 포함할 수 있다.
(D) 상기 전자장치가, 상기 ESS와 수전해설비의 실제 내부상태와 실제 그리드 에너지 저장 및 방출 시계열 계획데이터를 상기 폴리시 모델에 스테이트로서 입력하여 상기 ESS와 수전해설비의 열화비용이 최소화되는 ESS와 수전해설비의 이용 비율을 액션으로서 시간대 별로 예측하는 단계;를 더 포함할 수 있다.
본 발명은 ESS와 수전해설비에 그리드의 에너지를 저장하고, 필요한 경우 ESS와 수전해설비에 저장된 에너지를 그리드로 방출하는 미래 계획이 수립된 상황에서 ESS와 수전해설비가 시간별로 에너지를 저장하고 방출하는 비율을 각 설비의 열화 비용을 고려하여 산정함으로써 ESS와 수전해설미의 열화비용을 최적화할 수 있다.
또한, 본 발명에 따르면, ESS와 수전해설비의 운용에 드는 비용을 최소화함으로써 재생에너지의 전기 생산 비용을 낮추어 신규 재생에너지 유입을 촉진시키고, 탄소중립 사회에 더 가까워질 수 있도록 한다.
또한, 본 발명에 따르면, 강화학습을 통해 도출해낸 가치함수(Q, V value function)를 통해 ESS와 수전해설비 자체의 현재 가치를 직접적인 금액으로 제공하므로 앞으로의 전력시장에서의 거래를 용이하게 할 수 있다.
또한, 본 발명에 따르면, 열화비용 뿐만 아니라 다른 비용도 고려할 수 있도록 확장성이 뛰어나므로, 미래에 발생할 수 있는 ESS와 수전해설비 운용에 대한 더 복잡한 비용최적화 문제 해결도 용이하게 할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 신재생에너지 이용 시 ESS(Energy Storage System, 10)와 수전해설비(20)를 이용한 전력계통 안정화 시스템을 도시한 도면,
도 2는 그리드 에너지 저장 및 방출 계획 및 ESS(10)와 수전해설비의 최적 이용 비율의 예측 결과를 보여주는 예시도,
도 3은 본 발명의 실시 예에 따른 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치(100)를 도시한 도면,
도 4는 도 3에 도시된 ESS 모델 생성부(110)를 자세히 도시한 블록도,
도 5는 ESS 열화예측모델 생성부(116)의 ESS 열화 모델링을 보여주는 도면,
도 6은 ESS 열화예측모델 생성부(116)가 실험데이터를 기반으로 에이징 맵(Aging map)을 도출하는 동작을 설명하기 위한 도면,
도 7은 도 3에 도시된 수전해 모델 생성부(120)를 자세히 도시한 블록도,
도 8은 수전해 열화예측모델 생성부(126)의 수전해설비 열화 모델링을 보여주는 도면,
도 9는 도 3에 도시된 강화학습부(130)를 자세히 도시한 블록도,
도 10은 본 발명의 실시 예에 따른 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법을 개략적으로 도시한 흐름도,
그리고, 도 11은 본 발명의 실시 예에 따른 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법을 실행하는 전자장치(100)를 도시한 블록도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다.
또한, 어떤 구성요소가 구현됨에 있어서 특별한 언급이 없다면, 그 구성요소는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
또한, 본 명세서에서 '부', '서버', '시스템', '플랫폼', '장치' 또는 '단말' 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되거나 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 지칭하는 것으로 의도될 수 있다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 본 명세서에서 데이터베이스(DB)라 함은, 각각의 DB에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)를 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도면에 도시된 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1은 신재생에너지 이용 시 ESS(Energy Storage System, 10)와 수전해설비(20)를 이용한 전력계통 안정화 시스템을 도시한 도면이다.
도 1을 참조하면, 태양열 에너지와 신재생 에너지의 발전량이 충분히 많을 때는 그리드(전력망, 30)로부터 에너지를 흡수하여 ESS(10) 및 수전해설비(20)에 저장하고, 신재생에너지의 발전량이 부족할 때는 ESS(10) 및 수전해설비(20)에 저장해 놓은 에너지를 그리드(30)로 방출할 수 있다. ESS(10)는 리튬이온배터리로 만든 대용량 에너지 저장 설비이고, 수전해설비(20)는 연료전지로 만든 에너지 저장 설비이다.
본 발명은 미래(예를 들어, 다음 날, 또는 정해진 시간 후)에 전력계통의 수요와 공급의 균형을 맞추기 위해서 미래의 시간별로 그리드(30)로부터의 에너지 저장과 그리드(30)로의 에너지 방출 계획이 존재할 때, ESS(10)와 수전해설비(20)가 시간대에 따라 각각 이용되는 비율을 각 장치(100)의 열화 비용을 고려하여 경제적으로 최적화되도록 예측할 수 있다.
도 2는 그리드 에너지 저장 및 방출 계획 및 ESS(10)와 수전해설비의 최적 이용 비율의 예측 결과를 보여주는 예시도이다.
도 2의 (a)를 참조하면, 그리드(30)에 저장된 에너지를 ESS(10) 또는 수전해설비(20)로 방출하거나, ESS(10) 또는 수전해설비(20)에 저장된 에너지를 그리드(30)로 방출하는 계획은 정해진 주기로 사전에 관리자에 의해 작성될 수 있다.
본 발명은 도 2의 (b)에 도시된 것처럼, 그리드 에너지 저장 및 방출 계획을 고려하여 ESS(10)와 수전해설비(20)에서 발생하는 열화비용을 최소화면서 ESS(10)와 수전해설비(20)에 에너지를 저장하거나, 저장된 에너지를 그리드(30)로 방출하는 최적 이용 비율을 시계열로 예측할 수 있는 설비 이용 비율 예측모델(이하, '폴리시 모델'이라 한다)을 생성할 수 있다.
도 3은 본 발명의 실시 예에 따른 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치(100)를 도시한 도면이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 ESS와 수전해설비(20)의 열화비용을 고려한 ESS(10)와 수전해설비(20) 이용 비율 최적화 장치(100)는 ESS 모델 생성부(110), 수전해 모델 생성부(120) 및 강화학습부(130)를 포함하고, 예측부(140)를 더 포함할 수 있다.
ESS 모델 생성부(110)는 ESS(10)의 열화 변화량을 예측하는 ESS 열화예측모델을 생성할 수 있다.
도 4는 도 3에 도시된 ESS 모델 생성부(110)를 자세히 도시한 블록도이다.
도 4를 참조하면, ESS 모델 생성부(110)는 ESS 수집부(112), ESS 측정부(114) 및 ESS 열화예측모델 생성부(116)를 포함할 수 있다.
ESS 수집부(112)는 ESS(10)에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집할 수 있다. ESS 수집부(112)는 다양한 조건에서 ESS 열화가 발생할 수 있는 실험을 진행하여 입력데이터와 출력데이터를 수집할 수 있다. 입력데이터와 출력데이터는 설정된 주기(Δt)마다 수집될 수 있다.
ESS에 설정되는 입력데이터는 ESS(10)의 입력 전류(I)와 ESS(10)의 내부 공기온도(TΔ)를 포함하고, ESS의 출력데이터는 ESS의 전압(V)일 수 있다.
ESS 측정부(114)는 ESS 수집부(112)가 ESS(10)의 입력데이터와 출력데이터를 수집하는 동안 주기적으로 ESS(10)의 열화지표를 측정할 수 있다. 예를 들어, ESS 측정부(114)는 ESS(10)의 열화를 실험하는 동안 주기적으로 Reference Performance Test(RPT)를 수행하여 ESS(10)의 열화지표를 측정한다. ESS(10)의 열화지표는 상대적인 용량(예를 들어, 방전량)일 수 있으며, [수학식 1]을 이용하여 측정될 수 있다.
Figure 112021151462141-pat00006
[수학식 1]에서 C는 측정 시점에서 ESS(10)의 용량, CBOL은 ESS(10)가 아직 사용되지 않은(Beginning of Life) ESS(10)의 초기 용량(초기 총 방전량), Crel은 ESS(10)의 열화지표인 상대적인 용량이다. Crel은 열화가 지속됨에 따라 감소하며, 특정 하한선(Cu)보다 작아지면 ESS(10)의 수명이 종료된 것으로 볼 수 있다.
ESS 열화예측모델 생성부(116)는 수집 또는 측정되는 ESS(10)의 입력데이터, 출력데이터 및 열화 지표를 학습하여 ESS 열화예측모델을 생성할 수 있다.
[수학식 2]는 ESS 열화예측모델을 개략적으로 보여주는 식이다.
Figure 112021151462141-pat00007
[수학식 2]에서
Figure 112021151462141-pat00008
은 시간에 따른 ESS(10)의 열화 변화율이고, SOC(State Of Charge)는 ESS(10)의 충전량이고, Tcell은 ESS의 배터리셀 온도로서, ESS와 Tcell은 ESS(10)의 내부 상태를 나타내는 변수(내부 상태변수)이다. ESS(10)의 열화 변화율에 영향을 미치는 인자는 SOC, Tcell 및 I에 한정되지 않고, 다른 인자로 변경되거나 다른 인자가 추가될 수도 있다.
도 5는 ESS 열화예측모델 생성부(116)의 ESS 열화 모델링을 보여주는 도면이다.
도 5를 참조하면, ESS(10)의 입력데이터로서 I와 T가 입력되고, 출력데이터로서 V가 출력된다. ESS 열화예측모델 생성부(116)는 열화 모델링을 통해 시간에 따른 ESS(10)의 열화 정도(열화 변화율)을 예측하는 ESS 열화예측모델을 [수학식 2]와 같이 생성하며, ESS 열화예측모델은 SOC, Tcell 및 I의 영향을 받을 수 있다.
도 6은 ESS 열화예측모델 생성부(116)가 실험데이터를 기반으로 에이징 맵(Aging map)을 도출하는 동작을 설명하기 위한 도면이다.
도 6을 참조하면, ESS 열화예측모델 생성부(116)는 열화지표의 시간에 대한 변화율이 특정 동작 변수들로 이루어진 동작 포인트의 함수라고 가정할 수 잇다. 이 함수의 경우 다항함수, 지수함수 등 다양한 parameterized function으로 모델링이 가능하다. ESS 수집부(112)가 도 6에 도시된 것처럼 주기적으로 I, Tcell, SOC 및 Crel은 수집하거나 측정하여 학습 및 모델링을 위한 빅데이터가 형성되면, ESS 열화예측모델 생성부(116)는 열화 정도를 [수학식 2]를 이용하여 산출하여 그 결과를 테이블화 및 피팅(fitting)한다. 이 과정을 통해 ESS 열화예측모델 생성부(116)는 ESS의 동작 포인트에 따른 열화속도를 도출할 수 있는 함수(Aging map)를 모델링할 수 있다.
다시 도 3을 참조하면, 수전해 모델 생성부(120)는 수전해설비(20)의 열화 변화량을 예측하는 수전해 열화예측모델을 생성할 수 있다.
도 7은 도 3에 도시된 수전해 모델 생성부(120)를 자세히 도시한 블록도이다.
도 7을 참조하면, 수전해 모델 생성부(120)는 수전해 수집부(122), 수전해 측정부(124) 및 수전해 열화예측모델 생성부(126)를 포함할 수 있다.
수전해 수집부(122)는 수전해설비(20)에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집할 수 있다. 수전해 수집부(122)는 다양한 조건에서 수전해설비(20)의 열화가 발생할 수 있는 실험을 진행하여 입력데이터와 출력데이터를 수집할 수 있다. 입력데이터와 출력데이터는 설정된 주기(Δt)마다 수집될 수 있다.
수전해설비(20)에 설정되는 입력데이터는 수전해설비(20)의 동작 온도(Top), 수전해설비(20)의 전압(V), 수전해설비(20)의 수소 분압(PH), 수전해설비(20)의 연료 압력(Pf) 및 수전해설비(20)의 연료 유량(uf)을 포함하고, 수전해설비(20)의 출력데이터는 수전해설비(20)의 전류(I)일 수 있다.
수전해 측정부(124)는 수전해 수집부(122)가 수전해설비(20)의 입력데이터와 출력데이터를 수집하는 동안 주기적으로 수전해설비(20)의 열화지표를 측정할 수 있다 예를 들어, 수전해 측정부(124)는 수전해설비(20)의 열화를 실험하는 동안 주기적으로 Reference Performance Test(RPT)를 수행하여 수전해설비(20)의 열화지표를 측정한다.
수전해설비(20)의 열화지표는 동일 전압 및 동일 온도에서 상대적 전류량일 수 있으며, [수학식 3]을 이용하여 측정될 수 있다.
Figure 112021151462141-pat00009
[수학식 3]에서 I는 측정 시점에서 수전해설비(20)의 전류량, IBOL은 수전해설비(20)가 생산된 직후의 초기 전류값, Irel은 수전해설비(20)의 열화지표인 상대적 전류량이다. Irel은 열화가 지속됨에 따라 감소하며, 특정 하한선(Iu)보다 작아지면 수전해설비(20)의 수명이 종료된 것으로 볼 수 있다.
수전해 열화예측모델 생성부(126)는 수전해설비(20)의 입력데이터, 출력데이터 및 열화 지표를 학습하여 수전해 열화예측모델을 생성할 수 있다.
[수학식 4]는 수전해 열화예측모델을 개략적으로 보여주는 식이다.
Figure 112021151462141-pat00010
[수학식 4]에서
Figure 112021151462141-pat00011
은 시간에 따른 수전해설비(20)의 열화 변화율이고, I는 수전해설비(20)의 출력 전류이다. 수전해설비(20)의 열화 변화율에 영향을 미치는 인자는 I, Top, Pf에 한정되지 않고, 다른 인자로 변경되거나 다른 인자가 추가될 수도 있다.
도 8은 수전해 열화예측모델 생성부(126)의 수전해설비 열화 모델링을 보여주는 도면이다.
도 8을 참조하면, 수전해설비(20)의 입력데이터로서 Top, V, PH, Pf, uf가 입력되고, 출력데이터로서 I가 출력된다. 수전해 열화예측모델 생성부(126)는 열화 모델링을 통해 시간에 따른 수전해설비(20)의 열화 정도(열화 변화율)을 예측하는 수전해 열화예측모델을 [수학식 4]와 같이 생성하며, 수전해 열화예측모델은 일 예로 I, Top, Pf의 영향을 받을 수 있다.
다시 도 3을 참조하면, 강화학습부(130)는 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 MDP(Markov Decision Process)를 구축하고, 이를 바탕으로 강화학습을 수행하여 폴리시(Policy) 모델(즉, 설비 이용 비율 예측모델)을 생성할 수 있다. 폴리시 모델은 ESS(10)의 열화비용과 수전해설비(20)의 열화비용이 최소화되는 ESS(10)와 수전해설비(20)의 이용 비율을 시간대 별로 예측하는 모델이다.
강화학습은 MDP를 기반으로 스테이트(State), 액션(Action), 리워드(Reward) 및 디스카운트 팩터(Discount Factor)를 정의하여 discounted reward sum의 기대값이 최대가 되는 폴리시를 학습하는 과정이다.
폴리시는 주어진 스테이트에 대해서 어떤 액션을 취할지 정하는 전략을 의미하며, 본 발명의 경우, 주어진 그리드 에너지 저장 및 방출 계획에 대해, ESS(10)와 수전해설비(20)의 저장 비율 또는 방출 비율을 어떻게 취할지 정하는 전략을 의미할 수 있다.
도 9는 도 3에 도시된 강화학습부(130)를 자세히 도시한 블록도이다.
도 9를 참조하면, 강화학습부(130)는 MDP 구축부(132) 및 폴리시 모델 생성부(134)를 포함할 수 있다.
MDP 구축부(132)는 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 스테이트(State), 액션(Action), 리워드(Reward) 및 디스카운트 팩터(Discount Factor)를 다음과 같이 정의하여 MDP를 구축하고, 이 때, 스테이트(State), 액션(Action), 리워드(Reward) 및 디스카운트 팩터(Discount Factor)에 해당하는 데이터를 주기적으로(Δt) 수집할 수 있다. 주기(Δt)는 예를 들어, 도 2에서 그리드 에너지 저장 및 방출 계획에서 계획이 변경되는 간격(예를 들어, 일, 시, 분 등)일 수 있다.
스테이트(State)는 그리드 에너지 저장 및 방출 계획이 수립되면, 이 계획 완료되는 시각 중 현재 시점을 기준으로 남은 저장 및 방출 계획과, ESS(10)의 내부 상태변수와, 수전해설비(20)의 내부 상태변수를 포함한다.
액션(Action)은 시간대 별로 ESS(10)와 수전해설비가 이용되는 비율을 의미한다. 예를 들어, 그리드 에너지 저장 및 방출 계획에 의해, 1시간동안 그리드(30)로부터 100Wh의 에너지를 흡수해야 하는 경우, ESS(10)가 30Wh, 수전해설비(20)가 70Wh를 흡수할 때 이용 비율이 최적화된 경우, 이용 비율은 각각 0.3과 0.7이 된다.
리워드(Reward)는 ESS(10)와 수전해설비(20)의 열화 비용의 합이다. MDP 구축부(132)는 [수학식 5]를 이용하여 리워드를 산출할 수 있다.
Figure 112021151462141-pat00012
[수학식 5]에서 Δ는 하나의 타임스텝 Δt에서의 변화량을 나타내고,
Figure 112021151462141-pat00013
은 ESS 열화모델에 의해 예측되는 ESS(10)의 열화 변화량,
Figure 112021151462141-pat00014
은 수전해 열화모델에 의해 예측되는 수전해설비(20)의 열화 변화량, MESS는 ESS(10)의 설치비용, MELE는 수전해설비(20)의 설치비용, Cu는 ESS(10)의 수명을 판단하는 임계 용량, Iu는 수전해설비(20)의 수명을 판단하는 임계 전류이다. MDP 구축부(132)는 열화 비용 산출 시 고려해야 할 비용이 있으면 더 추가할 수 있다.
MDP 구축부(132)는 [수학식 6] 및 ESS 열화 모델을 이용하여
Figure 112021151462141-pat00015
을 산출할 수 있다.
Figure 112021151462141-pat00016
MDP 구축부(132)는 [수학식 7] 및 수전해 열화 모델을 이용하여
Figure 112021151462141-pat00017
을 산출할 수 있다.
Figure 112021151462141-pat00018
[수학식 6] 및 [수학식 7]은 각각 [수학식 2] 및 [수학식 4]의 편미분을 디스크리트한 형태이다.
디스카운트 팩터(Discount Factor)는 열화 비용에 적용할 금리로서, 상황에 따라 0부터 1사이의 값 중 하나가 설정될 수 있다.
폴리시 모델 생성부(134)는 ESS 열화모델과 수전해 열화모델을 바탕으로 스테이트, 액션, 리워드 및 디스카운트 팩터로 구축되는 MDP에 강화학습을 적용하여 폴리시 모델을 생성할 수 있다.
예측부(140)는 ESS(10)와 수전해설비(20)의 실제 내부 상태정보와 실제 그리드 에너지 저장 및 방출 시계열 계획데이터를 폴리시 모델에 스테이트로서 입력하여 ESS(10)와 수전해설비(20)의 열화 비용이 최소화되는 ESS(10)와 수전해설비(20)의 이용 비율을 액션으로서 시간대 별로 예측할 수 있다. 실제 내부 상태정보는 ESS(10)와 수전해설비의 초기 설비상태를 나타내는 정보로서, ESS(10)의 경우 SOC, Tcell을 포함할 수 있다.
예를 들어, 도 2의 (a)에 도시된 실제 그리드 에너지 저장 및 방출 계획이 수립되면, 예측부(140)는 실제 그리드 에너지 저장 및 방출 계획을 폴리시 모델에 입력하여 다음 날 또는 다음 1시간 후에 ESS(10)와 수전해설비(20)에 에너지를 저장하는 최소 비용이 산출되는 이용 비율 또는 ESS(10)와 수전해설비(20)로부터 에너지를 방출하는 최소 비용이 산출되는 이용 비율을 도 2의 (b)와 같이 주기적으로 예측할 수 있다.
도 10은 본 발명의 실시 예에 따른 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법을 개략적으로 도시한 흐름도이다.
도 10에 도시된 ESS와 수전해설비 이용 비율 최적화 방법은 도 1 내지 도 9를 참조하여 설명한 ESS와 수전해설비 이용 비율 최적화 장치(100) 또는 후술할 전자장치(100)에 의해 수행될 수 있으며, 자세한 설명은 상술하였으므로 생략한다.
도 10을 참조하면, 전자장치(100)는 ESS(10)의 열화 변화량을 예측하는 ESS 열화예측모델을 생성할 수 있다(S1010). S1010단계는, ESS(10)에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하고, 주기적으로 ESS(10)의 열화지표를 측정하며, 수집된 입력데이터, 출력데이터 및 열화 지표를 학습하여 ESS 열화예측모델을 생성할 수 있다.
전자장치(100)는 수전해설비(20)의 열화 변화량을 예측하는 수전해 열화예측모델을 생성할 수 있다(S1020). S1020단계는, 수전해설비(20)에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하고, 주기적으로 수전해설비(20)의 열화지표를 측정하며, 수전해설비(20)의 입력데이터, 출력데이터 및 열화 지표를 학습하여 수전해 열화예측모델을 생성할 수 있다.
전자장치(100)는 S1010단계와 S1020단계에서 생성되는 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 스테이트(State), 액션(Action), 리워드(Reward) 및 디스카운트 팩터(Discount Factor)를 정의하여 MDP를 구축할 수 있다(S1030).
전자장치(100)는 S1030단계에서 구축되는 MDP에 강화학습을 수행하여, ESS(10)의 열화비용과 수전해설비(20)의 열화비용이 최소화되는 ESS(10)와 수전해설비(20)의 이용 비율을 시간대 별로 예측하는 폴리시 모델을 생성할 수 있다(S1040).
도 11은 본 발명의 실시 예에 따른 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법을 실행하는 전자장치(100)를 도시한 블록도이다.
도 11을 참조하면, 전자장치(100)는 버스(1120)를 통해 연결되는 적어도 하나의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150), 스토리지(1160), 및 네트워크 인터페이스(1170)를 포함할 수 있다.
프로세서(1110)는 중앙 처리 장치(CPU) 또는 메모리(1130) 및/또는 스토리지(1160)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 종류의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1130)는 ROM(Read Only Memory)(1131) 및 RAM(Random Access Memory)(1132)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1110)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1130) 및/또는 스토리지(1160))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1110)에 커플링되며, 그 프로세서(1110)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1110)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: ESS
20: 수전해설비
30: 그리고
100: ESS와 수전해설비 이용 비율 최적화 장치
110: ESS 모델 생성부
120: 수전해 모델 생성부
130: 강화학습부
140: 예측부

Claims (12)

  1. ESS(Energy Storage System)의 열화 변화량을 예측하는 ESS 열화예측모델을 생성하는 ESS 모델 생성부;
    수전해설비의 열화 변화량을 예측하는 수전해 열화예측모델을 생성하는 수전해 모델 생성부; 및
    상기 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 강화학습을 수행하여, ESS의 열화비용과 수전해설비의 열화비용이 최소화되는 ESS와 수전해설비의 이용 비율을 시간대 별로 예측하는 폴리시(Policy) 모델을 생성하는 강화학습부;
    를 포함하되,
    상기 강화학습부는,
    상기 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 스테이트(State), 액션(Action), 리워드(Reward) 및 디스카운트 팩터(Discount Factor)를 정의하여 MDP를 구축하는 MDP 구축부; 및
    상기 스테이트, 액션, 리워드 및 디스카운트 팩터로 구축되는 MDP에 강화학습을 적용하여 상기 폴리시 모델을 생성하는 폴리시 모델 생성부;
    를 포함하고,
    상기 MDP 구축부는,
    그리드 에너지 저장 및 방출 계획이 완료되는 시각 중 현재 시점을 기준으로 남은 저장 및 방출 계획과, 상기 ESS의 내부 상태변수와, 상기 수전해설비의 내부 상태변수를 스테이트로로 정하고,
    시간대 별로 ESS와 수전해설비가 이용되는 비율을 액션으로 정하고,
    상기 ESS와 수전해설비의 열화 비용을 리워드로 정하고,
    0부터 1사이의 값 중 하나를 열화 비용에 적용할 디스카운트 팩터로 정하며,
    상기 MDP 구축부는, 다음 식을 이용하여 리워드를 산출하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치:
    Figure 112022137562596-pat00036

    여기서,
    Figure 112022137562596-pat00037
    은 상기 ESS 열화예측모델에 의해 예측되는 ESS의 열화 변화량,
    Figure 112022137562596-pat00038
    은 상기 수전해 열화예측모델에 의해 예측되는 수전해설비의 열화 변화량, MESS는 ESS의 설치비용, Mele는 수전해설비의 설치비용, Cu는 ESS의 수명을 판단하는 임계 용량, Iu는 수전해설비의 수명을 판단하는 임계 전류임.
  2. 제1항에 있어서,
    상기 ESS 모델 생성부는,
    상기 ESS에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 ESS 수집부;
    상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 ESS의 열화지표를 측정하는 ESS 측정부; 및
    상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 ESS 열화예측모델을 생성하는 ESS 열화예측모델 생성부;
    를 포함하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치.
  3. 제1항에 있어서,
    상기 수전해 모델 생성부는,
    상기 수전해설비에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 수전해 수집부;
    상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 수전해설비의 열화지표를 측정하는 수전해 측정부; 및
    상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 수전해 열화예측모델을 생성하는 수전해 열화예측모델 생성부;
    를 포함하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 ESS와 수전해설비의 실제 내부 상태정보와 실제 그리드 에너지 저장 및 방출 시계열 계획데이터를 상기 폴리시 모델에 스테이트로서 입력하여 상기 ESS와 수전해설비의 열화 비용이 최소화되는 ESS와 수전해설비의 이용 비율을 액션으로서 시간대 별로 예측하는 예측부;
    를 더 포함하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 장치.
  7. (A) 전자장치가, ESS(Energy Storage System)의 열화 변화량을 예측하는 ESS 열화예측모델을 생성하는 단계;
    (B) 상기 전자장치가, 수전해설비의 열화 변화량을 예측하는 수전해 열화예측모델을 생성하는 단계; 및
    (C) 상기 전자장치가, 상기 ESS 열화예측모델과 수전해 열화예측모델을 기반으로 강화학습을 수행하여, ESS의 열화비용과 수전해설비의 열화비용이 최소화되는 ESS와 수전해설비의 이용 비율을 시간대 별로 예측하는 폴리시(Policy) 모델을 생성하는 단계;
    를 포함하되,
    상기 (C) 단계는,
    (C1) 그리드 에너지 저장 및 방출 계획이 완료되는 시각 중 현재 시점을 기준으로 남은 저장 및 방출 계획과, 상기 ESS의 내부 상태변수와, 상기 수전해설비의 내부 상태변수를 스테이트로(State)로 정하는 단계;
    (C2) 시간대 별로 ESS와 수전해설비가 이용되는 비율을 액션(Action)으로 정하는 단계;
    (C3) 상기 ESS와 수전해설비의 열화 비용을 리워드(Reward)로 정하는 단계;
    (C4) 0부터 1사이의 값 중 하나를 열화 비용에 적용할 디스카운트 팩터(Discount Factor)로 정하는 단계;
    (C5) 상기 스테이트, 액션, 리워드 및 디스카운트 팩터로 구축되는 MDP에 강화학습을 적용하여 상기 폴리시 모델을 생성하는 단계;
    를 포함하며,
    상기 (C3) 단계는 다음 식을 이용하여 리워드를 산출하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법:
    Figure 112022137562596-pat00039

    여기서,
    Figure 112022137562596-pat00040
    은 상기 ESS 열화예측모델에 의해 예측되는 ESS의 열화 변화량,
    Figure 112022137562596-pat00041
    은 상기 수전해 열화예측모델에 의해 예측되는 수전해설비의 열화 변화량, MESS는 ESS의 설치비용, Mele는 수전해설비의 설치비용, Cu는 ESS의 수명을 판단하는 임계 용량, Iu는 수전해설비의 수명을 판단하는 임계 전류임.
  8. 제7항에 있어서,
    상기 (A) 단계는,
    (A1) 상기 ESS에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 단계;
    (A2) 상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 ESS의 열화지표를 측정하는 단계; 및
    (A3) 상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 ESS 열화예측모델을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법.
  9. 제7항에 있어서,
    상기 (B) 단계는,
    (B1) 상기 수전해설비에 설정되는 입력데이터와 입력데이터에 따라 변동되는 출력데이터를 수집하는 단계;
    (B2) 상기 입력데이터와 출력데이터를 수집하는 동안 주기적으로 상기 수전해설비의 열화지표를 측정하는 단계; 및
    (B3) 상기 입력데이터, 출력데이터 및 열화 지표를 학습하여 수전해 열화예측모델을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법.
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    (D) 상기 전자장치가, 상기 ESS와 수전해설비의 실제 내부상태와 실제 그리드 에너지 저장 및 방출 시계열 계획데이터를 상기 폴리시 모델에 스테이트로서 입력하여 상기 ESS와 수전해설비의 열화비용이 최소화되는 ESS와 수전해설비의 이용 비율을 액션으로서 시간대 별로 예측하는 단계;
    를 더 포함하는 것을 특징으로 하는 ESS와 수전해설비의 열화비용을 고려한 ESS와 수전해설비 이용 비율 최적화 방법.
KR1020210189567A 2021-12-28 2021-12-28 열화비용을 고려한 ess와 수전해설비 이용 비율 최적화 장치 및 방법 KR102497271B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210189567A KR102497271B1 (ko) 2021-12-28 2021-12-28 열화비용을 고려한 ess와 수전해설비 이용 비율 최적화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210189567A KR102497271B1 (ko) 2021-12-28 2021-12-28 열화비용을 고려한 ess와 수전해설비 이용 비율 최적화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102497271B1 true KR102497271B1 (ko) 2023-02-08

Family

ID=85225775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210189567A KR102497271B1 (ko) 2021-12-28 2021-12-28 열화비용을 고려한 ess와 수전해설비 이용 비율 최적화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102497271B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073997A1 (ja) * 2010-11-30 2012-06-07 本田技研工業株式会社 ２次電池の劣化推定装置
JP2015090709A (ja) * 2013-11-07 2015-05-11 パロ・アルト・リサーチ・センター・インコーポレーテッドＰａｌｏ Ａｌｔｏ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ Ｉｎｃｏｒｐｏｒａｔｅｄ グリッドタイ・エネルギ背景の経済的最適化のための戦略的モデリング
KR20160017416A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 패턴 정보에 기초하여 사용자 특성에 따른 배터리 수명을 추정하는 장치 및 방법
KR20200109112A (ko) 2019-03-12 2020-09-22 한국전자통신연구원 피크 전력 저감을 위한 ess 제어 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073997A1 (ja) * 2010-11-30 2012-06-07 本田技研工業株式会社 ２次電池の劣化推定装置
JP2015090709A (ja) * 2013-11-07 2015-05-11 パロ・アルト・リサーチ・センター・インコーポレーテッドＰａｌｏ Ａｌｔｏ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ Ｉｎｃｏｒｐｏｒａｔｅｄ グリッドタイ・エネルギ背景の経済的最適化のための戦略的モデリング
KR20160017416A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 패턴 정보에 기초하여 사용자 특성에 따른 배터리 수명을 추정하는 장치 및 방법
KR20200109112A (ko) 2019-03-12 2020-09-22 한국전자통신연구원 피크 전력 저감을 위한 ess 제어 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Optimal Operation of a Hydrogen-based Building Multi-Energy System Based on Deep Reinforcement Learning(2021.9.22.) *

Similar Documents

Publication Publication Date Title
JP6482819B2 (ja) グリッドタイ・エネルギ背景の経済的最適化のための戦略的モデリング
EP2386754B1 (en) System for control of wind power electricity generation accumulator and method of control thereof
JP5842054B2 (ja) 蓄電池分析システム、蓄電池分析方法、および蓄電池分析プログラム
Lujano-Rojas et al. Operating conditions of lead-acid batteries in the optimization of hybrid energy systems and microgrids
CN102439782B (zh) 用于自然能源利用系统的铅蓄电池和铅蓄电池系统
WO2022253038A1 (zh) 基于弹性网的锂电池健康状态预测方法、系统、设备及介质
US20210190880A1 (en) Determination of the aging of an electric storage system
US11099240B2 (en) Device and method for evaluating energy storage device and evaluation system
CN104316879A (zh) 一种铅酸蓄电池组寿命的预测方法
CN104217113A (zh) 基于储能概率模型的独立风光储系统可靠性评估方法
Manwell et al. Improvements to the Hybrid2 battery model
KR102497271B1 (ko) 열화비용을 고려한 ess와 수전해설비 이용 비율 최적화 장치 및 방법
Eleftheriadis et al. Comparative study of machine learning techniques for the state of health estimation of li-ion batteries
CN114660461A (zh) 电池健康状态的评估方法、装置、电子设备和存储介质
CN113835036A (zh) 电池健康状态评估方法、装置、计算机设备和存储介质
CN115347590A (zh) 基于可逆固体氧化物电池的混合储能微电网寻优控制方法
Karunarathna et al. Battery reliability of fast electric vehicle charging systems
CN117081122B (zh) 一种基于分布式储能装置的运行状态分析系统
CN116860296B (zh) 一种固态电池包远程升级的应用方法及系统
CN113705874B (zh) 新能源电网演化预测方法、装置、计算机设备和存储介质
WO2024057996A1 (ja) 蓄電素子の劣化状態の算出装置、劣化状態の算出方法、劣化状態の算出プログラム、劣化状態の推定装置、劣化状態の推定方法、異常検知装置及び異常検知方法
US20240079660A1 (en) System and method for estimating residual capacity of energy storage system
CN117421936A (zh) 一种锂离子电池储能系统运行可靠性评估方法及装置
Barote et al. Reserved memory for Li-ion battery SOC estimation method in applications with EV
Gu Health State Estimation of Electric Vehicle Power Battery Based on K-means Algorithm

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant