KR102535640B1 - 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법 - Google Patents

상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법 Download PDF

Info

Publication number
KR102535640B1
KR102535640B1 KR1020220073178A KR20220073178A KR102535640B1 KR 102535640 B1 KR102535640 B1 KR 102535640B1 KR 1020220073178 A KR1020220073178 A KR 1020220073178A KR 20220073178 A KR20220073178 A KR 20220073178A KR 102535640 B1 KR102535640 B1 KR 102535640B1
Authority
KR
South Korea
Prior art keywords
pump
water
reinforcement learning
information
water supply
Prior art date
Application number
KR1020220073178A
Other languages
English (en)
Inventor
노철균
이성령
민예린
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Priority to KR1020220073178A priority Critical patent/KR102535640B1/ko
Application granted granted Critical
Publication of KR102535640B1 publication Critical patent/KR102535640B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Manufacturing & Machinery (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Control Of Positive-Displacement Pumps (AREA)

Abstract

상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법을 개시한다.본 발명은 가용 펌프의 효율적 운전, 전력 요금체계, 용수 수요의 추이, 배수지 특성, 송수관로의 조건을 고려하여 펌프의 온/오프 제어를 최적화함으로써, 운영자가 상주하지 않아도 자동적으로 펌프를 조정할 수 있고, 수위를 유지하면서 전력량 소비를 최소화할 수 있다.

Description

상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법{APPARATUS AND METHOD FOR REINFORCEMENT LEARNING FOR OPERATION AUTOMATION OF WATER SUPPLY OPERATION SYSTEM}
본 발명은 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 가용 펌프의 효율적 운전, 전력 요금체계, 용수 수요의 추이, 배수지 특성, 송수관로의 조건을 고려하여 펌프의 온/오프 제어를 최적화하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법에 관한 것이다.
강화 학습은 환경(environment)과 상호작용하며 목표를 달성하는 에이전트를 다루는 학습 방법으로서, 로봇이나 인공 지능 분야에서 많이 사용되고 있다.
이러한 강화 학습은 학습의 행동 주체인 강화 학습 에이전트(Agent)가 어떤 행동을 해야 더 많은 보상(Reward)을 받을지 알아내는 것을 목적으로 한다.
즉, 정해진 답이 없는 상태에서도 보상을 최대화시키기 위해 무엇을 할 것인가를 배우는 것으로서, 입력과 출력이 명확한 관계를 갖고 있는 상황에서 사전에 어떤 행위를 할 것인지 듣고 하는 것이 아니라, 시행착오를 거치면서 보상을 최대화시키는 것을 배우는 과정을 거친다.
또한, 에이전트는 시간 스텝이 흘러감에 따라 순차적으로 액션을 선택하게 되고, 상기 액션이 환경에 끼친 영향에 기반하여 보상(reward)을 받게 된다.
도1은 종래 기술에 따른 강화 학습 장치의 구성을 나타낸 블록도로서, 도 1에 나타낸 바와 같이, 에이전트(10)가 강화 학습 모델의 학습을 통해 액션(Action, 또는 행동) A를 결정하는 방법을 학습시키고, 각 액션인 A는 그 다음 상태(state) S에 영향을 끼치며, 성공한 정도는 보상(Reward) R로 측정할 수 있다.
즉, 보상은 강화 학습 모델을 통해 학습을 진행할 경우, 어떤 상태(State)에 따라 에이전트(10)가 결정하는 액션(행동)에 대한 보상 점수로서, 학습에 따른 에이전트(10)의 의사 결정에 대한 일종의 피드백이다.
환경(20)은 에이전트(10)가 취할 수 있는 행동, 그에 따른 보상 등 모든 규칙으로서, 상태, 액션, 보상 등은 모두 환경의 구성요소이고, 에이전트(10) 이외의 모든 정해진 것들이 환경이다.
한편, 강화 학습을 통해 에이전트(10)는 미래의 보상이 최대가 되도록 액션을 취하게 되므로, 보상을 어떻게 책정하느냐에 따라 학습 결과에 많은 영향이 발생한다.
상수도 시설에서 수돗물을 생산하기 위하여 취수, 정수, 송수 과정에서 많은 에너지를 소비한다.
이때의 상수도 시설에서 발생되는 전력 요금은 수돗물 생산원가의 약 10%를 차지하며, 상수도 시설의 전력 요금의 지속적인 상승은 수돗물 원가 상승의 주된 요인으로 작용한다.
도2는 종래 기술에 따른 펌프 시설에 에너지 최적화 제어 시스템을 적용한 예시도이다.
도2에 나타낸 바와 같이, 정수장(30) 및 배수지 1(50, 배수지 2(50a) 내지 배수지 n(50b)의 사이에 펌프 시설부 1(40), 펌프 시설부 2(40a) 내지 펌프 시설부 n(40b)이 설치되고, 상기 배수지 1(50, 배수지 2(50a) 내지 배수지 n(50b)의 유입량, 송수량, 전력부하, 수위 및 운영 수위에 따라 펌프 시설부 1(40), 펌프 시설부 2(40a) 내지 펌프 시설부 n(40b)의 펌프들 각각에 대한 동작을 개별 제어함으로써, 펌프 시설부(40, 40a, 40b)의 에너지 효율이 향상될 수 있도록 구성되었다.
그러나, 일반적인 상수도 시스템은 운영자가 직접 배수지의 수위, 취수, 사업소 각각의 수위 등을 고려한 후 펌프의 온/오프를 결정하도록 구성되어 운영자가 24시간 상주해야만 하는 어려움이 있다.
또한, 사회 재난과 같은 상황에서 운영자가 상주할 수 없는 경우, 정수의 생산에 차질이 발생하고, 소수의 전문 인력들이 정수장 운영과 동시에 새로운 전문 인력을 양성해야만 하는 문제점이 있다.
한국 등록특허공보 등록번호 제10-1818731호(발명의 명칭: 펌프 시설 운영에 적용하는 에너지 최적화 제어 시스템 및 방법)
이러한 문제점을 해결하기 위하여, 본 발명은 가용 펌프의 효율적 운전, 전력 요금체계, 용수 수요의 추이, 배수지 특성, 송수관로의 조건을 고려하여 펌프의 온/오프 제어를 최적화하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치로서, 정수장의 수위와 유량을 포함한 센서 정보, 날씨를 포함한 기상 정보, 상수도 운영 시스템의 과거 운영 정보 및 임의의 제약 조건 정보를 포함한 데이터를 수집하는 데이터베이스; 및 펌프 스케줄링을 위해 상기 데이터베이스에 수집된 과거 운영 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 물 수요량을 예측하고, 상기 예측된 물 수요량과 상기 수집된 데이터를 기반으로 펌프 제어 모델의 강화학습을 수행하여 정의된 보상을 최적화하기 위해 펌프 시설부의 펌프 스케줄링에 대한 의사 결정을 수행하는 송수 펌프 모델링부;를 포함한다.
또한, 상기 실시 예에 따른 정의된 보상은 전력 요금이 최소화되도록 하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 송수 펌프 모델링부는 펌프 스케줄링을 위해 상기 데이터베이스에 저장된 과거 운영 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 물 수요량을 예측하는 수요량 예측 모델부; 상기 수요량 예측 모델부에서 예측된 물 수요량과, 상기 데이터베이스에 저장된 정보와, 시뮬레이터에서 제공받은 상태(State) 정보와 보상(Reward) 정보를 기반으로 펌프 스케줄링에 따른 전력 요금을 최적화하는 액션(Action)을 결정하도록 펌프 제어 모델의 강화학습을 수행하여 펌프 시설부의 펌프 스케줄링에 대한 의사 결정을 수행하는 펌프 제어 모델부; 및 제공된 액션에 대하여 펌프 스케줄을 기반으로 시뮬레이션을 수행하고, 강화학습에 이용될 상태 정보와 보상 정보를 상기 펌프 제어 모델부로 제공하는 시뮬레이터;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 송수 펌프 모델링부는 펌프 제어 모델의 강화학습이 완료되면,룰(Rule) 모델을 이용하여 펌프 스케줄링을 실행하고, 실행 결과를 실제 운영 대상 상수도 운영 시스템에서 제공하는 펌프 제어 정보에 따른 실행 결과와 비교하며, 비교 결과에 따라 상기 펌프 스케줄링을 보정하는 룰 모델부를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 수요량 예측 모델부는 펌프 스케줄링을 위해 데이터베이스에 저장된 과거 운영 정보와 수요량 예측 강화학습 에이전트에서 제공된 액션을 기반으로 일 단위 물 수요량을 예측하여 강화학습에 이용될 보상 정보와 상태 정보를 제공하는 수요량 예측 환경부; 및 상기 수요량 예측 환경부로부터 제공받은 상태 정보와 보상 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 일 단위 물 수요량 예측이 최적화되도록 액션을 결정하는 수요량 예측 강화학습 에이전트;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 펌프 제어모델부는 제공된 액션에 대하여 취수 및 송수 펌프의 온/오프를 위한 펌프 스케줄링 정보를 요청하되, 데이터베이스에 저장된 정보와 상기 수요량 예측 모델부에서 예측된 일 단위 물 수요량을 기반으로 펌프 스케줄링에 따라 산출된 전력 요금과 시뮬레이터에서 제공받은 상태 정보와 보상 정보를 제공하는 펌프 제어 환경부; 및 상기 펌프 제어 환경부에서 제공받은 상태 정보와 보상 정보를 기반으로 펌프 제어 모델의 강화학습을 수행하여 일 단위 물 수요량에 따른 펌프 시설부의 취수 및 송수 온/오프의 펌프 스케줄링에 따라 전력 요금이 최적화되도록 액션을 결정하는 펌프 제어 강화학습 에이전트;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 펌프 제어 강화학습 에이전트는 안전을 위한 임의의 제약 조건(Constraints)을 상기 보상 정보에 추가 반영하여 강화학습을 수행하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제약 조건은 수위계 정보, 펌프 가동 시간 또는 펌프 조절 시간, 밸브 조절 상태, 계전기 신호 값, 잔류 염소 농도 중 하나 이상을 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법으로서, a) 송수 펌프 모델링부가 펌프 스케줄링을 위해 데이터베이스에 저장된 상수도 운영 시스템의 과거 운영 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 물 수요량을 예측하는 단계; b) 상기 송수 펌프 모델링부가 상기 예측된 물 수요량과 상기 수집된 데이터를 기반으로 펌프 제어 모델의 강화학습을 수행하여 정의된 보상을 최적화하기 위해 펌프 시설부의 펌프 스케줄링에 대한 의사 결정을 수행하는 단계; 및 c) 상기 펌프 제어 모델의 강화학습이 완료됨에 따라 상기 송수 펌프 모델링부가 펌프 시설부의 취수 및 송수 온/오프 제어를 위한 펌프 스케줄링을 실행하는 단계;를 포함한다.
또한, 상기 실시 예에 따른 c) 단계는 c-1) 강화학습이 완료되면, 룰(Rule) 모델을 이용하여 상기 펌프 스케줄링을 실행하고, 펌프 스케줄링에 의한 실행 결과와 실제 운영 대상 상수도 운영 시스템에서 제공하는 펌프 제어 정보에 따른 실행 결과를 비교하여 비교 결과에 따라 상기 펌프 스케줄링을 보정하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 정의된 보상은 전력 요금이 최소화되도록 하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 a) 단계는 a-1) 송수 펌프 모델링부의 수요량 예측 모델부가 제공받은 상태 정보와 보상 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하는 단계; a-2) 상기 수요량 예측 모델부가 일 단위 물 수요량 예측을 최적화하기 위한 액션을 생성하는 단계; 및 a-3) 상기 수요량 예측 모델부가 펌프 스케줄링을 위해 데이터베이스에 저장된 과거 운영 정보와 강화학습 에이전트에서 제공된 액션을 기반으로 일 단위 물 수요량을 예측하여 강화학습에 이용될 보상 정보와 상태 정보를 제공하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 b) 단계는 b-1) 송수 펌프 모델링부의 펌프 제어 모델부가 제공받은 상태 정보 및 보상 정보와 수요량 예측 모델부(210)에서 예측된 물 수요량을 기반으로 펌프 스케줄링에 따른 전력 요금을 최적화하는 액션을 결정하도록 펌프 제어 모델의 강화학습을 수행하는 단계; b-2) 상기 펌프 제어 모델부가 강화학습을 통해 일 단위 물 수요량에 따른 펌프 시설부의 취수 및 송수 온/오프의 펌프 스케줄링에 대한 액션을 결정하는 단계; 및 b-3) 상기 펌프 제어 모델부가 결정된 액션에 기반하여 시뮬레이션을 수행하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 b-1) 단계는 안전을 위한 임의의 제약 조건(Constraints)을 상기 보상 정보에 추가 반영하여 강화학습이 수행되도록 하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제약 조건은 수위계 정보, 펌프 가동 시간 또는 펌프 조절 시간, 밸브 조절 상태, 계전기 신호 값, 잔류 염소 농도 중 하나 이상을 포함하는 것을 특징으로 한다.
본 발명은 가용 펌프의 효율적 운전, 전력 요금체계, 용수 수요의 추이, 배수지 특성, 송수관로의 조건을 고려하여 펌프의 온/오프 제어를 최적화할 수 있는 장점이 있다.
또한, 본 발명은 운영자가 상주하지 않아도 자동적으로 펌프를 조정할 수 있고, 수위를 유지하면서 전력량 소비를 최소화할 수 있는 장점이 있다.
도1은 종래 기술에 따른 강화 학습 장치의 구성을 나타낸 블록도.
도2는 종래 기술에 따른 펌프 시설에 에너지 최적화 제어 시스템을 적용한 예시도.
도3은 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치를 나타낸 블록도.
도4는 도3의 실시 예에 따른 송수펌프 모델링부의 구성을 나타낸 블록도.
도5는 도4의 실시 예에 따른 수요량 예측 모델부의 구성을 나타낸 블록도.
도6은 도4의 실시 예에 따른 펌프 제어 모델부 구성을 나타낸 블록도.
도7은 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법을 설명하기 위해 나타낸 흐름도.
도8은 도7의 실시 예에 따른 수요량 예측 강화학습 과정을 설명하기 위해 나타낸 흐름도.
도9는 도7의 실시 예에 따른 펌프 제어 강화학습 과정을 설명하기 위해 나타낸 흐름도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.
도3은 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치를 나타낸 블록도이고, 도4는 도3의 실시 예에 따른 송수펌프 모델링부의 구성을 나타낸 블록도이며, 도5는 도4의 실시 예에 따른 수요량 예측 모델부의 구성을 나타낸 블록도이고, 도6은 도4의 실시 예에 따른 펌프 제어 모델부 구성을 나타낸 블록도이다.
도3 내지 도6을 참조하면, 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치는 가용 펌프의 효율적 운전, 전력 요금체계, 용수 수요의 추이, 배수지 특성, 송수관로의 조건을 고려한 강화학습을 진행하여 보상을 최대화하는 방향으로 학습할 수 있다.
즉, 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치는 물 수요량을 예측하여 펌프의 온/오프 또는 펌프 밸브의 개도율 제어를 최적화하는 정책과 전력 요금의 절감을 보상 함수로 설정하여, 해당 설정 목표인 수질, 물 수요량 등을 자동화 및 최적화하는 방향으로 강화학습 모델이 펌프의 온/오프 제어 또는 펌프 밸브의 개도율을 조정하여 상수도 운영 시스템이 가동될 수 있도록 한다.
또한, 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치는 펌프의 온/오프 제어 또는 펌프 밸브의 개도율을 최적화함으로써, 운영자가 상주하지 않아도 자동적으로 펌프를 조정할 수 있고, 수질과 물 수요량에 따른 수위를 유지하면서 전력량 소비를 최소화하는 학습을 수행할 수 있다.
이를 위해, 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치는 데이터베이스(100)와, 송수 펌프 모델링부(200)를 포함하여 구성될 수 있다.
데이터베이스(100)는 정수장의 수위와 유량을 감지하는 센서와 네트워크를 통해 연결되어 수위와 유량을 포함한 센서 정보를 수신하고, API를 이용하여 네트워크를 통해 연결된 기상 서버(미도시)로부터 날씨를 포함한 기상 정보를 추출하여 저장할 수 있다.
또한, 데이터베이스(100)는 과거 계절별, 날짜별, 날씨별 정수장의 수위, 유량 및 물 수요량 등에 따른 상수도 운영 시스템의 제어 정보를 포함한 과거 운영 정보와 상수도 운영 시스템의 안정적인 운전을 위한 제약 조건 정보 등을 포함한 데이터를 수신하여 저장할 수 있다.
여기서, 제약 조건은 다음과 같은 펌프의 온/오프 제어 조건들이 될 수 있다.
예를 들어, 수위계 정보에 기반한 펌프 조절 조건, 펌프를 가동하는 시간과 펌프 가동 시간을 보조적으로 확인하여 펌프 조절을 진행한 시간 조건, 밸브 조절 상태에 대한 조건, 계전기 신호값에 따른 조건, 펌프 밸브의 고장 등과 관련된 상태 조건, 일정 수준을 준수해야하는 잔류 염소 농도 조건 등이 제약 조건이 될 수 있다.
이러한, 제약 조건은 강화학습의 목적 함수(Objective Function)에 '안전'을 위한 제약 조건들로 추가되어 안전한 방향으로 학습하도록 하는 Safe-강화학습을 수행할 수 있도록 한다.
송수 펌프 모델링부(200)는 펌프 스케줄링을 위해 데이터베이스(100)에 수집 및 저장된 상수도 운영 시스템의 과거 운영 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 물 수요량을 예측할 수 있다.
또한, 송수 펌프 모델링부(200)는 예측된 물 수요량과 데이터베이스(100)에 수집된 수위와 유량을 포함한 센서 정보, 기상 정보, 제약 조건 정보 등의 데이터를 기반으로 펌프 제어 모델의 강화학습에 의한 정의된 보상을 최적화하기 위해 펌프 시설부(300)의 펌프 스케줄링에 대한 의사 결정을 수행할 수 있다.
여기서, 정의된 보상은 펌프의 온/오프 또는 펌프 밸브의 개도율 제어를 최적화하는 정책을 통해 전력 요금의 절감을 보상 함수로 설정하여 전력 요금이 최소화되도록 하는 것일 수 있다.
이를 위해, 송수 펌프 모델링부(200)는 수요량 예측 모델부(210)와, 펌프 제어 모델부(220)와, 시뮬레이터(230)를 포함하여 구성될 수 있다.
수요량 예측 모델부(210)는 펌프 스케줄링을 위해 데이터베이스(100)에 저장된 과거 계절별, 날짜별, 날씨별 정수장의 수위, 유량 및 물 수요량 등에 따른 상수도 운영 시스템의 제어 정보를 포함한 과거 운영 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 물 수요량을 예측하는 구성으로서, 수요량 예측 환경부(211)와, 수요량 예측 강화학습 에이전트(212)를 포함하여 구성될 수 있다.
수요량 예측 환경부(211)는 펌프 스케줄링을 위해 데이터베이스(100)에 저장된 상수도 운영 시스템의 과거 운영 정보와 수요량 예측 강화학습 에이전트(212)에서 제공된 액션을 기반으로 일 단위 물 수요량을 예측하는 시뮬레이션을 수행할 수 있다.
또한, 수요량 예측 환경부(211)는 수요량 강화학습 에이전트(212)로 강화학습에 이용될 시뮬레이션 결과에 따른 보상(Reward) 정보와 상태(State) 정보를 제공하여 액션을 요청할 수 있다.
이에 수요량 예측 강화학습 에이전트(212)는 강화학습을 수행하여 요청된 액션을 수요량 예측 환경부(211)로 제공할 수 있다.
또한, 수요량 예측 환경부(211)로 제공되는 상태 정보는 상수도 운영 시스템의 과거 운영 정보 중에서 시뮬레이션 결과에 따른 현재 상태에 대응하여 과거에 상수도 운영 시스템의 물 수요량 예측 정보를 포함하여 수요량 예측 강화학습 에이전트(212)의 강화학습에 반영되도록 할 수도 있다.
수요량 예측 강화학습 에이전트(212)는 수요량 예측 환경부(211)로부터 제공받은 상태 정보와 보상 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 일 단위 물 수요량 예측이 최적화되도록 액션을 결정할 수 있다.
이때, 수요량 예측 강화학습 에이전트(212)는 일 수요량을 예측할 때, 연속적인 물 수요량 예측을 목적으로 강화학습을 수행할 수도 있다.
또한, 일 단위 물 수요량 예측 정보는 펌프 제어 모델부(220)에서 개별 취수, 송수를 위한 펌프의 온/오프 제어의 최적 의사결정에 대한 자료로 제공될 수 있다.
펌프 제어 모델부(220)는 수요량 예측 모델부(210)에서 예측된 물 수요량과, 데이터베이스(100)에 저장된 정보와, 시뮬레이터(230)에서 제공받은 상태(State) 정보와 보상(Reward) 정보를 기반으로 펌프 스케줄링에 따른 전력 요금을 최적화하는 액션(Action)을 결정하도록 펌프 제어 모델의 강화학습을 수행할 수 있다.
또한, 펌프 제어 모델부(220)는 펌프 제어 모델의 강화학습을 통해 펌프 시설부(300)의 펌프 스케줄링에 대한 의사 결정을 수행할 수 있고, 펌프 제어 환경부(221)와, 펌프 제어 강화학습 에이전트(222)를 포함하여 구성될 수 있다.
펌프 제어 환경부(221)는 펌프 제어 강화학습 에이전트(222)에서 제공된 액션에 대하여 취수 및 송수 펌프의 온/오프를 위한 펌프 스케줄링 정보를 요청할 수 있다.
또한, 펌프 제어 환경부(221)는 데이터베이스(100)에 저장된 정보와 수요량 예측 모델부(210)에서 예측된 일 단위 물 수요량을 기반으로 펌프 스케줄링에 따라 산출된 전력 요금과 시뮬레이터(230)에서 제공받은 상태 정보와 보상 정보를 펌프 제어 강화학습 에이전트(222)로 제공할 수 있다.
여기서, 보상 정보는 개별 취수, 송수를 위한 펌프의 온/오프 제어를 통해 전력 요금의 최소화와 수위 유지 등이 이루어지는 보상 함수일 수 있다.
또한, 보상 함수는 상수도 운영 시스템의 운전기간 중 펌프의 가동으로 발생되는 총 전력비용에 해당하는 목적 함수(A)와, 상수도 운영 시스템의 운전기간 중 시간별 펌프 송수량의 최대 변화값을 최소화할 수 있도록 하는 목적 함수(B))와, 상수도 운영 시스템의 운전기간 중 시간별 배수지에서 공급 가능한 수량을 많이 확보하여 이후 용수 공급의 신뢰성을 증대하는 목적 함수(C)에 가중치(Weighting) 기법을 적용하여 다목적 보상 함수를 구성하여 상수도 송수 펌프를 최적화할 수도 있다.
여기서, 목적 함수(A)는 다음의 하기식으로 구성될 수 있다.
Figure 112022062710712-pat00001
여기서, Pkjt의 k는 계절, t는 시간, j는 가압장의 펌프 전력 사용요금(원/kWh)이고, Uj는 j 가압장 펌프의 전력 원단위(kWh/m3)이며, Qjt는 j 가압장 펌프에서 t 시간의 공급량(m3)이다.
또한, 목적 함수(B)는 다음의 하기식으로 구성될 수 있다.
Figure 112022062710712-pat00002
여기서, Pt는 운영단계 t에서 가동한 펌프 대수이다.
또한, 목적 함수(C)는 다음의 하기식으로 구성될 수 있다.
Figure 112022062710712-pat00003
여기서, Xlt는 l배수지에서 기간 t의 초기 저류량이고, Qjt는 기간 t에서 배수지로 송수될 유량이다.
또한, 펌프 제어 환경부(221)로 제공되는 보상 정보는 제약 조건들을 통해 상수도 운영 시스템이 안전하게 운영될 수 있도록 제약 조건(Constraints) 정보를 반영할 수도 있다.
여기서, 제약 조건은 펌프의 온/오프 제어 조건들로서, 예를 들어, 수위계 정보에 기반한 펌프 조절 조건, 펌프를 가동하는 시간과 펌프 가동 시간을 보조적으로 확인하여 펌프 조절을 진행한 시간 조건, 밸브 조절 상태에 대한 조건, 계전기 신호값에 따른 조건, 펌프 밸브의 고장 등과 관련된 상태 조건, 일정 수준을 준수해야하는 잔류 염소 농도 조건 등이 제약 조건이 될 수 있다.
이러한, 제약 조건은 강화학습의 목적 함수(Objective Function)에 '안전'을 위한 제약 조건들로 추가되어 펌프 제어 강화학습 에이전트(222)가 안전한 방향으로 학습하도록 하는 Safe-강화학습을 수행할 수 있도록 한다.
또한, 안전을 위한 제약 조건은 예를 들어, 적어도 하나의 펌프는 항상 온(On) 상태를 유지하거나, 한번 작동한 펌프는 적어도 1~2시간 후에 재가동이 가능하거나, 주 펌프 또는 보조 펌프 각각에 대한 펌프 밸브의 개도율 제한 조건 등을 포함할 수 있다.
펌프 제어 강화학습 에이전트(222)는 펌프 제어 환경부(221)에서 제공받은 상태 정보와 보상 정보를 기반으로 펌프 제어 모델의 강화학습을 수행할 수 있다.
또한, 펌프 제어 강화학습 에이전트(222)는 펌프 제어 모델의 강화학습을 통해 일 단위 물 수요량에 따른 펌프 시설부(300)의 취수 및 송수 온/오프의 펌프 스케줄링에 따라 전력 요금이 최적화되도록 액션을 결정할 수 있다.
시뮬레이터(230)는 펌프 제어 강화학습 에이전트(222)에서 제공된 액션에 대하여 펌프 스케줄을 기반으로 시뮬레이션을 수행하고, 펌프 제어 강화학습 에이전트(222)에서 강화학습에 이용될 상태 정보와 보상 정보를 제공할 수 있다.
또한, 본 발명의 실시 예에 따른 송수 펌프 모델링부(200)는 펌프 제어 모델의 강화학습이 완료되면, 룰(Rule) 모델을 이용하여 펌프 스케줄링을 실행하는 룰 모델부(240)를 포함하여 구성될 수 있다.
또한, 룰 모델부(240)는 펌프 스케줄링의 실행 결과를 실제 운영 대상 상수도 운영 시스템에서 제공하는 펌프 제어 정보에 따른 실행 결과와 비교하고, 비교 결과에 따라 펌프 스케줄링을 보정할 수도 있다.
예를 들어, 특정 상수도 사업장의 상수도 운영 시스템의 경우, 주말에는 일정 시간대에 항상 3개의 펌프를 가동해야만 하는데, 강화학습 결과 4개의 펌프를 가동하는 펌프 스케줄링이면, 강화학습에서 결정된 4개의 펌프 가동을 3개의 펌프 가동으로 보정할 수 있다.
즉, 강화학습의 완료 후 룰 모델을 이용하여 보다 정확한 검증을 수행할 수 있다.
펌프 시설부(300)는 각 상수도 사업장에 설치된 복수의 취수 및 송수를 위한 펌프와 펌프 밸브를 포함한 구성일 수 있다.
다음은 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법을 설명한다.
도7은 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법을 설명하기 위해 나타낸 흐름도이고, 도8은 도7의 실시 예에 따른 수요량 예측 강화학습 과정을 설명하기 위해 나타낸 흐름도이며, 도9는 도7의 실시 예에 따른 펌프 제어 강화학습 과정을 설명하기 위해 나타낸 흐름도이다.
도3 내지 도9를 참조하면, 본 발명의 일 실시 예에 따른 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법은 데이터베이스(100)에 데이터 수집과 수집된 데이터의 전처리를 수행(S100)할 수 있다.
S100 단계에서, 수집되는 데이터는 정수장의 수위와 유량을 감지하는 센서를 통해 수신되는 수위와 유량을 포함한 센서 정보, API를 이용하여 네트워크를 통해 연결된 기상 서버(미도시)로부터 추출되는 날씨를 포함한 기상 정보, 과거 계절별, 날짜별, 날씨별 정수장의 수위, 유량 및 물 수요량 등에 따른 상수도 운영 시스템의 제어 정보를 포함한 과거 운영 정보, 상수도 운영 시스템의 안정적인 운전을 위한 제약 조건 정보 등일 수 있다.
송수 펌프 모델링부(200)는 펌프 스케줄링을 위해 수요량 예측 모델부(210)를 이용하여 데이터베이스(100)에 저장된 상수도 운영 시스템의 과거 운영 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하고, 강화학습을 통해 물 수요량을 예측(S200)할 수 있다.
S200 단계에서, 송수 펌프 모델링부(200)의 수요량 예측 모델부(210)는 제공받은 상태 정보와 보상 정보를 기반으로 수요량 예측 모델의 강화학습을 수행(S210)하고, 수요량 예측 모델부(210)가 일 단위 물 수요량 예측을 최적화하기 위한 액션을 생성(S220)할 수 있다.
또한, 수요량 예측 모델부(210)는 펌프 스케줄링을 위해 데이터베이스(100)에 저장된 상수도 운영 시스템의 과거 운영 정보와 수요량 예측 강화학습 에이전트(212)에서 제공된 액션을 기반으로 일 단위 물 수요량을 예측하여 강화학습에 이용될 보상 정보와 상태 정보를 제공(S230)할 수 있다.
계속해서, 송수 펌프 모델링부(200)는 S200 단계에서 예측된 물 수요량과 데이터베이스(100)에 수집된 데이터를 기반으로 펌프 제어 모델의 강화학습을 수행하여 전력 요금이 최소화되도록 정의된 보상을 최적화하기 위해 펌프 시설부(300)의 펌프 스케줄링에 대한 의사 결정을 수행(S300)할 수 있다.
S300 단계에서, 송수 펌프 모델링부(200)의 펌프 제어 모델부(220)는 데이터베이스(100)와 펌프 제어 강화학습 에이전트(222)에서 제공받은 상태 정보 및 보상 정보와, 수요량 예측 모델부(210)에서 예측된 물 수요량을 기반으로 펌프 스케줄링에 따른 전력 요금을 최적화하는 액션을 결정하도록 펌프 제어 모델의 강화학습을 수행(S310)할 수 있다.
또한, S310 단계에서 안전을 위한 제약 조건을 보상 정보에 추가 반영하여 강화학습을 수행할 수도 있다.
또한, 펌프 제어 모델부(220)는 강화학습을 통해 일 단위 물 수요량에 따른 펌프 시설부(300)의 취수 및 송수 온/오프의 펌프 스케줄링에 대한 최적의 액션을 결정(S320)할 수 있다.
또한, 펌프 제어 모델부(220)는 S320 단계에서 결정된 액션에 기반하여 시뮬레이션과 보정을 수행(S330)할 수 있다.
계속해서, S300 단계의 펌프 제어 모델에 대한 강화학습이 완료됨에 따라 송수 펌프 모델링부(200)는 펌프 시설부(300)의 취수 및 송수 온/오프 제어를 위한 펌프 스케줄링을 실행하는 모델 평가(S400)를 수행할 수 있다.
S400 단계에서 강화학습이 완료되면, 펌프 제어 모델부(220)는 룰(Rule) 모델을 이용하여 펌프 스케줄링을 실행하고, 펌프 스케줄링에 의한 실행 결과와 실제 운영 대상 상수도 운영 시스템에서 제공하는 펌프 제어 정보에 따른 실행 결과를 비교하여 비교 결과에 따라 S300 단계에서 강화학습을 통해 제공되는 펌프 스케줄링 정보를 보정할 수 있다.
따라서, 가용 펌프의 효율적 운전, 전력 요금체계, 용수 수요의 추이, 배수지 특성, 송수관로의 조건을 고려하여 펌프의 온/오프 제어를 최적화할 수 있다.
또한, 운영자가 상주하지 않아도 자동적으로 펌프를 조정할 수 있고, 수위를 유지하면서 전력량 소비를 최소화할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100: 데이터베이스
200: 송수 펌프 모델링부
210: 수요량 예측 모델부
211 : 수요량 예측 환경부
212 : 수요량 예측 강화학습 에이전트
220: 펌프 제어 모델부
221: 펌프 제어 환경부
222: 펌프 제어 강화학습 에이전트
230: 시뮬레이터
240 : 룰(Rule) 모델부
300 : 펌프 시설부

Claims (15)

  1. 정수장의 수위와 유량을 포함한 센서 정보, 날씨를 포함한 기상 정보, 상수도 운영 시스템의 과거 운영 정보와 상수도 운영 시스템의 안정적인 운전을 위한 제약 조건 정보를 포함한 데이터를 수집하는 데이터베이스(100); 및
    펌프 스케줄링을 위해 상기 데이터베이스(100)에 저장된 과거 운영 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 물 수요량을 예측하는 수요량 예측 모델부(210)와, 상기 수요량 예측 모델부(210)에서 예측된 물 수요량과, 상기 데이터베이스(100)에 저장된 정보를 이용하여 펌프 스케줄링에 따라 산출된 전력 요금과, 시뮬레이터(230)에서 제공받은 상태(State) 정보와 보상(Reward) 정보를 기반으로 상기 펌프 스케줄링에 따른 전력 요금을 최적화하는 액션(Action)을 결정하도록 펌프 제어 모델의 강화학습을 수행하여 펌프 시설부(300)의 펌프 스케줄링에 대한 의사 결정을 수행하는 펌프 제어 모델부(220)와, 상기 액션에 대하여 펌프 스케줄을 기반으로 시뮬레이션을 수행하고, 상기 펌프 제어 모델의 강화학습에 이용될 상태 정보와 보상 정보를 상기 펌프 제어 모델부(220)로 제공하는 시뮬레이터(230)와, 펌프 제어 모델의 강화학습이 완료되면, 룰(Rule) 모델을 이용하여 펌프 스케줄링을 실행하고, 실행 결과를 실제 운영 대상 상수도 운영 시스템에서 제공하는 펌프 제어 정보에 따른 실행 결과와 비교하며, 비교 결과에 따라 최적의 펌프 스케줄링으로 보정하는 룰 모델부(240)를 구비한 송수 펌프 모델링부(200);를 포함하고,
    상기 보상 정보는 상수도 운영 시스템의 운전기간 중 펌프의 가동으로 발생되는 총 전력비용에 해당하는 목적 함수(A)와, 상수도 운영 시스템의 운전기간 중 시간별 펌프 송수량의 최대 변화값을 최소화할 수 있는 목적 함수(B))와, 상수도 운영 시스템의 운전기간 중 시간별 배수지에서 공급 가능한 수량을 확보하여 이후 용수 공급의 신뢰성이 증대되도록 하는 목적 함수(C)에 가중치(Weighting) 기법을 적용하여 개별 취수, 송수를 위한 펌프의 온/오프 제어를 통해 전력 요금의 최소화와 수위를 유지하는 보상 함수이고,
    상기 목적 함수 (A)는 다음의 하기식
    Figure 112023041938891-pat00013

    - 여기서, Pkjt의 k는 계절, t는 시간, j는 가압장의 펌프 전력 사용요금(원/kWh)이고, Uj는 j 가압장 펌프의 전력 원단위(kWh/m3)이며, Qjt는 j 가압장 펌프에서 t 시간의 공급량(m3) 임- 으로 구성되고,
    상기 목적 함수(B)는 다음의 하기식
    Figure 112023041938891-pat00014

    - 여기서, Pt는 운영단계 t에서 가동한 펌프 대수 임- 으로 구성되며,
    목적 함수(C)는 다음의 하기식
    Figure 112023041938891-pat00015

    - 여기서, Xlt는 l배수지에서 기간 t의 초기 저류량이고, Qjt는 기간 t에서 배수지로 송수될 유량 임- 으로 구성된 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 수요량 예측 모델부(210)는 펌프 스케줄링을 위해 데이터베이스(100)에 저장된 과거 운영 정보와 수요량 예측 강화학습 에이전트(212)에서 제공된 액션을 기반으로 일 단위 물 수요량을 예측하여 강화학습에 이용될 보상 정보와 상태 정보를 제공하는 수요량 예측 환경부(211); 및
    상기 수요량 예측 환경부(211)로부터 제공받은 상태 정보와 보상 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 일 단위 물 수요량 예측이 최적화되도록 액션을 결정하는 수요량 예측 강화학습 에이전트(212);를 포함하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치.
  6. 제 1 항에 있어서,
    상기 펌프 제어모델부(220)는 제공된 액션에 대하여 취수 및 송수 펌프의 온/오프를 위한 펌프 스케줄링 정보를 요청하되, 데이터베이스(100)에 저장된 정보와 상기 수요량 예측 모델부(210)에서 예측된 일 단위 물 수요량을 기반으로 펌프 스케줄링에 따라 산출된 전력 요금과 시뮬레이터(230)에서 제공받은 상태 정보와 보상 정보를 제공하는 펌프 제어 환경부(221); 및
    상기 펌프 제어 환경부(221)에서 제공받은 상태 정보와 보상 정보를 기반으로 펌프 제어 모델의 강화학습을 수행하여 일 단위 물 수요량에 따른 펌프 시설부(300)의 취수 및 송수 온/오프의 펌프 스케줄링에 따라 전력 요금이 최적화되도록 액션을 결정하는 펌프 제어 강화학습 에이전트(222);를 포함하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치.
  7. 제 6 항에 있어서,
    상기 펌프 제어 강화학습 에이전트(222)는 안전을 위한 임의의 제약 조건(Constraints)을 상기 보상 정보에 추가 반영하여 강화학습을 수행하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치.
  8. 제 7 항에 있어서,
    상기 제약 조건은 수위계 정보, 펌프 가동 시간 또는 펌프 조절 시간, 밸브 조절 상태, 계전기 신호 값, 잔류 염소 농도 중 하나 이상을 포함하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치.
  9. a) 송수 펌프 모델링부(200)가 펌프 스케줄링을 위해 데이터베이스(100)에 저장된 정수장의 수위와 유량을 포함한 센서 정보, 날씨를 포함한 기상 정보, 상수도 운영 시스템의 과거 운영 정보와 상수도 운영 시스템의 안정적인 운전을 위한 제약 조건 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하여 물 수요량을 예측하는 단계;
    b) 상기 송수 펌프 모델링부(200)가 펌프 시설부(300)의 취수 및 송수 온/오프의 펌프 스케줄링을 실행하기 위해, 상기 강화학습을 통해 예측된 물 수요량과, 상기 데이터베이스(100)에 저장된 정보를 이용하여 펌프 스케줄링에 따라 산출된 전력 요금과, 시뮬레이션에 따른 상태(State) 정보와 보상(Reward) 정보를 기반으로 상기 펌프 스케줄링에 따른 전력 요금을 최적화하는 액션(Action)을 결정하도록 펌프 제어 모델의 강화학습을 수행하여 펌프 시설부(300)의 펌프 스케줄링에 대한 의사 결정을 수행하는 단계; 및
    c) 상기 펌프 제어 모델의 강화학습이 완료됨에 따라 상기 송수 펌프 모델링부(200)가 펌프 시설부(300)의 취수 및 송수 온/오프 제어를 위한 펌프 스케줄링을 실행하는 단계;를 포함하고,
    상기 c)단계는 강화학습이 완료되면, 룰(Rule) 모델을 이용하여 상기 펌프 스케줄링을 실행하고, 펌프 스케줄링에 의한 실행 결과와 실제 운영 대상 상수도 운영 시스템에서 제공하는 펌프 제어 정보에 따른 실행 결과를 비교하여 비교 결과에 따라 최적의 펌프 스케줄링으로 보정하는 단계;를 더 포함하며,
    상기 보상 정보는 상수도 운영 시스템의 운전기간 중 펌프의 가동으로 발생되는 총 전력비용에 해당하는 목적 함수(A)와, 상수도 운영 시스템의 운전기간 중 시간별 펌프 송수량의 최대 변화값을 최소화할 수 있는 목적 함수(B))와, 상수도 운영 시스템의 운전기간 중 시간별 배수지에서 공급 가능한 수량을 확보한 이후 용수 공급의 신뢰성이 증대되도록 하는 목적 함수(C)에 가중치(Weighting) 기법을 적용하여 개별 취수, 송수를 위한 펌프의 온/오프 제어를 통해 전력 요금의 최소화와 수위를 유지하는 보상 함수이고,
    상기 목적 함수 (A)는 다음의 하기식
    Figure 112023041938891-pat00016

    - 여기서, Pkjt의 k는 계절, t는 시간, j는 가압장의 펌프 전력 사용요금(원/kWh)이고, Uj는 j 가압장 펌프의 전력 원단위(kWh/m3)이며, Qjt는 j 가압장 펌프에서 t 시간의 공급량(m3) 임- 으로 구성되고,
    상기 목적 함수(B)는 다음의 하기식
    Figure 112023041938891-pat00017

    - 여기서, Pt는 운영단계 t에서 가동한 펌프 대수 임- 으로 구성되며,
    목적 함수(C)는 다음의 하기식
    Figure 112023041938891-pat00018

    - 여기서, Xlt는 l배수지에서 기간 t의 초기 저류량이고, Qjt는 기간 t에서 배수지로 송수될 유량 임- 으로 구성된 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법.
  10. 삭제
  11. 삭제
  12. 제 9 항에 있어서,
    상기 a) 단계는 a-1) 송수 펌프 모델링부(200)의 수요량 예측 모델부(210)가 제공받은 상태 정보와 보상 정보를 기반으로 수요량 예측 모델의 강화학습을 수행하는 단계;
    a-2) 상기 수요량 예측 모델부(210)가 일 단위 물 수요량 예측을 최적화하기 위한 액션을 생성하는 단계; 및
    a-3) 상기 수요량 예측 모델부(210)가 펌프 스케줄링을 위해 데이터베이스(100)에 저장된 과거 운영 정보와 강화학습 에이전트에서 제공된 액션을 기반으로 일 단위 물 수요량을 예측하여 강화학습에 이용될 보상 정보와 상태 정보를 제공하는 단계;를 포함하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법.
  13. 제 9 항에 있어서,
    상기 b) 단계는 b-1) 송수 펌프 모델링부(200)의 펌프 제어 모델부(220)가 제공받은 상태 정보 및 보상 정보와 수요량 예측 모델부(210)에서 예측된 물 수요량을 기반으로 펌프 스케줄링에 따른 전력 요금을 최적화하는 액션을 결정하도록 펌프 제어 모델의 강화학습을 수행하는 단계;
    b-2) 상기 펌프 제어 모델부(220)가 강화학습을 통해 일 단위 물 수요량에 따른 펌프 시설부(300)의 취수 및 송수 온/오프의 펌프 스케줄링에 대한 액션을 결정하는 단계; 및
    b-3) 상기 펌프 제어 모델부(220)가 결정된 액션에 기반하여 시뮬레이션을 수행하는 단계;를 포함하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법.
  14. 제 13 항에 있어서,
    상기 b-1) 단계는 안전을 위한 임의의 제약 조건(Constraints)을 상기 보상 정보에 추가 반영하여 강화학습이 수행되도록 하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법.
  15. 제 14 항에 있어서,
    상기 제약 조건은 수위계 정보, 펌프 가동 시간 또는 펌프 조절 시간, 밸브 조절 상태, 계전기 신호 값, 잔류 염소 농도 중 하나 이상을 포함하는 것을 특징으로 하는 상수도 운영 시스템의 운전 자동화를 위한 강화학습 방법.
KR1020220073178A 2022-06-16 2022-06-16 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법 KR102535640B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220073178A KR102535640B1 (ko) 2022-06-16 2022-06-16 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220073178A KR102535640B1 (ko) 2022-06-16 2022-06-16 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102535640B1 true KR102535640B1 (ko) 2023-05-30

Family

ID=86529492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220073178A KR102535640B1 (ko) 2022-06-16 2022-06-16 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102535640B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655556B1 (ko) * 2023-09-13 2024-04-08 주식회사 에이시에스 강화 학습 기반 중계 펌프 제어 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230576A (ja) * 2014-06-05 2015-12-21 株式会社日立製作所 プラント診断用データ作成システム
KR101818731B1 (ko) 2017-06-23 2018-01-15 (주)테크윈시스템 펌프 시설 운영에 적용하는 에너지 최적화 제어 시스템 및 방법
KR101864342B1 (ko) * 2018-02-07 2018-06-04 서울시립대학교 산학협력단 정수지 소독능을 고려한 단기 물 수요예측 기반 송수펌프 최적운영방법
JP2020184118A (ja) * 2019-04-26 2020-11-12 ダイキン工業株式会社 ポンプ台数制御装置、ポンプ台数制御方法、ポンプ台数制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230576A (ja) * 2014-06-05 2015-12-21 株式会社日立製作所 プラント診断用データ作成システム
KR101818731B1 (ko) 2017-06-23 2018-01-15 (주)테크윈시스템 펌프 시설 운영에 적용하는 에너지 최적화 제어 시스템 및 방법
KR101864342B1 (ko) * 2018-02-07 2018-06-04 서울시립대학교 산학협력단 정수지 소독능을 고려한 단기 물 수요예측 기반 송수펌프 최적운영방법
JP2020184118A (ja) * 2019-04-26 2020-11-12 ダイキン工業株式会社 ポンプ台数制御装置、ポンプ台数制御方法、ポンプ台数制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655556B1 (ko) * 2023-09-13 2024-04-08 주식회사 에이시에스 강화 학습 기반 중계 펌프 제어 시스템

Similar Documents

Publication Publication Date Title
Scarabaggio et al. Distributed demand side management with stochastic wind power forecasting
AU2017208349B2 (en) Automated demand response energy management system
US20200272889A1 (en) Optimizing data center controls using neural networks
US7707125B2 (en) Utility management system and method
JP2021505103A (ja) エネルギ貯蔵システムを最適に制御するためのシステム及び方法
JP4245583B2 (ja) 分散型エネルギーシステムの制御装置、制御方法、プログラム、および記録媒体
US9244444B2 (en) Systems and methods for optimizing energy and resource management for building systems
WO2019092905A1 (en) Power generation system and energy generation system
US8725480B2 (en) Arrangement and method for optimizing the operation of a supply network
CA3132144A1 (en) Planning apparatus, controlling apparatus, method, and program
KR102535640B1 (ko) 상수도 운영 시스템의 운전 자동화를 위한 강화학습 장치 및 방법
CN115640914A (zh) 一种智慧燃气储气优化方法、物联网系统、装置及介质
KR20100104118A (ko) 지엠디에이치 알고리즘을 이용한 물수요 예측방법
Rao et al. Optimising water supply and distribution operations
JP3321308B2 (ja) プラント予測制御装置
WO2022232603A1 (en) Energy services through integrated flexible operation of wastewater systems
CN114386320A (zh) 汽轮机阀门管理方法、装置、设备及存储介质
Pasha et al. Strategies for real time pump operation for water distribution systems
CN111155600B (zh) 一种用于二次供水设备的水龄控制系统
Chen et al. The predictive management in campus heating system based on deep reinforcement learning and probabilistic heat demands forecasting
Sapnken et al. A technique for improving petroleum products forecasts using grey convolution models and genetic algorithms
CN115271463B (zh) 智慧能源管理系统
CN114066519B (zh) 评估存量燃气机组在电力市场中发电效益的系统及方法
Jentgen et al. Implementing a prototype energy and water quality management system
KR20050114844A (ko) 신경망 이론을 이용한 자동화 기기의 자금 수요 예측 방법

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)