KR20210103609A - 강화학습을 이용한 공기조화기 최적 제어 시스템 - Google Patents

강화학습을 이용한 공기조화기 최적 제어 시스템 Download PDF

Info

Publication number
KR20210103609A
KR20210103609A KR1020200017575A KR20200017575A KR20210103609A KR 20210103609 A KR20210103609 A KR 20210103609A KR 1020200017575 A KR1020200017575 A KR 1020200017575A KR 20200017575 A KR20200017575 A KR 20200017575A KR 20210103609 A KR20210103609 A KR 20210103609A
Authority
KR
South Korea
Prior art keywords
air conditioner
pump
reinforcement learning
building
heating
Prior art date
Application number
KR1020200017575A
Other languages
English (en)
Inventor
김철
유성수
박성재
장인수
김은지
Original Assignee
(주)엔키아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엔키아 filed Critical (주)엔키아
Priority to KR1020200017575A priority Critical patent/KR20210103609A/ko
Publication of KR20210103609A publication Critical patent/KR20210103609A/ko

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/70Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • F24F11/83Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air by controlling the supply of heat-exchange fluids to heat-exchangers
    • F24F11/85Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air by controlling the supply of heat-exchange fluids to heat-exchangers using variable-flow pumps
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00Control inputs relating to air properties
    • F24F2110/10Temperature
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00Control inputs relating to air properties
    • F24F2110/20Humidity
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00Control inputs relating to air properties
    • F24F2110/30Velocity
    • F24F2110/32Velocity of the outside air

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

강화학습을 이용한 공기조화기 최적 제어 시스템이 제공된다. 공기조화기는 열매체 전달을 위한 히팅 펌프와 냉각수 전달을 위한 쿨링 펌프를 포함하고, 공조기 제어 장치는 심층 강화학습 기술을 이용하여 히팅 펌프의 회전수와 쿨링 펌프의 회전수를 제어할 수 있다.

Description

강화학습을 이용한 공기조화기 최적 제어 시스템{AHU controlling system using A3C}
본 발명은 강화학습을 이용한 공기조화기 최적 제어 시스템에 관한 것으로서, 보다 상세하게는, 빌딩의 주변 환경을 고려하여 공기조화기의 동작을 제어할 수 있는 강화학습을 이용한 공기조화기 최적 제어 시스템에 관한 것이다.
공기조화기(Air Handling Unit: AHU, 공조기)는 공기 정화, 냉각·감습, 가열·가습 등의 공기 상태를 적절하게 조절하는 장치로서, 송풍기를 설치하여 각 실내로 송풍하기 위한 기능을 갖추고 있다.
공조기는 빌딩, 자동차 등 공기 상태 조절을 필요로 하는 모든 장소에 설치 가능하다. 빌딩 공조기의 경우, 공기 제어 알고리즘 또는 규칙 기반의 제어 방법으로 공조기의 효율을 관리한다.
그러나, 기존의 알고리즘과 규칙 기반의 제어 방법은 빌딩의 주변 환경을 고려하지 않은 획일화된 방식으로서, 빌딩 주변의 환경을 고려한 최적 제어가 어렵다.
국내 등록특허 제10-1369780호(2014.02.26. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 공조기가 설치된 빌딩의 주변 환경을 고려하여 공조기의 동작을 최적 제어할 수 있는 강화학습을 이용한 공기조화기 최적 제어 시스템을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 강화학습을 이용한 공기조화기 최적 제어 시스템은, 열매체 전달을 위한 히팅 펌프와 냉각수 전달을 위한 쿨링 펌프를 포함하는 하나 이상의 공기조화기; 및 심층 강화학습 기술을 이용하여 히팅 펌프의 회전수와 쿨링 펌프의 회전수를 제어하는 공조기 제어 장치;를 포함한다.
상기 공조기 제어 장치는, 상기 하나 이상의 공기조화기가 설치된 빌딩 내의 현재 온도에 대해 Asynchronous Advantage Actor-Critic(A3C) 기술을 적용하여 상기 빌딩 내의 적정 온도를 예측하는 AI(Artificial Intelligence) 에이전트; 및 상기 AI 에이전트의 예측 결과에 따라 히팅 펌프 및 쿨링 펌프 중 어느 하나의 펌프 회전수를 제어하는 펌프 제어부;를 포함한다.
본 발명에 따르면, 심층강화학습을 이용하여 공조기의 동작을 제어함으로써 공조기가 설치된 빌딩의 주변 환경에 따라 달라지는 공조기 효율을 최대화할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 강화학습을 이용한 공기조화기 최적 제어 시스템을 도시한 도면,
도 2는 공기조화기의 최적제어값을 획득하기 위한 A3C 기술(즉, 심층강화학습 구조)을 설계한 도면이다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사항에 부합하는 의미와 개념으로 해석되어야 할 것이다.
또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 1에 도시된 강화학습을 이용한 공기조화기 최적 제어 시스템의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 강화학습을 이용한 공기조화기 최적 제어 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 강화학습을 이용한 공기조화기 최적 제어 시스템은 다수의 센서들(10), 공기조화기(100) 및 공조기 제어 장치(200)를 포함할 수 있다.
다수의 센서들(10)은 빌딩 내외부에 설치되어 온도, 습도, 풍속 등을 센싱하고, 센싱 결과를 빌딩 환경 정보로서 공조기 제어 장치(200)에게 전송할 수 있다.
공기조화기(100)는 빌딩 내 공기 상태, 예를 들어, 실내 온도와 습도를 조절하며, 빌딩에 하나 이상 설치될 수 있다.
이러한 공기조화기(100)는 열매체 전달을 위한 히팅 펌프(110), 빌딩 난방을 위한 히팅 시스템(120), 냉각수 전달을 위한 쿨링 펌프(130) 및 빌딩 냉방을 위한 쿨링 시스템(140)을 포함할 수 있다.
공기조화기(100)는 공조기 제어 장치(200)로부터 수신되는 펌프 회전수(RPM: Revolution per minute)에 따라 히팅 펌프(110) 또는 쿨링 펌프(130)의 RPM을 조절하여 빌딩 내 공기가 최적 온도가 되도록 조절할 수 있다.
예를 들어, 공조기 제어 장치(200)로부터 히팅 펌프(110)의 RPM을 높이라는 명령이 수신되면, 히팅 시스템(120)은 히팅 펌프(110)의 RPM을 높여 빌딩 내 온도가 높아지도록 한다.
또한, 공조기 제어 장치(200)로부터 쿨링 펌프(130)의 RPM을 높이라는 명령이 수신되면, 쿨링 시스템(140)은 쿨링 펌프(130)의 RPM을 높여 빌딩 내 온도가 낮아지도록 한다.
공조기 제어 장치(200)는 심층 강화학습 기술을 이용하여 히팅 펌프(110)의 회전수(RPM) 또는 쿨링 펌프(130)의 회전수를 제어할 수 있다.
이를 위하여 공조기 제어 장치(200)는 AI 에이전트(Artificial Intelligent Agent, 210) 및 펌프 제어부(220)를 포함할 수 있다.
AI 에이전트(210)는 공기조화기(100)가 설치된 빌딩 내의 현재 온도에 대해 심층 강화학습 기술인 Asynchronous Advantage Actor-Critic(A3C) 기술을 적용하여 빌딩 내의 적정 온도를 예측할 수 있다. 즉, AI 에이전트(210)는 A3C 기술을 이용하여 열매체와 냉각수의 펌프 회전수를 제어하여 빌딩 내 최적의 온도를 유지할 수 있는 제어값을 예측할 수 있다.
강화학습은 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하고, 선택가능한 행동 중 보상을 최대화하는 행동 순서를 학습하는 것으로서, 심층 Q 학습, A3C 학습, Policy Gradient(정책 경사하강법) 등 다양하다.
A3C 심층 강화학습 알고리즘은 가치를 계산하는 Q함수 네트워크와 액션을 선택하는 정책 네트워크를 혼합한 글로벌 신경망을 가지고 있다. 여러 에이전트가 각각의 독립된 환경에서 비동기 방식으로 액션에 대한 보상을 기록하고 이것을 일괄적으로 글로벌 네트워크에 학습하는 것이 A3C 기술이다. 이 기술은 기존 DQN보다 빠르고, 단순하고 robust하며 이산형 액션과 연속형 액션도 학습할 수 있는 장점이 있다.
도 2는 공기조화기(100)의 최적제어값을 획득하기 위한 A3C 기술(즉, 심층강화학습 구조)을 설계한 도면이다.
도 2를 참조하면, 본 발명의 실시 예에서는 강화학습 알고리즘으로서 A3C 기술을 사용하며, 공기조화기(100)의 관계를 분석하여 시뮬레이션 환경을 구축하며, 독립변수는 열매체와 냉각수의 온도 및 기타 사항, 제어변수는 열매체 펌프 RPM, 냉각수 펌프 RPM이 설정될 수 있다.
A3C 알고리즘은 33개의 센서 데이터를 상태로 정의하고 네트워크의 입력데이터로 하여 학습하고, 네트워크는 4개의 은닉층으로 되어 있으며 각 레이어는 100개의 뉴런, relu를 가지고 있다. 이 중 1개의 은닉층은 LSTM(Long Short Term Memory)을 사용하고 나머지는 일반 신경망을 사용한다.
또한, 정책 신경망의 손실함수는 cross_entropy를 사용하여 미래의 보상을 산출하고, 벨만 방정식, Bellman equation(β=0.90)을 사용하여 가치 함수를 학습한다. 가치 신경망의 손실함수는 MSE(Mean Squared Error, 평균 제곱 오차)를 사용한다.
벨만 방정식을 식으로 표현하면 다음과 같다.
Figure pat00001
다시 도 1을 참조하면, 펌프 제어부(220)는 AI 에이전트(210)의 예측 결과에 따라 히팅 펌프(110) 및 쿨링 펌프(130) 중 펌프 회전수를 제어해야 할 펌프를 판단하고, 판단된 펌프의 펌프 회전수를 산출하며, 산출된 펌프 회전수에 따라 회전하여 실내 온도를 조절하도록 공기조화기(100)에게 제어 명령을 전송할 수 있다.
자세히 설명하면, 예를 들어, AI 에이전트(210)는 다수의 센서들(10)로부터 수신되는 빌딩 환경 정보를 A3C의 입력으로 하여 현재 빌딩 내 적정 온도를 예측할 수 있다.
펌프 제어부(220)는 빌딩의 현재 온도는 21℃이고, AI 에이전트(210)의 학습에 의한 예측 결과 18℃가 적정 온도인 경우, 적정 온도로 낮추기 위한 쿨링 펌프(130)의 회전수(RPM)을 산출하고, 산출된 RPM으로 동작하도록 공기조화기(100)에게 제어 명령을 전송한다. 공기조화기(100)의 쿨링 시스템(140)은 수신된 RPM으로 이전보다 빠른 속도로 회전하도록 쿨링 펌프(130)를 제어하며, 이로써 빌딩 내 온도가 낮아진다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
10: 다수의 센서들
100: 공기조화기
110: 히팅 펌프
120: 히팅 시스템
130: 쿨링 펌프
140: 쿨링 시스템
200: 공조기 제어 장치
210: AI 에이전트
220: 펌프 제어부

Claims (2)

  1. 열매체 전달을 위한 히팅 펌프와 냉각수 전달을 위한 쿨링 펌프를 포함하는 하나 이상의 공기조화기; 및
    심층 강화학습 기술을 이용하여 히팅 펌프의 회전수와 쿨링 펌프의 회전수를 제어하는 공조기 제어 장치;를 포함하는 것을 특징으로 하는 강화학습을 이용한 공기조화기 최적 제어 시스템.
  2. 제1항에 있어서,
    상기 공조기 제어 장치는,
    상기 하나 이상의 공기조화기가 설치된 빌딩 내의 현재 온도에 대해 Asynchronous Advantage Actor-Critic(A3C) 기술을 적용하여 상기 빌딩 내의 적정 온도를 예측하는 AI(Artificial Intelligence) 에이전트; 및
    상기 AI 에이전트의 예측 결과에 따라 히팅 펌프 및 쿨링 펌프 중 어느 하나의 펌프 회전수를 제어하는 펌프 제어부;를 포함하는 것을 특징으로 하는 강화학습을 이용한 공기조화기 최적 제어 시스템.
KR1020200017575A 2020-02-13 2020-02-13 강화학습을 이용한 공기조화기 최적 제어 시스템 KR20210103609A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200017575A KR20210103609A (ko) 2020-02-13 2020-02-13 강화학습을 이용한 공기조화기 최적 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200017575A KR20210103609A (ko) 2020-02-13 2020-02-13 강화학습을 이용한 공기조화기 최적 제어 시스템

Publications (1)

Publication Number Publication Date
KR20210103609A true KR20210103609A (ko) 2021-08-24

Family

ID=77506818

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200017575A KR20210103609A (ko) 2020-02-13 2020-02-13 강화학습을 이용한 공기조화기 최적 제어 시스템

Country Status (1)

Country Link
KR (1) KR20210103609A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114139791A (zh) * 2021-11-24 2022-03-04 北京华能新锐控制技术有限公司 风力发电机组功率预测方法、系统、终端及存储介质
CN114322208A (zh) * 2021-12-15 2022-04-12 合肥工业大学 基于深度强化学习的智能园区空调负荷调控方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101369780B1 (ko) 2013-06-13 2014-03-06 장한기술 주식회사 상황인식 알고리즘을 이용한 센서리스 변유량 펌프 제어장치 및 이를 이용한 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101369780B1 (ko) 2013-06-13 2014-03-06 장한기술 주식회사 상황인식 알고리즘을 이용한 센서리스 변유량 펌프 제어장치 및 이를 이용한 제어방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114139791A (zh) * 2021-11-24 2022-03-04 北京华能新锐控制技术有限公司 风力发电机组功率预测方法、系统、终端及存储介质
CN114322208A (zh) * 2021-12-15 2022-04-12 合肥工业大学 基于深度强化学习的智能园区空调负荷调控方法和系统
CN114322208B (zh) * 2021-12-15 2023-08-18 合肥工业大学 基于深度强化学习的智能园区空调负荷调控方法和系统

Similar Documents

Publication Publication Date Title
US10466724B2 (en) Programmable peripheral unit for building automation systems
US20240069502A1 (en) Environment controller and method for inferring one or more commands for controlling an appliance taking into account room characteristics
US20130085719A1 (en) Application-generated function block for data exchange between control programs and building automation objects
KR20210103609A (ko) 강화학습을 이용한 공기조화기 최적 제어 시스템
US20090030555A1 (en) Priority conditioning in a multi-zone climate control system
US8914155B1 (en) Controlling fluid flow in a data center
US11906189B2 (en) System and method for high ventilation of outdoor air
US11514358B2 (en) Automatic control artificial intelligence device and method for updating a control function
US20030183380A1 (en) Air conditioning system using enthalpy of outside air
CN108224690B (zh) 用于平衡建筑物内的温度的系统和方法
WO2019129800A1 (en) Smart thermostatic radiator or convector valve for a heating system and control method
AU2020261812A1 (en) Air supply system
US20230349577A1 (en) Device and method for controlling an orifice of a valve in an hvac system
Dounis et al. Implementation of artificial intelligence techniques in thermal comfort control for passive solar buildings
KR102382063B1 (ko) 홈 엣지 서버를 활용한 공조기 제어 방법 및 이를 지원하는 시스템
CN113791538A (zh) 一种机房设备的控制方法、控制设备及控制系统
US20230324066A1 (en) Dynamic environmental systems and methods for controlling environmental conditions in a structure based on machine learning techniques
JP2007085698A (ja) 空調システム、そのプログラム
EP4314661A1 (en) System and method for controlling temperature and water content of an airstream
CN111637614B (zh) 数据中心主动通风地板的智能控制方法
US20210108815A1 (en) Distributed heating and cooling system and method
US11662696B2 (en) Automatic control artificial intelligence device and method for update control function
CN114963491A (zh) 用于空调防凝露的方法、装置、空调和存储介质
KR20070107324A (ko) 공기 조화 시스템 및 그 동작방법
WO2022253447A1 (en) Room-based ventilation system and building

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application