KR20210103609A - 강화학습을 이용한 공기조화기 최적 제어 시스템 - Google Patents

Abstract

강화학습을 이용한 공기조화기 최적 제어 시스템이 제공된다. 공기조화기는 열매체 전달을 위한 히팅 펌프와 냉각수 전달을 위한 쿨링 펌프를 포함하고, 공조기 제어 장치는 심층 강화학습 기술을 이용하여 히팅 펌프의 회전수와 쿨링 펌프의 회전수를 제어할 수 있다.

Description

강화학습을 이용한 공기조화기 최적 제어 시스템{AHU controlling system using A3C}

본 발명은 강화학습을 이용한 공기조화기 최적 제어 시스템에 관한 것으로서, 보다 상세하게는, 빌딩의 주변 환경을 고려하여 공기조화기의 동작을 제어할 수 있는 강화학습을 이용한 공기조화기 최적 제어 시스템에 관한 것이다.

공기조화기(Air Handling Unit: AHU, 공조기)는 공기 정화, 냉각·감습, 가열·가습 등의 공기 상태를 적절하게 조절하는 장치로서, 송풍기를 설치하여 각 실내로 송풍하기 위한 기능을 갖추고 있다.

공조기는 빌딩, 자동차 등 공기 상태 조절을 필요로 하는 모든 장소에 설치 가능하다. 빌딩 공조기의 경우, 공기 제어 알고리즘 또는 규칙 기반의 제어 방법으로 공조기의 효율을 관리한다.

그러나, 기존의 알고리즘과 규칙 기반의 제어 방법은 빌딩의 주변 환경을 고려하지 않은 획일화된 방식으로서, 빌딩 주변의 환경을 고려한 최적 제어가 어렵다.

국내 등록특허 제10-1369780호(2014.02.26. 등록)

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 공조기가 설치된 빌딩의 주변 환경을 고려하여 공조기의 동작을 최적 제어할 수 있는 강화학습을 이용한 공기조화기 최적 제어 시스템을 제시하는 데 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 강화학습을 이용한 공기조화기 최적 제어 시스템은, 열매체 전달을 위한 히팅 펌프와 냉각수 전달을 위한 쿨링 펌프를 포함하는 하나 이상의 공기조화기; 및 심층 강화학습 기술을 이용하여 히팅 펌프의 회전수와 쿨링 펌프의 회전수를 제어하는 공조기 제어 장치;를 포함한다.

상기 공조기 제어 장치는, 상기 하나 이상의 공기조화기가 설치된 빌딩 내의 현재 온도에 대해 Asynchronous Advantage Actor-Critic(A3C) 기술을 적용하여 상기 빌딩 내의 적정 온도를 예측하는 AI(Artificial Intelligence) 에이전트; 및 상기 AI 에이전트의 예측 결과에 따라 히팅 펌프 및 쿨링 펌프 중 어느 하나의 펌프 회전수를 제어하는 펌프 제어부;를 포함한다.

본 발명에 따르면, 심층강화학습을 이용하여 공조기의 동작을 제어함으로써 공조기가 설치된 빌딩의 주변 환경에 따라 달라지는 공조기 효율을 최대화할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 강화학습을 이용한 공기조화기 최적 제어 시스템을 도시한 도면,
도 2는 공기조화기의 최적제어값을 획득하기 위한 A3C 기술(즉, 심층강화학습 구조)을 설계한 도면이다.

본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사항에 부합하는 의미와 개념으로 해석되어야 할 것이다.

또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.

도 1에 도시된 강화학습을 이용한 공기조화기 최적 제어 시스템의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 강화학습을 이용한 공기조화기 최적 제어 시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 강화학습을 이용한 공기조화기 최적 제어 시스템은 다수의 센서들(10), 공기조화기(100) 및 공조기 제어 장치(200)를 포함할 수 있다.

다수의 센서들(10)은 빌딩 내외부에 설치되어 온도, 습도, 풍속 등을 센싱하고, 센싱 결과를 빌딩 환경 정보로서 공조기 제어 장치(200)에게 전송할 수 있다.

공기조화기(100)는 빌딩 내 공기 상태, 예를 들어, 실내 온도와 습도를 조절하며, 빌딩에 하나 이상 설치될 수 있다.

이러한 공기조화기(100)는 열매체 전달을 위한 히팅 펌프(110), 빌딩 난방을 위한 히팅 시스템(120), 냉각수 전달을 위한 쿨링 펌프(130) 및 빌딩 냉방을 위한 쿨링 시스템(140)을 포함할 수 있다.

공기조화기(100)는 공조기 제어 장치(200)로부터 수신되는 펌프 회전수(RPM: Revolution per minute)에 따라 히팅 펌프(110) 또는 쿨링 펌프(130)의 RPM을 조절하여 빌딩 내 공기가 최적 온도가 되도록 조절할 수 있다.

예를 들어, 공조기 제어 장치(200)로부터 히팅 펌프(110)의 RPM을 높이라는 명령이 수신되면, 히팅 시스템(120)은 히팅 펌프(110)의 RPM을 높여 빌딩 내 온도가 높아지도록 한다.

또한, 공조기 제어 장치(200)로부터 쿨링 펌프(130)의 RPM을 높이라는 명령이 수신되면, 쿨링 시스템(140)은 쿨링 펌프(130)의 RPM을 높여 빌딩 내 온도가 낮아지도록 한다.

공조기 제어 장치(200)는 심층 강화학습 기술을 이용하여 히팅 펌프(110)의 회전수(RPM) 또는 쿨링 펌프(130)의 회전수를 제어할 수 있다.

이를 위하여 공조기 제어 장치(200)는 AI 에이전트(Artificial Intelligent Agent, 210) 및 펌프 제어부(220)를 포함할 수 있다.

AI 에이전트(210)는 공기조화기(100)가 설치된 빌딩 내의 현재 온도에 대해 심층 강화학습 기술인 Asynchronous Advantage Actor-Critic(A3C) 기술을 적용하여 빌딩 내의 적정 온도를 예측할 수 있다. 즉, AI 에이전트(210)는 A3C 기술을 이용하여 열매체와 냉각수의 펌프 회전수를 제어하여 빌딩 내 최적의 온도를 유지할 수 있는 제어값을 예측할 수 있다.

강화학습은 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하고, 선택가능한 행동 중 보상을 최대화하는 행동 순서를 학습하는 것으로서, 심층 Q 학습, A3C 학습, Policy Gradient(정책 경사하강법) 등 다양하다.

A3C 심층 강화학습 알고리즘은 가치를 계산하는 Q함수 네트워크와 액션을 선택하는 정책 네트워크를 혼합한 글로벌 신경망을 가지고 있다. 여러 에이전트가 각각의 독립된 환경에서 비동기 방식으로 액션에 대한 보상을 기록하고 이것을 일괄적으로 글로벌 네트워크에 학습하는 것이 A3C 기술이다. 이 기술은 기존 DQN보다 빠르고, 단순하고 robust하며 이산형 액션과 연속형 액션도 학습할 수 있는 장점이 있다.

도 2는 공기조화기(100)의 최적제어값을 획득하기 위한 A3C 기술(즉, 심층강화학습 구조)을 설계한 도면이다.

도 2를 참조하면, 본 발명의 실시 예에서는 강화학습 알고리즘으로서 A3C 기술을 사용하며, 공기조화기(100)의 관계를 분석하여 시뮬레이션 환경을 구축하며, 독립변수는 열매체와 냉각수의 온도 및 기타 사항, 제어변수는 열매체 펌프 RPM, 냉각수 펌프 RPM이 설정될 수 있다.

A3C 알고리즘은 33개의 센서 데이터를 상태로 정의하고 네트워크의 입력데이터로 하여 학습하고, 네트워크는 4개의 은닉층으로 되어 있으며 각 레이어는 100개의 뉴런, relu를 가지고 있다. 이 중 1개의 은닉층은 LSTM(Long Short Term Memory)을 사용하고 나머지는 일반 신경망을 사용한다.

또한, 정책 신경망의 손실함수는 cross_entropy를 사용하여 미래의 보상을 산출하고, 벨만 방정식, Bellman equation(β=0.90)을 사용하여 가치 함수를 학습한다. 가치 신경망의 손실함수는 MSE(Mean Squared Error, 평균 제곱 오차)를 사용한다.

벨만 방정식을 식으로 표현하면 다음과 같다.

다시 도 1을 참조하면, 펌프 제어부(220)는 AI 에이전트(210)의 예측 결과에 따라 히팅 펌프(110) 및 쿨링 펌프(130) 중 펌프 회전수를 제어해야 할 펌프를 판단하고, 판단된 펌프의 펌프 회전수를 산출하며, 산출된 펌프 회전수에 따라 회전하여 실내 온도를 조절하도록 공기조화기(100)에게 제어 명령을 전송할 수 있다.

자세히 설명하면, 예를 들어, AI 에이전트(210)는 다수의 센서들(10)로부터 수신되는 빌딩 환경 정보를 A3C의 입력으로 하여 현재 빌딩 내 적정 온도를 예측할 수 있다.

펌프 제어부(220)는 빌딩의 현재 온도는 21℃이고, AI 에이전트(210)의 학습에 의한 예측 결과 18℃가 적정 온도인 경우, 적정 온도로 낮추기 위한 쿨링 펌프(130)의 회전수(RPM)을 산출하고, 산출된 RPM으로 동작하도록 공기조화기(100)에게 제어 명령을 전송한다. 공기조화기(100)의 쿨링 시스템(140)은 수신된 RPM으로 이전보다 빠른 속도로 회전하도록 쿨링 펌프(130)를 제어하며, 이로써 빌딩 내 온도가 낮아진다.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

10: 다수의 센서들
100: 공기조화기
110: 히팅 펌프
120: 히팅 시스템
130: 쿨링 펌프
140: 쿨링 시스템
200: 공조기 제어 장치
210: AI 에이전트
220: 펌프 제어부

Claims (2)

1. 열매체 전달을 위한 히팅 펌프와 냉각수 전달을 위한 쿨링 펌프를 포함하는 하나 이상의 공기조화기; 및
   심층 강화학습 기술을 이용하여 히팅 펌프의 회전수와 쿨링 펌프의 회전수를 제어하는 공조기 제어 장치;를 포함하는 것을 특징으로 하는 강화학습을 이용한 공기조화기 최적 제어 시스템.
   
2. 제1항에 있어서,
   상기 공조기 제어 장치는,
   상기 하나 이상의 공기조화기가 설치된 빌딩 내의 현재 온도에 대해 Asynchronous Advantage Actor-Critic(A3C) 기술을 적용하여 상기 빌딩 내의 적정 온도를 예측하는 AI(Artificial Intelligence) 에이전트; 및
   상기 AI 에이전트의 예측 결과에 따라 히팅 펌프 및 쿨링 펌프 중 어느 하나의 펌프 회전수를 제어하는 펌프 제어부;를 포함하는 것을 특징으로 하는 강화학습을 이용한 공기조화기 최적 제어 시스템.

Images