KR102095896B1 - 강화 학습에 기반한 공조기 제어 시스템 - Google Patents

강화 학습에 기반한 공조기 제어 시스템 Download PDF

Info

Publication number
KR102095896B1
KR102095896B1 KR1020190082939A KR20190082939A KR102095896B1 KR 102095896 B1 KR102095896 B1 KR 102095896B1 KR 1020190082939 A KR1020190082939 A KR 1020190082939A KR 20190082939 A KR20190082939 A KR 20190082939A KR 102095896 B1 KR102095896 B1 KR 102095896B1
Authority
KR
South Korea
Prior art keywords
information
air conditioner
control
reinforcement learning
area
Prior art date
Application number
KR1020190082939A
Other languages
English (en)
Other versions
KR102095896B9 (ko
Inventor
임종윤
Original Assignee
주식회사 실리콘큐브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실리콘큐브 filed Critical 주식회사 실리콘큐브
Priority to KR1020190082939A priority Critical patent/KR102095896B1/ko
Application granted granted Critical
Publication of KR102095896B1 publication Critical patent/KR102095896B1/ko
Publication of KR102095896B9 publication Critical patent/KR102095896B9/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56—Remote control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/89—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/10—Temperature
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/20—Humidity

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

본 발명의 실시예에 따른 강화 학습에 기반한 공조기 제어 시스템은 지역 정보와 광역 정보를 입력으로 하는 광역 강화 학습 모델을 통해 광역 제어 정보를 생성하는 통합 제어 서버; 및 상기 통합 제어 서버와 유선 또는 무선 네트워크를 통해 연결되고, 상기 통합 제어 서버에서 생성된 상기 광역 제어 정보와 상기 지역 정보를 입력으로 하는 지역 강화 학습 모델을 통해 공조기를 제어하기 위한 지역 제어 정보를 생성하는 지역 제어 장치;를 포함할 수 있다.

Description

강화 학습에 기반한 공조기 제어 시스템 {APPARATUS FOR CONTROLLING AIR CONDITIONER BASED ON REFINFORCEMENT LEARNING}
본 발명은 강화 학습에 기반한 공조기 제어 시스템에 관한 것으로, 더욱 상세하게는 지역 정보와 광역 정보를 기초로 강화 학습을 통해 광역 제어 정보를 생성하고, 광역 제어 정보와 지역 정보를 기초로 공조 장치 제어를 위한 지역 제어 정보를 생성하는 강화 학습에 기반한 공조기 제어 시스템에 관한 것이다.
일반적으로, 무인으로 운영되는 통신 기지국에는 그 내부의 많은 유무선 통신 장비들이 설치되는데, 이러한 통신 장비들은 발열량이 매우 많다. 따라서, 통신 장비에서 발생하는 열 발생에 의해 각종 기기의 고장 또는 오작동이 발생하는 경우가 빈번하기 때문에, 기지국 내부에 공조기(air conditioner)를 설치하여 기지국 내부의 온도를 낮춤으로써 기지국 내부에 설치된 통신 장비의 고장이나 오작동을 방지하는 방법을 사용하고 있다.
하지만, 종래의 통신 기지국에 설치된 공조기는 넓은 지역의 정보와 기상 변화 예보를 반영하지 못하고 주로 기지국 내부의 온도만을 기초로 공조기의 동작이 제어되기 때문에, 효율적으로 공조기가 제어되지 못함으로써, 에너지 효율이 매우 낮다는 문제가 발생하고 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
한국 등록특허 제10-0776430호 한국 등록특허 제10-1437313호 한국 공개특허 제10-2018-0110753호
본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 주로 무인으로 운영되는 통신 기지국 및 기타 장소에 설치되는 공조기의 에너지 효율을 높일 수 있는 공조기 제어 시스템을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 강화 학습에 기반한 공조기 제어 시스템은 지역 정보와 광역 정보를 입력으로 하는 광역 강화 학습 모델을 통해 광역 제어 정보를 생성하는 통합 제어 서버; 및 상기 통합 제어 서버와 유선 또는 무선 네트워크를 통해 연결되고, 상기 통합 제어 서버에서 생성된 상기 광역 제어 정보와 상기 지역 정보를 입력으로 하는 지역 강화 학습 모델을 통해 공조기를 제어하기 위한 지역 제어 정보를 생성하는 지역 제어 장치;를 포함할 수 있다.
상기 지역 정보는 상기 공조기의 온도, 상기 공조기가 설치된 장소의 온도 정보, 및 습도 정보를 포함할 수 있다.
상기 광역 정보는 상기 공조기가 설치된 지역의 온도 정보, 습도 정보, 강우 확률을 포함할 수 있다.
상기 지역 제어 장치는 상기 통합 제어 서버와의 통신을 관리하고 광역 정보를 수신하는 통신부; 지역 정보를 획득하기 위한 적어도 하나의 지역 정보 수신부; 상기 지역 정보 수신부에서 획득한 상기 지역 정보를 저장하는 지역 정보 저장부; 및 상기 통신부를 통해 수신된 광역 제어 정보와 상기 지역 정보 수신부를 통해 수신된 지역 정보를 입력으로 하는 강화 학습 모델을 통해 공조기를 제어하기 위한 상기 지역 제어 정보를 생성하는 장치 제어부;를 포함할 수 있다.
상기 지역 제어 장치는 상기 장치 제어부에서 생성된 상기 지역 제어 정보를 공조기의 유형에 따라 변환하는 제어 신호 변환부;를 더 포함할 수 있다.
상기 통합 제어 서버와의 통신의 해제된 경우, 상기 지역 정보 수신부에서 획득한 상기 지역 정보를 상기 지역 정보 저장부에 일시적으로 저장하고, 상기 통합 제어 서버와의 통신이 복구되는 경우, 상기 지역 정보 저장부에 저장된 상기 지역 정보를 상기 통신부를 통해 상기 통합 제어 서버로 전송할 수 있다.
상기 지역 강화 학습 모델은 상기 광역 제어 정보를 통해 상기 공조기가 턴 온 또는 턴 오프 되는 시간을 보상값으로 하여 지속적으로 갱신될 수 있다.
상기 지역 강화 학습 모델은 상기 공조기가 턴 오프 되는 시간이 길어지는 방향으로 상기 광역 제어 정보를 갱신할 수 있다.
상기 광역 강화 학습 모델은 상기 지역 강화 학습 모델을 통해 지역 제어 정보를 생성할 때 사용되는 보상의 합으로 결정될 수 있다.
상기한 바와 같은 본 발명의 실시예에 의한 강화 학습에 기반한 공조기 제어 시스템에 의하면, 지역 정보와 광역 정보를 기초로 강화 학습을 통해 공조기를 제어할 수 있는 제어 정보를 생성함으로써, 공조기의 에너지 효율을 향상시킬 수 있다.
이 도면들은 본 발명의 예시적인 실시예를 설명하는데 참조하기 위함이므로, 본 발명의 기술적 사상을 첨부한 도면에 한정해서 해석하여서는 아니된다.
도 1은 본 발명의 실시예에 따른 공조기 제어 시스템의 구성을 도시한 개념도이다.
도 2는 본 발명의 실시예에 따른 공조기 제어 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 공조기 제어 시스템의 신호 전달 과정을 설명하기 위한 개념도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 여러 부분 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다.
이하에서는 본 발명의 실시예에 의한 공조기 제어 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 공조기 제어 시스템의 구성을 도시한 개념도이다. 그리고 도 2는 본 발명의 실시예에 따른 공조기 제어 시스템의 구성을 도시한 블록도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 의한 공조기 제어 시스템은 복수의 지역 제어 장치와 통합 제어 서버를 포함할 수 있다. 상기 지역 제어 장치와 상기 통합 제어 서버는 유선 및/또는 무선 네트워크를 통해 각종 정보를 송수신할 수 있다.
상기 통합 제어 서버는 광역 정보(GI: global information)를 수신하는 광역 정보 수신부, 및 상기 광역 정보 수신부에서 수신한 광역 정보와 네트워크를 통해 상기 지역 제어 장치로부터 수신한 지역 정보(LI: local information)로부터 광역 제어 정보(GCI: global control information)를 생성할 수 있다. 상기 통합 제어 서버에서 생성된 광역 제어 정보는 각각의 지역 제어 장치로 전송된다. 여기서, 광역 정보는 통신 기지국을 포함하는 상대적으로 넓은 지역의 온도(광역 온도) 및 습도(광역 습도), 단기(예를 들어, 1일) 강우 확률, 중기(예를 들어, 1주일) 강우 확률, 및 장기(예를 들어, 1개월) 강우 확률 등의 정보를 포함할 수 있다.
이때, 상기 통합 제어 서버는 광역 정보와 지역 정보를 입력으로 하는 광역 강화 학습 모델(global reinforcement learning model)을 통해 광역 제어 정보(GCI: global control information)를 생성할 수 있다.
상기 지역 제어 장치는, 예를 들어, 통신 장비가 설치되는 통신 기지국 내의 공조기를 제어하기 위한 장치일 수 있다. 상기 지역 제어 장치는 지역 정보와 상기 광역 제어 정보를 입력으로 하는 지역 강화 학습 모델(local reinforcement learning model)을 통해 공조기를 제어하는 지역 제어 정보를 생성할 수 있다.
상기 지역 제어 장치는 통신부, 지역 정보 수신부, 지역 정보 저장부, 장치 제어부, 및 제어 신호 변환부를 포함할 수 있다.
상기 통신부는 상기 통합 제어 서버와의 통신을 수행하고, 상기 통합 제어 서버와의 통신 상태를 지속적으로 감시하여 상기 장치 제어부로 전송할 수 있다.
상기 지역 정보 수신부는 공조기가 설치된 통신 기지국의 지역 정보를 감지하는 센서로부터 데이터를 수신한다. 이때, 지역 정보는 통신 기지국 내부 온도 및 습도, 통신 기지국의 외부 온도 및 습도, 통신 기지국에 설치된 공조기의 온도 등을 포함할 수 있다. 통신 기지국 내부에 부착된 센서를 이용하여 IoT(Internet of Things, 사물인터넷) 방식을 이용하여 실시간으로 데이터를 유무선 인터넷, WIFI, Bluetooth, ZIGBEE 등의 통신을 이용하여 주고받으면서 기지국 내부의 온도, 습도, 대기등을 관리할 수 있다.
상기 지역 정보 저장부는 상기 지역 정보 수신부에서 획득한 지역 정보를 저장할 수 있다. 예를 들어, 상기 통합 제어 서버와 상기 지역 제어 장치가 비정상적인 원인으로 인해 통신이 해제(또는 두절)되는 경우, 상기 지역 정보 저장부는 상기 센서 정보 수신부에서 획득한 지역 정보를 일정 시간 간격으로 저장한다. 그리고 상기 통합 제어 서버와 상기 지역 제어 장치 사이에 통신이 복구되는 경우, 상기 지역 정보 저장부는 일시적으로 저장된 지역 정보를 상기 통신부를 통해 상기 통합 제어 서버로 전송할 수 있다.
상기 장치 제어부는 상기 통합 제어 서버로부터 전송된 광역 제어 정보(GCI: global control information)과 상기 지역 정보 수신부에서 획득한 지역 정보로부터 공조기를 제어하기 위한 지역 제어 정보(LCI: local control information)를 생성할 수 있다. 이때, 상기 장치 제어부는 광역 제어 정보와 지역 정보를 입력으로 하는 지역 강화 학습 모델을 통해 지역 제어 정보를 생성할 수 있다.
광역 제어 정보는 넓은 지역의 기상 상황(또는, 미래 기상 상황을 포함)을 고려하여 복수의 기지국에 설치된 전체 공조기의 제어 방향성을 제시한다. 지역 제어 정보는 공조기가 설치된 기지국의 개별 기상 상황(또는 급변하는 기상 상황이나 기지국 내부에서는 비정상적인 상황 등)을 고려하여 각각의 기지국에 설치된 각 공조기의 제어 방향성을 제시한다.
이하에서, 광역 정보가 적용되는 넓은 지역을 대지역(예를 들어, 대지역은 대도시가 될 수 있다)이라 하고, 대지역은 지역 정보가 적용되는 상대적으로 좁은 지역을 소지역(예를 들어, 소지역은 대지역을 구성하는 복수의 지역을 의미할 수 있다). 이 경우, 대지역은 복수(예를 들어, 9개)의 소지역으로 구성된다.
광역 정보로부터 대지역에 향후 일정 시간(예를 들어, 1시간) 내에 비가 오거나 현재 비가 내리기 시작하였다면, 대지역의 기지국에 설치되는 공조기를 굳이 동작시키지 않더라도, 기지국 내의 온도가 낮아질 것으로 예상할 수 있으므로, 광역 제어 정보는 공조기를 동작하지 않도록 할 수 있다. 즉, 이러한 경우, 대지역의 기지국에 설치되는 공조기는 동작하지 않도록 통합 제어 서버는 광역 제어 정보를 생성한다.
하지만, 광역 제어 정보에 의해 대지역의 기지국에 설치된 공조기를 동작시키지 않도록 제어 방향성을 제시하더라도, 대지역을 구성하는 소지역에서는 비가 내리지 않을 수 있다. 이러한 경우, 특정 소지역은 비가 내리지 않으므로, 지역 제어 정보를 통해 소지역의 기지국에 설치된 공조기는 동작시키도록 해야 한다. 또는, 기지국 내부의 온도가 비정상적으로 상승하는 경우, 해당 기지국의 공조기는 동작시키도록 해야 한다. 따라서, 이러한 경우, 소지역의 기지국에 설치되는 공조기는 동작하도록 지역 제어 장치는 지역 제어 정보를 생성한다.
예를 들어, 광역 정보로부터 대한민국 서울시 전역에 오후 3시에 비가 온다고 예보되었으나, 지역 정보로는 실제로는 비가 오지 않거나 또는, 오후 5시에 서울시 일부 구역에서만 비가 내리는 경우를 가정할 수 있다. 이 경우 지역 정보가 광역 정보에 비해 정확한 정보가 된다. 따라서 광역 정보와 지역 정보를 조합하여 광역 제어 정보를 생성하는 것이 보다 실제 상황에 맞는 정보를 얻을 수 있다. 이러한 광역 정보와 지역 정보를 조합하여 생성되는 광역 제어 정보를 기초로 공조기를 제어하는 경우, 광역 정보로 부터 오후 3시에 비가 온다는 정보에 따라 공조기를 사용하지 않고, 지역 정보와 조합되어 생성되는 광역 제어 정보를 기초로 공조기를 제어함으로써 공조기의 에너지 효율을 높일 수 있다.
즉, 기본적으로는 기상 상황에 따른 광역 제어 정보에 따라 공조기를 제어하지만, 개별 지역의 기상 상황의 변화(또는, 비정상적인 상황 변화 등)를 추가적으로 고려하여 공조기를 제어할 수 있다.
상기 통합 제어 서버와 상기 지역 제어 장치는 설정된 프로그램에 의하여 작동하는 하나 이상의 프로세서로 구비될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시예에 따른 공조기 제어 시스템의 제어 방법의 각 단계를 수행하도록 되어 있다.
한편, 상기 지역 제어 장치는 상기 장치 제어부에서 생성된 지역 제어 정보를 공조기의 유형에 따라 변환하는 제어 신호 변환부를 더 포함할 수 있다. 예를 들어, 공조기와 지역 제어 장치와의 통신 유형(예를 들어, WIFI, Bluetooth, ZIGBEE, 등)에 따라 지역 제어 정보를 각각의 통신 유형에 대응하는 정보로 변환할 수 있다.
이하에서는, 통합 제어 서버를 통해 광역 제어 정보를 생성하는 광역 강화 학습 모델에 관하여 설명하도록 한다.
통합 제어 서버는 앞에서 언급한 바와 같이, 광역 정보와 지역 정보를 통해 광역 제어 정보를 생성할 수 있다. 이를 수식으로 표현하면 다음과 같다.
[수학식 1]
Figure 112019070426610-pat00001
수학식 1에서, GCI는 광역 제어 정보이고, GI는 광역 정보이며, LI는 지역 정보를 의미한다.
강화 학습 모델은 에이전트(본 발명에서는 광역 제어부 및/또는 장치 제어부)가 어떤 행위를 선택하여 얻게 되는 시행 착오를 통해 주어진 환경 또는 상태sotate)(본 발명에서는 광역 정보 및/또는 지역 정보에 해당)을 학습하고, 정해진 정책에 따라 행동(action)을 결정하고 실행한다. 행동에 따라 얻게 되는 보상(reward)을 기초로 행동 정책(policy)을 수정해가면서 최적의 정책을 학습하는 모델이다. 본 발명에서는 광역 제어부 및/또는 장치 제어부가 강화 학습 모델의 에이전트와 대응될 수 있고, 광역 제어부에서 생성되는 광역 제어 정보와 장치 제어부에서 생성되는 지역 제어 정보가 정책과 대응될 수 있으며, 광역 정보 및/또는 지역 정보에 따른 기상 상황이 각 환경 또는 상태(state)에 대응될 수 있다.
통합 제어 서버의 광역 제어부는 광역 강화 학습 도중 최적의 정책(policy)인
Figure 112019070426610-pat00002
와 가장 가까운 Q값을 찾기 위해 지속적으로
Figure 112019070426610-pat00003
를 갱신할 수 있다.
Figure 112019070426610-pat00004
를 갱신하기 위한 정책은 다음의 수학식과 같이 정의될 수 있다.
[수학식 2]
Figure 112019070426610-pat00005
수학식 2에서, α는 학습 비율(learning rate)를 의미하고, γ는 감쇠 비율(discount rate)를 의미한다. 여기서 학습 비율은 0.25, 감쇠 비율은 0.85로 설정될 수 있다.
광역 제어 정보를 생성하는 광역 강화 학습 모델에서 보상(reward)은 지역 제어 장치에 의해 지역 제어 정보를 생성할 때 사용되는 보상(reward)의 합일 수 있다. 이를 수학식으로 표현하면, 다음과 같다.
[수학식 3]
Figure 112019070426610-pat00006
수학식 3에서, ψ는 광역 강화 학습 보상의 보상률을 의미하고, k는 지역의 개수이며, LRk(t)는 지역 강화 학습의 보상일 수 있다.
한편, 광역 제어 정보를 생성하기 위한 광역 강화 학습 모델에서 상태(state)는 다음과 같이 구성될 수 있다.
[수학식 4]
S={S1, S2, S3, Sr4, S5}
수학식 4에서, 각각의 상태(state)는 다음과 같이 정의될 수 있다.
S1: Status Off (공조기 및/또는 팬이 동작하지 않는 상태)
S2: Hot day (외기 온도가 설정 온도 이상으로 매우 높은 상태)
S3: Cold day (외기 온도가 설정 온도 이하로 매우 낮은 상태)
S4: Rainy (비가 오는 상태)
S5: Snowy (눈이 오는 상태)
위에 기재된 각 상태는 광역 정보와 지역 정보가 적용되는 각 지역의 상황에 따라 추가, 변경, 및 삭제 될 수 있음을 물론이다.
또한, 광역 제어 정보를 생성하기 위한 광역 강화 학습 모델에서 각각의 행동(action)은 다음과 같은 집합으로 구성될 수 있다.
A = { Aircon 1 off, Aircon 2 off, Aircon 1 cold , Aircon 2 cold , Aircon 1 wind , Aircon 2 wind , Fan on, Fan off }
여기서, Aircon 1 off는 제1 공조기 정지, Aircon 2 off 제2 공조기 정지, Aircon 1 cold 는 제1 공조기 작동, Aircon 2 cold는 제2 공조기 작동, Aircon 1 wind 는 제1 공조기 송풍 모드, Aircon 2 wind는 제2 공조기 송풍 모드, Fan on은 팬 동작, Fan off는 팬 정지를 의미할 수 있다.
각각의 상태(state)에 대한 업데이트는 아래의 의사 코드(Pseudo Code)와 같이 표현할 수 있다.
1. Initialize Q(s,a)
2. Repeate
3. St=St = get_current_state()
4. at = get_action(St)
5. Reconfigure(at)
6. R = observe_reward();
7. St+1 = get_next_state(St, at)
8. at+1 = get_action(St+1)
9. St=St+1
10. at=at+111.
12. Wait_next_timeslot()
13. Until value function coverages
다음으로, 지역 제어 장치를 통해 지역 제어 정보를 생성하는 강화 학습 모델에 관하여 설명하도록 한다.
지역 제어 장치가 지역 강화 학습 모델을 통해 지역 제어 정보를 생성하는 방법은 통합 제어 서버가 광역 강화 학습 모델을 통해 광역 제어 정보를 생성하는 방법과 거의 유사하다.
장치 제어부는 앞에서 언급한 바와 같이, 지역 정보(LI)와 광역 제어 정보(GCI)를 통해 지역 제어 정보를 생성할 수 있다. 이를 수식으로 표현하면 다음과 같다.
[수학식 5]
Figure 112019070426610-pat00007
수학식 5에서, GCI는 광역 제어 정보이고, LI는 지역 정보를 의미하며, N은 상태를 의미한다.
장치 제어부는 강화 학습 도중 최적의 정책(policy)인
Figure 112019070426610-pat00008
와 가장 가까운 Q값을 찾기 위해 지속적으로
Figure 112019070426610-pat00009
를 갱신할 수 있다.
Figure 112019070426610-pat00010
를 갱신하기 위한 정책은 다음의 수학식과 같이 정의될 수 있다.
[수학식 6]
Figure 112019070426610-pat00011
수학식 6에서, α는 학습 비율(learning rate)를 의미하고, γ는 감쇠 비율(discount rate)를 의미한다. 여기서 학습 비율은 0.25, 감쇠 비율은 0.85로 설정될 수 있다.
지역 제어 정보를 생성하기 위한 지역 강화 학습 모델에서 상태(state)는 다음과 같이 구성될 수 있다.
[수학식 7]
S={S1, S2, S3, Sr4, S5, S6, S7}
수학식 7에서, 각각의 상태(state)는 다음과 같이 정의될 수 있다.
S1: Status Off (공조기 및/또는 팬이 동작하지 않는 상태)
S2: Aircon 1 cold mode (제1 공조기가 동작하는 상태)
S3: Aircon 1, 2 cold mode (제1 및 제2 공조기가 동작하는 상태)
S4: Aircon 1 wind mode (제1 공조기가 송풍 모드로 동작하는 상태)
S5: Aircon 1, 2 wind mode (제1 및 제2 공조기가 송풍 모드로 동작하는 상태)
S6: FAN On mode (팬이 동작하는 상태)
S7: Aircon 1, 2 On and FAN On mode (제1 및 제2 공조기가 동작하고, 팬이 동작하는 상태)
또한, 지역 제어 정보를 생성하기 위한 지역 강화 학습 모델에서 각각의 행동(action)은 다음과 같은 집합으로 구성될 수 있다.
A = { Aircon 1 off, Aircon 2 off, Aircon 1 cold , Aircon 2 cold , Aircon 1 wind , Aircon 2 wind , Fan on, Fan off }
여기서, Aircon 1 off는 제1 공조기 정지, Aircon 2 off 제2 공조기 정지, Aircon 1 cold 는 제1 공조기 작동, Aircon 2 cold는 제2 공조기 작동, Aircon 1 wind 는 제1 공조기 송풍 모드, Aircon 2 wind는 제2 공조기 송풍 모드, Fan on은 팬 온동작, 및 Fan off는 팬 정지를 의미할 수 있다.
지역 제어 정보를 생성하는 지역 강화 학습 모델에서 보상(reward)은 공조기가 턴 온 또는 턴 온(turn on/turn off) 되는 시간(즉, 공조기가 동작하는 시간 또는 공조기가 동작하지 않는 시간)이 지역 강화 학습 모델의 보상과 대응될 수 있다. 예를 들어, 장치 제어부에서 생성되는 지역 제어 정보에 따라 공조기가 장시간 턴 온 되지 않으면(즉, 공조기가 장시간 동작하지 않으면), 광역 제어부 또는 장치 제어부는 정책(광역 제어 정보/지역 제어 정보)이 성공한 것으로 판단하고, 공조기가 턴 오프되는 시간(즉, 공조기가 동작하지 않는 시간)을 기준으로 보상 기준을 설정할 수 있다.
즉, 상기 장치 제어부는 공조기가 턴 오프되는 시간(즉, 공조기가 동작하지 않는 시간)이 길어지는 방향(보상값이 커지는 방향)으로 광역 제어 정보 또는 지역 제어 정보를 수정해 나갈 수 있다.
이러한 지역 강화 학습에서의 보상은 각각의 상태(state)에서 공조기의 전력 소모율, 특정 상태(state)를 지속한 시간, 강화 학습의 보상 강도를 통해 결정될 수 있다. 이를 수학식으로 표현하면 다음과 같다.
[수학식 8]
Figure 112019070426610-pat00012
수학식 8에서, ST는 특정 상태를 지속한 시간, π는 S1 상태에서의 전력 소모율, ω는 강화 학습의 보상 강도, δ는 S2 상태에서의 전력 소모율, ε는 S3 상태에서의 전력 소모율, ζ는 S4 상태에서의 전력 소모율, η는 S5 상태에서의 전력 소모율, σ는 S6 상태에서의 전력 소모율을 의미할 수 있다.
각각의 상태에서의 공조기의 전력 소모율은 모두 상이하므로, 동일한 가중치로 반영하지는 않는다. ST1(state 1: S1)의 경우 전력 소모율을 갖지 않으므로, 실질적으로 다음의 수학식과 같이 각각의 상태의 총합으로 구현될 수 있다.
[수학식 9]
Figure 112019070426610-pat00013
각각의 상태(state)에 대한 업데이트는 아래의 의사 코드(Pseudo Code)와 같이 표현할 수 있다.
1. Initialize Q(s,a)
2. Repeate
3. St = get_current_state()
4. at = get_action(St)
5. Reconfigure(at)
6. R = observe_reward();
7. St+1 = get_next_state(St, at)
8. at+1 = get_action(St+1)
9. St=St+1
10. at=at+111.
12. Wait_next_timeslot()
13. Until value function coverages
이상을 통해 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
100: 통합 제어 서버
110: 광역 정보 수신부
120: 광역 제어부
200: 지역 제어 장치
210: 지역 정보 수신부
220: 지역 정보 저장부
230: 통신부
240: 광역 제어 정보 저장부
250: 장치 제어부
260: 제어 신호 변환부

Claims (9)

  1. 지역 정보와 광역 정보를 입력으로 하는 광역 강화 학습 모델을 통해 광역 제어 정보를 생성하는 통합 제어 서버; 및
    상기 통합 제어 서버와 유선 또는 무선 네트워크를 통해 연결되고, 상기 통합 제어 서버에서 생성된 상기 광역 제어 정보와 상기 지역 정보를 입력으로 하는 지역 강화 학습 모델을 통해 공조기를 제어하기 위한 지역 제어 정보를 생성하는 지역 제어 장치;를 포함하고,
    상기 지역 제어 장치는
    상기 통합 제어 서버와의 통신을 관리하고 광역 정보를 수신하는 통신부;
    지역 정보를 획득하기 위한 적어도 하나의 지역 정보 수신부;
    상기 지역 정보 수신부에서 획득한 상기 지역 정보를 저장하는 지역 정보 저장부; 및
    상기 통신부를 통해 수신된 광역 제어 정보와 상기 지역 정보 수신부를 통해 수신된 지역 정보를 입력으로 하는 강화 학습 모델을 통해 공조기를 제어하기 위한 상기 지역 제어 정보를 생성하는 장치 제어부;를 포함하고,
    상기 지역 강화 학습 모델은
    상기 지역 제어 정보를 통해 상기 공조기가 턴 온 또는 턴 오프 되는 시간을 보상값으로 하여 턴 오프 되는 시간이 길어지는 방향으로 지속적으로 갱신되고,
    상기 광역 강화 학습 모델은
    상기 지역 강화 학습 모델을 통해 지역 제어 정보를 생성할 때 사용되는 보상의 합으로 결정되는 강화 학습에 기반한 공조기 제어 시스템.
  2. 제1항에 있어서,
    상기 지역 정보는
    상기 공조기의 온도, 상기 공조기가 설치된 장소의 온도 정보, 및 습도 정보를 포함하는 강화 학습에 기반한 공조기 제어 시스템.
  3. 제1항에 있어서,
    상기 광역 정보는
    상기 공조기가 설치된 지역의 온도 정보, 습도 정보, 강우 확률을 포함하는 강화 학습에 기반한 공조기 제어 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 지역 제어 장치는
    상기 장치 제어부에서 생성된 상기 지역 제어 정보를 공조기의 유형에 따라 변환하는 제어 신호 변환부;
    를 더 포함하는 강화 학습에 기반한 공조기 제어 시스템.
  6. 제1항에 있어서,
    상기 통합 제어 서버와의 통신의 해제된 경우, 상기 지역 정보 수신부에서 획득한 상기 지역 정보를 상기 지역 정보 저장부에 일시적으로 저장하고,
    상기 통합 제어 서버와의 통신이 복구되는 경우, 상기 지역 정보 저장부에 저장된 상기 지역 정보를 상기 통신부를 통해 상기 통합 제어 서버로 전송하는 강화 학습에 기반한 공조기 제어 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 지역 강화 학습 모델은 상기 공조기가 턴 오프 되는 시간이 길어지는 방향으로 상기 광역 제어 정보를 갱신하는 강화 학습에 기반한 공조기 제어 시스템.
  9. 삭제
KR1020190082939A 2019-07-10 2019-07-10 강화 학습에 기반한 공조기 제어 시스템 KR102095896B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190082939A KR102095896B1 (ko) 2019-07-10 2019-07-10 강화 학습에 기반한 공조기 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190082939A KR102095896B1 (ko) 2019-07-10 2019-07-10 강화 학습에 기반한 공조기 제어 시스템

Publications (2)

Publication Number Publication Date
KR102095896B1 true KR102095896B1 (ko) 2020-04-01
KR102095896B9 KR102095896B9 (ko) 2022-04-11

Family

ID=70276232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190082939A KR102095896B1 (ko) 2019-07-10 2019-07-10 강화 학습에 기반한 공조기 제어 시스템

Country Status (1)

Country Link
KR (1) KR102095896B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102382063B1 (ko) 2020-11-10 2022-04-01 주식회사 오성전자 홈 엣지 서버를 활용한 공조기 제어 방법 및 이를 지원하는 시스템
KR102430616B1 (ko) 2021-12-07 2022-08-09 케빈랩 주식회사 공조 제어 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776430B1 (ko) 2005-11-14 2007-11-16 엘지전자 주식회사 환기 시스템 및 그 제어 방법
KR20080072280A (ko) * 2007-02-01 2008-08-06 엘지전자 주식회사 멀티에어컨의 통합관리 시스템 및 제어방법
KR101437313B1 (ko) 2014-03-06 2014-09-03 주식회사 삼화에이스 데이터센터용 빌트업 공기조화장치
JP2016115271A (ja) * 2014-12-17 2016-06-23 パナソニックＩｐマネジメント株式会社 運用管理サーバ、運用管理システムおよび運用管理方法
KR20160120607A (ko) * 2015-04-08 2016-10-18 주식회사 태양씨앤엘 공기 정화 시스템 및 그의 제어 방법
KR20180044874A (ko) * 2016-07-29 2018-05-03 주식회사 경동나비엔 공기조화기 및 공기조화기의 제어방법
KR20180099645A (ko) * 2016-01-08 2018-09-05 소니 주식회사 제어 장치, 제어 방법 및 프로그램
KR20180110753A (ko) 2017-03-30 2018-10-11 (주)이투씨테크 IoT센서와 공조기를 활용한 에너지절감 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776430B1 (ko) 2005-11-14 2007-11-16 엘지전자 주식회사 환기 시스템 및 그 제어 방법
KR20080072280A (ko) * 2007-02-01 2008-08-06 엘지전자 주식회사 멀티에어컨의 통합관리 시스템 및 제어방법
KR101437313B1 (ko) 2014-03-06 2014-09-03 주식회사 삼화에이스 데이터센터용 빌트업 공기조화장치
JP2016115271A (ja) * 2014-12-17 2016-06-23 パナソニックＩｐマネジメント株式会社 運用管理サーバ、運用管理システムおよび運用管理方法
KR20160120607A (ko) * 2015-04-08 2016-10-18 주식회사 태양씨앤엘 공기 정화 시스템 및 그의 제어 방법
KR20180099645A (ko) * 2016-01-08 2018-09-05 소니 주식회사 제어 장치, 제어 방법 및 프로그램
KR20180044874A (ko) * 2016-07-29 2018-05-03 주식회사 경동나비엔 공기조화기 및 공기조화기의 제어방법
KR20180110753A (ko) 2017-03-30 2018-10-11 (주)이투씨테크 IoT센서와 공조기를 활용한 에너지절감 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102382063B1 (ko) 2020-11-10 2022-04-01 주식회사 오성전자 홈 엣지 서버를 활용한 공조기 제어 방법 및 이를 지원하는 시스템
KR102430616B1 (ko) 2021-12-07 2022-08-09 케빈랩 주식회사 공조 제어 방법
US11796206B1 (en) 2021-12-07 2023-10-24 Kevinlab Co. Control method for air conditioning of interior space based on mode selection

Also Published As

Publication number Publication date
KR102095896B9 (ko) 2022-04-11

Similar Documents

Publication Publication Date Title
US9261863B2 (en) Optimizing and controlling the energy consumption of a building
US9946287B2 (en) NOC-oriented demand coordination network control node
US20080147205A1 (en) Method and System for Controlling Devices in a Network
KR102095896B1 (ko) 강화 학습에 기반한 공조기 제어 시스템
US11374409B2 (en) Power system load flexibility forecasting
US10310460B2 (en) Management device, management system, management method, and program
WO2011152021A1 (ja) 電力需要管理装置、および電力需要管理システム
Katipamula et al. Small-and medium-sized commercial building monitoring and controls needs: A scoping study
JP2017049896A (ja) 無線通信システム、無線通信方法、およびセンサノード
JPWO2016021208A1 (ja) 管理装置、管理装置の制御方法、及び管理システムの制御方法
JP7521631B2 (ja) 空気調和機及び空気調和システム
KR20180068515A (ko) 스마트 홈 온도 조절 시스템 및 그 방법
US20230170697A1 (en) Techniques for predictive control of energy use in a structure
KR102165151B1 (ko) 에어컨을 제어하는 장치 및 방법
WO2020149093A1 (ja) 空気調和システム
KR101275551B1 (ko) 공기 조화 시스템 및 그 동작방법
JP2020167567A (ja) 制御システム、及び、制御方法
US20200309397A1 (en) Humidity analytics
WO2021061028A1 (en) Methods for selection of energy source based on energy rate correlated with radio traffic power usage and related apparatus
Goodman et al. Design Requirements and Hardware Specification for the Low-Cost, Interoperable, User-Centric, Supervisory Controller Kit for Small and Medium Size Commercial Buildings
Korkas et al. Adaptive optimization for smart operation of cyber-physical systems: A thermostatic zoning test case
CN115616931B (zh) 控制方法、控制装置、控制器、控制系统和存储介质
WO2023102455A1 (en) Techniques for predictive control of energy use in a structure
JP2024060918A (ja) 管理システム、温度決定方法、サーバ装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]