KR102230216B1 - 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치 - Google Patents

심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치 Download PDF

Info

Publication number
KR102230216B1
KR102230216B1 KR1020200140405A KR20200140405A KR102230216B1 KR 102230216 B1 KR102230216 B1 KR 102230216B1 KR 1020200140405 A KR1020200140405 A KR 1020200140405A KR 20200140405 A KR20200140405 A KR 20200140405A KR 102230216 B1 KR102230216 B1 KR 102230216B1
Authority
KR
South Korea
Prior art keywords
ventilation fan
air volume
reinforcement learning
real
static pressure
Prior art date
Application number
KR1020200140405A
Other languages
English (en)
Inventor
윤명섭
윤원식
Original Assignee
한국산업기술시험원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술시험원 filed Critical 한국산업기술시험원
Priority to KR1020200140405A priority Critical patent/KR102230216B1/ko
Application granted granted Critical
Publication of KR102230216B1 publication Critical patent/KR102230216B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G01F1/05—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow by using mechanical effects
    • G01F1/20—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow by using mechanical effects by detection of dynamic effects of the flow
    • G01F1/206—Measuring pressure, force or momentum of a fluid flow which is forced to change its direction
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/0001—Control or safety arrangements for ventilation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F7/00—Ventilation
    • F24F7/007—Ventilation with forced flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Fluid Mechanics (AREA)
  • Ventilation (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

본 발명은 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치에 관한 것으로, 환기팬 설계시 실제 설치환경에서 일어날 수 있는 압력조건 및 온습도, 공기청정도 등 열환경조건을 실제와 유사하게 실시간으로 가변하는 환경을 조성하고 심층 강화학습 알고리즘과 연계하여 다양한 환경조건에서 인공신경망 학습하여 환기팬 제품이 실제 설치되는 환경에서 정밀제어 되도록 할 수 있는 효과가 있다.

Description

심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치{Air volume measurement system capable of environment learning in connection with deep reinforcement algorithm and method for performing environment learning using the same, precisely controlled ventilation fan using the same}
본 발명은 환기팬 설계시 실제 설치환경에서 일어날 수 있는 압력조건 및 온습도, 공기청정도 등 열환경조건을 실제와 유사하게 실시간으로 가변하는 환경을 조성하고, 심층 강화학습 알고리즘과 연계하여 다양한 환경조건에서 인공신경망 학습하여 환기팬 제품이 실제 설치되는 환경에서 정밀제어되도록 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치에 관한 것이다.
적절한 환기는 미세먼지 오염 문제와 더불어 근래에 바이러스 확산방지를 위하여 더욱 중요시되고 있다. 최근에는 공동주택 및 다중이용시설 환기기준을 법령으로 마련하여 의무화하고 있는 실정이다.
환기팬은 용도에 따라 다양한 환기팬이 있으며, 기술적으로는 크게 정풍량(Constant Air Volume) 환기팬 및 변풍량 (Variable Air Volume) 환기팬 등으로 구분된다. 아파트 욕실이나 거실, 주방 등에서 볼 수 있는 팬은 기본적으로 정풍량 환기팬이다. 아파트가 나날이 고층화 되고 있는 현재의 환경에서 환기팬 설치시 문제가 되고 있는 것은 층별 고도에 따른 외기 압력의 변화, 유동 경로가 길어짐에 따른 압력손실의 변화, 실외의 풍압에 따른 부하의 변화, 상층부로 올라갈수록 외기 유속 증가, 저층부와 고층부에서의 설계 불균형, 공동배기구에서의 굴뚝 효과에 의한 불균형 등이다.
따라서, 동일한 환기팬을 대량으로 제작하여 동일한 설치조건을 가정하여 단순설치 된다면 제품의 환기기능이 제대로 발휘되지 못하므로, 최근에는 고정압 정풍량팬의 BLDC 모터와 다양한 PID 제어기술 등을 결합한 특허기술이 개발되고 있는 실정이다.
등록특허공보 제10-0696854호 [제목: BLDC 전동기를 활용한 정풍량 환기팬] 등록특허공보 제10-1963411호 [제목: 정풍량 제어방법]
전술한 문제점을 개선하기 위한 본 발명의 목적은 실제 설치환경에서 일어날 수 있는 압력조건 및 온습도, 공기청정도 등 열환경조건을 실제와 유사하게 실시간으로 가변하는 환경을 조성하고, 심층 강화학습 알고리즘과 연계하여 다양한 환경조건에서 인공신경망 학습하여 환기팬 제품이 실제 설치되는 환경에서 정밀제어 되도록 하는데 있다.
고층 아파트에 설치되는 환기팬은 층별 고도에 따른 외기 압력의 변화, 유동 경로가 길어짐에 따른 압력손실의 변화, 실외의 풍압에 따른 부하의 변화, 상층부로 올라갈수록 외기 유속 증가, 저층부와 고층부에서의 설계 불균형, 공동배기구에서의 굴뚝 효과에 의한 불균형 등의 문제를 해결하기 위하여 어느 정도의 압력변화에도 상관없이 일정한 정풍량의 환기가 가능하도록 기술개발 되고 있다. 이러한 기존의 특허기술은 일반적으로 미리 제품의 변수별 특성곡선을 파악하고, 실제 설치환경에서의 센싱되는 변수의 측정값에 따라서 원하는 특성구간에서 작동되도록 하는 방법이다. 즉, 환경에 따른 제어 로직을 미리 구사하여 제품을 개발한 후 현장에 설치 적용하고 있다.
하지만, 기존의 제어로직 구현 방식은 제품 특성에 영향을 주는 환경 변수가 많아지고, 비선형적인 요인이 많아질수록 수식화하기가 복잡해지고, 로직을 구사하기가 어려워지기 때문에, 대부분 핵심적인 몇 개의 측정변수를 (예를 들면, 정압(static pressure)과 회전수(RPM), 상전류, DC 전류 등) 선택적으로 판단하여 제품의 모터 출력(예를 들면, 전압(voltage)제어 또는 펄스폭 변조(PWM))을 제어하게 된다. 이러한 제어시에 보통 PID(Proportional Integral Derivation) 제어기를 사용하게 되는데, 일반적인 PID 제어기를 사용하게 되는 경우, 경우에 따라서 응답시간이 길어지고, 오버슛이 발생하게 되므로 PID의 계수값(KP, KI, KD)을 현장조건에 맞게 최적으로 선택하는 것이 관건이다.
또한, 현장조건에 맞는 PID 계수값을 어렵게 도출하였다 하더라도, 제품이 설치된 이후, 자연스러운 노후화에 의하여 제품 하드웨어 요소 부품의 특성이 바뀌어지는 경우(예를 들면, 팬 날개, 모터 등의 노후화)에는 기존 설정해 놓은 PID 계수, 로직 판단 범위 등 제어 계수값이 설계치와 틀어질 수 있다.
본 발명은 기존의 풍량 측정스템이 픽스된 정압, 온도, 습도, 공기청정도 환경 (예를 들면, Pconst, Tconst, RHconst , Cconst)의 개별적인 환경조건에서 풍량을 측정하는 것을 넘어서서, 현실 조건과 유사하게 가변적인 환경(P(t), T(t), RH(t), C(t))을 구현하고, 그러한 가변환경에서 인공신경망이 적용된 환기팬 제품을 심층강화 학습 훈련하여 다양한 비선형적 환경변수에 대한 수식 및 제어로직에 대한 고민없이, 실제 설치현장에서 실환경 조건에 적응(Adaptive)하여 최적화 제어되는 제품을 개발할 수 있도록 하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 의한 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템은 환기팬과 컴퓨팅 모듈을 포함하고, 상기 컴퓨팅 모듈을 통하여 상기 환기팬에 대한 학습 및 제어가 가능한 정밀 제어 환기팬 장치; 및 상기 정밀 제어 환기팬 장치를 심층 강화학습 알고리즘이 구현되는 인공신경망을 이용하여 가변 환경조건 하에서 정밀 제어하기 위하여, 상기 환기팬의 성능을 측정하되, 상기 환기팬이 설치되는 건축물에서의 실시간 흡입환경조건과, 해당 건축물에서의 실시간 배기구 토출정압조건을 구현하여 상기 환기팬을 사전 학습시키는 설비 제어 컴퓨터 장치를 포함하는 것을 특징으로 한다.
본 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템은 상기 환기팬의 풍량을 측정하는 풍량 측정 장치; 상기 풍량 측정 장치가 설치되고, 상기 환기팬의 상기 실시간 흡입환경조건을 구현하는 환경챔버; 및 상기 환기팬의 상기 실시간 토출정압조건을 구현하는 토출정압 조정 배기팬; 을 더 포함하며, 상기 설비 제어 컴퓨터 장치는 상기 환경챔버의 실시간 흡입환경조건 및 실시간 토출정압조건을 제어하며, 상기 풍량 측정 장치 및 상기 환기팬으로부터 계측되는 데이터를 모니터링하고 저장하는 것을 특징으로 한다.
상기 실시간 흡입환경조건은, 상기 환기팬이 설치되어 환기를 필요로 하는 공간에서의 흡입환경조건으로서, 실시간 온도(T), 습도(%R.H.), 공기청정도(C), 실내압(Pin) 중 적어도 하나 이상을 포함하고, 상기 배기구 실시간 토출정압조건은, 상기 환기팬이 설치되는 장소가 공동주택인 경우, 덕트가 연결되는 공동 배기구 지점의 압력에 덕트의 마찰손실압력까지 고려된 토출정압(기외정압, Pout)으로서, 건축물 외부의 환경 조건 영향으로 생기는 실시간 풍압, 굴뚝효과에 의한 공동배기구내 풍압효과를 고려한 토출정압조건 정보인 것을 특징으로 한다.
상기 설비 제어 컴퓨터 장치는, 상기 환기팬의 사양별 사용 환경에서의 실시간 흡입환경조건과 실시간 토출정압조건에 대한 시간(일/주/월/계절/년) 단위의 정보를 저장하는 데이터 베이스;를 포함하되, 관리자에 의한 선택적인 구간설정 및 반복설정, 스케줄링에 의하여 상기 환기팬의 학습을 위한 가변환경 조건을 자동화할 수 있고, 또는 관리자를 통한 흡입환경조건과 토출정압조건의 스케줄링을 통하여 상기 환기팬의 학습을 위한 가변환경 조건을 자동화할 수 있는 것을 특징으로 한다.
상기 심층 강화학습 알고리즘이 구현되는 인공신경망은, 상기 환기팬으로부터 실시간으로 측정되는 회전수(RPM), 토출정압(Pout), 실내압(Pin)의 노드를 기본적으로 포함하는 입력층; 2개층 이상의 은닉층; 및 상기 환기팬의 모터 출력을 조정하기 위하여 전압의 증가(+Vdc) 또는 감소(-Vdc) 를 선택할 수 있는 2개의 전압출력 조정노드와, PWM (Pulse Width Modulation)제어 방식인 경우에는 듀티비(Duty Ratio)의 증가(+D) 혹은 감소(-D)를 선택할 수 있는 2개의 듀티비 조정노드 중 적어도 하나를 포함하는 출력층;을 포함하는 것을 특징으로 한다.
상기 심층 강화학습 알고리즘의 보상체계는 상기 심층 강화학습 알고리즘의 각 에피소드의 타입스텝에서 보상판단 변수의 값들을 근거로, 보상판단 변수의 값들이 제1 보상영역 목표 범위를 만족하면 상점(+ Reward)을 주는 제1 보상영역과, 상기 제1 보상영역을 만족하지 못하고, 제2 보상영역에 존재하면 벌점(- Reward)을 주는 제2 보상영역과, 상기 제1 및 제2 보상영역 범위 밖에 보상판단 변수가 존재할 시 벌점과 하나의 에피소드를 종료하고 초기상태로 리셋하는 제3 보상영역(벌짐/리셋 영역)을 가지는 것을 특징으로 한다.
상기 심층 강화학습 알고리즘의 보상체계는 상기 가변환경조건을 실험실 환경에서 구현하여 상기 환기팬에 대하여 사전에 풍량 측정 시스템을 이용하는 경우, 상기 풍량 측정 시스템으로 심층 강화학습이 끝난 환기팬을 현장에 설치한 이후에 현장조건에 적응(site adaptive)하여 심층 강화학습 및 제어하는 경우에서, 상기 풍량 측정 시스템을 이용하여 측정된 풍량(Q)의 목표값(Qrated) 대비 상대오차 (Q-Qrated)/Qrated 의 목표조건과, 환기팬에서 측정되는 팬의 회전수(RPM) 등 환기팬에서 측정될 수 있는 변수로서 상기 풍량에 대응되는 변수로 이루어진 제약조건(Constraints)을 가지는 제1 보상영역을 구비하되, 상기 풍량 측정 시스템을 이용하는 경우의 심층 강화학습 시에는 상기 제약조건이 상기 풍량의 상대오차의 목표조건 보다 폭넓게 설정되며, 상기 제약조건은 환기팬의 소손을 방지할 정도의 사양범위를 가지고, 상기 심층 강화학습 알고리즘 진행시, 측정 오차에 의하여 상기 제1 보상영역의 범위를 벗어나는 경우, 상기 심층 강화학습의 각 에피소드를 종료하고 초기값으로 리셋되는 제3 보상영역으로 넘어가는 것을 방지하기 위하여, 버퍼존의 성격을 갖도록 제1 보상영역의 범위를 포함하는 제2 보상영역을 구비하는 것을 특징으로 한다.
상기 설비 제어 컴퓨터 장치가 상기 현장조건에 적응하여 심층 강화학습 및 제어하는 경우에는, 상기 풍량에 대응되는 변수로 이루어진 제약조건으로만 보상체계를 운영하되, 상기 변수로 이루어진 제약조건은 상기 풍량 측정 시스템을 이용한 심층 강화학습이 풍량 목표값을 만족하는 상황에서 매칭된 풍량에 대응되는 변수의 세팅값으로 변경된 제약조건으로서 목표조건의 역할을 수행하는 것을 특징으로 한다.
상기 정밀 제어 환기팬 장치는 상기 인공신경망을 이용한 심층 강화학습 및 제어가 가능하도록 유선 또는 무선 컴퓨팅 모듈과 연동되되, 상기 입력층 노드의 측정치들을 실시간으로 계측하는 센서를 포함하거나, 무선센서로부터 입력층 노드의 측정치들을 전달받을 수 있는 통신모듈을 포함하고, 상기 유선 컴퓨팅 모듈은 상기 환기팬에 종속적으로 임베디드된 상태이거나 또는 독립적으로 환기팬과 떨어진 컴퓨팅 모듈로 구성되는 것을 특징으로 한다.
상기 실시간 토출정압조건 및 데이터 베이스는 상기 풍량 측정 장치에서 노즐 시스템에서의 준정상상태(Quasi-steady state)가 보장되도록 설정되고, 상기 설비 제어 컴퓨터 장치는, 상기 토출정압조건 및 데이터 베이스의 상기 준정상상태를 보장하기 위하여, 실시간 토출정압조건의 시간대별 기울기(dPout/dt)에 대하여 사전에 정하여진 기울기 제약조건(dPout/dt < Cpout)을 두고, 이를 만족하는 토출정압조건 및 데이터 베이스에 대하여 모니터링하고 관리하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 심층강화 학습 알고리즘과 연동하여 가변환경에 대한 학습을 수행하는 방법은 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템에 의한 시험환경을 구현하는 제1 단계; 상기 풍량 측정 시스템에 의해, 환기팬 사양 및 설치장소에 따른 풍량 목표조건 설정 및 풍량에 대응되는 변수로 이루어진 제약조건을 설정하는 제2 단계; 환기팬에 의해, 상기 풍량 측정 시스템의 시험 환경에서 상기 설정된 목표조건 및 제약조건을 근거로 심층 강화학습을 시작하는 제3 단계; 컴퓨팅 모듈에 의해, 상기 환기팬과 관련한 데이터 및 상기 풍량 측정 시스템의 시험 환경 데이터를 인공신경망의 입력값으로 수집하는 제4 단계; 상기 입력값을 근거로 상기 인공신경망을 이용하여 상기 시험환경에서 학습 기능을 수행하는 제5 단계; 상기 컴퓨팅 모듈에 의해, 미리 설정된 시간의 가변환경 조건에서 수행된 학습 단계가 정상적으로 종료된 후, 학습 수행에 따른 정보를 포함하는 인공신경망에 구성된 복수의 개별 노드에서의 가중치 및 편향값을 저장하는 제6 단계를 포함하는 것을 특징으로 한다.
또한, 본 심층강화 학습 알고리즘과 연동하여 가변환경에 대한 학습을 수행하는 방법은 상기 환기팬에 의해, 사용자의 용도에 따라 특정 장소에 설치되는 단계; 상기 풍량 목표조건에 대응하는 제약조건을 목표조건으로 대체하여 구동하는 단계; 상기 환기팬에 의해, 상기 설치된 특정 장소에 따른 특정 환경에서 환기팬이 동작하는 단계; 상기 환기팬에 의해, 상기 특정 환경에서의 동작에 따라 수집되는 데이터, 상기 저장된 시험 환경별로 각 노드에서의 가중치 및 편향값을 포함하는 학습결과를 근거로 심층 강화 학습 알고리즘에 따라 학습 기능을 실제 설치된 현장 조건에 적응하여 추가적으로 학습을 수행하며 환기팬을 제어하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 정밀 제어 환기팬 장치는 환기팬과 컴퓨팅 모듈을 포함하고, 상기 컴퓨팅 모듈을 통하여 상기 환기팬에 대한 학습 및 제어가 가능하되, 상기 컴퓨팅 모듈은 심층 강화학습 알고리즘이 구현되는 인공신경망을 이용하여 가변 환경조건 하에서 정밀 제어하기 위하여, 상기 환기팬이 설치되는 건축물에서의 실시간 흡입환경조건과, 해당 건축물에서의 실시간 배기구 토출정압조건을 구현하여 상기 환기팬을 사전 학습시키는 것을 특징으로 한다.
상기 실시간 흡입환경조건은, 상기 환기팬이 설치되어 환기를 필요로 하는 공간에서의 흡입환경조건으로서, 실시간 온도(T), 습도(%R.H.), 공기청정도(C), 실내압(Pin) 중 적어도 하나 이상을 포함하고, 상기 배기구 실시간 토출정압조건은, 상기 환기팬이 설치되는 장소가 공동주택인 경우, 덕트가 연결되는 공동 배기구 지점의 압력에 덕트의 마찰손실압력까지 고려된 토출정압(기외정압, Pout)으로서, 건축물 외부의 환경 조건 영향으로 생기는 실시간 풍압, 굴뚝효과에 의한 공동배기구내 풍압효과를 고려한 토출정압조건 정보인 것을 특징으로 한다.
본 발명의 일 실시예에 따른 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치는 실제 설치환경에서 일어날 수 있는 압력조건 및 온습도, 공기청정도 등 열환경조건을 실제와 유사하게 실시간으로 가변하는 환경을 조성하고, 심층 강화학습 알고리즘과 연계하여 다양한 환경조건에서 인공신경망 학습하여 환기팬 제품이 실제 설치되는 환경에서 정밀제어 되도록 할 수 있다.
또한, 본 발명의 일 실시예는 기존의 풍량 측정스템이 픽스된 정압, 온도, 습도, 공기청정도 환경 (예를 들면, Pconst, Tconst, RHconst , Cconst)의 개별적인 환경조건에서 풍량을 측정하는 것을 넘어서서, 현실 조건과 유사하게 가변적인 환경(P(t), T(t), RH(t), C(t))을 구현하고, 그러한 가변환경에서 인공신경망이 적용된 환기팬 제품을 심층강화 학습 훈련하여 다양한 비선형적 환경변수에 대한 수식 및 제어로직에 대한 고민없이, 실제 설치현장에서 실환경 조건에 적응(Adaptive)하여 최적화 제어되는 제품을 개발할 수 있도록 할 수 있다.
도 1은 정풍량 환기팬의 일반적인 특성곡선을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 심층 강화 학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템의 구성도이다.
도 3a는 지표면으로부터 높이에 따른 일반적인 풍속분포 및 고층 빌딩의 풍속방향에 따른 풍압 분포를 나타내는 도면이다.
도 3b는 9월말 어느 맑은 서울 지역에서의 2일 동안의 대기압, 온도, 습도의 변화 그래프의 예를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 심층 강화 학습 신경망을 나타내는 도면이다.
도 5a는 본 발명의 실시예에 따른 도 4의 출력층(Output Layer)의 출력노드를 전압의 증감으로 설정한 예를 나타내는 도면이다.
도 5b는 본 발명의 실시예에 따른 도 4의 출력층 (Output Layer)의 출력노드를 PWM 듀티비율 (Duty Ratio)의 증감으로 설정한 예를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 도 2의 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템을 이용시 심층 강화 학습 보상체계의 예를 나타내는 도면이다.
도 7은 도 2의 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템을 이용하여 신경망 학습이 완료된 환기팬 제품에 대하여, 현장에 정상설치 후 현장적응 학습 및 제어를 위한 심층 강화 학습 보상체계의 예를 나타내는 도면이다.
도 8은 본 발명의 실시예 따른 심층 강화학습 및 제어의 효과를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템과 연동하여 다양한 환경조건에 대하여 환기팬을 사전 인공신경망 학습하는 과정을 나타내는 순서도이다.
도 10은 본 발명의 실시예에 따라 사전 학습된 환기팬을 설치현장에 설치한 후 계속하여 현장 적응 학습 및 환기팬 제어를 하는 과정을 나타내는 순서도이다.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 정풍량 환기팬의 일반적인 특성곡선을 나타내는 도면이고, 도 2는 본 발명의 실시예에 따른 심층 강화 학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템의 구성도이며, 도 3a는 지표면으로부터 높이에 따른 일반적인 풍속분포 및 고층 빌딩의 풍속방향에 따른 풍압 분포를 나타내는 도면이고, 도 3b는 9월말 어느 맑은 서울 지역에서의 2일 동안의 대기압, 온도, 습도의 변화 그래프의 예를 나타내는 도면이며, 도 4는 본 발명의 실시예에 따른 심층 강화 학습 신경망을 나타내는 도면이고, 도 5a는 본 발명의 실시예에 따른 도 4의 출력층(Output Layer)의 출력노드를 전압의 증감으로 설정한 예를 나타내는 도면이며, 도 5b는 본 발명의 실시예에 따른 도 4의 출력층 (Output Layer)의 출력노드를 PWM 듀티비율 (Duty Ratio)의 증감으로 설정한 예를 나타내는 도면이고, 도 6은 본 발명의 실시예에 따른 도 2의 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템을 이용시 심층 강화 학습 보상체계의 예를 나타내는 도면이며, 도 7은 도 2의 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템을 이용하여 신경망 학습이 완료된 환기팬 제품에 대하여, 현장에 정상설치 후 현장적응 학습 및 제어를 위한 심층 강화 학습 보상체계의 예를 나타내는 도면이고, 도 8은 본 발명의 실시예 따른 심층 강화학습 및 제어의 효과를 나타내는 도면이다.
도 1을 참조하면, 일반적인 정풍량 환기팬의 특성곡선에서와 같이, 국내에서 정풍량 환기팬으로 인증받기 위하여는 보통 정풍량(정격풍량, rated air volume) 대비 정하여진 저정압 및 고정압 사이 지점에서 정풍량 대비 ±10%의 정풍량 범위를 기본적으로 만족하여야 한다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템(1)은, 흡입환경조건(500)을 구현할 수 있는 환경챔버(510)내에 풍량측정 장치(400)가 구비되어, 흡입환경조건에 따른 풍량을 측정하고, 측정된 정보를 기초로 환기팬(120)의 심층 강화학습 신경망 학습을 수행할 수 있다.
이를 위하여, 본 발명의 실시예에 따른 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템(1)은, 환기팬(120)과 컴퓨팅 모듈(110)을 포함하고, 컴퓨팅 모듈(110)을 통하여 환기팬(120)에 대한 학습 및 제어가 가능한 정밀 제어 환기팬 장치(100)와, 정밀 제어 환기팬 장치(100)를 심층 강화학습 알고리즘이 구현되는 인공신경망을 이용하여 가변 환경조건 하에서 정밀 제어하기 위하여, 환기팬(120)의 성능을 측정하되, 환기팬(120)이 설치되는 건축물에서의 실시간 흡입환경조건(500)과, 해당 건축물에서의 실시간 배기구 토출정압조건을 구현하여 환기팬(120)을 사전 학습시키는 설비 제어 컴퓨터 장치(200)를 포함한다.
또한, 본 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템(1)은, 환기팬(120)의 풍량을 측정하는 풍량 측정 장치(400)와, 풍량 측정 장치(400)가 설치되고, 환기팬(120)의 실시간 흡입환경조건을 구현하는 환경챔버(510)와, 환기팬(120)의 실시간 토출정압조건을 구현하는 토출정압 조정 배기팬(300)을 더 포함한다.
상기 설비 제어 컴퓨터 장치(200)는 환경챔버(510)의 실시간 흡입환경조건 및 실시간 토출정압조건을 제어하며, 풍량 측정 장치(400) 및 환기팬(120)으로부터 계측되는 데이터를 모니터링하고 저장하게 된다.
이때, 상기 실시간 흡입환경조건(500)은, 환기팬(120)이 설치되어 환기를 필요로 하는 공간에서의 흡입환경조건으로서, 실시간 온도(T), 습도(%R.H.), 공기청정도(C), 실내압(Pin) 중 적어도 하나 이상을 포함한다.
또한, 상기 배기구 실시간 토출정압조건은, 환기팬(120)이 설치되는 장소가 공동주택인 경우, 덕트가 연결되는 공동 배기구 지점의 압력에 덕트의 마찰손실압력까지 고려된 토출정압(기외정압, Pout)으로서, 건축물 외부의 환경 조건 영향으로 생기는 실시간 풍압, 굴뚝효과에 의한 공동배기구내 풍압효과를 고려한 토출정압조건 정보일 수 있다.
상기 설비 제어 컴퓨터 장치(200)는, 환기팬(120)의 사양별 사용 환경에서의 실시간 흡입환경조건(500)과 실시간 토출정압조건에 대한 시간(일/주/월/계절/년) 단위의 정보를 저장하는 데이터 베이스(미도시)를 포함하되, 관리자에 의한 선택적인 구간설정 및 반복설정, 스케줄링에 의하여 환기팬(120)의 학습을 위한 가변환경 조건을 자동화할 수 있고, 또는 관리자를 통한 흡입환경조건과 토출정압조건의 스케줄링을 통하여 환기팬(120)의 학습을 위한 가변환경 조건을 자동화할 수 있다.
한편, 상기 심층 강화학습 알고리즘이 구현되는 인공신경망은, 환기팬(120)으로부터 실시간으로 측정되는 회전수(RPM), 토출정압(Pout), 실내압(Pin)의 노드를 기본적으로 포함하는 입력층과, 2개층 이상의 은닉층과, 환기팬의 모터 출력을 조정하기 위하여 전압의 증가(+Vdc) 또는 감소(-Vdc) 를 선택할 수 있는 2개의 전압출력 조정노드와, PWM (Pulse Width Modulation)제어 방식인 경우에는 듀티비(Duty Ratio)의 증가(+D) 혹은 감소(-D)를 선택할 수 있는 2개의 듀티비 조정노드 중 적어도 하나를 포함하는 출력층을 포함한다.
상기 출력층은 경우에 따라서, 2개의 전압출력 조정노드와 2개의 듀티비 조정노드를 동시에 포함하여 기본적으로 4개의 노드를 동시에 포함할 수도 있다.
상기 심층 강화학습 알고리즘의 보상체계는 다양한 가변환경조건을 실험실 환경에서 구현하여 환기팬(120)에 대하여 사전에 인공신경망을 통한 심층강화학습하는 풍량 측정 시스템을 이용하는 경우와, 풍량 측정 시스템으로 심층강화학습이 끝난 환기팬을 현장에 설치한 이후에 현장조건에 적응(site adaptive)하여 심층강화학습 및 제어하는 경우에 각각의 보상체계를 달리 가져갈 수 있다.
상기 심층 강화학습 알고리즘의 보상체계는 심층 강화학습 알고리즘의 각 에피소드의 타입스텝에서 보상판단 변수의 값들을 근거로, 보상판단 변수의 값들이 제1 보상영역 목표 범위를 만족하면 상점(+ Reward)을 주는 제1 보상영역과, 제1 보상영역을 만족하지 못하고, 제2 보상영역에 존재하면 벌점(- Reward)을 주는 제2 보상영역과, 제1 및 제2 보상영역 범위 밖에 보상판단 변수가 존재할 시 벌점과 하나의 에피소드를 종료하고 초기상태로 리셋하는 제3 보상영역(벌짐/리셋 영역)을 가지게 된다.
또한, 상기 심층 강화학습 알고리즘의 보상체계는 가변환경조건을 실험실 환경에서 구현하여 환기팬(120)에 대하여 사전에 풍량 측정 시스템을 이용하는 경우, 풍량 측정 시스템으로 심층 강화학습이 끝난 환기팬(120)을 현장에 설치한 이후에 현장조건에 적응(site adaptive)하여 심층 강화학습 및 제어하는 경우에서, 풍량 측정 시스템을 이용하여 측정된 풍량(Q)의 목표값(Qrated) 대비 상대오차 (Q-Qrated)/Qrated 의 목표조건과, 환기팬(120)에서 측정되는 팬의 회전수(RPM) 등 환기팬(120)에서 측정될 수 있는 변수로서 풍량에 대응되는 변수로 이루어진 제약조건(Constraints)을 가지는 제1 보상영역을 구비하되, 풍량 측정 시스템을 이용하는 경우의 심층 강화학습 시에는 제약조건이 풍량의 상대오차의 목표조건 보다 폭넓게 설정되며, 제약조건은 환기팬(120)의 소손을 방지할 정도의 사양범위를 가지고, 심층 강화학습 알고리즘 진행시, 측정 오차에 의하여 제1 보상영역의 범위를 벗어나는 경우, 과도하게 즉각적으로 심층 강화학습의 각 에피소드를 종료하고 초기값으로 리셋되는 제3 보상영역으로 넘어가는 것을 방지하기 위하여, 버퍼존의 성격을 갖도록 제1 보상영역의 범위를 포함하는 제2 보상영역을 구비한다.
또한, 상기 설비 제어 컴퓨터 장치(200)가 현장조건에 적응하여 심층 강화학습 및 제어하는 경우에는, 풍량 측정 시스템이 현장에 구비되기 어려운 상황에서, 풍량에 대응되는 변수로 이루어진 제약조건으로만 보상체계를 운영하되, 변수로 이루어진 제약조건은 풍량 측정 시스템을 이용한 심층 강화학습이 풍량 목표값을 만족하는 상황에서 매칭된 풍량에 대응되는 변수의 세팅값으로 변경된 제약조건으로서 목표조건의 역할을 수행한다.
상기 정밀 제어 환기팬 장치(100)는 인공신경망을 이용한 심층 강화학습 및 제어가 가능하도록 유선 또는 무선 컴퓨팅 모듈(미도시)과 연동된다.
상기 정밀 제어 환기팬 장치(100)는 입력층 노드의 측정치들을 실시간으로 계측하는 센서(미도시)를 포함하거나, 무선센서로부터 입력층 노드의 측정치들을 전달받을 수 있는 통신모듈(미도시)을 포함한다.
이때, 상기 유선 컴퓨팅 모듈은 환기팬에 종속적으로 임베디드된 상태이거나 또는 독립적으로 환기팬(120)과 떨어진 컴퓨팅 모듈로 구성될 수 있다.
또한, 상기 실시간 토출정압조건 및 데이터 베이스는 풍량 측정 장치에서 노즐 시스템에서의 준정상상태(Quasi-steady state)가 보장되도록 설정된다.
상기 설비 제어 컴퓨터 장치(200)는, 토출정압조건 및 데이터 베이스의 준정상상태를 보장하기 위하여, 실시간 토출정압조건의 시간대별 기울기(dPout/dt)에 대하여 사전에 정하여진 기울기 제약조건(dPout/dt < Cpout)을 두고, 이를 만족하는 토출정압조건 및 데이터 베이스에 대하여 모니터링하고 관리할 수 있다.
도 3a에 도시된 바와 같이, 지표면으로부터의 높이에 따른 풍속의 세기와, 건물에 바람이 닿을 때의 풍향 및 건물면 위치 및 높이에 따른 풍압의 변화도를 살펴보면, 환기팬(120)이 설치되는 고층건물에서는 높이 및 위치에 따라서, 풍속 등 기후조건에 따라 다양한 압력조건의 변화가 생성됨을 알 수 있다.
또한, 도 3b에 도시된 바와 같이, 어느 맑은 가을날 2일동안 특정 지역(예를 들면, 대한민국 서울)에서 대기압 및 외기온도, 습도의 변화를 알 수 있다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 심층 강화학습 알고리즘을 적용한 환기팬은 인공신경망 구조를 갖고 있다.
이러한 신경망 구조는 하나의 입력층(Input Layer), 2개 이상의 은닉층(Hidden Layer), 하나의 출력층(Output Layer)를 가지며, 입력층의 입력변수(Input Layer)는 환기팬의 회전수(RPM), 토출정압(기외정압, Pout), 실내압(Pin)의 3개의 주요 입력변수를 포함하며, 경우에 따라 실내 흡입쪽의 온도, 습도, 공기청정도 등의 환경변수들이 추가적으로 포함될 수 있다.
또한, 출력층 출력노드에서의 출력변수(Ouput State)는 환기팬의 풍량과 직접적으로 연관있는 모터 출력(특히, BLDC 모터출력)을 제어하기 위한 전압증감(+Vdc, -Vdc) 또는 PWM 방식에 있어서의 듀티비 증감(+D, -D)을 보여줄 수 있다.
도 5a 및 도 5b에 도시된 바와 같이, 상기와 같은 출력변수의 증감에 대한 효과를 살펴보자면, 예를 들어, 출력노드의 개수가 2개이고 전압증감 방식으로 (+1V, -1V)의 2가지 선택중 심층 강화학습 알고리즘에 의한 환기팬 액션 (Action)으로 하나를 선택할 수 있으며, 만약 PWM (Pulse Width Modulation) 방식으로 제어되는 모터이라면 2개의 출력노드가 듀티비의 증감 (+1%, -1%)으로 하나를 선택할 수 있다. 또한, 경우에 따라서 전압 및 듀티비로 동시에 제어가능한 모터방식이라면, 출력노드를 4개로 설정하여 (+1V, -1V, +1%, -1%) 중 하나의 액션 출력을 선택할 수도 있다. 상기 출력변수(+Vdc, -Vdc, +D, -D)의 절대 수치값의 설정은 제어 정밀성의 선택이나, 빠른 수렴성을 절충하여 경험적으로 선택할 수 있다.
이하에서는, 도 4에 도시된 인공신경망을 적용하여, 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템과 이를 이용한 정밀제어 환기팬의 일 실시예를 도 2 내지 도 4를 활용하여 설명하기로 한다.
도 4의 인공신경망을 적용하여 심층 강화학습 컴퓨팅이 가능한 컴퓨팅 모듈(110)이 환기팬(120)과 RPM 측정신호(인경신경망의 입력변수 중 하나)와 출력 제어신호(인경신경망의 출력변수 중 하나)를 서로 주고 받는다.
상기 환기팬(120)은 현장에 설치되기 전 실험실 제어환경에서 사전에 학습시키기 위하여, 풍량을 측정할 수 있는 풍량 측정 장치(400)에 연결되어 있고, 해당 풍량 측정 장치(400) 후단에는 토출정압(기외정압)을 조정하기 위한 토출정압 조정 배기팬(300)이 연결되어 있다.
또한, 상기 풍량 측정 장치(400)는 흡입 환경조건(500)을 도 3b에서와 같이 실제적인 환경으로 모사하기 위하여, 흡입 환경조건(500)으로 제어가능한 환경챔버(510)안에 배치한다.
상기 설비 제어 컴퓨터 장치(200)에는 도 3b에서와 같이 실제 환기팬이 설치되는 장소에서의 실제 기후환경에 대한 데이터가 저장된 데이터베이스가 구축되어 있다.
상기 설비 제어 컴퓨터 장치(200)는 운영자의 시간별, 장소별 선택에 따라 흡입환경 조건(500) 및 토출정압 조정 배기팬(300)을 조정하여 환경챔버(510)의 온도, 습도, 공기청정도 등을 모사할 수 있으며, 특히 실내압(Pin)의 모사를 위하여 실내압 조정 배기팬(520)을 컨트롤한다. 이때, 실내압은 거실, 주방, 다용도실, 욕실, 화장실, 드레스실 등 환기를 필요로 하는 공간에서의 압력으로 주로 대기압과 비슷하지만, 토출정압은 보통 공동배기구까지의 덕트손실압 등 기외정압이 포함되므로 보통 대기압 보다 같거나 크다.
이렇게 시간과 장소에 따른 가변적인 흡입환경 조건 및 토출정압 조건을 구현하여, 가변적인 환경에서도 환기팬 제품이 목표로 하는 환기량, 즉 풍량을 유지할 수 있도록 심층 강화학습을 통하여 도 4의 인공신경망을 도 2의 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템을 연동하여 학습시키게 된다.
도 6에 도시된 바와 같이, 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템(1)이 연동된 심층 강화학습에서 각 학습 에피소드가 끝날 때 마다의 액션출력(예, +Vdc, -Vdc, +D, -D)에 대한 결과를 평가하기 위한 보상체계는, 가장 중요한 요소인 풍량(Q)이 목표로 하는 풍량(Qrated)을 만족하느냐를 판단하는 목표조건식과 더불어, 환기팬(120)에서 측정되는 팬의 회전수(RPM) 등 환기팬(120)에서 측정될 수 있는 변수로 이루어진 제약조건 (Constraints)식을 가지게 된다. 이때, 제약조건은 환기팬(120)의 소손을 방지할 정도로의 폭넓은 사양범위로 설정하여, 풍량의 목표조건보다 폭넓게 설정한다.
예를 들어, 목표로 하는 풍량 (Qrated)이 10 CMM ± 10% 이고, 실내압(Pin)이 100 kPa (1기압), 토출정압(Pout)이 100.3 kPa 인 (대기압 + 고정압), 환기팬의 소손을 방지할 정도의 회전수(RPM)의 작동사양이 100 RPM ~ 5000 RPM 이라면, 양의 보상값(+ Reward, +1점)을 받기 위한 조건으로, 풍량에 대한 목표식으로 -0.08≤(Q-Qrated)/Qrated≤0.08 을 설정 (측정오차를 고려하여 10% 보다 안쪽인 8%으로 설정)하고, 팬에 대한 추가 제약식으로 100≤RPM≤5000 을 설정한다(제1 보상영역).
또한, 제2 보상영역은 심층 강화학습 알고리즘 진행시, 측정 오차에 의하여 제1 보상영역의 범위를 벗어나는 경우, 과도하게 즉각적으로 심층 강화학습의 각 에피소드를 종료하고 초기값으로 리셋되는 것을 방지하고자 버퍼존의 성격을 갖도록 제1 보상영역의 범위를 포함하도록 설정한다(제2 보상영역, -1점).
예를 들어, 제2 보상영역의 목표식과 제약식으로 -0.1≤(Q-Qrated)/Qrated≤0.1 과 100≤RPM≤5000으로 설정한다. 제약식에서는 RPM 외에 환기팬(120)에서 풍량과 관련하여 직접적으로 연관되어 측정할 수 있는 측정변수 (State(i))에 대한 제약식이 추가될 수 있다. 또한, 제1 보상영역과 제2 보상영역을 모두 만족하지 못하는 경우에는 벌점을 부과하고(-1점), 하나의 학습 에피소드 (episode 0)를 종료하고, 리셋하여 다음의 학습 에피소드(episode 1)로 넘어간다.
심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템(1)이 연동된 심층 강화학습에서 에피소드가 진행됨에 따라서, 가변적인 흡입환경조건(Pin(t), T(t), RH(t))과 토출정압조건(Pout(t)) 하에서도 안정적으로 제1 보상영역 (+ 1점)에 지속적으로 들어오게 되는 경우, -0.08≤(Q-Qrated)/Qrated≤0.08을 만족함과 동시에 실제적으로 측정되는 RPM에 대한 범위를 측정한다(예를 들어, 제1 보상영역은 1000≤RPM≤1100, 제2 보상영역은 900≤RPM≤1200 에 대응). 이러한 풍량과 가변적인 흡입환경조건, 토출정압조건, 환기팬 회전수(RPM)와의 각 변수별 상관관계는 인공신경망의 가중치 및 편향값으로 기억되게 된다.
다만, 심층 강화학습을 끝마친 환기팬을 설치현장에 적용할 경우에는 도 2의 정밀한 풍량 측정 장치(400)를 설치현장에 같이 적용하기에는 비현실적일 수 있으므로, 현장에서 환기팬(120)을 적응하여 제어하기 위하여는 도 7에서와 같이 풍량에 대한 목표조건식(-0.08≤(Q-Qrated)/Qrated≤0.08)을 대응시킬 수 있는 환기팬(120)에 대한 RPM에 대한 제약식(예를 들어, 1000≤RPM≤1100)으로 대체하여, 풍량에 대한 직접적인 보상 정보없이 도 4의 RPM과 가변적인 흡입환경조건, 토출정압조건의 동일한 신경망과 도 7의 풍량과 대응되는 정보를 지닌 제약식을 활용하여 계속적으로 현장에서 적응학습 및 제어가 가능하다.
도 8에 도시된 바와 같이, 본 발명의 실시예에 의한 심층 강화학습 제어 환기팬에 대한 제어효과를 살펴보면, PI 제어에 의한 환기팬은 일반적으로 느린 제어응답성을 보여주고 있으며, PID 최적제어의 경우에는 시스템의 동적특성 파악에 의한 PID 계수(KP, KI, KD)를 찾아낸 경우 정상설계초기 단계에는 최적의 응답성을 보이고 있지만, 급격환 외부환경 변화와 제품 노후화 등에 의하여 시스템의 동적특성이 달라진 경우에는 시스템의 PID 계수값이 과거의 설계조건과 맞지 않게 되어 제어양상이 흔들리게 된다.
그러나, 본 발명의 실시예에 의한 심층 강화학습 신경망을 적용한 환기팬의 경우에는 외부환경 변화와 제품 노후화 등이 일어나더라도 현재의 상황에 맞게 적응(Adaptive)하여 계속적으로 최적의 제어상태를 유지할 수 있게 된다.
상기와 같이 구성된 본 발명의 일 실시예에 따른 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법은 실제 설치환경에서 일어날 수 있는 압력조건 및 온습도, 공기청정도 등 열환경조건을 실제와 유사하게 실시간으로 가변하는 환경을 조성하고, 심층 강화학습 알고리즘과 연계하여 다양한 환경조건에서 인공신경망 학습하여 환기팬 제품이 실제 설치되는 환경에서 정밀제어 되도록 할 수 있다.
또한, 본 발명의 일 실시예는 기존의 풍량 측정스템이 픽스된 정압, 온도, 습도, 공기청정도 환경 (예를 들면, Pconst, Tconst, RHconst , Cconst)의 개별적인 환경조건에서 풍량을 측정하는 것을 넘어서서, 현실 조건과 유사하게 가변적인 환경(P(t), T(t), RH(t), C(t))을 구현하고, 그러한 가변환경에서 인공신경망이 적용된 환기팬 제품을 심층강화 학습 훈련하여 다양한 비선형적 환경변수에 대한 수식 및 제어로직에 대한 고민없이, 실제 설치현장에서 실환경 조건에 적응(Adaptive)하여 최적화 제어되는 제품을 개발할 수 있도록 할 수 있다.
도 9는 본 발명의 실시예에 따른 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템과 연동하여 다양한 환경조건에 대하여 환기팬을 사전 인공신경망 학습하는 과정을 나타내는 순서도이고, 도 10은 본 발명의 실시예에 따라 사전 학습된 환기팬을 설치현장에 설치한 후 계속하여 현장 적응 학습 및 환기팬 제어를 하는 과정을 나타내는 순서도이다.
도 9에 도시된 바와 같이, 본 발명의 실시예에 따른 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템과 연동하여 다양한 환경조건에 대하여 환기팬을 사전 인공신경망 학습하는 과정은, 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템(1)에 의한 시험환경을 구현하는 제1 단계(S10)와, 풍량 측정 시스템에 의해, 환기팬 사양 및 설치장소에 따른 풍량 목표조건 설정 및 풍량에 대응되는 변수로 이루어진 제약조건을 설정하는 제2 단계(S20)와, 환기팬(120)에 의해, 풍량 측정 시스템의 시험 환경에서 상기 설정된 목표조건 및 제약조건을 근거로 심층 강화학습을 시작하는 제3 단계(S30)와, 컴퓨팅 모듈(110)에 의해, 환기팬(120)과 관련한 데이터 및 풍량 측정 시스템의 시험 환경 데이터를 인공신경망의 입력값으로 수집하는 제4 단계(S40)와, 입력값을 근거로 인공신경망을 이용하여 시험환경에서 학습 기능을 수행하는 제5 단계(S50)와, 컴퓨팅 모듈(110)에 의해, 미리 설정된 시간의 가변환경 조건에서 수행된 학습 단계가 정상적으로 종료된 후, 학습 수행에 따른 정보를 포함하는 인공신경망에 구성된 복수의 개별 노드에서의 가중치 및 편향값을 저장하는 제6 단계(S60)를 포함할 수 있다.
또한, 도 10에 도시된 바와 같이, 본 발명의 실시예에 따라 사전 학습된 환기팬을 설치현장에 설치한 후 계속하여 현장 적응 학습 및 환기팬 제어를 하는 과정은, 환기팬(120)에 의해, 사용자의 용도에 따라 특정 장소에 설치되는 단계(S110)와, 풍량 목표조건에 대응하는 제약조건을 목표조건으로 대체하여 구동하는 단계(S120)와, 환기팬(120)에 의해, 상기 설치된 특정 장소에 따른 특정 환경에서 환기팬(120)이 동작하는 단계(S130)와, 환기팬(120)에 의해, 특정 환경에서의 동작에 따라 수집되는 데이터, 상기 저장된 시험 환경별로 각 노드에서의 가중치 및 편향값을 포함하는 학습결과를 근거로 심층 강화 학습 알고리즘에 따라 학습 기능을 실제 설치된 현장 조건에 적응하여 추가적으로 학습을 수행하며 환기팬(120)을 제어하는 단계(S140)를 더 포함할 수 있다.
이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
1: 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템
100: 정밀 제어 환기팬 장치
110: 컴퓨팅 모듈
120: 환기팬
200: 설비 제어 컴퓨터 장치
300: 토출정압(기외정압) 조정 배기팬
400: 풍량 측정 장치
410: 노즐시스템
500: 흡입환경조건
510: 환경챔버
520: 실내압 조정 배기팬

Claims (14)

  1. 환기팬과 컴퓨팅 모듈을 포함하고, 상기 컴퓨팅 모듈을 통하여 상기 환기팬에 대한 학습 및 제어가 가능한 정밀 제어 환기팬 장치;
    상기 정밀 제어 환기팬 장치를 심층 강화학습 알고리즘이 구현되는 인공신경망을 이용하여 가변 환경조건 하에서 정밀 제어하기 위하여, 상기 환기팬의 성능을 측정하되, 상기 환기팬이 설치되는 건축물에서의 실시간 흡입환경조건과, 해당 건축물에서의 실시간 배기구 토출정압조건을 구현하여 상기 환기팬을 사전 학습시키는 설비 제어 컴퓨터 장치;
    상기 환기팬의 풍량을 측정하는 풍량 측정 장치;
    상기 풍량 측정 장치가 설치되고, 상기 환기팬의 상기 실시간 흡입환경조건을 구현하는 환경챔버; 및
    상기 환기팬의 상기 실시간 토출정압조건을 구현하는 토출정압 조정 배기팬을 포함하고,
    상기 설비 제어 컴퓨터 장치는 상기 환경챔버의 실시간 흡입환경조건 및 실시간 토출정압조건을 제어하며, 상기 풍량 측정 장치 및 상기 환기팬으로부터 계측되는 데이터를 모니터링하고 저장하고,
    상기 실시간 흡입환경조건은, 상기 환기팬이 설치되어 환기를 필요로 하는 공간에서의 흡입환경조건으로서, 실시간 온도(T), 습도(%R.H.), 공기청정도(C), 실내압(Pin) 중 적어도 하나 이상을 포함하고,
    상기 배기구 실시간 토출정압조건은, 상기 환기팬이 설치되는 장소가 공동주택인 경우, 덕트가 연결되는 공동 배기구 지점의 압력에 덕트의 마찰손실압력까지 고려된 토출정압(기외정압, Pout)으로서, 건축물 외부의 환경 조건 영향으로 생기는 실시간 풍압, 굴뚝효과에 의한 공동배기구내 풍압효과를 고려한 토출정압조건 정보인 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 설비 제어 컴퓨터 장치는,
    상기 환기팬의 사양별 사용 환경에서의 실시간 흡입환경조건과 실시간 토출정압조건에 대한 시간(일/주/월/계절/년) 단위의 정보를 저장하는 데이터 베이스;를 포함하되, 관리자에 의한 선택적인 구간설정 및 반복설정, 스케줄링에 의하여 상기 환기팬의 학습을 위한 가변환경 조건을 자동화할 수 있고, 또는 관리자를 통한 흡입환경조건과 토출정압조건의 스케줄링을 통하여 상기 환기팬의 학습을 위한 가변환경 조건을 자동화할 수 있는 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  5. 제1항에 있어서,
    상기 심층 강화학습 알고리즘이 구현되는 인공신경망은,
    상기 환기팬으로부터 실시간으로 측정되는 회전수(RPM), 토출정압(Pout), 실내압(Pin)의 노드를 기본적으로 포함하는 입력층;
    2개층 이상의 은닉층; 및
    상기 환기팬의 모터 출력을 조정하기 위하여 전압의 증가(+Vdc) 또는 감소(-Vdc) 를 선택할 수 있는 2개의 전압출력 조정노드와, PWM(Pulse Width Modulation)제어 방식인 경우에는 듀티비(Duty Ratio)의 증가(+D) 혹은 감소(-D)를 선택할 수 있는 2개의 듀티비 조정노드 중 적어도 하나를 포함하는 출력층;을 포함하는 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  6. 제5항에 있어서,
    상기 심층 강화학습 알고리즘의 보상체계는
    상기 심층 강화학습 알고리즘의 각 에피소드의 타입스텝에서 보상판단 변수의 값들을 근거로, 보상판단 변수의 값들이 제1 보상영역 목표 범위를 만족하면 상점(+ Reward)을 주는 제1 보상영역과,
    상기 제1 보상영역을 만족하지 못하고, 제2 보상영역에 존재하면 벌점(- Reward)을 주는 제2 보상영역과,
    상기 제1 및 제2 보상영역 범위 밖에 보상판단 변수가 존재할 시 벌점과 하나의 에피소드를 종료하고 초기상태로 리셋하는 제3 보상영역(벌짐/리셋 영역)을 가지는 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  7. 제5항에 있어서,
    상기 심층 강화학습 알고리즘의 보상체계는
    상기 가변환경조건을 실험실 환경에서 구현하여 상기 환기팬에 대하여 사전에 풍량 측정 시스템을 이용하는 경우, 상기 풍량 측정 시스템으로 심층 강화학습이 끝난 환기팬을 현장에 설치한 이후에 현장조건에 적응(site adaptive)하여 심층 강화학습 및 제어하는 경우에서,
    상기 풍량 측정 시스템을 이용하여 측정된 풍량(Q)의 목표값(Qrated) 대비 상대오차 (Q-Qrated)/Qrated 의 목표조건과, 환기팬에서 측정되는 팬의 회전수(RPM) 등 환기팬에서 측정될 수 있는 변수로서 상기 풍량에 대응되는 변수로 이루어진 제약조건(Constraints)을 가지는 제1 보상영역을 구비하되, 상기 풍량 측정 시스템을 이용하는 경우의 심층 강화학습 시에는 상기 제약조건이 상기 풍량의 상대오차의 목표조건 보다 폭넓게 설정되며, 상기 제약조건은 환기팬의 소손을 방지할 정도의 사양범위를 가지고,
    상기 심층 강화학습 알고리즘 진행시, 측정 오차에 의하여 상기 제1 보상영역의 범위를 벗어나는 경우, 상기 심층 강화학습의 각 에피소드를 종료하고 초기값으로 리셋되는 제3 보상영역으로 넘어가는 것을 방지하기 위하여, 버퍼존의 성격을 갖도록 제1 보상영역의 범위를 포함하는 제2 보상영역을 구비하는 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  8. 제7항에 있어서,
    상기 설비 제어 컴퓨터 장치가 상기 현장조건에 적응하여 심층 강화학습 및 제어하는 경우에는,
    상기 풍량에 대응되는 변수로 이루어진 제약조건으로만 보상체계를 운영하되, 상기 변수로 이루어진 제약조건은 상기 풍량 측정 시스템을 이용한 심층 강화학습이 풍량 목표값을 만족하는 상황에서 매칭된 풍량에 대응되는 변수의 세팅값으로 변경된 제약조건으로서 목표조건의 역할을 수행하는 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  9. 제5항에 있어서,
    상기 정밀 제어 환기팬 장치는 상기 인공신경망을 이용한 심층 강화학습 및 제어가 가능하도록 유선 또는 무선 컴퓨팅 모듈과 연동되되, 상기 입력층 노드의 측정치들을 실시간으로 계측하는 센서를 포함하거나, 무선센서로부터 입력층 노드의 측정치들을 전달받을 수 있는 통신모듈을 포함하고,
    상기 유선 컴퓨팅 모듈은 상기 환기팬에 종속적으로 임베디드된 상태이거나 또는 독립적으로 환기팬과 떨어진 컴퓨팅 모듈로 구성되는 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  10. 제4항에 있어서,
    상기 실시간 토출정압조건 및 데이터 베이스는
    상기 풍량 측정 장치에서 노즐 시스템에서의 준정상상태(Quasi-steady state)가 보장되도록 설정되고,
    상기 설비 제어 컴퓨터 장치는,
    상기 토출정압조건 및 데이터 베이스의 상기 준정상상태를 보장하기 위하여, 실시간 토출정압조건의 시간대별 기울기(dPout/dt)에 대하여 사전에 정하여진 기울기 제약조건(dPout/dt < Cpout)을 두고, 이를 만족하는 토출정압조건 및 데이터 베이스에 대하여 모니터링하고 관리하는 것을 특징으로 하는 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템.
  11. 삭제
  12. 삭제
  13. 환기팬과 컴퓨팅 모듈을 포함하고, 상기 컴퓨팅 모듈을 통하여 상기 환기팬에 대한 학습 및 제어가 가능하되, 상기 컴퓨팅 모듈은 심층 강화학습 알고리즘이 구현되는 인공신경망을 이용하여 가변 환경조건 하에서 정밀 제어하기 위하여, 상기 환기팬이 설치되는 건축물에서의 실시간 흡입환경조건과, 해당 건축물에서의 실시간 배기구 토출정압조건을 구현하여 상기 환기팬을 사전 학습시키고,
    상기 실시간 흡입환경조건은, 상기 환기팬이 설치되어 환기를 필요로 하는 공간에서의 흡입환경조건으로서, 실시간 온도(T), 습도(%R.H.), 공기청정도(C), 실내압(Pin) 중 적어도 하나 이상을 포함하고,
    상기 배기구 실시간 토출정압조건은, 상기 환기팬이 설치되는 장소가 공동주택인 경우, 덕트가 연결되는 공동 배기구 지점의 압력에 덕트의 마찰손실압력까지 고려된 토출정압(기외정압, Pout)으로서, 건축물 외부의 환경 조건 영향으로 생기는 실시간 풍압, 굴뚝효과에 의한 공동배기구내 풍압효과를 고려한 토출정압조건 정보인 것을 특징으로 하는 정밀 제어 환기팬 장치.
  14. 삭제
KR1020200140405A 2020-10-27 2020-10-27 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치 KR102230216B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200140405A KR102230216B1 (ko) 2020-10-27 2020-10-27 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200140405A KR102230216B1 (ko) 2020-10-27 2020-10-27 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치

Publications (1)

Publication Number Publication Date
KR102230216B1 true KR102230216B1 (ko) 2021-03-19

Family

ID=75262093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140405A KR102230216B1 (ko) 2020-10-27 2020-10-27 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치

Country Status (1)

Country Link
KR (1) KR102230216B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230070578A (ko) 2021-11-15 2023-05-23 충남대학교산학협력단 축사환기팬 유량 측정장치
CN117450637A (zh) * 2023-12-25 2024-01-26 中国海洋大学 海洋平台通风系统分层优化控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696854B1 (ko) 2006-03-20 2007-03-20 주식회사 하츠 Ｂｌｄｃ전동기를 이용한 정풍량 환기팬
KR101963411B1 (ko) 2018-12-19 2019-03-28 김규현 정풍량 제어 방법
KR102114989B1 (ko) * 2019-12-10 2020-05-26 한국산업기술시험원 심층 강화 학습 알고리즘을 적용한 공기조화기 정밀 학습 시스템 및 그 방법
KR102129550B1 (ko) * 2019-10-15 2020-07-02 노재명 배기 정압 제어 시스템 및 방법
KR20200089112A (ko) * 2019-01-16 2020-07-24 한국전자통신연구원 축사 환경 제어 장치 및 방법 그리고 이를 이용한 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696854B1 (ko) 2006-03-20 2007-03-20 주식회사 하츠 Ｂｌｄｃ전동기를 이용한 정풍량 환기팬
KR101963411B1 (ko) 2018-12-19 2019-03-28 김규현 정풍량 제어 방법
KR20200089112A (ko) * 2019-01-16 2020-07-24 한국전자통신연구원 축사 환경 제어 장치 및 방법 그리고 이를 이용한 시스템
KR102129550B1 (ko) * 2019-10-15 2020-07-02 노재명 배기 정압 제어 시스템 및 방법
KR102114989B1 (ko) * 2019-12-10 2020-05-26 한국산업기술시험원 심층 강화 학습 알고리즘을 적용한 공기조화기 정밀 학습 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230070578A (ko) 2021-11-15 2023-05-23 충남대학교산학협력단 축사환기팬 유량 측정장치
CN117450637A (zh) * 2023-12-25 2024-01-26 中国海洋大学 海洋平台通风系统分层优化控制方法
CN117450637B (zh) * 2023-12-25 2024-03-19 中国海洋大学 海洋平台通风系统分层优化控制方法

Similar Documents

Publication Publication Date Title
KR102230216B1 (ko) 심층 강화학습 알고리즘과 연동하여 환경 학습이 가능한 풍량 측정 시스템 및 이를 이용한 학습 수행 방법, 이를 이용한 정밀 제어 환기팬 장치
Xu et al. A model-based optimal ventilation control strategy of multi-zone VAV air-conditioning systems
KR102114989B1 (ko) 심층 강화 학습 알고리즘을 적용한 공기조화기 정밀 학습 시스템 및 그 방법
US5597354A (en) Indoor air quality control for constant volume heating, ventilating and air conditioning units
US6134511A (en) Method and apparatus for improving building energy simulations
KR102087981B1 (ko) 실외의 가변 온습도 환경 및 실내의 가변 현열 잠열 건물부하 모사가 가능한 냉난방기 에너지성능 시험장치 및 이를 이용하는 에너지성능 시험방법
KR101308322B1 (ko) 공조 제어 장치 및 방법
US20080294291A1 (en) Building automation systems and methods for controlling interacting control loops
Ahn et al. Anti-logic or common sense that can hinder machine’s energy performance: Energy and comfort control models based on artificial intelligence responding to abnormal indoor environments
US20040249597A1 (en) System and method for developing and processing building system control solutions
WO2017192610A1 (en) Fan speed control device
EP1751472B1 (en) Demand controlled ventilation system with central air quality measurement and method herefor
Minakais et al. Database-driven iterative learning for building temperature control
Alam et al. Uncertainties in neural network model based on carbon dioxide concentration for occupancy estimation
Lu et al. Advances in research and applications of CO2-based demand-controlled ventilation in commercial buildings: A critical review of control strategies and performance evaluation
CN110610275A (zh) 一种基于acqpso-elm的变风量空调负荷预测方法及系统
Schibuola et al. Performance optimization of a demand controlled ventilation system by long term monitoring
Nielsen et al. Identification of transfer functions for control of greenhouse air temperature
EP3881009B1 (en) Method of controlling an air-conditioning system
Taylor et al. Proportional-integral-plus (PIP) control of ventilation rate in agricultural buildings
Pistochini et al. Method of test for CO2-based demand control ventilation systems: Benchmarking the state-of-the-art and the undervalued potential of proportional-integral control
Stanescu et al. Evolutionary algorithm with three different permutation options used for preliminary HVAC system design
US11754078B2 (en) Parameter constancy
Lisa et al. Estimation of energy consumption efficiency in office rooms cooling systems to create thermal comfort for the user
Breesch et al. Uncertainty and sensitivity analysis of the performances of natural night ventilation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant