KR20190042420A - 온실 시스템의 제어 모델 생성 방법 - Google Patents

온실 시스템의 제어 모델 생성 방법 Download PDF

Info

Publication number
KR20190042420A
KR20190042420A KR1020180011904A KR20180011904A KR20190042420A KR 20190042420 A KR20190042420 A KR 20190042420A KR 1020180011904 A KR1020180011904 A KR 1020180011904A KR 20180011904 A KR20180011904 A KR 20180011904A KR 20190042420 A KR20190042420 A KR 20190042420A
Authority
KR
South Korea
Prior art keywords
greenhouse
neural network
state
greenhouse system
value
Prior art date
Application number
KR1020180011904A
Other languages
English (en)
Other versions
KR102100350B1 (ko
Inventor
반병현
김수빈
Original Assignee
농업회사법인 상상텃밭 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 농업회사법인 상상텃밭 주식회사 filed Critical 농업회사법인 상상텃밭 주식회사
Publication of KR20190042420A publication Critical patent/KR20190042420A/ko
Application granted granted Critical
Publication of KR102100350B1 publication Critical patent/KR102100350B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Feedback Control In General (AREA)
  • Greenhouses (AREA)

Abstract

본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법은 온실의 상태를 구성하는 복수의 변수, 변수의 값을 변화시키는 제어 동작, 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙, 온실의 상태가 특정한 상태에 도달한 경우의 보상을 설정하여 온실 시스템을 생성하는 단계, 온실 시스템이 가질 수 있는 각각의 상태에서 보상을 달성할 가능성을 도출하는 가치 함수를 학습하는 제1 신경망을 생성하는 단계, 온실 시스템이 가질 수 있는 각각의 상태에서 제어 동작 중 하나를 행함에 따라 보상을 달성할 가능성을 도출하는 정책 함수를 학습하는 제2 신경망을 생성하는 단계 및 제1 신경망의 비용 함수 및 제2 신경망의 비용 함수가 최소가 되도록 제1 및 제2 신경망 각각을 학습시키는 단계를 포함한다.

Description

온실 시스템의 제어 모델 생성 방법{METHOD FOR GENERATING CONTROL MODEL OF GREENHOUSE SYSTEM}
본 발명은 온실 시스템의 제어 모델 생성 방법에 관한 것으로서, 보다 자세하게는 다양한 변수에 의해 환경이 변하는 온실 시스템이 유지되도록 제어하는 기계 학습 기반의 제어 모델을 생성하는 방법에 관한 것이다.
온실 재배는 통제된 시설 내에서 생물의 생육환경(예를 들어 빛, 공기, 열, 양분 등)을 인공적으로 제어하여 공산품과 같이 계획 생산이 가능한 농업 형태로서, 유리 온실, 비닐 온실, 태양광 병용형, 인공광 이용 식물 공장 등의 다양한 형태로 구현되고 있다.
한편, 온실의 외부 환경과 내부 환경이 다르고 다양한 변수에 의하여 환경이 변하기 때문에 적절한 생육환경을 유지시키기 위해서는 복합적인 환경의 영향을 고려한 시설물의 제어가 요구된다.
기존 온실 시스템의 환경 제어에 사용되는 제어 방식으로는 PID(Proportional-Integral-Derivative) 제어 방식이 있다. PID 제어 방식은 시설물의 게인 값을 조절하여 온실의 환경을 제어하는데, 게인을 어떻게 설정해야 하느냐에 따라 성능의 차이가 심하고, 다양한 영향을 받는 온실의 환경에 선형 방식의 제어를 사용하기 때문에 복합적인 변수를 고려할 수 없다는 한계가 있다.
본 발명의 실시예에서 해결하고자 하는 과제는 온실의 외부 환경과 내부 환경을 상이하게 설정하고 복합적으로 작용하는 변수에 의하여 환경이 변하는 비선형적 특성의 온실 시스템을 설계하고, 이러한 온실 시스템을 기반으로 기계 학습을 수행하는 기술을 제공하는 것이다.
또한 위와 같이 설계된 온실 시스템의 생육환경을 효율적으로 유지시킬 수 있는 가장 적절한 형태의 신경망을 설계하는 기술을 제공하여, 온실 시스템의 적절한 생육환경을 유지시키기 위해 최소한의 동작으로 가장 효과적인 결과를 산출하도록 신경망을 설계하는 기술을 제공하고자 한다.
이에 따라, 최종적으로 학습이 완료된 제어 모델을 실제 온실에 적용하여 실제 온실의 생육환경을 효과적으로 제어하는 기술을 제공하고자 한다.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.
본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법은 온실의 상태를 구성하는 복수의 변수, 상기 변수의 값을 변화시키는 제어 동작, 상기 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙, 상기 온실의 상태가 특정한 상태에 도달하거나 또는 특정한 상태가 유지되는 경우의 보상을 설정하여 상기 온실 시스템을 생성하는 단계, 상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 어느 하나를 행함에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습하는 제1 신경망을 생성하는 단계, 상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 상기 각각의 상태 마다 상기 가치 함수의 예측값을 기초로 학습하는 제2 신경망을 생성하는 단계 및 상기 제2 신경망의 그래디언트를 상기 제1 신경망의 비용 함수에 적용하여 상기 제1 신경망을 학습시키고, 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 제2 신경망을 학습시키는 단계를 포함한다.
또한, 상기 학습시키는 단계는 상기 온실 시스템의 상태가 시작 상태로부터 종료 상태가 되기까지의 각 상태마다 상기 정책 함수와 상기 가치 함수를 기초로 도출되는 제어 동작이 행해진 후 상기 온실 시스템의 새로운 상태를 상기 제1 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 가치 함수를 업데이트하고, 상기 가치 함수의 예측값과 상기 새로운 상태를 상기 제2 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 정책 함수를 업데이트하는 단계를 포함할 수 있다.
또한, 상기 제1 신경망의 비용 함수는 상기 가치 함수가 예측한 보상과 실제 보상에 대한 MSE(mean square error) 함수일 수 있다.
또한, 상기 온실 시스템을 생성하는 단계는 생육 작물의 종류에 따라 상기 복수의 변수 중 일부를 삭제하거나, 새로운 변수를 추가하는 단계를 포함할 수 있다.
또한, 상기 온실 시스템은 상기 온실 시스템의 상태를 구성하는 변수 중 적어도 하나의 변화가 다른 변수에 비선형적으로 영향을 미치도록 설정될 수 있다.
또한, 상기 복수의 변수는 실제 온실을 구성하는 경우 측정이 어려운 변수인 제1 변수 및 상기 실제 온실을 구성하는 경우 측정이 가능한 제2 변수를 포함하고, 상기 온실 시스템을 생성하는 단계는 상기 제1 변수 중 어느 하나의 변화가 따른 상기 온실 시스템의 상태에 미치는 영향을 피팅 알고리즘(fitting algorithm)을 기초로 도출하는 단계 및 상기 제2 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙을 설정하는 단계를 포함할 수 있다.
또한, 상기 제1 변수는 외부 온도, 외부 공기 습도, 날씨, 물 온도 중 적어도 하나를 포함하고, 상기 제2 변수는 내부 온도, 내부 공기 습도, 내부 토양 습도, 작물의 성장도, 살충제 농도, 사람 존재 여부, 해충 존재 여부, 농작 실패 중 적어도 하나를 포함할 수 있다.
또한 상기 제어 동작은 팬 가동, 커튼 열기, 내부 물 주입, 외부 물 주입, 살충제 분사, 빛 조사, 영양분 분사, 수확 중 적어도 하나를 포함할 수 있다.
또한, 상기 규칙은 상기 환풍기 켜기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 창문 열기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 내부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 외부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고, 상기 살충제 분사가 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 빛 조사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고, 상기 영양분 분사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고, 상기 수학은 상기 작물의 성장도를 초기화시키는 것으로 설정되고, 상기 특정 상태는 상기 작물의 성장도가 기 설정된 범위 이내일 때 상기 수확의 동작이 취해진 상태일 수 있다.
또한, 상기 제어 동작 중 적어도 하나의 제어 동작은 상기 제2 변수에 비선형적 영향을 미치고, 상기 제2 변수는
Figure pat00001
(상기
Figure pat00002
는 상기 적어도 하나의 제어 동작 전 제2 변수의 값, 상기
Figure pat00003
은 상기 적어도 하나의 제어 동작으로부터
Figure pat00004
경과 후 상기 제2 변수의 값, 상기
Figure pat00005
는 상기 제2 변수에 영향을 미치는 제1 변수의 값, 상기
Figure pat00006
는 감가율) 에 따라 비선형적으로 값이 변할 수 있다.
본 발명의 일 실시예에 따른 온실 제어 장치는 온실의 상태에 관한 정보를 측정하는 센서부, 본 발명의 실시예에 따른 제어 모델 생성 방법에 의해 생성된 상기 제1 신경망 및 상기 제2 신경망을 포함하는 제어 모델 및 상기 측정된 온실의 상태에 관한 정보를 상기 제어 모델에 입력하여 출력된 제어 동작을 기초로 상기 온실의 상태를 조절하는 시설물을 제어하는 제어부를 포함한다.
본 발명의 실시예에 따르면, 온실의 외부 환경과 내부 환경을 상이하게 설정하고 복합적으로 작용하는 변수에 의하여 환경이 변하는 비선형적 특성의 온실 시스템을 기반으로 제어 모델을 생성하므로 실제 온실 제어를 효과적으로 수행할 수 있다.
이때 비선형 온실 시스템에 대한 제어 동작을 수행하는 모델을 생성함에 있어서 가치 함수 및 정책 함수를 별도의 신경망으로 구성함으로써 하나의 신경망을 사용하여 학습한 모델에 비해 현저한 효과를 달성할 수 있다.
이에 따라, 온실 시스템에 여러 가지 제어 동작을 동시에 취하여 에너지 소비가 상당한 PID 방식에 비해, 본 발명의 실시예는 최소한의 제어 동작으로 온실 시스템의 생육환경을 유지시키기 때문에 소모되는 에너지가 적으면서, 비선형적인 변수의 영향을 학습하기 때문에 온실의 유지 효과가 보다 뛰어나다.
도 1은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법의 프로세스를 도시하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 온실 시스템의 생성을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망이 온실 시스템의 각 상태마다 업데이트하는 동작을 설명하기 위한 예시도이다.
도 5은 본 발명의 일 실시예에 따른 제1 신경망만을 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이다.
도 6은 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망을 함께 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이다.
도 7은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법에 따라 생성된 제어 모델을 포함하는 온실 제어 장치의 구성도이다.
본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법의 프로세스를 도시하는 흐름도이다. 도 1에 따른 온실 시스템의 제어 모델 생성 방법의 각 단계는 하나 이상의 프로세서에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
우선, 제어 모델을 학습시키기 위한 환경(environment)을 제공하는 온실 시스템을 생성한다(S110). 온실 시스템은 제어 모델의 학습 대상으로서 제어 모델이 온실 시스템의 특정 환경에 놓여진 경우에 어떠한 제어 동작을 취해야 하는지 학습하기 위한 대상이 된다. 실제 온실은 온실의 외부 환경과 온실의 내부 환경이 상이하고, 복합적으로 작용하는 변수에 의하여 환경이 비선형적으로 변하는 특성을 갖기 때문에 이러한 요소들을 반영할 수 있는 비선형적인 온실 시스템을 생성하는 것이 중요하다.
이를 위해, 온실 시스템의 특정 환경에 대한 정보를 나타내는 변수(variable), 온실이 처해있는 환경이 변수 값의 조합으로 표현되는 상태(state), 소정의 변수 값을 변경시키는 제어 동작(action), 하나의 변수의 변화가 다른 변수에 영향을 미치는 규칙(rule), 온실 시스템이 특정한 상태에 도달한 경우의 보상(reward)을 설정하여 온실 시스템을 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 온실 시스템의 생성을 설명하기 위한 예시도이다.
도 2를 참조하면, 온실 시스템은 온실 시스템에 행할 수 있는 제어 동작 및 특정한 환경에 대한 정보를 표현하는 변수(제1 변수 및 제2 변수)을 포함한다. 이때 변수는 실제 온실을 구성하는 경우 측정하기 어려운 제1 변수로서 외부 온도, 외부 공기 습도, 날씨, 물 온도를 포함할 수 있고, 실제 온실을 구성하는 경우 측정이 가능한 제2 변수로서 내부 온도, 내부 공기 습도, 내부 토양 습도, 작물의 성장도, 살충제 농도, 사람 존재 여부, 해충 존재 여부, 농작 실패 여부를 포함할 수 있다.
또한 온실 시스템에 취하는 제어 동작에 따라 온실 시스템의 환경이 변하는 방향 및 정도를 설정할 수 있다. 도 2에 도시된 바와 같이, 변수와 변수 사이 또는 제어 동작과 변수 사이에 연결된 선은 특정 값이 변함에 따라 다른 변수를 변화시키는 영향력에 대한 규칙을 나타낸다. 이때 점선인 화살표는 화살표가 시작되는 변수 또는 제어 동작이 다른 변수의 값에 영향을 미치되, 이때 영향은 또다른 변수가 가진 값에 따라 증가하거나 감소할 수 있는 복합적인 영향을 나타내며, 실선인 화살표는 화살표가 시작되는 변수 또는 제어 동작이 화살표가 향하는 변수의 값을 증가시키는 영향을 나타내며, 화살표의 끝이 점 모양인 화살표는 화살표가 시작되는 변수 또는 제어 동작이 화살표(온점)가 향하는 변수의 값을 감소시키는 영향을 나타낸 것이다.
이때 제1 변수의 변화가 다른 변수(온실 시스템의 상태)에 미치는 영향은 피팅 알고리즘(fitting algorithm)을 통해 도출할 수 있다. 피팅 알고리즘이란, 여러 실험 데이터를 통해 특정 변수와 다른 변수와의 상관 관계를 추론하거나, 또는 실험 데이터 자체로부터 시스템 자체를 모델링하는 알고리즘으로서, 비선형 시스템과 같은 복잡 시스템 모델링 분야에서 주로 사용된다.
예를 들어, 피팅 알고리즘에는 특정 변수의 변화에 따른 다른 변수의 변화를 관측하여 시스템의 파라미터를 최적화하는 CellNOpt 알고리즘 (http://www.cellnopt.org/), 실험 데이터로부터 시스템 자체를 모델링 하는 알고리즘 (Margolin, Adam A., et al. "ARACNE: an algorithm for the reconstruction of gene regulatory networks in a mammalian cellular context." BMC bioinformatics 7.1 (2006): S7.), 이 외에 논문 Quach, Minh, Nicolas Brunel, and Florence d'Alche-Buc. "Estimating parameters and hidden variables in non-linear state-space models based on ODEs for biological networks inference." Bioinformatics 23.23 (2007): 3209-3216. 및 Chou, I-Chun, Harald Martens, and Eberhard O. Voit. "Parameter estimation in biochemical systems models with alternating regression." Theoretical Biology and Medical Modelling 3.1 (2006): 25.에 기재된 피팅 알고리즘이 있으나, 앞서 열거한 피팅 알고리즘은 본 발명의 실시예에 적용할 수 있는 피팅 알고리즘이 예시일 뿐, 적용할 수 있는 피팅 알고리즘이 상술한 예시에 한정되는 것은 아니다.
또한, 제2 변수의 변화가 다른 변수에 미치는 영향 또는 제어 동작이 다른 변수에 미치는 영향은 아래 수학식 1과 같이 비선형적으로 영향을 미치도록 규칙을 설정할 수 있다.
Figure pat00007
이때 수학식 1에서,
Figure pat00008
는 제어 동작 전 제2 변수의 값,
Figure pat00009
은 제어 동작으로부터
Figure pat00010
경과 후 제2 변수의 값,
Figure pat00011
는 제2 변수에 영향을 미치는 다른 변수의 값,
Figure pat00012
는 감가율(discount factor)이다. 이때 수학식 1에서 사용되는 변수의 밑첨자 t는 시간뿐만 아니라, 특정한 상태를 나타낼 수 있고, 밑첨자 t+1 은 다음 상태에서의 변수의 값을 의미할 수 있다. 한편,
Figure pat00013
는 감가율로서 가령 0.01에서 0.2의 값을 사용할 수 있으나 이에 한정되는 것은 아니다. 이하의 수학식 2 내지 수학식 8의 밑첨자 및
Figure pat00014
의 의미도 동일한 바 수학식 2 내지 8에서 중복되는 설명은 생략하기로 한다.
한편, 본 발명의 일 실시예에 따른 제어 모델을 통해 온실 시스템에 취할 수 있는 제어 동작은 팬 가동, 커튼 열기, 내부 물 주입, 외부 물 주입, 살충제 분사, 빛 조사, 영양분 분사, 수확을 포함할 수 있으며, 온실 시스템에 대한 제어 동작에 의해 온실 시스템의 상태가 변하는 규칙을 다음과 같이 설정할 수 있다.
예를 들어, 환풍기 켜기의 제어 동작은 아래 수학식 2와 같이 내부 온도(
Figure pat00015
), 내부 공기 습도(_
Figure pat00016
), 내부 토양 습도(_
Figure pat00017
), 살충제 농도(
Figure pat00018
)를 변화시키도록 설정할 수 있다.
Figure pat00019
또한 창문 열기의 제어 동작은 아래 수학식 3과 같이 내부 온도(
Figure pat00020
), 내부 공기 습도(_
Figure pat00021
), 내부 토양 습도(_
Figure pat00022
), 살충제 농도(
Figure pat00023
)를 변화시키도록 설정할 수 있다).
Figure pat00024
더불어 내부 물 주입의 제어 동작은 아래 수학식 4와 같이 내부 온도(
Figure pat00025
), 내부 공기 습도(_
Figure pat00026
), 내부 토양 습도(_
Figure pat00027
), 살충제 농도(
Figure pat00028
)를 변화시키도록 설정할 수 있다.
Figure pat00029
더하여 외부 물 주입의 제어 동작은 아래 수학식 5와 같이 내부 온도(
Figure pat00030
), 내부 공기 습도(_
Figure pat00031
), 내부 토양 습도(_
Figure pat00032
)를 변화시키도록 설정할 수 있다.
Figure pat00033
아울러 살충제 분사의 제어 동작은 아래 수학식 6과 같이 내부 공기 습도(_
Figure pat00034
), 내부 토양 습도(_
Figure pat00035
), 살충제 농도(
Figure pat00036
)를 변화시키도록 설정할 수 있다.
Figure pat00037
또한 빛 조사의 제어 동작은 아래 수학식 7과 같이 내부 온도(
Figure pat00038
), 내부 공기 습도(_
Figure pat00039
), 내부 토양 습도(_
Figure pat00040
)를 변화시키도록 설정할 수 있다.
Figure pat00041
더불어 영양분 분사의 제어 동작은 아래 수학식 8과 같이 내부 온도(
Figure pat00042
), 내부 공기 습도(_
Figure pat00043
), 내부 토양 습도(_
Figure pat00044
)를 변화시키도록 설정할 수 있다.
Figure pat00045
마지막으로, 수확의 제어 동작은 작물의 성장도의 값을 초기화시키며, 작물의 성장도가 기 설정된 범위 이내일 때 수확이 행해진 경우 양(+)의 보상이 얻어지도록 설정하고, 또는 기 설정된 범위 밖에서 수확이 행해진 경우 음(-)의 보상을 주도록 설정할 수 있다.
한편, 위에 제시되지 않은 각 변수들이 서로 미치는 영향(예를 들어, 변수 중 내부 온도가 토지 습도에 미치는 영향)은 상술한 피팅 알고리즘 또는 온실 시스템의 상태를 구성하는 변수 중 어느 하나의 변화가 다른 변수에 비선형적으로 영향을 미치도록 미리 프로그램 되어 있는 온실 시뮬레이터를 통해 도 2에 도시된 예시와 같이 구성할 수 있다.
이와 같이, 실제 온실의 상태 변화를 반영하도록 설계된 비선형 온실 시스템을 기반으로 제어 모델을 생성하므로 현실의 온실 시스템의 제어에 따른 환경의 변화를 효과적으로 반영할 수 있다. 이때 비선형 온실 시스템은 도 2에 도시된 바와 같이 변수 간에 다양한 영향을 주고 받기 때문에 특정 상태에 대해 적절한 제어 동작을 취할 수 있도록 학습시킬 수 있는 적절한 신경망을 설계하는 것이 중요하다.
이를 위해, 본 발명의 일 실시예는 온실 시스템이 가질 수 있는 각 상태에서 행할 수 있는 제어 동작에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습하는 제1 신경망을 생성하고(S120), 온실 시스템이 가질 수 있는 각각의 상태에서 행할 수 있는 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 학습하는 제2 신경망을 생성한다(S130).
도 3은 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망의 구성도이다.
제1 신경망은 온실 시스템이 가질 수 있는 각각의 상태에서 제어 동작 중 어느 하나를 행함에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습한다. 이를 위해, 제1 신경망의 입력 변수는 온실 시스템의 상태(
Figure pat00046
)로 설정하고, 제1 신경망의 출력 변수는 온실 시스템이 가질 수 있는 각 상태에서 행할 수 있는 제어 동작에 따라 달성하게 될 보상, 즉, 가치 함수의 예측값으로 설정할 수 있다. 이때 입력 변수는 온실 시스템의 상태를 구성하는 변수로서 제1 변수 또는 제2 변수의 조합이 사용될 수 있다.
한편, 제1 신경망의 학습 방향을 결정하는 비용 함수는 가치 함수에 대한 MSE(mean square error) 함수일 수 있고, 예를 들면, 아래 수학식 9으로 설정할 수 있다.
Figure pat00047
이때
Figure pat00048
는 가치함수, w는 학습된 파라미터,
Figure pat00049
는 온실 시스템의 현재 상태,
Figure pat00050
는 현재 상태(
Figure pat00051
)에서 보상을 달성할 가능성,
Figure pat00052
은 다음 상태(
Figure pat00053
)에서 획득하는 보상,
Figure pat00054
는 다음 상태(
Figure pat00055
)에 보상을 달성할 가능성,
Figure pat00056
은 학습의 감가율을 의미한다.
이에 따라, 제1 신경망은 온실 시스템의 상태가 변경될 때마다 제1 신경망의 비용 함수를 최소화하는 방향으로 제1 신경망의 파라미터, 예를 들면 웨이트(weight) 및 바이어스(bias)를 업데이트할 수 있다. 이때 제1 신경망의 비용 함수는 제2 신경망의 그래디언트(gradient)를 포함할 수 있으며, 그래디언트는 비용 함수를 최소화시킴에 있어 업데이트의 방향성을 결정하는 요소이다. 한편, 제1 신경망에 대한 보다 자세한 설명은 Deep-Q-network 학습 방법을 참조할 수 있다.
제2 신경망은 온실 시스템이 가질 수 있는 각각의 상태에서 행할 수 있는 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 학습한다. 이를 위해, 제2 신경망의 입력 변수를 가치 함수의 예측값 및 온실 시스템의 상태(
Figure pat00057
)로 설정하고, 제2 신경망의 출력 변수를 온실 시스템이 가질 수 있는 각각의 상태에서 행할 수 있는 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작이 되도록 설정할 수 있다. 이때 입력 변수는 온실 시스템의 상태를 구성하는 변수로서 제1 변수 또는 제2 변수의 조합이 사용될 수 있다.
이때 제2 신경망은 예를 들면, 아래 수학식 10과 같은 형태의 비용 함수를 기초로 학습될 수 있다.
Figure pat00058
이때
Figure pat00059
는 정책 함수,
Figure pat00060
는 제2 신경망에서 학습된 파라미터,
Figure pat00061
는 온실 시스템의 현재 상태,
Figure pat00062
는 현재 상태(
Figure pat00063
)에서 제어 동작(
Figure pat00064
)을 하여 축적하게 될 보상,
Figure pat00065
는 가치함수, w는 제1 신경망에서 학습된 파라미터,
Figure pat00066
는 현재 상태(
Figure pat00067
)에서 보상을 달성할 가능성,
Figure pat00068
은 다음 상태(
Figure pat00069
)에서 획득하는 보상,
Figure pat00070
는 다음 상태에 보상을 달성할 가능성,
Figure pat00071
은 제1 신경망(
Figure pat00072
)에서 학습의 감가율을 의미한다. 한편, 제2 신경망에 대한 보다 자세한 설명은 Policy based reinforcement learning 및 Actor-Critic Algorithm을 참조할 수 있다.
한편, 제2 신경망의 그래디언트는 제1 신경망의 비용 함수에 적용될 수 있으며, 제2 신경망의 그래디언트는 예를 들면, 아래 수학식 11과 같이 설정될 수 있다.
Figure pat00073
이에 따라, 제1 신경망의 가치 함수는 온실 시스템의 각 상태마다 제2 신경망의 정책 함수가 업데이트 되는 방향에 대응되어 비용함수가 업데이트될 수 있다. 이를 위해, 제2 신경망의 그래디언트를 제1 신경망의 비용 함수에 적용하여 제1 신경망을 학습시키고, 제1 신경망의 비용 함수가 최소가 되도록 제2 신경망을 학습시킬 수 있다(S140).
보다 자세하게, 도 3에 도시된 바와 같이, 온실 시스템의 상태가 시작 상태로부터 종료 상태가 되기까지의 각 상태마다, 정책 함수와 가치 함수를 기초로 최적의 제어 동작이 결정될 수 있다. 이때 결정된 제어 동작이 온실 시스템에 행해짐에 따라 새롭게 구성되는 온실 시스템의 새로운 상태를 제1 신경망에 입력하여 제1 신경망의 비용 함수가 최소가 되도록 가치 함수를 업데이트하고, 온실 시스템의 새로운 상태 및 제1 신경망의 가치 함수의 예측값을 제2 신경망에 입력하여 제1 신경망의 비용 함수가 최소가 되도록 정책 함수를 업데이트할 수 있다.
한편, 제2 신경망의 비용 함수는 제1 신경망의 파라미터를 포함하고 있기 때문에 제1 신경망과 연동되며 제1 신경망 및 제2 신경망의 파라미터 w와
Figure pat00074
는 온실 시스템의 상태가 변경될 때마다 비용 함수를 기초로 업데이트될 수 있다.
예를 들어, 온실 시스템이 특정한 상태에 있을 때 제2 신경망의 정책 함수를 기초로 보상을 달성할 가능성이 가장 큰 제어 동작을 행할 수 있으며, 이러한 제어 동작에 의해 온실 시스템에서 설정된 규칙에 따라 상태가 변경될 수 있다.
즉, 온실 시스템이 임의의 시작 상태에서 시작되어 제어 동작이 행해짐에 따라 상태가 변경되면서 종료 상태가 되기까지, 매 상태마다 제1 신경망의 비용 함수가 최소가 되도록 가치 함수를 업데이트하고, 업데이트된 가치 함수를 제2 신경망의 비용 함수에 반영하여 제2 신경망의 비용 함수가 최소가 되도록 정책 함수를 업데이트할 수 있다.
제1 신경망 및 제2 신경망의 입력 변수로 사용되는 상태는 온실 시스템에서 제공하는 변수의 조합으로 이루어질 수 있다. 가령, 학습되는 제어 모델을 현실의 온실 시스템에 적용하기 위해서 실제로 관측 가능한 제2 변수의 조합을 제1 신경망 및 제2 신경망의 입력 변수로 사용할 수 있다.
이에 따라, 제2 신경망은 온실 시스템의 현재 상태(
Figure pat00075
)를 입력 받아 정책 함수에 기초하여 현재 온실 시스템의 상태에서 최종 상태까지 축적하게 될 보상이 가장 큰 제어 동작(
Figure pat00076
)을 도출할 수 있다.
이후, 온실 시스템은 제어 동작(
Figure pat00077
)에 의해 현재 상태(
Figure pat00078
)를 설정된 규칙에 기초하여 다음 상태(
Figure pat00079
)로 변경시키고, 다음 상태(
Figure pat00080
)를 구성하는 변수 및 다음 상태에서의 보상(
Figure pat00081
)을 제1 신경망에 제공한다. 이에 따라, 제1 신경망은 제1 신경망의 비용 함수가 최소가 되도록 가치 함수를 업데이트하고, 업데이트된 파라미터를 제2 신경망에 제공하며, 제2 신경망은 업데이트된 가치 함수의 파라미터를 제2 신경망의 비용 함수에 반영하여 제2 신경망의 비용 함수가 최소가 되도록 정책 함수를 업데이트할 수 있다.
이후, 위 과정의 다음 상태는 다시 현재 상태가 되어 온실 시스템이 종료(예를 들어, 농작 실패)될 때까지 위 과정을 반복한다.
한편, 온실 시스템이 임의의 시작 상태에서 시작되어 제어 동작이 행해짐에 따라 상태가 변경되면서 종료 상태가 되기까지의 과정을 하나의 시나리오라고 지칭하며, 본 발명의 실시예는 하나의 시나리오에 대한 학습을 완료하여 한 번의 학습을 진행시킬 수 있다. 한편, 학습의 횟수는 사용자의 설정에 따라 변경시킬 수 있으며, 학습의 횟수에 따른 실험 결과는 도 4 및 도 5와 같다.
도 4는 본 발명의 일 실시예에 따른 제1 신경망만을 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이고, 도 5는 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망을 함께 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이다.
도 4 및 도 5의 학습에 사용된 온실 시스템은 날씨의 변동, 사람의 출현, 해충이 출현하는 주기가 매우 빈번하도록 설정하였고, 관측 가능한 제2 변수가 기 설정된 임계값을 초과하면 농작이 실패하여 온실 시스템이 종료되도록 설정하였다. 이에 따라, 온실 시스템이 종료되면 학습이 1회 완료되고 온실 시스템은 다시 새로운 환경을 구성하여 새로운 학습이 반복되도록 구성하였다.
이와 같이, 도 4 및 도 5의 온실 시스템에 사용한 온실 시뮬레이터는 매우 척박한 환경을 생성시키는 변수가 빈번히 찾아오도록 설정하고 온실 시스템을 유지시킬 수 있는 조건이 매우 어렵도록 설정함으로써 한 시나리오가 종결되는 속도를 높여 학습의 속도를 향상시켰다.
즉, 제1 신경망 만을 사용하여 학습하는 도 4의 경우, 55000회 이상 학습을 진행하여도 외부 및 내부 환경이 비선형적으로 변하도록 설계된 온실 시스템을 최대로 유지한 시간은 28시간이며, 학습의 횟수를 늘린 모델의 성능은 학습의 초기 부분 모델에 비해 크게 향상되지 않는다는 것을 확인할 수 있다.
이에 비해, 제1 신경망 및 제2 신경망을 연동하여 함께 가치함수 및 정책함수를 학습시키는 도 5의 경우, 학습을 3000회 진행하였을 때부터 제1 신경망 단독으로 학습한 결과에 비해 월등히 높은 시간으로 온실 시스템을 유지시키며, 최대 약 300시간 동안 온실 시스템을 유지한 것을 확인할 수 있다.
이에 따라, 제1 신경망 및 제2 신경망을 연동하여 함께 가치함수 및 정책함수를 학습시키는 본 발명의 실시예는 비선형적으로 설계된 온실 시스템의 제어를 효과적으로 수행하여, 하나의 신경망을 사용하여 학습하는 것에 비하여, 적은 학습 횟수로도 월등한 효과를 달성할 수 있다는 것을 확인할 수 있다.
한편, 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법에 따라 생성된 제어 모델은 온실 시스템의 상태 정보를 수집하는 단계, 기 학습된 제1 신경망(가치 함수)에 상태 정보를 입력하는 단계, 제1 신경망이 최적의 제어 동작을 출력하는 단계, 제어 동작을 온실 시스템에 적용하는 단계를 포함하여 프로세서에 의해 사용될 수 있다. 다만, 이러한 단계는 하나의 예시로서 제어 모델을 사용하는 방법이 이러한 예시에 한정되는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법에 따라 생성된 제어 모델을 포함하는 온실 제어 장치(600)의 구성도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 온실 제어 장치(600)는 센서부(610), 제어 모델(620) 및 제어 장치(630)를 포함한다.
센서부(610)는 온실의 상태에 관한 정보를 측정한다. 이때 센서부(610)는 온도계, 습도계, 살충제 농도 센서, 농작물 크기 측정 센서 등을 포함할 수 있다. 이를 통해 제어 모델(620)에 입력될 제2 변수의 값을 측정할 수 있다.
제어 모델(620)은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델(620) 생성 방법에 따라 학습이 완료된 제1 신경망 및 제2 신경망을 포함하고, 특정 상태에 대한 정보를 입력 받으면 이에 대해 취해야 할 최적의 제어 동작에 대한 정보를 출력할 수 있다.
제어 장치(630)는 센서부(610)에 의해 측정된 온실의 상태에 관한 정보를 제어 모델(620)에 입력하여 출력된 제어 동작을 기초로 온실의 시설물을 제어할 수 있다. 예를 들면, 환기를 위해 팬을 가동하거나, 온실의 커튼을 열거나, 온실 내부에 물을 주입하거나, 온실 외부에 물을 주입하거나, 살충제를 분사하거나, 빛을 조사하거나, 영양분을 분사하거나, 수확기를 가동하는 등의 동작을 위해 시설물을 제어할 수 있다.
이에 따라, 온실 제어 장치(600)는 실제 온실에 사용되어 온실의 상태를 조절하는 시설물을 제어함으로써 온실의 생육환경을 효과적으로 유지시킬 수 있다.
한편, 도 6의 실시예가 포함하는 센서부(610), 제어 모델(620), 제어부(630)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.
이처럼 상술한 실시예에 따르면, 온실의 외부 환경과 내부 환경이 다르기 때문에 온실의 상태 변화를 반영하도록 설계된 비선형 온실 시스템을 기반으로 제어 모델을 생성하므로 현실의 온실 시스템 제어를 효과적으로 수행할 수 있다.
이때 비선형 온실 시스템에 대한 제어 동작을 수행하는 모델을 생성함에 있어서 가치 함수 및 정책 함수를 별도의 신경망으로 구성함으로써 하나의 신경망을 사용하는 것에 비해 현저한 효과를 달성할 수 있다.
이에 따라, 온실 시스템에 취하는 여러 가지 제어 동작을 동시에 취하는 기존 기술과 달리 가장 효과적인 동작으로 온실 시스템의 생육환경을 효율적으로 유지시킬 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
600: 온실 제어 장치
610: 센서부
620: 제어 모델
630: 제어부

Claims (13)

  1. 하나 이상의 프로세서가 수행하는 온실 시스템의 제어 모델 생성 방법에 있어서,
    온실의 상태를 구성하는 복수의 변수, 상기 변수의 값을 변화시키는 제어 동작, 상기 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙, 상기 온실의 상태가 특정한 상태에 도달하거나 또는 특정한 상태가 유지되는 경우의 보상을 설정하여 상기 온실 시스템을 생성하는 단계;
    상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 어느 하나를 행함에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습하는 제1 신경망을 생성하는 단계;
    상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 상기 각각의 상태 마다 상기 가치 함수의 예측값을 기초로 학습하는 제2 신경망을 생성하는 단계; 및
    상기 제2 신경망의 그래디언트를 상기 제1 신경망의 비용 함수에 적용하여 상기 제1 신경망을 학습시키고, 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 제2 신경망을 학습시키는 단계를 포함하는
    온실 시스템의 제어 모델 생성 방법.
  2. 제1항에 있어서,
    상기 학습시키는 단계는,
    상기 온실 시스템의 상태가 시작 상태로부터 종료 상태가 되기까지의 각 상태마다 상기 정책 함수와 상기 가치 함수를 기초로 도출되는 제어 동작이 행해진 후 상기 온실 시스템의 새로운 상태를 상기 제1 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 가치 함수를 업데이트하고, 상기 가치 함수의 예측값과 상기 새로운 상태를 상기 제2 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 정책 함수를 업데이트하는 단계를 포함하는
    온실 시스템의 제어 모델 생성 방법.
  3. 제1항에 있어서,
    상기 제1 신경망의 비용 함수는,
    상기 가치 함수가 예측한 보상과 실제 보상에 대한 MSE(mean square error) 함수인
    온실 시스템의 제어 모델 생성 방법.
  4. 제1항에 있어서,
    상기 온실 시스템을 생성하는 단계는,
    생육 작물의 종류에 따라 상기 복수의 변수 중 일부를 삭제하거나, 새로운 변수를 추가하는 단계를 포함하는
    온실 시스템의 제어 모델 생성 방법.
  5. 제1항에 있어서,
    상기 온실 시스템은,
    상기 온실 시스템의 상태를 구성하는 변수 중 적어도 하나의 변화가 다른 변수에 비선형적으로 영향을 미치도록 설정되어 있는
    온실 시스템의 제어 모델 생성 방법.
  6. 제5항에 있어서,
    상기 복수의 변수는
    실제 온실을 구성하는 경우 측정이 어려운 변수인 제1 변수 및 상기 실제 온실을 구성하는 경우 측정이 가능한 제2 변수를 포함하고,
    상기 온실 시스템을 생성하는 단계는,
    상기 제1 변수 중 어느 하나의 변화가 따른 상기 온실 시스템의 상태에 미치는 영향을 피팅 알고리즘(fitting algorithm)을 기초로 도출하는 단계; 및
    상기 제2 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙을 설정하는 단계를 포함하는
    온실 시스템의 제어 모델 생성 방법.
  7. 제6항에 있어서,
    상기 제1 변수는 외부 온도, 외부 공기 습도, 날씨, 물 온도 중 적어도 하나를 포함하고,
    상기 제2 변수는 내부 온도, 내부 공기 습도, 내부 토양 습도, 작물의 성장도, 살충제 농도, 사람 존재 여부, 해충 존재 여부, 농작 실패 중 적어도 하나를 포함하는
    온실 시스템의 제어 모델 생성 방법.
  8. 제7항에 있어서,
    상기 제어 동작은,
    팬 가동, 커튼 열기, 내부 물 주입, 외부 물 주입, 살충제 분사, 빛 조사, 영양분 분사, 수확 중 적어도 하나를 포함하는
    온실 시스템의 제어 모델 생성 방법.
  9. 제8항에 있어서,
    상기 규칙은,
    상기 환풍기 켜기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
    상기 창문 열기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
    상기 내부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
    상기 외부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고,
    상기 살충제 분사가 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
    상기 빛 조사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고,
    상기 영양분 분사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고,
    상기 수학은 상기 작물의 성장도를 초기화시키는 것으로 설정되고,
    상기 특정 상태는,
    상기 작물의 성장도가 기 설정된 범위 이내일 때 상기 수확의 동작이 취해진 상태인
    온실 시스템의 제어 모델 생성 방법.
  10. 제8항에 있어서,
    상기 제어 동작 중 적어도 하나의 제어 동작은 상기 제2 변수에 비선형적 영향을 미치고,
    상기 제2 변수는,
    Figure pat00082

    (상기
    Figure pat00083
    는 상기 적어도 하나의 제어 동작 전 제2 변수의 값, 상기
    Figure pat00084
    은 상기 적어도 하나의 제어 동작으로부터
    Figure pat00085
    경과 후 상기 제2 변수의 값, 상기
    Figure pat00086
    는 상기 제2 변수에 영향을 미치는 제1 변수의 값, 상기
    Figure pat00087
    는 감가율) 에 따라 비선형적으로 값이 변하는
    온실 시스템의 제어 모델 생성 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 프로세서가 수행하게 하는 명령어를 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
  12. 제1항 내지 제10항 중 어느 한 항의 방법을 프로세서가 수행하도록 하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  13. 온실의 상태에 관한 정보를 측정하는 센서부;
    제1항 내지 제8항 중 어느 한 항의 방법에 의해 생성된 상기 제1 신경망 및 상기 제2 신경망을 포함하는 제어 모델; 및
    상기 측정된 온실의 상태에 관한 정보를 상기 제어 모델에 입력하여 출력된 제어 동작을 기초로 상기 온실의 상태를 조절하는 시설물을 제어하는 제어부를 포함하는
    온실 제어 장치.
KR1020180011904A 2017-10-16 2018-01-31 온실 시스템의 제어 모델 생성 방법 KR102100350B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170134095 2017-10-16
KR1020170134095 2017-10-16

Publications (2)

Publication Number Publication Date
KR20190042420A true KR20190042420A (ko) 2019-04-24
KR102100350B1 KR102100350B1 (ko) 2020-04-14

Family

ID=66282397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180011904A KR102100350B1 (ko) 2017-10-16 2018-01-31 온실 시스템의 제어 모델 생성 방법

Country Status (1)

Country Link
KR (1) KR102100350B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116047899A (zh) * 2022-12-08 2023-05-02 扬州市职业大学(扬州开放大学) 一种阀门自适应补偿分析控制方法及系统
CN116449897A (zh) * 2023-06-08 2023-07-18 北京市农林科学院智能装备技术研究中心 温室环境最优控制方法、服务器及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028721A (ko) * 2015-09-04 2017-03-14 주식회사 케이티 온실의 제어기의 파라미터 및 온실 환경을 제어하는 시스템
WO2018083671A1 (en) * 2016-11-04 2018-05-11 Deepmind Technologies Limited Reinforcement learning with auxiliary tasks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028721A (ko) * 2015-09-04 2017-03-14 주식회사 케이티 온실의 제어기의 파라미터 및 온실 환경을 제어하는 시스템
WO2018083671A1 (en) * 2016-11-04 2018-05-11 Deepmind Technologies Limited Reinforcement learning with auxiliary tasks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Volodymyr Mnih 외 7명. Asynchronous Methods for Deep Reinforcement Learning. 2016.6.16. *
김병수 외 2명. 온실 환경 모델링 및 시뮬레이션을 통한 최적의 제어 파라미터 도출. 2016년 4월 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116047899A (zh) * 2022-12-08 2023-05-02 扬州市职业大学(扬州开放大学) 一种阀门自适应补偿分析控制方法及系统
CN116047899B (zh) * 2022-12-08 2024-05-24 扬州市职业大学(扬州开放大学) 一种阀门自适应补偿分析控制方法及系统
CN116449897A (zh) * 2023-06-08 2023-07-18 北京市农林科学院智能装备技术研究中心 温室环境最优控制方法、服务器及系统
CN116449897B (zh) * 2023-06-08 2023-10-20 北京市农林科学院智能装备技术研究中心 温室环境最优控制方法、服务器及系统

Also Published As

Publication number Publication date
KR102100350B1 (ko) 2020-04-14

Similar Documents

Publication Publication Date Title
Jung et al. Time-serial analysis of deep neural network models for prediction of climatic conditions inside a greenhouse
Somov et al. Pervasive agriculture: IoT-enabled greenhouse for plant growth control
Kang et al. From parallel plants to smart plants: intelligent control and management for plant growth
Alipio et al. A smart hydroponics farming system using exact inference in Bayesian network
del Sagrado et al. Bayesian networks for greenhouse temperature control
CN103197538B (zh) 一种基于过程神经网络的孵房温度控制方法
Mondada et al. A general methodology for the control of mixed natural-artificial societies
KR102100350B1 (ko) 온실 시스템의 제어 모델 생성 방법
KR20170028721A (ko) 온실의 제어기의 파라미터 및 온실 환경을 제어하는 시스템
Yang et al. Deep reinforcement learning-based irrigation scheduling
EP4158562A1 (en) Real-time projections and estimated distributions of agricultural pests, diseases, and biocontrol agents
Campoverde et al. An IoT based smart irrigation management system using reinforcement learning modeled through a markov decision process
Nundloll et al. Influence of intrapredatory interferences on impulsive biological control efficiency
Ban et al. Control of nonlinear, complex and black-boxed greenhouse system with reinforcement learning
Loehle Control theory and the management of ecosystems
KR101959886B1 (ko) 온실의 구동기의 파라미터를 결정하는 서버 및 방법
KR102387765B1 (ko) 작물의 생육량 예측 방법 및 장치
JPWO2019003441A1 (ja) 予測装置、予測方法、予測プログラム、及び、遺伝子推定装置
Campos et al. Biological control of caterpillar sugarcane (Diatraea saccharalis) considering interval mathematical models
Nouri et al. A review of technological developments in modern farming: Intelligent greenhouse systems
Taylor et al. Control of nonlinear biological systems by non-minimal state variable feedback
Schillaci et al. Prediction Error-Driven Memory Consolidation for Continual Learning: On the Case of Adaptive Greenhouse Models
Kang et al. Semi-autonomous greenhouse environment control by combining expert knowledge and machine learning
JP2023150493A (ja) 生育環境予測装置、生育環境制御システムおよび生育環境予測方法
CN111034596B (zh) 一种基于强化学习的水培花卉生根诱导培育方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant