KR102100350B1 - Method for generating control model of greenhouse system - Google Patents
Method for generating control model of greenhouse system Download PDFInfo
- Publication number
- KR102100350B1 KR102100350B1 KR1020180011904A KR20180011904A KR102100350B1 KR 102100350 B1 KR102100350 B1 KR 102100350B1 KR 1020180011904 A KR1020180011904 A KR 1020180011904A KR 20180011904 A KR20180011904 A KR 20180011904A KR 102100350 B1 KR102100350 B1 KR 102100350B1
- Authority
- KR
- South Korea
- Prior art keywords
- greenhouse
- neural network
- state
- greenhouse system
- variable
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
- A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/25—Greenhouse technology, e.g. cooling systems therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Environmental Sciences (AREA)
- Greenhouses (AREA)
- Feedback Control In General (AREA)
Abstract
본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법은 온실의 상태를 구성하는 복수의 변수, 변수의 값을 변화시키는 제어 동작, 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙, 온실의 상태가 특정한 상태에 도달한 경우의 보상을 설정하여 온실 시스템을 생성하는 단계, 온실 시스템이 가질 수 있는 각각의 상태에서 보상을 달성할 가능성을 도출하는 가치 함수를 학습하는 제1 신경망을 생성하는 단계, 온실 시스템이 가질 수 있는 각각의 상태에서 제어 동작 중 하나를 행함에 따라 보상을 달성할 가능성을 도출하는 정책 함수를 학습하는 제2 신경망을 생성하는 단계 및 제1 신경망의 비용 함수 및 제2 신경망의 비용 함수가 최소가 되도록 제1 및 제2 신경망 각각을 학습시키는 단계를 포함한다. In a method for generating a control model of a greenhouse system according to an embodiment of the present invention, a plurality of variables constituting a state of a greenhouse, a control operation for changing a variable value, and a change in one of the variables affect the value of another variable Creating a greenhouse system by setting the rules for applying, the compensation when the state of the greenhouse reaches a certain state, and learning the value function that derives the possibility of achieving compensation in each state that the greenhouse system can have. 1 generating a neural network, generating a second neural network learning a policy function that derives a possibility of achieving compensation by performing one of the control operations in each state that the greenhouse system may have, and of the first neural network And training each of the first and second neural networks such that the cost function and the cost function of the second neural network are minimal.
Description
본 발명은 온실 시스템의 제어 모델 생성 방법에 관한 것으로서, 보다 자세하게는 다양한 변수에 의해 환경이 변하는 온실 시스템이 유지되도록 제어하는 기계 학습 기반의 제어 모델을 생성하는 방법에 관한 것이다.The present invention relates to a method for generating a control model of a greenhouse system, and more particularly, to a method for generating a machine learning-based control model that controls the greenhouse system in which the environment is changed by various variables to be maintained.
온실 재배는 통제된 시설 내에서 생물의 생육환경(예를 들어 빛, 공기, 열, 양분 등)을 인공적으로 제어하여 공산품과 같이 계획 생산이 가능한 농업 형태로서, 유리 온실, 비닐 온실, 태양광 병용형, 인공광 이용 식물 공장 등의 다양한 형태로 구현되고 있다.Greenhouse cultivation is an agricultural type that can artificially control the growth environment (eg, light, air, heat, nutrients, etc.) of living organisms within a controlled facility, and can produce plans like industrial products. It is implemented in various forms such as a mold and a plant factory using artificial light.
한편, 온실의 외부 환경과 내부 환경이 다르고 다양한 변수에 의하여 환경이 변하기 때문에 적절한 생육환경을 유지시키기 위해서는 복합적인 환경의 영향을 고려한 시설물의 제어가 요구된다. On the other hand, since the external environment and the internal environment of the greenhouse are different and the environment is changed by various variables, in order to maintain an appropriate growth environment, control of facilities considering the influence of the complex environment is required.
기존 온실 시스템의 환경 제어에 사용되는 제어 방식으로는 PID(Proportional-Integral-Derivative) 제어 방식이 있다. PID 제어 방식은 시설물의 게인 값을 조절하여 온실의 환경을 제어하는데, 게인을 어떻게 설정해야 하느냐에 따라 성능의 차이가 심하고, 다양한 영향을 받는 온실의 환경에 선형 방식의 제어를 사용하기 때문에 복합적인 변수를 고려할 수 없다는 한계가 있다. PID (Proportional-Integral-Derivative) control is used as a control method used to control the environment of an existing greenhouse system. The PID control method controls the greenhouse environment by adjusting the gain value of the facility. The difference in performance varies depending on how the gain should be set, and because it uses linear control for the environment of the greenhouse affected by various effects, it is a complex variable. There is a limit that cannot be considered.
본 발명의 실시예에서 해결하고자 하는 과제는 온실의 외부 환경과 내부 환경을 상이하게 설정하고 복합적으로 작용하는 변수에 의하여 환경이 변하는 비선형적 특성의 온실 시스템을 설계하고, 이러한 온실 시스템을 기반으로 기계 학습을 수행하는 기술을 제공하는 것이다. The problem to be solved in the embodiment of the present invention is to set a different greenhouse environment from the external environment and to design a greenhouse system with a non-linear characteristic in which the environment changes by a variable acting variable, and based on such a greenhouse system It is to provide skills to perform learning.
또한 위와 같이 설계된 온실 시스템의 생육환경을 효율적으로 유지시킬 수 있는 가장 적절한 형태의 신경망을 설계하는 기술을 제공하여, 온실 시스템의 적절한 생육환경을 유지시키기 위해 최소한의 동작으로 가장 효과적인 결과를 산출하도록 신경망을 설계하는 기술을 제공하고자 한다. In addition, by providing the technology to design the most appropriate type of neural network that can efficiently maintain the growth environment of the greenhouse system designed as above, the neural network to produce the most effective result with the minimum operation to maintain the proper growth environment of the greenhouse system. It is intended to provide a technique for designing.
이에 따라, 최종적으로 학습이 완료된 제어 모델을 실제 온실에 적용하여 실제 온실의 생육환경을 효과적으로 제어하는 기술을 제공하고자 한다.Accordingly, it is intended to provide a technique for effectively controlling the growth environment of a real greenhouse by applying a control model that has finally been learned to a real greenhouse.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.However, the technical problems to be achieved by the embodiments of the present invention are not limited to the above-mentioned problems, and various technical problems can be derived within a range obvious to a person skilled in the art from the contents described below.
본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법은 온실의 상태를 구성하는 복수의 변수, 상기 변수의 값을 변화시키는 제어 동작, 상기 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙, 상기 온실의 상태가 특정한 상태에 도달하거나 또는 특정한 상태가 유지되는 경우의 보상을 설정하여 상기 온실 시스템을 생성하는 단계, 상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 어느 하나를 행함에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습하는 제1 신경망을 생성하는 단계, 상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 상기 각각의 상태 마다 상기 가치 함수의 예측값을 기초로 학습하는 제2 신경망을 생성하는 단계 및 상기 제2 신경망의 그래디언트를 상기 제1 신경망의 비용 함수에 적용하여 상기 제1 신경망을 학습시키고, 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 제2 신경망을 학습시키는 단계를 포함한다. A method for generating a control model of a greenhouse system according to an embodiment of the present invention includes a plurality of variables constituting a state of a greenhouse, a control operation for changing the value of the variable, and a value of a variable in which a change in one of the variables is different Generating the greenhouse system by setting a rule that affects the state, when the state of the greenhouse reaches a specific state or when a specific state is maintained, the control operation in each state that the greenhouse system may have Generating a first neural network learning a value function predicting a reward to be achieved by performing any one of the methods, maximizing the compensation to be finally accumulated during the control operation in each state that the greenhouse system may have A policy function for deriving a control action is learned based on the predicted value of the value function for each state. Generating a second neural network and applying the gradient of the second neural network to the cost function of the first neural network to train the first neural network, and learning the second neural network so that the cost function of the first neural network is minimal It includes the steps.
또한, 상기 학습시키는 단계는 상기 온실 시스템의 상태가 시작 상태로부터 종료 상태가 되기까지의 각 상태마다 상기 정책 함수와 상기 가치 함수를 기초로 도출되는 제어 동작이 행해진 후 상기 온실 시스템의 새로운 상태를 상기 제1 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 가치 함수를 업데이트하고, 상기 가치 함수의 예측값과 상기 새로운 상태를 상기 제2 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 정책 함수를 업데이트하는 단계를 포함할 수 있다. In addition, the step of learning the new state of the greenhouse system after a control operation derived based on the policy function and the value function is performed for each state from the start state to the end state of the greenhouse system. Input the first neural network to update the value function so that the cost function of the first neural network is minimal, and input the predicted value and the new state of the value function to the second neural network to minimize the cost function of the first neural network. It may include the step of updating the policy function.
또한, 상기 제1 신경망의 비용 함수는 상기 가치 함수가 예측한 보상과 실제 보상에 대한 MSE(mean square error) 함수일 수 있다. In addition, the cost function of the first neural network may be a mean square error (MSE) function for compensation and actual compensation predicted by the value function.
또한, 상기 온실 시스템을 생성하는 단계는 생육 작물의 종류에 따라 상기 복수의 변수 중 일부를 삭제하거나, 새로운 변수를 추가하는 단계를 포함할 수 있다. In addition, the step of generating the greenhouse system may include deleting some of the plurality of variables or adding new variables according to the type of growing crop.
또한, 상기 온실 시스템은 상기 온실 시스템의 상태를 구성하는 변수 중 적어도 하나의 변화가 다른 변수에 비선형적으로 영향을 미치도록 설정될 수 있다. Further, the greenhouse system may be set such that at least one change among variables constituting the state of the greenhouse system affects other variables nonlinearly.
또한, 상기 복수의 변수는 실제 온실을 구성하는 경우 측정이 어려운 변수인 제1 변수 및 상기 실제 온실을 구성하는 경우 측정이 가능한 제2 변수를 포함하고, 상기 온실 시스템을 생성하는 단계는 상기 제1 변수 중 어느 하나의 변화가 따른 상기 온실 시스템의 상태에 미치는 영향을 피팅 알고리즘(fitting algorithm)을 기초로 도출하는 단계 및 상기 제2 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙을 설정하는 단계를 포함할 수 있다. In addition, the plurality of variables includes a first variable that is a variable that is difficult to measure when constructing an actual greenhouse and a second variable that can be measured when constructing the actual greenhouse, and generating the greenhouse system includes the first Deriving the effect of any one of the variables on the state of the greenhouse system based on a fitting algorithm, and changing the value of one of the second variables affects the value of the other variable It may include setting a rule.
또한, 상기 제1 변수는 외부 온도, 외부 공기 습도, 날씨, 물 온도 중 적어도 하나를 포함하고, 상기 제2 변수는 내부 온도, 내부 공기 습도, 내부 토양 습도, 작물의 성장도, 살충제 농도, 사람 존재 여부, 해충 존재 여부, 농작 실패 중 적어도 하나를 포함할 수 있다. In addition, the first variable includes at least one of external temperature, external air humidity, weather, and water temperature, and the second variable includes internal temperature, internal air humidity, internal soil humidity, crop growth, pesticide concentration, and people It may include at least one of the presence, the presence of pests, and the failure of farming.
또한 상기 제어 동작은 팬 가동, 커튼 열기, 내부 물 주입, 외부 물 주입, 살충제 분사, 빛 조사, 영양분 분사, 수확 중 적어도 하나를 포함할 수 있다. In addition, the control operation may include at least one of fan operation, curtain opening, internal water injection, external water injection, insecticide injection, light irradiation, nutrient injection, and harvesting.
또한, 상기 규칙은 상기 환풍기 켜기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 창문 열기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 내부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 외부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고, 상기 살충제 분사가 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고, 상기 빛 조사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고, 상기 영양분 분사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고, 상기 수학은 상기 작물의 성장도를 초기화시키는 것으로 설정되고, 상기 특정 상태는 상기 작물의 성장도가 기 설정된 범위 이내일 때 상기 수확의 동작이 취해진 상태일 수 있다. Also, the rule is that turning on the fan changes the internal temperature, the internal air humidity, the internal soil humidity, and the pesticide concentration, and the window opening causes the internal temperature, the internal air humidity, the internal soil humidity, and the pesticide Change the concentration, the internal water injection changes the internal temperature, the internal air humidity, the internal soil humidity, the pesticide concentration, and the external water injection changes the internal temperature, the internal air humidity, the internal soil humidity Change, the pesticide spraying changes the internal air humidity, the internal soil humidity, the pesticide concentration, the light irradiation changes the internal temperature, the internal air humidity, the internal soil humidity, and the nutrient spraying the The internal temperature, the internal air humidity, and the internal soil humidity are changed. It is set to initialize the growth of plants also, the specific state may be the operation of the harvesting state taken when the growth is also a group within the set range of the crop.
또한, 상기 제어 동작 중 적어도 하나의 제어 동작은 상기 제2 변수에 비선형적 영향을 미치고, 상기 제2 변수는 
본 발명의 일 실시예에 따른 온실 제어 장치는 온실의 상태에 관한 정보를 측정하는 센서부, 본 발명의 실시예에 따른 제어 모델 생성 방법에 의해 생성된 상기 제1 신경망 및 상기 제2 신경망을 포함하는 제어 모델 및 상기 측정된 온실의 상태에 관한 정보를 상기 제어 모델에 입력하여 출력된 제어 동작을 기초로 상기 온실의 상태를 조절하는 시설물을 제어하는 제어부를 포함한다. Greenhouse control apparatus according to an embodiment of the present invention includes a sensor unit for measuring information about the state of the greenhouse, the first neural network and the second neural network generated by the control model generation method according to an embodiment of the present invention It includes a control model and a control unit for controlling the facility for adjusting the state of the greenhouse on the basis of the control operation output by inputting information on the measured state of the greenhouse to the control model.
본 발명의 실시예에 따르면, 온실의 외부 환경과 내부 환경을 상이하게 설정하고 복합적으로 작용하는 변수에 의하여 환경이 변하는 비선형적 특성의 온실 시스템을 기반으로 제어 모델을 생성하므로 실제 온실 제어를 효과적으로 수행할 수 있다. According to an embodiment of the present invention, since the external environment of the greenhouse and the internal environment are set differently and a control model is generated based on a nonlinear characteristic greenhouse system in which the environment is changed by a variable acting variable, actual greenhouse control is effectively performed. can do.
이때 비선형 온실 시스템에 대한 제어 동작을 수행하는 모델을 생성함에 있어서 가치 함수 및 정책 함수를 별도의 신경망으로 구성함으로써 하나의 신경망을 사용하여 학습한 모델에 비해 현저한 효과를 달성할 수 있다. At this time, in creating a model that performs a control operation for a nonlinear greenhouse system, a value function and a policy function are configured as separate neural networks, so that a remarkable effect can be achieved compared to a model trained using one neural network.
이에 따라, 온실 시스템에 여러 가지 제어 동작을 동시에 취하여 에너지 소비가 상당한 PID 방식에 비해, 본 발명의 실시예는 최소한의 제어 동작으로 온실 시스템의 생육환경을 유지시키기 때문에 소모되는 에너지가 적으면서, 비선형적인 변수의 영향을 학습하기 때문에 온실의 유지 효과가 보다 뛰어나다. Accordingly, compared to the PID method in which the energy consumption is considerable by simultaneously taking various control operations on the greenhouse system, the embodiment of the present invention maintains the growth environment of the greenhouse system with minimal control operation, and thus consumes less energy and is nonlinear. Because it learns the effects of the variables, the greenhouse effect is better.
도 1은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법의 프로세스를 도시하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 온실 시스템의 생성을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망이 온실 시스템의 각 상태마다 업데이트하는 동작을 설명하기 위한 예시도이다.
도 5은 본 발명의 일 실시예에 따른 제1 신경망만을 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이다.
도 6은 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망을 함께 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이다.
도 7은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법에 따라 생성된 제어 모델을 포함하는 온실 제어 장치의 구성도이다. 1 is a flowchart illustrating a process of a method for generating a control model of a greenhouse system according to an embodiment of the present invention.
2 is an exemplary view for explaining the generation of a greenhouse system according to an embodiment of the present invention.
3 is a block diagram of a first neural network and a second neural network according to an embodiment of the present invention.
4 is an exemplary diagram for describing an operation in which the first neural network and the second neural network update each state of the greenhouse system according to an embodiment of the present invention.
5 is a graph showing the maintenance time of the greenhouse system according to the number of learning in the course of learning using only the first neural network according to an embodiment of the present invention.
6 is a graph showing the maintenance time of the greenhouse system according to the number of learning in the course of learning by using the first neural network and the second neural network together according to an embodiment of the present invention.
7 is a configuration diagram of a greenhouse control apparatus including a control model generated according to a method for generating a control model of a greenhouse system according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and how to achieve them will be apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, 본 only these embodiments make the disclosure of the present invention complete, and have ordinary knowledge in the art to which the present invention pertains. It is provided to completely inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when actually necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are only examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, although one or more functional blocks of the present invention are represented as individual blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.
또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression of including certain components is an open expression and simply refers to the existence of the components, and should not be understood as excluding additional components.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Furthermore, when it is mentioned that a component is connected to or connected to another component, it should be understood that other components may exist in the middle, although they may be directly connected or connected to the other component.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. In addition, expressions such as 'first, second', etc. are expressions used only for distinguishing a plurality of components, and do not limit the order or other features between components.
이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다. Hereinafter, embodiments of the present invention will be described with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법의 프로세스를 도시하는 흐름도이다. 도 1에 따른 온실 시스템의 제어 모델 생성 방법의 각 단계는 하나 이상의 프로세서에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.1 is a flowchart illustrating a process of a method for generating a control model of a greenhouse system according to an embodiment of the present invention. Each step of the method for generating a control model of the greenhouse system according to FIG. 1 may be performed by one or more processors, and each step will be described as follows.
우선, 제어 모델을 학습시키기 위한 환경(environment)을 제공하는 온실 시스템을 생성한다(S110). 온실 시스템은 제어 모델의 학습 대상으로서 제어 모델이 온실 시스템의 특정 환경에 놓여진 경우에 어떠한 제어 동작을 취해야 하는지 학습하기 위한 대상이 된다. 실제 온실은 온실의 외부 환경과 온실의 내부 환경이 상이하고, 복합적으로 작용하는 변수에 의하여 환경이 비선형적으로 변하는 특성을 갖기 때문에 이러한 요소들을 반영할 수 있는 비선형적인 온실 시스템을 생성하는 것이 중요하다. First, a greenhouse system that provides an environment for learning a control model is generated (S110). The greenhouse system is a learning target of the control model, and is a target for learning what control action should be taken when the control model is placed in a specific environment of the greenhouse system. It is important to create a non-linear greenhouse system that can reflect these factors because the greenhouse has a characteristic in which the external environment of the greenhouse and the internal environment of the greenhouse are different and the environment changes non-linearly due to variables acting in combination. .
이를 위해, 온실 시스템의 특정 환경에 대한 정보를 나타내는 변수(variable), 온실이 처해있는 환경이 변수 값의 조합으로 표현되는 상태(state), 소정의 변수 값을 변경시키는 제어 동작(action), 하나의 변수의 변화가 다른 변수에 영향을 미치는 규칙(rule), 온실 시스템이 특정한 상태에 도달한 경우의 보상(reward)을 설정하여 온실 시스템을 생성할 수 있다. To this end, a variable representing information about a specific environment of the greenhouse system, a state in which the environment in which the greenhouse is located is expressed as a combination of variable values, a control action to change a predetermined variable value, one A greenhouse system can be generated by setting a rule that changes a variable of the other variable and a reward when the greenhouse system reaches a specific state.
도 2는 본 발명의 일 실시예에 따른 온실 시스템의 생성을 설명하기 위한 예시도이다.2 is an exemplary view for explaining the generation of a greenhouse system according to an embodiment of the present invention.
도 2를 참조하면, 온실 시스템은 온실 시스템에 행할 수 있는 제어 동작 및 특정한 환경에 대한 정보를 표현하는 변수(제1 변수 및 제2 변수)을 포함한다. 이때 변수는 실제 온실을 구성하는 경우 측정하기 어려운 제1 변수로서 외부 온도, 외부 공기 습도, 날씨, 물 온도를 포함할 수 있고, 실제 온실을 구성하는 경우 측정이 가능한 제2 변수로서 내부 온도, 내부 공기 습도, 내부 토양 습도, 작물의 성장도, 살충제 농도, 사람 존재 여부, 해충 존재 여부, 농작 실패 여부를 포함할 수 있다. Referring to FIG. 2, the greenhouse system includes variables (first variable and second variable) that express information about a specific environment and a control operation that can be performed on the greenhouse system. In this case, the variable is a first variable that is difficult to measure when configuring an actual greenhouse, and may include external temperature, external air humidity, weather, and water temperature. As an actual greenhouse, the second variable that can be measured is internal temperature, internal It can include air humidity, internal soil humidity, crop growth, pesticide concentration, human presence, pest presence, and crop failure.
또한 온실 시스템에 취하는 제어 동작에 따라 온실 시스템의 환경이 변하는 방향 및 정도를 설정할 수 있다. 도 2에 도시된 바와 같이, 변수와 변수 사이 또는 제어 동작과 변수 사이에 연결된 선은 특정 값이 변함에 따라 다른 변수를 변화시키는 영향력에 대한 규칙을 나타낸다. 이때 점선인 화살표는 화살표가 시작되는 변수 또는 제어 동작이 다른 변수의 값에 영향을 미치되, 이때 영향은 또다른 변수가 가진 값에 따라 증가하거나 감소할 수 있는 복합적인 영향을 나타내며, 실선인 화살표는 화살표가 시작되는 변수 또는 제어 동작이 화살표가 향하는 변수의 값을 증가시키는 영향을 나타내며, 화살표의 끝이 점 모양인 화살표는 화살표가 시작되는 변수 또는 제어 동작이 화살표(온점)가 향하는 변수의 값을 감소시키는 영향을 나타낸 것이다. In addition, it is possible to set the direction and degree in which the environment of the greenhouse system changes according to the control action taken in the greenhouse system. As shown in FIG. 2, a line connected between a variable and a variable or between a control operation and a variable represents a rule for an influence of changing another variable as a specific value changes. In this case, the dotted arrow indicates the variable where the arrow starts or the control action affects the value of another variable. At this time, the effect indicates a complex effect that can be increased or decreased depending on the value of another variable. Indicates the effect of the variable where the arrow starts or the control action increases the value of the variable to which the arrow points, and the arrow with the dot at the end of the arrow indicates the value of the variable where the arrow starts or the control action points to the arrow (on point). It shows the effect of reducing.
이때 제1 변수의 변화가 다른 변수(온실 시스템의 상태)에 미치는 영향은 피팅 알고리즘(fitting algorithm)을 통해 도출할 수 있다. 피팅 알고리즘이란, 여러 실험 데이터를 통해 특정 변수와 다른 변수와의 상관 관계를 추론하거나, 또는 실험 데이터 자체로부터 시스템 자체를 모델링하는 알고리즘으로서, 비선형 시스템과 같은 복잡 시스템 모델링 분야에서 주로 사용된다. At this time, the effect of the change of the first variable on the other variable (state of the greenhouse system) can be derived through a fitting algorithm. The fitting algorithm is an algorithm for inferring a correlation between a specific variable and another variable through various experimental data, or modeling the system itself from the experimental data itself, and is mainly used in a complex system modeling field such as a nonlinear system.
예를 들어, 피팅 알고리즘에는 특정 변수의 변화에 따른 다른 변수의 변화를 관측하여 시스템의 파라미터를 최적화하는 CellNOpt 알고리즘 (http://www.cellnopt.org/), 실험 데이터로부터 시스템 자체를 모델링 하는 알고리즘 (Margolin, Adam A., et al. "ARACNE: an algorithm for the reconstruction of gene regulatory networks in a mammalian cellular context." BMC bioinformatics 7.1 (2006): S7.), 이 외에 논문 Quach, Minh, Nicolas Brunel, and Florence d'Alche-Buc. "Estimating parameters and hidden variables in non-linear state-space models based on ODEs for biological networks inference." Bioinformatics 23.23 (2007): 3209-3216. 및 Chou, I-Chun, Harald Martens, and Eberhard O. Voit. "Parameter estimation in biochemical systems models with alternating regression." Theoretical Biology and Medical Modelling 3.1 (2006): 25.에 기재된 피팅 알고리즘이 있으나, 앞서 열거한 피팅 알고리즘은 본 발명의 실시예에 적용할 수 있는 피팅 알고리즘이 예시일 뿐, 적용할 수 있는 피팅 알고리즘이 상술한 예시에 한정되는 것은 아니다. For example, the fitting algorithm includes the CellNOpt algorithm ( http://www.cellnopt.org/ ) that optimizes the parameters of the system by observing the change of other variables according to the change of a specific variable, and the algorithm that models the system itself from experimental data (Margolin, Adam A., et al. "ARACNE: an algorithm for the reconstruction of gene regulatory networks in a mammalian cellular context." BMC bioinformatics 7.1 (2006): S7.), Et al. Quach, Minh, Nicolas Brunel, and Florence d'Alche-Buc. "Estimating parameters and hidden variables in non-linear state-space models based on ODEs for biological networks inference." Bioinformatics 23.23 (2007): 3209-3216. And Chou, I-Chun, Harald Martens, and Eberhard O. Voit. "Parameter estimation in biochemical systems models with alternating regression." Although there is a fitting algorithm described in Theoretical Biology and Medical Modeling 3.1 (2006): 25., the fitting algorithm listed above is only an example of a fitting algorithm applicable to an embodiment of the present invention, and the fitting algorithm applicable is detailed. It is not limited to one example.
또한, 제2 변수의 변화가 다른 변수에 미치는 영향 또는 제어 동작이 다른 변수에 미치는 영향은 아래 수학식 1과 같이 비선형적으로 영향을 미치도록 규칙을 설정할 수 있다. Further, a rule may be set such that the effect of the change of the second variable on the other variable or the effect of the control operation on the other variable is non-linearly influenced by Equation 1 below.
이때 수학식 1에서, 
한편, 본 발명의 일 실시예에 따른 제어 모델을 통해 온실 시스템에 취할 수 있는 제어 동작은 팬 가동, 커튼 열기, 내부 물 주입, 외부 물 주입, 살충제 분사, 빛 조사, 영양분 분사, 수확을 포함할 수 있으며, 온실 시스템에 대한 제어 동작에 의해 온실 시스템의 상태가 변하는 규칙을 다음과 같이 설정할 수 있다.On the other hand, the control operation that can be taken to the greenhouse system through the control model according to an embodiment of the present invention includes fan operation, curtain opening, internal water injection, external water injection, insecticide injection, light irradiation, nutrient injection, harvesting In addition, a rule in which the state of the greenhouse system is changed by a control operation on the greenhouse system may be set as follows.
예를 들어, 환풍기 켜기의 제어 동작은 아래 수학식 2와 같이 내부 온도(
또한 창문 열기의 제어 동작은 아래 수학식 3과 같이 내부 온도(
더불어 내부 물 주입의 제어 동작은 아래 수학식 4와 같이 내부 온도(
더하여 외부 물 주입의 제어 동작은 아래 수학식 5와 같이 내부 온도(
아울러 살충제 분사의 제어 동작은 아래 수학식 6과 같이 내부 공기 습도(_
또한 빛 조사의 제어 동작은 아래 수학식 7과 같이 내부 온도(
더불어 영양분 분사의 제어 동작은 아래 수학식 8과 같이 내부 온도(
마지막으로, 수확의 제어 동작은 작물의 성장도의 값을 초기화시키며, 작물의 성장도가 기 설정된 범위 이내일 때 수확이 행해진 경우 양(+)의 보상이 얻어지도록 설정하고, 또는 기 설정된 범위 밖에서 수확이 행해진 경우 음(-)의 보상을 주도록 설정할 수 있다. Lastly, the control operation of the harvest initializes the value of the growth rate of the crop, and when harvesting is performed when the growth rate of the crop is within a preset range, a positive compensation is set, or outside the preset range. It can be set to give a negative (-) compensation when harvesting is performed.
한편, 위에 제시되지 않은 각 변수들이 서로 미치는 영향(예를 들어, 변수 중 내부 온도가 토지 습도에 미치는 영향)은 상술한 피팅 알고리즘 또는 온실 시스템의 상태를 구성하는 변수 중 어느 하나의 변화가 다른 변수에 비선형적으로 영향을 미치도록 미리 프로그램 되어 있는 온실 시뮬레이터를 통해 도 2에 도시된 예시와 같이 구성할 수 있다. On the other hand, the influence of each variable not shown above (for example, the effect of the internal temperature on the land humidity among the variables) is a change in any one of the variables constituting the state of the fitting algorithm or greenhouse system described above is different It can be configured as illustrated in FIG. 2 through a greenhouse simulator that is pre-programmed to nonlinearly affect the environment.
이와 같이, 실제 온실의 상태 변화를 반영하도록 설계된 비선형 온실 시스템을 기반으로 제어 모델을 생성하므로 현실의 온실 시스템의 제어에 따른 환경의 변화를 효과적으로 반영할 수 있다. 이때 비선형 온실 시스템은 도 2에 도시된 바와 같이 변수 간에 다양한 영향을 주고 받기 때문에 특정 상태에 대해 적절한 제어 동작을 취할 수 있도록 학습시킬 수 있는 적절한 신경망을 설계하는 것이 중요하다. As described above, since a control model is generated based on a nonlinear greenhouse system designed to reflect a change in the state of a real greenhouse, it is possible to effectively reflect changes in the environment according to the control of the real greenhouse system. At this time, it is important to design an appropriate neural network that can be trained to take appropriate control actions for a specific state since the nonlinear greenhouse system exerts various effects between variables as shown in FIG. 2.
이를 위해, 본 발명의 일 실시예는 온실 시스템이 가질 수 있는 각 상태에서 행할 수 있는 제어 동작에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습하는 제1 신경망을 생성하고(S120), 온실 시스템이 가질 수 있는 각각의 상태에서 행할 수 있는 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 학습하는 제2 신경망을 생성한다(S130). To this end, an embodiment of the present invention generates a first neural network learning a value function predicting compensation to be achieved according to a control operation that can be performed in each state that a greenhouse system may have (S120), and the greenhouse system A second neural network that learns a policy function that derives a control operation that maximizes a compensation to be finally accumulated among control operations that can be performed in each of these states can be generated (S130).
도 3은 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망의 구성도이다. 3 is a block diagram of a first neural network and a second neural network according to an embodiment of the present invention.
제1 신경망은 온실 시스템이 가질 수 있는 각각의 상태에서 제어 동작 중 어느 하나를 행함에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습한다. 이를 위해, 제1 신경망의 입력 변수는 온실 시스템의 상태(
한편, 제1 신경망의 학습 방향을 결정하는 비용 함수는 가치 함수에 대한 MSE(mean square error) 함수일 수 있고, 예를 들면, 아래 수학식 9으로 설정할 수 있다. Meanwhile, the cost function for determining the learning direction of the first neural network may be a mean square error (MSE) function for the value function, and may be set, for example, by Equation 9 below.
이때 
이에 따라, 제1 신경망은 온실 시스템의 상태가 변경될 때마다 제1 신경망의 비용 함수를 최소화하는 방향으로 제1 신경망의 파라미터, 예를 들면 웨이트(weight) 및 바이어스(bias)를 업데이트할 수 있다. 이때 제1 신경망의 비용 함수는 제2 신경망의 그래디언트(gradient)를 포함할 수 있으며, 그래디언트는 비용 함수를 최소화시킴에 있어 업데이트의 방향성을 결정하는 요소이다. 한편, 제1 신경망에 대한 보다 자세한 설명은 Deep-Q-network 학습 방법을 참조할 수 있다. Accordingly, whenever the state of the greenhouse system is changed, the first neural network may update parameters of the first neural network, for example, weight and bias, in a direction to minimize the cost function of the first neural network. . At this time, the cost function of the first neural network may include a gradient of the second neural network, and the gradient is an element that determines the direction of update in minimizing the cost function. Meanwhile, a deep-Q-network learning method may be referred to for a more detailed description of the first neural network.
제2 신경망은 온실 시스템이 가질 수 있는 각각의 상태에서 행할 수 있는 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 학습한다. 이를 위해, 제2 신경망의 입력 변수를 가치 함수의 예측값 및 온실 시스템의 상태(
이때 제2 신경망은 예를 들면, 아래 수학식 10과 같은 형태의 비용 함수를 기초로 학습될 수 있다. In this case, the second neural network may be learned based on a cost function of the form of
이때 
한편, 제2 신경망의 그래디언트는 제1 신경망의 비용 함수에 적용될 수 있으며, 제2 신경망의 그래디언트는 예를 들면, 아래 수학식 11과 같이 설정될 수 있다. Meanwhile, the gradient of the second neural network may be applied to the cost function of the first neural network, and the gradient of the second neural network may be set as shown in Equation 11 below.
이에 따라, 제1 신경망의 가치 함수는 온실 시스템의 각 상태마다 제2 신경망의 정책 함수가 업데이트 되는 방향에 대응되어 비용함수가 업데이트될 수 있다. 이를 위해, 제2 신경망의 그래디언트를 제1 신경망의 비용 함수에 적용하여 제1 신경망을 학습시키고, 제1 신경망의 비용 함수가 최소가 되도록 제2 신경망을 학습시킬 수 있다(S140). Accordingly, the value function of the first neural network may be updated according to the direction in which the policy function of the second neural network is updated for each state of the greenhouse system. To this end, the first neural network can be trained by applying the gradient of the second neural network to the cost function of the first neural network, and the second neural network can be trained such that the cost function of the first neural network is minimized (S140).
보다 자세하게, 도 3에 도시된 바와 같이, 온실 시스템의 상태가 시작 상태로부터 종료 상태가 되기까지의 각 상태마다, 정책 함수와 가치 함수를 기초로 최적의 제어 동작이 결정될 수 있다. 이때 결정된 제어 동작이 온실 시스템에 행해짐에 따라 새롭게 구성되는 온실 시스템의 새로운 상태를 제1 신경망에 입력하여 제1 신경망의 비용 함수가 최소가 되도록 가치 함수를 업데이트하고, 온실 시스템의 새로운 상태 및 제1 신경망의 가치 함수의 예측값을 제2 신경망에 입력하여 제1 신경망의 비용 함수가 최소가 되도록 정책 함수를 업데이트할 수 있다. More specifically, as shown in FIG. 3, for each state from the start state to the end state of the greenhouse system, an optimal control operation may be determined based on the policy function and the value function. At this time, as the determined control operation is performed on the greenhouse system, the new function of the newly constructed greenhouse system is input to the first neural network, and the value function is updated to minimize the cost function of the first neural network. The policy function may be updated such that the cost function of the first neural network is minimized by inputting the predicted value of the neural network's value function into the second neural network.
한편, 제2 신경망의 비용 함수는 제1 신경망의 파라미터를 포함하고 있기 때문에 제1 신경망과 연동되며 제1 신경망 및 제2 신경망의 파라미터 w와 
예를 들어, 온실 시스템이 특정한 상태에 있을 때 제2 신경망의 정책 함수를 기초로 보상을 달성할 가능성이 가장 큰 제어 동작을 행할 수 있으며, 이러한 제어 동작에 의해 온실 시스템에서 설정된 규칙에 따라 상태가 변경될 수 있다. For example, when the greenhouse system is in a specific state, it is possible to perform a control operation most likely to achieve compensation based on the policy function of the second neural network, and the state is determined according to the rules set in the greenhouse system by the control operation. can be changed.
즉, 온실 시스템이 임의의 시작 상태에서 시작되어 제어 동작이 행해짐에 따라 상태가 변경되면서 종료 상태가 되기까지, 매 상태마다 제1 신경망의 비용 함수가 최소가 되도록 가치 함수를 업데이트하고, 업데이트된 가치 함수를 제2 신경망의 비용 함수에 반영하여 제2 신경망의 비용 함수가 최소가 되도록 정책 함수를 업데이트할 수 있다. That is, the value function is updated so that the cost function of the first neural network is minimized in each state until the greenhouse system is started at an arbitrary start state and the state changes and ends as the control operation is performed. The function may be reflected in the cost function of the second neural network to update the policy function to minimize the cost function of the second neural network.
제1 신경망 및 제2 신경망의 입력 변수로 사용되는 상태는 온실 시스템에서 제공하는 변수의 조합으로 이루어질 수 있다. 가령, 학습되는 제어 모델을 현실의 온실 시스템에 적용하기 위해서 실제로 관측 가능한 제2 변수의 조합을 제1 신경망 및 제2 신경망의 입력 변수로 사용할 수 있다. The state used as the input variable of the first neural network and the second neural network may consist of a combination of variables provided by the greenhouse system. For example, in order to apply the learned control model to a real greenhouse system, a combination of actually observable second variables may be used as input variables of the first neural network and the second neural network.
이에 따라, 제2 신경망은 온실 시스템의 현재 상태(
이후, 온실 시스템은 제어 동작(
이후, 위 과정의 다음 상태는 다시 현재 상태가 되어 온실 시스템이 종료(예를 들어, 농작 실패)될 때까지 위 과정을 반복한다. Thereafter, the next state of the above process becomes the current state again, and the above process is repeated until the greenhouse system is terminated (eg, crop failure).
한편, 온실 시스템이 임의의 시작 상태에서 시작되어 제어 동작이 행해짐에 따라 상태가 변경되면서 종료 상태가 되기까지의 과정을 하나의 시나리오라고 지칭하며, 본 발명의 실시예는 하나의 시나리오에 대한 학습을 완료하여 한 번의 학습을 진행시킬 수 있다. 한편, 학습의 횟수는 사용자의 설정에 따라 변경시킬 수 있으며, 학습의 횟수에 따른 실험 결과는 도 4 및 도 5와 같다. On the other hand, as the greenhouse system starts from an arbitrary start state and the state changes as the control operation is performed, the process until the end state is referred to as a scenario, and the embodiment of the present invention teaches learning about one scenario. You can complete it and proceed with one learning. Meanwhile, the number of times of learning can be changed according to the user's setting, and the experimental results according to the number of times of learning are shown in FIGS. 4 and 5.
도 4는 본 발명의 일 실시예에 따른 제1 신경망만을 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이고, 도 5는 본 발명의 일 실시예에 따른 제1 신경망 및 제2 신경망을 함께 사용하여 학습하는 과정에서 학습 횟수에 따른 온실 시스템의 유지 시간 그래프이다. 4 is a graph showing the maintenance time of the greenhouse system according to the number of learning in the course of learning using only the first neural network according to an embodiment of the present invention, and FIG. 5 is the first neural network and the second according to an embodiment of the present invention It is a graph of the holding time of the greenhouse system according to the number of learning in the process of learning using the neural network together.
도 4 및 도 5의 학습에 사용된 온실 시스템은 날씨의 변동, 사람의 출현, 해충이 출현하는 주기가 매우 빈번하도록 설정하였고, 관측 가능한 제2 변수가 기 설정된 임계값을 초과하면 농작이 실패하여 온실 시스템이 종료되도록 설정하였다. 이에 따라, 온실 시스템이 종료되면 학습이 1회 완료되고 온실 시스템은 다시 새로운 환경을 구성하여 새로운 학습이 반복되도록 구성하였다. The greenhouse system used in the learning of FIGS. 4 and 5 is set so that the frequency of weather fluctuations, human emergence, and pests appear frequently, and when the observable second variable exceeds a preset threshold, the cropping fails. The greenhouse system was set to shut down. Accordingly, when the greenhouse system is finished, learning is completed once, and the greenhouse system is configured to create a new environment and repeat the new learning.
이와 같이, 도 4 및 도 5의 온실 시스템에 사용한 온실 시뮬레이터는 매우 척박한 환경을 생성시키는 변수가 빈번히 찾아오도록 설정하고 온실 시스템을 유지시킬 수 있는 조건이 매우 어렵도록 설정함으로써 한 시나리오가 종결되는 속도를 높여 학습의 속도를 향상시켰다. As described above, the greenhouse simulator used in the greenhouse systems of FIGS. 4 and 5 is configured to set a variable that generates a very barren environment frequently, and to set a condition in which the greenhouse system can be maintained is very difficult, thereby speeding up a scenario. To improve the speed of learning.
즉, 제1 신경망 만을 사용하여 학습하는 도 4의 경우, 55000회 이상 학습을 진행하여도 외부 및 내부 환경이 비선형적으로 변하도록 설계된 온실 시스템을 최대로 유지한 시간은 28시간이며, 학습의 횟수를 늘린 모델의 성능은 학습의 초기 부분 모델에 비해 크게 향상되지 않는다는 것을 확인할 수 있다. That is, in the case of FIG. 4, which is learned using only the first neural network, the maximum time to maintain the greenhouse system designed to change the external and internal environment non-linearly even after 55,000 or more learning is 28 hours, and the number of learning It can be seen that the performance of the model with increased is not significantly improved compared to the initial partial model of learning.
이에 비해, 제1 신경망 및 제2 신경망을 연동하여 함께 가치함수 및 정책함수를 학습시키는 도 5의 경우, 학습을 3000회 진행하였을 때부터 제1 신경망 단독으로 학습한 결과에 비해 월등히 높은 시간으로 온실 시스템을 유지시키며, 최대 약 300시간 동안 온실 시스템을 유지한 것을 확인할 수 있다.In contrast, in the case of FIG. 5 in which the value function and the policy function are learned together by linking the first neural network and the second neural network, the greenhouse is significantly higher in time than the result of learning the first neural network alone from 3000 times of learning. The system is maintained, and it can be seen that the greenhouse system was maintained for up to about 300 hours.
이에 따라, 제1 신경망 및 제2 신경망을 연동하여 함께 가치함수 및 정책함수를 학습시키는 본 발명의 실시예는 비선형적으로 설계된 온실 시스템의 제어를 효과적으로 수행하여, 하나의 신경망을 사용하여 학습하는 것에 비하여, 적은 학습 횟수로도 월등한 효과를 달성할 수 있다는 것을 확인할 수 있다.Accordingly, an embodiment of the present invention in which the first neural network and the second neural network are interlocked to learn the value function and the policy function effectively perform the control of the nonlinearly designed greenhouse system to learn using one neural network. In comparison, it can be confirmed that a superior effect can be achieved with a small number of learning times.
한편, 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법에 따라 생성된 제어 모델은 온실 시스템의 상태 정보를 수집하는 단계, 기 학습된 제1 신경망(가치 함수)에 상태 정보를 입력하는 단계, 제1 신경망이 최적의 제어 동작을 출력하는 단계, 제어 동작을 온실 시스템에 적용하는 단계를 포함하여 프로세서에 의해 사용될 수 있다. 다만, 이러한 단계는 하나의 예시로서 제어 모델을 사용하는 방법이 이러한 예시에 한정되는 것은 아니다. Meanwhile, the control model generated according to the method for generating a control model of a greenhouse system according to an embodiment of the present invention includes collecting state information of a greenhouse system, and inputting state information into a first learned neural network (value function). It can be used by the processor, including the step of outputting the optimal control operation by the first neural network and applying the control operation to the greenhouse system. However, the method using the control model as one example is not limited to these examples.
도 6은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델 생성 방법에 따라 생성된 제어 모델을 포함하는 온실 제어 장치(600)의 구성도이다. 6 is a configuration diagram of a
도 6을 참조하면, 본 발명의 일 실시예에 따른 온실 제어 장치(600)는 센서부(610), 제어 모델(620) 및 제어 장치(630)를 포함한다. Referring to FIG. 6, the
센서부(610)는 온실의 상태에 관한 정보를 측정한다. 이때 센서부(610)는 온도계, 습도계, 살충제 농도 센서, 농작물 크기 측정 센서 등을 포함할 수 있다. 이를 통해 제어 모델(620)에 입력될 제2 변수의 값을 측정할 수 있다. The
제어 모델(620)은 본 발명의 일 실시예에 따른 온실 시스템의 제어 모델(620) 생성 방법에 따라 학습이 완료된 제1 신경망 및 제2 신경망을 포함하고, 특정 상태에 대한 정보를 입력 받으면 이에 대해 취해야 할 최적의 제어 동작에 대한 정보를 출력할 수 있다. The
제어 장치(630)는 센서부(610)에 의해 측정된 온실의 상태에 관한 정보를 제어 모델(620)에 입력하여 출력된 제어 동작을 기초로 온실의 시설물을 제어할 수 있다. 예를 들면, 환기를 위해 팬을 가동하거나, 온실의 커튼을 열거나, 온실 내부에 물을 주입하거나, 온실 외부에 물을 주입하거나, 살충제를 분사하거나, 빛을 조사하거나, 영양분을 분사하거나, 수확기를 가동하는 등의 동작을 위해 시설물을 제어할 수 있다. The
이에 따라, 온실 제어 장치(600)는 실제 온실에 사용되어 온실의 상태를 조절하는 시설물을 제어함으로써 온실의 생육환경을 효과적으로 유지시킬 수 있다.Accordingly, the
한편, 도 6의 실시예가 포함하는 센서부(610), 제어 모델(620), 제어부(630)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. Meanwhile, the
이처럼 상술한 실시예에 따르면, 온실의 외부 환경과 내부 환경이 다르기 때문에 온실의 상태 변화를 반영하도록 설계된 비선형 온실 시스템을 기반으로 제어 모델을 생성하므로 현실의 온실 시스템 제어를 효과적으로 수행할 수 있다. According to the above-described embodiment, since the external environment and the internal environment of the greenhouse are different, a control model is generated based on the nonlinear greenhouse system designed to reflect the state change of the greenhouse, so that the actual greenhouse system control can be effectively performed.
이때 비선형 온실 시스템에 대한 제어 동작을 수행하는 모델을 생성함에 있어서 가치 함수 및 정책 함수를 별도의 신경망으로 구성함으로써 하나의 신경망을 사용하는 것에 비해 현저한 효과를 달성할 수 있다. At this time, in creating a model that performs a control operation for a nonlinear greenhouse system, a significant function can be achieved compared to using a single neural network by configuring the value function and the policy function as separate neural networks.
이에 따라, 온실 시스템에 취하는 여러 가지 제어 동작을 동시에 취하는 기존 기술과 달리 가장 효과적인 동작으로 온실 시스템의 생육환경을 효율적으로 유지시킬 수 있다. Accordingly, unlike the existing technology that simultaneously takes a number of control actions for the greenhouse system, it is possible to efficiently maintain the growth environment of the greenhouse system with the most effective action.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention can be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.For implementation by hardware, the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.In the case of implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which software code or the like is recorded may be stored in a computer-readable recording medium or memory unit and driven by a processor. The memory unit is located inside or outside the processor, and can exchange data with the processor by various known means.
또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Also, combinations of each block of the block diagram and each step of the flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions may be mounted on an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, the instructions performed through the encoding processor of a computer or other programmable data processing equipment may include each block in the block diagram or In each step of the flowchart, means are created to perform the functions described. These computer program instructions can also be stored in computer readable or computer readable memory that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular way, so that computer readable or computer readable memory The instructions stored in it are also possible to produce an article of manufacture containing instructions means for performing the functions described in each block or flowchart step of the block diagram. Since computer program instructions may be mounted on a computer or other programmable data processing equipment, a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for executing the functions described in each block of the block diagram and in each step of the flowchart.
더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or step may represent a module, segment, or part of code that includes one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments it is possible that the functions mentioned in blocks or steps occur out of order. For example, two blocks or steps shown in succession may in fact be executed substantially simultaneously, or it is also possible that the blocks or steps are sometimes performed in reverse order depending on the corresponding function.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will appreciate that the present invention may be implemented in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the detailed description, and all modifications or variations derived from the meaning and scope of the claims and their equivalent concepts should be interpreted to be included in the scope of the present invention. .
600: 온실 제어 장치
610: 센서부
620: 제어 모델
630: 제어부 600: greenhouse control device
610: sensor unit
620: control model
630: control unit
Claims (13)
온실의 상태를 구성하는 복수의 변수, 상기 변수의 값을 변화시키는 제어 동작, 상기 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙, 상기 온실의 상태가 특정한 상태에 도달하거나 또는 특정한 상태가 유지되는 경우의 보상을 설정하여 상기 온실 시스템을 생성하는 단계;
상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 어느 하나를 행함에 따라 달성하게 될 보상을 예측하는 가치 함수를 학습하는 제1 신경망을 생성하는 단계;
상기 온실 시스템이 가질 수 있는 각각의 상태에서 상기 제어 동작 중 최종적으로 축적될 보상을 최대화하는 제어 동작을 도출하는 정책 함수를 상기 각각의 상태 마다 상기 가치 함수의 예측값을 기초로 학습하는 제2 신경망을 생성하는 단계; 및
상기 제2 신경망의 그래디언트를 상기 제1 신경망의 비용 함수에 적용하여 상기 제1 신경망을 학습시키고, 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 제2 신경망을 학습시키는 단계를 포함하는
온실 시스템의 제어 모델 생성 방법.A method for generating a control model of a greenhouse system performed by one or more processors,
A plurality of variables constituting the state of the greenhouse, a control operation for changing the value of the variable, a rule in which a change in the value of one of the variables affects the value of the other variable, the state of the greenhouse reaches a specific state, or Or generating a greenhouse system by setting compensation when a specific state is maintained;
Generating a first neural network learning a value function predicting a reward to be achieved by performing any one of the control operations in each state that the greenhouse system may have;
A second neural network that learns a policy function that derives a control action that maximizes compensation to be finally accumulated among the control actions in each state that the greenhouse system may have, based on the predicted value of the value function for each state. Generating; And
And applying the gradient of the second neural network to the cost function of the first neural network to train the first neural network, and learning the second neural network to minimize the cost function of the first neural network.
How to create a control model for a greenhouse system.
상기 학습시키는 단계는,
상기 온실 시스템의 상태가 시작 상태로부터 종료 상태가 되기까지의 각 상태마다 상기 정책 함수와 상기 가치 함수를 기초로 도출되는 제어 동작이 행해진 후 상기 온실 시스템의 새로운 상태를 상기 제1 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 가치 함수를 업데이트하고, 상기 가치 함수의 예측값과 상기 새로운 상태를 상기 제2 신경망에 입력하여 상기 제1 신경망의 비용 함수가 최소가 되도록 상기 정책 함수를 업데이트하는 단계를 포함하는
온실 시스템의 제어 모델 생성 방법.According to claim 1,
The step of learning,
After a control operation derived based on the policy function and the value function is performed for each state from the start state to the end state of the greenhouse system, a new state of the greenhouse system is input to the first neural network, and the Update the value function to minimize the cost function of the first neural network, and update the policy function so that the cost function of the first neural network is minimized by inputting the predicted value of the value function and the new state into the second neural network. Comprising the steps of
How to create a control model for a greenhouse system.
상기 제1 신경망의 비용 함수는,
상기 가치 함수가 예측한 보상과 실제 보상에 대한 MSE(mean square error) 함수인
온실 시스템의 제어 모델 생성 방법.According to claim 1,
The cost function of the first neural network,
The value function is a mean square error (MSE) function for predicted and actual rewards.
How to create a control model for a greenhouse system.
상기 온실 시스템을 생성하는 단계는,
생육 작물의 종류에 따라 상기 복수의 변수 중 일부를 삭제하거나, 새로운 변수를 추가하는 단계를 포함하는
온실 시스템의 제어 모델 생성 방법.According to claim 1,
The step of generating the greenhouse system,
Deleting some of the plurality of variables, or adding a new variable according to the type of growing crop
How to create a control model for a greenhouse system.
상기 온실 시스템은,
상기 온실 시스템의 상태를 구성하는 변수 중 적어도 하나의 변화가 다른 변수에 비선형적으로 영향을 미치도록 설정되어 있는
온실 시스템의 제어 모델 생성 방법.According to claim 1,
The greenhouse system,
At least one change among variables constituting the state of the greenhouse system is set to nonlinearly affect the other variable.
How to create a control model for a greenhouse system.
상기 복수의 변수는
실제 온실을 구성하는 경우 측정이 어려운 변수인 제1 변수 및 상기 실제 온실을 구성하는 경우 측정이 가능한 제2 변수를 포함하고,
상기 온실 시스템을 생성하는 단계는,
상기 제1 변수 중 어느 하나의 값의 변화가 상기 온실 시스템의 상태에 미치는 영향을 피팅 알고리즘(fitting algorithm)을 기초로 도출하는 단계; 및
상기 제2 변수 중 어느 하나의 값의 변화가 다른 변수의 값에 영향을 미치는 규칙을 설정하는 단계를 포함하는
온실 시스템의 제어 모델 생성 방법.The method of claim 5,
The plurality of variables
When constructing an actual greenhouse, the first variable that is difficult to measure and the second variable that can be measured when constructing the actual greenhouse include the
The step of generating the greenhouse system,
Deriving an effect of changing a value of any one of the first variables on the state of the greenhouse system based on a fitting algorithm; And
And setting a rule in which a change in the value of one of the second variables affects the value of the other variable.
How to create a control model for a greenhouse system.
상기 제1 변수는 외부 온도, 외부 공기 습도, 날씨, 물 온도 중 적어도 하나를 포함하고,
상기 제2 변수는 내부 온도, 내부 공기 습도, 내부 토양 습도, 작물의 성장도, 살충제 농도, 사람 존재 여부, 해충 존재 여부, 농작 실패 중 적어도 하나를 포함하는
온실 시스템의 제어 모델 생성 방법.The method of claim 6,
The first variable includes at least one of external temperature, external air humidity, weather, and water temperature,
The second variable includes at least one of internal temperature, internal air humidity, internal soil humidity, crop growth, pesticide concentration, human presence, pest presence, and crop failure.
How to create a control model for a greenhouse system.
상기 제어 동작은,
팬 가동, 커튼 열기, 내부 물 주입, 외부 물 주입, 살충제 분사, 빛 조사, 영양분 분사, 수확 중 적어도 하나를 포함하는
온실 시스템의 제어 모델 생성 방법.The method of claim 7,
The control operation,
Fan operation, curtain opening, internal water injection, external water injection, pesticide spraying, light irradiation, nutrient spraying, containing at least one of the following:
How to create a control model for a greenhouse system.
상기 규칙은,
환풍기 켜기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
창문 열기가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
상기 내부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
상기 외부 물 주입이 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고,
상기 살충제 분사가 상기 내부 공기 습도, 상기 내부 토양 습도, 상기 살충제 농도를 변화시키고,
상기 빛 조사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고,
상기 영양분 분사가 상기 내부 온도, 상기 내부 공기 습도, 상기 내부 토양 습도를 변화시키고,
상기 수확은 상기 작물의 성장도를 초기화시키는 것으로 설정되고,
상기 특정한 상태는,
상기 작물의 성장도가 기 설정된 범위 이내일 때 상기 수확의 동작이 취해진 상태인
온실 시스템의 제어 모델 생성 방법.The method of claim 8,
The rules are:
Turning on the ventilator changes the internal temperature, the internal air humidity, the internal soil humidity, and the pesticide concentration,
Window opening changes the internal temperature, the internal air humidity, the internal soil humidity, and the pesticide concentration,
The internal water injection changes the internal temperature, the internal air humidity, the internal soil humidity, and the pesticide concentration,
The external water injection changes the internal temperature, the internal air humidity, and the internal soil humidity,
The insecticide spray changes the internal air humidity, the internal soil humidity, and the pesticide concentration,
The light irradiation changes the internal temperature, the internal air humidity, and the internal soil humidity,
The nutrient injection changes the internal temperature, the internal air humidity, the internal soil humidity,
The harvest is set to initialize the growth of the crop,
The specific state,
When the growth of the crop is within a predetermined range, the operation of the harvest is taken
How to create a control model for a greenhouse system.
상기 제어 동작 중 적어도 하나의 제어 동작은 상기 제2 변수에 비선형적 영향을 미치고,
상기 제2 변수는,
(상기
온실 시스템의 제어 모델 생성 방법.The method of claim 8,
At least one of the control operations has a non-linear effect on the second variable,
The second variable,
(remind
How to create a control model for a greenhouse system.
제1항 내지 제8항 중 어느 한 항의 방법에 의해 생성된 상기 제1 신경망 및 상기 제2 신경망을 포함하는 제어 모델; 및
상기 측정된 온실의 상태에 관한 정보를 상기 제어 모델에 입력하여 출력된 제어 동작을 기초로 상기 온실의 상태를 조절하는 시설물을 제어하는 제어부를 포함하는
온실 제어 장치.A sensor unit for measuring information on the state of the greenhouse;
A control model comprising the first neural network and the second neural network generated by the method of any one of claims 1 to 8; And
And a control unit for controlling the facility to adjust the state of the greenhouse based on the output control operation by inputting information on the measured greenhouse state into the control model.
Greenhouse control device.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170134095 | 2017-10-16 | ||
| KR20170134095 | 2017-10-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190042420A KR20190042420A (en) | 2019-04-24 |
| KR102100350B1 true KR102100350B1 (en) | 2020-04-14 |
Family
ID=66282397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180011904A KR102100350B1 (en) | 2017-10-16 | 2018-01-31 | Method for generating control model of greenhouse system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102100350B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116047899B (en) * | 2022-12-08 | 2024-05-24 | 扬州市职业大学(扬州开放大学) | Self-adaptive compensation analysis control method and system for valve |
| CN116449897B (en) * | 2023-06-08 | 2023-10-20 | 北京市农林科学院智能装备技术研究中心 | Greenhouse environment optimal control method, server and system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018083671A1 (en) | 2016-11-04 | 2018-05-11 | Deepmind Technologies Limited | Reinforcement learning with auxiliary tasks |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170028721A (en) * | 2015-09-04 | 2017-03-14 | 주식회사 케이티 | System for controling greenhouse environment and parameter of controller of greenhouse |
-
2018
- 2018-01-31 KR KR1020180011904A patent/KR102100350B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018083671A1 (en) | 2016-11-04 | 2018-05-11 | Deepmind Technologies Limited | Reinforcement learning with auxiliary tasks |
Non-Patent Citations (2)
| Title |
|---|
| Volodymyr Mnih 외 7명. Asynchronous Methods for Deep Reinforcement Learning. 2016.6.16. |
| 김병수 외 2명. 온실 환경 모델링 및 시뮬레이션을 통한 최적의 제어 파라미터 도출. 2016년 4월 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190042420A (en) | 2019-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kang et al. | From parallel plants to smart plants: intelligent control and management for plant growth | |
| MacNeil et al. | Fine-tuning and the stability of recurrent neural networks | |
| del Sagrado et al. | Bayesian networks for greenhouse temperature control | |
| CN103197538B (en) | Brooder temperature control method based on process neural network | |
| KR102100350B1 (en) | Method for generating control model of greenhouse system | |
| US20220248616A1 (en) | Irrigation control with deep reinforcement learning and smart scheduling | |
| Mikhael et al. | The role of state uncertainty in the dynamics of dopamine | |
| KR20170028721A (en) | System for controling greenhouse environment and parameter of controller of greenhouse | |
| Nowé et al. | A gentle introduction to reinforcement learning | |
| Egbert et al. | Habit-Based Regulation Of Essential Variables. | |
| CN117575094A (en) | Crop yield prediction and optimization method and device based on digital twin | |
| Nundloll et al. | Influence of intrapredatory interferences on impulsive biological control efficiency | |
| US11557372B2 (en) | Prediction device, gene estimation device, prediction method, and non-transitory recording medium | |
| CN117252344A (en) | Suitability evaluation method and device for cultivation facility, electronic equipment and storage medium | |
| KR20200057836A (en) | Apparatus and Method for Controlling Multiple windows in a greenhouse | |
| CN111034596B (en) | Water culture flower rooting induction cultivation method based on reinforcement learning | |
| Sivamani et al. | A rule based event-driven control service for vertical farm system | |
| Walczuch et al. | Overview of closed-loop control systems and artificial intelligence utilization in greenhouse farming | |
| Coelho et al. | Greenhouse air temperature control using the particle swarm optimisation algorithm | |
| JP7024733B2 (en) | Information processing equipment, information processing method, and information processing program | |
| eddine LACHOURI et al. | Adaptive neuro-fuzzy inference systems for modeling greenhouse climate | |
| Jansen | Optimal Control of Lettuce Greenhouse Horticulture using Model-Free Reinforcement Learning | |
| Sheketa et al. | Case-based modelling of data and knowledge | |
| Agostini et al. | Learning weakly correlated cause–effects for gardening with a cognitive system | |
| Devillers | Active Interference for Weed Detection using a Robot Dog |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |