KR20230061863A - 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법 - Google Patents

합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법 Download PDF

Info

Publication number
KR20230061863A
KR20230061863A KR1020210146543A KR20210146543A KR20230061863A KR 20230061863 A KR20230061863 A KR 20230061863A KR 1020210146543 A KR1020210146543 A KR 1020210146543A KR 20210146543 A KR20210146543 A KR 20210146543A KR 20230061863 A KR20230061863 A KR 20230061863A
Authority
KR
South Korea
Prior art keywords
stage
fruit
data
immature
image
Prior art date
Application number
KR1020210146543A
Other languages
English (en)
Inventor
손정익
문태원
박준영
김현태
Original Assignee
서울대학교산학협력단
경상국립대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 경상국립대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020210146543A priority Critical patent/KR20230061863A/ko
Publication of KR20230061863A publication Critical patent/KR20230061863A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G17/00—Cultivation of hops, vines, fruit trees, or like trees
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G22/00—Cultivation of specific crops or plants not otherwise provided for
    • A01G22/05—Fruit crops, e.g. strawberries, tomatoes or cucumbers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Botany (AREA)
  • Environmental Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법이 개시된다.
이 장치의 학습부는 과실을 포함하는 식물의 이미지, 식물이 재배되는 환경 데이터 및 식물의 성장 데이터를 포함하는 훈련 데이터를 사용하여 딥러닝 알고리즘을 학습시킨다. 수집부는 이미지, 환경 데이터 및 성장 데이터를 수집한다. 예측부는 이미지, 환경 데이터 및 성장 데이터에 대해 학습부에 의해 학습된 딥러닝 알고리즘을 적용하여 이미지 내에 포함된 과실별 발달 단계 예측을 수행한다. 과실의 발달 단계는 4개의 미숙 단계, 변색 단계 및 성숙 단계 중 하나이다.

Description

합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법 {APPARATUS FOR PREDICTING FRUIT DEVELOPMENT STAGE USING ENSEMBLE MODEL OF CONVOLUTIONAL NEURAL NETWORK AND MULTI LAYER PERCEPTRON AND METHOD THEREOF}
본 발명은 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법에 관한 것이다.
작물 성장의 전략적 관리는 과실 수확의 품질과 수확량을 향상시키는 데 도움이 될 수 있다.
작물 성장의 환경 조건은 과실의 품질과 수확량을 결정하며 핵심 요인은 과실의 생리학적 단계에 따라 달라질 수 있다.
한편, 과실의 수확 시기는 과실의 발달 단계와 밀접한 관련이 있기 때문에 과실의 발달 단계의 예측은 전략적이고 정확한 작물 관리에 매우 중요하다.
과실의 생리학적 단계는 검출 및 분류와 함께 연구되었다. 과실은 잎과 다른 특성을 가지고 있기 때문에 나무에서 과실을 감지하는 것은 분류보다 더 쉬울 수 있다. 예를 들어, 컴퓨터 비전을 기반으로 과실의 발달 단계를 분류하려면 고정된 배경과 같은 보다 엄격한 제한 조건이 필요하다.
한편, 딥러닝 기반의 객체 검출 기술은 합성곱신경망(Convolutional Neural Network, CNN)을 기반으로 발전을 거듭하여 R-CNN(Region-Convolutional Neural Network), Fast R-CNN, Faster R-CNN을 거쳐 YOLO(You only Look Once), SSD(Single Shot Detector) 등의 빠르고 검출율이 높은 단계까지 발전하고 있다. 이러한 객체 검출 기술은 꾸준히 발전하여 인간의 인지 능력에 대체할 수준까지 발전하고 있다.
과실의 성장과 관련하여 CNN 등의 딥러닝 기반의 객체 검출 기술이 사용되고는 있으나, 전체 과실 발달 단계에 대한 개별 과실보다 수확 전 제한된 성장 기간 동안 전체 과실을 예측하는 수준에 그치고 있다.
따라서, 과채류 재배시 노동력을 할당하고 전략적으로 잘 관리하기 위해서 개별 과실의 발달 단계를 추정하는 것이 중요하므로, 과실의 발달 달계를 세분화하여 예측하는 방식에 대한 기술이 요구된다.
본 발명의 해결하고자 하는 과제는 과실의 정확한 발달 단계를 예측할 수 있는 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법을 제공하는 것이다.
상기한 바와 같은 본 발명의 과제를 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 측면에 따르면, 발달 단계 예측 장치가 제공되며, 이 장치는,
과실의 발달 단계를 예측하는 장치로서, 과실을 포함하는 식물의 이미지, 식물이 재배되는 환경 데이터 및 식물의 성장 데이터를 포함하는 훈련 데이터를 사용하여 딥러닝 알고리즘을 학습시키는 학습부, 상기 이미지, 환경 데이터 및 성장 데이터를 수집하는 수집부, 그리고 상기 이미지, 환경 데이터 및 성장 데이터에 대해 상기 학습부에 의해 학습된 딥러닝 알고리즘을 적용하여 상기 이미지 내에 포함된 과실별 발달 단계 예측을 수행하는 예측부를 포함하며, 상기 과실의 발달 단계는 적어도 둘 이상의 미숙 단계, 변색 단계 및 성숙 단계 중 하나이다.
여기서, 상기 과실의 발달 단계는 과일의 생리학적 변화와 수확전일(days before havest, DBH)에 따라 분류된다.
또한, 상기 미숙 단계는, 과실 팽창이 시작되는 +35 DBH를 기준으로 분류되는 제1 미숙 단계, 과실 팽창이 완료되는 25~35 DBH를 기준으로 분류되는 제2 미숙 단계, 과실이 완전한 크기에 도달하는 15~25 DBH를 기준으로 분류되는 제3 미숙 단계, 그리고 15 DBH에서 상기 변색 단계까지를 기준으로 분류되는 제4 미숙 단계로 세분화된다.
또한, 상기 딥러닝 알고리즘은, 상기 식물의 이미지를 사용하여 상기 이미지 내에 포함된 과실별로 미숙 단계, 변색 단계 및 성숙 단계 중 하나의 단계를 예측하는 합성곱신경망(Convolutional Neural Network, CNN)과, 상기 합성곱신경망에 의해 미숙 단계로 예측되는 과실에 대해 상기 합성곱신경망에서의 예측 결과, 상기 환경 데이터 및 상기 성장 데이터를 함께 사용하여 상기 4개의 미숙 단계 중 하나의 단계로 예측하는 다층 퍼셉트론(Multi Layer Perceptron, MLP)으로 구성된 앙상블 모델(ensemble model)이다.
또한, 상기 학습부는, 상기 수집부에 의해 수집되는 이미지를 상기 앙상블 모델에서 사용하기 위한 이미지로 조정하는 전처리부, 전처리된 훈련 데이터에 대해 상기 앙상블 모델을 사용하여 대응되는 과실별 발달 단계 예측 데이터를 생성하는 예측 학습부, 그리고 상기 예측 학습부에 의한 반복 학습 수행을 제어하는 제어부를 포함한다.
또한, 상기 환경 데이터는 온실 내 온도, 상대습도 및 일사량을 포함하고, 상기 성장 데이터는 식물의 마디 수, 연령 및 현재와 이전 수확량을 포함한다.
본 발명의 다른 측면에 따르면, 발달 단계 예측 방법이 제공되며, 이 방법은,
발달 단계 예측 장치가 과실의 발달 단계를 예측하는 방법으로서, 과실을 포함하는 식물의 이미지, 식물이 재배되는 환경 데이터 및 식물의 성장 데이터를 수집하는 단계, 상기 이미지, 환경 데이터 및 성장 데이터에 대해 미리 학습된 딥러닝 알고리즘을 적용하여 상기 이미지 내에 포함된 과실별 발달 단계를 예측하는 단계 - 상기 딥러닝 알고리즘은 상기 식물 이미지, 상기 환경 데이터 및 상기 성장 데이터를 포함하는 훈련 데이터를 사용하여 미리 학습됨 -, 그리고 상기 과실별 발달 단계 예측 결과를 제공하는 단계를 포함하며, 상기 과실의 발달 단계는 적어도 둘 이상의 미숙 단계, 변색 단계 및 성숙 단계 중 하나이다.
여기서, 상기 과실의 발달 단계는 과일의 생리학적 변화와 수확전일에 따라 분류되고, 상기 미숙 단계는, 과실 팽창이 시작되는 +35 DBH를 기준으로 분류되는 제1 미숙 단계, 과실 팽창이 완료되는 25~35 DBH를 기준으로 분류되는 제2 미숙 단계, 과실이 완전한 크기에 도달하는 15~25 DBH를 기준으로 분류되는 제3 미숙 단계, 그리고 15 DBH에서 상기 변색 단계까지를 기준으로 분류되는 제4 미숙 단계로 세분화된다.
또한, 상기 딥러닝 알고리즘은, 상기 식물의 이미지를 사용하여 상기 이미지 내에 포함된 과실별로 미숙 단계, 변색 단계 및 성숙 단계 중 하나의 단계를 예측하는 합성곱신경망(CNN)과, 상기 합성곱신경망에 의해 미숙 단계로 예측되는 과실에 대해 상기 합성곱신경망에서의 예측 결과, 상기 환경 데이터 및 상기 성장 데이터를 함께 사용하여 상기 4개의 미숙 단계 중 하나의 단계로 예측하는 다층 퍼셉트론(MLP)으로 구성된 앙상블 모델이다.
또한, 상기 수집하는 단계 전에, 훈련 데이터를 사용하여 상기 앙상블 모델을 훈련시키는 단계를 더 포함하며, 상기 훈련 데이터는 상기 이미지, 환경 데이터 및 성장 데이터에 대응하는 과실의 발달 단계를 더 포함한다.
또한, 상기 훈련시키는 단계는, 상기 훈련 데이터 중 이미지를 상기 앙상블 모델에서 사용하기 위한 이미지로 조정하는 단계, 그리고 상기 훈련 데이터에 대해 상기 앙상블 모델을 사용하여 대응되는 과실별 발달 단계 예측 데이터를 생성하는 단계를 포함한다.
또한, 상기 발달 단계 예측 데이터를 생성하는 단계는, 상기 훈련 데이터 중 이미지에 대해 상기 앙상블 모델의 CNN을 적용하여 상기 이미지 내의 과실별로 미숙 단계, 변색 단계 및 성숙 단계 중 하나의 단계를 예측하는 단계, 상기 CNN에 의해 미숙 단계로 예측된 과실에 대해, 상기 CNN에 의해 예측된 정보, 상기 환경 데이터 및 상기 성장 데이터를 상기 MLP에 적용하여 상기 4개의 미숙 단계 중에 하나의 미숙 단계를 예측하는 단계, 그리고 상기 훈련 데이터 모두에 대해 상기 하나의 단계를 예측하는 단계 및 상기 하나의 미숙 단계를 예측하는 단계를 수행하여 상기 앙상블 모델을 구축하는 단계를 포함한다.
본 발명의 실시예에 따르면, 과실을 재배하는 온실에서 외관이 변하지 않는 상태로 비교적 오랜 기간 작물에 매달려 생장을 지속하는 과실의 정확한 발달 단계를 예측할 수 있다.
또한, 발달 단계를 정확히 추정함으로써 수확 시기를 대략적으로 예측할 수 있고, 이로 인해 노동력 배분 및 재배 전략 수립에 도움을 줄 수 있다.
또한, 수집되는 데이터에 따라 기타 다른 과채류로의 확장이 용이하다.
도 1은 본 발명의 실시예에 따른 발달 단계 예측 장치가 적용되는 예를 도시한 도면이다.
도 2는 도 1에 도시된 발달 단계 예측 장치의 구체적인 구성도이다.
도 3은 본 발명의 실시예에 따라 분류된 과실 발달 단계의 예를 도시한 도면이다.
도 4는 도 2에 도시된 학습부의 개략적인 구성도이다.
도 5는 도 4에 도시된 앙상블 모델을 사용한 학습 과정을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 발달 단계 예측 장치에서 앙상블 모델 훈련을 위해 사용되는 훈련 데이터 수집에 사용되는 식물 재배 환경을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 발달 단계 예측 장치에서 학습된 앙상블 모델의 평가 예를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 앙상블 모델을 학습하는 과정의 흐름도이다.
도 9는 본 발명의 실시예에 따른 과실 발달 단계 예측 방법의 개략적인 흐름도이다.
도 10은 본 발명의 실시예에 따른 발달 단계 예측 장치에서 입력에 따라 수행된 과실 발달 단계 예측 결과를 도시한 도면이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명에서 설명하는 장치는 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령(instructions)을 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.
본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.
본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 도면을 참고하여 설명한 실시예들에서, 임의의 실시예로 단독 구현될 수도 있고, 여러 실시예가 병합되거나 분할될 수도 있고, 각 실시예에서 특정 동작은 수행되지 않을 수 있다.
도 1은 본 발명의 실시예에 따른 발달 단계 예측 장치가 적용되는 예를 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 발달 단계 예측 장치(100)와 데이터 수집 장치(200)는 서로 네트워크(300)를 통해 연결되어 상호간에 데이터 송수신이 가능하다.
데이터 수집 장치(200)는 하나 이상의 온실 환경 모니터링에 의해 취득되는 온실의 환경 데이터 및 식물의 성장 데이터와, 사용자에 의해 촬영된 식물의 이미지를 수집한다. 여기서, 온실의 환경 데이터에는 온실 내 온도, 상대습도, 일사량 등이 포함되고, 식불의 성장 데이터에는 마디 수, 작물 연령, 현재 및 이전 수확량 등이 포함된다.
발달 단계 예측 장치(100)는 네트워크(300)를 통해 데이터 수집 장치(200)로부터 환경 데이터, 성장 데이터 및 이미지를 수집한다.
발달 단계 예측 장치(100)는 수집된 환경 데이터, 성장 데이터 및 이미지를 미리 학습된 딥러닝 알고리즘의 앙상블 모델(ensemble model)에 적용하여 과실의 예측된 발달 단계와 그 위치 등을 제공하거나 또는 표시한다.
여기서, 미리 학습된 딥러닝 알고리즘의 앙상블 모델은 하나 이상의 온실로부터 수집되는 훈련 데이터 세트(환경 데이터, 성장 데이터 및 이미지와 이에 대응하는 과실 발달 단계 포함)에 대해 과실 발달 단계 예측을 반복 수행하여 최종 과실 발달 단계를 예측하도록 하는 인공 신경망을 나타낸다. 구체적으로는, 본 발명의 실시예에 따른 앙상블 모델은 합성곱신경망(CNN)과 다층 퍼셉트론(Multi Layer Perceptron, MLP)이 결합된 형태의 모델이다. 즉, 발달 단계 예측 장치(100)는 수집된 훈련 데이터 세트를 사용하여 과실 발달 단계를 예측하도록 합성곱신경망과 다층 퍼셉트론을 반복 학습시켜서 학습된 딥러닝 알고리즘의 앙상블 모델을 미리 구축할 수 있다.
한편, 전술한 네트워크(300)는 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 또는 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.
또한, 데이터 수집 장치(200)는 도 1에 도시된 바와 같이 발달 단계 예측 장치(100)와 별개로 단독으로 구성되는 것 외에, 다르게는 발달 단계 예측 장치(100)와 결합되거나 또는 발달 단계 예측 장치(100) 내에 포함되는 형태로 구성될 수도 있다.
도 2는 도 1에 도시된 발달 단계 예측 장치(100)의 구체적인 구성도이다.
도 2에 도시된 바와 같이, 발달 단계 예측 장치(100)는 수집부(110), 예측부(120) 및 학습부(130)를 포함한다.
수집부(110)는 과실 발달 단계 예측을 위해 사용되는 과실의 이미지, 온실의 환경 데이터 및 식물의 성장 데이터를 수집한다. 구체적으로는, 수집부(110)는 데이터 수집 장치(200)에 의해 온실 환경 모니터링에 의해 취득되는 환경 데이터 및 성장 데이터와 사진 촬영을 통해 취득되는 이미지를 네트워크(300)를 통해 또는 직접 연결을 통해 수집할 수 있다.
예측부(120)는 수집부(110)에 의해 수집되는 데이터, 즉, 식물 이미지, 온실 환경 데이터 및 식물 성장 데이터를 학습부(130)에 의해 미리 학습된 딥러닝 알고리즘의 앙상블 모델에 적용하여 예측된 과실 발달 단계 정보를 생성한다.
예를 들어, 본 발명의 실시예에 따른 과실의 발달 단계는 크게는 도 3에 도시된 바와 같이, 미숙 단계(immature, IM)(10), 변색 단계(breaking, B)(20) 및 성숙 단계(mature, M)(30)와 같이 3개의 단계로 분류하고, 이 중에서, 미숙 단계(10)에 대해서는 보다 세분하여 구체적으로 둘 이상의 단계, 예를 들어 4개의 단계, 즉 제1 미숙 단계(IM1)(11), 제2 미숙 단계(IM2)(12), 제3 미숙 단계(IM3)(13) 및 제4 미숙 단계(IM4)(14)로 분류한다. 이러한 과실 발달 단계는 과일의 생리학적 변화와 수확전일(days before harvest, DBH)에 따라 분류된다. 전술한 제1 미숙 단계(IM1)(11)는 과실 팽창이 시작되는 대략 +35 DBH를 기준으로 분류하고, 제2 미숙 단계(IM2)(12)는 과실 팽창이 거의 완료되는 25~35 DBH를 기준으로 분류하며, 제3 미숙 단계(IM3)(13)는 과실이 완전한 크기에 도달하는 15~25 DBH를 기준으로 분류하고, 제4 미숙 단계(IM4)(14)는 15 DBH에서 미숙의 마지막 단계인 변색 단계(20)까지를 기준으로 분류한다.
한편, 전술한 변색 단계(B)(20)는 카로티노이드 합성 및 엽록소 환원에 의해 과실 색이 보라색 상태에서 녹색 및 적색의 얼룩덜룩한 상태로 변하는 기준인 약 7 DBH를 기준으로 분류한다. 성숙 단계(M)(30)는 과실의 표면이 95% 정도로 착색된 수확기를 기준으로 분류한다.
예측부(120)에서 앙상블 모델에 의해 과실 발달 단계 정보가 예측될 때 구체적으로는 앙상블 모델의 합성곱신경망에 의해 식물의 이미지가 사용되어 과실에 포함된 과실별 이미지가 검출되고, 검출된 이미지에 대해 3가지 과실 발달 단계, 즉 미숙(10), 변색(20) 및 성숙(30)가 예측되며, 그 후 다층 퍼셉트론에 의해 합성곱신경망에 의해 예측된 과실의 발달 단계가 미숙인 경우에만 합성곱신경망에 의해 출력되는 데이터와 온실의 환경 데이터 및 식물의 성장 데이터가 사용되어 과실의 구체적인 미숙 단계, 즉 4개의 미숙 단계가 에측된다.
이와 같이, 예측부(120)는 앙상블 모델을 적용하여 과실의 발달 단계를 6개의 발달 단계로 구분하여 예측할 수 있다.
학습부(130)는 과실의 발달 단계에 대한 예측 데이터를 생성하는 딥러닝 알고리즘의 앙상블 모델을 미리 반복 학습시켜서 학습된 앙상블 모델을 구축한다.
구체적으로, 학습부(130)는 온실로부터 수집되는 환경 데이터, 식물의 성장 데이터 및 식물의 이미지와 이에 대응하는 과실 발달 단계로 구성된 훈련 데이터 세트에 따른 과실 발달 단계 예측을 수행하도록 합성곱신경망과 다층 프셉트론이 결합된 앙상블 모델을 반복 학습시켜서 학습된 딥러닝 알고리즘의 앙상블 모델을 미리 구축할 수 있다.
도 4는 도 2에 도시된 학습부(130)의 개략적인 구성도이다.
도 4에 도시된 바와 같이, 학습부(130)는 전처리부(131), 예측 학습부(132) 및 제어부(133)를 포함한다.
전처리부(141)는 미리 준비된 훈련 데이터 세트에 대해 예측 학습부(132)에서 사용될 입력 데이터로의 전처리를 수행한다. 예를 들어, 식물 이미지는 과일 수확 전에 획득될 수 있다. 이러한 이미지는 스태빌라이저를 사용하여 1,920Х1,080 해상도의 스마트폰을 사용하여 자연광 조건에서 식물의 각 측면에서 총 7,682개의 이미지로 수집될 수 있다. 이와 같이 수집된 이미지에 대해 예측 학습을 위한 사용을 위해 960 dpi(인치 당 도트 수) 해상도로 1,024Х1,024 크기의 이미지로 조정하는 전처리가 수행될 수 있다. 환경 데이터와 성장 데이터에 대해서도 예측 학습부(132)에서의 예측 학습을 위한 데이터의 조정이 필요한 경우 전처리부(141)에서 수행될 수 있다.
예측 학습부(132)는 전처리부(131)에 의해 전처리가 수행된 입력 데이터에 대해 딥러닝 알고리즘의 앙상블 모델(1320)을 적용하여 이미지에 포함되어 있는 과실별로 예측된 발달 단계 정보를 생성한다. 이러한 앙상블 모델(1320)에 대해서는 추후 다시 구체적으로 설명한다.
제어부(133)는 예측 학습부(132)에 대한 반복 학습 수행을 제어하여 예측 학습부(132)의 반복 학습 수행에 따른 최종 학습된 앙상블 모델(1320)이 구축될 수 있도록 한다. 예를 들어, 제어부(133)는 예측 학습부(132)에 의해 생성된 예측 정보에 기초하여 예측 학습부(132)에 대한 반복 학습 수행을 제어한다.
이와 같이, 학습부(130)는 훈련 데이터 세트로부터 생성되는 과실의 발달 단계 예측이 보다 정확하게 수행되는 방향으로 학습된 앙상블 모델(1320)을 구축할 수 있다.
이하에서는 학습부(130)가 딥러닝 알고리즘의 앙상블 모델(1320), 구체적으로는 합성곱신경망(CNN)과 다층 퍼셉트론(MLP)가 결합된 모델을 통해 학습하는 과정에 대해 설명한다.
도 5는 도 4에 도시된 앙상블 모델(1320)을 사용한 학습 과정을 도시한 도면이다.
먼저, 본 발명의 실시예에서는 도 5에 도시된 바와 같은 CNN(1321)과 MLP(1322)가 결합된 앙상블 모델(1320)이 과실 데이터 발달 단계를 예측하는 데 사용된다.
먼저, CNN(1321)으로는, 본 발명의 실시예에서 객체 검출을 위해 사용되는 YOLO(You-Only Look-Once) v5 모델이 사용되지만 이것으로만 한정되는 것은 아니다. 이러한 YOLO 모델인 CNN(1321)은 예를 들어 8,900만 개의 가중치와 284개의 레이어로 구성된다. CNN(1320)은 단일 신경망 아키텍처를 사용하여 전체 이미지에서 직접 예측된 경계 상자와 클래스 확률을 결합하여 높은 정확도로 실시간 객체 검출을 보여준다. 이러한 객체 검출 작업에서 CNN(1321)은 과실을 자율적으로 분류하고 주어진 이미지로 과실을 찾을 수 있도록 훈련된다. 훈련된 CNN(1321)은 이미지에 포함된 과실별로 3개의 발달 단계, 즉 미숙 단계(IM), 변색 단계(B) 및 성숙 단계(M) 중 하나로 예측한다. 한편, CNN(1321)은 예를 들어, 아래의 [표 1]에 나타낸 바와 같은 데이터를 포함하는 표 형식의 출력을 갖는다. 과실 단계는 관련 숫자로 표시되고, 그 위치는 데카르트 좌표 형식으로 표시될 수 있다.
출력 데이터 범위
CNN 레이블된 단계 1-3
레이블된 상자 좌표 0-100
상자 면적 0.02-414
이미지 내의 성숙 단계 수 0-15
이미지 내의 변색 단계 수 0-12
이미지 내의 성숙 단계 수 0-11
가장 낮은 변색 좌표에 대한 레이블된 상자 거리 -1―1
가장 낮은 성숙 좌표에 대한 레이블된 상자 거리 -1-1
다음, CNN(1321)에 의해 예측된 과실 발달 단계가 미숙 단계(IM)인 경우에는 미숙 단계(IM)인 과실을 대상으로 이에 해당하는 정보(1322), 구체적으로는 CNN(1321)에서 예측된 결과 데이터([표 1] 참조)가 MLP(1323)로 전달된다. 여기서, CNN(1321)에 의해 예측된 과실 발달 단계가 변색 단계(B)와 성숙 단계(M)만 있고 미숙 단계(IM)가 없는 경우에는 MLP(1323)의 작동은 수행되지 않음은 당업자라면 쉽게 이해할 것이다.
다음, MLP(1323)는 퍼셉트론으로 연결된 여러 계층에서 데이터 패턴을 학습하는 신경망 알고리즘으로, CNN(1321)에서의 예측 결과 미숙 단계(IM)가 있는 경우에 작동되며, 입력 데이터 중 환경 데이터(1324)와 성장 데이터(1325)와 함께 CNN(1321)에서의 미숙 단계(IM)로 예측된 대상 과실에 대한 예측 결과를 사용하여 대상 과실에 대해 4개의 구체적인 미숙 단계, 즉 제1 미숙 단계(IM1), 제2 미숙 단계(IM2), 제3 미숙 단계(IM3) 및 제4 미숙 단계(IM4) 중 하나로 예측한다. 이러한 MLP(1323)는 6개의 완전 연결층으로 구성되었으며, ReLU(Rectified Linear Unit) 함수가 활성화 함수로 사용되었다. 여기서, MLP(1323)에서 사용되는 환경 데이터의 예는 다음의 [표 2]와 같고, 성장 데이터의 예는 다음의 [표 3]과 같지만, 이에 한정되는 것은 아니다.
입력 데이터 (단위) 범위
내부 일평균 온도 (℃) 22.6-32.0
내부 일평균 상대습도 (%) 20.6-79.8
내부 일평균 일사량 (Jcm-2) 5.4-76.2
일주일 누적 온도 (℃) 169-211
일주일 누적 일사량 (Jcm-2) 2637-6838
2주일 누적 온도 (℃) 353-416
2주일 누적 일사량 (Jcm-2) 7737-11774
3주일 누적 온도 (℃) 543-618
3주일 누적 광량 (Jcm-2) 12429-17405
입력 데이터 (단위) 범위
이식 후 일수 42-121
마디 수 14-31
일일 수확량 0-90
누적 수확량 수 5-827
본 발명의 실시예에 따른 앙상블 모델 훈련을 위해 수집된 이미지는 훈련, 검증 및 테스트 데이터세트의 세 가지 세트로 분류된다. 먼저, 앙상블 모델(1320) 훈련을 위해 80%의 이미지가 무작위로 선택되었다. 선택된 이미지는 7:3 비율로 훈련 데이터세트와 검증 데이터세트로 분할되었다. 나머지 20%의 이미지는 테스트 데이터세트로 사용되었다. 모든 정확도는 테스트 데이터세트로 표현되었다.
한편, 전술한 과정들, 즉 CNN(1321)에 의한 3단계 기준의 과실 발달 단계 예측과 MLP(1323)에 의한 4단계의 세분화된 미숙 단계(IM1, IM2, IM3, IM4) 기준의 과실 발달 단계 예측 과정은 제어부(133)의 제어에 의해 반복하여 훈련됨으로써 최종적으로 학습된 앙상블 모델(1320)이 구축될 수 있다.
한편, 학습을 위한 훈련 데이터 수집을 위해, 재배 지역에서, 4개의 식물이 있는 6개의 암면 슬라브를 구비한 4개의 재배 열(row)로 재배되었다(도 6 참조). 이 때, 식재 밀도는 3.3 식물 m-2였다. 온실의 온도는 22.6 ~ 32.0 ℃로 유지되었다. 양액의 전기 전도도와 pH는 각각 2.6 ~ 3.0 dS m-1와 5.5 ~ 6.5로 유지되었다. 관개 제어를 위해 통합 일사량이 적용되었다. 식물은 "V" 캐노피 시스템으로 수직 격자형으로 된 두 개의 주요 줄기에서 유지되었다. 과실은 파프리카(Sweet pepper)이며, 과실의 표면이 대부분 착색된 경우, 주 3회 수확되었다.
한편, 전술한 바와 같은 재배 조건에서 수확되는 식물에 대해 수집된 훈련 데이터세트, 즉 식물 이미지, 온실 환경 데이터 및 식물 성장 데이터를 사용하여 훈련된 앙상블 모델(1320)의 평가를 위해 CNN(1321)와 MLP(1323) 모두에서 정밀도, 리콜(recall) 및 F1 점수(아래 [수학식 1] 참조)를 사용하여 과실 발달 단계 예측이 평가되었다.
[수학식 1]
Figure pat00001
여기서, TP(true positive)는 정확하게 검출된 객체의 수량을 나타내고, FP(false positive)는 검출된 거짓 데이터 포인트의 수량을 나타내며, FN(false negative)은 누락된 객체의 수량을 나타낸다. 예를 들면, 도 7에 도시된 바와 같이, CNN만 사용된 CNN전용 모델의 경우, 평균 F1 점수는 0.56으로 미숙한 내부 단계를 구별할 수 없었고, MLP만 사용된 MLP 전용 모델은 F1 점수가 0.49로 3개 모델 중 가장 낮은 정확도를 보였다. 그러나, 본 발명의 실시예에 따른 앙상블 모델(1320)은 단일 모델의 단점을 극복하여 두 가지 모델의 장점의 균형을 적절하게 조정한 결과인 모든 단계의 평균 F1 점수가 0.77로 높게 나타났음을 알 수 있다.
이하, 본 발명의 실시예에 따른 과실 발달 단계 예측 방법에 대해 설명한다.
도 8은 본 발명의 실시예에 따른 앙상블 모델을 학습하는 과정의 흐름도이다.
도 8을 참조하면, 데이터 수집 장치(200)를 통하거나 또는 사용자에 의한 직접 입력을 통해 식물 이미지, 온실 환경 데이터 및 식물 성장 데이터와 이에 대응하는 과실 발달 단계로 구성된 다수의 훈련 데이터세트를 준비한다(S100). 여기서 환경 데이터 및 성장 데이터는 전술한 [표 2] 및 [표 3]에 도시된 형태의 데이터이다.
그 후, 앙상블 모델(1320)의 CNN(1321)은 훈련 데이터세트 내의 이미지를 사용하여 과실별로 3단계의 과실 발달 단계, 즉 미숙 단계, 변색 단계 및 성숙 단계를 예측한다(S110).
다음, 전술한 단계(S110)에서 예측된 단계에 미숙 단계에 해당되는 과실이 있는지를 판단한다(S120).
만약 상기 단계(S120)에서 미숙 단계에 해당되는 과실이 있는 경우, CNN(1321)에 의해 미숙 단계로 판단된 과실에 해당하는 CNN(1321)의 예측 정보가 MLP(1323)로 전달된다(S130).
MLP(1323)는 CNN(1321)로부터 미숙 단계의 과실에 대한 예측 정보가 전달되면, 전술한 단계(S100)에서 준비된 환경 데이터와 성장 데이터를 함께 사용하여 과실에 대한 세부적인 4개의 미숙 단계(IM1, IM2, IM3, IM4)를 예측한다(S140). 여기서, 4개의 미숙 단계에는 전술한 바와 같이 제1 미숙 단계(IM1), 제2 미숙 단계(IM2), 제3 미숙 단계(IM3) 및 제4 미숙 단계(IM4)가 포함된다.
이와 같이, 전술한 단계(S110 ~ S140)를 통해 1군의 훈련 데이터세트를 사용한 과실 발달 단계 예측이 완료되며, 그 후, 훈련 데이터세트가 남아 있는지가 판단된다(S150).
만약 훈련 데이터세트가 남아 있으면, 남아 있는 훈련 데이터세트 중 1군의 훈련 데이터세트가 선택된 후(S160) 전술한 단계(S110 ~ S140)가 수행된다.
이와 같이, 모든 훈련 데이터세타에 대해 전술한 단계(S110 ~ S140)가 수행되면, 상기 단계(S150)에서 훈련 데이터세트가 남아 있지 않게 되므로, 훈련 데이터세트를 사용한 앙상블 모델에 대한 학습이 완료되어 학습된 앙상블 모델이 생성된다(S170).
다음, 도 9를 참조하여 본 발명의 실시예에 따른 과실 발달 단계 예측 방법에 대해 설명한다.
도 9는 본 발명의 실시예에 따른 과실 발달 단계 예측 방법의 개략적인 흐름도이다. 본 발명의 실시예에 따른 과실 발달 단계 예측 방법은 전술한 도 1 내지 도 7을 참조하여 설명한 과실 발달 단계 예측 장치(100)에 의해 수행될 수 있다.
도 9를 참조하면, 먼저, 데이터 수집 장치(200)에 의해 식물 이미지, 온실 환경 데이터 및 식물 성장 데이터를 수집한다(S200). 여기서, 환경 데이터 및 성장 데이터는 전술한 [표 2] 및 [표 3]에서 나타낸 바와 같다.
그 후, 수집된 데이터, 예를 들어 이미지는 학습된 앙상블 모델에의 적용을 위해 입력 데이터에 대한 전처리가 수행될 수 있다(S210).
다음, 전처리된 입력 데이터에 대해 학습된 딥러닝 알고리즘, 즉 앙상블 모델(1320)을 적용하여 과실의 발달 단계에 대한 예측을 수행한다(S220). 여기서, 학습된 앙상블 모델(1320)에 의해 예측되는 과실의 발달 단계는 도 3을 참조하여 설명한 바와 같이, 6단계, 구체적으로는 4개의 미숙 단계(IM1, IM2, IM3, IM4), 변색 단계(B) 및 성숙 단계(M)를 포함한다.
마지막으로, 예측된 과실 발달 단계 정보를 외부로 전달하거나 또는 디스플레이 수단 등을 통해 표시한다(S230). 예를 들면, 도 10에 도시된 바와 같이, 이미지, 식물 성장 데이터 및 환경 데이터로 구성된 입력 데이터에 대해, 앙상블 모델(1320)을 적용하여 예측된 과실별 발달 단계 정보가 각 과실별로 구별될 수 있도록 색상과 위치로 표시되고, 또한 각 과실별 발달 단계를 대응하는 이미지로서 표시함으로써 각 과실별로 예측된 발달 단계를 쉽게 알 수 있도록 할 수 있다.
한편, 전술한 발달 단계 예측 장치(100)는 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 서버, 단말, 또는 이들이 결합된 형태일 수 있다. 특히, 서버는 복수 개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
여기서, 메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
또한, 통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.
UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. 과실의 발달 단계를 예측하는 장치로서,
    과실을 포함하는 식물의 이미지, 식물이 재배되는 환경 데이터 및 식물의 성장 데이터를 포함하는 훈련 데이터를 사용하여 딥러닝 알고리즘을 학습시키는 학습부,
    상기 이미지, 환경 데이터 및 성장 데이터를 수집하는 수집부, 그리고
    상기 이미지, 환경 데이터 및 성장 데이터에 대해 상기 학습부에 의해 학습된 딥러닝 알고리즘을 적용하여 상기 이미지 내에 포함된 과실별 발달 단계 예측을 수행하는 예측부
    를 포함하며,
    상기 과실의 발달 단계는 적어도 둘 이상의 미숙 단계, 변색 단계 및 성숙 단계 중 하나인,
    발달 단계 예측 장치.
  2. 제1항에 있어서,
    상기 과실의 발달 단계는 과일의 생리학적 변화와 수확전일(days before havest, DBH)에 따라 분류되는,
    발달 단계 예측 장치.
  3. 제2항에 있어서,
    상기 미숙 단계는,
    과실 팽창이 시작되는 +35 DBH를 기준으로 분류되는 제1 미숙 단계,
    과실 팽창이 완료되는 25~35 DBH를 기준으로 분류되는 제2 미숙 단계,
    과실이 완전한 크기에 도달하는 15~25 DBH를 기준으로 분류되는 제3 미숙 단계, 그리고
    15 DBH에서 상기 변색 단계까지를 기준으로 분류되는 제4 미숙 단계
    로 세분화되는, 발달 단계 예측 장치.
  4. 제3항에 있어서,
    상기 딥러닝 알고리즘은, 상기 식물의 이미지를 사용하여 상기 이미지 내에 포함된 과실별로 미숙 단계, 변색 단계 및 성숙 단계 중 하나의 단계를 예측하는 합성곱신경망(Convolutional Neural Network, CNN)과, 상기 합성곱신경망에 의해 미숙 단계로 예측되는 과실에 대해 상기 합성곱신경망에서의 예측 결과, 상기 환경 데이터 및 상기 성장 데이터를 함께 사용하여 상기 4개의 미숙 단계 중 하나의 단계로 예측하는 다층 퍼셉트론(Multi Layer Perceptron, MLP)으로 구성된 앙상블 모델(ensemble model)인,
    발달 단계 예측 장치.
  5. 제4항에 있어서,
    상기 학습부는,
    상기 수집부에 의해 수집되는 이미지를 상기 앙상블 모델에서 사용하기 위한 이미지로 조정하는 전처리부,
    전처리된 훈련 데이터에 대해 상기 앙상블 모델을 사용하여 대응되는 과실별 발달 단계 예측 데이터를 생성하는 예측 학습부, 그리고
    상기 예측 학습부에 의한 반복 학습 수행을 제어하는 제어부
    를 포함하는, 발달 단계 예측 장치.
  6. 제1항에 있어서,
    상기 환경 데이터는 온실 내 온도, 상대습도 및 일사량을 포함하고,
    상기 성장 데이터는 식물의 마디 수, 연령 및 현재와 이전 수확량을 포함하는,
    발달 단계 예측 장치.
  7. 발달 단계 예측 장치가 과실의 발달 단계를 예측하는 방법으로서,
    과실을 포함하는 식물의 이미지, 식물이 재배되는 환경 데이터 및 식물의 성장 데이터를 수집하는 단계,
    상기 이미지, 환경 데이터 및 성장 데이터에 대해 미리 학습된 딥러닝 알고리즘을 적용하여 상기 이미지 내에 포함된 과실별 발달 단계를 예측하는 단계 - 상기 딥러닝 알고리즘은 상기 식물 이미지, 상기 환경 데이터 및 상기 성장 데이터를 포함하는 훈련 데이터를 사용하여 미리 학습됨 -, 그리고
    상기 과실별 발달 단계 예측 결과를 제공하는 단계
    를 포함하며,
    상기 과실의 발달 단계는 적어도 둘 이상의 미숙 단계, 변색 단계 및 성숙 단계 중 하나인,
    발달 단계 예측 방법.
  8. 제7항에 있어서,
    상기 과실의 발달 단계는 과일의 생리학적 변화와 수확전일에 따라 분류되고,
    상기 미숙 단계는,
    과실 팽창이 시작되는 +35 DBH를 기준으로 분류되는 제1 미숙 단계,
    과실 팽창이 완료되는 25~35 DBH를 기준으로 분류되는 제2 미숙 단계,
    과실이 완전한 크기에 도달하는 15~25 DBH를 기준으로 분류되는 제3 미숙 단계, 그리고
    15 DBH에서 상기 변색 단계까지를 기준으로 분류되는 제4 미숙 단계
    로 세분화되는, 발달 단계 예측 방법.
  9. 제8항에 있어서,
    상기 딥러닝 알고리즘은, 상기 식물의 이미지를 사용하여 상기 이미지 내에 포함된 과실별로 미숙 단계, 변색 단계 및 성숙 단계 중 하나의 단계를 예측하는 합성곱신경망(CNN)과, 상기 합성곱신경망에 의해 미숙 단계로 예측되는 과실에 대해 상기 합성곱신경망에서의 예측 결과, 상기 환경 데이터 및 상기 성장 데이터를 함께 사용하여 상기 4개의 미숙 단계 중 하나의 단계로 예측하는 다층 퍼셉트론(MLP)으로 구성된 앙상블 모델인,
    발달 단계 예측 방법.
  10. 제9항에 있어서,
    상기 수집하는 단계 전에,
    훈련 데이터를 사용하여 상기 앙상블 모델을 훈련시키는 단계
    를 더 포함하며,
    상기 훈련 데이터는 상기 이미지, 환경 데이터 및 성장 데이터에 대응하는 과실의 발달 단계를 더 포함하는,
    발달 단계 예측 방법.
  11. 제10항에 있어서,
    상기 훈련시키는 단계는,
    상기 훈련 데이터 중 이미지를 상기 앙상블 모델에서 사용하기 위한 이미지로 조정하는 단계, 그리고
    상기 훈련 데이터에 대해 상기 앙상블 모델을 사용하여 대응되는 과실별 발달 단계 예측 데이터를 생성하는 단계
    를 포함하는, 발달 단계 예측 방법.
  12. 제11항에 있어서,
    상기 발달 단계 예측 데이터를 생성하는 단계는,
    상기 훈련 데이터 중 이미지에 대해 상기 앙상블 모델의 CNN을 적용하여 상기 이미지 내의 과실별로 미숙 단계, 변색 단계 및 성숙 단계 중 하나의 단계를 예측하는 단계,
    상기 CNN에 의해 미숙 단계로 예측된 과실에 대해, 상기 CNN에 의해 예측된 정보, 상기 환경 데이터 및 상기 성장 데이터를 상기 MLP에 적용하여 상기 4개의 미숙 단계 중에 하나의 미숙 단계를 예측하는 단계, 그리고
    상기 훈련 데이터 모두에 대해 상기 하나의 단계를 예측하는 단계 및 상기 하나의 미숙 단계를 예측하는 단계를 수행하여 상기 앙상블 모델을 구축하는 단계
    를 포함하는, 발달 단계 예측 방법.
  13. 제7항에 있어서,
    상기 환경 데이터는 온실 내 온도, 상대습도 및 일사량을 포함하고,
    상기 성장 데이터는 식물의 마디 수, 연령 및 현재와 이전 수확량을 포함하는,
    발달 단계 예측 방법.
KR1020210146543A 2021-10-29 2021-10-29 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법 KR20230061863A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210146543A KR20230061863A (ko) 2021-10-29 2021-10-29 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210146543A KR20230061863A (ko) 2021-10-29 2021-10-29 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230061863A true KR20230061863A (ko) 2023-05-09

Family

ID=86408669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210146543A KR20230061863A (ko) 2021-10-29 2021-10-29 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230061863A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863403A (zh) * 2023-07-11 2023-10-10 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN117726052A (zh) * 2024-02-08 2024-03-19 北京市农林科学院信息技术研究中心 基于分形维数的产量预测方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863403A (zh) * 2023-07-11 2023-10-10 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN116863403B (zh) * 2023-07-11 2024-01-02 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN117726052A (zh) * 2024-02-08 2024-03-19 北京市农林科学院信息技术研究中心 基于分形维数的产量预测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
AU2018328254A1 (en) System and method for controlling a growth environment of a crop
US20220075344A1 (en) A method of finding a target environment suitable for growth of a plant variety
KR20230061863A (ko) 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법
CN113469746A (zh) 一种农产品预测方法和系统
Yalcin An approximation for a relative crop yield estimate from field images using deep learning
KR102002632B1 (ko) Ｉｏｔ 기반 과수 모니터링 시스템 및 방법
KR20200042077A (ko) 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
TW202002772A (zh) 智慧深度學習農漁培養系統
KR102307036B1 (ko) 기계 학습을 이용한 작물의 최대 생장 구현 방법
Bharathi et al. An Experimental Analysis of Crop Yield Prediction using Modified Deep Learning Strategy
US20230389474A1 (en) Method for determining a fruit to be harvested and a device for harvesting a fruit
CN112783228B (zh) 基于神经网络的大型温棚pd控制系统及方法
KR102422346B1 (ko) 스마트팜 시스템 및 그의 동작 방법
US11170219B2 (en) Systems and methods for improved landscape management
JP7452879B2 (ja) 予測システム、予測方法、および予測プログラム
Araneta et al. Controlled Environment for Spinach Cultured Plant with Health Analysis using Machine Learning
KR20230061034A (ko) 작물의 엽록소 함량을 예측하는 기계 학습 모델 학습 방법, 작물의 엽록소 함량 예측 방법 및 식물 생육 시스템
Yoon et al. Prediction of strawberry yield based on receptacle detection and Bayesian inference
Santhosh Kumar et al. Review on disease detection of plants using image processing and machine learning techniques
Mahilraj et al. Detection of Tomato leaf diseases using Attention Embedded Hyper-parameter Learning Optimization in CNN
EP4292413A1 (en) Dynamic generation of experimental treatment plans
US11991946B2 (en) Adaptively adjusting parameters of equipment operating in unpredictable terrain
Teixeira et al. Evaluating YOLO Models for Grape Moth Detection in Insect Traps
US20230102576A1 (en) Adaptively adjusting parameters of equipment operating in unpredictable terrain
Yang et al. Predicting the growth trajectory and yield of greenhouse strawberries based on knowledge-guided computer vision

Legal Events

Date Code Title Description
E601 Decision to refuse application