KR102641356B1 - System for Estimating of Crop Growth Stage and Driving method thereof - Google Patents
System for Estimating of Crop Growth Stage and Driving method thereof Download PDFInfo
- Publication number
- KR102641356B1 KR102641356B1 KR1020220149668A KR20220149668A KR102641356B1 KR 102641356 B1 KR102641356 B1 KR 102641356B1 KR 1020220149668 A KR1020220149668 A KR 1020220149668A KR 20220149668 A KR20220149668 A KR 20220149668A KR 102641356 B1 KR102641356 B1 KR 102641356B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data
- crop
- growth stage
- stage
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010191 image analysis Methods 0.000 claims abstract description 25
- 238000011176 pooling Methods 0.000 claims description 58
- 238000007781 pre-processing Methods 0.000 claims description 29
- 230000002159 abnormal effect Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 235000013399 edible fruits Nutrition 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000013434 data augmentation Methods 0.000 claims description 9
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000003306 harvesting Methods 0.000 claims description 8
- 230000035784 germination Effects 0.000 claims description 7
- 235000015097 nutrients Nutrition 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 13
- 239000004744 fabric Substances 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 235000006040 Prunus persica var persica Nutrition 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 244000144730 Amygdalus persica Species 0.000 description 9
- 241000220225 Malus Species 0.000 description 9
- 235000011430 Malus pumila Nutrition 0.000 description 9
- 235000015103 Malus silvestris Nutrition 0.000 description 9
- 238000012360 testing method Methods 0.000 description 6
- 238000010792 warming Methods 0.000 description 6
- 230000003416 augmentation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 240000005809 Prunus persica Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 235000021016 apples Nutrition 0.000 description 3
- 238000012731 temporal analysis Methods 0.000 description 3
- 238000000700 time series analysis Methods 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- 206010020880 Hypertrophy Diseases 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000081841 Malus domestica Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000012272 crop production Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 244000037666 field crops Species 0.000 description 1
- 239000005431 greenhouse gas Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 CNN(Convolution Neural Network) 모델을 적용한 작물의 생육 단계 추정 시스템 및 그 구동방법에 관한 것으로, 주기적으로 카메라로부터 작물 이미지를 수집하는 작물 이미지 수집부, 상기 직물 이미지 수집부로 수집한 작물 이미지를 작물의 생육 추정 모델 학습에 필요한 데이터로 만들기 위해 전처리하는 이미지 전처리부, 및 상기 이미지 전처리부에서 전처리된 이미지 데이터를 분석하여 생육 단계를 추정하는 이미지 분석부를 포함하는 작물의 생육 단계 추정 시스템에 의해 작물의 생육 단계를 추정하기 위한 CNN 모델을 제안하여 ResNet, DenseNet 모델의 생육 단계 추정보다 높은 성능 결과를 낼 수 있는 작물의 생육 단계 추정 시스템 및 그 구동방법을 제공할 수 있다는 효과가 도출된다. The present invention relates to a crop growth stage estimation system using a CNN (Convolution Neural Network) model and a driving method thereof. The present invention relates to a crop image collection unit that periodically collects crop images from a camera, and a crop image collection unit that collects crop images from the fabric image collection unit. Crop growth stage estimation system including an image preprocessor that preprocesses the data to create data necessary for learning a crop growth estimation model, and an image analysis unit that analyzes the image data preprocessed by the image preprocessor to estimate the growth stage. By proposing a CNN model to estimate the growth stage of , the effect is derived that it is possible to provide a crop growth stage estimation system and its operation method that can produce higher performance results than the growth stage estimation of ResNet and DenseNet models.
Description
본 발명은 작물의 생육 단계 추정 시스템 및 그 구동방법에 관한 것으로 보다 상세하게는 CNN(Convolution Neural Network) 모델을 적용한 작물의 생육 단계 추정 시스템 및 그 구동방법에 관한 것이다. The present invention relates to a crop growth stage estimation system and a driving method thereof. More specifically, it relates to a crop growth stage estimation system and a driving method using a CNN (Convolution Neural Network) model.
가속화된 지구 온난화 현상으로 인해 기존 환경 변화 및 이상기후 발생 빈도가 증가하고있다. 지속적으로 발생되는 온실가스는 온난화 현상을 더욱 가속화시켜 최근 10년(2011~2020년)의 전지구 지표면 온도를 산업화 이전(1850~1900년)보다 약1.09℃ 상승시켰다. Due to accelerated global warming, the frequency of existing environmental changes and abnormal climate events is increasing. Continuously generated greenhouse gases have further accelerated the warming phenomenon, causing the global surface temperature in the past 10 years (2011 to 2020) to rise by approximately 1.09°C compared to before industrialization (1850 to 1900).
한편, 농업은 타 산업보다 지구 온난화로 인한 직접적인 영향을 크게 받는 산업이다. 농업은 기후 변화에 매우 민감한 분야의 산업으로 지구온난화는 작물의 생산량을 감소시키고, 재배 지역이 변하는 등의 문제를 야기시킨다. Meanwhile, agriculture is an industry that is more directly affected by global warming than other industries. Agriculture is an industry that is very sensitive to climate change, and global warming causes problems such as reducing crop production and changing cultivation areas.
또한 환경 변화는 작물의 생육 시기를 불규칙하게 만들어서 숙련된 농사꾼들도 작물의 생육 단계를 쉽게 추정할 수 없도록 만들어 많은 문제를 발생시킨다. Additionally, environmental changes cause the growing season of crops to be irregular, making it difficult for even experienced farmers to easily estimate the growth stage of crops, causing many problems.
작물은 생육단계별로 다양한 병해충들이 존재하기에 생육 단계에 맞춘 적절한 방제작업은 농사의 풍년을 결정지을 만큼 매우 중요하다. Since various pests and diseases exist in crops depending on the growth stage, appropriate pest control measures tailored to the growth stage are very important to determine a good harvest in farming.
그러나 지구 온난화 현상으로 인한 기후변화 현상이 잦아지면서 작물의 생장 주기가 불규칙해지는 문제가 발생하고 있다. 이에 농가에서는 작물의 생육단계를 정확하게 추정하지 못하여 생육단계에 알맞은 관리를 진행하지 못하는 문제가 발생하고 있다.However, as climate change due to global warming becomes more frequent, the problem of crop growth cycles becoming irregular is occurring. As a result, farmers are unable to accurately estimate the growth stage of crops and are unable to manage crops appropriately for the growth stage.
작물의 생육단계 추정을 위해 기존에 주로 활용되는 방식은 대부분 센서를 통해 수집한 환경 데이터를 분석하여 작물의 생육단계를 추정하는 시계열 분석 방식을 활용하였다. 하지만 시계열 분석은 기온 온난화로 인하여 기후환경이 변화하면서 정확성이 감소하였으며, 정확성 향상을 위해서는 변화한 환경 데이터의 재수집이 필요하다. 또한, 작물의 재배 지역별로 각기 다른 특징들이 존재하기 때문에 노지 작물의 경우 지역별로 데이터의 수집이 필요하다.Most of the existing methods used to estimate the growth stage of crops used a time series analysis method that estimates the growth stage of crops by analyzing environmental data collected through sensors. However, the accuracy of time series analysis decreased as the climate environment changed due to temperature warming, and re-collection of changed environmental data is necessary to improve accuracy. In addition, because different characteristics exist in each crop cultivation region, it is necessary to collect data by region in the case of open field crops.
본 발명은 이 같은 기술적 배경에서 도출된 것으로, 작물의 생육 단계를 추정하기 위한 CNN 모델을 제안하여 ResNet, DenseNet 모델의 생육 단계 추정보다 높은 성능 결과를 낼 수 있는 작물의 생육 단계 추정 시스템 및 그 구동방법을 제공함에 그 목적이 있다. The present invention is derived from this technical background, and proposes a CNN model for estimating the growth stage of crops, and a crop growth stage estimation system and its operation that can produce higher performance results than the growth stage estimation of ResNet and DenseNet models. The purpose is to provide a method.
또한, 데이터 전처리 과정에서 이상 데이터 검출 진행시 Autoencoder를 사용하여 Anomaly Detection을 진행함으로써 데이터 신뢰성을 확보할 수 있는 작물의 생육 단계 추정 시스템 및 그 구동방법을 제공하고자 한다. In addition, we aim to provide a crop growth stage estimation system and its operation method that can secure data reliability by performing anomaly detection using an autoencoder when detecting abnormal data during the data preprocessing process.
또한 기존 딥러닝 구조에 풀링 구조를 2단으로 배치함으로써 기존 방식보다 다양한 특징정보를 보유하는 작물의 생육 단계 추정 시스템 및 그 구동방법을 제공할 수 있다. In addition, by arranging the pooling structure in two stages in the existing deep learning structure, it is possible to provide a crop growth stage estimation system and its driving method that holds more characteristic information than the existing method.
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다. The present invention for achieving the above problems includes the following configuration.
즉 본 발명의 일 실시예에 따른 작물의 생육 단계 추정 시스템은 주기적으로 카메라로부터 작물 이미지를 수집하는 작물 이미지 수집부, 상기 직물 이미지 수집부로 수집한 작물 이미지를 작물의 생육 추정 모델 학습에 필요한 데이터로 만들기위해 전처리하는 이미지 전처리부 및 상기 이미지 전처리부에서 전처리된 이미지 데이터를 분석하여 생육 단계를 추정하는 이미지 분석부를 포함한다.That is, the crop growth stage estimation system according to an embodiment of the present invention includes a crop image collection unit that periodically collects crop images from a camera, and the crop images collected by the fabric image collection unit as data necessary for learning a crop growth estimation model. It includes an image pre-processing unit that pre-processes the image data to create an image, and an image analysis unit that estimates the growth stage by analyzing the image data pre-processed in the image pre-processing unit.
한편, 주기적으로 카메라로부터 작물 이미지를 수집하는 작물 이미지 수집 단계, 상기 직물 이미지 수집 단계로 수집한 작물 이미지를 작물의 생육 추정 모델 학습에 필요한 데이터로 만들기 위해 전처리하는 이미지 전처리 단계 및 상기 이미지 전처리부에서 전처리된 이미지 데이터를 분석하여 생육 단계를 추정하는 이미지 분석 단계를 포함한다.Meanwhile, a crop image collection step of periodically collecting crop images from a camera, an image pre-processing step of pre-processing the crop images collected in the fabric image collection step to create data necessary for learning a crop growth estimation model, and the image pre-processor. It includes an image analysis step of estimating the growth stage by analyzing preprocessed image data.
본 발명에 의하면 작물의 생육 단계를 추정하기 위한 CNN 모델을 제안하여 ResNet, DenseNet 모델의 생육 단계 추정보다 높은 성능 결과를 낼 수 있는 작물의 생육 단계 추정 시스템 및 그 구동방법을 제공할 수 있다는 효과가 도출된다. According to the present invention, the effect of proposing a CNN model for estimating the growth stage of crops is to provide a crop growth stage estimation system and driving method that can produce higher performance results than the growth stage estimation of ResNet and DenseNet models. It is derived.
또한, 데이터 전처리 과정에서 이상 데이터 검출 진행시 Autoencoder를 사용하여 Anomaly Detection을 진행함으로써 데이터 신뢰성을 확보할 수 있는 작물의 생육 단계 추정 시스템 및 그 구동방법을 제공할 수 있다. In addition, by performing anomaly detection using an autoencoder when abnormal data is detected during the data preprocessing process, it is possible to provide a crop growth stage estimation system and its operation method that can ensure data reliability.
또한 기존 딥러닝 구조에 풀링 구조를 2단으로 배치함으로써 기존 방식보다 다양한 특징정보를 보유하는 작물의 생육 단계 추정 시스템 및 그 구동방법을 제공할 수 있다. In addition, by arranging the pooling structure in two stages in the existing deep learning structure, it is possible to provide a crop growth stage estimation system and its driving method that holds more characteristic information than the existing method.
또한, 기후변화에 유동적으로 대응하지 못하는 문제점을 해결하기 위해 이미지 분석을 활용한 작물의 생육단계 추정 모델을 개발 할 수 있다. In addition, to solve the problem of not being able to respond flexibly to climate change, a model for estimating crop growth stages using image analysis can be developed.
도 1 은 본 발명의 일 실시예에 따른 작물의 생육 단계 추정 시스템의 개략적인 구성을 도시한 예시도이다.
도 2 는 본 발명의 일 실시예에 따른 작물의 생육 단계 추정 시스템의 구성을 도시한 블록도이다.
도 3 은 본 발명의 일 실시예에 따른 이미지 수집부가 수집한 이미지 데이터의 분류 현황을 나타낸 도시도이다.
도 4 는 본 발명의 일 실시예에 따른 이미지 전처리부의 구성을 도시한 예시도이다.
도 5 는 본 발명의 일 실시예에 따른 이미지 분석부의 구성을 도시한 예시도이다.
도 6 은 일 실시예에 따른 작물의 생육 단계 추정 시스템의 성능 향상을 설명하기 위해 복숭아 이미지 데이터를 활용하여 생육단계를 추정하는 학습과정의 예시도이다.
도 7 은 일 실시예에 따른 작물의 생육 단계 추정 시스템의 성능 향상을 설명하기 위해 사과 이미지 데이터를 활용하여 생육단계를 추정하는 학습과정의 예시도이다.
도 8 은 본 발명의 일 실시예에 따른 작물의 생육 단계 추정 시스템의 구동방법의 흐름도이다. 1 is an exemplary diagram showing the schematic configuration of a crop growth stage estimation system according to an embodiment of the present invention.
Figure 2 is a block diagram showing the configuration of a crop growth stage estimation system according to an embodiment of the present invention.
Figure 3 is a diagram showing the classification status of image data collected by the image collection unit according to an embodiment of the present invention.
Figure 4 is an exemplary diagram showing the configuration of an image pre-processing unit according to an embodiment of the present invention.
Figure 5 is an exemplary diagram showing the configuration of an image analysis unit according to an embodiment of the present invention.
Figure 6 is an example diagram of a learning process for estimating growth stages using peach image data to illustrate performance improvement of a crop growth stage estimation system according to an embodiment.
Figure 7 is an example diagram of a learning process for estimating the growth stage using apple image data to explain the performance improvement of the crop growth stage estimation system according to an embodiment.
Figure 8 is a flowchart of a method of driving a crop growth stage estimation system according to an embodiment of the present invention.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It should be noted that the technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention, unless specifically defined in a different sense in the present invention, should be interpreted as meanings generally understood by those skilled in the art in the technical field to which the present invention pertains, and are not overly comprehensive. It should not be interpreted in a literal or excessively reduced sense.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.
도 1 은 본 발명의 일 실시예에 따른 작물의 생육 단계 추정 시스템의 개략적인 구성을 도시한 예시도이다. 1 is an exemplary diagram showing the schematic configuration of a crop growth stage estimation system according to an embodiment of the present invention.
일 실시예에 따른 작물 생육 단계 추정 시스템은 작물의 생육 단계를 추정하기 위한 CNN(Convolution Neural Network) 모델을 제안한다. CNN(Convolution Neural Network) 모델은 ResNet의 Pooling Layer를 수정한 것으로 ResNet, DenseNet 모델의 생육단계 추정보다 높은 성능 결과를 도출해낼 수 있다. The crop growth stage estimation system according to one embodiment proposes a CNN (Convolution Neural Network) model for estimating the growth stage of crops. The CNN (Convolution Neural Network) model is a modified pooling layer of ResNet and can produce higher performance results than the growth stage estimation of ResNet and DenseNet models.
일 실시예에 따른 작물의 생육 단계 추정 시스템은 크게 이미지 수집 모듈, 이미지 전처리 모듈, 생육단계 추정을 위한 이미지 분석 모듈로 구성될 수 있다. The crop growth stage estimation system according to one embodiment may largely consist of an image collection module, an image preprocessing module, and an image analysis module for growth stage estimation.
도 1 에서 일 실시예에 따른 작물의 생육 단계 추정 시스템은 크게 이미지 수집 모듈, 이미지 전처리 모듈, 생육단계 추정 모듈로 구성된다.In Figure 1, the crop growth stage estimation system according to an embodiment largely consists of an image collection module, an image preprocessing module, and a growth stage estimation module.
이미지 데이터는 AWS에 설치된 카메라를 통해 수집되며, 수집된 데이터는 전처리 모듈을 통해 이미지 이상 탐지 및 크기 변환 등 전처리가 진행된다. 그리고 전처리가 완료된 데이터는 작물의 생육단계 추정을 위한 모델의 학습에 사용된다.Image data is collected through cameras installed in AWS, and the collected data is pre-processed, such as detecting image abnormalities and converting size, through a pre-processing module. And the preprocessed data is used to learn a model for estimating the growth stage of crops.
도 2 는 본 발명의 일 실시예에 따른 작물의 생육 단계 추정 시스템의 구성을 도시한 블록도이다. Figure 2 is a block diagram showing the configuration of a crop growth stage estimation system according to an embodiment of the present invention.
도 2 와 같이 일 실시예에 따른 작물의 생육 단계 추정 시스템(10)은 통신부(110), 이미지 수집부(120), 이미지 전처리부(130), 이미지 분석부(140) 및 저장부(150)를 포함한다. As shown in FIG. 2, the crop growth stage estimation system 10 according to an embodiment includes a communication unit 110, an image collection unit 120, an image preprocessing unit 130, an image analysis unit 140, and a storage unit 150. Includes.
통신부(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. The communication unit 110 communicates with any internal component or at least one external terminal through a wired/wireless communication network. Here, wireless Internet technologies include Wireless LAN (WLAN), DLNA (Digital Living Network Alliance), Wibro (Wireless Broadband: Wibro), Wimax (World Interoperability for Microwave Access: Wimax), and HSDPA (High Speed Downlink Packet Access). ), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), LTE-A (Long Term Evolution-Advanced), Wireless Mobile Broadband Service (WMBS), etc. The communication unit 110 transmits and receives data according to at least one wireless Internet technology, including Internet technologies not listed above.
또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.In addition, short-range communication technologies include Bluetooth, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, and Near Field Communication (NFC). , Ultrasound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, etc. may be included. Additionally, wired communication technologies may include Power Line Communication (PLC), USB communication, Ethernet, serial communication, optical/coaxial cables, etc.
관리자 단말(30)은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다. The administrator terminal 30 is a smart phone, a portable terminal, a mobile terminal, a foldable terminal, a personal digital assistant (PDA), and a portable multimedia terminal (PMP). Player terminal, telematics terminal, navigation terminal, personal computer, laptop computer, Slate PC, Tablet PC, ultrabook, wearable device Device (e.g., smartwatch, smart glass, HMD (Head Mounted Display), etc.), Wibro terminal, IPTV (Internet Protocol Television) terminal, smart TV, digital broadcasting It can be applied to various terminals such as terminals, AVN (Audio Video Navigation) terminals, A/V (Audio/Video) systems, flexible terminals, and digital signage devices.
일 실시예에 있어서 관리자 단말(30)은 생육 단계 추정시스템에서 추정되는 작물의 생육단계 정보를 제공받고, 생육 단계 추정 모델에 관련된 제어 사항들을 설정하는 관리자가 소지하는 단말장치를 모두 포괄하도록 해석된다. In one embodiment, the manager terminal 30 is provided with crop growth stage information estimated from the growth stage estimation system and is interpreted to encompass all terminal devices owned by the manager who sets control matters related to the growth stage estimation model. .
이미지 수집부(120)는 주기적으로 카메라(20)로부터 작물 이미지를 수집한다. The image collection unit 120 periodically collects crop images from the camera 20.
일 실시예에 있어서 이미지 수집부(120)는 일 실시예에 따른 작물의 생육 단계 추정 시스템(10)이 제안하는 작물 생육단계 추정 모델을 학습시키기 위해 AWS 카메라로부터 작물 촬영 이미지를 수집한다. In one embodiment, the image collection unit 120 collects crop images from an AWS camera to learn a crop growth stage estimation model proposed by the crop growth stage estimation system 10 according to an embodiment.
이미지 수집부(120)부는 이미지 데이터 수집 모듈로 구현되며, AWS에 부착된 카메라로부터 일정 시간마다 주기적으로 자동 촬영된 이미지를 수신한다. 이미지 수집부(120)로 수집된 이미지는 저장부(150)에 저장될 수 있고, 물리적으로 별개 구성인 데이터베이스 서버에 저장될 수도 있다. The image collection unit 120 is implemented as an image data collection module and periodically receives automatically captured images from a camera attached to AWS at regular intervals. Images collected by the image collection unit 120 may be stored in the storage unit 150 or may be stored in a physically separate database server.
도 3 은 본 발명의 일 실시예에 따른 이미지 수집부가 수집한 이미지 데이터의 분류 현황을 나타낸 도시도이다. Figure 3 is a diagram showing the classification status of image data collected by the image collection unit according to an embodiment of the present invention.
일 예로 수집된 이미지는 복숭아나무와 사과나무를 촬영한 이미지 데이터이다. 구체적으로 (a)복숭아 생육 단계데이터 및 (b)사과 생육 단계 데이터이다. 이미지 수집부(120)에 의해 수집된 복숭아 나무와 사과 나무를 촬영한 이미지 데이터는 생육 단계에 따라 휴먼기, 발아기, 개화기, 낙화기, 과실비대초기, 과실비대기, 수확기, 양분축적기 단계로 구분될 수 있다. As an example, the collected images are image data of peach trees and apple trees. Specifically, (a) peach growth stage data and (b) apple growth stage data. Image data taken from peach trees and apple trees collected by the image collection unit 120 are divided into human stage, germination stage, flowering stage, falling flower stage, early fruit growth stage, fruit growth stage, harvest stage, and nutrient accumulation stage according to the growth stage. It can be.
이미지 전처리부(130)는 작물 이미지 수집부(120)로 수집한 작물 이미지를 작물의 생육 추정 모델 학습에 필요한 데이터로 만들기 위해 전처리한다. The image preprocessing unit 130 preprocesses the crop images collected by the crop image collection unit 120 to create data necessary for learning a crop growth estimation model.
이미지 전처리부(130)는 훈련, 예측 및 분류를 위해 영상의 크기를 조정하는 방법과 데이터 증대, 변환 및 특화된 데이터저장소를 사용하여 영상을 전처리하는 기술적 구성을 모두 포괄하도록 해석된다. The image preprocessing unit 130 is interpreted to encompass both a method of adjusting the size of an image for training, prediction, and classification, and a technical configuration for preprocessing an image using data augmentation, transformation, and specialized data storage.
추가적으로 고급 전처리 연산이 필요하거나 회귀 문제를 위해 영상을 전처리해야 하거나, 3차원 볼륨 영상을 전처리해야 하는 경우에는 내장된 저장부(150)를 사용할 수 있다. 이미지 전처리부(130)는 transform 함수와 combine 함수를 사용하여 사용자 고유의 파이프라인에 따라 영상을 전처리할 수도 있다. Additionally, when advanced preprocessing operations are required, images need to be preprocessed for regression problems, or 3D volume images need to be preprocessed, the built-in storage unit 150 can be used. The image preprocessor 130 may preprocess the image according to the user's own pipeline using a transform function and a combine function.
또한 영상 분류 문제를 위해 augmentedImageDatastore를 사용하여 크기 조정, 회전, 반사, 전단, 평행 이동 변환을 무작위로 결합하여 영상을 증대시킬 수도 있다. You can also use augmentedImageDatastore to augment images by randomly combining scale, rotation, reflection, shear, and translation transformations for image classification problems.
도 4 는 본 발명의 일 실시예에 따른 이미지 전처리부의 구성을 도시한 예시도이다. Figure 4 is an exemplary diagram showing the configuration of an image pre-processing unit according to an embodiment of the present invention.
일 양상에 있어서, 이미지 전처리부(130)는 작물 이미지 수집부로 수집한 이미지 데이터에서 불필요한 정보를 제거하는 이미지 편집부(132), 이미지 편집부(132)에서 편집된 이미지 데이터를 기설정된 일정한 크기로 변환하는 크기 변환부(134), 크기 변환부(134)에서 변환된 이미지 데이터에 Autoencoder 모델을 사용하여 이상 감지(Anomaly Detection)를 진행하고, 학습 데이터로 적합한지 여부를 판별하는 이상 데이터 탐지부(136) 및 학습 데이터를 늘리기 위해 데이터를 증강시키는 데이터 증강부(138)를 포함한다. In one aspect, the image pre-processing unit 130 includes an image editing unit 132 that removes unnecessary information from image data collected by the crop image collection unit and converts the image data edited in the image editing unit 132 to a preset constant size. A size conversion unit 134, an anomaly detection unit 136 that performs anomaly detection using an autoencoder model on the image data converted in the size conversion unit 134 and determines whether it is suitable as learning data. and a data augmentation unit 138 that augments data to increase learning data.
작물의 생육단계 추정을 위한 이미지 수집 과정에서 AWS에 설치된 카메라가 일정시간을 주기로 자동 촬영한다. 따라서 카메라로 자동 촬영된 이미지 데이터에는 사람, 조류, 벌레, 이물질 등 이상 상황에 따른 촬영 부분이 포함된다. 또한 이미지 편집부(132)는 이미지 데이터의 상단과 하단에 날짜와 시간 정보가 포함된다. During the image collection process to estimate the growth stage of crops, a camera installed in AWS automatically takes pictures at regular intervals. Therefore, image data automatically captured by a camera includes portions captured in abnormal situations such as people, birds, insects, and foreign substances. Additionally, the image editing unit 132 includes date and time information at the top and bottom of the image data.
이 같은 이상 부분이나 날짜, 시간 정보는 모델 학습 혹은 작물 생육단계 추정에 영향을 미칠 수 있기 때문에 이미지 편집부(132)는 모델 학습에 불필요한 촬영 부분이나 날짜와 시간 정보가 표기된 부분은 잘라내어 제거한다.Since such abnormal parts or date and time information may affect model learning or crop growth stage estimation, the image editing unit 132 cuts out and removes the captured parts or parts with date and time information that are unnecessary for model learning.
신경망을 훈련시키고 새로운 데이터에 대해 예측을 수행하려면 영상이 신경망의 입력크기와 일치해야 한다. 크기 변환부(134)는 신경망에 맞게 영상의 크기를 조정하기 위해서 이미지 데이터를 필요한 크기로 다시 스케일링하거나 자를 수 있다. To train a neural network and make predictions on new data, the image must match the input size of the neural network. The size conversion unit 134 can rescale or crop the image data to a required size in order to adjust the size of the image to suit the neural network.
일 실시예에 있어서 크기 변환부(134)는 이미지 편집부(132)에서 날짜와 시간 정보가 제거된 이미지의 크기를 256 × 256으로 변환한다. In one embodiment, the size conversion unit 134 converts the size of the image from which the date and time information has been removed in the image editing unit 132 to 256 × 256.
이상 데이터 탐지부(136)는 크기 변환된 이미지 데이터가 작물의 생육단계 판별 모델의 학습 데이터로 적합한지 판별하기 위해 데이터의 이상 유무를 판별한다. The abnormal data detection unit 136 determines whether the size-converted image data is suitable as training data for a crop growth stage determination model.
이상 데이터 탐지부(136)는 데이터 이상 유무 판별에 있어서 Autoencoder 모델을 사용하며, 이상 데이터 판별 모델의 구조는 encoder와 decoder로 구성된다. 이상 데이터 탐지부(136)는 이상 데이터가 없는 정상 이미지 데이터만을 사용하여 학습한다. The abnormal data detection unit 136 uses an autoencoder model to determine whether there is an abnormal data, and the structure of the abnormal data determination model consists of an encoder and a decoder. The abnormal data detection unit 136 learns using only normal image data without abnormal data.
Autoencoder는 encoder에서 원본 이미지 데이터를 저차원으로 압축하고 decoder에서는 압축된 데이터를 원본 데이터의 차원으로 복원한다. 복원된 이미지 데이터는 MSE(Mean Squared Error)를 사용하여 원본 이미지와의 차이를 계산한다. 그리고 원본 이미지와 복원 이미지의 차이가 지정해 놓은 임계값을 넘지 않는 경우 해당 데이터는 이상이 없는 정상 데이터로 판별하여 보관한다. Autoencoder compresses the original image data to a lower dimension in the encoder, and restores the compressed data to the dimensions of the original data in the decoder. The restored image data uses MSE (Mean Squared Error) to calculate the difference from the original image. And if the difference between the original image and the restored image does not exceed the specified threshold, the data is determined to be normal data with no abnormalities and stored.
만약 원본 이미지와 복원 이미지의 차이가 임계값을 넘는 경우 해당 데이터는 이상 데이터로 판단하고 제거한다. If the difference between the original image and the restored image exceeds the threshold, the data is judged as abnormal data and removed.
데이터 증강부(138)는 이상 데이터 탐지부(136)에서 정상 데이터로 판별된 데이터는 작물 생육단계판별 모델의 학습 데이터양을 늘리기 위해 Data Augmentation 적용하여 데이터를 증강한다.The data augmentation unit 138 augments the data determined as normal data by applying data augmentation to increase the amount of learning data for the crop growth stage determination model.
데이터 증강부(138)는 데이터에 무작위 방식의 증대를 적용하여 훈련 데이터의 양을 효과적으로 늘릴 수 있다. 또한 증대를 사용하면 신경망이 왜곡된 영상 데이터에 대해 일관된 결과를 도출하도록 훈련시킬 수 있다. The data augmentation unit 138 can effectively increase the amount of training data by applying random augmentation to the data. Augmentation can also be used to train neural networks to produce consistent results over distorted image data.
예를 들어, 신경망이 회전된 입력 영상에 대해서도 일관된 결과를 도출하도록 하기 위해 입력 영상에 무작위로 회전을 가할 수 있다. 일 실시예에 있어서 augmentedImageDatastore는 분류 문제용 2차원 영상에 다양한 방식의 증대를 편하게 적용할 수 있는 방법을 제공할 수 있다. For example, to ensure that the neural network produces consistent results even with rotated input images, the input image can be randomly rotated. In one embodiment, augmentedImageDatastore can provide a method for conveniently applying various types of augmentation to two-dimensional images for classification problems.
이미지 분석부(140)는 이미지 전처리부(130)에서 전처리된 이미지 데이터를 분석하여 생육 단계를 추정한다. The image analysis unit 140 estimates the growth stage by analyzing the image data preprocessed by the image preprocessor 130.
도 5 는 본 발명의 일 실시예에 따른 이미지 분석부의 구성을 도시한 예시도이다. Figure 5 is an exemplary diagram showing the configuration of an image analysis unit according to an embodiment of the present invention.
일 양상에 있어서, 이미지 분석부(140)는 휴먼기, 발아기, 개화기, 낙화기, 과실비대초기, 과실비대기, 수확기, 양분 축적기 중 하나의 생육 단계를 추정한다. 즉 보다 세밀하게 생육 단계를 추정할 수 있다. In one aspect, the image analysis unit 140 estimates one of the growth stages of human stage, germination stage, flowering stage, flowering stage, early fruit growth stage, fruit growth stage, harvest stage, and nutrient accumulation stage. In other words, the growth stage can be estimated in more detail.
그리고 이미지 분석부(140)는 제 1 Pooling Layer가 1×1 Convolution을 사용하여 피처맵(Feature Map)의 채널 수를 절반으로 줄이고, 채널 수가 감소한 피처맵에 Max Pooling과 Average Pooling을 개별적으로 적용하여 두 개의 피처맵을 추출하고, 추출된 피처맵들은 Concatenation을 통해 하나의 피처맵으로 결합한다. In addition, the image analysis unit 140 reduces the number of channels in the feature map by half by using 1×1 convolution in the first pooling layer, and separately applies Max Pooling and Average Pooling to the feature map with the reduced number of channels. Two feature maps are extracted, and the extracted feature maps are combined into one feature map through concatenation.
또한 이미지 분석부(140)는 제 2 Pooling Layer가 Global Average Pooling으로 사용하는 Global Average Pooling에 Global Max Pooling을 함께 사용하여 두 개의 피처맵을 추출하고, 두 개의 피처맵은 서로 같은 채널의 값끼리 평균값을 계산하여 한 개의 피처맵으로 만들어 최종값을 결정한다.In addition, the image analysis unit 140 extracts two feature maps by using Global Average Pooling, which is used by the second Pooling Layer as Global Average Pooling, and Global Max Pooling, and the two feature maps are the average values of the values of the same channel. Calculate and create one feature map to determine the final value.
일 실시예에 있어서 이미지 분석부(140)는 ResNet 50을 기반으로 설계된다. In one embodiment, the image analysis unit 140 is designed based on ResNet 50.
기존의 ResNet은 이미지의 특징 정보를 나타내는 Feature Map의 크기를 줄일 때 Pooling Layer 대신 stride의 크기가 2인 Convolution Layer를 주로 사용하기 때문에 Pooling Layer는 두 차례만 사용된다. The existing ResNet mainly uses a convolution layer with a stride size of 2 instead of a pooling layer when reducing the size of the feature map representing the feature information of the image, so the pooling layer is used only twice.
첫 번째 Pooling Layer는 첫 Convolution Layer 이후 Max Pooling이 사용되며, 두 번째 Pooling Layer는 Fully Connected Layer 대신 Global Average Pooling을 사용하여 연산량을 감소시킨다. The first Pooling Layer uses Max Pooling after the first Convolution Layer, and the second Pooling Layer uses Global Average Pooling instead of the Fully Connected Layer to reduce the amount of computation.
그러나 단순한 Pooling 기법은 고질적인 문제점을 지니고 있다. Max Pooling의 경우 Feature Map에서 가장 큰 값만을 사용하기에 Feature 값의 손실이 크고 Overfitting 되기 쉽다는 단점을 지니고 있다. Average Pooling은 주변 값들의 평균 연산을 진행하기에 Feature 중 큰 값이 있더라도 주변 값들에 의해 값이 줄어드는 문제점이 존재한다. However, simple pooling techniques have chronic problems. Max Pooling has the disadvantage of using only the largest value in the feature map, resulting in large loss of feature values and easy overfitting. Since Average Pooling calculates the average of surrounding values, there is a problem that even if there is a large value among the features, the value is reduced by the surrounding values.
이런 문제점을 해결하기 위해 일 실시예에 따른 이미지 분석부(140)는 ResNet의 Pooling Layer를 개선하여 작물의 생육단계를 분류한다.To solve this problem, the image analysis unit 140 according to one embodiment classifies the growth stage of crops by improving the Pooling Layer of ResNet.
도 5와 같이 이미지 분석부(140)는 ResNet의 첫 번째 Pooling Layer가 Max Pooling 대신 1×1 Convolution을 사용하여 Feature Map의 Channel 수를 절반으로 줄인다. 이후 Channel 수가 감소한 Feature Map에 Max Pooling과 Average Pooling을 개별적으로 적용하여 두 개의 Feature Map을 추출하고, 추출된 Feature Map들은 Concatenation을 통해 하나의 Feature Map으로 결합한다. As shown in Figure 5, the image analysis unit 140 reduces the number of channels in the feature map by half by using 1×1 convolution instead of Max Pooling in the first pooling layer of ResNet. Afterwards, Max Pooling and Average Pooling are individually applied to the feature map with a reduced number of channels to extract two feature maps, and the extracted feature maps are combined into one feature map through concatenation.
이와 같은 동작은 Max Pooling을 단일로 사용할 때보다 더욱 다양한 형태의 Feature Map을 얻을 수 있다. 또한 이를 통해 Overfitting을 방지하고 Feature 값의 손실을 줄일 수 있다. This operation allows you to obtain more diverse types of feature maps than when using Max Pooling alone. Additionally, this can prevent overfitting and reduce the loss of feature values.
ResNet의 두 번째 Pooling Layer는 Global Average Pooling으로 사용하는 Global Average Pooling에 Global Max Pooling을 함께 사용하여 두 개의 Feature Map을 얻는다. 두 개의 Feature Map은 서로 같은 Channel의 값끼리 평균값을 계산하여 한 개의 Feature Map으로 만들어 최종값을 결정한다. 이는 Average Pooling 연산으로 무시되는 Feature의 큰 값을 Max Pooling을 통해 추출하여 평균값으로 계산함으로써 큰 값이 존재하는 부분은 더 크게 만들어 값을 보정한다.ResNet's second pooling layer uses Global Average Pooling and Global Max Pooling together to obtain two feature maps. The two feature maps calculate the average value of the values of the same channel and create one feature map to determine the final value. This is an Average Pooling operation, where the large value of the ignored feature is extracted through Max Pooling and calculated as the average value, thereby correcting the value by making the part with a large value larger.
일 실시예에 따른 작물의 생육 단계 추정 시스템은 작물 종류에 따라 복숭아와 사과를 별개의 모델로 만들어 실행시킬 수 있다. 이하, 테스트 결과에 기반하여 일 실시예에 따른 작물의 생육 단계 추정 시스템의 성능 향상에 대해 설명한다. 세부적으로 Adam 최적화기, batch size 25, epoch는 500으로 설정하였으며, ResNet과 DenseNet을 사용하여 성능 비교평가를 진행하였다. 표 1은 제안하는 작물생육 추정 모델의 개발 및 성능평가 환경이다.The crop growth stage estimation system according to one embodiment can create and run separate models for peaches and apples depending on the crop type. Hereinafter, the performance improvement of the crop growth stage estimation system according to one embodiment will be described based on the test results. In detail, the Adam optimizer, batch size was set to 25, and epoch was set to 500, and performance comparison was performed using ResNet and DenseNet. Table 1 is the development and performance evaluation environment of the proposed crop growth estimation model.
표 2 는 일 실시예에 따른 작물의 생육 단계 추정 시스템의 개발 및 성능 평가를 위해 사용된 데이터 현황이다. Table 2 shows the status of data used for development and performance evaluation of the crop growth stage estimation system according to one embodiment.
수집된 원본 데이터는 복숭아와 사과 모두 생육단계별 데이터양의 차이가 크기 때문에 데이터 불균형 문제가 존재한다. 이에 데이터 균형을 맞추기 위해 데이터 전처리 과정 중 Data Augmentation을 생육 단계별로 차등적으로 적용하였다. 전처리가 완료된 데이터의 70%는 모델의 학습, 20%는 검증, 10%는 테스트에 사용하였다. There is a data imbalance problem in the collected original data because there is a large difference in the amount of data by growth stage for both peaches and apples. Accordingly, in order to balance the data, data augmentation was differentially applied to each growth stage during the data preprocessing process. 70% of the preprocessed data was used for model training, 20% for verification, and 10% for testing.
도 6 은 일 실시예에 따른 작물의 생육 단계 추정 시스템의 성능 향상을 설명하기 위해 복숭아 이미지 데이터를 활용하여 생육단계를 추정하는 학습과정의 예시도이다. Figure 6 is an example diagram of a learning process for estimating growth stages using peach image data to illustrate performance improvement of a crop growth stage estimation system according to an embodiment.
도 6의 (a) 내지 (c) 그래프들의 파란색 선(training_data)은 모델의 학습에 사용된 학습 데이터의 성능 과정이고, 주황색 선(testdata)은 성능 검증을 위해 사용된 Validation 데이터이다. The blue line (training_data) in the graphs in Figures 6 (a) to (c) is the performance process of the training data used to learn the model, and the orange line (testdata) is validation data used to verify performance.
도 6의 (a)는 ResNet 모델이 복숭아 데이터를 학습 과정으로 학습을 지속하는 경우 성능의 편차가 줄어드는 것을 확인할 수 있다. 그러나 다른 모델들보다 성능의 하락 폭이 매우 크게 나타난다. 도 6의 (b)는 DenseNet의 학습 과정으로 학습이 진행될수록 성능이 향상되며, 비교적 안정적인 성능을 보여준다. 도 6의 (c)는 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 모델의 학습 과정으로 학습 과정의 정확도 편차가 다른 모델들보다 비교적 안정적인 성능 결과를 보인다.In Figure 6 (a), it can be seen that the performance deviation is reduced when the ResNet model continues to learn the peach data as a learning process. However, the decline in performance is much larger than that of other models. Figure 6(b) shows the DenseNet learning process, where performance improves as learning progresses and shows relatively stable performance. Figure 6 (c) shows the learning process of the model proposed by the growth stage estimation system according to an embodiment of the present invention, and the accuracy deviation of the learning process shows relatively more stable performance results than other models.
표 3 은 복숭아 테스트 데이터를 사용하여 ResNet, DenseNet, 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 모델의 성능평가 결과이다. Table 3 shows the performance evaluation results of models proposed by ResNet, DenseNet, and the growth stage estimation system according to an embodiment of the present invention using peach test data.
성능 결과는 Accuracy를 기준으로 ResNet이 90.15%로 가장 낮으며, DenseNet은 91.54%, 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 모델은 93.11%로 가장 높은 성능을 보였다. 이는 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 모델이 Max Pooling과 Average Pooling을 함께 사용함으로써 기존의 알고리즘보다 더 다양한 Feature Map을 획득하여 과적합을 방지하였으며, Global Max Pooling과 Global Average Pooling의 평균값을 사용함으로써 Feature들의 차이를 명확하게 표현하여 최종적으로 가장 높은 테스트 결과를 보인 것임을 알 수 있다.Performance results showed that based on Accuracy, ResNet showed the lowest performance at 90.15%, DenseNet showed the highest performance at 91.54%, and the model proposed by the growth stage estimation system according to an embodiment of the present invention showed the highest performance at 93.11%. This means that the model proposed by the growth stage estimation system according to an embodiment of the present invention prevents overfitting by obtaining a more diverse feature map than the existing algorithm by using Max Pooling and Average Pooling together, and Global Max Pooling and Global Average By using the average value of pooling, the differences between features are clearly expressed, ultimately resulting in the highest test result.
도 7 은 일 실시예에 따른 작물의 생육 단계 추정 시스템의 성능 향상을 설명하기 위해 사과 이미지 데이터를 활용하여 생육단계를 추정하는 학습과정의 예시도이다. Figure 7 is an example diagram of a learning process for estimating the growth stage using apple image data to explain the performance improvement of the crop growth stage estimation system according to an embodiment.
사과 이미지 데이터를 활용하여 생육단계를 추정한 모델들의 학습 과정은 도 7의 (a) 내지 (c)와 같다. 도 7의 (a)는 사과 생육 데이터를 활용한 ResNet 학습 과정으로 복숭아 데이터 학습 과정과 유사하게 성능 저하가 크게 발생하며, 학습이 진행될수록 성능이 안정화되는 것을 확인할 수 있다. 그림 7의 (b)는 DenseNet의 학습 과정으로 학습을 진행할수록 정확도가 높아지고 성능 변동 폭이 줄어드는 것을 확인할 수 있다. 도 7의 (c)는 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 모델의 학습 과정으로 학습 초기 성능 편차가 크게 나타나지만, 학습이 진행될수록 안정적인 성능 결과를 보인다.The learning process of models that estimated growth stages using apple image data is shown in (a) to (c) of Figure 7. Figure 7 (a) shows a ResNet learning process using apple growth data, and similar to the peach data learning process, significant performance degradation occurs, and it can be seen that performance stabilizes as learning progresses. Figure 7 (b) shows the DenseNet learning process. You can see that as learning progresses, accuracy increases and performance fluctuations decrease. Figure 7 (c) shows the learning process of the model proposed by the growth stage estimation system according to an embodiment of the present invention. Although the initial performance deviation during learning is large, stable performance results are shown as learning progresses.
표 4 는 사과 테스트 데이터를 사용하여 ResNet, DenseNet, 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 모델의 성능평가 결과이다. Table 4 shows the performance evaluation results of models proposed by ResNet, DenseNet, and the growth stage estimation system according to an embodiment of the present invention using apple test data.
성능 결과는 DenseNet이 94.27%로 가장 낮으며, ResNet은 96.83%, 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 제안하는 모델은 97.89%로 가장 높은 성능을 보였다. 이는 앞서 복숭아 데이터를 활용한 테스트와 마찬가지로 Pooling Layer 개선을 통한 다양한 Feature Map 획득과 Feature의 명확한 차이를 학습함으로써 나타난 결과임을 알 수 있다. The performance results showed that DenseNet showed the lowest performance at 94.27%, ResNet showed the highest performance at 96.83%, and the model proposed by the growth stage estimation system according to an embodiment of the present invention showed the highest performance at 97.89%. It can be seen that this is the result of acquiring various feature maps through improving the pooling layer and learning clear differences in features, similar to the previous test using peach data.
본 발명의 일 실시예에 따른 생육 단계 추정 시스템은 기존 작물생육 단계 추정을 위해 주로 활용되던 시계열 분석 방식은 기후변화에 유동적으로 대응하지 못하는 문제점을 해결하기 위해 이미지 분석을 활용한 작물의 생육단계 추정 모델을 제안한다. 본 발명의 일 실시예에 따른 생육 단계 추정 시스템이 제안하는 작물 생육단계 추정 모델은 ResNet의 Pooling Layer를 변형하여 개발하였으며, 복숭아의 생육 추정은 93.11%, 사과의 생육 추정은 97.89%로 기존의 ResNet, DenseNet 모델보다 높은 성능의 정확도를 보임을 실험을 통해 확인할 수 있다. The growth stage estimation system according to an embodiment of the present invention estimates the growth stage of crops using image analysis to solve the problem that the time series analysis method, which was mainly used to estimate the existing crop growth stage, cannot flexibly respond to climate change. Propose a model. The crop growth stage estimation model proposed by the growth stage estimation system according to an embodiment of the present invention was developed by modifying the Pooling Layer of ResNet, and the growth estimation of peaches was 93.11% and the growth estimation of apples was 97.89%, which is better than the existing ResNet. , it can be confirmed through experiments that it shows higher performance accuracy than the DenseNet model.
즉, 본 발명의 일 실시예에 따른 생육 단계 추정 시스템은 Pooling Layer 개선으로 CNN의 성능을 향상시키고 이에 따라 기존의 ResNet, DenseNet 모델보다 높은 성능 정확도를 제공할 수 있다. In other words, the growth stage estimation system according to an embodiment of the present invention improves the performance of CNN by improving the pooling layer, and thus can provide higher performance accuracy than existing ResNet and DenseNet models.
도 8 은 본 발명의 일 실시예에 따른 작물의 생육 단계 추정 시스템의 구동방법의 흐름도이다. Figure 8 is a flowchart of a method of driving a crop growth stage estimation system according to an embodiment of the present invention.
일 실시예에 따른 작물의 생육 단계 추정 시스템의 구동방법은 주기적으로 카메라로부터 작물 이미지를 수집한다(S300). A method of driving a crop growth stage estimation system according to an embodiment periodically collects crop images from a camera (S300).
일 실시예에 있어서 이미지 수집단계는 일 실시예에 따른 작물의 생육 단계 추정 시스템이 제안하는 작물 생육단계 추정 모델을 학습시키기 위해 AWS 카메라로부터 작물 촬영 이미지를 수집한다. In one embodiment, the image collection step collects crop images from an AWS camera to learn a crop growth stage estimation model proposed by the crop growth stage estimation system according to one embodiment.
그리고 직물 이미지 수집 단계로 수집한 작물 이미지를 작물의 생육 추정 모델 학습에 필요한 데이터로 만들기 위해 이미지 전처리를 수행한다. Then, image preprocessing is performed to make the crop images collected in the fabric image collection stage into data necessary for learning the crop growth estimation model.
구체적으로 이미지 전처리 단계는, 작물 이미지 수집 단계로 수집한 이미지 데이터에서 불필요한 정보를 제거하는 이미지 편집 단계(S310), 이미지 편집 단계에서 편집된 이미지 데이터를 기 설정된 일정한 크기로 변환하는 크기 변환 단계(S320), 상기 크기 변환 단계에서 변환된 이미지 데이터에 Autoencoder 모델을 사용하여 이상 감지(Anomaly Detection)를 진행하고, 학습 데이터로 적합한지 여부를 판별하는 이상 데이터 탐지 단계(S330), 학습 데이터를 늘이기 위해 데이터를 증강시키는 데이터 증강 단계(S340)를 포함한다. Specifically, the image pre-processing step includes an image editing step (S310) to remove unnecessary information from the image data collected in the crop image collection step, and a size conversion step (S320) to convert the image data edited in the image editing step to a preset constant size. ), Anomaly detection is performed on the image data converted in the size conversion step using an Autoencoder model, and an anomaly data detection step (S330) is performed to determine whether it is suitable as training data, and data to increase the training data. It includes a data augmentation step (S340) of augmenting.
카메라로 자동 촬영된 이미지 데이터에는 사람, 조류, 벌레, 이물질 등 이상 상황에 따른 촬영 부분이 포함된다. 이상 부분이나 날짜, 시간 정보는 모델 학습 혹은 작물 생육단계 추정에 영향을 미칠 수 있기 때문에 이미지 편집 단계는 모델 학습에 불필요한 촬영 부분이나 날짜와 시간 정보가 표기된 부분은 잘라내어 제거한다.Image data automatically captured by a camera includes portions captured in abnormal situations such as people, birds, insects, and foreign substances. Because abnormal parts or date and time information can affect model learning or crop growth stage estimation, the image editing stage cuts out and removes the captured parts or parts with date and time information that are unnecessary for model learning.
그리고 신경망을 훈련시키고 새로운 데이터에 대해 예측을 수행하려면 영상이 신경망의 입력크기와 일치해야 한다. 크기 변환 단계는 신경망에 맞게 영상의 크기를 조정하기 위해서 이미지 데이터를 필요한 크기로 다시 스케일링하거나 자를 수 있다. 일 실시예에 있어서 크기 변환 단계는 이미지 편집 단계에서 날짜와 시간 정보가 제거된 이미지의 크기를 256 × 256으로 변환한다. And in order to train a neural network and make predictions on new data, the image must match the input size of the neural network. The size conversion step can rescale or crop the image data to the required size in order to resize the image to fit the neural network. In one embodiment, the size conversion step converts the size of the image from which the date and time information was removed in the image editing step to 256 × 256.
이상 데이터 탐지 단계는 데이터 이상 유무 판별에 있어서 Autoencoder 모델을 사용하며, 이상 데이터 판별 모델의 구조는 encoder와 decoder로 구성된다. 이상 데이터 탐지 단계는 이상 데이터가 없는 정상 이미지 데이터만을 사용하여 학습한다. The abnormal data detection stage uses an autoencoder model to determine whether there is an abnormal data, and the structure of the abnormal data determination model consists of an encoder and a decoder. The abnormal data detection step is trained using only normal image data without abnormal data.
Autoencoder는 encoder에서 원본 이미지 데이터를 저차원으로 압축하고 decoder에서는 압축된 데이터를 원본 데이터의 차원으로 복원한다. 복원된 이미지 데이터는 MSE(Mean Squared Error)를 사용하여 원본 이미지와의 차이를 계산한다. 그리고 원본 이미지와 복원 이미지의 차이가 지정해 놓은 임계값을 넘지 않는 경우 해당 데이터는 이상이 없는 정상 데이터로 판별하여 보관한다. Autoencoder compresses the original image data to a lower dimension in the encoder, and restores the compressed data to the dimensions of the original data in the decoder. The restored image data uses MSE (Mean Squared Error) to calculate the difference from the original image. And if the difference between the original image and the restored image does not exceed the specified threshold, the data is determined to be normal data with no abnormalities and stored.
만약 원본 이미지와 복원 이미지의 차이가 임계값을 넘는 경우 해당 데이터는 이상 데이터로 판단하고 제거한다. If the difference between the original image and the restored image exceeds the threshold, the data is judged as abnormal data and removed.
이후에 데이터에 무작위 방식의 증대를 적용하여 훈련 데이터의 양을 효과적으로 늘릴 수 있다. 또한 증대를 사용하면 신경망이 왜곡된 영상 데이터에 대해 일관된 결과를 도출하도록 훈련시킬 수 있다. Afterwards, random augmentation can be applied to the data to effectively increase the amount of training data. Augmentation can also be used to train neural networks to produce consistent results over distorted image data.
그리고 이미지 전처리부에서 전처리된 이미지 데이터를 분석하여 생육 단계를 추정한다(S350).Then, the growth stage is estimated by analyzing the image data pre-processed in the image pre-processing unit (S350).
본 발명의 일 양상에 있어서, 휴먼기, 발아기, 개화기, 낙화기, 과실비대초기, 과실비대기, 수확기, 양분축적기 중 하나의 생육 단계를 추정한다. 즉 보다 세밀하게 생육 단계를 추정할 수 있다. In one aspect of the present invention, one of the growth stages of human stage, germination stage, flowering stage, flowering stage, early fruit enlargement stage, fruit enlargement stage, harvest stage, and nutrient accumulation stage is estimated. In other words, the growth stage can be estimated in more detail.
그리고 이미지 분석 단계는, 제 1 Pooling Layer가 1×1 Convolution을 사용하여 피처맵의 채널 수를 절반으로 줄이고, 채널 수가 감소한 피처맵에 Max Pooling과 Average Pooling을 개별적으로 적용하여 두 개의 피처맵을 추출하고, 추출된 피처맵들은 Concatenation을 통해 하나의 피처맵으로 결합한다. And in the image analysis step, the first Pooling Layer uses 1×1 Convolution to reduce the number of channels in the feature map by half, and extracts two feature maps by separately applying Max Pooling and Average Pooling to the feature map with the reduced number of channels. And the extracted feature maps are combined into one feature map through concatenation.
또한 이미지 분석 단계는, 제 2 Pooling Layer가 Global Average Pooling으로 사용하는 Global Average Pooling에 Global Max Pooling을 함께 사용하여 두 개의 피처맵을 추출하고, 두 개의 피처맵은 서로 같은 채널의 값끼리 평균값을 계산하여 한 개의 피처맵으로 만들어 최종값을 결정한다.In addition, in the image analysis step, two feature maps are extracted by using Global Max Pooling together with Global Average Pooling, which is used by the second Pooling Layer as Global Average Pooling, and the two feature maps calculate the average value of the values of the same channel. Then, it is made into one feature map and the final value is determined.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The above-described method may be implemented as an application or in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention, or may be known and usable by those skilled in the computer software field.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, etc.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the invention and vice versa.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the following patent claims. You will be able to.
10 : 작물의 생육 단계 추정 시스템 20 : 카메라
30 : 관리자 단말 110 : 통신부
120 : 이미지 수집부 130 : 이미지 전처리부
140 : 이미지 분석부 150 : 저장부10: Crop growth stage estimation system 20: Camera
30: Administrator terminal 110: Communication department
120: image collection unit 130: image preprocessing unit
140: image analysis unit 150: storage unit
Claims (10)
상기 작물 이미지 수집부로 수집한 작물 이미지를 작물의 생육 추정 모델 학습에 필요한 데이터로 만들기위해 전처리하는 이미지 전처리부; 및
상기 이미지 전처리부에서 전처리된 이미지 데이터를 분석하여 생육 단계를 추정하는 이미지 분석부;를 포함하며,
상기 이미지 전처리부는,
상기 작물 이미지 수집부로 수집한 이미지 데이터에서 불필요한 정보를 제거하는 이미지 편집부; 상기 이미지 편집부에서 편집된 이미지 데이터를 기 설정된 일정한 크기로 변환하는 크기 변환부; 상기 크기 변환부에서 변환된 이미지 데이터에 Autoencoder 모델을 사용하여 이상 감지(Anomaly Detection)를 진행하고, 학습 데이터로 적합한지 여부를 판별하는 이상 데이터 탐지부; 및 학습 데이터를 늘리기 위해 데이터를 증강시키는 데이터 증강부;를 포함하되,
상기 이상 데이터 탐지부는, encoder에서 원본 이미지 데이터를 저차원으로 압축하고, decoder에서 압축된 데이터를 원본 데이터의 차원으로 복원하며, 복원된 이미지 데이터는 MSE(Mean Squared Error)를 사용하여 원본 이미지와의 차이를 계산하며, 원본 이미지와 복원 이미지의 차이가 지정해 놓은 임계값을 넘지 않는 경우 해당 데이터는 이상이 없는 정상 데이터로 판별하여 보관하고, 원본 이미지와 복원 이미지의 차이가 임계값을 넘는 경우 해당 데이터는 이상 데이터로 판단하고 제거하며,
상기 이미지 분석부는,
제 1 Pooling Layer가 1×1 Convolution을 사용하여 피처맵의 채널 수를 절반으로 줄이고, 채널 수가 감소한 피처맵에 Max Pooling과 Average Pooling을 개별적으로 적용하여 두 개의 피처맵을 추출하고, 추출된 피처맵들은 Concatenation을 통해 하나의 피처맵으로 결합하고,
제 2 Pooling Layer가 Global Average Pooling으로 사용하는 Global Average Pooling에 Global Max Pooling을 함께 사용하여 두 개의 피처맵을 추출하고, 두 개의 피처맵은 서로 같은 채널의 값끼리 평균값을 계산하여 한 개의 피처맵으로 만들어 최종값을 결정하는, 작물의 생육 단계 추정 시스템.
a crop image collection unit that periodically collects crop images from a camera;
An image pre-processing unit that pre-processes the crop images collected by the crop image collection unit to create data necessary for learning a crop growth estimation model; and
It includes an image analysis unit that analyzes the image data pre-processed in the image pre-processing unit to estimate the growth stage,
The image preprocessing unit,
an image editing unit that removes unnecessary information from image data collected by the crop image collection unit; a size conversion unit that converts the image data edited in the image editing unit to a preset constant size; An anomaly detection unit that performs anomaly detection on the image data converted by the size conversion unit using an autoencoder model and determines whether it is suitable as training data; And a data augmentation unit that augments the data to increase the learning data.
The abnormal data detection unit compresses the original image data to a low dimension in the encoder, restores the compressed data to the dimension of the original data in the decoder, and uses MSE (Mean Squared Error) to compare the restored image data to the original image data. The difference is calculated, and if the difference between the original image and the restored image does not exceed the specified threshold, the data is judged as normal data without any abnormalities and stored. If the difference between the original image and the restored image exceeds the threshold, the data is stored. is judged as abnormal data and removed,
The image analysis unit,
The first Pooling Layer uses 1×1 Convolution to reduce the number of channels in the feature map by half, extracts two feature maps by separately applying Max Pooling and Average Pooling to the feature map with the reduced number of channels, and extracts the extracted feature maps. are combined into one feature map through concatenation,
The second Pooling Layer extracts two feature maps by using Global Average Pooling, which is used as Global Average Pooling, together with Global Max Pooling, and the two feature maps are converted into one feature map by calculating the average of the values of the same channel. A crop growth stage estimation system that creates and determines the final value.
상기 이미지 분석부는,
휴먼기, 발아기, 개화기, 낙화기, 과실비대초기, 과실비대기, 수확기, 양분축적기 중 하나의 생육 단계를 추정하는, 작물의 생육 단계 추정 시스템.
According to claim 1,
The image analysis unit,
A crop growth stage estimation system that estimates one of the following growth stages: human stage, germination stage, flowering stage, flowering stage, early fruit growth stage, fruit growth stage, harvest stage, and nutrient accumulation stage.
상기 작물 이미지 수집 단계로 수집한 작물 이미지를 작물의 생육 추정 모델 학습에 필요한 데이터로 만들기 위해 전처리하는 이미지 전처리 단계; 및
이미지 전처리부에서 전처리된 이미지 데이터를 분석하여 생육 단계를 추정하는 이미지 분석 단계;를 포함하며,
상기 이미지 전처리 단계는,
상기 작물 이미지 수집 단계로 수집한 이미지 데이터에서 불필요한 정보를 제거하는 이미지 편집 단계; 상기 이미지 편집 단계에서 편집된 이미지 데이터를 기 설정된 일정한 크기로 변환하는 크기 변환 단계; 상기 크기 변환 단계에서 변환된 이미지 데이터에 Autoencoder 모델을 사용하여 이상 감지(Anomaly Detection)를 진행하고, 학습 데이터로 적합한지 여부를 판별하는 이상 데이터 탐지 단계; 및 학습 데이터를 늘이기 위해 데이터를 증강시키는 데이터 증강 단계;를 포함하되,
상기 이상 데이터 탐지 단계는, encoder에서 원본 이미지 데이터를 저차원으로 압축하고, decoder에서 압축된 데이터를 원본 데이터의 차원으로 복원하며, 복원된 이미지 데이터는 MSE(Mean Squared Error)를 사용하여 원본 이미지와의 차이를 계산하며, 원본 이미지와 복원 이미지의 차이가 지정해 놓은 임계값을 넘지 않는 경우 해당 데이터는 이상이 없는 정상 데이터로 판별하여 보관하고, 원본 이미지와 복원 이미지의 차이가 임계값을 넘는 경우 해당 데이터는 이상 데이터로 판단하고 제거하며,
상기 이미지 분석 단계는,
제 1 Pooling Layer가 1×1 Convolution을 사용하여 피처맵의 채널 수를 절반으로 줄이고, 채널 수가 감소한 피처맵에 Max Pooling과 Average Pooling을 개별적으로 적용하여 두 개의 피처맵을 추출하고, 추출된 피처맵들은 Concatenation을 통해 하나의 피처맵으로 결합하고,
제 2 Pooling Layer가 Global Average Pooling으로 사용하는 Global Average Pooling에 Global Max Pooling을 함께 사용하여 두 개의 피처맵을 추출하고, 두 개의 피처맵은 서로 같은 채널의 값끼리 평균값을 계산하여 한 개의 피처맵으로 만들어 최종값을 결정하는, 작물의 생육 단계 추정 시스템의 구동방법.
A crop image collection step of periodically collecting crop images from a camera;
An image pre-processing step of pre-processing the crop images collected in the crop image collection step to create data necessary for learning a crop growth estimation model; and
It includes an image analysis step of estimating the growth stage by analyzing the image data pre-processed in the image pre-processing unit,
The image preprocessing step is,
An image editing step of removing unnecessary information from the image data collected in the crop image collection step; A size conversion step of converting the image data edited in the image editing step to a preset constant size; An anomaly detection step of performing anomaly detection on the image data converted in the size conversion step using an autoencoder model and determining whether it is suitable as training data; And a data augmentation step of augmenting the data to increase the learning data;
In the abnormal data detection step, the encoder compresses the original image data to a low dimension, the decoder restores the compressed data to the original data dimension, and the restored image data is compared to the original image using MSE (Mean Squared Error). Calculate the difference between the original image and the restored image, and if the difference between the original image and the restored image does not exceed the specified threshold, the data is judged to be normal data without any abnormalities and stored. If the difference between the original image and the restored image exceeds the threshold, the data is stored. Data is judged as abnormal data and removed.
The image analysis step is,
The first Pooling Layer uses 1×1 Convolution to reduce the number of channels in the feature map by half, extracts two feature maps by separately applying Max Pooling and Average Pooling to the feature map with the reduced number of channels, and extracts the extracted feature maps. are combined into one feature map through concatenation,
The second Pooling Layer extracts two feature maps by using Global Average Pooling, which is used as Global Average Pooling, together with Global Max Pooling, and the two feature maps are converted into one feature map by calculating the average of the values of the same channel. A method of operating a crop growth stage estimation system that determines the final value.
상기 이미지 분석 단계는,
휴먼기, 발아기, 개화기, 낙화기, 과실비대초기, 과실비대기, 수확기, 양분축적기 중 하나의 생육 단계를 추정하는, 작물의 생육 단계 추정 시스템의 구동방법.
According to claim 6,
The image analysis step is,
A method of operating a crop growth stage estimation system that estimates one of the following growth stages: human stage, germination stage, flowering stage, flowering stage, early fruit growth stage, fruit growth stage, harvest stage, and nutrient accumulation stage.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220149668A KR102641356B1 (en) | 2022-11-10 | 2022-11-10 | System for Estimating of Crop Growth Stage and Driving method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220149668A KR102641356B1 (en) | 2022-11-10 | 2022-11-10 | System for Estimating of Crop Growth Stage and Driving method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102641356B1 true KR102641356B1 (en) | 2024-02-29 |
Family
ID=90041304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220149668A KR102641356B1 (en) | 2022-11-10 | 2022-11-10 | System for Estimating of Crop Growth Stage and Driving method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102641356B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101002966B1 (en) | 2008-01-02 | 2010-12-21 | (주)노매딕텍스 | Method for Monitoring and Managing Birth and Breeding of Agricultural Products Based Network Clustering Device |
| KR102293520B1 (en) | 2019-07-22 | 2021-08-27 | 주식회사 에피넷 | Precise management system of disease and insect pests, weather disasters based on crop phenology and its method |
| KR20220142823A (en) * | 2021-04-15 | 2022-10-24 | (주)농협정보시스템 | System and method for diagnosing plant diseases based on artificial intelligence |
-
2022
- 2022-11-10 KR KR1020220149668A patent/KR102641356B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101002966B1 (en) | 2008-01-02 | 2010-12-21 | (주)노매딕텍스 | Method for Monitoring and Managing Birth and Breeding of Agricultural Products Based Network Clustering Device |
| KR102293520B1 (en) | 2019-07-22 | 2021-08-27 | 주식회사 에피넷 | Precise management system of disease and insect pests, weather disasters based on crop phenology and its method |
| KR20220142823A (en) * | 2021-04-15 | 2022-10-24 | (주)농협정보시스템 | System and method for diagnosing plant diseases based on artificial intelligence |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110956094A (en) | RGB-D multi-mode fusion personnel detection method based on asymmetric double-current network | |
| CN109344883A (en) | Fruit tree diseases and pests recognition methods under a kind of complex background based on empty convolution | |
| US20090319269A1 (en) | Method of Trainable Speaker Diarization | |
| Lv et al. | Difference of Gaussian statistical features based blind image quality assessment: A deep learning approach | |
| US11455794B2 (en) | System and method for orchard recognition on geographic area | |
| CN114387520B (en) | Method and system for accurately detecting compact Li Zijing for robot picking | |
| CN111738054B (en) | Behavior anomaly detection method based on space-time self-encoder network and space-time CNN | |
| CN112686152B (en) | Crop pest identification method with multi-size input and multi-size targets | |
| CN114399480A (en) | Method and device for detecting severity of vegetable leaf disease | |
| US11909810B2 (en) | Image data segmentation and transmission | |
| CN116030348A (en) | LS-YOLOv5 network-based mung bean leaf spot disease detection method and device | |
| Zheng et al. | An efficient online citrus counting system for large‐scale unstructured orchards based on the unmanned aerial vehicle | |
| KR102641356B1 (en) | System for Estimating of Crop Growth Stage and Driving method thereof | |
| CN113705340B (en) | Deep learning change detection method based on radar remote sensing data | |
| CN107633527B (en) | Target tracking method and device based on full convolution neural network | |
| CN113761282B (en) | Video duplicate checking method and device, electronic equipment and storage medium | |
| CN114067435A (en) | Sleep behavior detection method and system based on pseudo-3D convolutional network and attention mechanism | |
| Ma et al. | Using an improved lightweight YOLOv8 model for real-time detection of multi-stage apple fruit in complex orchard environments | |
| CN103207995A (en) | PCA (Principal Component Analysis)-based 3D (three dimensional) face identification method | |
| CN110309786B (en) | Lactating sow posture conversion identification method based on depth video | |
| CN117391981A (en) | Infrared and visible light image fusion method based on low-light illumination and self-adaptive constraint | |
| Liu et al. | Learning an optical filter for green pepper automatic picking in agriculture | |
| CN115294467A (en) | Detection method and related device for tea diseases | |
| CN114298286A (en) | Method for training lightweight convolutional neural network to obtain pre-training model | |
| CN105184275A (en) | Infrared local face key point selecting and obtaining method based on binary decision tree |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |