KR102598012B1 - 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템 - Google Patents

딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템 Download PDF

Info

Publication number
KR102598012B1
KR102598012B1 KR1020220133567A KR20220133567A KR102598012B1 KR 102598012 B1 KR102598012 B1 KR 102598012B1 KR 1020220133567 A KR1020220133567 A KR 1020220133567A KR 20220133567 A KR20220133567 A KR 20220133567A KR 102598012 B1 KR102598012 B1 KR 102598012B1
Authority
KR
South Korea
Prior art keywords
fruit tree
growth stage
data
agricultural
unit
Prior art date
Application number
KR1020220133567A
Other languages
English (en)
Inventor
심춘보
정세훈
방지현
박준
김준영
박성욱
Original Assignee
순천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천대학교 산학협력단 filed Critical 순천대학교 산학협력단
Priority to KR1020220133567A priority Critical patent/KR102598012B1/ko
Application granted granted Critical
Publication of KR102598012B1 publication Critical patent/KR102598012B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Evolutionary Computation (AREA)
  • Agronomy & Crop Science (AREA)
  • Databases & Information Systems (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Animal Husbandry (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템은 과수에 대한 이미지를 수집하는 이미지 수집부; 상기 이미지 수집부에서 수집된 과수 이미지를 저장하는 데이터 저장부; 상기 데이터 저장부에 저장된 과수 이미지를 전처리하는 이미지 전처리부; 상기 이미지 전처리부에서 전처리된 과수 이미지를 딥러닝 기반의 객체 탐지 모델을 통해 분석하여 해당 과수의 생육 단계를 판별하는 생육단계 판별부; 및 상기 생육단계 판별부에서 판별된 과수의 생육 단계를 표시하는 생육단계 표시부;를 포함하는 것을 특징으로 한다.

Description

딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템{A System for Determining the Growth Stage of Fruit Tree Using a Deep Learning-Based Object Detection Model}
본 발명의 실시예는 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템에 관한 것이다.
인공지능 기술의 발전으로 다양한 분야에서 AI가 접목된 시스템에 대한 관심이 급증하고 있다. 농업에서도 정보통신 기술을 적용한 스마트팜이 활용되고 있으며, 자율주행, 인공위성, 빅데이터 등의 다양한 첨단 기술을 접목하여 데이터 기반의 정밀 농업이 상용화되고 있다.
오늘날 스마트농업은 여러 선도국에서 지속적인 빅데이터 축적과 기술 집적을 기반으로 생산량 증대 및 투입되는 비용의 절감을 실현하고 있다. 그로 인하여 스마트농업 기술기업 대상 투자가 확대되고, 실제 서비스와 제품들의 출시가 활발하며, 관련 글로벌 시장은 연 평균 9.8%의 성장률을 보일 것을 전망하고 있다.
AI(Artificial Intelligence) 기술의 발전은 농업 분야에서도 스마트팜과 같은 ICT(Information & Communications Technology)를 접목하여 긍정적인 결과를 창출해내고 있다.
그러나 스마트농업 분야는 시설원예 분야에 투자 편증이 심하여, 시설농업과 노지농업의 연구 및 투자 격차가 지속해서 벌어지고 있다. 특히, 과수, 식물공장 분야는 투자 규모가 작고, 또한 빅데이터를 수집 및 활용할 수 있는 체계가 미흡하다는 문제점이 있다.
대한민국 등록특허공보 제10-1763841호(2017.08.16.)
본 발명은 농업의 빅데이터를 활용하는 방안으로 시설 농업에 편중된 생육 환경 분석 시스템을 노지 농업인 과수에 적용하기 위하여 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 농업 현장에서 사용할 수 있도록 하이브리드 앱(Application)으로 설계 및 구현할 수 있는 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템은 과수에 대한 이미지를 수집하는 이미지 수집부; 상기 이미지 수집부에서 수집된 과수 이미지를 저장하는 데이터 저장부; 상기 데이터 저장부에 저장된 과수 이미지를 전처리하는 이미지 전처리부; 상기 이미지 전처리부에서 전처리된 과수 이미지를 딥러닝 기반의 객체 탐지 모델을 통해 분석하여 해당 과수의 생육 단계를 판별하는 생육단계 판별부; 및 상기 생육단계 판별부에서 판별된 과수의 생육 단계를 표시하는 생육단계 표시부;를 포함하는 것을 특징으로 한다.
또한, 상기 이미지 전처리부는, 상기 과수의 생육 단계별로 설정한 복수의 클래스를 형성하는 클래스 형성모듈; 상기 데이터 저장부에 저장된 과수 이미지의 해당 과수의 생육 단계에 따라 상기 과수 이미지를 라벨링하여 특정 클래스로 분류하는 데이터 분류모듈; 및 각각의 상기 클래스로 분류된 과수 이미지를 데이터 증강(Data Augmentation) 기법을 이용하여 증강시키는 데이터 증강모듈;을 포함할 수 있다.
또한, 상기 클래스 형성모듈은, 상기 과수의 생육 단계별 클래스로 총 8개의 클래스를 형성하고, 상기 8개의 클래스는, 휴면기(Dormant), 발아기(Germination), 개화기(Flowering), 낙화기(Falling Flower), 과실비대초기(Early Fruit Hypertrophy), 과실비대기(Fruit Hypertrophy), 수확기(Harvest) 및 양분축적기(Nutrient Accumulation)일 수 있다.
또한, 상기 데이터 분류모듈은, 각각의 클래스마다 동일한 수의 과수 이미지를 라벨링하여 특정 클래스로 분류할 수 있다.
또한, 상기 데이터 증강모듈은, 상기 데이터 증강(Data Augmentation) 기법 중 Flip, Rotation기법을 이용하여 각각의 클래스로 분류된 과수 이미지를 증강시킬 수 있다.
또한, 상기 생육단계 판별부는, 상기 데이터 증강모듈에 의해 증강된 각각의 클래스별 과수 이미지를 상기 딥러닝 기반의 객체 탐지 모델을 통해 분석하여 해당 과수의 생육 단계를 판별하되, 상기 딥러닝 기반의 객체 탐지 모델로 YOLOv3을 이용하여 해당 과수의 생육 단계를 판별할 수 있다.
또한, 사용자에 의해 작성된 농업 일지(Agricultural Diary)와 기상청의 날씨 정보를 상기 데이터 저장부에 각각 저장하여 상기 사용자에게 농업 데이터를 제공하는 농업 일지부;를 더 포함할 수 있다.
또한, 상기 농업 일지부는, 상기 농업 일지를 상기 사용자에게 제공하고, 해당 사용자에 의해 작성된 농업 일지를 상기 데이터 저장부에 저장하는 농업 일지모듈; 및 상기 기상청의 날씨 정보를 상기 데이터 저장부에 자동으로 저장하는 자동 저장모듈;을 포함하고, 상기 농업 일지모듈은, 상기 사용자의 요청으로 상기 데이터 저장부에 저장된 농업 일지와 날씨 정보를 포함하는 농업 데이터를 사용자에게 제공할 수 있다.
또한, 상기 사용자의 요청으로 상기 데이터 저장부에 저장된 과수 이미지와 농업 데이터를 포함하는 검색 데이터를 검색하여 사용자에게 제공하는 데이터 검색부;를 더 포함할 수 있다.
아울러, 상기 데이터 저장부는, 상기 과수 이미지가 저장되는 이미지 저장모듈; 및 상기 농업 데이터가 저장되는 데이터 저장모듈;을 포함하고, 상기 데이터 저장모듈은, 농업 일지, 날씨 정보 및 농장 이름을 포함하는 농업 데이터를 저장할 수 있다.
상기한 바와 같이 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템에 의하면, 농업의 빅데이터를 활용하는 방안으로 시설 농업에 편중된 생육 환경 분석 시스템을 노지 농업인 과수에 적용할 수 있는 효과가 있다.
또한, 본 발명은 농업 현장에서 사용할 수 있도록 하이브리드 앱(Application)으로 설계 및 구현할 수 있는 효과가 있다.
도 1은 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템의 제 1구성도이다.
도 2는 본 발명에 따른 데이터 저장부의 구성도이다.
도 3은 본 발명에 따른 이미지 전처리부의 구성도이다.
도 4는 본 발명에 따른 이미지 전처리부의 데이터 전처리 과정을 나타내는 도이다.
도 5는 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템의 제 2구성도이다.
도 6은 본 발명에 따른 농업 일지부의 구성도이다.
도 7은 본 발명에 따른 과수 생육 단계 판별 시스템이 하이브리드 앱으로 구현된 예시도이다.
도 8은 도 7의 앱이 특정 클래스의 생육단계 판별의 정확도를 진행한 결과 화면이다.
도 9는 본 발명에 따른 생육단계 판별부의 시퀀스 다이어그램이다.
도 10은 본 발명에 따른 농업 일지부의 시퀀스 다이어그램이다.
도 11은 본 발명에 따른 데이터 검색부의 시퀀스 다이어그램이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
도 1은 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템의 제 1구성도이다.
본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템은 도 1에 도시된 바와 같이, 이미지 수집부(100), 데이터 저장부(200), 이미지 전처리부(300), 생육단계 판별부(400), 및 생육단계 표시부(500)를 포함한다.
이미지 수집부(100)는 과수에 대한 이미지를 수집할 수 있다.
구체적으로, 이미지 수집부(100)는 다양한 지역의 과수 농장에서 촬영한 과수 이미지를 수집할 수 있는데, 이렇게 노지에서 수집된 과수 이미지는 센서에 부착된 카메라로 일정 시간동안 자동으로 이미지를 촬영하거나, 스마트폰으로 직접 촬영한 이미지들로 과수의 생육단계를 담을 수 있다.
데이터 저장부(200)는 이미지 수집부에서 수집된 과수 이미지를 저장할 수 있다.
도 2는 본 발명에 따른 데이터 저장부의 구성도이다.
구체적으로, 데이터 저장부(200)는 도 2에 도시된 바와 같이, 이미지 저장모듈(210), 및 데이터 저장모듈(220)을 포함할 수 있다.
이미지 저장모듈(210)은 이미지 수집부에서 수집된 과수 이미지가 저장될 수 있다.
데이터 저장모듈(220)은 후술하는 바와 같이, 농업 일지부(600)에서 제공된 농업 데이터가 저장될 수 있는데, 이러한 데이터 저장모듈(220)은 농업 데이터로 농업 일지, 날씨 정보 및 농장 이름을 포함하는 다양한 데이터를 저장할 수 있다.
이미지 전처리부(300)는 데이터 저장부, 즉 이미지 저장모듈(210)에 저장된 과수 이미지를 전처리할 수 있는데, 이러한 이미지 전처리부(300)는 이미지 수집 기기에 따라 화소, 크기, 비율 등이 달라질 수 있는 과수 이미지를 전처리함으로써 후술할 생육단계 판별부(400)에서 해당 과수의 생육 단계를 원활하게 판별하도록 할 수 있다.
도 3은 본 발명에 따른 이미지 전처리부의 구성도이다.
구체적으로, 이미지 전처리부(300)는 도 3에 도시된 바와 같이, 클래스 형성모듈(310), 데이터 분류모듈(320). 및 데이터 증강모듈(330)을 포함할 수 있다.
클래스 형성모듈(310)은 과수의 생육 단계별로 설정한 복수의 클래스를 형성할 수 있다.
구체적으로, 클래스 형성모듈(310)은 국립농업과학원에서 분류한 과수의 생육단계에 맞춰 해당 과수의 생육 단계별 클래스로 총 8개의 클래스를 형성할 수 있는데, 여기서, 8개의 클래스는 휴면기(Dormant), 발아기(Germination), 개화기(Flowering), 낙화기(Falling Flower), 과실비대초기(Early Fruit Hypertrophy), 과실비대기(Fruit Hypertrophy), 수확기(Harvest) 및 양분축적기(Nutrient Accumulation)일 수 있다.
데이터 분류모듈(320)은 데이터 저장부에 저장된 과수 이미지의 해당 과수의 생육 단계에 따라 과수 이미지를 라벨링하여 8개의 클래스 중 특정 클래스로 분류할 수 있다.
구체적으로, 데이터 분류모듈(320)은 각각의 클래스마다 동일한 수의 과수 이미지를 라벨링하여 특정 클래스로 분류할 수 있는데, 이러한 데이터 분류모듈(320)은 예를 들어, 각 클래스마다 500장의 이미지, 총 4,000장의 이미지에 대하여 라벨링을 처리할 수 있다.
데이터 증강모듈(330)은 각각의 클래스로 분류된 과수 이미지를 데이터 증강(Data Augmentation) 기법을 이용하여 증강시킬 수 있다.
도 4는 본 발명에 따른 이미지 전처리부의 데이터 전처리 과정을 나타내는 도이다.
구체적으로, 데이터 증강모듈(330)은 도 4에 도시된 바와 같이, 데이터 증강(Data Augmentation) 기법 중 Flip, Rotation기법을 이용하여 각각의 클래스로 분류된 과수 이미지를 증강시킬 수 있다.
이러한 데이터 증강모듈(330)은 예를 들어, 과수 이미지를 11,135장으로 증강시킬 수 있고, 전처리된 데이터는 train 70%, test 20%, validation 10% 비율로 나누어 데이터셋을 구성할 수 있다.
생육단계 판별부(400)는 이미지 전처리부에서 전처리된 과수 이미지를 딥러닝 기반의 객체 탐지 모델을 통해 분석하여 해당 과수의 생육 단계를 판별할 수 있다.
구체적으로, 생육단계 판별부(400)는 데이터 증강모듈에 의해 증강된 각각의 클래스별 과수 이미지를 딥러닝 기반의 객체 탐지 모델을 통해 분석하여 해당 과수의 생육 단계를 판별할 수 있는데, 이러한 생육단계 판별부(400)는 딥러닝 기반의 객체 탐지 모델로 YOLOv3을 이용하여 해당 과수의 생육 단계를 판별할 수 있다.
일반적으로 YOLO(You Only Look Once) 모델은 뛰어난 이미지 기반 처리 속도를 보여주고 있으며, 성능 또한 다른 R-CNN 기반 알고리즘에 뒤지지 않는 준수한 성능을 보여주고 있다.
본 발명자는 노지 데이터 활용에 가장 적합한 모델을 찾기 위해, YOLOv3, YOLOv3-Tiny, YOLOv4, 입력 사이즈를 416×416으로 수정한 YOLOv4, Faster R-CNN으로 총 5가지 모델을 통해 테스트를 진행하였다.
특히, 객체 탐지 모델의 성능을 평가하기 위한 다양한 객체 탐지 평가 지표 중, Precision, Recall, AP(Average Precision), mAP(mean Average Precision), F1-score를 평가 지표로 활용하였다.
먼저, Precision은 모델이 True라고 분류한 것 중 실제 True의 비율이며, 하기의 [수학식 1]과 같다.
또한, Recall은 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율이며, 하기의 [수학식 2]와 같다.
또한, AP는 Recall을 0부터 0.1 단위로 증가시켜 1까지 증가시킬 때 발생하는 Precision 값을 계산한 평균을 제시하며, mAP는 전체 클래스 수에 대하여 AP를 계산하여 평균을 낸 값이다.
아울러, F1-score는 precision과 recall의 조화평균으로, 하기의 [수학식 3]과 같다.
각 모델들 중 노지에서 수집된 과수의 생육 단계 데이터를 가장 잘 인식하는 모델을 찾기 위해 테스트를 진행하였으며, 데이터는 Train에 7,789장, Test에 2,236장, Validation에 1,110장, 총 11,135장을 활용하였다,
또한, 파라미터는 Batch Size 64, Subdivision 32, Learning_rate 0.0013, Max Batches 16,000, IoU Threshold는 0.5로 설정하였다.
5가지 모델을 훈련시킨 후, 성능 비교를 측정하였으며, 결과는 [표 1]과 같이 이미지 사이즈를 416으로 수정한 YOLOv4 모델이 각 클래스별 AP에서 가장 좋은 성능을 보여주었다.
YOLOv3 YOLOv3-Tiny YOLOv4 YOLOv4-416 Faster-RCNN
휴면기 44.04% 20.31% 41.75% 44.79% 12.11%
과실비대초기 72.58% 50.53% 75.26% 79.02% 41.13%
낙화기 46.38% 19.94% 46.66% 45.00% 11.83%
개화기 65.01% 43.14% 57.21% 67.91% 30.40%
과실
비대기		 90.33% 82.67% 88.24% 91.44% 58.96%
발아기 63.96% 29.03% 52.60% 64.66% 24.73%
수확기 94.95% 87.59% 92.08% 94.83% 68.62%
양분
축적기		 79.29% 77.45% 72.94% 81.05% 39.83%
다만, [표 2]의 YOLO 모델 전체 성능 비교표에서는 YOLOv3가 전반적으로, YOLOv4보다 좋은 성능을 보였다.
YOLO
v3		 YOLO
v3-Tiny		 YOLO
v4		 YOLO
v4-416		 Faster-RCNN
Precision 0.68 0.43 0.86 0.64 0.66
Recall 0.63 0.45 0.35 0.61 0.48
F1-Score 0.65 0.44 0.49 0.65 0.56
mAP 0.695667 0.513359 0.658419 0.710881 0.359888
이에 본 발명자는 YOLOv3 모델이 노지에서 수집된 사과 데이터 학습에 가장 적합한 모델이라고 판단하였고, 이에 생육단계 판별부가 딥러닝 기반의 객체 탐지 모델로 YOLOv3을 이용하여 해당 과수의 생육 단계를 판별하는 것으로 구성하였다.
하기의 [표 3]은 YOLOv3 객체 탐지 결과 이미지로, 각각의 생육단계에 맞춰 객체를 탐지하고 있는 모습을 확인할 수 있다.
클래스 객체탐지 결과 이미지



휴면기



과실비대초기



낙화기



개화기



과실비대기



발아기



수확기



양분축적기
생육단계 표시부(500)는 생육단계 판별부에서 판별된 과수의 생육 단계를 표시할 수 있다.
이러한 생육단계 표시부(500)는 상기한 과수의 생육 단계를 사용자에게 표시하는 것 외에, 후술하는 바와 같이, 사용자가 요청한 농업 데이터 및 검색 데이터를 해당 사용자에게 표시할 수 있다.
도 5는 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템의 제 2구성도이다.
한편, 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템은 도 5에 도시된 바와 같이, 상기한 이미지 수집부(100), 데이터 저장부(200), 이미지 전처리부(300), 생육단계 판별부(400), 생육단계 표시부(500) 외에, 그 구성으로, 농업 일지부(600), 및 데이터 검색부(700)를 더 포함할 수 있다.
농업 일지부(600)는 사용자에 의해 작성된 농업 일지(Agricultural Diary)와 기상청의 날씨 정보를 데이터 저장부에 각각 저장하여 사용자에게 농업 데이터를 제공할 수 있다.
도 6은 본 발명에 따른 농업 일지부의 구성도이다.
구체적으로, 농업 일지부(600)는 도 6에 도시된 바와 같이, 농업 일지모듈(610), 및 자동 저장모듈(620)을 포함할 수 있다.
농업 일지모듈(610)은 사용자가 작성할 농업 일지를 사용자에게 제공하고, 해당 사용자에 의해 작성된 농업 일지를 데이터 저장부에 저장할 수 있다.
구체적으로, 농업 일지모듈(610)은 사용자에 의해 작성된 농업 일지를 데이터 저장부 중 데이터 저장모듈(220)에 저장할 수 있는데, 이러한 농업 일지모듈(610)은 해당 사용자가 이전에 작성한 농업 일지와 날씨 정보를 요청하는 경우, 데이터 저장모듈(220)에 각각 저장된 해당 농업 일지와 날씨 정보를 포함하는 농업 데이터를 추출하여 사용자에게 제공할 수 있다.
자동 저장모듈(620)은 기상청의 날씨 정보를 데이터 저장부에 자동으로 저장할 수 있다.
구체적으로, 자동 저장모듈(620)은 기상청의 Open API를 수신하여 강우, 온도, 습도 등의 날씨 데이터를 데이터 저장부 중 데이터 저장모듈(220)에 저장할 수 있다.
데이터 검색부(700)는 사용자의 요청으로 데이터 저장부에 저장된 과수 이미지와 농업 데이터를 포함하는 검색 데이터를 검색하여 사용자에게 제공할 수 있다.
한편, 본 발명에 따른 과수 생육 단계 판별 시스템은 모바일과 데스크탑에서 모두 사용가능한 하이브리드 앱으로 구현될 수 있다.
이러한 과수 생육 단계 판별 앱은 상기한 바와 같이, 하이브리드 앱으로 설계 및 구현되어 네이티브 앱과 모바일 웹 앱의 장점을 모두 제공할 수 있다.
본 발명에서는 하이브리드 앱 개발을 위하여 아이오닉 모바일 앱 프레임워크를 적용하였다.
이러한 아이오닉은 CSS(Cascading Style Sheet), HTML5(Hyper Text Markup Language 5)와 같은 웹 기술을 사용하여 하이브리드 모바일, 데스크탑 및 프로그레시브 웹 앱을 개발하기 위한 도구와 서비스를 제공하는 오픈 소스 SDK(Software Development Kit)로, 이러한 과수 생육 단계 판별 앱은 상기한 바와 같이, 생육단계를 판별하는 기능과, 농업일지를 작성하는 기능, 및 기록된 데이터를 검색하는 기능을 제공할 수 있다.
도 7은 본 발명에 따른 과수 생육 단계 판별 시스템이 하이브리드 앱으로 구현된 예시도이다.
구체적으로, 과수 생육 단계 판별 앱은 도 7에 도시된 바와 같은 하이브리드 앱으로 구현될 수 있는데, 여기서 첫 번째 화면은 사용자의 아이디와 패스워드를 작성하는 로그인 UI이며, 두 번째 화면은 생육단계 판별 결과를 보여주는 UI이다.
생육단계 판별 기능에서 사용자는 아래의 2가지 버튼으로 이미지를 현장에서 촬영하거나, 기존의 이미지를 업로드하는 방식으로 사용할 수 있다.
세 번째 화면은 농업일지 작성 기능이 포함된 UI로, 농업일지에는 작물의 상태, 농업현황, 온도, 습도 등 사용자가 희망하는 특이 사항을 저장할 수 있다.
도 8은 도 7의 앱이 특정 클래스의 생육단계 판별의 정확도를 진행한 결과 화면이다.
이러한 과수 생육 단계 판별 앱은 도 8에 도시된 바와 같이, 특정 클래스의 생육단계 판별 결과, Flowering은 각각 57.6%, 62.8%, 91.9%를 보여주었고, Fruit_Hypertrophy 58.9%, Harvest 51.85%, Dormant는 각각 79.2%, 58.7%, 59.3%의 성능을 제시하였다.
이하, 본 발명에 따른 과수 생육 단계 판별 앱을 이용한 생육단계 판별기능과, 농업일지 작성기능, 및 데이터 검색기능을 수행하는 과정을 설명한다.
도 9는 본 발명에 따른 생육단계 판별부의 시퀀스 다이어그램이다.
먼저, 사용자는 생육단계 판별기능을 수행하기 위해, 도 9에 도시된 바와 같이, 과수 생육 단계 판별 앱에 표시된 UI Growth Level Detection에 생육단계 판별을 요청하고, UI Growth Level Detection은 Growth Level Detection module(즉, 생육단계 판별부, 이하 생육단계 판별부라 함)에 생육단계 예측을 요청한다.
이후, 생육단계 판별부는 Data Server(즉, 데이터 저장부, 이하 데이터 저장부라 함)에 훈련된 모델과 데이터를 요청하고, 데이터 저장부는 훈련된 모델과 데이터를 생육단계 판별부로 송신한다.
생육단계 판별부는 훈련된 모델과 데이터를 통해 생육단계 예측을 수행하여 그 결과를 UI Growth Level Detection에 출력하고, UI Growth Level Detection는 수신한 결과를 사용자에게 시각화하여 제공할 수 있다.
도 10은 본 발명에 따른 농업 일지부의 시퀀스 다이어그램이다.
또한, 사용자는 농업일지 작성기능을 수행하기 위해, 도 10에 도시된 바와 같이, 과수 생육 단계 판별 앱에 표시된 UI Agricultural Diary(즉, 농업 일지모듈, 이하 농업 일지모듈이라 함)에 일지를 작성하면, 농업 일지모듈은 데이터 저장부에 해당 일지를 저장하고, 데이터 저장부는 데이터 저장을 승인하며, 농업 일지모듈은 저장 완료 문구를 사용자에게 출력한다.
또한, Auto Record module(즉, 자동 저장모듈, 이하 자동 저장모듈이라 함)은 기상청의 Open API를 수신하여 데이터 저장부에 데이터를 자동으로 저장한다.
한편, 사용자는 지난 농업일지의 기록들과 저장된 기상청 데이터를 농업 일지모듈에 요청할 수 있는데, 해당 사용자가 지난 농업일지 기록들 또는 저장된 기상청의 데이터를 요청하는 경우, 농업 일지모듈은 데이터 저장부에 기록들을 요청할 수 있고, 해당 농업 일지모듈이 데이터 저장부로부터 데이터를 수신받으면 해당 데이터를 시각화하여 사용자에게 제공할 수 있다.
도 11은 본 발명에 따른 데이터 검색부의 시퀀스 다이어그램이다.
아울러, 사용자는 데이터 검색기능을 수행하기 위해, 도 11에 도시된 바와 같이, 과수 생육 단계 판별 앱에 표시된 UI Searcher에 데이터를 검색할 수 있는데, 이러한 UI Searcher는 사용자가 검색한 데이터를 Searcher Module(즉, 데이터 검색부, 이하 데이터 검색부라 함)에 요청할 수 있다.
구체적으로, 데이터 검색부는 사용자가 검색한 내용을 정리하고 데이터 저장부에 사용자가 검색한 데이터를 요청할 수 있고, 데이터 저장부는 검색 결과를 데이터 검색부에 송신하여 해당 데이터 검색부가 그 결과를 UI Searcher에 출력하도록 할 수 있으며, UI Searcher은 출력된 결과를 시각화하여 사용자에게 제공할 수 있다.
이처럼, 본 발명에 따르면, 농업의 빅데이터를 활용하는 방안으로 시설 농업에 편중된 생육 환경 분석 시스템을 노지 농업인 과수에 적용할 수 있고, 하이브리드 앱(Application)으로 설계 및 구현하여 농업 현장은 물론 모바일, 데스크탑에서 모두 사용할 수 있다.
이상과 같이 본 발명에 따른 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
100:이미지 수집부 200:데이터 저장부
210:이미지 저장모듈 220:데이터 저장모듈
300:이미지 전처리부 310:클래스 형성모듈
320:데이터 분류모듈 330:데이터 증강모듈
400:생육단계 판별부 500:생육단계 표시부
600:농업 일지부 610:농업 일지모듈
620:자동 저장모듈 700:데이터 검색부

Claims (10)

  1. 과수에 대한 이미지를 수집하는 이미지 수집부;
    상기 이미지 수집부에서 수집된 과수 이미지를 저장하는 데이터 저장부;
    상기 데이터 저장부에 저장된 과수 이미지를 전처리하는 이미지 전처리부;
    상기 이미지 전처리부에서 전처리된 과수 이미지를 딥러닝 기반의 객체 탐지 모델을 통해 분석하여 해당 과수의 생육 단계를 판별하는 생육단계 판별부; 및
    상기 생육단계 판별부에서 판별된 과수의 생육 단계를 표시하는 생육단계 표시부;
    사용자에 의해 작성된 농업 일지(Agricultural Diary)와 기상청의 날씨 정보를 상기 데이터 저장부에 각각 저장하여 상기 사용자에게 농업 데이터를 제공하는 농업 일지부;
    상기 사용자의 요청으로 상기 데이터 저장부에 저장된 과수 이미지와 농업 데이터를 포함하는 검색 데이터를 검색하여 사용자에게 제공하는 데이터 검색부;를 포함하며,
    상기 이미지 전처리부는, 상기 과수의 생육 단계별로 설정한 복수의 클래스를 형성하는 클래스 형성모듈; 상기 데이터 저장부에 저장된 과수 이미지의 해당 과수의 생육 단계에 따라 상기 과수 이미지를 라벨링하여 특정 클래스로 분류하는 데이터 분류모듈; 및 각각의 상기 클래스로 분류된 과수 이미지를 데이터 증강(Data Augmentation) 기법을 이용하여 증강시키는 데이터 증강모듈;을 포함하되,
    상기 클래스 형성모듈은, 상기 과수의 생육 단계별 클래스로 총 8개의 클래스를 형성하고, 상기 8개의 클래스는, 휴면기(Dormant), 발아기(Germination), 개화기(Flowering), 낙화기(Falling Flower), 과실비대초기(Early Fruit Hypertrophy), 과실비대기(Fruit Hypertrophy), 수확기(Harvest) 및 양분축적기(Nutrient Accumulation)이며,
    상기 데이터 분류모듈은, 각각의 클래스마다 동일한 수의 과수 이미지를 라벨링하여 특정 클래스로 분류하며,
    상기 데이터 증강모듈은, 상기 데이터 증강(Data Augmentation) 기법 중 Flip, Rotation기법을 이용하여 각각의 클래스로 분류된 과수 이미지를 증강시키며,
    상기 생육단계 판별부는, 상기 데이터 증강모듈에 의해 증강된 각각의 클래스별 과수 이미지를 상기 딥러닝 기반의 객체 탐지 모델을 통해 분석하여 해당 과수의 생육 단계를 판별하고, 상기 딥러닝 기반의 객체 탐지 모델로 YOLOv3을 이용하여 해당 과수의 생육 단계를 판별하되, 판별 결과를 확률로 계산하고,
    상기 생육단계 표시부는, 상기 과수의 생육 단계 판별 결과를 확률로 표시하며,
    상기 농업 일지부는, 상기 농업 일지를 상기 사용자에게 제공하고, 해당 사용자에 의해 작성된 농업 일지를 상기 데이터 저장부에 저장하는 농업 일지모듈; 및 상기 기상청의 날씨 정보를 상기 데이터 저장부에 자동으로 저장하는 자동 저장모듈;을 포함하고, 상기 농업 일지모듈은, 상기 사용자의 요청으로 상기 데이터 저장부에 저장된 농업 일지와 날씨 정보를 포함하는 농업 데이터를 사용자에게 제공하며,
    상기 데이터 저장부는, 상기 과수 이미지가 저장되는 이미지 저장모듈; 및 상기 농업 데이터가 저장되는 데이터 저장모듈;을 포함하고, 상기 데이터 저장모듈은, 농업 일지, 날씨 정보 및 농장 이름을 포함하는 농업 데이터를 저장하는 것을 특징으로 하는 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020220133567A 2022-10-17 2022-10-17 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템 KR102598012B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220133567A KR102598012B1 (ko) 2022-10-17 2022-10-17 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220133567A KR102598012B1 (ko) 2022-10-17 2022-10-17 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템

Publications (1)

Publication Number Publication Date
KR102598012B1 true KR102598012B1 (ko) 2023-11-06

Family

ID=88748289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220133567A KR102598012B1 (ko) 2022-10-17 2022-10-17 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템

Country Status (1)

Country Link
KR (1) KR102598012B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148565A (ja) * 2006-12-14 2008-07-03 Hitachi Software Eng Co Ltd 圃場管理システムおよびプログラム
KR101763841B1 (ko) 2015-11-13 2017-08-16 사단법인 한국온실작물연구소 작물체 기관별 이미지 데이터에 의한 생육진단/분석 시스템
US20210183045A1 (en) * 2018-08-30 2021-06-17 Ntt Data Ccs Corporation Server of crop growth stage determination system, growth stage determination method, and storage medium storing program
KR20210077439A (ko) * 2019-12-17 2021-06-25 전라남도 이미지 기반 작물 생육정보 자동계측 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148565A (ja) * 2006-12-14 2008-07-03 Hitachi Software Eng Co Ltd 圃場管理システムおよびプログラム
KR101763841B1 (ko) 2015-11-13 2017-08-16 사단법인 한국온실작물연구소 작물체 기관별 이미지 데이터에 의한 생육진단/분석 시스템
US20210183045A1 (en) * 2018-08-30 2021-06-17 Ntt Data Ccs Corporation Server of crop growth stage determination system, growth stage determination method, and storage medium storing program
KR20210077439A (ko) * 2019-12-17 2021-06-25 전라남도 이미지 기반 작물 생육정보 자동계측 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김영민 외, ‘딥러닝 기반 YOLO를 활용한 후숙과일 분류 및 숙성 예측 시스템’, 한국컴퓨터정보학회 논문집, 2021.07.* *

Similar Documents

Publication Publication Date Title
CN110458107B (zh) 用于图像识别的方法和装置
Wang et al. YOLOv3‐Litchi Detection Method of Densely Distributed Litchi in Large Vision Scenes
Wulder et al. Comparison of airborne and satellite high spatial resolution data for the identification of individual trees with local maxima filtering
US12013917B2 (en) Method for constructing a convolution neural network based on farmland images, electronic device using the same
CN111767802A (zh) 一种对象异常状态的检测方法和装置
CN112328823A (zh) 多标签分类模型的训练方法、装置、电子设备及存储介质
Hartfield et al. Contemporary and historical classification of crop types in Arizona
WO2021169642A1 (zh) 基于视频的眼球转向确定方法与系统
Rashid et al. Real-Time Multiple Guava Leaf Disease Detection from a Single Leaf Using Hybrid Deep Learning Technique.
Tanut et al. High accuracy pre-harvest sugarcane yield forecasting model utilizing drone image analysis, data mining, and reverse design method
JP6704148B1 (ja) 農作物の収穫量予測プログラム及び農作物の品質予測プログラム
KR102598012B1 (ko) 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템
Liu et al. Tomato detection based on convolutional neural network for robotic application
Morchid et al. Intelligent detection for sustainable agriculture: A review of IoT-based embedded systems, cloud platforms, DL, and ML for plant disease detection
Marzoa Tanco et al. Magro dataset: A dataset for simultaneous localization and mapping in agricultural environments
CN115331048B (zh) 图像分类方法、装置、设备以及存储介质
CN112257908B (zh) 一种山区农业多源异构数据的整合方法及装置
CN115588150A (zh) 基于改进YOLOv5-L的宠物犬视频目标检测方法及系统
Simms Fully convolutional neural nets in-the-wild
Reddy et al. Plant leaf disease detection using cnn and raspberry pi
CN209764816U (zh) 一种基于人工智能的香蕉病害在线识别系统
Selvi et al. Soil based fertilizer recommendation system for crop disease prediction system
Wang et al. An efficient deep learning model for tomato disease detection
Huang et al. A dataset of fortunella margarita images for object detection of deep learning based methods
Prabavadhi et al. Mobile Based Deep Learning Application for Weed and Medicinal Plant Detection Using YOLOV5

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant