KR102309568B1 - 이미지 기반 작물 생육정보 자동계측 시스템 - Google Patents
이미지 기반 작물 생육정보 자동계측 시스템 Download PDFInfo
- Publication number
- KR102309568B1 KR102309568B1 KR1020190169096A KR20190169096A KR102309568B1 KR 102309568 B1 KR102309568 B1 KR 102309568B1 KR 1020190169096 A KR1020190169096 A KR 1020190169096A KR 20190169096 A KR20190169096 A KR 20190169096A KR 102309568 B1 KR102309568 B1 KR 102309568B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- growth
- crop
- unit
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 49
- 210000000056 organ Anatomy 0.000 claims description 42
- 238000005259 measurement Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 17
- 235000013399 edible fruits Nutrition 0.000 claims description 16
- 238000009313 farming Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000000053 physical method Methods 0.000 claims description 5
- 230000008520 organization Effects 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 abstract description 6
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000003306 harvesting Methods 0.000 abstract description 5
- 235000015097 nutrients Nutrition 0.000 abstract description 5
- 238000010191 image analysis Methods 0.000 abstract description 4
- 241000219112 Cucumis Species 0.000 description 11
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001066 destructive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000607479 Yersinia pestis Species 0.000 description 2
- 238000012272 crop production Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
- A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/25—Greenhouse technology, e.g. cooling systems therefor
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Environmental Sciences (AREA)
- General Business, Economics & Management (AREA)
- Biodiversity & Conservation Biology (AREA)
- Agronomy & Crop Science (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Forests & Forestry (AREA)
- Operations Research (AREA)
- Ecology (AREA)
- Botany (AREA)
- Geometry (AREA)
- Game Theory and Decision Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 이미지 기반 작물 생육정보를 산출하고 연관된 정보를 제공할 수 있는 기술에 대한 것으로, 재배 작물에 대한 이미지를 도출하여 입력하고, 이에 대한 딥러닝 알고리즘을 활용한 이미지 분석기반 작물의 생육정보, 품질 진단을 통해 생육정보에 따른 작물 양액 및 품질관리 , 수확시기 등의 영농정보 제공할 수 있다.
Description
본 발명은 이미지 기반 작물 생육정보를 산출하고 연관된 정보를 제공할 수 있는 기술에 대한 것이다.
종래에는 개인의 오랜 재배 경험을 통해 획득한 노하우나 지식에 따라 생장환경을 제어하고 작물을 재배하여 개인에 따라 생산량이나 과실의 크기나 품질 등에 편차가 매우 큰 문제점이 있었다. 최근에는 농업 생산성의 정체, 농촌인구 감소 및 고령화, 농산물 시장 개방이라는 위기 아래, 작물 생산량 및 품질을 높이고, 노동력을 절감하기 위한 방안으로, 농업에 ICT(Information and Communication Technology) 기술을 접목한 스마트팜(Smart farm)이 확산되고 있는 추세에 있다.
스마트팜은 사물 인터넷 기술을 이용하여 재배 시설의 환경을 모니터링하고, 제어 장치를 구동하여 재배에 적합한 환경을 조성해 주며, 모바일 기기를 통해 원격 관리도 가능하기 때문에 농업분야 진출에 대한 장벽을 낮추고 생산성과 효율성, 품질 향상 등과 같은 고부가가치를 창출할 수 있는 차세대 모델로 꼽히고 있다.
이에, 작물 생산량이나 품질을 향상시키기 위한 노력의 일환으로 수집된 데이터를 기반으로 더욱 정밀한 제어를 수행할 수 있는 데이터 처리 방안이나 제어 알고리즘을 구현하기 위한 연구가 지속되고 있다.
종래 기술로서, 작물의 생산량을 예측하여 제공하는 서비스는 제공되고 있지만, 단순히 예측 수치를 제공하는 단계에 머무르고 있으며 예측된 생산량을 증대시키거나 현재의 상황을 개선시키기 위한 구체적인 솔루션 제공까지는 이어지지 못하고 있는 실정이다.
작물체 생육을 상태 조사하기 위한 작물체 기관별 특성을 조사하는 방식은 재배자가 자로 실측 및 육안으로 확인하는 방법의 경험적이고, 비주기적이며, 파괴적인 비과학적 기존의 조사방식에서 주기적이며, 과학적인 생육상태의 센싱으로 작물의 재배 상태를 건전하게 관리하여 생산성의 안정과 향상을 도모하고. 병해충 예방을 하고자 하는 것이다.
특히, 파괴적 조사 방식은 생산성의 연속성에 문제가 발생하며, 조사자의 주관적 관점에서의 생육조사에 따른 오차가 발생한다. 또한, 조사자의 기록에 의한 데이터는 지속적 관리에 문제가 발생할 수 있으며, 과학적 생육특성 분석에 난제가 되고 있다.
그리고, 재배자가 자로 실측 또는 육안으로 판단되는 데이터 및 다양한 온라인 방식으로 방식으로 수집된 작물체 기관별 이미지 데이터, 카메라 등을 통하여 수집된 이미지 데이터 등을 활용하여 작물생육특성 및 영양생장또는 생식생장을 판단하고, 스트레스적 생육변화 및 생육량 변화를 분석하는 방식을 알고리즘화하여 저장하고 기록화하여 과학적 데이터로 활용이 필요하다.
본 발명은 상술한 필요성을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 재배 작물에 대한 이미지를 도출하여 입력하고, 이에 대한 딥러닝 알고리즘을 활용한 이미지 분석기반 작물의 생육정보, 품질 진단을 통해 생육정보에 따른 작물 양액 및 품질관리 , 수확시기 등의 영농정보 제공할 수 있는 시스템을 제공하는 데 있다.
상술한 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에서는 도 1 및 도 2에 도시된 것과 같이, 분석대상의 작물의 이미지를 촬영하고 전송하는 이미지 제공모듈(100);
상기 이미지 제공모듈(100)에서 제공된 이미지를 입력하고, 딥러닝 기반 작물의 기관별 기관 분류를 수행하며, 상기 이미지에 포함되는 작물의 기관별 물리적 계측정보를 도출하여, 상기 작물의 생육정보를 산출하는 생육정보 산출모듈(200);
상기 생육정보산출모듈(200)에서 입력된 상기 이미지에 대한 딥러닝 기반 작물의 기관별 기관 분류를 수행하는 경우 기준이 되는 표준 이미지 정보를 제공하는 기준정보 데이터베이스(300); 및
상기 생육정보 산출모듈(200)에서 산출되는 작물의 생육상태정보와 연계하는 작물의 재배기법 관련한 영농정보를 제공하는 영농정보 데이터베이스(400);
을 포함하는,
이미지 기반 작물 생육정보 자동계측 시스템을 제공할 수 있도록 한다.
본 발명의 실시예에 따르면, 재배 작물에 대한 이미지를 도출하여 입력하고, 이에 대한 딥러닝 알고리즘을 활용한 이미지 분석기반 작물의 생육정보, 품질 진단을 통해 생육정보에 따른 작물 양액 및 품질관리 , 수확시기 등의 영농정보 제공할 수 있는 효과가 있다.
또한, 딥러닝 기반 작물의 과실(이를테면, 멜론 등) 기관별 기관 분류를 통해 향후 이미지 기반 생육량 계측 기반 구축할 수 있도록 하며, 과 크기에 따른 방정식에 의한 과중예측 정확도는 약 91%로 오차율 10%이내의 카메라를 통한 멜론 비파괴 과중 예측이 가능하도록 하여, 중 계측값 및 생육일수에 따른 과 크기변화 데이터의 상관관계를 통해 이미지 기반 작물 과실 수확시기 예측을 구현할 수 있는 효과도 있다.
도 1은 본 발명의 실시예에 따른 이미지 기반 작물 생육정보 자동계측 시스템의 주요 구성 블록도를 도시한 것이다.
도 2는 도 1에 따른 이미지 기반 작물 생육정보 자동계측 시스템의 세부 구성 블록도를 도시한 것이다.
도 3은 멜론 작물에 대하여 상술한 기관별 분석과 멜론의 과중을 산출하는 과중산출부의 기능을 적용한 예를 제시한 이미지이다.
도 4 및 도 5는 도 3에서 멜론 과(果) 크기와 과중(果重)간의 상관관계 분석한 것의 결과를 제시한 이미지이다.
도 2는 도 1에 따른 이미지 기반 작물 생육정보 자동계측 시스템의 세부 구성 블록도를 도시한 것이다.
도 3은 멜론 작물에 대하여 상술한 기관별 분석과 멜론의 과중을 산출하는 과중산출부의 기능을 적용한 예를 제시한 이미지이다.
도 4 및 도 5는 도 3에서 멜론 과(果) 크기와 과중(果重)간의 상관관계 분석한 것의 결과를 제시한 이미지이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 이미지 기반 작물 생육정보 자동계측 시스템(이하, '본 발명'이라 한다.)의 주요 구성 블록도를 도시한 것이고, 도 2는 도 1에 따른 이미지 기반 작물 생육정보 자동계측 시스템의 세부 구성 블록도를 도시한 것이다.
도 1 및 도 2를 참조하면, 본 발명은 분석대상의 작물의 이미지를 촬영하고 전송하는 이미지 제공모듈(100), 상기 이미지 제공모듈(100)에서 제공된 이미지를 입력하고, 딥러닝 기반 작물의 기관별 기관 분류를 수행하며, 상기 이미지에 포함되는 작물의 기관별 물리적 계측정보를 도출하여, 상기 작물의 생육정보를 산출하는 생육정보 산출모듈(200), 상기 생육정보산출모듈(200)에서 입력된 상기 이미지에 대한 딥러닝 기반 작물의 기관별 기관 분류를 수행하는 경우 기준이 되는 표준 이미지 정보를 제공하는 기준정보 데이터베이스(300) 및 상기 생육정보 산출모듈(200)에서 산출되는 작물의 생육상태정보와 연계하는 작물의 재배기법 관련한 영농정보를 제공하는 영농정보 데이터베이스(400)을 포함하여 구성될 수 있다.
구체적으로, 본 발명에서의 상기 이미지 제공모듈(100)은 작물의 이미지를 촬영하여 후술하는 생육정보 산출모듈(200)에 제공하는 장치 및 통신모듈을 포함하는 것으로, 이를 위한 구성으로 상기 이미지 제공모듈(100)은, 상기 작물의 이미지를 기관별로 분류하여 촬상하는 이미지촬영부(110)와 촬영된 이미지를 생육정보 산출모듈(200)로 전송하는 이미지전송부(120)을 포함하여 구성될 수 있다.
상기 이미지촬영부(110)은 통상의 카메라모듈이나 이미지센서, 로봇을 통한 영상촬영장치나 적외선카메라 등의 다양한 촬영장비를 포함하여 구성될 수 있으며, 이미지전송부(120)는, 유선통신(시리얼통신, 이더넷 통신 등) 및 무선통신(와이파이, 지그비 방식등)을 활용하여, 촬영된 이미지를 전송할 수 있도록 한다.
상기 이미지촬영부(110)에서 촬영된 이미지는 상기 생육정보 산출모듈(200)으로 전송되게 된다. 전송된 이미지 정보를 기반으로, 상기 생육정보 산출모듈(200)은 대상작물에 대한 딥러닝을 활용한 이미지 분석기반 작물의 생육정보, 품질 진단을 통해 생육정보에 따른 작물 양액 및 품질관리 , 수확시기 등에 대한 정보를 산출 매칭하여 제공할 수 있도록 한다.
구체적으로, 상기 생육정보 산출모듈(200)은 상기 이미지전송부(120)을 통해 전송되는 이미지를 수신하여 입력하는 이미지 입력부(210)와 상기 이미지 입력부(210)에 입력된 이미지를 상기 기준정보 데이터베이스(300)에서 제공하는 표준 이미지 정보와 대비하고, 딥러닝 기반 작물의 기관별 기관 분류를 수행하는 이미지 기반 기관분류부(220), 상기 이미지 기반 기관분류부(220)에서 분류된 기관별 이미지 정보의 물리적 계측을 위해 표준화한 이미지로 보정하는 이미지보정부(230), 상기 표준화한 이미지로 보정된 이미지에 계측대상이 되는 기관에 대한 실측 사이즈를 산출하는 기관별 계측치 산출부(240), 상기 기관별 계측치 산출부(240)에서 산출된 정보를 바탕으로 상기 작물의 과실에 대한 과중을 산출하는 과중산출부(250), 상기 기관별 계측치 산출부(240)에서 산출된 정보를 바탕으로 상기 작물의 현재 생육상태를 분석하여 산출하는 생육정보산출부(260), 상기 생육정보산출부(260)에서 산출되는 생육상태정보와 상기 영농정보 데이터베이스(400)에서 제공하는 생육상태별 영농정보를 매칭하는 영농정보매칭부(270), 상기 과중산출부(250) 또는 상기 영농정보매칭부(270)에서 산출된 정보를 사용자단말(500)으로 전송하는 정보전송부(280)를 포함하여 구성될 수 있다.
특히, 상술한 상기 이미지 기반 기관분류부(220)는 이미지 입력부(210)를 통해 입력되는 이미지를 입수하여, 이미지에 수록된 작물 기관에 대한 정보를 추출하고, 기준정보 데이터베이스(300)에서 제공하는 표준 이미지 정보와 대비하여 해당 작물의 기관별 분류를 수행할 수 있도록 한다. 이 경우, 상기 이미지 기반 기관분류부(220)는 딥러닝을 수행하여, 기관별 분류 작업을 기계학습을 통해 정확도를 높일 수 있도록 한다. 일예로, 작물의 기관구분 항목의 경우, 작물의 "마디, 잎, 꽃, 과(果)"와 같은 기관으로 분류할 수 있으며, R-CNN 500,000~1000,000회 학습을 통해 기관 분류를 학습하여 결과를 도출할 수 있도록 할 수 있다.
또한, 본 발명에서는 상기 이미지 기반 기관분류부(220)에서 분류된 기관별 이미지 정보에 대하여, 이리 절정된 표준화는 규격의 이미지로 이미지보정부(230)를 통해 이미지 보정을 수행할 수 있도록 하며, 이는 물리적 계측을 위해 표준화한 이미지로 보정하는 작업을 통해 입력 이미지별 편차를 줄일 수 있도록 함이 바람직하다.
나악가 기관별 계측치 산출부(240)에서는, 표준화한 이미지로 보정된 이미지에 계측대상이 되는 기관에 대한 실측 사이즈를 산출하고, 기관별 계측치 산출부(240)에서 산출된 정보를 바탕으로 상기 작물의 과실에 대한 과중을 산출할 수 있도록 한다. 이러한 과중의 산출은 과중산출부(250)에서 수행될 수 있다.
특히, 상기 과중산출부(250)는 과실에 대한 과중예측 방정식에 따른 과중의 예측치를 산출하고, 최근접 예측치를 과중 예측치로 선택하도록 구현할 수 있으며, 이 경우 활용되는 과중의 예측치의 산출은 다음의 {식 1} 내지 {식 5}를 기준으로 수행될 수 있다.
{식 1}
과장(A)*과폭(B)
{식 2}
과장(A)2*과폭(A)
{식 3}
과장(A)*과폭(B)2
{식 4}
{식 5}
(단, 과장(果長)은 열매의 수직방향의 최장길이로 정의하며, 과폭은 열매의 수평방향의 최장길이로 정의한다.)
도 3은 멜론 작물에 대하여 상술한 기관별 분석과 멜론의 과중을 산출하는 과중산출부의 기능을 적용한 예를 제시한 이미지이다.
멜론에 대한 품종 및 이미지 개수는 이미지 입력부를 통해 입력되는 모미지, 약 7,000장을 입력받아, 기관구분 항목을 "마디, 잎, 꽃, 과"로 구분하고, 이에 대한 딥러닝 기반 구분(R-CNN 500,000회 학습)을 수행한 것이다. 그 결과 도 4에 도시된 것과 같이 매우 높은 정확도로 구분이 가능함을 확인할 수 있다.
또한, 아래의 표는 위 구분된 멜론의 기관별 구분 중, 과실의 과중을 예측하는 과중산출부를 실행한 결과를 도시한 것이다.
{표 1}
과중산출부를 통해 실행되는 프로그램에 따라 산출된 5개의 방정식을 적용한 경우, 과장*과폭2의 수식이 가장 높은 예측정확도를 보이는 것을 확인할 수 있다.
또한, 기관분류의 정보를 바탕으로, 과 크기를 기반으로 하는 과중의 예측을 수행할 수도 있다. 이는 도 2에서의 상기 기관별 계측치 산출부(240)에서 산출된 정보를 바탕으로 상기 작물의 현재 생육상태를 분석하여 산출하는 생육정보산출부(260)에서 수행할 수 있으며, 상기 생육정보산출부(260)에서는, 상기 과장 및 과폭의 인자에 따라 산출되는 과중의 예측치를 적용하고, 하기의 {식 6}에 따른 선형 과중예측모델에 의해 과크기를 산출할 수 있다.
{식 6}
y = ax + b, x=과중, y=과 크기
도 5는 상술한 수식을 통해, 멜론 과(果) 크기와 과중(果重)간의 상관관계 분석한 것으로, 분석 항목은 과 크기(과장, 과폭)에 따른 과중의 예측결과를 도시한 것이다. 이 경우, 과 크기 결정 방법 : 넓이(L*D) / 부피(L*D*H) / 구 부피() 측정공식을 확용하였으며, 과중 예측 모델 : 선형함수(y = ax + b), x=과중, y=과 크기를 적용하였다.
이상의 결과를 종합하면, 과중 계측값 및 생육일수에 따른 과 크기변화 데이터의 상관관계를 통해 이미지 기반 멜론 수확시기 예측할 수 있게 된다.
즉, 본 발명에서는, 도 2에서 상술한 기관별 계측치 산출부(240)에서 산출된 정보를 바탕으로 상기 작물의 현재 생육상태를 분석하여 산출하는 생육정보산출부(260)에서 산출되는 생육상태정보와 상기 영농정보 데이터베이스(400)에서 제공하는 생육상태별 영농정보를 매칭하는 영농정보매칭부(270)를 통해 해당 작물의 생육상태, 시기별 적합한 영농정보를 제공할 수 있도록 구현할 수 있다.
이러한 영농정보의 경우, 작물의 생육정보, 품질 진단을 통해 생육정보에 따른 작물 양액 및 품질관리 , 수확시기에 대한 정보를 제공할 수 있으며, 제공가능한 영농정보는 이에 한정되는 것이 아니라, 작물의 특수 상황(병해충, 생육저해요인 파악)에 따른 대응조치나 영농기법을 제공할 수도 있다.
사용자단말(500)에서는 이러한 상기 과중산출부(250) 또는 상기 영농정보매칭부(270)에서 산출된 정보를 문자나 이미지 파일로 받아 볼 수 있으며, 더욱 바람직하게는 본 발명의 생육정보 산출모듈과 연동하는 애플리케이션을 설치하여 실시간으로 해당 정보를 받아 볼 수 있도록 할 수 있다.
사용자단말(500)은 유무선통신(인터넷 통신 포함)이 가능한 이동통신단말기 또는 컴퓨터일수 있다. 이때, 상기 이동통신단말기는 PDA(Personal Digital Assistant), 스마트폰 또는 태블릿 PC 등 중 어느 하나일 수 있다. 나아가, 사용자단말기는, 유무선 통신부, A/V(Audio/Video) 입력부, 사용자 입력부, 센싱부, 출력부, 메모리, 인터페이스부, 제어부 및 전원 공급부 등을 포함할 수 있다. 상기한 구성요소들은 모두 필수적인 것은 아니며, 특성에 따라 가감될 수 있다.
상기 사용자단말(500)은 애플리케이션화한 프로그램을 다운로드 받아 실행시켜, 상기 생육정보 산출모듈(200)을 통해 분석되는 정보나 경보 정보를 받아 볼 수 있으며, 작물 재배 온실등의 내부의 환경에 대한 모니터링을 실시간으로 수행하는 것도 가능하다. 이를 위한 프로그램은, 사용자단말(400)에 구비된 통신부를 이용하여 구현될 수 있다.
이상의 과정 중 생육정보 산출모듈에서 구현되는 분석과정의 경우, 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.
본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이상에서와 같이 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 바람직한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아니다. 이처럼 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 본 발명의 실시예의 결합을 통해 다양한 실시예들이 가능함을 이해할 수 있을 것이다.
100: 이미지 제공모듈
200: 생육정보 산출모듈
300: 기준정보 데이터베이스
400: 영농정보 데이터베이스
500: 사용자단말
200: 생육정보 산출모듈
300: 기준정보 데이터베이스
400: 영농정보 데이터베이스
500: 사용자단말
Claims (5)
- 분석대상의 작물의 이미지를 기관별로 분류하여 촬상하는 이미지촬영부(110)와 촬영된 이미지를 생육정보 산출모듈(200)로 전송하는 이미지전송부(120)를 포함하는 이미지 제공모듈(100); 상기 이미지 제공모듈(100)에서 제공된 이미지를 입력하고, 딥러닝 기반 작물의 기관별 기관 분류를 수행하며, 상기 이미지에 포함되는 작물의 기관별 물리적 계측정보를 도출하여, 상기 작물의 생육정보를 산출하는 생육정보 산출모듈(200); 상기 생육정보산출모듈(200)에서 입력된 상기 이미지에 대한 딥러닝 기반 작물의 기관별 기관 분류를 수행하는 경우 기준이 되는 표준 이미지 정보를 제공하는 기준정보 데이터베이스(300); 및 상기 생육정보 산출모듈(200)에서 산출되는 작물의 생육상태정보와 연계하는 작물의 재배기법 관련한 영농정보를 제공하는 영농정보 데이터베이스(400);을 포함하며,
상기 생육정보 산출모듈(200)은, 상기 이미지전송부(120)을 통해 전송되는 이미지를 수신하여 입력하는 이미지 입력부(210); 상기 이미지 입력부(210)에 입력된 이미지를 상기 기준정보 데이터베이스(300)에서 제공하는 표준 이미지 정보와 대비하고, 딥러닝 기반 작물의 기관별 기관 분류를 수행하는 이미지 기반 기관분류부(220); 상기 이미지 기반 기관분류부(220)에서 분류된 기관별 이미지 정보의 물리적 계측을 위해 표준화한 이미지로 보정하는 이미지보정부(230); 상기 표준화한 이미지로 보정된 이미지에 계측대상이 되는 기관에 대한 실측 사이즈를 산출하는 기관별 계측치 산출부(240); 상기 기관별 계측치 산출부(240)에서 산출된 정보를 바탕으로 상기 작물의 과실에 대한 과중을 산출하는 과중산출부(250);를 포함하며,
상기 과중산출부(250)는, 하기의 {식 1} 내지 {식 5}에 따른 과실에 대한 과중예측 방정식에 따른 과중의 예측치를 산출하고, 최근접 예측치를 과중 예측치로 선택하도록 구현되는, 이미지 기반 작물 생육정보 자동계측 시스템.
{식 1}
과장(A)*과폭(B)
{식 2}
과장(A)2*과폭(A)
{식 3}
과장(A)*과폭(B)2
{식 4}
{식 5}
(단, 과장(果長)은 열매의 수직방향의 최장길이로 정의하며, 과폭은 열매의 수평방향의 최장길이로 정의한다.)
- 삭제
- 청구항 1에 있어서,
상기 생육정보산출모듈(200)은,
상기 기관별 계측치 산출부(240)에서 산출된 정보를 바탕으로 상기 작물의 현재 생육상태를 분석하여 산출하는 생육정보산출부(260);
상기 생육정보산출부(260)에서 산출되는 생육상태정보와 상기 영농정보 데이터베이스(400)에서 제공하는 생육상태별 영농정보를 매칭하는 영농정보매칭부(270);
상기 과중산출부(250) 또는 상기 영농정보매칭부(270)에서 산출된 정보를 사용자단말(500)으로 전송하는 정보전송부(280);을 더 포함하는,
이미지 기반 작물 생육정보 자동계측 시스템.
- 삭제
- 청구항 3에 있어서,
상기 생육정보산출부(260)에서는,
상기 과장 및 과폭의 인자에 따라 산출되는 과중의 예측치를 적용하고,
하기의 {식 6}에 따른 선형 과중예측모델에 의해 과크기를 산출하는,
이미지 기반 작물 생육정보 자동계측 시스템.
{식 6}
y = ax + b, x=과중, y=과 크기
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190169096A KR102309568B1 (ko) | 2019-12-17 | 2019-12-17 | 이미지 기반 작물 생육정보 자동계측 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190169096A KR102309568B1 (ko) | 2019-12-17 | 2019-12-17 | 이미지 기반 작물 생육정보 자동계측 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210077439A KR20210077439A (ko) | 2021-06-25 |
KR102309568B1 true KR102309568B1 (ko) | 2021-10-07 |
Family
ID=76629453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190169096A KR102309568B1 (ko) | 2019-12-17 | 2019-12-17 | 이미지 기반 작물 생육정보 자동계측 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102309568B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230090772A (ko) | 2021-12-15 | 2023-06-22 | (주)이지시스템 | 농작물 생육 정보 수집용 드론 시스템 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102598012B1 (ko) * | 2022-10-17 | 2023-11-06 | 순천대학교 산학협력단 | 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템 |
KR102656576B1 (ko) * | 2023-12-29 | 2024-04-09 | 강두호 | 스마트 팜 광원 제어를 위한 시스템 및 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100684504B1 (ko) | 2005-04-29 | 2007-02-22 | (주)태민메카트로닉스 | 작물 생장 관측 시스템 및 그 방법. |
KR101726944B1 (ko) | 2015-05-20 | 2017-04-14 | 성균관대학교산학협력단 | 작물의 생육 정보 수집 장치 및 방법 |
KR101752313B1 (ko) * | 2015-11-13 | 2017-07-12 | 사단법인 한국온실작물연구소 | L(Lindenmayer) 시스템과 이미지 및 빔 척도를 이용한 작물체 초장 및 생육량 측정 시스템 |
KR102095539B1 (ko) * | 2017-12-05 | 2020-03-31 | 농업회사법인 원스베리 주식회사 | 인삼의 영상 이미지 분석을 통한 생육량 측정 방법 |
-
2019
- 2019-12-17 KR KR1020190169096A patent/KR102309568B1/ko active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230090772A (ko) | 2021-12-15 | 2023-06-22 | (주)이지시스템 | 농작물 생육 정보 수집용 드론 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20210077439A (ko) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102309568B1 (ko) | 이미지 기반 작물 생육정보 자동계측 시스템 | |
Channe et al. | Multidisciplinary model for smart agriculture using internet-of-things (IoT), sensors, cloud-computing, mobile-computing & big-data analysis | |
US10349584B2 (en) | System and method for plant monitoring | |
EP3550498A1 (en) | Information processing device and information processing system | |
US20170161560A1 (en) | System and method for harvest yield prediction | |
MacEachern et al. | Detection of fruit maturity stage and yield estimation in wild blueberry using deep learning convolutional neural networks | |
CN111008733B (zh) | 一种作物生长管控方法和系统 | |
US20150234785A1 (en) | Prediction apparatus and method for yield of agricultural products | |
JPWO2020044480A1 (ja) | 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム | |
CN107229999A (zh) | 作物产量的预测方法、系统、计算机设备及可读存储介质 | |
CN111460990A (zh) | 一种基于大数据的高寒牧区草原虫害监测预警系统及方法 | |
Črtomir et al. | Application of Neural Networks and Image Visualization for Early Forecast of Apple Yield. | |
US20220189025A1 (en) | Crop yield prediction program and cultivation environment assessment program | |
JP6704148B1 (ja) | 農作物の収穫量予測プログラム及び農作物の品質予測プログラム | |
Javierto et al. | Robusta Coffee Leaf Detection based on YOLOv3-MobileNetv2 model | |
Park et al. | A layered features analysis in smart farm environments | |
JP2016184232A (ja) | 予測装置および予測方法 | |
Qiao et al. | AI, sensors and robotics in plant phenotyping and precision agriculture | |
CN114723118B (zh) | 一种基于物联网的虫害预警系统 | |
JP2018007630A (ja) | 栽培支援装置 | |
CN113010529A (zh) | 基于知识图谱的作物管理方法和装置 | |
KR20200070736A (ko) | 작물수확량 예측방법 및 이를 구현하는 작물수확량 예측장치 | |
EP3973767B1 (en) | Information processing device and index value calculation method | |
FAISAL | A pest monitoring system for agriculture using deep learning | |
Gounden et al. | Promoting food security through improved analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |