KR20220129706A - 과실 수량 측정 시스템 및 그 방법 - Google Patents

과실 수량 측정 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220129706A
KR20220129706A KR1020210033932A KR20210033932A KR20220129706A KR 20220129706 A KR20220129706 A KR 20220129706A KR 1020210033932 A KR1020210033932 A KR 1020210033932A KR 20210033932 A KR20210033932 A KR 20210033932A KR 20220129706 A KR20220129706 A KR 20220129706A
Authority
KR
South Korea
Prior art keywords
fruit
fruit tree
unmanned aerial
aerial vehicle
image
Prior art date
Application number
KR1020210033932A
Other languages
English (en)
Other versions
KR102563100B1 (ko
Inventor
김선훈
김두근
송영호
한승헌
최주현
인정환
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020210033932A priority Critical patent/KR102563100B1/ko
Priority to PCT/KR2022/003233 priority patent/WO2022196999A1/ko
Publication of KR20220129706A publication Critical patent/KR20220129706A/ko
Application granted granted Critical
Publication of KR102563100B1 publication Critical patent/KR102563100B1/ko
Priority to US18/235,388 priority patent/US20230401845A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/225—Remote-control arrangements operated by off-board computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/648—Performing a task within a working area or space, e.g. cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/80—Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/87—Specific applications of the controlled vehicles for information gathering, e.g. for academic research for exploration, e.g. mapping of an area
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/20—Land use
    • G05D2107/21—Farming, e.g. fields, pastures or barns
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/20—Aircraft, e.g. drones
    • G05D2109/25—Rotorcrafts
    • G05D2109/254—Flying platforms, e.g. multicopters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G05D2111/14—Non-visible signals, e.g. IR or UV signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Resources & Organizations (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Marketing (AREA)
  • Agronomy & Crop Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mechanical Engineering (AREA)

Abstract

본 발명은 과실 수량 측정 시스템 및 그 방법에 관한 것으로서, 기 설정된 면적의 과수 지역에 대한 GPS 정보와 과실나무별로 설치된 RF 발신기로부터 송출되는 RF 신호를 수신하고, 상기 과수 지역의 상공에서 기 설정된 비행 계획에 기초하여 비행하면서 적어도 하나 이상의 이미지 센서를 이용하여 촬영된 과실나무 이미지를 제공하는 무인 비행체; 및 상기 무인 비행체와 통신망을 통해 연결되어, 상기 무인 비행체로부터 GPS 정보와 RF 신호를 수신하여 과실나무별 위치 데이터를 매칭하여 저장하고, 상기 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 저장하며, 사전에 허가된 사용자 단말의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공하는 모니터링 서버를 포함하는 시스템일 수 있다.

Description

과실 수량 측정 시스템 및 그 방법{System for counting fruit quantity and method thereof}
본 발명은 과실나무 상부에서 촬영된 과실나무 이미지를 이용하여 과실 개수를 측정하기 위한 과실 수량 측정 기술에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
과수의 과실 계수는 생산 관측정보의 출하의사를 결정하고, 수급을 예상하는 데 중요한 정보이다. 과수의 과실 계수 방법으로는 표본 조사와 모니터 조사 자료를 주로 사용하고 있어, 생산 관측 정보에 주관적 요소 또는 달관적인 요소가 포함될 가능성이 많다.
일례로, 생산 관측 정보를 위해 생산량을 예측하는 방법에는 성목면적에 성목면적 단위당 생산량(수확량)을 곱하여 산출할 수 있고, 이때 성목면적은 국립농산물품질관리원의 발표 자료를 사용하며, 표본 농가 및 모니터 조사를 통하여 성목단수와 생산량을 추정하게 되며, 필요에 따라 기온, 일조량, 강수량 등 기상정보를 반영하여 추정할 수 있다. 그러나 인력으로 표본 조사와 모니터 조사 자료를 통한 과실 수량 계수는 기상재해, 병충해 등에 의한 정보 변화 가능성과 사람의 주관이 개입할 수 있어 부정확하다는 문제점이 있다.
국립 농산물 품질 관리원 자료에 의하면, 해마다 태풍 등 기상 피해와 병충해로 인해 단수 변동이 심하고, 이러한 기상재해와 병충해 등에 의한 유실수와 과실에 대한 정보가 부정확할 수 밖에 없다.
국립 농산물 품질 관리원의 '주요작물 생산 동향' 및 농촌 진흥청의 '농축산물 소득 자료집'에서 시도별로 농산물 생산 정보를 수집하고, 이를 사용하여 '성목단수'의 자료를 제공하고 있으나, 밀식과원, 즉 단위 면적당 성목단수 증가 추세로 기준치 오류 가능성이 있다.
또한, 과실나무의 과실 개수를 계산하는 방법은 사과, 귤 등의 과실이 열린 과실나무를 촬영한 정지 영상에서 색을 이용하여 과실 영역을 인식하고, 인식된 과실 영역을 이용하여 과실 개수를 계산하였다. 이러한 정지 영상을 이용한 과실 개수 계산 방법은 연구 등의 목적을 위해 과실나무 한 그루에 대한 과실 개수를 계산하는 등에 주로 사용되었다.
따라서, 종래의 정지 영상을 이용한 과실 개수 계산 방법은 수십만 그루의 과실나무에 대한 과실 개수 계산시 적용될 경우, 과실나무별로 사람이 직접 정지영상을 촬영해야 하고, 과실나무별로 촬영된 정지영상을 이용하여 과실나무별로 과실 개수를 계산해야 하며, 계산된 과실나무별 과실 개수를 합산해야만 최종적으로 과실 농가 전체의 과실나무에 대한 과실 개수를 계산할 수 있다.
이와 같이, 정지 영상을 이용한 과실 개수 계산 방법은 대규모의 과수 농원 등에서 과실 생산량을 계산하거나 재해에 따른 보험 보상을 위해 과실 농가 전체의 과실나무에 달린 과실 개수를 계산하는 경우 사용하는데 한계가 있다.
도 1은 종래 기술의 지상에 설치된 일반 화상 카메라를 이용한 과실 개수 계산 방법을 설명하는 도면이다.
도 1을 참조하면, 기존의 과실 개수 계산 방법은 지상에서 2대 이상의 실화상 카메라(11, 12)를 이용하여 과수 및 과실을 촬영하고, 과실 인식과 각도를 이용하여 과실 계수를 수행한다.
이때, 지상에 설치된 실화상 카메라(11, 12)는 사람의 눈과 마찬가지로 어떤 사물에 부딪혀 반사된 빛을 디텍터로 수신하여, 이를 이미지로 바꾸어 주는 방식으로 사물을 인식하는 것이다.
따라서, 기존의 과실 개수 계산 방법은 실화상 카메라(11, 12)가 촬영하는 과실나무의 전면에 대한 이미지를 획득할 수 있지만, 과실나무의 후면은 실화상 카메라가 이미지를 획득할 수 없는 사각지대가 되어, 사각지대에 대한 과실 계수가 불가능하다는 문제점이 있다.
또한, 기존의 과실 개수 계산 방법은 과실나무들이 밀집해있는 밀식 과수원의 경우에, 실화상 카메라(11, 12)가 측정 대상 과실나무뿐만 아니라 측정 대상 과실나무와 인접해 있는 과실나무까지 촬영할 수 있고, 그로 인해 과실 계수시 측정 대상 과실나무뿐만 아니라 인접한 과실나무의 과실까지 측정되어 과실 계수 정보 자체에 대한 오류가 발생할 수 있는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 무인 비행체에 탑재된 RGB 카메라와 적외선 카메라를 이용하여 과실의 수량을 정확하게 측정하는 과실 수량 측정 시스템 및 그 방법을 제공하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 과실 수량 측정 시스템은, 기 설정된 면적의 과수 지역에 대한 GPS 정보와 과실나무별로 설치된 RF 발신기로부터 송출되는 RF 신호를 수신하고, 상기 과수 지역의 상공에서 기 설정된 비행 계획에 기초하여 비행하면서 적어도 하나 이상의 이미지 센서를 이용하여 촬영된 과실나무 이미지를 제공하는 무인 비행체; 및 상기 무인 비행체와 통신망을 통해 연결되어, 상기 무인 비행체로부터 GPS 정보와 RF 신호를 수신하여 과실나무별 위치 데이터를 매칭하여 저장하고, 상기 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 저장하며, 사전에 허가된 사용자 단말의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공하는 모니터링 서버를 포함할 수 있다.
이때, 과실 수량 측정 시스템은 상기 과수 지역의 경계 지점에 설치되어 GPS 정보를 제공하는 적어도 하나 이상의 GPS부를 더 포함할 수 있다.
상기 무인 비행체는 RGB 센서와 적외선 센서를 이용한 하나 이상의 카메라를 포함할 수 있다.
상기 모니터링 서버는, 상기 과실나무 이미지로부터 과실 영역들을 추출하고, 상기 추출된 과실 영역에서 특징을 추출한 후 상기 추출된 특징에 기반하여 과실 분류 및 예측 결과를 제공하는 딥러닝 기반의 과실 인식 알고리즘을 수행하는 것이다.
상기 딥러닝 기반의 과실 인식 알고리즘은, 빅데이터에 상응하는 다수의 과실 영상을 학습하기 위한 학습 데이터를 생성하여 저장하고, 상기 저장된 학습 데이터 분석을 통해 각 과실의 크기, 모양, 색상을 포함한 각 과실별 특징을 과실 판단 기준으로 설정하여 분류기를 학습하고, 상기 학습된 분류기에 의해 입력되는 과실나무 이미지에 대한 과실의 종류와 수량을 포함한 분류 및 예측 결과를 출력하는 것이다.
한편, 본 발명의 일 실시예에 따른 과수 지역에 대한 과수 모니터링 기능을 수행하는 모니터링 서버에 의해 수행되는 과실 수량 측정 방법은, a) 상기 과수 지역에 대한 GPS 정보를 획득하고, 상기 획득된 GPS 정보에 기초하여 과실나무의 인식을 위한 적어도 하나 이상의 무인 비행체의 비행 계획을 생성하는 단계; b) 상기 무인 비행체의 비행 계획에 기초하여 상기 무인 비행체를 기 설정된 과실나무의 상부 공중으로 이동시키는 비행 제어 신호를 상기 무인 비행체로 전송하는 단계; c) 상기 무인 비행체를 통해 상기 과실나무에 설치된 RF 발신기에서 송출되는 RF 신호를 수신하여 기 설정된 과실나무를 확인하고, 기 설정된 과실나무의 고유 식별 정보와 위치 데이터를 매칭하여 저장하는 단계; 및 d) 상기 무인 비행체를 통해 과실나무 이미지를 수신하고, 상기 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 저장하는 단계를 포함할 수 있다.
이때, 과실 수량 측정 방법은, e) 사전에 허가된 사용자 단말의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공하는 단계를 더 포함할 수 있다.
상기 무인 비행체는 RGB 센서와 적외선 센서를 이용한 하나 이상의 카메라를 포함하고, 상기 카메라를 통해 RGB 이미지와 적외선 이미지를 포함한 과실나무 이미지를 제공할 수 있다.
상기 d) 단계는, 상기 과실나무 이미지로부터 과실 영역들을 추출하고, 상기 추출된 과실 영역에서 특징을 추출한 후 상기 추출된 특징에 기반하여 과실 분류 및 예측 결과를 제공하는 딥러닝 기반의 과실 인식 알고리즘을 수행하는 것이다.
상기 딥러닝 기반의 과실 인식 알고리즘은, 빅데이터에 상응하는 다수의 과실 영상을 학습하기 위한 학습 데이터를 생성하여 저장하고, 상기 저장된 학습 데이터 분석을 통해 각 과실의 크기, 모양, 색상을 포함한 각 과실별 특징을 과실 판단 기준으로 설정하여 분류기를 학습하고, 상기 학습된 분류기에 의해 입력되는 과실나무 이미지에 대한 과실의 종류와 수량을 포함한 분류 및 예측 결과를 출력하는 것이다.
한편, 모니터링 서버는, 과수 지역의 상공을 비행하는 무인 비행체 또는 사전에 허가된 사용자 단말과의 통신 기능을 수행하는 통신부; 상기 과수 지역에 대한 과실 수량 측정 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 무인 비행체와 통신망을 통해 연결되어, 상기 무인 비행체로부터 GPS 정보와 RF 신호를 수신하여 과실나무별 위치 데이터를 매칭하여 저장하고, 상기 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 저장하며, 상기 사용자 단말의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공하는 것이다.
마지막으로 본 발명은 상기한 과실 수량 측정 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체를 제공할 수 있다.
전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 무인 비행체에 탑재된 RGB 카메라와 적외선 카메라를 이용하여 과실나무의 상부에서 촬영된 과실나무 이미지를 이용하여 과실의 수량을 정확하게 측정할 수 있고, 적외선 이미지를 이용하여 기 설정된 과실나무와 인접한 과실나무 이미지의 중복 없이 기 설정된 과실나무에 대한 과실만 계수가 가능하여 정확도를 더욱 높일 수 있는 효과가 있다.
도 1은 종래 기술의 지상에 설치된 일반 화상 카메라를 이용한 과실 개수 계산 방법을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 과실 수량 측정 시스템의 구성을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 무인 비행체의 구성을 설명하는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 무인 비행체를 설명하는 정면도이고, 도 5는 일반적인 장파장 적외선 대역의 스펙트럼 분포를 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 과실 수량 측정 시스템의 주요 신호 흐름을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 모니터링 서버의 딥러닝 기반의 과실 인식 알고리즘을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 과실 수량 측정 방법 중 과실나무별 위치 데이터의 매칭 과정을 설명하는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 무인 비행체의 위치 결정 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 거리에 따른 RF 수신 신호 강도를 이용한 과실나무 확인 과정을 설명하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 무인 비행체의 위치의 수신 신호 강도 분포를 나타내는 예시도이다.
도 12는 본 발명의 일 실시예에 따른 과실 수량 측정 방법을 설명하는 순서도이다.
도 13은 본 발명의 일 실시예에 따른 무인 비행체를 통해 획득된 적외선 이미지를 보여주는 예시도이다.
도 14는 도 13의 적외선 이미지에서 과일 영역을 검출하는 과정을 보여주는 예시도이다.
도 15는 도 14에서 검출된 과일 영역에 기초한 과실 계수 과정을 보여주는 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 과실 수량 측정 시스템의 구성을 설명하는 도면이다.
도 2를 참조하면, 과실 수량 측정 시스템은 과수 지역(100)의 상공을 비행하는 무인 비행체(200), 무인 비행체(200)와 통신망을 통해 연결되는 모니터링 서버(300)를 포함하지만 이에 한정되지는 않는다.
먼저, 과수 지역(100)에는 과실나무마다 RF 신호를 송출하는 RF 발신기(110)가 설치되고, 기 설정된 면적을 갖는 과수 지역(100)의 각 경계 지점에는 GPS 정보((GPS-A, GPS-B, GPS-C, GPS-D))를 제공하는 적어도 하나 이상의 GPS부(120)가 설치된다. 여기서, GPS부(120)는 위치기반서비스사업자에게 제공할 목적으로 위치정보 수집이 가능한 장치로서, GPS뿐만 아니라 이동통신 단말기, 비콘(Beacon), RFID 태그 등을 이용할 수도 있다. 또한, RF 발신기(110)는 RFIC 태그 형태로 각 과실나무에 부착되고, 과실나무별로 고유 식별 번호를 RF 신호로 송출할 수 있다.
과수 지역(100)을 관리하기 위한 사용자 단말(400)은 자신의 과수 지역에 대한 면적, 과실나무의 배치 상태를 포함한 과수배치도를 모니터링 서버(300)에 제공할 수 있다. 과수배치도는 과수 지역의 주소 정보, 항공사진, 과실나무의 배치에 대한 텍스트 정보를 종합하여 모니터링 서버(300)에서 지도 형태로 작성하여 저장하고, 이후 사용자 단말(400)에 과수 배치도를 제공할 수도 있다.
무인 비행체(200)는 과수 지역에 설치된 GPS부(120)로부터 GPS 정보를 수신하고, 과실나무별로 설치된 RF 발신기(110)로부터 송출되는 RF 신호를 수신하여, GPS 정보와 RF 신호를 모니터링 서버(300)에 제공한다. 또한, 무인 비행체(200)는 과수 지역의 상공에서 기 설정된 비행 계획에 기초하여 비행하면서 적어도 하나 이상의 이미지 센서를 이용하여 촬영된 과실나무 이미지를 모니터링 서버(300)에 제공한다.
모니터링 서버(300)는 무인 비행체(200)로부터 GPS 정보와 RF 신호를 수신하여 과실나무별 위치 데이터를 매칭하여 데이터베이스에 저장하고, 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 데이터베이스에 저장하며, 사전에 허가된 사용자 단말(400)의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공한다.
이러한 모니터링 서버(300)는 일반적인 의미의 서버용 컴퓨터 본체일 수 있고, 그 외에 서버 역할을 수행할 수 있는 다양한 형태의 장치로 구현될 수 있다. 구체적으로, 모니터링 서버(300)는 통신부(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있는데, 스마트폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 무인 비행체의 구성을 설명하는 블록도이고, 도 4는 본 발명의 일 실시예에 따른 무인 비행체를 설명하는 정면도이고, 도 5는 일반적인 장파장 적외선 대역의 스펙트럼 분포를 설명하는 도면이다.
무인 비행체(200)는 사람이 타지 않고, 원격 조종 또는 스스로 조종되는 비행체로서, 사용 용도에 따라 카메라, 센서, 통신장비 또는 다른 장비를 탑재할 수 있다. 이러한 무인 비행체(200), 통칭 드론(drone)은 RPV(Remote Piloted Vehicle), UAV(Unmanned/Uninhabited/ Unhumanized Aerial Vehicle System), UAS(Unmanned Aircraft System), RPAV(Remote Piloted Air/Aerial Vehicle), RPAS(Remote Piloted Aircraft System), 로봇 항공기(Robot Aircraft) 등을 포함한다.
도 3 및 도 4를 참조하면, 무인 비행체(200)는 카메라(210), 수신기(220), 통신 모듈(230) 및 제어 모듈(240)을 포함하지만 이에 한정되지는 않는다.
카메라(210)는 RGB 센서와 적외선 센서를 이용한 하나 이상의 카메라가 될 수 있다. 적외선 카메라(211) 또는 열화상 카메라는 적외선 에너지를 감지하여, 이를 실화상으로 변환해주는 비접촉식 측정 기기로서, 가시광선이 아닌 열을 이용하여 이미지를 생성한다. 즉, 적외선 카메라(211)는 적외선 에너지를 수신하여 적외선 에너지의 데이터를 사용하여 디지털 또는 아날로그 영상 출력 기능을 통해 이미지를 생성한다.
일반적으로, 적외선은 근적외선(Near-infrared, NIR, 0.7-1.4μm), 단파장 적외선(Shortwavelength infrared, SWIR, 1.4-3μm), 중파장 적외선(Mid-wavelength infrared, MWIR, 3-5μm), 장파장 적외선(Long-wavelength infrared, LWIR, 8-14 μm), 그리고 원적외선 (Far-infrared, FIR, 15-1000μm)으로 구분할 수 있다.
본 발명의 적외선 카메라(211)는, 도 5에 도시된 바와 같이, 장파장 적외선(Long-wavelength infrared, LWIR, 8-14μm)을 대상으로 하여 적외선 이미지를 획득할 수 있다. 일반적인 적외선 카메라는 적외선의 파장 대역, 특히 장파장 적외선을 이용하지 않고 각기 다른 파장을 구분하지 않은 센서를 사용하지만, 본 발명에서는 장파장 적외선 파장 대역에서 이미지를 생성하도록 되어 있기 때문에 나뭇잎이나 기타 장애물로 인해 가려져 있는 과실까지 촬영할 수 있고, 장파장 적외선 카메라(211)로부터 획득된 적외선 이미지로부터 과실나무의 주요 관심 영역(잎, 가지, 과실 등)의 온도 정보를 추출할 수 있다.
이와 같이, 장파장 대역의 적외선 카메라(211)는 과실나무의 표면으로부터 방사되는 적외선을 측정하여 대상물 표면의 온도 분포에 대한 적외선 이미지를 생성함으로써 복사 강도에 따라 물체를 구분할 수 있다. 대상물체의 복사 에너지와 면적이 주어지면 복사 강도를 계산할 수 있고, 복사 곡선을 사용하면 온도 30℃의 대상 물체는 최대 복사강도가 10㎛ 파장에서 나타남을 알 수 있다.
적외선 또는 열 에너지와 빛은 모두 전자기 스펙트럼의 범주에 속한 에너지 형태이다. 하지만, 가시광선을 감지할 수 있는 카메라는 열 에너지를 감지할 수 있는 능력이 없고, 반대로 열 에너지를 감지하는 카메라는 가시광선을 감지하지 못한다.
따라서, RGB 카메라(212)는 이웃하고 있는 과실나무들이 중첩되지 않도록 특정한 과실나무의 상부에 무인 비행체(200)가 위치하도록 RGB 이미지를 획득하고, 적외선 카메라(211)는 과실나무별로 과실의 계수를 위한 적외선 이미지를 획득하도록 한다. 이때, 과실나무 이미지는 RGB 이미지와 적외선 이미지를 포함할 수 있다.
수신기(220)는 GPS 수신기(221)와 RF 수신기(222)를 포함하고, GPS 수신기(221)는 GPS 정보를 수신하며, 과수 지역으로 이동하고 기 저장된 위치 데이터를 이용하여 기 설정된 과실나무로 이동하도록 위치 정보 인식에 활용된다. RF 수신기(222)는 과실나무별로 장착된 RF 발신기(110)에서 송출되는 과실나무별 고유 식별 가능한 RF 신호를 수신한다.
통신 모듈(230)은 카메라(210)에서 촬영된 과실나무 이미지와 수신기(220)에서 수신된 GPS 정보와 RF 신호를 모니터링 서버(300)로 전송하고, 모니터링 서버(300)로부터 전송되는 비행 제어 신호를 수신한다.
제어 모듈(240)은 무인 비행체(200)의 비행 동작(이륙, 착륙, 자세 제어, 비행 항로 결정 등)을 포함한 수신기(220) 및 카메라(210)의 동작을 제어하고, 외부의 비행 제어 신호에 기초하여 무인 비행체(200)의 조종에 필요한 제어 동작을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 과실 수량 측정 시스템의 주요 신호 흐름을 설명하는 도면이고, 도 7은 본 발명의 일 실시예에 따른 모니터링 서버의 딥러닝 기반의 과실 인식 알고리즘을 설명하는 도면이다.
도 6 및 도 7을 참조하면, 모니터링 서버(300)는 무인 비행체(200)로부터 비행 정보 또는 적외선 이미지와 RGB 이미지를 포함한 과실나무 이미지, GPS 정보와 RF 신호를 수신하고, 비행 정보 또는 GPS 정보와 RF 신호에 따른 과실나무별 위치 데이터에 따라 비행 제어 신호를 생성하여 무인 비행체(200)로 송신할 수 있다.
또한, 모니터링 서버(300)는 기 저장된 과수 배치도에 기초하여 무인 비행체(200)의 비행 항로를 결정하고, 결정된 비행 항로에 따라 무인 비행체(200)가 자동 또는 반자동으로 비행할 수 있도록 비행 제어 신호를 생성하여 무인 비행체(200)로 전송할 수 있다.
사용자 단말(400)은 모니터링 서버(300)로 과실나무별 위치 데이터 또는 과실 계수 정보를 요청할 수 있고, 모니터링 서버(300)는 사용자 단말(400)이 요청한 데이터를 표, 시계열 변화를 보여주는 시계열 차트, 선 차트, 막대그래프, 과수 지역의 영역별 분포 형태를 보여주는 영역 차트, 원형 차트 등의 다양한 보고서 형태로 제공할 수 있다.
모니터링 서버(300)는 무인 비행체(200)로부터 전송되는 RGB 이미지와 적외선 이미지를 포함한 과실나무 이미지를 입력 데이터로 설정하고, 딥러닝 기반의 과실 인식 알고리즘에 입력 데이터를 입력하여 과실 분류 및 예측 결과를 산출하고, 산출된 과실 분류 및 예측 결과를 사용자 단말(400)에 제공할 수 있다.
이때, 딥러닝 기반의 과실 인식 알고리즘은 과실나무 이미지로부터 과실 영역들을 추출하고, 추출된 과실 영역별로 특징을 추출한 후 추출된 특징에 기반하여 과실 분류 및 예측 결과를 제공할 수 있다. 이를 위해 딥러닝 기반의 과실 인식 알고리즘은 빅데이터에 상응하는 다수의 과실 영상을 학습하기 위한 학습 데이터를 생성하여 데이터베이스에 저장하고, 학습 데이터 분석을 통해 각 과실의 크기, 모양, 색상, 나뭇가지나 나뭇잎 형태 등을 포함한 각 과실별 특징을 과실 판단 기준으로 설정하여 분류기를 학습한다. 따라서, 딥러닝 기반의 과실 인식 알고리즘은 과실나무 이미지에 대한 입력 데이터가 입력되면 학습된 분류기에 의해 과실의 종류와 수량을 포함한 분류 및 예측 결과를 출력할 수 있다.
도 7에 도시된 바와 같이, 딥러닝 기반의 과실 인식 알고리즘은 입력층(Input Layer), 은닉 층(Hidden Layer), 출력 층(Output Layer) 구조를 가지는 심층신경망(Deep Neural Network, DNN)으로 구현될 수 있는데, 심층신경망은 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 컨볼루션 풀링층(Convolutional Pooling Layer), 로컬 접속층(a locally-connected layer) 및 완전 연결층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 컨볼루션 풀링층 또는 로컬 접속층은 영상 내 특징들을 추출하도록 구성될 수 있다. 완전 연결층은 영상의 특징 간의 상관관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 컨볼루션 풀링층에 로컬 접속 층이 이어지고, 로컬 접속층에 완전 연결 층이 이러지는 형태인 컨볼루셔널 신경망(즉, Convolutional Neural Network, CNN) 구조로 이루어질 수 있다. 또한, 심층신경망은 각 레이어의 노드들에 자신을 가르키는 엣지(edge)가 포함됨에 따라 재귀적으로 연결되는 순환형 신경망(Recurrent Neural Network; RNN) 구조로 형성될 수도 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))을 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.
특히, 컨볼루셔널 신경망은 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)이 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)과 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.
특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘볼루션층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수차례 반복하는 구조로 형성될 수 있고, CNN의 은닉층은 컨볼루션 층뿐만 아니라 풀링 층과 완전 연결층의 조합으로 이루어질 수 있다.
이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다. 컨볼루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(Multi-layer Perception, MLP)이나 서포트 벡터 머신(Support Vector Machine, SVM)과 같은 분류 모델이 완전 연결층(Fully-connected Layer)의 형태로 결합되어 분류기의 학습 및 예측에 사용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 과실 수량 측정 방법 중 과실나무별 위치 데이터의 매칭 과정을 설명하는 순서도이다. 그리고, 도 9는 본 발명의 일 실시예에 따른 무인 비행체의 위치 결정 과정을 설명하는 도면이고, 도 10은 본 발명의 일 실시예에 따른 거리에 따른 RF 수신 신호 강도를 이용한 과실나무 확인 과정을 설명하는 도면이며, 도 11은 본 발명의 일 실시예에 따른 무인 비행체의 위치의 수신 신호 강도 분포를 나타내는 예시도이다.
도 8 내지 도 11을 참조하면, 모니터링 서버(300)는 과수 지역의 경계 지점, 예를 들어 4개의 최외곽 지점에 설치된 GPS부(120)로부터 GPS 정보를 획득하고(S11), 획득된 GPS 정보에 기초하여 과수 지역의 면적 등을 산출하고, 과실나무 인식을 위한 적어도 하나 이상의 무인 비행체(200)의 비행 계획을 수립하고, 비행 계획에 따라 자동 또는 반자동으로 무인 비행체(200)가 조종될 수 있도록 한다(S12).
이때, 비행 계획은 비행 시작/종료 지점, 과실나무별 RF 신호 또는 이미지 획득을 위한 측정시간, 무인 비행체들 간의 충돌 예상 지점, 충돌 예상 지점에서의 회피 시간이나 경로, 비행 시간 스케줄 정보 등을 포함할 수 있다.
무인 비행체(200)는 비행 계획에 기초하여 제1 과실나무의 상부 공중으로 이동하고(S13), 제1 과실나무에 부착된 RF 발신기(110)로부터 RF 신호를 수신한다(S14).
도 9에 도시된 바와 같이, 무인 비행체(200)가 기 설정된 과실나무(T2)의 상공 상부로 이동하는 위치 정보는 RGB 카메라(212)로 해당 과실나무(T2)와 이웃하는 과실나무들(T1, T3)과 중복되지 않은 위치를 인식하여 결정할 수 있다. 이는 밀식 과수 지역인 경우에, 무인 비행체(200)가 기 설정된 과실나무(T2)와 이웃하는 과실나무(T1, T3)에 대한 중복되는 적외선 이미지가 획득되는 것을 방지할 수 있다.
또한, 도 10 및 도 11에 도시된 바와 같이, 과실나무의 상공 상부에 위치한 무인 비행체(200)는 여러 과실나무들(T1, T2, T3, … TN)로부터 송출되는 고유 식별 RF 신호를 수신하고, 도 11에 도시된 바와 같이 도 11에 도시된 바와 같이 복수의 RF 신호에 대한 수신 신호 강도(RSSI, Received Signal Strength Indication, Receive Signal Strength Indicator)도를 측정하여 복수의 RF 신호에 대한 신호 강도를 측정하여 가장 거리가 가까운 RF 신호, 즉 신호 강도가 세기가 최고치인 고유 식별 RF 신호를 선택하고, 선택된 고유 식별 RF 신호에 해당하는 과실나무의 상부에 위치하고 있다고 인식할 수 있다(S15).
모니터링 서버(300)는 제1 과실나무의 RF 신호(RF#1)와 GPS 정보(GPS#1)의 일치 정보를 획득하고, 제1 과실나무의 위치 데이터를 저장한다(S16).
상기와 같은 방식으로, 모니터링 서버(300)는 무인 비행체(200)로부터 수신한 GPS 정보와 RF 신호를 이용하여 제1 과실나무부터 마지막 과실나무인 제N 과실나무까지 과실나무별로 위치 데이터를 매칭하여 저장한다(S17, S18).
도 12는 본 발명의 일 실시예에 따른 과실 수량 측정 방법을 설명하는 순서도이고, 도 13은 본 발명의 일 실시예에 따른 무인 비행체를 통해 획득된 적외선 이미지를 보여주는 예시도이며, 도 14는 도 13의 적외선 이미지에서 과일 영역을 검출하는 과정을 보여주는 예시도이며, 도 15는 도 14에서 검출된 과일 영역에 기초한 과실 계수 과정을 보여주는 예시도이다.
도 12에 도시된 바와 같이, 모니터링 서버(300)는 무인 비행체(200)를 과수 지역으로 이동시키고, 제N 과실나무의 상부 공중으로 이동시킨다(S21, S22). 이때, 모니터링 서버(300)는 기 저장된 위치 데이터를 이용하여 무인 비행체(200)를 제N 과실나무의 상부로 정확히 이동시킬 수 있다.
무인 비행체(200)는 제N 과실나무의 RF 신호를 수신하고(S23), 수신한 RF 신호 중 신호 강도의 세기가 가장 큰 RF 신호를 선택한 후 기 저장된 위치 데이터의 RF 신호와 매칭하여 일치 여부를 확인함으로써 제N 과실나무가 맞는지 확인할 수 있다(S24). 이때, 무인 비행체(200)는 과실나무들의 상공 상부에서 RGB 카메라로 해당 과실나무 들간의 중복되지 않는 이미지를 획득하기 위한 비행 고도 위치를 인식하여 결정할 수 있다.
제N 과실나무가 확인되면, 무인 비행체(200)의 적외선 카메라(211)를 이용하여 적외선 이미지를 획득하고(S25), 제N 과실나무의 과실 인식 처리(S26) 및 과실 수량을 측정하여 저장한다(S27).
모니터링 서버(300)는 도 13 내지 도 15에 도시된 바와 같이 과실나무(예를 들어, 유자 과수)의 적외선 이미지를 딥러닝 기반의 과실 인식 알고리즘에 입력하여, 분류기를 통해 과실을 인식하여 과실 영역을 검출하고, 검출된 과실 영역 내 과실 계수를 수행한다.
모니터링 서버(300)는 첫 번째 과실나무부터 마지막 과실나무까지 과실 계수가 완료되면, 과수 지역 내 과실나무별 과실 계수 정보, 총 과실 계수 정보를 저장하고 사용자 단말(400)의 요청에 따라 과실 계수 정보를 제공할 수 있다(S28, S29).
모니터링 서버(300)는 과실나무별 위치 데이터와 과실나무별 과실 계수 정보를 제공할 뿐만 아니라, 과실나무별 위치 데이터와 과실나무별 과실 계수 정보를 이용하여 과수 지역 내 과실나무 분포 수량(성목 단수) 및 배치 정보, 과실 계수 정보에 따른 소득액 산출 정보, 성목면적 단위당 생산량 정보, 기상 예측 정보 또는 누적된 생산량 정보에 기초한 생산량 예측 정보, 과수 재배 계획 등 다양한 과수 분야 정보를 제공할 수도 있다.
한편, 도 8 및 도 12의 단계들은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
이상에서 설명한 본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 과수 지역
110 : RF 발신기
120 : GPS부
200 : 무인 비행체
211 : 적외선 카메라
212 : RGB 카메라
221 : GPS 수신기
222 : RF 수신기
230 : 통신 모듈
240 : 제어 모듈
300 : 모니터링 서버
400 : 사용자 단말

Claims (13)

  1. 기 설정된 면적의 과수 지역에 대한 GPS 정보와 과실나무별로 설치된 RF 발신기로부터 송출되는 RF 신호를 수신하고, 상기 과수 지역의 상공에서 기 설정된 비행 계획에 기초하여 비행하면서 적어도 하나 이상의 이미지 센서를 이용하여 촬영된 과실나무 이미지를 제공하는 무인 비행체; 및
    상기 무인 비행체와 통신망을 통해 연결되어, 상기 무인 비행체로부터 GPS 정보와 RF 신호를 수신하여 과실나무별 위치 데이터를 매칭하여 저장하고, 상기 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 저장하며, 사전에 허가된 사용자 단말의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공하는 모니터링 서버를 포함하는 것인, 과실 수량 측정 시스템.
  2. 제1항에 있어서,
    상기 과수 지역의 경계 지점에 설치되어 GPS 정보를 제공하는 적어도 하나 이상의 GPS부를 더 포함하는 것인, 과실 수량 측정 시스템.
  3. 제1항에 있어서,
    상기 무인 비행체는 RGB 센서와 적외선 센서를 이용한 하나 이상의 카메라를 포함하는 것인, 과실 수량 측정 시스템.
  4. 제1항에 있어서,
    상기 모니터링 서버는,
    상기 과실나무 이미지로부터 과실 영역들을 추출하고, 상기 추출된 과실 영역에서 특징을 추출한 후 상기 추출된 특징에 기반하여 과실 분류 및 예측 결과를 제공하는 딥러닝 기반의 과실 인식 알고리즘을 수행하는 것인, 과실 수량 측정 시스템.
  5. 제4항에 있어서,
    상기 딥러닝 기반의 과실 인식 알고리즘은,
    빅데이터에 상응하는 다수의 과실 영상을 학습하기 위한 학습 데이터를 생성하여 저장하고, 상기 저장된 학습 데이터 분석을 통해 각 과실의 크기, 모양, 색상을 포함한 각 과실별 특징을 과실 판단 기준으로 설정하여 분류기를 학습하고, 상기 학습된 분류기에 의해 입력되는 과실나무 이미지에 대한 과실의 종류와 수량을 포함한 분류 및 예측 결과를 출력하는 것인, 과실 수량 측정 시스템.
  6. 과수 지역에 대한 과수 모니터링 기능을 수행하는 모니터링 서버에 의해 수행되는 과실 수량 측정 방법에 있어서,
    a) 상기 과수 지역에 대한 GPS 정보를 획득하고, 상기 획득된 GPS 정보에 기초하여 과실나무의 인식을 위한 적어도 하나 이상의 무인 비행체의 비행 계획을 생성하는 단계;
    b) 상기 무인 비행체의 비행 계획에 기초하여 상기 무인 비행체를 기 설정된 과실나무의 상부 공중으로 이동시키는 비행 제어 신호를 상기 무인 비행체로 전송하는 단계;
    c) 상기 무인 비행체를 통해 상기 과실나무에 설치된 RF 발신기에서 송출되는 RF 신호를 수신하여 기 설정된 과실나무를 확인하고, 기 설정된 과실나무의 고유 식별 정보와 위치 데이터를 매칭하여 저장하는 단계; 및
    d) 상기 무인 비행체를 통해 과실나무 이미지를 수신하고, 상기 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 저장하는 단계를 포함하는 것인, 과실 수량 측정 방법.
  7. 제6항에 있어서,
    상기 b) 단계는 상기 무인 비행체가 과실나무들의 상공 상부에서 RGB 카메라로 해당 과실나무 들간의 중복되지 않는 이미지를 획득하기 위한 비행 고도 위치를 인식하여 결정하는 단계를 더 포함하는 것인, 과실 수량 측정 방법.
  8. 제6항에 있어서,
    e) 사전에 허가된 사용자 단말의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공하는 단계를 더 포함하는 것인, 과실 수량 측정 방법.
  9. 제6항에 있어서,
    상기 무인 비행체는 RGB 센서와 적외선 센서를 이용한 하나 이상의 카메라를 포함하고, 상기 카메라를 통해 RGB 이미지와 적외선 이미지를 포함한 과실나무 이미지를 제공하는 것인, 과실 수량 측정 방법.
  10. 제6항에 있어서,
    상기 d) 단계는,
    상기 과실나무 이미지로부터 과실 영역들을 추출하고, 상기 추출된 과실 영역에서 특징을 추출한 후 상기 추출된 특징에 기반하여 과실 분류 및 예측 결과를 제공하는 딥러닝 기반의 과실 인식 알고리즘을 수행하는 것인, 과실 수량 측정 방법.
  11. 제10항에 있어서,
    상기 딥러닝 기반의 과실 인식 알고리즘은,
    빅데이터에 상응하는 다수의 과실 영상을 학습하기 위한 학습 데이터를 생성하여 저장하고, 상기 저장된 학습 데이터 분석을 통해 각 과실의 크기, 모양, 색상을 포함한 각 과실별 특징을 과실 판단 기준으로 설정하여 분류기를 학습하고, 상기 학습된 분류기에 의해 입력되는 과실나무 이미지에 대한 과실의 종류와 수량을 포함한 분류 및 예측 결과를 출력하는 것인, 과실 수량 측정 방법.
  12. 과수 지역의 상공을 비행하는 무인 비행체 또는 사전에 허가된 사용자 단말과의 통신 기능을 수행하는 통신부;
    상기 과수 지역에 대한 과실 수량 측정 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서를 포함하며,
    상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 무인 비행체와 통신망을 통해 연결되어, 상기 무인 비행체로부터 GPS 정보와 RF 신호를 수신하여 과실나무별 위치 데이터를 매칭하여 저장하고, 상기 무인 비행체로부터 제공받은 과실나무 이미지를 분석하여 과실나무별로 과실 수량을 측정하여 과실 계수 정보를 저장하며, 상기 사용자 단말의 요청에 따라 저장된 과실나무별 위치 데이터 또는 과실 계수 정보를 제공하는 것인, 모니터링 서버.
  13. 제 6 항에 따른 과실 수량 측정 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020210033932A 2021-03-16 2021-03-16 과실 수량 측정 시스템 및 그 방법 KR102563100B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210033932A KR102563100B1 (ko) 2021-03-16 2021-03-16 과실 수량 측정 시스템 및 그 방법
PCT/KR2022/003233 WO2022196999A1 (ko) 2021-03-16 2022-03-08 과실 수량 측정 시스템 및 그 방법
US18/235,388 US20230401845A1 (en) 2021-03-16 2023-08-18 Fruit quantity measurement system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210033932A KR102563100B1 (ko) 2021-03-16 2021-03-16 과실 수량 측정 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220129706A true KR20220129706A (ko) 2022-09-26
KR102563100B1 KR102563100B1 (ko) 2023-08-04

Family

ID=83320779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033932A KR102563100B1 (ko) 2021-03-16 2021-03-16 과실 수량 측정 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US20230401845A1 (ko)
KR (1) KR102563100B1 (ko)
WO (1) WO2022196999A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117146831B (zh) * 2023-10-31 2024-01-02 北京佳格天地科技有限公司 基于机器学习和无人机的果树生长状态评估方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180021A1 (zh) * 2014-05-26 2015-12-03 中国科学院自动化研究所 剪枝机器人系统
KR101827251B1 (ko) * 2016-02-01 2018-02-08 주식회사에스에이티 작업영역의 탐색과 탐색된 작업영역에서 연속작업을 수행하는 방법 및 이를 수행하는 무인비행체
KR20180110559A (ko) * 2017-03-29 2018-10-10 주식회사 이에스피 드론을 이용한 농작물 관리 시스템
KR101929129B1 (ko) * 2017-09-12 2018-12-13 경일대학교산학협력단 농업용 무인 비행 장치 및 그 제어 방법
CN111582234B (zh) * 2020-05-22 2023-07-07 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Chika Yinka-Banjo and Olasupo Ajayi, "Sky-Farmers: Applications of Unmanned Aerial Vehicles (UAV) in Agriculture", 2019 Autonomous vehicles (2019.12.17.)* *
Lucas Prado Osco, "A convolutional neural network approach for counting and geolocating citrus-trees in UAV multispectral imagery", ISPRS Journal of Photogrammetry and Remote Sensing 160 (2020.02.)* *
Orly Enrique Apolo-Apolo, "A Cloud-Based Environment for Generating Yield Estimation Maps From Apple Orchards Using UAV Imagery and a Deep Learning Technique", Frontiers in plant science (2020.07.15.)* *

Also Published As

Publication number Publication date
WO2022196999A1 (ko) 2022-09-22
KR102563100B1 (ko) 2023-08-04
US20230401845A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
KR102300799B1 (ko) 작물 상태 판단 장치 및 이를 포함하는 작물 재배 정보 서비스 플랫폼
Yang et al. Unmanned aerial vehicle remote sensing for field-based crop phenotyping: current status and perspectives
US20230384280A1 (en) Methods and systems for analyzing a field
Bouguettaya et al. A survey on deep learning-based identification of plant and crop diseases from UAV-based aerial images
Bagheri Development of a high-resolution aerial remote-sensing system for precision agriculture
US10395115B2 (en) Systems, devices, and methods for robotic remote sensing for precision agriculture
Pilli et al. eAGROBOT—A robot for early crop disease detection using image processing
Latif An agricultural perspective on flying sensors: State of the art, challenges, and future directions
JP6390054B2 (ja) モニタリングシステム
CN108267175B (zh) 一种基于无人机的农作物监测方法和装置
Istiak et al. Adoption of Unmanned Aerial Vehicle (UAV) imagery in agricultural management: A systematic literature review
Andritoiu et al. Agriculture autonomous monitoring and decisional mechatronic system
Marín et al. Urban lawn monitoring in smart city environments
US20220307971A1 (en) Systems and methods for phenotyping
CN114898238B (zh) 一种野生动物遥感识别方法及装置
CN106500841B (zh) 一种遥感监测大面积茶园植株多酚含量的方法及系统
Lum et al. Multispectral imaging and elevation mapping from an unmanned aerial system for precision agriculture applications
CN112528912A (zh) 基于边缘计算的作物生长监测嵌入式系统及方法
US20230401845A1 (en) Fruit quantity measurement system and method
CN118097463A (zh) 一种基于农作物遥感图像的倒伏区域识别方法及系统
Gadhwal et al. Spatial corn canopy temperature extraction: How focal length and sUAS flying altitude influence thermal infrared sensing accuracy
Yang et al. Comparison of hyperspectral imagery with aerial photography and multispectral imagery for mapping broom snakeweed
JP2019039913A (ja) モニタリングシステム
Bao et al. UAV Remote Sensing Technology: A Review of Chinese Agricultural Patents
Sadiq et al. A review on the imaging approaches in agriculture with crop and soil sensing methodologies

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant