KR20210143627A - 드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법 - Google Patents

드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법 Download PDF

Info

Publication number
KR20210143627A
KR20210143627A KR1020200100277A KR20200100277A KR20210143627A KR 20210143627 A KR20210143627 A KR 20210143627A KR 1020200100277 A KR1020200100277 A KR 1020200100277A KR 20200100277 A KR20200100277 A KR 20200100277A KR 20210143627 A KR20210143627 A KR 20210143627A
Authority
KR
South Korea
Prior art keywords
vegetation
abnormal
image
abnormal state
type
Prior art date
Application number
KR1020200100277A
Other languages
English (en)
Inventor
심철규
오태수
Original Assignee
주식회사 유에프오에스트로넛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유에프오에스트로넛 filed Critical 주식회사 유에프오에스트로넛
Publication of KR20210143627A publication Critical patent/KR20210143627A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/80—UAVs characterised by their small size, e.g. micro air vehicles [MAV]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)

Abstract

본 발명은 예찰 구역의 RGB 영상을 촬영하는 제1 카메라, 상기 예찰 구역의 열 영상을 촬영하는 제2 카메라, 상기 예찰 구역의 다중 분광 영상을 촬영하는 제3 카메라를 포함하는 드론; 및 미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상을 분석하여 이상 식생의 객체(object of abnormal vegetation)를 찾는 탐지모듈(object finder)과, 탐지된 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 알아내는 판별모듈(identifier)을 포함하는 분석서버를 포함할 수 있다.

Description

드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법{VEGETATION PREDICTION SYSTEM USING DRONE AND VEGETATION PREDICTION DEVICE AND VEGETATION PREDICTION METHOD}
본 발명은 드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법에 관한 것으로, 더욱 상세하게는 골프장, 정원, 공원 등과 같이 관리 식물이 다수 분포하는 예찰 구역을 RGB 영상, 열 영상, 다중 분광 영상으로 촬영하고, 촬영된 영상을 분석하여 예찰 구역의 식생을 탐지 및 예찰하는 드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법에 관한 것이다.
일반적으로 드론은 무선통신을 통해 기 설정된 경로를 따라 비행하거나 사람이 직접 육안으로 조정하면서 비행하는 비행기나 헬리콥터 모양의 비행체로서, 처음에는 공군기나 고사포, 미사일의 연습사격에 적기 대신 표적 구실로 사용되었으며, 점차 무선 기술의 발달과 함께 정찰기로 개발되어 적의 내륙 깊숙이 침투하여 정찰, 감시의 용도로도 사용되었다.
이러한 드론은 최근 들어 수송목적에도 활용되는 등 활용 범위가 점차 넓어지고 있고, 활용 목적에 따라 다양한 크기와 성능을 가진 제품이 다양하게 개발되고 있으며, 초소형 드론은 물론 개인의 취미활동으로도 개발되어 상품화되고 있다.
한편, 예찰이란 병충해를 예방하거나 박멸하기 위해 발생 시기와 발생량을 미리 관찰 예측하는 활동을 말한다. 농림축산식품부 고시에 따르면 ‘가축전염병의 발생 및 역학에 관한 정보수집 분석을 위한 조사, 탐문, 임상검사, 검진, 혈청검사 및 병성감정 등의 방역활동 이라고 정의된다.
따라서, 예찰의 정확성 및 효율을 높이기 위해서 드론을 통해 식생을 예찰 및 탐지할 수 있는 기술이 필요한 실정이다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 도출된 것으로서, 본 발명은 골프장, 정원, 공원 등과 같이 관리 식물이 다수 분포하는 예찰 구역을 RGB 영상, 열 영상, 다중 분광 영상으로 촬영하고, 촬영된 영상을 분석하여 예찰 구역의 식생을 탐지 및 예찰하는 드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이하에 서술되는 실시예를 통하여 더욱 명확해질 것이다.
본 발명의 일 측면에 따른 드론을 이용한 식생 예찰 시스템은 예찰 구역의 RGB 영상을 촬영하는 제1 카메라, 상기 예찰 구역의 열 영상을 촬영하는 제2 카메라, 상기 예찰 구역의 다중 분광 영상을 촬영하는 제3 카메라를 포함하는 드론; 및 미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상을 분석하여 이상 식생의 객체(object of abnormal vegetation)를 찾는 탐지모듈(object finder)과, 탐지된 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 알아내는 판별모듈(identifier)을 포함하는 분석서버를 포함할 수 있다.
본 발명에 따른 드론을 이용한 식생 예찰 및 탐지 방법은 다음과 같은 실시예들을 하나 또는 그 이상 구비할 수 있다. 예를 들면, 상기 분석서버의 탐지모듈은, 예찰 구역의 종류에 따라 미리 설정된 영상 순서에 의해 상기 객체 탐지 알고리즘을 적용할 수 있다.
상기 분석서버의 탐지모듈은, 상기 미리 설정된 순서에 따라 상기 이상 식생의 객체 탐지를 진행하는 중에, 어느 일 영상에서 탐지된 객체에 대하여 이상 상태의 종류가 판별되면, 나머지 영상에 대하여는 객체 탐지 알고리즘을 적용하지 않을 수 있다.
상기 분석서버는, 상기 이상 식생 객체를 상기 데이터베이스와 비교할 때 미리 설정된 변화율에 따라 이상 상태의 정도를 판별하고, 상기 이상 상태 종류에 따라 상기 이상 상태가 최초 발생된 시점으로부터 특정 변화율에 도달하는 기간을 분석할 수 있다.
상기 예찰 구역은 골프장이며, 상기 식생의 이상 상태는, 디봇, 병충해, 배수 불량, 이종 잔디 침범, 야생동물의 침범 중 어느 하나일 수 있다.
상기 드론은, 상기 RGB 영상, 열 영상 및 다중 분광 영상을 무선망을 통해 가상 아카이브에 업로드하기 위한 통신 모듈을 더 포함할 수 있다.
예찰 구역을 비행으로 이동하기 위한 구동부; 상기 예찰 구역의 RGB 영상을 촬영하는 제1 카메라, 상기 예찰 구역의 열 영상을 촬영하는 제2 카메라, 및 상기 예찰 구역의 다중 분광 영상을 촬영하는 제3 카메라를 포함하는 촬영부; 및 미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상을 분석하여 이상 식생의 객체(object of abnormal vegetation)를 찾는 탐지모듈(object finder)과, 탐지된 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 알아내는 판별모듈(identifier)을 포함하는 분석부를 포함할 수 있다.
상기 분석부의 탐지모듈은, 예찰 구역의 종류에 따라 미리 설정된 영상 순서에 의해 상기 객체 탐지 알고리즘을 적용할 수 있다.
상기 분석부의 탐지모듈은, 상기 미리 설정된 순서에 따라 상기 이상 식생의 객체 탐지를 진행하는 중에, 어느 일 영상에서 탐지된 객체에 대하여 이상 상태의 종류가 판별되면, 나머지 영상에 대하여는 객체 탐지 알고리즘을 적용하지 않을 수 있다.
상기 분석부는, 상기 이상 식생 객체를 상기 데이터베이스와 비교할 때 미리 설정된 변화율에 따라 이상 상태의 정도를 판별하고, 상기 이상 상태 종류에 따라 상기 이상 상태가 최초 발생된 시점으로부터 특정 변화율에 도달하는 기간을 분석할 수 있다.
상기 예찰 구역은 골프장이며, 상기 식생의 이상 상태는, 디봇, 병충해, 배수 불량, 이종 잔디 침범, 야생동물의 침범 중 어느 하나일 수 있다.
상기 RGB 영상, 열 영상 및 다중 분광 영상을 무선망을 통해 가상 아카이브에 업로드하기 위한 통신 모듈을 더 포함할 수 있다.
데이터 입력 모듈이 예찰 구역의 RGB 영상, 열 영상 및 다중 분광 영상을 입력 받는 단계; 탐지모듈이 미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상에 객체 탐지 알고리즘을 적용하여 이상 식생의 객체(object of abnormal vegetation)를 탐지하는 단계; 및 판별모듈이 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 판별하는 단계를 포함할 수 있다.
상기 객체 탐지 알고리즘의 적용 순서는 예찰 구역의 종류에 따라 미리 설정되될 수 있다.
상기 이상 식생의 객체를 탐지하는 단계는, 상기 미리 설정된 순서에 따라 상기 이상 식생의 객체 탐지를 진행하는 중에, 상기 이상 상태의 종류를 판별하는 단계에서 어느 일 영상에서 탐지된 객체에 대하여 이상 상태의 종류가 판별되면, 나머지 영상에 대하여는 객체 탐지 알고리즘을 적용하지 않을 수 있다.
상기 이상 상태의 종류를 판별하는 단계는, 상기 이상 식생 객체를 상기 데이터베이스와 비교할 때 미리 설정된 변화율에 따라 이상 상태의 정도를 판별하고, 상기 이상 상태 종류에 따라 상기 이상 상태가 최초 발생된 시점으로부터 특정 변화율에 도달하는 기간을 분석할 수 있다.
상기 예찰 구역은 골프장이며, 상기 식생의 이상 상태는, 디봇, 병충해, 배수 불량, 이종 잔디 침범 중 어느 하나일 수 있다.
상기 예찰 구역은 산림이며, 상기 식생의 이상 상태는, 병충해, 산불, 무단점유, 과도 밀집, 산사태, 조난자 중 어느 하나일 수 있다.
본 발명에 따른 드론을 이용한 식생 예찰 및 탐지 방법은 다음과 같은 효과를 제공한다.
본 발명은 골프장, 정원, 공원 등과 같이 관리 식물이 다수 분포하는 예찰 구역을 RGB 영상, 열 영상, 다중 분광 영상으로 촬영하고, 촬영된 영상을 분석하여 예찰 구역의 식생을 탐지 및 예찰할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 도 1은 본 발명의 제1 실시예에 따른 드론을 이용한 식생 예찰 시스템을 예시한 블록도.
도 2는 도 1에 예시된 드론이 예찰 구역을 촬영한 도면.
도 3은 본 발명의 제2 실시예에 따른 드론을 이용한 식생 예찰 장치를 예시한 블록도.
도 4는 본 발명의 제3 실시예에 따른 드론을 이용한 식생 예찰 방법을 예시한 흐름도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.
또한 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
[제1 실시예]
이하 본 발명의 제1 실시예에 따른 드론을 이용한 식생 예찰 시스템에 대하여 도 1을 참조하여 상세히 설명한다.
도 1은 본 발명의 제1 실시예에 따른 드론을 이용한 식생 예찰 시스템을 예시한 블록도이다.
도 1을 참조하면, 본 발명의 제1 실시예에 따른 드론을 이용한 식생 예찰 시스템은 드론(100)을 이용하여 골프장, 정원, 공원 등과 같이 관리 식물이 다수 분포하는 구역을 항공 촬영하고, 항공 촬영된 영상을 과거 경험치를 기초로 분석하여 추후 병해를 입거나 확산될 가능성을 예찰할 수 있다.
본 발명의 식생 예찰 시스템은 드론(100) 및 분석서버(200)를 포함한다.
드론(100)은 예찰 구역의 상공에서 예찰 구역을 항공 촬영한다. 드론(100)은 RGB 센서가 구비된 제1 카메라(110), 열 화상 센서가 구비된 제2 카메라(120) 및 다중 분광(Multi-spectral) 센서가 구비된 제3 카메라(130)를 포함한다.
드론(100)은 제1 카메라(110)를 통해 예찰 구역을 항공 촬영하고, RGB(Red Green Blue) 센서를 통해 RGB 영상 데이터를 획득한다. RGB 방식은 빨간색, 녹색, 파란색을 섞어 영상이나 이미지를 표현하는 방식이다.
제2 카메라(120)는 열을 추적, 탐지하는 열 화상 센서를 통해 예찰 구역에 대한 열 영상 데이터를 획득한다. 제2 카메라(120)는 온도에 따라 촬영 대상을 다른 색으로 표현한다.
제3 카메라(130)는 다중 분광(멀티스펙트럴(Multi-spectral)) 센서를 이용해 예찰 구역에 대한 다중 분광 영상 데이터를 획득한다. 제3 카메라(130)에 의해 획득된 다중 분광 영상 데이터는 토양, 수분 등 농업 환경 현황을 파악하는데 주로 활용된다.
다중 분광 영상 데이터는 가시영역과 중적외선 영역 내에서 일반적으로 10개 이하의 불연속적인 밴드에서 이미지를 얻으며, 데이터에 저장된 역이 분리된 형태이기 때문에 각 픽셀에 해당하는 독립된 데이터를 생성한다. 본 실시예에서 제3 카메라(130)는 랜드셋(lansat)의 다중 분광 센서를 포함할 수 있다.
본 실시예에서 드론(100)에 의해 촬영된 영상 데이터들은 이미지 데이터를 포함한다.
본 실시예에서 제3 카메라(130)는 다중 분광 영상 데이터 대신 초분광 센서(Hyperspectral Sensor)를 이용해 초분광 영상 데이터를 획득할 수 있다. 초분광 영상 데이터는 가시영역, 근적외선, 중적외선, 그리고 열적외선 영역에 걸쳐 일반적으로 100개 이상의 연속적인 밴드에서 이미지를 얻고, 각 픽셀로부터 전체 스펙트럼이 추출한다. 초분광센서(Hyperspectral Sensor)는 입사되는 빛을 분광시켜 영상의 각 화소에 해당하는 지표상 물체의 연속적이고 좁은 파장역으로 수십에서 수백 개의 분광 정보를 취득한다. 초분광센서를 이용한 제3 카메라(130)는 물질마다 존재하는 고유의 광학적 성질 및 물질의 흡수와 반사 특징을 촬영하고 이에 대한 데이터는 토지피복, 식생, 그리고 수질 등의 식별에 주로 이용될 수 있다.
본 실시예에서 드론(100)에서 항공 촬영하는 예찰 구역은 골프장, 정원, 공원 중 어느 하나를 포함할 수 있으며, 또한, 관리 식물이 다수 분포하는 구역은 예찰 구역 대상이 될 수 있다.
분석서버(200)는 드론(100)에서 촬영된 영상들에 대한 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 별도의 장치(예를 들어, 이동식 기억 장치(Universal Serial Bus)를 이용해 제공 받거나 또는 무선 이동망(예를 들어 아카이드, 클라우드 서버)을 통해 제공받을 수 있다. 또한, 분석서버(200)는 근거리 통신망을 통해서도 드론(100)으로부터 영상 데이터들을 제공받을 수 있다.
예컨대, 드론(100)과 분석서버(200)가 무선이동망을 통해 영상 데이터들을 송수신 한다면, 드론(100)은 영상 데이터들을 아카이브(예를 들어, 클라우드 서버)로 업로드 하기 위한 통신 모듈을 별도로 구비할 수 있다.
본 실시예에서 분석서버(200)가 드론(100)으로부터 영상 데이터들을 제공받는 방식은 이동식 기억 장치, 무선 이동통신망 또는 근거리 통신망을 예를 들어 설명하였지만 이외에도 어떠한 방식으로 영상 데이터들을 제공받아도 무방하다.
분석서버(200)는 드론(100)으로부터 제공 받은 예찰 구역에 대한 영상 데이터들, 즉 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 분석하여 예찰 구역의 특이점을 파악한다.
분석서버(200)는 탐지모듈(object finder) (210) 및 판별모듈(identifier) (220)을 포함한다.
탐지모듈(210)은 제공 받은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 미리 설정된 순서로 분석하여 예찰 구역에 대한 이상 식생의 객체(object of abnormal vegetation)를 탐지한다.
예를 들면, 탐지모듈(210)은 제공 받은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 분석하여 골프장의 잔디가 머금은 수분량을 기초로 식생 형황을 파악할 수 있다. 또는, 탐지모듈(210)은 잔디 우의 수분에 의해 반사되는 빛의 양을 파악하여 골프장의 식생 현황을 파악할 수 있다.
탐지모듈(210)은 예찰 구역의 종류에 따라 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터의 분석 순서를 다르게 변경할 수 있다. 예를 들면, 예찰 구역이 잔디의 비중이 높은 골프장의 경우에 탐지모듈(210)은 디봇의 판별을 위해 RGB 영상 데이터를 우선적으로 분석할 수 있으며(도 2의 (A) 참조), 나무의 비중이 높은 공원의 경우에 탐지모듈(210)은 나방과 같은 병충해의 판별을 위해 열 영상 데이터를 우선적으로 분석할 수 있다(도 2의 (B) 참조).
본 실시예에서 탐지모듈(210)은 객체 탐지 알고리즘을 통해 이상 식생의 객체를 탐지할 수 있다. 예를 들면, 탐지모듈(210)은 영상 분석 알고리즘을 사용할 수 있다. 탐지모듈(210)은 영상 분석 알고리즘을 통해 데이터를 병렬처리, 기본 데이터 프리셋 사용, 일반 사물 및 열화상/다분광 등 특정 현상을 추적 또는 분석 가능하다.
탐지모듈(210)에서 탐지하는 이상 식생의 객체는 예찰 구역의 일부 구역일 수 있다. 예를 들어, 이상 식생의 객체는 예찰 구역을 복수의 구역으로 구획하고, 구획된 구역 중 특정 구역일 수 있다.
상기에서 탐지모듈(210)은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 미리 설정된 순서로 분석하여 예찰 구역에 대한 이상 식생의 객체를 탐지한다고 설명하였으나, 탐지모듈(210)은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 하나의 이미지 데이터로 합성한 뒤 이를 분석하여 예찰 구역의 이상 식생의 객체를 탐지하는 것도 가능하다. 또한, 탐지모듈(210)은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터(즉, 영상의 이미지 데이터)를 레이어링(layering)하여 3차원에 중첩시키고 이를 분석하여 예찰 구역의 이상 식생의 객체를 탐지할 수도 있다.
판별모듈(220)은 탐지모듈(210)에서 분석된 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하고, 비교한 결과에 따라 예찰 구역의 이상 상태의 종류를 판별한다.
예컨대, 판별모듈(220)은 이상 식생의 객체에 대한 이미지를 데이터베이스에 기 저장된 데이터에 맵핑하여 비교함으로써 예찰 구역의 이상 상태의 종류를 판별할 수 있다. 판별모듈(220) 탐지모듈(210)과 마찬가지로 영상 분석 알고리즘을 사용할 수 있다.
데이터베이스에는 예착 구역이 정상적일 때에 대한 데이터 및 판별모듈(220)로부터 이전에 판별된 이상 상태의 종류에 대한 데이터가 저장될 수 있다. 데이터베이스에는 판별모듈(220)에서 판별된 이상 상태의 종류에 대한 데이터가 계속해서 누적 저장될 수 있다.
판별모듈(220)에서 판별하는 이상 상태의 종류는 디봇, 병충해, 배수 불량, 이종 잔디 침범, 야생동물의 침범 중 어느 하나를 포함한다.
예를 들어, 판별모듈(220)은 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 디봇 구역, 병충해 구역, 배수가 불량한 구역, 침수 구역, 러프 잔디가 페어웨이 잔디를 침범한 구역, 제1 종류의 잔디(양잔디)가 제2 종류의 잔디(조선잔디)를 침범한 구역, 야생동물에 의해 파헤쳐진 구역, 모래 정리가 불량한 벙커 구역 등에 대한 이상 상태 종류를 구체적으로 판별할 수 있다.
그리고 판별모듈(220)에서 판별된 이상 상태의 종류에 대한 데이터는 다시 식생 데이터베이스에 저장되고, 이후에 분석된 이상 식생의 객체에 대한 이미지와 다시 비교될 데이터로 사용될 수 있다. 또한, 판별된 이상 상태의 종류에 대한 데이터는 이상 상태 종류를 판별하는 학습 모델링으로 생성될 수도 있다.
분석서버(200)는 판별된 이상 상태의 종류에 대한 데이터를 식생 데이터베이스에 저장하고 이를 기초로 머신 러닝하여 이상 상태 종류에 대한 판별력을 높일 수 있다.
한편, 탐지모듈(210)은 미리 설정된 순서에 따라 예찰 구역의 이상 식생의 객체를 탐지하는 중에 어느 하나의 영상 데이터에서 이상 상태의 종류가 판별되면 나머지 영상 데이터에 대해서는 이상 식생의 객체탐지를 중지할 수 있다.
예를 들어, 탐지모듈(210)은 미리 설정된 순서(즉, 영상 데이터들을 분석하는 순서)가 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터 순서라고 가정하면, 탐지모듈(210)은 RGB 영상 데이터를 먼저 분석한뒤 이에 대한 이상 식생 데이터를 판별모듈(220)로 전달한다.
그리고 탐지모듈(210)은 다음 영상 데이터 즉, 열 영상 데이터 및 다중 분광 영상 데이터를 순차적으로 분석하게 되지만, 열 영상 데이터 및 다중 분광 영상 데이터를 순차적으로 분석하는 도중에 판별모듈(220)에서 열 영상 데이터를 분석한 이상 식생 객체에 대하여 이상 상태의 종류를 판별하면 탐지모듈(210)은 열 영상 데이터 및 다중 분광 영상 데이터를 분석하는 동작을 중지할 수 있다. 즉, 탐지모듈(210)은 다른 영상 데이터에 적용된 객체 탐지 알고리즘을 중지하거나 또는 객체 탐지 알고리즘이 적용될 다른 영상 데이터에 객체 탐지 알고리즘을 적용하지 않는다.
따라서, 탐지모듈(210)은 분석 동작을 수행하는 중에 어느 하나의 영상 데이터에서 이상 상태의 종류가 판별될 경우 다른 영상 데이터에 대한 분석 동작을 중지함으로써 동일한 이상 식생 객체에 대한 분석 동작이 중복되는 것을 방지할 수 있다.
한편, 분석서버(200)는 이상 식생 객체를 상기 데이터베이스와 비교할 때, 미리 설정된 변화율에 따라 이상 상태의 정도를 판별할 수 있다. 그리고 분석서버(200)는 이상 상태 종류에 따라 이상 상태가 최초 발생된 시점을 기준으로 특정 변화율에 도달하는 기간을 분석한다.
분석서버(200)는 미리 설정된 변화율에 따라 식생의 이상 상태 정도를 판별하고, 이상 상태가 발생된 시점부터 특정 변화율에 도달하는 기간을 분석하여 이상 상태 종류에 따라 대처 기간을 예측 및 설정할 수 있다.
[제2 실시예]
이하 본 발명의 제2 실시예에 따른 드론을 이용한 식생 예찰 장치에 대하여 도 3을 참조하여 상세히 설명한다.
도 3은 본 발명의 제2 실시예에 따른 드론을 이용한 식생 예찰 장치를 예시한 블록도이다.
이하에서 설명하는 식생 예찰 장치는 무인 비행체 즉, 드론을 예로 들어 설명하지만, 예찰 구역의 상공에서 예찰 구역을 항공 촬영할 수 있다면 유인 비행체로 구성되어도 무방하다.
도 3을 참조하면, 본 발명의 제2 실시예에 따른 식생 예찰 장치는 구동부(300), 촬영부(400) 및 분석부(500)를 포함한다.
구동부(300)는 예찰 구역을 비행으로 이동하기 위해 식생 예찰 장치의 비행을 제어 및 구동하는 역할을 한다.
구동부(300)는 식생 예찰 장치가 무인 비행체 즉, 드론으로 구성될 경우 드론을 원격 조종하는 원격 조종기(1)와 통신하기 위한 통신모듈(310)을 포함한다. 통신모듈(310)은 텔레메트리 송신기, 비디오 송신기, LTE 송수신기, WIFI 송수신기, RC 수신기 중 적어도 어느 하나를 이용하여 원격 조종기(1)와 통신한다.
제어모듈(320)은 제공받은 동력을 이용해 식생 예찰 장치의 비행을 제어한다. 제어모듈(320)은 비행제어기, 센서융합기 및 각종 센서를 포함한다. 여기서, 각종 센서는 3축 자이로스코프, 3축 가속도센서, 3축 지자기센서, GPS 수신기 및 기압센서를 포함할 수 있다.
촬영부(400)는 RGB 센서가 구비된 제1 카메라(410), 열 화상 센서가 구비된 제2 카메라(420) 및 다중 분광 (Multi-spectral) 센서가 구비된 제3 카메라(430)를 포함한다. 촬영부(400)는 식생 예찰 장치가 구동부(300)에 의해 예찰 구역의 상공으로 비행하면 제1 카메라(410), 제2 카메라(420) 및 제3 카메라(430)를 이용해 예찰 구역에 대한 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 획득한다. 본 실시예에서 드론에 의해 촬영된 영상 데이터들은 이미지 데이터를 포함한다.
분석서버는 촬영부(400)는 촬영된 예찰 구역의 영상 데이터들, 즉 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 제공 받고, 이를 분석하여 예찰 구역의 특이점을 파악한다.
분석부(500)는 탐지모듈(510)(object finder) 및 판별모듈(520)(identifier)을 포함한다.
탐지모듈(510)은 제공 받은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 미리 설정된 순서로 분석하여 예찰 구역에 대한 이상 식생의 객체(object of abnormal vegetation)를 탐지한다.
본 실시예에서, 탐지모듈(510)은 예찰 구역의 종류에 따라 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터의 분석 순서를 다르게 변경할 수 있다. 예를 들면, 예찰 구역이 잔디의 비중이 높은 골프장의 경우에 탐지모듈(510)은 디봇의 판별을 위해 RGB 영상 데이터를 우선적으로 분석할 수 있으며, 나무의 비중이 높은 공원의 경우에 탐지모듈(510)은 나방과 같은 병충해의 판별을 위해 열 영상 데이터를 우선적으로 분석할 수 있다.
본 실시예에서 탐지모듈(510)은 객체 탐지 알고리즘을 통해 이상 식생의 객체를 탐지할 수 있다. 예를 들면, 탐지모듈(510)은 객체 탐지 알고리즘으로 영상 분석 알고리즘을 사용할 수 있다. 탐지모듈(510)은 영상 분석 알고리즘을 통해 데이터를 병렬처리, 기본 데이터 프리셋 사용, 일반 사물 및 열화상/다분광 등 특정 현상을 추적 또는 분석 가능하다.
탐지모듈(510)에서 탐지하는 이상 식생의 객체는 이상 상태가 탐지된 예찰 구역의 일부 구역일 수 있다. 예를 들어, 이상 식생의 객체는 예찰 구역을 복수의 구역으로 구획하고, 구획된 구역 중 이상 상태가 탐지된 특정 구역일 수 있다.
상기에서 탐지모듈(510)은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 미리 설정된 순서로 분석하여 예찰 구역에 대한 이상 식생의 객체를 탐지한다고 설명하였으나, 탐지모듈(510)은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 하나의 이미지 데이터로 합성한 뒤 이를 분석하여 예찰 구역의 이상 식생의 객체를 탐지하는 것도 가능하다. 또한, 탐지모듈(510)은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터(즉, 영상의 이미지 데이터)를 레이어링(layering)하여 3차원에 중첩시키고 이를 분석하여 예찰 구역의 이상 식생의 객체를 탐지할 수도 있다.
판별모듈(520)은 탐지모듈(510)에서 분석된 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하고, 비교한 결과에 따라 예찰 구역의 이상 상태의 종류를 판별한다.
예컨대, 판별모듈(520)은 이상 식생의 객체에 대한 이미지를 데이터베이스에 기 저장된 데이터에 맵핑하여 비교함으로써 예찰 구역의 이상 상태의 종류를 판별할 수 있다. 판별모듈(520) 탐지모듈(510)과 마찬가지로 영상 분석 알고리즘을 사용할 수 있다
판별모듈(520)에서 판별하는 이상 상태의 종류는 디봇, 병충해, 배수 불량, 이종 잔디 침범, 야생동물의 침범 중 어느 하나를 포함한다.
예를 들어, 판별모듈(520)은 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 디봇 구역, 병충해 구역, 배수가 불량한 구역, 침수 구역, 러프 잔디가 페어웨이 잔디를 침범한 구역, 제1 종류의 잔디(양잔디)가 제2 종류의 잔디(조선잔디)를 침범한 구역, 야생동물에 의해 파헤쳐진 구역, 모래 정리가 불량한 벙커 구역 등에 대한 이상 상태 종류를 구체적으로 판별할 수 있다.
그리고 판별모듈(520)에서 판별된 이상 상태의 종류에 대한 데이터는 다시 식생 데이터베이스에 저장되고, 이후에 분석된 이상 식생의 객체에 대한 이미지와 다시 비교될 데이터로 사용될 수 있다. 또한, 판별된 이상 상태의 종류에 대한 데이터는 이상 상태 종류를 판별하는 학습 모델링으로 생성될 수도 있다.
분석부(500)는 판별된 이상 상태의 종류에 대한 데이터를 식생 데이터베이스에 저장하고 이를 기초로 머신 러닝하여 이상 상태 종류에 대한 판별력을 높일 수 있다.
한편, 탐지모듈(510)은 미리 설정된 순서에 따라 예찰 구역의 이상 식생의 객체를 탐지하는 중에 어느 하나의 영상 데이터에서 이상 상태의 종류가 판별되면 나머지 영상 데이터에 대해서는 이상 식생의 객체탐지를 중지할 수 있다.
예를 들어, 탐지모듈(510)은 미리 설정된 순서(즉, 영상 데이터들을 분석하는 순서)가 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터 순서라고 가정하면, 탐지모듈(510)은 RGB 영상 데이터를 먼저 분석한뒤 이에 대한 이상 식생 데이터를 판별모듈(520)로 전달한다.
그리고 탐지모듈(510)은 다음 영상 데이터 즉, 열 영상 데이터 및 다중 분광 영상 데이터를 순차적으로 분석하게 되지만, 열 영상 데이터 및 다중 분광 영상 데이터를 순차적으로 분석하는 도중에 판별모듈(520)에서 열 영상 데이터를 분석한 이상 식생 객체에 대하여 이상 상태의 종류를 판별하면 탐지모듈(510)은 열 영상 데이터 및 다중 분광 영상 데이터를 분석하는 동작을 중지할 수 있다. 즉, 탐지모듈(510)은 다른 영상 데이터에 적용된 객체 탐지 알고리즘을 중지하거나 또는 객체 탐지 알고리즘이 적용될 다른 영상 데이터에 객체 탐지 알고리즘을 적용하지 않는다.
한편, 분석부(500)는 상기 이상 식생 객체를 상기 데이터베이스와 비교할 때, 미리 설정된 변화율에 따라 이상 상태의 정도를 판별한다. 그리고 분석부(500)는 이상 상태 종류에 따라 이상 상태가 최초 발생된 시점을 기준으로 특정 변화율에 도달하는 기간을 분석한다.
분석부(500)는 미리 설정된 변화율에 따라 식생의 이상 상태 정도를 판별하고, 이상 상태가 발생된 시점부터 특정 변화율에 도달하는 기간을 분석하여 이상 상태 종류에 따라 대처 기간을 예측 및 설정할 수 있다.
[제3 실시예]
이하 본 발명의 제3 실시예에 따른 드론을 이용한 식생 예찰 방법에 대하여 도 4를 참조하여 상세히 설명한다.
도 4는 본 발명의 제3 실시예에 따른 드론을 이용한 식생 예찰 방법을 예시한 흐름도이다.
도 4를 참조하면 본 발명의 제3 실시예에 따른 식생 예찰 방법은 RGB 영상, 열 영상 및 다중 분광 영상을 입력 받는 단계(S100), 이상 식생의 객체를 탐지하는 단계(S200) 및 이상 상태의 종류를 판별하는 단계(S300)를 포함한다.
RGB 영상, 열 영상 및 다중 분광 영상을 입력 받는 단계(S100)는 데이터 입력 모듈이 촬영체(미도시)로부터 예찰 구역을 상공에서 촬영한 영상 데이터를 전송받는다. 여기서 촬영체는 예찰 구역을 상공에서 촬영할 수 있는 비행체일 수 있으며 무인 비행체(드론), 유인 비행체, 위성, 열기구를 포함할 수 있다. 뿐만 아니라, 촬영체는 예찰 구역의 특정 위치에서 지면으로부터 높게 설치된 cctv 등을 포함할 수 있다.
촬영체는 복수의 카메라를 통해 예찰 구역의 RGB 영상, 열 영상 및 다중 분광 영상을 촬영한다. 예를 들면, 촬영체는 제1 카메라를 통해 예찰 구역을 항공 촬영하여 예찰 구역에 대한 RGB 영상 데이터를 획득하고, 제2 카메라를 통해 예찰 구역에 대한 열 영상 데이터를 획득한다. 그리고 촬영체는 제3 카메라를 통해 예찰 구역에 대한 다중 분광 영상 데이터를 획득한다. 본 실시예에서 드론에 의해 촬영된 영상 데이터들은 이미지 데이터를 포함한다.
데이터 입력 모듈은 촬영체로부터 촬영된 영상들에 대한 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 별도의 장치(예를 들어, 이동식 기억 장치(Universal Serial Bus)를 이용해 제공 받거나 또는 무선 이동망(예를 들어 아카이브, 클라우드 서버 등)을 통해 제공받을 수 있다. 또한, 데이터 입력 모듈은 근거리 통신망을 통해서도 촬영체체로부터 영상 데이터들을 제공받을 수 있다.
예컨대, 촬영체와 데이터 입력 모듈이 무선이동망을 통해 영상 데이터들을 송수신 한다면, 촬영체 및 데이터 입력 모듈은 영상 데이터들을 아카이브(예를 들어, 클라우드 서버)로 업로드 또는 다운로드 하기 위한 통신 모듈을 별도로 구비할 수 있으며, 촬영체와 데이터 입력 모듈은 실시간으로 데이터를 송수신할 수 있다.
본 실시예에서 데이터 입력 모듈이 촬영체으로부터 영상 데이터들을 제공받는 방식은 이동식 기억장치, 무선 이동통신망 또는 근거리 통신망을 예를 들어 설명하였지만 이외에도 어떠한 방식으로 영상 데이터들을 제공받아도 무방하다.
본 실시예에서 예찰 구역은 산림일 수 있다.
이상 식생의 객체(object of abnormal vegetation)를 탐지하는 단계(S200)는 탐지모듈이 미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상의 데이터에 객체 탐지 알고리즘을 적용하여 이상 식생의 객체를 탐지한다.
이상 식생의 객체를 탐지하는 단계(S200)에서 탐지모듈은 예찰 구역의 종류에 따라 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터의 분석 순서를 다르게 변경할 수 있다. 예를 들면, 이상 식생의 객체를 탐지하는 단계(S200)의 탐지모듈은 조난자를 탐지할 때 조난자의 용이한 판별을 위해 열 영상 데이터를 우선적으로 분석할 수 있다. 그리고 탐지모듈은 산사태를 탐지할 때 RGB 영상 데이터를 우선적으로 분석할 수 있다.
탐지모듈은 객체 탐지 알고리즘으로 영상 분석 알고리즘을 사용할 수 있다. 탐지모듈은 영상 분석 알고리즘을 통해 데이터를 병렬처리, 기본 데이터 프리셋 사용, 일반 사물 및 열화상/다분광 등 특정 현상을 추적 또는 분석 가능하다.
탐지모듈에서 탐지하는 이상 식생의 객체는 이상 상태가 탐지된 예찰 구역의 일부 구역일 수 있다. 예를 들어, 이상 식생의 객체는 예찰 구역을 복수의 구역으로 구획하고, 구획된 구역 중 이상 상태가 탐지된 특정 구역일 수 있다.
상기에서 탐지모듈은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 미리 설정된 순서로 분석하여 예찰 구역에 대한 이상 식생의 객체를 탐지한다고 설명하였으나, 탐지모듈은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터를 하나의 이미지 데이터로 합성한 뒤 이를 분석하여 예찰 구역의 이상 식생의 객체를 탐지하는 것도 가능하다. 또한, 탐지모듈은 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터(즉, 영상의 이미지 데이터)를 레이어링(layering)하여 3차원에 중첩시키고 이를 분석하여 예찰 구역의 이상 식생의 객체를 탐지할 수도 있다.
이상 상태의 종류를 판별하는 단계(S300)는 판별모듈이 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 판별한다.
판별모듈은 탐지모듈에서 분석된 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하고, 비교한 결과에 따라 예찰 구역의 이상 상태의 종류를 판별한다.
예컨대, 판별모듈은 이상 식생의 객체에 대한 이미지를 데이터베이스에 기 저장된 데이터에 맵핑하여 비교함으로써 예찰 구역의 이상 상태의 종류를 판별할 수 있다. 판별모듈 탐지모듈과 마찬가지로 영상 분석 알고리즘을 사용할 수 있다
판별모듈에서 판별하는 이상 상태의 종류는 병충해, 산불, 무단점유, 과도 밀집, 산사태, 조난자 중 어느 하나를 포함한다.
예를 들어, 판별모듈은 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 병충해, 산불, 무단점유, 과도 밀집, 산사태, 조난자 등을 구체적으로 판별할 수 있다.
그리고 판별모듈에서 판별된 이상 상태의 종류에 대한 데이터는 다시 식생 데이터베이스에 저장되고, 이후에 분석된 이상 식생의 객체에 대한 이미지와 다시 비교될 데이터로 사용될 수 있다. 또한, 판별된 이상 상태의 종류에 대한 데이터는 이상 상태 종류를 판별하는 학습 모델링으로 생성될 수도 있다.
한편, 이상 상태의 종류를 판별하는 단계(S300)에서 탐지모듈은 미리 설정된 순서에 따라 예찰 구역의 이상 식생의 객체를 탐지하는 중에 어느 하나의 영상 데이터에서 이상 상태의 종류가 판별되면 나머지 영상 데이터에 대해서는 이상 식생의 객체탐지를 중지할 수 있다.
예를 들어, 탐지모듈은 미리 설정된 순서(즉, 영상 데이터들을 분석하는 순서)가 RGB 영상 데이터, 열 영상 데이터 및 다중 분광 영상 데이터 순서라고 가정하면, 탐지모듈은 RGB 영상 데이터를 먼저 분석한뒤 이에 대한 이상 식생 데이터를 판별모듈로 전달한다.
그리고 탐지모듈은 다음 영상 데이터 즉, 열 영상 데이터 및 다중 분광 영상 데이터를 순차적으로 분석하게 되지만, 열 영상 데이터 및 다중 분광 영상 데이터를 순차적으로 분석하는 도중에 판별모듈에서 열 영상 데이터를 분석한 이상 식생 객체에 대하여 이상 상태의 종류를 판별하면 탐지모듈은 열 영상 데이터 및 다중 분광 영상 데이터를 분석하는 동작을 중지할 수 있다. 즉, 탐지모듈은 다른 영상 데이터에 적용된 객체 탐지 알고리즘을 중지하거나 또는 객체 탐지 알고리즘이 적용될 다른 영상 데이터에 객체 탐지 알고리즘을 적용하지 않는다.
한편, 이상 상태 종류를 판별하는 단계(S300)의 판별모듈은 이상 식생 객체를 상기 데이터베이스와 비교할 때, 미리 설정된 변화율에 따라 이상 상태의 정도를 판별한다. 그리고 판별모듈은 이상 상태 종류에 따라 이상 상태가 최초 발생된 시점을 기준으로 특정 변화율에 도달하는 기간을 분석한다.
판별모듈은 미리 설정된 변화율에 따라 식생의 이상 상태 정도를 판별하고, 이상 상태가 발생된 시점부터 특정 변화율에 도달하는 기간을 분석하여 이상 상태 종류에 따라 대처 기간을 예측 및 설정할 수 있다.
이상에서 설명한 본 발명의 전체 또는 부분적 기능들은 일련의 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 기계어로 번역한 소프트웨어로 구현되거나, 그러한 소프트웨어가 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수 있음을 당업자가 쉽게 이해할 수 있을 것이다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 외에도, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한 이상에서는 본 발명에 관한 몇 가지 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 드론
110: 제1 카메라
120: 제2 카메라
130: 제3 카메라
200: 분석서버
210: 탐지모듈
220: 판별모듈

Claims (18)

  1. 예찰 구역의 RGB 영상을 촬영하는 제1 카메라, 상기 예찰 구역의 열 영상을 촬영하는 제2 카메라, 상기 예찰 구역의 다중 분광 영상을 촬영하는 제3 카메라를 포함하는 드론; 및
    미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상을 분석하여 이상 식생의 객체(object of abnormal vegetation)를 찾는 탐지모듈(object finder)과, 탐지된 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 알아내는 판별모듈(identifier)을 포함하는 분석서버
    를 포함하는 드론을 이용한 식생 예찰 시스템.
  2. 제1항에 있어서,
    상기 분석서버의 탐지모듈은,
    예찰 구역의 종류에 따라 미리 설정된 영상 순서에 의해 상기 객체 탐지 알고리즘을 적용하는
    드론을 이용한 식생 예찰 시스템.
  3. 제1항에 있어서,
    상기 분석서버의 탐지모듈은,
    상기 미리 설정된 순서에 따라 상기 이상 식생의 객체 탐지를 진행하는 중에, 어느 일 영상에서 탐지된 객체에 대하여 이상 상태의 종류가 판별되면, 나머지 영상에 대하여는 객체 탐지 알고리즘을 적용하지 않는
    드론을 이용한 식생 예찰 시스템.
  4. 제1항에 있어서
    상기 분석서버는,
    상기 이상 식생 객체를 상기 데이터베이스와 비교할 때 미리 설정된 변화율에 따라 이상 상태의 정도를 판별하고, 상기 이상 상태 종류에 따라 상기 이상 상태가 최초 발생된 시점으로부터 특정 변화율에 도달하는 기간을 분석하는 드론을 이용한 식생 예찰 시스템.
  5. 제1항에 있어서,
    상기 예찰 구역은 골프장이며, 상기 식생의 이상 상태는, 디봇, 병충해, 배수 불량, 이종 잔디 침범, 야생동물의 침범 중 어느 하나인
    드론을 이용한 식생 예찰 시스템.
  6. 제1항에 있어서,
    상기 드론은, 상기 RGB 영상, 열 영상 및 다중 분광 영상을 무선망을 통해 가상 아카이브에 업로드하기 위한 통신 모듈을 더 포함하는
    드론을 이용한 식생 예찰 시스템.
  7. 예찰 구역을 비행으로 이동하기 위한 구동부;
    상기 예찰 구역의 RGB 영상을 촬영하는 제1 카메라, 상기 예찰 구역의 열 영상을 촬영하는 제2 카메라, 및 상기 예찰 구역의 다중 분광 영상을 촬영하는 제3 카메라를 포함하는 촬영부; 및
    미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상을 분석하여 이상 식생의 객체(object of abnormal vegetation)를 찾는 탐지모듈(object finder)과, 탐지된 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 알아내는 판별모듈(identifier)을 포함하는 분석부
    를 포함하는 식생 예찰 장치.
  8. 제7항에 있어서,
    상기 분석부의 탐지모듈은,
    예찰 구역의 종류에 따라 미리 설정된 영상 순서에 의해 상기 객체 탐지 알고리즘을 적용하는
    식생 예찰 장치.
  9. 제7항에 있어서,
    상기 분석부의 탐지모듈은,
    상기 미리 설정된 순서에 따라 상기 이상 식생의 객체 탐지를 진행하는 중에, 어느 일 영상에서 탐지된 객체에 대하여 이상 상태의 종류가 판별되면, 나머지 영상에 대하여는 객체 탐지 알고리즘을 적용하지 않는 식생 예찰 장치.
  10. 제7항에 있어서,
    상기 분석부는,
    상기 이상 식생 객체를 상기 데이터베이스와 비교할 때 미리 설정된 변화율에 따라 이상 상태의 정도를 판별하고, 상기 이상 상태 종류에 따라 상기 이상 상태가 최초 발생된 시점으로부터 특정 변화율에 도달하는 기간을 분석하는
    식생 예찰 장치.
  11. 제7항에 있어서,
    상기 예찰 구역은 골프장이며, 상기 식생의 이상 상태는, 디봇, 병충해, 배수 불량, 이종 잔디 침범, 야생동물의 침범 중 어느 하나인
    식생 예찰 장치.
  12. 제7항에 있어서,
    상기 RGB 영상, 열 영상 및 다중 분광 영상을 무선망을 통해 가상 아카이브에 업로드하기 위한 통신 모듈을 더 포함하는 식생 예찰 장치.
  13. 데이터 입력 모듈이 예찰 구역의 RGB 영상, 열 영상 및 다중 분광 영상을 입력 받는 단계;
    탐지모듈이 미리 설정된 순서로 상기 RGB 영상, 열 영상 및 다중 분광 영상에 객체 탐지 알고리즘을 적용하여 이상 식생의 객체(object of abnormal vegetation)를 탐지하는 단계; 및
    판별모듈이 상기 이상 식생의 객체에 대한 이미지를 식생 데이터베이스와 비교하여 이상 상태의 종류를 판별하는 단계
    를 포함하는 식생 예찰 방법.
  14. 제13항에 있어서,
    상기 객체 탐지 알고리즘의 적용 순서는 예찰 구역의 종류에 따라 미리 설정되는
    식생 예찰 방법.
  15. 제13항에 있어서,
    상기 이상 식생의 객체를 탐지하는 단계는,
    상기 미리 설정된 순서에 따라 상기 이상 식생의 객체 탐지를 진행하는 중에, 상기 이상 상태의 종류를 판별하는 단계에서 어느 일 영상에서 탐지된 객체에 대하여 이상 상태의 종류가 판별되면, 나머지 영상에 대하여는 객체 탐지 알고리즘을 적용하지 않는
    식생 예찰 방법.
  16. 제13항에 있어서,
    상기 이상 상태의 종류를 판별하는 단계는,
    상기 이상 식생 객체를 상기 데이터베이스와 비교할 때 미리 설정된 변화율에 따라 이상 상태의 정도를 판별하고, 상기 이상 상태 종류에 따라 상기 이상 상태가 최초 발생된 시점으로부터 특정 변화율에 도달하는 기간을 분석하는
    식생 예찰 방법.
  17. 제13항에 있어서,
    상기 예찰 구역은 골프장이며,
    상기 식생의 이상 상태는, 디봇, 병충해, 배수 불량, 이종 잔디 침범 중 어느 하나인 식생 예찰 방법.
  18. 제13항에 있어서,
    상기 예찰 구역은 산림이며,
    상기 식생의 이상 상태는, 병충해, 산불, 무단점유, 과도 밀집, 산사태, 조난자 중 어느 하나인 식생 예찰 방법.
KR1020200100277A 2020-05-20 2020-08-11 드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법 KR20210143627A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200060368 2020-05-20
KR20200060368 2020-05-20

Publications (1)

Publication Number Publication Date
KR20210143627A true KR20210143627A (ko) 2021-11-29

Family

ID=78698104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200100277A KR20210143627A (ko) 2020-05-20 2020-08-11 드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법

Country Status (1)

Country Link
KR (1) KR20210143627A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516100B1 (ko) * 2021-12-06 2023-03-31 대한민국 이미지 분석을 통해 작물의 병해를 진단하는 병해진단 모니터링 장치 및 그 동작방법
CN116310912A (zh) * 2023-03-29 2023-06-23 苏州科技大学 基于无人机技术的植物群落结构观测装置和观测方法
CN117516627A (zh) * 2023-11-10 2024-02-06 鄄城县自然资源和规划局 一种基于无人机数据的区域植被状态监测系统
CN117612047A (zh) * 2024-01-23 2024-02-27 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法
CN118134118A (zh) * 2024-05-07 2024-06-04 杨凌职业技术学院 一种林业有害生物信息化综合管理系统及方法
EP4398198A1 (en) * 2023-01-05 2024-07-10 Kubota Corporation Mobile camera system to autonomously obtain and process images to predict grape quality

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516100B1 (ko) * 2021-12-06 2023-03-31 대한민국 이미지 분석을 통해 작물의 병해를 진단하는 병해진단 모니터링 장치 및 그 동작방법
EP4398198A1 (en) * 2023-01-05 2024-07-10 Kubota Corporation Mobile camera system to autonomously obtain and process images to predict grape quality
CN116310912A (zh) * 2023-03-29 2023-06-23 苏州科技大学 基于无人机技术的植物群落结构观测装置和观测方法
CN117516627A (zh) * 2023-11-10 2024-02-06 鄄城县自然资源和规划局 一种基于无人机数据的区域植被状态监测系统
CN117516627B (zh) * 2023-11-10 2024-05-07 鄄城县自然资源和规划局 一种基于无人机数据的区域植被状态监测系统
CN117612047A (zh) * 2024-01-23 2024-02-27 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法
CN117612047B (zh) * 2024-01-23 2024-04-12 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法
CN118134118A (zh) * 2024-05-07 2024-06-04 杨凌职业技术学院 一种林业有害生物信息化综合管理系统及方法

Similar Documents

Publication Publication Date Title
KR20210143627A (ko) 드론을 이용한 식생 예찰 시스템, 식생 예찰 장치 및 식생 예찰 방법
US11651478B2 (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
EP3374928B1 (en) A method for aerial imagery acquisition and analysis
EP3697686B1 (en) Unmanned aerial vehicle for agricultural field assessment
US20180348760A1 (en) Automatic Change Detection System
JP2016208065A (ja) 動物個体数調査システム
Yang et al. Low-cost single-camera imaging system for aerial applicators
Gonzalez et al. Advances in unmanned aerial systems and payload technologies for precision agriculture
Coulter et al. Automated detection of people and vehicles in natural environments using high temporal resolution airborne remote sensing
Rahman et al. An experimental approach to exploring the feasibility of unmanned aerial vehicle and thermal imaging in terrestrial and arboreal mammals research
Yuba et al. Counting of Pennisetum alopecuroides at heading stage in a grazed pasture using images from an unmanned aerial vehicle
Mirka et al. Evaluation of thermal infrared imaging from uninhabited aerial vehicles for arboreal wildlife surveillance
Helvey et al. Duck nest detection through remote sensing
Wescott et al. Unmanned aerial systems for the search and documentation of clandestine human remains
Yang Remote sensing technologies for crop disease and pest detection
Mulero-Pázmány Unmanned aerial systems in conservation biology
McMahon Applying unmanned aerial systems (UAS) and thermal infrared technology for the detection and surveying of wild ungulates
Rathinakumar et al. Designing a Quadcopter for Fire and Temperature Detection with an Infrared Camera and PIR Sensor
Ahmed Using unmanned aircraft systems to identify invasive species
Delparte et al. sUAS for Wildlife Conservation–Assessing Habitat Quality of the Endangered Black-Footed Ferret
Bodó et al. Remote Sensing Payload Development for High Altitude Balloons
Gabbert et al. System Development for Wildfire SUAS.
Howell The Benefits and Applications of Unmanned Aerial Systems (UAS) to Natural Resources & Forest Management.
Chaudhary et al. Introduction to Drone Technology for Natural Resource Management in Agriculture
KR20240077141A (ko) 드론을 이용한 영상분석장치 및 그 영상분석방법

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision