KR102133898B1 - 농업 방재용 자율 비행 시스템 및 방법 - Google Patents

농업 방재용 자율 비행 시스템 및 방법 Download PDF

Info

Publication number
KR102133898B1
KR102133898B1 KR1020180149999A KR20180149999A KR102133898B1 KR 102133898 B1 KR102133898 B1 KR 102133898B1 KR 1020180149999 A KR1020180149999 A KR 1020180149999A KR 20180149999 A KR20180149999 A KR 20180149999A KR 102133898 B1 KR102133898 B1 KR 102133898B1
Authority
KR
South Korea
Prior art keywords
control
area
boundary
obstacle
flight
Prior art date
Application number
KR1020180149999A
Other languages
English (en)
Other versions
KR20200063826A (ko
Inventor
허철균
이성열
조윤성
Original Assignee
(주)메타파스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)메타파스 filed Critical (주)메타파스
Priority to KR1020180149999A priority Critical patent/KR102133898B1/ko
Publication of KR20200063826A publication Critical patent/KR20200063826A/ko
Application granted granted Critical
Publication of KR102133898B1 publication Critical patent/KR102133898B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B64C2201/12—
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 무인 비행체에 구비된 복수의 GPS 모듈과 카메라를 통하여 자동으로 정확한 방제 구역을 설정하고 해당 방제 구역에 대한 방제경로를 수립하여 방제 비행을 수행할 수 있도록 한 농업 방재용 자율 비행 시스템 및 방법에 관한 것으로, 무인 비행체에 구성된 카메라를 통해서 자동으로 상승하면서 비행 대상지역을 촬영하여 방제대상 경계를 확인하고, 해당 경계로 정의되는 방제 영역에 대한 방제 경로를 자동으로 생성함과 아울러, NDVI(Normalised Difference Vegetation Index) 카메라를 통해 얻은 방제 영역의 식생 상태를 기준으로 방제 종류를 달리할 구역을 정한 후 방제 경로에 자동으로 반영하도록 하여 전문적인 지식이나 사전 경계영역설정 과정이 없어도 자동으로 경로를 생성하면서 농업 방제에 최적화된 방제를 자동 수행할 수 있는 효과가 있다.

Description

농업 방재용 자율 비행 시스템 및 방법{Autonomous flight system for agricultural disease control and method thereof}
본 발명은 농업 방재용 자율 비행 시스템 및 방법에 관한 것으로, 특히 무인 비행체에 구비된 복수의 GPS 모듈과 카메라를 통하여 자동으로 정확한 방제 구역을 설정하고 해당 방제 구역에 대한 방제 경로를 수립하여 방제 비행을 수행할 수 있도록 한 농업 방재용 자율 비행 시스템 및 방법에 관한 것이다.
방제 분야에서 무인 비행체를 사용하여 넓은 지역에 대해서 효율적인 방제 기능을 수행하고 있다.
이러한 무인 비행체는 사람이 모니터링 시스템을 통해 무인 비행체의 비행 상태 등을 확인하면서, 해당 무인 비행체에 대한 원격으로 조종하고 있어, 조종 실수에 따른 사고가 증가하고 있는 상태이다.
따라서, 방제 영역에 대응되는 방제 비행 경로를 기준으로 자동 비행하면서 방제를 수행하도록 하는 자동 운전 방식에 대한 관심이 높은 상황이다. 하지만, 이러한 자동 비행 방제의 경우 정확한 좌표에 따른 비행 경로 설정이 필요하므로 우선적으로 방제할 영역에 대한 좌표 확인이 요구된다.
즉, 정확한 방제 구역에 대한 위경도 좌표가 존재해야 방제 영역을 지정하고 그에 따른 경로를 연산하며 이를 기준으로 자동 비행을 수행할 수 있으므로 방제 구역에 대한 GIS(Geographic Information System) 정보(정밀 전자 지도 등)나 실측이 필요하여 실제 방제를 수행하기 전에 전문가의 사전 작업이 필수적이다. 따라서 실제 사용자(농민)가 이를 직접 수행하기 어렵고 사전 준비에 많은 시간이 소요되므로 즉각적인 활용이 쉽지 않은 실정이다.
한국등록특허 제10-1594313호 [명칭: 무인항공 방제용 멀티콥터 시스템]
본 발명의 실시예의 목적은 무인 비행체에 구성된 카메라를 통해서 자동으로 상승하면서 비행 대상지역을 촬영하여 방제대상 영역의 경계를 확인하고, 해당 경계로 정의되는 방제 영역에 대한 방제 경로를 자동으로 생성함과 아울러, NDVI(Normalised Difference Vegetation Index) 카메라를 통해 얻은 방제 영역의 식생 상태를 기준으로 방제 종류를 달리할 구역을 정한 후 방제 경로에 자동으로 반영하도록 한 농업 방재용 자율 비행 시스템 및 방법을 제공하는 것이다.
본 발명 다른 실시예의 목적은 무인 비행체가 방제 영역에 대한 방제작업을 수행하는 중에 비행 방향에 대한 장애물을 탐지하여 이를 자동으로 회피하거나 관리자에게 알리고 복귀하는 등 장애물에 대한 피해를 자동으로 회피할 수 있도록 한 농업 방재용 자율 비행 시스템 및 방법을 제공하는 것이다.
본 발명의 실시예에 따른 농업 방재용 자율 비행 방법은 방제와 비행을 위한 구성 및 복수의 카메라를 포함하는 무인 비행체를 이용한 농업 방재용 자율 비행 방법으로서, 무인 비행체가 방제 대상 영역에서 상승하면서 구비된 가시광 카메라를 통해 직하 영상을 촬영하고 해당 영상에서 방제 대상 영역의 경계를 추출하는 준비 단계와; 상기 준비 단계를 통해 촬영 영상에서 방제 대상 영역의 전체 경계가 추출되면 방제 영역에 대한 좌표를 산출하고, 자동 방제 경로를 생성하는 경로 생성 단계와; 무인 비행체가 구비된 NDVI(Normalised Difference Vegetation Index) 카메라를 통해 방제 대상 영역을 촬영하여 이상 영역을 구분하고 상기 경로 생성 단계에서 생성된 자동 방제 경로에 구분된 이상 영역에 대한 정보를 추가하는 단계와; 무인 비행체가 상기 생성된 자동 방제 경로를 따라 이동하면서 방제를 수행하되, 상기 추가된 이상 영역의 경우 일반 영역과 달리 설정된 방제 방식으로 전환하는 자동 방제 단계를 포함한다.
일례로서, 자동 방제 단계는 무인 비행체가 구비된 장애물 탐지부를 통해서 이동 방향에 대한 장애물을 탐지하고 장애물 발견시 회피하거나 정지 혹은 복귀하는 단계를 더 포함할 수 있다.
일례로서, 경로 생성 단계는 무인 비행체가 추출된 방제 대상 영역의 경계에 대한 정보를 구비된 통신부를 통해서 사용자 단말에 전송하고 사용자 단말로부터 수신되는 확인 정보나 수정 정보를 토대로 경로 추출을 완료하거나 변경하는 단계를 포함할 수 있다.
일례로서, 자동 방제 단계는 이상 영역에서 방제 약품을 교체하거나 방제량을 달리하거나 비행 패턴을 달리하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 농업 방재용 자율 비행 시스템은 방제와 비행을 위한 구성이 마련된 본체와; 현재 좌표를 산출하는 위치 측위부와; 가시광 영상을 획득하기 위한 제 1 촬영부와; NDVI 영상을 획득하기 위한 제 2 촬영부와; 상기 본체를 제어하여 방제 대상 영역에서 상승하면서 구비된 제 1 촬영부를 통해 직하 영상을 촬영하여 방제 대상 영역의 전체 경계를 추출하고, 추출된 방제 영역에 대한 좌표를 산출한 후 자동 방제 경로를 생성하며, 제 2 촬영부를 통해 얻은 NDVI 영상을 기반으로 이상 영역을 구분하여 생성된 자동 방제 경로에 이상 영역에 대한 정보를 추가는 제어부를 포함하되, 상기 제어부는 본체를 제어하여 상기 생성된 자동 방제 경로를 따라 이동하면서 방제를 수행하며 상기 추가된 이상 영역의 경우 일반 영역과 달리 설정된 방제 방식으로 전환한다.
본 발명의 실시예에 따른 농업 방재용 자율 비행 시스템 및 방법은 무인 비행체에 구성된 카메라를 통해서 자동으로 상승하면서 비행 대상지역을 촬영하여 방제대상 경계를 확인하고, 해당 경계로 정의되는 방제 영역에 대한 방제 경로를 자동으로 생성함과 아울러, NDVI(Normalised Difference Vegetation Index) 카메라를 통해 얻은 방제 영역의 식생 상태를 기준으로 방제 종류를 달리할 구역을 정한 후 방제 경로에 자동으로 반영하도록 하여 전문적인 지식이나 사전 경계영역설정 과정이 없어도 자동으로 경로를 생성하면서 농업 방제에 최적화된 방제를 자동 수행할 수 있는 효과가 있다.
본 발명의 실시예에 따른 농업 방재용 자율 비행 시스템 및 방법은 무인 비행체가 방제 영역에 대한 방제작업을 수행하는 중에 비행 방향에 대한 장애물을 탐지하여 이를 자동으로 회피하거나 관리자에게 알리고 복귀하는 등 장애물에 대한 피해를 자동으로 회피할 수 있도록 함으로써 별도의 관리자 관리 없이 전자동으로 동작함에도 장애물 충돌을 피해 신뢰성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 농업 방재용 자율 비행 방식을 설명하기 위한 개념도.
도 2는 본 발명의 실시예에 따른 무인 비행체의 구성도.
도 3은 본 발명의 실시예에 따른 자동 경로 생성 방법을 설명하기 위한 예시도.
도 4는 본 발명의 실시예에 따른 자동 경계 검출 과정을 보인 예시도.
도 5는 본 발명의 실시예에 따른 NVDI 영상을 보인 예시도.
도 6은 본 발명의 실시예에 따른 무인 비행체의 충돌 회피 방식을 설명하기 위한 예시도.
도 7은 본 발명의 실시예에 따른 동작 과정을 설명하는 순서도.
도 8은 본 발명의 실시예에 따른 NVDI 영상 분석 반영 방식을 설명하는 순서도.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 농업 방재용 자율 비행 방식을 설명하기 위한 개념도이다.
도시된 바와 같이 본 발명의 실시예에 따른 무인 비행체(100)는 내부적으로 방제를 위하여 약제를 탑재하고 이를 살포할 수 있는 방제 수단과 비행을 할 수 있는 비행 수단을 구비함과 아울러 카메라를 통해서 지상의 영상을 촬영하여 해당 영상의 경계를 검출하는 방식으로 방제 대상 영역의 경계를 자동 검출한 후 방제 경로를 스스로 최적화하여 산출할 수 있다. 이후 이렇게 산출된 방제 경로를 따라 자동으로 설정된 약제 살포 등의 방제 과정을 수행할 수 있다.
이러한 과정에서 이루어지는 영역의 경계 검출 상태나 자동 방제 경로 생성 결과 등은 무인 비행체(100)가 구비한 통신부를 통해서 사용자 단말(10)이나 관리자 단말(미도시) 등에 제공될 수 있고, 필요에 따라 그 내용을 수정하거나 확인해 줄 수 있다.
도 2는 본 발명의 실시예에 따른 무인 비행체(100)의 구성도로서, 도시된 바와 같이 방제와 비행을 위한 구성이 마련된 본체(100)와, 현재 좌표를 산출하는 위치 측위부(120)와, 가시광 영상을 획득하기 위한 제 1 촬영부(150)와, NDVI(Normalised Difference Vegetation Index) 영상을 획득하기 위한 제 2 촬영부(160)와, 사용자 단말이나 관리자 단말과 통신하여 정보를 주고받는 통신부(130)와, 각종 방제 설정이나 위치 관련 정보, 비행과 제어 방식(이하 제어부의 제어 과정을 수행하도록 하는 소프트웨어 등)에 대한 정보, 영상 정보 등을 저장하는 저장부(170)와, 위치 측위부(120)를 통해 얻은 위치 정보와 저장부(170)의 저장 정보를 기반으로 본체(110)와 촬영부들(150, 160)을 제어하고 통신부(130)를 통해 사용자 단말이나 관리자 단말과 제어 정보 및 영상 정보를 주고받는 제어부(140)를 포함한다.
여기서 위치 측위부(120)는 RTK GPS(Real Time Kinematic Global Positioning System)와 같이 5Cm 이내의 위치 정밀도를 가지는 정밀 측위부를 이용할 수 있다. 나아가 0.2도까지 헤딩 정확도를 유지할 수 있는 듀얼 안테나 RTK GPS일 수 있다.
이러한 제어부(140)는 본체(110)를 제어하여 방제 대상 영역에서 상승하면서 구비된 제 1 촬영부(150)를 통해 직하 영상을 촬영하여 방제 대상 영역의 전체 경계를 추출하고, 추출된 방제 영역에 대한 좌표를 산출한 후 자동 방제 경로를 생성하며, 제 2 촬영부(160)를 통해 얻은 NDVI 영상을 기반으로 이상 영역을 구분하여 생성된 자동 방제 경로에 이상 영역에 대한 정보를 추가할 수 있다.
또한, 제어부(140) 본체(110)를 제어하여 생성된 자동 방제 경로를 따라 이동하면서 방제를 수행하며, 추가된 이상 영역의 경우 일반 영역(이상 영역이 아닌 영역)과 달리 설정된 방제 방식으로 전환하여 방제를 수행할 수 있고, 이상 영역을 지난 경우 원래의 방제 방식으로 복원하여 방제를 수행할 수 있다.
이러한 방제 방식의 전환은 예를 들어 방제 약품을 교체하거나 방제량을 달리하거나 비행 패턴을 달리하는 것일 수 있다.
한편, 무인 비행체(100)는 장애물 탐지부(180)를 포함할 수 있는데, 이는 스테레오 카메라나 라이다, 레이더, 초음파 센서 등과 같이 3차원 물체를 검출할 수 있는 수단으로서, 이를 통해서 자동 방제 과정에서 무인 비행체의 이동 방향에 대한 장애물을 탐지하고 장애물 발견시 회피하거나 정지 혹은 복귀할 수 있다.
상기 통신부(130)는 IEEE(Institute of Electrical and Electronics Engineers)에서 제안한 무선 LAN 및 일부 적외선 통신 등을 포함하는 무선 LAN에 대한 무선 네트워크의 표준 규격인 802.11과, 블루투스, UWB, 지그비 등을 포함하는 무선 PAN(Personal Area Network)에 대한 표준 규격인 802.15과, 도시 광대역 네트워크(Fixed Wireless Access: FWA) 등을 포함하는 무선 MAN(Metropolitan Area Network), 광대역 무선 접속(Broadband Wireless Access: BWA)에 대한 표준 규격인 802.16과, 와이브로(Wibro), 와이맥스(WiMAX) 등을 포함하는 무선 MAN(Mobile Broadband Wireless Access: MBWA)에 대한 모바일 인터넷에 대한 표준 규격인 802.20 등의 무선 통신 방식을 이용하여 사용자 단말(10)이나 관리자 단말과 통신할 수 있다.
상기 저장부(170)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 자동 경로 생성 방법을 설명하기 위한 예시도로서, 도시된 바와 같이 사용자가 무인 비행체(100)를 방제 대상 영역에 위치시킨 후 자동 모드로 동작시키면 무인 비행체(100)는 상승하면서 제 1 카메라부(150)를 통해 직하 방향의 영상을 촬영하면서 영상 분석을 수행한다.
직하 방향의 가시광 영상으로부터 방제 대상 영역(주로 논, 밭 등과 같이 경계가 선명한 구성)에 대한 경계를 추출하며, 경계가 완전하지 않은 경우 지속적으로 상승 및 경계의 중앙으로 이동하면서 경계를 추출하여 최종적으로 전체 경계를 추출한다.
예를 들어 도 4와 같이 영상 내 경계를 인식하고 경계를 추출할 수 있으며, 이는 다양한 알려진 영상 분석 알고리즘을 통해 수행될 수 있다. 나아가, 이러한 경계에 대한 패턴은 폐곡선을 이루거나 위치(고도를 포함하는 공간 좌표)와 카메라 촬영 각도 및 광 시야각 등의 정보로 부터 얻어진 대략적인 경계 영역의 크기가 설정된 범위(방제 대상 영역에 대한 기본적인 설정(면적, 형상 등)을 사용자 단말이나 관리자 단말을 통해 제공할 수 있으며, 혹은 기본 설정이 없는 경우 통상의 방제 영역으로 고려할 수 있는 면적 범위)에 해당하는 지 확인하면서 기준에 대응하는 경계를 추출하여 방제 영역을 설정할 수 있다. 한편 출입구가 있거나, 일부 둔덕이 무너지거나, 경계가 희미한 영역이 포함되는 경우 경계부의 추출된 영역들을 서로 연결하여 방제 영역을 설정할 수도 있다.
이와 같이 추출된 경계는 사용자 단말(10)이나 관리자 단말에 제공될 수 있는데, 사용자나 관리자가 단말을 통해서 추출된 경계가 정확한지 검증하여 확인 신호를 제공할 수 있으며, 잘못된 경우 경계를 조절(인식된 경계선 이동, 확장, 축소 등)하는 신호를 제공해 줄 수 있다.
이와 같이 경계 추출을 통해 방제 영역을 확인하면 해당 경계에 해당하는 위치들을 좌표계와 매핑하는데, 이는 무인 비행체(100)의 위치 정보와 카메라 각도 및 광 시야각을 이용하여 수학적으로 산출할 수 있다.
이와 같이 추출된 경계에 따른 방제 영역의 좌표계 매핑을 통해서 무인 비행체(100)가 방제를 수행할 고도, 설정된 방제 폭, 방제속도, 부하(방제약품)의 무게, 배터리 잔량등을 고려하고, 비행시 방향전환의 횟수가 가장 작은 비행경로를 설정한다.
한편, 무인 비행체(100)는 제 2 카메라부(160)를 통해서 방제 영역에 대한 NVDI 영상을 얻을 수 있는데, 이렇게 얻은 영상을 스팩트럼별로 분석하여 이상 영역들이 발견되면 해당 영역들의 문제를 종류별, 상태별로 자동 추출하여 방제 영역에 표시한 후 해당 이상 영역에 대한 정보를 설정된 비행 경로에 반영한다.
도 5는 본 발명의 실시예에 따른 NVDI 영상을 보인 예시도로서 스팩트럼 분석을 통해서 농작물의 발육 상태, 병변이나 해충 피해 상태, 마른 상태 등을 포함하는 다양한 상황을 구분할 수 있다.
무인 비행체(100)는 생성된 비행 경로의 시작점으로 이동하여 자동으로 고도와 위치를 확인하면서 설정된 방제를 수행하게 되는데 이상 영역으로 설정된 위치에 도달하면 방제 약품의 종류를 변경하거나 추가하거나, 방제 방식을 달리(더 많이 더 적게 살포)하거나, 비행 패턴을 변경(고도를 낮추어 촘촘하게 방제하거나, 고도를 높여서 넓게 방제하거나 속도를 늦추거나 높이는 등)할 수 있다.
도 6은 본 발명의 실시예에 따른 무인 비행체의 충돌 회피 방식을 설명하기 위한 예시도로서, 도시된 바와 같이 방제 영역(1)에 장애물(200)이 존재하는 경우를 보인 것이다.
무인 비행체(100)는 장애물 탐지부(스테레오 카메라나 라이다, 레이더, 초음파 센서 등과 같이 3차원 물제를 검출할 수 있는 수단)(300)을 이용하여 비행 경로에 따른 방제를 수행하는 과정에 진행 방향의 장애물을 지속 감지하며, 장애물(200) 발견 시 이를 회피하거나 정지 혹은 복귀할 수 있다.
예를 들어, 무인 비행체(100)는 전방장애물이 탐지되는 경우 장애물까지의 거리를 계산하고 장애물의 5m 앞에 멈추고 사용자/관리자 단말에 장애물 탐지로 인한 멈춤 알람을 송부하고 10초간 대기한다. 사용자 단말에 알람을 보내고 10초 동안 방제 중단과 같은 사용자의 별다른 지시가 없다면 우회 방제를 실시한다. 우회 방제를 위해 드론은 우측으로 방향을 전환하여 장애물 여부를 판단한다. 장애물의 크기 만큼 비행 후 다시 좌측으로 방향을 전환하여 장애물이 없음을 확인하고 설정된 기본 장애물 길이 15m를 비행 후 다시 원래의 방제 비행 경로으로 돌아와 방제 비행을 계속할 수 있다.
만약 장애물 회피 비행 절차를 수행중에 다른 장애물이 발견되는 경우에는 자동방제 비행을 중지하고 사용자 단말에 알람을 보내고 최초 이륙한 홈 포지션으로 복귀할 수 있다.
한편, 본 발명의 실시예에 따른 무인 비행체(100)는 2 종류의 상이한 카메라를 구성하고 있으며, 그 중에서 NVDI는 스팩트럼 분석이 가능하므로 초기 방제 영역 경계산출 시 촬영된 영상을 분석하여 장애물 의심 영역을 미리 구분할 수도 있다. 이렇게 구분된 장애물 의심 영역의 경우 비행 경로 상에 반영되어 이를 회피하도록 비행 경로가 마련될 수 있고, 회피가 어려운 경우 장애물 의심 영역을 비행할 경우 비행 속도를 늦추고 전방 장애물을 좀 더 높은 해상도로 감지하는 장애물 의심 영역 비행 모드를 구성하여 적용할 수 있다.
도 7은 본 발명의 실시예에 따른 동작 과정을 설명하는 순서도로서, 도시된 바와 같이 무인 비행체가 방제 대상 영역에서 상승하면서 구비된 가시광 카메라를 통해 직하 영상을 촬영하고 해당 영상에서 방제 대상 영역의 경계를 추출한다. 이 때 어느정도 경계가 추출되면 무인 비행체가 해당 경계의 중심으로 이동할 수 있다.
이러한 과정을 전체 경계가 검출될 때까지 지속하여 최대 고도 이하의 한계 내에서 상승하여 전체 경계 영역을 검출한다. 이와 같이 추출된 경계는 사용자 단말(스마트폰, 피처폰, 타블렛, 노트북 등의 모바일 기기)이나 관리자 단말(모바일 기기 및 서버, 데스크탑 컴퓨터, 클라우드 컴퓨터 등을 포함하는 다양한 제어 기기)에 제공될 수 있는데, 사용자나 관리자가 단말을 통해서 추출된 경계가 정확한지 검증하여 확인 신호를 제공할 수 있으며, 잘못된 경우 추출된 경계를 선택하여 이동, 크기 조절, 방향 조절, 제거 등 추출된 경계를 조절하기 위한 신호를 제공해 줄 수 있다.
촬영 영상에서 방제 대상 영역의 전체 경계가 추출되면 방제 영역에 대한 좌표를 산출하고, 자동 방제 경로를 생성한다. 이러한 방제 경로는 다양한 요인을 감안하여 최적의 경제적이면서 효과적인 방제가 가능하도록 한다. 나아가, 이러한 자동 방제 경로 역시 사용자 단말이나 관리자 단말에 전달될 수 있고 사용자나 관리자가 이를 확인하거나 수정할 수 있다. 특히, 필요한 경우 관리자 단말이 해당 경계에 대한 정보를 통해서 자동 방제 경로를 최적화하여 이를 무인비 행체에 전달할 수도 있다.
이후, 해당 방제 경로의 시작 위치로 이동하여 자동 방제를 수행하는데, 무인 비행체가 구비된 장애물 탐지부를 통해서 이동 방향에 대한 장애물을 탐지하면서 설정된 방식으로 방제를 수행하고, 완료시 복귀하며 장애물 발견 시 그에 따라 설정된 방식으로 사용자 알림, 정지, 회피, 복귀 등을 수행한다.
도 8은 본 발명의 실시예에 따른 NVDI 영상 분석 반영 방식을 설명하는 순서도로서, 방제 영역의 경계를 검출하기 위하여 전체 방제 영역을 촬영할 경우 무인 비행체는 구비된 NDVI 카메라를 통해 방제 대상 영역을 촬영한다.
이러한 촬영 영상의 스팩트럼을 분석하여 이상 영역을 종류별로 구분하고 그에 대한 식별 영역을 설정하여 기 마련된 자동 방제 경로에 해당 정보를 추가한다.
한편, 기본적으로 이러한 NDVI 영상에 대한 스팩트럼 분석을 무인 비행체가 내부 제어부를 통해 자체적으로 수행할 수 있으나 무인 비행체가 해당 NDVI 영상을 관리자 단말이나 NDVI 영상을 분석하는 외부 서버 등에 전송하여 좀더 고품질 분석을 수행한 결과를 수신한 후 이를 기반으로 이상 영역을 구분할 수도 있다.
이후, 무인 비행체가 생성된 자동 방제 경로를 따라 이동하면서 방제를 수행하되, 상기 추가된 이상 영역의 경우 일반 영역과 달리 설정된 방제 방식으로 전환하는 자동 방제 단계를 포함한다.
일례로서, 자동 방제 단계는 무인 비행체가 구비된 장애물 탐지부를 통해서 이동 방향에 대한 장애물을 탐지하고 장애물 발견시 회피하거나 정지 혹은 복귀하는 단계를 더 포함할 수 있다.
본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 방제 영역 10: 사용자 단말
100: 무인 비행체 110: 본체
120: 위치 측위부 130: 통신부
140: 제어부 150: 제 1 촬영부
160: 제 2 촬영부 170: 저장부
200: 장애물

Claims (5)

  1. 방제와 비행을 위한 구성 및 복수의 카메라를 포함하는 무인 비행체를 이용한 농업 방재용 자율 비행 방법으로서,
    무인 비행체가 방제 대상 영역에서 상승하면서 구비된 가시광 카메라를 통해 직하 영상을 촬영하고 해당 영상에서 방제 대상 영역의 경계를 추출하는 준비 단계와;
    무인 비행체가 상기 준비 단계를 통해 상기 가시광 카메라로 촬영한 직하 방향 촬영 영상에서 방제 대상 영역의 전체 경계가 추출될 때 까지 무인 비행체를 상승시키고, 방제 대상 영역의 전체 경계가 추출되면 방제 영역에 대한 좌표를 산출한 후, 자동 방제 경로를 생성하는 경로 생성 단계와;
    무인 비행체가 상기 경로 생성 단계를 통해 방제 대상 영역의 경계를 추출하면 해당 경계의 중심으로 이동하고, 방제 대상 영역의 전체 경계 추출을 위해 전체 방제 영역을 촬영하면 상기 가시광 카메라와 별도로 구비된 NDVI(Normalised Difference Vegetation Index) 카메라를 통해 방제 대상 영역을 촬영한 후 스팩트럼 분석을 수행하여 이상 영역을 구분하고 상기 경로 생성 단계에서 생성된 자동 방제 경로에 구분된 이상 영역에 대한 정보를 추가하는 단계와;
    무인 비행체가 상기 생성된 자동 방제 경로를 따라 이동하면서 방제를 수행하되, 상기 추가된 이상 영역의 경우 일반 영역과 달리 설정된 방제 방식으로 전환하는 자동 방제 단계를 포함하되,
    무인 비행체는 2 종류의 상이한 카메라를 통해 가시광 영상 외에 NVDI 영상 스팩트럼 분석을 통해 방제 영역 경계 추출 시 촬영된 영상을 분석하여 장애물 의심 영역을 미리 구분하고, 구분된 장애물 의심 영역의 경우 자동 방제 경로 상에 반영하여 이를 회피하도록 비행 경로를 마련하고, 회피가 어려운 경우 장애물 의심 영역을 비행할 경우 비행 속도를 늦추고 전방 장애물을 좀 더 높은 해상도로 감지하도록 하는 장애물 의심 영역 비행 모드를 수행하는 단계를 더 포함하는 농업 방재용 자율 비행 방법.
  2. 청구항 1에 있어서, 상기 자동 방제 단계는 무인 비행체가 구비된 장애물 탐지부를 통해서 이동 방향에 대한 장애물을 탐지하고 장애물 발견시 회피하거나 정지 혹은 복귀하는 단계를 더 포함하는 것을 특징으로 하는 농업 방재용 자율 비행 방법.
  3. 청구항 1에 있어서, 상기 경로 생성 단계는 무인 비행체가 추출된 방제 대상 영역의 경계에 대한 정보를 구비된 통신부를 통해서 사용자 단말에 전송하고 사용자 단말로부터 수신되는 확인 정보나 수정 정보를 토대로 경로 추출을 완료하거나 변경하는 단계를 포함하는 것을 특징으로 하는 농업 방재용 자율 비행 방법.
  4. 청구항 1에 있어서, 상기 자동 방제 단계는 이상 영역에서 방제 약품을 교체하거나 방제량을 달리하거나 비행 패턴을 달리하는 단계를 포함하는 것을 특징으로 하는 농업 방재용 자율 비행 방법.
  5. 방제와 비행을 위한 구성이 마련된 본체와;
    현재 좌표를 산출하는 위치 측위부와;
    가시광 영상을 획득하기 위한 제 1 촬영부와;
    NDVI 영상을 획득하기 위한 제 2 촬영부와;
    상기 본체를 제어하여 방제 대상 영역에서 상승하면서 구비된 제 1 촬영부를 통해 직하 영상을 촬영하여 방제 대상 영역의 전체 경계를 추출하고, 해당 경계의 중심으로 이동하며, 추출된 방제 영역에 대한 좌표를 산출한 후 자동 방제 경로를 생성하며, 방제 대상 영역의 전체 경계 추출을 위해 전체 방제 영역을 촬영하면 상기 제 1 촬영부와 별도로 구비된 제 2 촬영부를 통해 얻은 방제 대상 영역의 NDVI 영상을 기반으로 스팩트럼 분석을 수행하여 이상 영역을 구분한 후 생성된 자동 방제 경로에 이상 영역에 대한 정보를 추가는 제어부를 포함하되,
    상기 제어부는 가시광 영상 외에 NVDI 영상 스팩트럼 분석을 통해 방제 영역 경계 추출 시 촬영된 영상을 분석하여 장애물 의심 영역을 미리 구분하고, 구분된 장애물 의심 영역을 회피하도록 자동 방제 경로를 마련하되, 회피가 어려운 경우 장애물 의심 영역을 비행할 경우 비행 속도를 늦추고 전방 장애물을 좀 더 높은 해상도로 감지하는 장애물 의심 영역 비행 모드로 동작하며,
    상기 제어부는 본체를 제어하여 상기 생성된 자동 방제 경로를 따라 이동하면서 방제를 수행하며 상기 추가된 이상 영역의 경우 일반 영역과 달리 설정된 방제 방식으로 전환하는 농업 방재용 자율 비행 시스템.
KR1020180149999A 2018-11-28 2018-11-28 농업 방재용 자율 비행 시스템 및 방법 KR102133898B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180149999A KR102133898B1 (ko) 2018-11-28 2018-11-28 농업 방재용 자율 비행 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149999A KR102133898B1 (ko) 2018-11-28 2018-11-28 농업 방재용 자율 비행 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200063826A KR20200063826A (ko) 2020-06-05
KR102133898B1 true KR102133898B1 (ko) 2020-07-14

Family

ID=71089088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149999A KR102133898B1 (ko) 2018-11-28 2018-11-28 농업 방재용 자율 비행 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102133898B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269262B1 (ko) 2021-03-30 2021-06-28 대한민국 수송형 드론과 멀티콥터의 협업을 이용한 저공비행 전용 살포기

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102650604B1 (ko) * 2023-04-18 2024-03-25 이에스피나인 주식회사 복수개의 드론을 활용한 농약살포 관리시스템 및 그 동작방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101759130B1 (ko) * 2016-07-14 2017-08-01 주식회사 공간정보 무인항공기를 이용한 농작물 데이터베이스화 구축시스템
KR101793509B1 (ko) * 2016-08-02 2017-11-06 (주)노루기반시스템즈 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
KR101801746B1 (ko) * 2017-01-03 2017-11-27 (주)세이프어스드론 방제용 스마트 드론, 이를 이용한 스마트 방제 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594313B1 (ko) 2013-12-26 2016-02-16 한국항공대학교 산학협력단 무인항공 방제용 멀티콥터 시스템
KR20180057021A (ko) * 2016-11-21 2018-05-30 한화에어로스페이스 주식회사 무인기 제어 방법 및 이를 이용한 무인기 제어 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101759130B1 (ko) * 2016-07-14 2017-08-01 주식회사 공간정보 무인항공기를 이용한 농작물 데이터베이스화 구축시스템
KR101793509B1 (ko) * 2016-08-02 2017-11-06 (주)노루기반시스템즈 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
KR101801746B1 (ko) * 2017-01-03 2017-11-27 (주)세이프어스드론 방제용 스마트 드론, 이를 이용한 스마트 방제 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269262B1 (ko) 2021-03-30 2021-06-28 대한민국 수송형 드론과 멀티콥터의 협업을 이용한 저공비행 전용 살포기

Also Published As

Publication number Publication date
KR20200063826A (ko) 2020-06-05

Similar Documents

Publication Publication Date Title
US20220234733A1 (en) Aerial Vehicle Smart Landing
US11726498B2 (en) Aerial vehicle touchdown detection
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
US10388172B1 (en) Obstacle awareness based guidance to clear landing space
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
US10198955B1 (en) Drone marker and landing zone verification
US20190007670A1 (en) Estimation system and automobile
US20170313439A1 (en) Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings
WO2018094583A1 (zh) 无人机避障控制方法、飞行控制器及无人飞行器
WO2018045538A1 (zh) 无人机及其避障方法和避障系统
US11932391B2 (en) Wireless communication relay system using unmanned device and method therefor
US11783716B2 (en) Return flight control method and device for unmanned aerial vehicle, and unmanned aerial vehicle
WO2018133006A1 (zh) 无人机起落架控制方法、装置、无人机及其系统
CN106444837A (zh) 一种无人机避障方法及系统
US20200150662A1 (en) Flying body, living body detection system, living body detection method, program and recording medium
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
KR102133898B1 (ko) 농업 방재용 자율 비행 시스템 및 방법
KR20170034503A (ko) 무인항공기 제어 시스템 및 방법
WO2020087297A1 (zh) 一种无人机测试方法、设备及存储介质
CN116724281A (zh) 无人机的控制方法、无人机、飞行系统及存储介质
WO2021056139A1 (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
WO2022004333A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN110291771B (zh) 一种目标对象的深度信息获取方法及可移动平台
KR20160083328A (ko) 무인 항공기를 이용한 차량 번호 인식 방법
CN117516513A (zh) 智能割草机路径规划方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant