KR102467855B1 - 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템 - Google Patents

자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템 Download PDF

Info

Publication number
KR102467855B1
KR102467855B1 KR1020210125107A KR20210125107A KR102467855B1 KR 102467855 B1 KR102467855 B1 KR 102467855B1 KR 1020210125107 A KR1020210125107 A KR 1020210125107A KR 20210125107 A KR20210125107 A KR 20210125107A KR 102467855 B1 KR102467855 B1 KR 102467855B1
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
layer
flight
altitude
Prior art date
Application number
KR1020210125107A
Other languages
English (en)
Inventor
이관희
손창섭
김재홍
전세원
최요한
하종한
조철효
윤경섭
Original Assignee
경남도립거창대학산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경남도립거창대학산학협력단 filed Critical 경남도립거창대학산학협력단
Priority to KR1020210125107A priority Critical patent/KR102467855B1/ko
Application granted granted Critical
Publication of KR102467855B1 publication Critical patent/KR102467855B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • B64C2201/14

Abstract

실시예는, 표면 스캐닝 데이터를 생성하는 단계; 상기 표면 스캐닝 데이터로부터 피사체의 포인트 클라우드를 획득하는 단계; 상기 포인트 클라우드의 분석에 기초하여 상기 피사체들을 식별하는 단계; 상기 포인트 클라우드의 분석에 기초하여 상기 피사체들의 특정 포인트들을 연결하는 복수의 레이어를 설정하는 단계; 및 상기 복수의 레이어 중 어느 하나의 레이어 상에서 무인비행체가 자율 주행 가능하도록 하는 비행 경로를 설정하는 단계;를 포함하고, 상기 무인비행체가 비행 경로 상에서 상기 자율항법지도 상에 반영되지 않은 장애물을 인식하면 상기 무인비행체에게 할당된 레이어와 다른 레이어로 회피 이동하되 상기 무인비행체에게 할당된 레이어 상에서의 비행 경로의 형태를 유지하며 상기 다른 레이어 상에서 비행하는 무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법을 제공할 수 있다.

Description

자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템{A method for setting an autonomous navigation map, a method for an unmanned aerial vehicle to fly autonomously based on an autonomous navigation map, and a system for implementing the same}
본 발명은 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템에 관한 것이다.
드론은 사람이 타지 않고 비행이 가능한 무인 비행체를 일컫는다. 2010년경부터 소재, 부품, 장비의 경량·저가화로 무게 25kg 이하의 소형 드론이 활발하게 사용되었고, 이를 통해 사람이 도달하기 어려운 지역에서 드론의 활용요구가 급증하였다. 드론 연구 초기에는 GPS(Global Positioning System)가 수신되지 않는 환경에서의 항법에 관한 연구가 부족했기 때문에 모션캡처 시스템과 같은 외부 측위 장치의 도움을 받아 드론의 위치를 추정하는 측위 문제를 해결하고, 주로 비행 제어법칙과 경로계획에 관련한 연구가 많이 진행되었다. 연구가 발전하고 카메라, LiDAR(Light Detection and Ranging), IMU(Inertial Measurement Unit)와 같은 센서가 소형화됨에 따라 실내 좁은 공간에서만 사용 가능한 모션캡처 시스템의 한계를 벗어나기 위해 드론의 온보드 센서를 이용하여 항법을 구현하는 연구가 활발히 진행되었다. 이러한 항법 문제의 해결을 통하여 사람의 도움 없이 험지에서의 고속 수색·정찰·탐지를 임무로 하는 드론의 완전한 자율 비행과 관련한 기술 개발 연구가 미국 및 유럽을 중심으로 활발히 진행되고 있다. 사람의 개입이 없는 드론의 완전한 자율비행을 위해서는 상태추정, 환경인지, 그리고 경로계획 3가지 모듈의 유기적 결합을 통해 해결할 수 있다. 상태추정 모듈은 3차원 공간상에서 비행하는 드론의 위치와 자세를 IMU와 이를 보조할 수 있는 카메라 등 다양한 센서 융합을 통해 실시간으로 추정하여 드론의 기본적 비행이 가능하도록 한다. 환경인지 모듈은 추정된 상태와 LiDAR, RGBD(Depth) 카메라 등 센서 정보의 처리를 통해 드론 주위의 환경·장애물 지도를 생성한다. 경로계획 모듈은 환경인지 모듈에서 생성된 지도 정보를 통해 장애물의 위치를 파악하고, 장애물과의 충돌을 피하면서 드론의 현재 위치에서 목적지까지 가장 효율적으로 도달할 수 있는 경로 및 궤적을 생성한다.
대한민국공개특허공보 제10-2019-0001324호
본 발명은 스캐닝 데이터를 이용하여 피사체의 높이 정보를 추출하고, 지표 영상 데이터의 영상 해상도 변화를 분석하여 추출된 지상물 높이 정보를 활용하여 캘리브레이션 검증과 무인비행체의 전파 고도 센서의 측정값을 보정함으로써, 무인비행체의 안전하고 정확도 높은 자율 비행 항로를 구축하는 무인비행체의 자율 비행을 위한 자율항법지도를 설정하는 방법을 제공할 수 있다.
본 발명은 경작지 세부 정보 맵을 구축하여 지표면 상에서의 무인비행체의 안전하고 정확도 높은 자율 비행이 가능하도록 하는 자율항법지도를 설정하는 방법을 제공할 수 있다.
본 발명은 자율항법지도 상에서 반영되지 않았거나 형태나 크기의 변동이 가능한 피사체와 같은 사전에 파악되지 않은 장애물을 회피 비행할 수 있고, 복수의 레이어별로 다수의 무인비행체가 비행하는 경우 이들 간의 상호 충돌을 방지하면서 장애물의 회피 비행을 할 수 있도록 하는 방법 및 이와 관련된 시스템을 제공할 수 있다.
실시예는, 표면 스캐닝 데이터를 생성하는 단계; 상기 표면 스캐닝 데이터로부터 피사체의 포인트 클라우드를 획득하는 단계; 상기 포인트 클라우드의 분석에 기초하여 상기 피사체들을 식별하는 단계; 상기 포인트 클라우드의 분석에 기초하여 상기 피사체들의 특정 포인트들을 연결하는 복수의 레이어를 설정하는 단계; 및 상기 복수의 레이어 중 어느 하나의 레이어 상에서 무인비행체가 자율 주행 가능하도록 하는 비행 경로를 설정하는 단계;를 포함하고, 상기 무인비행체가 비행 경로 상에서 상기 자율항법지도 상에 반영되지 않은 장애물을 인식하면 상기 무인비행체에게 할당된 레이어와 다른 레이어로 회피 이동하되 상기 무인비행체에게 할당된 레이어 상에서의 비행 경로의 형태를 유지하며 상기 다른 레이어 상에서 비행하는 무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법을 제공할 수 있다.
다른 측면에서, 상기 복수의 레이어들 각각에 속하는 특정 포인트들은 서로 동일한 고도를 가지는 무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법을 제공할 수 있다.
다른 측면에서, 공간에 형상화된 레이어에 비행 고도 제한 데이터, 정밀수치 지도, 및 군사보안지역 또는 비행금지 구역을 회피하는 항로 정보 중 적어도 어느 하나 이상을 정합하여 공간에 무인비행체의 비행을 위한 자율항법 지도를 구축하는 무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법을 제공할 수 있다.
다른 측면에서, 무인비행체가 비행 영역 상을 촬영한 적어도 하나의 프레임 이미지 데이터를 획득하는 단계; 상기 적어도 하나의 프레임 이미지 데이터에 기초하여 상기 비행 영역 내의 경작지의 시맨틱 지도를 확정하는 단계; 및 상기 시맨틱 지도 및 경작지 구조 모델에 따라 경작 구조 정보를 결하여 경작지 세부 정보 맵을 설정하는 단계;를 더 포함하고, 상기 경작지 구조 모델은 신경망 학습에 기초하여 획득되는 무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법을 제공할 수 있다.
다른 측면에서, 상기 프레임 이미지 데이터는 상기 복수의 레이어들 중에서 최저 고도의 레이어가 가지는 고도 값 이하에 존재하는 피사체들을 촬영한 프레임 이미지 데이터인 무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법을 제공할 수 있다.
다른 측면에서, 상기 무인비행체에게 할당된 레이어 상에서의 비행 경로를 구성하는 복수의 경로 포인트들 중 적어도 일부가 상기 다른 레이어로 맵핑되어 상기 무인비행체는 상기 다른 레이어 상에서 맵핍된 대체 포인트를 따라 상기 다른 레이어 상에서 이동하고, 상기 복수의 경로 포인트 중 적어도 일부가가 수직 방향으로 다른 레이어에 맵핑되어 상기 대체 포인트가 설정되고, 상기 복수의 경로 포인트 중 최인접한 경로 포인트 상호간의 최대 이격 거리는 미리 설정된 상기 무인비행체의 최대 속도, 미리 설정된 상기 무인비행체가 전방의 장애물의 존재를 인식하는 시점에서의 상기 무인비행체와 상기 장애물 사이의 최소 이격 거리 값에 기초하여 결정되는 무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법을 제공할 수 있다.
실시예는 스캐닝 데이터를 이용하여 피사체의 높이 정보를 추출하고, 지표 영상 데이터의 영상 해상도 변화를 분석하여 추출된 지상물 높이 정보를 활용하여 캘리브레이션 검증과 무인비행체의 전파 고도 센서의 측정값을 보정함으로써, 무인비행체의 안전하고 정확도 높은 자율 비행 항로를 구축하는 자율항법지도를 설정하는 방법 및 자율항법지도에 기초하여 자율 비행 가능한 무인비행체 및 이를 포함하는 시스템을 제공할 수 있다.
실시예는 경작지 세부 정보 맵을 구축하여 지표면 상에서의 무인비행체의 안전하고 정확도 높은 자율 비행이 가능하도록 하는 자율항법지도를 설정하는 방법 및 자율항법지도에 기초하여 자율 비행 가능한 무인비행체 및 이를 포함하는 시스템을 제공할 수 있다.
실시예는, 무인비행체가 베이스 스테이션 상에서 자율 비행하여 호버링, 파킹, 배터리 충전이나 저장소의 충전 그리고 도구 세트의 장착과 교환 등을 자율적으로 수행할 수 있도록 하는 시스템을 제공할 수 있다.
실시예는 외부 환경 조건을 고려하여 동일한 작업 영역 내에서 복수의 무인비행체가 자율적으로 비행하며 서로 역할을 분담하거나 서로 다른 작업을 동시에 수행할 수 있도록 하는 시스템을 제공할 수 있다.
실시예는 자율항법지도 상에 반영되지 않은 장애물을 인식한 경우의 회피 비행 경로를 설정하여 할당된 레이어 상의 비행 경로의 형태를 유지하며 다른 레이어 상에서 자율 비행할 수 있도록 하는 방법 및 이를 구현한 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 무인비행체의 자율 비행을 위한 시스템에 대한 개략도이다. 그리고, 도 2는 무인비행체에 대한 개략적인 블록도이다.
도 3은 지역의 성격별로 고도에 따른 비행 가능 및 비행 속도를 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 무인비행체의 자율항법지도를 작성하는 방법을 도시한 흐름도이다. 그리고, 도 5는 공간 상의 서로 다른 고도의 복수의 레이어를 도시한 것이다.
도 6은 무인비행체가 촬영한 경작지 상의 프레임 이미지를 나타낸 것이고, 도 7은 경작지 세부 정보 맵을 생성하는 방법에 대한 흐름도이다.
도 8은 복수의 무인비행체가 작업테이블에서 출발하여 자율항법지도에 따라 경작지 상을 비행하며 작업을 수행하고 그 후 또는 중간에 작업테이블으로 회귀하는 것을 설명하기 위한 개략도이다.
도 9는 베이스 스테이션의 역할과 베이스 스테이션 내의 복수의 영역들의 역할을 설명하기 위한 것이다.
도 10 및 도 11은 복수의 무인비행체가 비행 영역을 비행하는 방법을 설명하기 위한 것이다.
도 12에서 자율항법지도 상에 확인되지 않은 장애물을 회피하는 방법을 설명하기 위한 것이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 무인비행체의 자율 비행을 위한 시스템에 대한 개략도이다. 그리고, 도 2는 무인비행체에 대한 개략적인 블록도이다.
도 1을 참조하면, 무인비행체(100)는 자율항법지도를 생성하고 이에 기초하여 비행 영역(11)을 따라 자율 비행할 수 있다. 비행 영역(11)은 무인비행체(100)에게 주어진 소정의 업무를 진행하기 위해 무인비행체(100)가 미리 정해진 작업을 수행하는 영역이 될 수 있다. 무인비행체(100)는 센싱 데이터의 분석에 기초하여 자율항법지도를 생성할 수 있다. 일부 실시예에서, 자율항법지도의 적어도 일부는 컴퓨팅 장치(200)에 의해 작성될 수도 있다.
컴퓨팅 장치(200)는 휴대형의 단말기(200a) 및/또는 데스크탑이나 서버(200b)를 포함할 수 있다.
자율 비행이 가능한 무인비행체(100)는 다중 또는 단일 로터 무인 비행체(UAV) 또는 하이브리드 비행선이 될 수 있다. 무인비행체(100)는 자이로스코프, 가속도계, 자력계(나침반), 기압계, 소나, 광학 흐름 센서, 에너지 관리 모듈, 전압 관리 모듈, GPS 모듈을 포함할 수 있다. 각종 센서는 모터 입력, 고도, 피치, 롤, 방향, 위치, 자세, 고정밀 절대 및 상대 위치, 장애물 감지, 거리 감지, 속도 제어 및 디지털 풍속 감지 기능을 제공할 수 있다. 일부 실시예에서, 무인비행체(100)는 농작물에 비료 등을 살포하는 동안이나 기타 현장 작업을 수행하는 동안 하중 중량 변화에 따른 비행 속도 등이 제어될 수 있다.
무인비행체(100)는 프레임과 프레임에 장착된 모터와 프레임에 부착된 전자 및 통신 장비를 포함할 수 있다. 모터의 수는 3개(트라이-콥터)에서 4개(쿼드-콥터), 6개(헥사-콥터), 8(옥토-콥터) 또는 필요한 추력에 따라 그 이상이 될 수 있다.
도 2를 참조하면, 무인비행체(100)는 어플리케이션 플랫폼과 비행 플랫폼을 포함할 수 있다. 어플리케이션 플랫폼은 다른 전자 장치, 예를 들어 원격 제어 스테이션(200)이나 리모트 컨트롤러 기능이 탑재된 외부 컨트롤러와 무선으로 연동하여 무인 비행체(100)의 구동 및 서비스 제공 등을 위한 신호를 처리할 수 있다. 비행 플랫폼은 비행 제어 알고리즘 및/또는 항법 알고리즘을 포함함으로써 무인 비행체(100)의 자율 비행 전반에 관한 제어를 수행할 수 있다.
하나 이상의 어플리케이션 프로세서(예를 들어 AP)(110), 무선 통신 모듈(120), 메모리(130), 센서 모듈(140), 추력 발생 장치(150), 카메라 모듈(160), 오디오 모듈(170), 인디케이터(180), 전력 관리 모듈(190) 및 배터리(191)를 포함할 수 있다.
어플리케이션 프로세서(110)는 예를 들어 어플리케이션 플랫폼의 일부로서 운영 체제 또는 응용 프로그램을 구동하여 어플리케이션 프로세서(110)에 연결된 다수의 하드웨어 또는 소트프웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 어플리케이션 프로세서(110)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 어플리케이션 프로세서(110)는 도 2에 도시된 구성요소들 중 적어도 일부를 포함할 수도 있다. 어플리케이션 프로세서(110)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 어플리케이션 프로세서(110)는 무선 통신 모듈(120) 및/또는 메모리(130)에 저장된 프로그램에 따라 추력 발생 장치(150) 및/또는 카메라 모듈(160)을 제어할 수 있다.
무선 통신 모듈(120)은 하우징 내측에 위치하거나 하우징과 연결되도록 배치될 수 있다. 무선 통신 모듈(120)은 예를 들어, 셀룰러 모듈(121), WiFi 모듈(122), 블루투스 모듈(123), GNSS(Global Navigation Satellite System) 모듈(124) 및 RF 모듈(125)을 포함할 수 있다.
셀룰러 모듈(121)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 다양한 실시예에 따르면, 셀룰러 모듈(121)은 어플리케이션 프로세서(110)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 다양한 실시예에 따르면, 셀룰러 모듈(121)은 커뮤니케이션 프로세서를 포함할 수 있다. 다양한 실시예에 따르면, 셀룰러 모듈(121), WiFi 모듈(122), 블루투스 모듈(123) 또는 GNSS 모듈(124) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(125)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(125)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier) 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(121), WiFi 모듈(122), 블루투스 모듈(123) 또는 GNSS 모듈(124) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
메모리(130)는, 예를 들면, 내장 메모리(131) 또는 외장 메모리(132)를 포함할 수 있다. 내장 메모리(131)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(132)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(132)는 다양한 인터페이스를 통하여 무인 비행체(100)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(140)은, 물리량을 계측하거나 무인 비행체(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 또한, 센서 모듈(140)는 무인 비행체(100)와 전방, 후방, 하방 및 상방 중 적어도 하나의 객체 사이의 거리를 측정할 수 있고, 이에 기반하여 자신의 위치 정보를 추정할 수 있다. 다양한 실시예에서, 센서 모듈(140)를 통해 검출된 물리량 등은 무인 비행체(100)의 비행 제어에 필요한 정보로서 활용될 수 있다. 센서 모듈(140)은, 예를 들면, 지자기 센서(141), 자이로 센서(142), 기압/고도 센서(143), 나침반 센서(144), 가속도 센서(145), 초음파 센서(146), 온도 센서(147), 습도 센서(148), 조도 센서(149) 중의 적어도 하나를 포함할 수 있다. 여기서의 기압/고도 센서(143)는 전파고도센서가 될 수 있으나 이에 제한되는 것은 아니다. 추가적으로 또는 대체적으로, 센서 모듈(24)은, 예를 들면, 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 무인 비행체(100)는 어플리케이션 프로세서(110)의 일부로서 또는 별도로, 센서 모듈(140)을 제어하도록 구성된 프로세서를 더 포함하여, 어플리케이션 프로세서(110)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(149)을 제어할 수 있다. 다른 실시예에서, 센서 모듈(140)은 물리량을 계측하거나 무인 비행체(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 추력 발생 장치(150)로 제공할 수 있으며, 추력 발생 장치(150)는 제공된 정보에 기초하여 무인 비행체(100)의 비행을 제어할 수 있다. 예컨대, 센서 모듈(140)과 추력 발생 장치(150)는 적어도 부분적으로 비행 플랫폼의 일부를 구성할 수 있다.
표면 스캐닝 모듈(141a)은 카메라 모듈(60)에 의해 검출된 지표면의 촬영 영상과 센서 모듈(140)의 센싱 정보에 기초하여 검출된 지표면 상의 피사체와 무인비행체(100) 사이의 거리 정보에 기초하여 표면 스캐닝 데이터를 생성할 수 있다.
추력 발생 장치(150)는 복수의 마이크로 프로세서 유닛(MPU)(151), 복수의 구동 회로(152) 및 복수의 모터(153)를 포함할 수 있다.
네비게이션 유닛(154)은 어플리케이션 프로세서(110)로부터 제공되는 제어 신호와 센서 모듈(140)을 통해 제공되는 각종 물리량 등에 기초하여 모터(153)를 제어하는 신호를 발생시킬 수 있다. 마이크로 프로세서 유닛(MPU)(151)과 구동 회로(152)는 네비게이션 회로 유닛(154)의 제어 신호에 따라 모터(153)를 구동함으로써 무인 비행체(100)의 비행에 필요한 추력 및/또는 양력을 발생시킬 수 있다. 또한, 네비게이션 유닛(154)은 무인비행체(100)의 자율 비행을 위한 자율항법지도를 생성할 수도 있고, 갑작스러운 장애물에 대한 회피 비행을 할 수 있도록 하고, 복수의 레이어 상의 다른 무인비행체와 연동하여 무인비행체간의 상호 충돌을 방지하기 위한 비행 경로를 수정할 수도 있다.
카메라 모듈(160)은 카메라(161), 카메라 위치 제어 모듈(162), 카메라 위치 제어용 모터(163)을 포함할 수 있다. 카메라 모듈(160)은 예를 들어, 정지 영상 및 동영상을 촬영할 수 있는 장치이다. 다양한 실시예에서, 카메라(161)는 하나 이상의 이미지 센서, 렌즈, 이미지 시그널 프로세서(ISP) 또는 플래시를 포함할 수 있다. 다양한 실시예에서, 카메라(161)는 스틸 이미지들을 얻기 위한 스틸 카메라(컬러 및/또는 흑백), 컬러 및/또는 흑백 비디오를 얻기 위한 비디오 카메라 또는 교량의 부분들의 적외선 스틸 이미지들 또는 적외선 비디오를 얻기 위한 적외선 카메라를 포함할 수 있다. 카메라 위치 제어 모듈(162)은 추력 발생 장치(150)의 진동이나 주변의 기류 등의 영향으로 인하여 무인 비행체(100)가 요동할 경우 카메라(161)의 일정한 자세 또는 지향 방향을 유지하면서 흔들림 없는 영상을 촬영할 수 있도록 할 수 있다. 일부 실시예에서, 무인 비행체(100)는 본체에 설치된 카메라 위치 제어 모듈(162)에 카메라(110)는 탈부착 가능한 형태로 카메라 위치 제어 모듈(162)에 설치될 수 있다.
또한, 카메라 위치 제어 모듈(162)은 카메라 위치 제어용 모터(163)의 동력을 이용하여 카메라(161)의 위치나 촬영 방향을 조절할 수 있고, 어플리케이션 프로세서(110)의 제어 신호에 기초하여 카메라(161)의 촬영 방향을 제어할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환할 수 있다. 오디오 모듈(170)은 스피커(171) 및/또는 마이크(172) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
인디케이터(180)는 무인 비행체(100) 또는 그 일부의 특정 상태, 예를 들어 부팅 상태 또는 충전 상태 등을 표시할 수 있다.
전력 관리 모듈(190)은 예를 들면, 무인 비행체(100)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(190)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(191)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(191)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다. 다양한 실시예에서, 무인 비행체(100)는 유선으로 전력을 공급받는 테더 드론이 될 수도 있다.
일부 실시예에서, 무인비행체(100)는 저장장치에 장착된 도구 세트와 함께 프레임에 부착된 저장장치를 포함할 수 있다. 도구 세트는 수행하는 작업의 종류에 따라 프레임에 탈부착이 가능할 수 있다. 무인비행체(100)는 무게 중심이 중앙이 되도록 하기 위하여 저장장치는 프레임의 중앙을 중심으로 할 수 있으나 이에 제한되는 것은 아니다. 일부 실시예에서, 무인비행체(100)가 경작지에서 비료를 살포하는 등의 역할을 수행하는 비행체인 경우, 저장장치는 저장소와 비료 출력 제어부를 포함할 수 있다. 비료 출력 제어부에 의해 저장소에 보관된 비료의 출력 양을 조절할 수 있다.
사용자는 컴퓨팅 장치(200)에서 표시되는 대화형 인터페이스를 사용하여 실행할 작업을 입력할 수 있고, 입력된 명령은 무선 통신 네트워크를 통해 하나 이상의 무인비행체(100)로 전송될 수 있다.
도 3은 지역의 성격별로 고도에 따른 비행 가능 및 비행 속도를 설명하기 위한 개략도이다.
도 3을 참조하면, 저속지대, 고속지대 및 비행금지대의 고도는 국가별, 지역별로 상이할 수 있다.
무인비행체(100)가 저속지대에서의 비행시 수행하는 업무는 농업, 시설 검사 또는 이미지 촬영 업무 수행등이 될 수 있다.
무인비행체(100)가 고속지대에서의 비행시 수행하는 업무는 물품의 배달 서비스 등의 업무 수행 등이 될 수 있다.
공항이나 공항 인근 지역 그리고 소정의 고도 이상에서는 비행금지대에 해당하여 해당 고도에서는 무인비행체(100)의 비행이 금지될 수 있다.
무인비행체(100)의 자율비행은 위치 좌표(X, Y)외에 고도 Z정보를 추가적으로 요청할 수 있다. 일부 실시예에서, 무인비행체(100)는 비행 전에 고도 Z값의 정보를 수신하고, 전파의 반향 원리를 이용하여 초음파 센서(146) 등의 센서로 측정한 고도 Z 값을 유지할 수 있다. 경우에 따라서 무인비행체(100)는 지상에 존재하는 다양한 물체나 가건물, 건물 등으로 인해 고도를 변경시킬 필요가 있다. 무인비행체(100)의 고도센서는 물체에 반향을 일으키는 원리로 동작할 수 있으므로 물체에 대한 고도 Z값을 유지할 수 있다. 즉, 유지하고자 하는 무인비행체(100)에 a미터의 고도 Z 값이 입력되면, 고도로부터 a미터의 고도를 지속적으로 유지할 수 있다. 다만, 항로 중간에 높이 b미터의 지상물체가 넓은 지역에 분포하고 있는 경우 해당 지상물체의 범위 내에서 무인비행체(100)의 비행고도는 a+b미터로 유지될 수 있다. 이 때, 비행고도에 한계가 있는 경우 파장의 반향 원리를 이용하여 고도를 측정하는 무선센서에 의존한 비행은 결과적으로 안전규정을 위한 비행고도 한계를 위반할 수 있다. 따라서 무인비행체(100)의 안전한 자율비행을 위해서는 지표면으로부터 절대고도 Z값(즉, 비행고도 한계)을 유지해야 하며, 지상에 대한 절대고도 Z값을 유지하기 위한 보정이 요구된다. 경로 중간에 있는 개체. 수직 분리가 어려운 절대 고도(Z) 값에 인접한 지상 물체에 대한 회피 경로를 제공해야 한다.
또한, 무인비행체(100)가 요청하는 고도 Z 정보는 무인비행체(100)가 비행하는 가상의 레이어의 고도, 즉 높이 값이 될 수 있다. 무인비행체(100)가 고도 Z 정보를 수신하면, 복수의 레이어 중 수신된 Z 값에 대응하는 레이어 상에서의 미리 설정된 비행 경로를 따라 비행할 수 있다. 무인비행체(100)가 자신에게 할당된 레이어 상의 비행 경로를 따라 이동할 것이나 장애물의 인식 등 경우에 따라서는 다른 레이어로 회피 비행을 할 수도 있다.
다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 무인비행체(100)의 네비게이션 유닛(154)은 자세제어 유닛(154a), 세이프 유닛(154b) 및 포지셔닝 유닛(154c)를 포함할 수 있다.
자세제어 유닛(154a)은 무인비행체(100)의 회전 각도를 감지하여 무인비행체(100)의 자세를 제어할 수 있다. 예를 들어, 자이로 센서(142), 지자기 센서(141), 가속도 센서(145)의 센싱 정보에 기초하여 회전 각도를 감지할 수 있다.
세이프 유닛(154b)은 비행 오류를 위한 것일 수 있다. 예를 들어, 세이프 유닛(154b)은 센서 모듈(140) 상의 기압/고도 센서(143), 초음파 센서(146), 레이더, 전압계, 전류계 등의 센싱 정보에 기초하여 비행 오류 여부를 판단할 수 있다.
포지셔닝 유닛(154c)은 무인비행체(100)의 위치를 감지할 수 있다. 포지셔닝 유닛(154c)은 예를 들어, GPS 정보를 이용하여 무인비행체(100)의 위치를 감지할 수 있다.
전파고도센서로 기능할 수 있는 기압/고도 센서(143)는 물체에 반향을 일으키는 원리로 동작하므로 물체에 대한 고도 Z값을 유지할 수 있다. 비행고도에 한계가 있는 경우 파장의 반향 원리를 이용하여 고도를 측정하는 무선고도센서에 의존한 비행은 결과적으로 안전규정을 위한 비행고도 한계를 위반할 수 있다. 따라서 무인비행체(100)의 안전한 자율비행을 위해서는 지표면으로부터 절대고도 Z값(즉, 비행고도 한계)을 유지해야 하며, 지상에 대한 절대고도 Z값을 유지하기 위한 보정이 있어야 한다. 경로 중간에 있는 개체. 수직 분리가 어려운 절대 고도(Z) 값에 인접한 지상 물체에 대한 회피 경로를 제공해야 할 수 있다.
GPS 정보를 이용하여 고도를 측정시 고도 Z 값을 계산하는 데 한계가 있다고 가정하면 주변 인프라를 통해 오차 범위를 줄여야 한다. 그러나 GPS 고도 측정은 GPS 위성의 기하학적인 배치 상태에 1차적으로 영향을 받고 2차적으로 지상 장애물 및 지형의 영향을 받기 때문에 고도 Z 값을 계산할 수 없거나 동일한 지점에서 오차가 발생할 수 있다.
일 실시예에 따르면, 실제 비행을 통한 경로 상의 고도 Z 값을 추출하기 위해, 우선 3차원 공간에 2차원(2D) 레이어를 구축하기 위해 필요한 LiDAR 스캐닝을 통해 추출된 물체의 포인트 클라우드(point cloud)를 추출할 수 있다.
전파나 빛의 반향으로부터 추출된 포인트 클라우드의 분석을 통해 물체의 특정 지점의 높이 값을 연결한 초기 레이어는 피사체의 재료에 의해 발생하는 전자파 간섭이나 왜곡에 의해 발생하는 오차를 배제하지 못할 수 있으므로 입사각 등의 추출된 값의 검증 및 수정을 통해 보다 안전한 자율 비행 경로를 설정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 무인비행체의 자율항법지도를 작성하는 방법을 도시한 흐름도이다. 그리고, 도 5는 공간 상의 서로 다른 고도의 복수의 레이어를 도시한 것이다.
도 4를 참조하면. 본 발명의 일 실시예에 따른 무인비행체(100)의 자율 비행을 위한 자율항법지도 작성 방법은 표면 스캐닝 데이터로부터 피사체를 식별하는 단계(S110), 자율 비행이 가능한 공간을 레이어로 형성하는 단계(S120) 및 자율 항법 지도를 설정하는 단계(S130)를 포함할 수 있다. 자율항법지도는 무인비행체(100)의 비행고도제한 데이터, 상세 디지털지도, 군사보호구역 또는 비행금지구역 회피 경로정보 중 적어도 하나를 형상화된 레이어에 매칭하여 공간상에서 무인비행체(100)의 비행을 위한 자율항법지도가 될 수 있다. 여기서, 레이어는 3차원 공간에 위도 값(높이 값)을 적용한 2차원 공간을 의미할 수 있다.
여기서, 자율 비행을 용이하게 하는 공간을 레이어로 형성하는 단계(S110)는 지표면을 포착하는 무인비행체(100)에 탑재된 표면 스캐닝 장치에 의해 스캐닝된 물체의 포인트 클라우드를 획득하고, 수집된 포인트를 분석하여 물체를 식별하는 단계를 포함할 수 있다. 무인비행체(100)의 자율비행을 용이하게 하는 포인트 클라우드는 객체의 특정 지점의 추출된 높이 값을 연결하여 공간상의 레이어로 사용된다. 여기서의 포인트 클라우드는 지형 고도 데이터를 이용하여 식별된 물체의 특정 지점의 높이 값을 추출하고, 추출된 특정 높이 값을 연결하여 무인 비행체(100)의 자율 비행을 용이하게 하는 영역 및 고도를 공간상의 레이어로 형성하도록 하는 객체의 포인트이다. 또한, 공간상에 형성된 복수의 레이어들은 서로 독립적이고, 레이어는 지면과 수평한 면을 가지는 것으로 볼 수 있다. 따라서, 무인비행체(100)가 어느 하나의 레이어 상에서 이동한다는 것은 무인비행체(100)의 고도가 유지됨을 의미한다.
또한, 실시예는 레이어에 구축된 무인비행체(100)의 비행을 위한 자율항법지도를 GPS 또는 위치 좌표 보정 장치의 정보를 통해 안전 기준 내에서 무인비행체(100)와 동기화시켜 무인비행체(100)에 적용 가능한 공간지도로 형성하는 단계(S140)를 더 포함할 수 있다.
일 실시예들에 따르면 비가시권의 자율비행 지도를 제공하여 지상물 등으로 고도 값을 일정하게 유지하기 어려운 지역에 대한 조종사의 가시 범위 내 운영의 한계를 극복할 수 있다. 또한 지표 스캐닝 및 영상 촬영 데이터로부터 자율비행 공간을 레이어로 형상화하고 형상화된 레이어에 데이터를 정합하여 고도 값이 반영된 무인비행체(100)의 비행을 위한 지도를 제작할 수도 있다.
다른 측면에서, 무인비행체(100)에 대한 임무에 따라 무인비행체(100)가 비행할 수 있는 지표면으로부터 일정 고도 값을 갖는 레이어를 설정하고, 설정된 레이어 상에서 무인비행체(100)의 항로인 비행 경로를 설정하며, 설정된 레이어와 레이어 상의 비행 경로 정보를 포함하는 자율 항법 지도를 구축할 수 있다. 여기서, 항로는 항로의 지표면에 존재하는 지상물의 위치를 포함하는 적어도 둘 이상의 웨이포인트들로 구성될 수 있다. 그리고 무인비행체(100)의 식별 정보에 따라 임무 별 자율 항법 지도를 구축할 수도 있다. 웨이포인트는 무인비행체(100)에게 할당된 임무를 수행할 수 있는 지점이다. 이에 따라 비가시권의 자율비행 지도를 제공하여 지상물 등으로 고도 값을 일정하게 유지하기 어려운 지역에 대한 조종사의 가시 범위 내 운영의 한계를 극복할 수 있다. 또한, 지표 스캐닝 및 영상 촬영 데이터로부터 자율비행 공간을 레이어로 형상화하고 형상화된 레이어에 데이터를 정합하여 고도 값이 반영된 무인비행체(100) 비행을 위한 지도를 제작할 수 있다.
일부 실시예에서, 레이어 상의 항로인 비행 경로의 구체적인 경로 정보는 무인비행체(100)에게 할당된 작업에 따라 미리 정해진 다양한 비행 경로 중 어느 하나로 결정될 수 있다. 또한, 다양한 비행 경로 중 어느 하나로 결정되는 경우라고 하여도 경로의 세부적인 사항은 사용자가 직접 설정하는 것이 허용될 수 있다.
네비게이션 유닛(154)은 지표 스캐닝 데이터로부터 피사체를 식별하여 자율 비행이 가능한 공간을 레이어로 형성화할 수 있다. 여기서의 레이어는 높이 개념을 포함하는 평면으로 나타낼 수 있다.
네비게이션 유닛(154)은 공간에 다수의 2차원 레이어들을 생성할 수 있고, 레이어들은 수직 분리되어 형성될 수 있다.
네비게이션 유닛(154)은 지표 스캐닝 장치에 의해 스캐닝된 피사체의 포인트 클라우드를 획득할 수 있다. 이때 피사체의 획득된 포인트 클라우드를 사용하여 시설물의 특정 지점의 높이를 추출할 수 있다.
일부 실시예에서, 네비게이션 유닛(154)은 피사체의 각 지점별 높이 정보를 참조할 수 있는 스펙트럼 정보를 생성할 수 있다. 즉, 피사체의 각 지점별 높이에 대한 정보가 스펙트럼 정보에 모두 포함될 수 있다.
네비게이션 유닛(154)은 포인트 클라우드를 분석하여 피사체를 식별할 수 있다. 즉, 피사체의 경계 또는 윤곽을 인식할 수 있고, 이를 기초로 피사체를 교량, 빌딩, 전선, 비닐하우스 등으로 식별할 수 있다.
네비게이션 유닛(154)은 지형 고도 데이터들 중 수치 표면 모형(Digital Surface Model, DSM)이나 수치 지형 모델(Digital Terrain Model, DTM)을 활용하여 식별부에서 식별된 피사체의 특정 지점의 높이 값을 추출할 수 있다. DSM 데이터와 DTM 데이터는 각 국가의 지리 정보를 데이터베이스화 하여 구축하고 있는 정부 기관(예컨대, 한국의 경우에는 국토지리정보원)이나 항공측량 회사로부터 획득될 수 있는 데이터이다.
네비게이션 유닛(154)은 추출된 피사체의 특정 지점의 높이 값을 연결하여 공간에 무인비행체(100)의 자율비행이 가능한 면적과 고도를 레이어로 형상화할 수 있고, 공간에 형상화된 레이어에 무인비행체(100)에게 할당된 작업의 종류 정보, 비행 고도 제한 데이터, 정밀수치 지도, 및 군사보안지역 또는 비행금지 구역을 회피하는 항로 정보 중 적어도 어느 하나 이상에 기초하거나 이들을 정합하여 공간에 무인 비행체의 비행을 위한 구체적인 비행 경로를 설정함으로써 자율항법 지도를 구축할 수 있다. 그리고, 네비게이션 유닛(154)은 레이어에 구축된 무인비행체(100)의 비행을 위한 자율항법 지도를 GPS 또는 위치좌표 보정 장치의 정보를 통해 기 설정된 안전 기준 내에서 무인비행체(100)와 동기화시켜 무인비행체(100)에 적용 가능한 공간 지도로 형상화할 수 있다. 그리고, 네비게이션 유닛(154)은 레이어에 구축된 무인비행체(100)의 비행을 위한 자율항법 지도에 GPS 좌표를 정합하고, 무인비행체(100)의 비행을 위한 자율항법 지도로부터 지상물 이미지의 고도 값을 처리하여 센서 측정 고도 값을 보정할 수 있다. 즉, 레이어에 구축된 무인비행체(100)의 비행을 위한 자율항법 지도에 GPS 좌표를 정합하고, 자율항법 지도로부터 정합된 GPS 좌표에 무인비행체(100)에 탑재된 영상촬영 장치(예, 탑재가 가능한 각종 광학(Optic)기반 영상촬영 장치)의 설정(지표 기준으로 캘리브레이션)된 입사각에 의한 지상물의 해상도 변화 분석을 수행하고, 해상도 변화 분석을 통해 추출된 해상도의 높이 값을 GPS 좌표에 정합하여 초음파 등 반향의 원리를 사용하는 고도 측정 장치의 고도 측정값을 보정할 수 있다.
자율항법지도 데이터는 무인비행체(100)가 자율 비행할 지역 상에는 복수의 레이어에 대한 정보를 포함한다. 도 5에서 도시된 바와 같이, 서로 다른 고도의 제1 및 제2 레이어(L1, L2)에 대한 정보 및 각 레이어 상에서의 무인비행체(100)의 비행 경로 정보가 맵핑될 수 있다. 예시적으로, 제1 레이어(L1)의 비행 경로를 따라 제1 무인비행체(101)가 제1 레이어(L1)에 따른 고도(h1)를 유지하면서 자율 비행할 수 있고, 제2 레이어(L2)의 비행 경로를 따라 제2 무인비행체(102)가 제2 레이어(L2)에 따른 고도(h2)를 유지하면서 자율 비행할 수 있다. 여기서의 비행 경로 정보는 무인비행체(100)에게 할당된 작업을 수행하는데 최적의 경로 정보가 될 수 있으며, 비행 고도 제한 데이터, 정밀수치 지도, 및 군사보안지역 또는 비행금지 구역을 회피하는 항로 정보가 반영되어 최종적으로 결정된 비행 경로가 될 수 있다.
도 6은 무인비행체가 촬영한 경작지 상의 프레임 이미지를 나타낸 것이고, 도 7은 경작지 세부 정보 맵을 생성하는 방법에 대한 흐름도이다.
자율항법지도는 무인비행체(100)가 소정의 고도 상에서 자율 비행을 수행하기 위한 지도에 해당한다. 그러나, 무인비행체(100)는 정해진 비행 경로를 따라 단순히 자율 비행하는 것에 그치는 것이 아닌 자신에게 할당된 임무를 수행해야 하므로 무인비행체(100)가 비행하는 영역의 지표면 상의 특성에 대한 구체적인 정보는 무인비행체(100)로 하여금 신속, 정확 및 효율적인 작업을 수행하는데 도움이 될 수 있다.
도 6 및 도 7을 참조하면, 실시예는 경작지 상의 적어도 하나의 프레임 이미지 데이터를 획득하고(S210), 적어도 하나의 프레임 이미지 데이터에 따라 경작지의 시맨틱 지도를 확정하며(S220), 시맨틱 지도 및 경작지 구조 모델에 따라 경작의 경작 구조 정보를 결정하며(S230) 경작지 세부 정보 맵를 설정할 수 있다(S240).
실시예에서의 경작지는 무인비행체(100)가 비행할 수 있는 영역 중 하나이다. 실시예에서의 이미지 데이터는 동일한 촬영 장치에 의해 촬영된 시계열 상의 이미지일 수도 있고, 복수의 촬영 장치가 동일한 시각에 촬영된 서로 다른 각도 상의 이미지일 수도 있으며, 서로 다른 각도 상의 복수의 촬영 장치에 의해 촬영된 시계열 상의 이미지일 수도 있다. 실시예에서 영상 데이터의 데이터 타입은 제한되지 않으며, 예를 들어, RGB 영상, 그레이 영상, 뎁스 영상, 포인트 클라우드 데이터 등을 포함할 수 있으나, 이에 제한되지 않는다. 실시예에서 영상 데이터의 프레임 수는 실제 수요에 따라 설정할 수 있으며, 예를 들어, 실시간 추적을 경우 영상 데이터의 프레임 수를 줄일 수 있고, 정밀도 추적을 경우 영상 데이터의 프레임 수를 증가시킬 수 있다. 선택적으로, 실시예에서 경작지의 적어도 하나의 프레임 영상 데이터는 실시간으로 획득될 수 있다. 예를 들어, 무인비행체(100)에 장착된 카메라(161)을 통해 경작지 상의 적어도 하나의 프레임 영상 데이터를 실시간으로 획득할 수 있다. 획득된 영상 데이터의 프레임 수는 상기 무인비행체(100)의 속력 및/또는 촬영 장치의 촬영 프레임 속도에 따라 결정될 수 있으며, 예를 들어 프레임 수는 무인비행체(100)의 속도와 음의 상관 관계를 가질 수 있고, 프레임 수는 촬영 프레임 속도와 양의 상관 관계를 가질 수 있다.
실시예에서, 경작지 상의 적어도 하나의 프레임 이미지 데이터를 획득한 후, 네비게이션 유닛(154)은 적어도 하나의 프레임 이미지 데이터에 따라 경작지의 시멘틱 지도를 확정한다. 여기서, 경작지의 시맨틱 맵은 경작지의 시맨틱 정보를 포함한다.
네비게이션 유닛(154)은 경작지의 시멘틱 지도를 확정한 후, 시멘틱 지도 및 경작 구조 모델에 따라 경작지의 경작 구조 정보를 확정한다. 여기서, 경작 구조 모델은 입력된 지도에 근거하여, 지도에 매칭되는 경작 구조 정보를 출력할 수 있다.
선택적으로, 실시예에서의 경작 구조 모델은 미리 훈련 및/또는 온라인 훈련 일 수 있다. 즉, 경작 구조 모델은 경작 구조 정보를 결정하기 전에 미리 훈련된, 즉 오프라인 훈련을 통해 결정된 것일 수도 있고, 경작 구조 정보를 결정함에 있어서 온라인 훈련을 하는 것일 수도 있고, 온라인 훈련에 미리 훈련을 더하여 결정된 것일 수도 있다. 선택적으로, 실시예에서의 경작 구조 모델은 신경망 학습에 기초하여 획득될 수 있고, 예를 들어, 컨볼루션 신경망 학습에 기초하여 획득될 수 있다. 본 실시예는 경작 구조 모델에서 사용되는 신경망의 구체적인 구현 방식에 대해 한정하지 않으며, 예를 들면 AlexNet, VGGNet, GoogleNet, ResNet 등 심도 컨볼루션 신경망 중의 한 가지, 또는 그 중의 한 가지 개선, 또는 그 중의 여러 가지 결합을 채용할 수 있다. 신경망 학습에 의해 얻어진 경작 구조 모델에 기초하여 다양한 복잡한 장면에서의 경작 구조 정보의 추출이 가능하다. 선택적으로, 실시예에서의 경작 구조 정보는 경계선 정보, 경작지 상의 농작물의 종류 정보, 평균 높이 정보, 경작지의 면적 정보, 경작지의 평면 형태 정보를 더 포함할 수 있다. 여기서, 경계선 정보는 인접한 경작지와 이의 경계 그리고 경작지 상의 복수의 마커와의 연관 관계를 나타내기 위해 사용될 수 있다.
실시예에서 제공하는 경작 구조 정보의 추출 방법은, 경작지 상의 적어도 하나의 프레임 이미지 데이터를 획득하고, 적어도 하나의 프레임 이미지 데이터에 따라 경작지의 시맨틱 지도를 확정하고, 시맨틱 지도 및 경작 구조 모델에 따라 경작지의 경작 구조 정보를 확정하고, 경작 구조 정보에 대한 자동 추출을 실현할 수 있다.
실시예는 경작 구조 정보를 추출하여 이를 해당 경작지의 지도 정보에 맵핑하여 경작지 세부 정보 맵을 생성할 수 있다.
실시예는, 무인비행체(100)의 비행 최저 고도 이하에 존재하는 피사체들을 촬영한 프레임 이미지를 분석하여 경작 구조 정보를 추출하여 경작지 세부 정보 맵을 생성할 수 있다. 일부 실시예에서, 전술한 복수의 레이어들 중에서 최저 고도의 레이어가 가지는 고도 값 이하에 존재하는 피사체들을 촬영한 프레임 이미지를 분석하여 경작 구조 정보를 추출하여 경작지 세부 정보 맵을 생성할 수 있다.
실시예는, 무인비행체(100)는 전술한 자율항법지도 데이터와 경작지 세부 정보 맵에 기초하여 미리 설정된 영역 상에서 자율 비행하면서 할당된 작업을 수행할 수 있다.
한편, 전술한 예시는 경작지를 중심으로 설명한 것이나 이에 한정하는 것은 아니고 비행 영역 상의 지표면의 특성 및 작업의 종류에 따라 시맨틱 지도로서의 촬영 대상, 구조 모델의 종류가 달라질 수 있음을 유의해야 한다.
도 8은 복수의 무인비행체가 작업테이블에서 출발하여 자율항법지도에 따라 경작지 상을 비행하며 작업을 수행하고 그 후 또는 중간에 작업테이블으로 회귀하는 것을 설명하기 위한 개략도이다.
도 2 및 도 8을 참조하면, 복수의 무인비행체(100)는 작업테이블(300)에서 출발하여 경작지 상을 자율항법지도에 기초하여 자율 비행하고, 작업을 완료한 후 다시 작업테이블(300)으로 회귀할 수 있다. 일부 실시예에서, 무인비행체(100)는 작업테이블(300)의 도킹 영역(310)에 결합하여 배터리(191)가 충전되거나 경작지에 분사될 각종 비료 등을 저장소에 충전할 수 있다. 무인비행체(100)는 작업 중간에도 배터리(191)가 미리 설정된 기준치 이하가 되어 추가적인 작업을 위한 비행이 적절치 않거나, 저장소의 충전이 필요한 경우 작업테이블(300)으로 회귀한 후 배터리(191)의 충전이나 저장소의 충전을 완료하거나 도구 세트를 장착한 후에 다시 경작지로 비행한 후 나머지 작업을 완료할 수도 있다.
경작지 상에는 복수의 무인비행체(100)가 비행하며 작업을 수행할 수 있고, 이들은 서로 다른 레이어에 따른 고도를 유지하고, 각 레이어에 맵핑된 비행 경로에 따라 비행하며 작업을 수행할 수 있다. 또한, 복수의 무인비행체(100) 각각은 경작지 세부 정보 맵에 기초하여 작업 영역을 명확히 구분할 수 있고 작업 영역 내에서만 작업을 수행할 수 있다. 또한, 복수의 무인비행체(100) 각각은 작업테이블(300)의 도킹 영역(310)에 도킹되면 경작지 세부 정보 맵에 기초하여 경작지 내의 농작물에 적합한 형태의 물질을 저장소에 충전할 수도 있다.
일부 실시예에서, 무인 비행체(100)는 작업테이블(300)에 도킹된 후, 완료할 작업에 따라 다양한 교체 가능한 도구 세트가 무인비행체(100)에 장착될 수 있다.
시스템(10)은 다양한 곡물, 섬유 및 기타 농산물에 대한 수확 도구 세트를 지원할 수 있다. 또한 간단한 국소 제초제 또는 살충제 살포기부터 레이저, 비전 및 고전압 국소 전기를 사용하여 곤충이나 잡초를 제거하는 새롭고 실험적인 시스템에 이르기까지 다양한 해충 방제 방법을 사용하는 다른 도구 세트를 지원할 수 있다.
도 9는 베이스 스테이션의 역할과 베이스 스테이션 내의 복수의 영역들의 역할을 설명하기 위한 것이다.
도 9를 참조하면, 작업을 완료한 복수의 무인비행체(100)는 베이스 스테이션에 집인한 후, 호버링 영역에서 호버링한 후 자신의 순서에 맞춰 파킹 영역으로 비행한 후 파킹 영역 상의 일 지점에 착륙할 수 있다. 또한, 작업을 수행할 복수의 무인비행체(100)는 파킹 영역에서 호버링 영역으로 이동하고, 자신의 순서에 맞춰 충전 영역으로 이동할 수 있다. 그리고, 충전 영역에서 무인비행체(100)의 배터리 및/또는 저장소가 충전될 수 있다. 그 후, 무인비행체(100)는 충전 영역에서 도구 세트 지원 영역으로 이동한 후에 작업에 필요한 도구 세트를 장착하고, 작업 영역으로 이동할 수 있다. 여기서의 충전 영역은 도 7에서 설명한 작업테이블(300)이 될 수 있다. 베이스 스테이션에 진입한 복수의 무인비행체(100)들은 컴퓨팅 장치(200)의 제어 하에 순서대로 다양한 영역을 이동하며 각 영역에서의 주어진 역할을 수행할 수 있다. 그리고, 호버링 영역 상의 복수의 무인비행체(100)들 각각은 고도가 서로 다른 복수의 레이어들 중 어느 하나의 고도를 유지하며 호버링하므로 서로간의 충돌은 방지된다.
도 10 및 도 11은 복수의 무인비행체가 비행 영역을 비행하는 방법을 설명하기 위한 것이다.
복수의 무인비행체(100)는 동일한 비행 영역(11)상에서 동일한 작업 또는 서로 상이한 작업을 수행할 수 있다. 예시적으로 복수의 무인비행체(100)들의 중량을 감소시켜 오랜 시간의 비행이 가능하도록 하기 위하여 예시적으로 작업에 필요한 비료의 총량을 복수의 무인비행체(100)가 나누어 분사할 수 있도록 할 수 있다. 일부 실시예에서, 복수의 무인비행체(100) 중에서 어느 하나의 무인비행체는 제1 작업을 하고, 다른 하나의 무인비행체는 제1 작업과는 상이한 제2 작업을 수행할 수도 있다.
도 10을 참조하면, 제1 무인비행체(101)는 도 5에서 설명한 바와 같은 미리 설정된 제1 레이어에 의한 제1 고도(h1)를 유지하며 자율 비행할 수 있고, 제2 무인비행체(102)는 제2 레이어에 의한 제2 고도(h2)를 유지하며 자율 비행할 수 있다. 제1 및 제2 무인비행체(101, 102)를 서로간의 미리 설정된 높이 차이를 유지하며 비행할 수 있다.
제1 및 제2 무인비행체(101, 102)는 상호간의 위치 정보를 서로 지속적으로 교환할 수 있다. 도 11을 참조하면, 제1 및 제2 무인비행체(101, 102)는 센싱된 풍량과 풍향 정보에 기초하여 서로간의 이격 거리를 조절하기 위하여 각각의 레이어의 평면 상에서 다양한 방향으로의 이동하여 위치를 조절할 수 있다.
예시적으로, 제1 무인비행체(101)가 제1 비료를 분사하고, 제2 무인비행체(102)가 제2 비료를 분사한다고 가정하면, 제2 고도(h2) 상에서의 제1 무인비행체(101)의 제1 비료가 분사되는 제1 영역(a1)을 추정할 수 있다. 그리고, 제1 영역(a1) 내에 제2 무인비행체(102)가 위치하지 않는 것으로 판단하면 제1 무인비행체(101)는 제2 무인비행체(102)와의 이격 거리를 유지할 수 있다. 이와 달리, 소정의 풍량의 역방향의 풍향(WD)이 발생한 것으로 감지되어 제1 영역(a1) 내에 제2 무인비행체(102)가 위치하는 것으로 판단하면 제1 무인비행체(101)는 제1 고도(h1)를 유지하며 제2 무인비행체(102)와의 이격 거리를 증가시키는 방향으로 이동할 수 있다. 따라서, 제1 무인비행체(101)로부터 출력되는 제1 비료가 제2 무인비행체(102)에 분사되는 것을 방지하고, 제2 무인비행체(102)의 추력에 의해 제1 비료가 원하지 않는 방향으로 분사되는 것을 방지할 수 있다.
도 12에서 자율항법지도 상에 확인되지 않은 장애물을 회피하는 방법을 설명하기 위한 것이다.
비행 경로 상에서 자율항법지도 상에서 확인되지 않은 장애물이 존재하는 경우 다른 레이어로 회피 이동하면서 자율 비행을 유지하는 방법을 설명한다.
도 12의 (a)를 참조하면, 제1 레이어(L1) 상의 비행 경로를 형성하는 복수의 제1 경로 포인트(LP1)가 도시되어 있다. 제1 경로 포인트(LP1)들을 서로 연결하면 제1 레이어(L1) 상에서의 제1 비행 경로가 된다. 그리고, 제2 레이어(L2) 상의 비행 경로를 형성하는 복수의 제2 경로 포인트(LP2)가 도시되어 있고, 제2 경로 포인트(LP2)들을 서로 연결하면 제2 레이어(L2) 상에서의 제2 비행 경로가 된다.
무인비행체(100)는 자신의 비행 경로가 설정된 제2 레이어(L2) 상의 제2 비행 경로를 따라 자율 비행하다 전방에 장애물(도시된 예에 따르면, 나무)을 감지하면, 제2 레이어(L2)보다 고도가 높은 상위 레이어인 제1 레이어(L1)로 상승 비행한 후, 상위 레이어에서 경로 포인트를 따라 비행하다 다시 제1 레이어(L1)로 하강 비행한 후 제1 레이어(L1) 상의 경로 포인트에 의한 비행 경로를 따라 자율 비행할 수 있다.
무인비행체(100)는 최초 자신에게 할당되지 않은 레이어인 제1 레이어(L1) 상에서 자율 비행할 때는 제2 레이어(L2) 상의 제2 경로 포인트(LP2)가 수직 방향으로 제1 레이어(L1) 상에 매핑된 대체 포인트(RP)들을 따라 비행할 수 있다.
즉, 무인비행체(100)는 제2 레이어(L2)의 N번째 제2 경로 포인트에 도달한 후 제1 레이어(L1)로 상승 비행할 때 N+1번째 제2 경로 포인트가 수직 방향으로 맵핑된 제1 레이어(L1) 상의 대체 포인트(RP)로 이동할 수 있다. 여기서의 N번째 제2 경로 포인트는 무인비행체(100)가 장애물을 인식한 시점에서의 앞으로 경유할 첫번째 제2 경로 포인트가 될 수 있다. 그리고, 무인비행체(100)가 나머지 대체 포인트(RP)을 따라 제1 레이어(L1) 상에서 이동할 수 있다. 그리고, 무인비행체(100)가 제1 레이어(L1)의 마지막 대체 포인트에 도달한 후 제2 레이어(L2)로 하강 비행할 때, 마지막 대체 포인트를 맵핑한 제2 레이어(L2) 상의 제2 경로 포인트의 다음번 제2 경로 포인트로 이동할 수 있다. 그리고, 무인비행체(100)는 제2 레이어(L2) 상의 나머지 제2 경로 포인트를 따라 자율 비행할 수 있다. 일부 실시예에서, 무인비행체(100)가 제1 레이어(L1) 상에서 대체 포인트(RP)를 따라 이동할 때 무인비행체(100)는 제2 레이어(L2) 상에서 이동시 감지했던 장애물이 더 이상 자신의 하측 방향에서 감지되지 않는다고 판단할 때까지 대체 포인트(RP)를 따라 이동할 수 있다. 실시예는, 갑작스러운 장애물이나 자율항법지도 상에 반영되지 않은 장애물이거나 자율항법지도 상에 반영되어 있었으나 형태나 크기가 가변적인 피사체로 인하여 비행 경로 상에 장애물로 취급될 수 있는 장애물을 인식한 경우, 다른 레이어로 이동하고, 다른 레이어 상에서도 본래의 무인비행체(100)에게 할당된 레이어 상에서의 비행 경로와 동일한 경로로 다른 레이어 상에서도 비행하도록 하여 비행 경로를 형태를 최대한 유지하며 자율 비행을 할 수 있다.
한편, 무인비행체(100)가 장애물을 인식한 경우, 상위 레이어로 이동하는 것으로 설명하였으나, 이에 제한되는 것은 아니고 하위 레이어로 이동할 수 있고, 이 경우, 본래 이동하던 레이어 상의 경로 포인트는 하측 방향에 위치한 하위 레이어 상에 맵핑되어 하위 레이어 상에 대체 포인트가 설정될 수 있다.
도 12의 (b)를 참조하면, 제1 레이어(L1) 상의 제1 경로 포인트(LP1)를 따라 제1 무인비행체(101)가 자율 비행하고, 제2 레이어(L2)의 제2 경로 포인트(LP2)를 따라 제2 무인비행체(102)가 자율 비행한다고 가정하면, 도 12의 (a)에서 설명한 바와 같이 제2 무인비행체(102)는 장애물을 인식하면 자신에게 할당되지 않은 제1 레이어(L1) 상의 대체 포인트(RP)를 따라 비행하면서 장애물을 회피할 수 있다.
이 경우, 제1 레이어(L1) 상의 제1 경로 포인트(LP1)를 따라 자율 비행하는 제1 무인비행체(101) 부분적으로 비행 경로가 변경될 수 있다.
제1 레이어(L1) 상에는 위험 영역 레이어(DA)가 설정될 수 있다. 위험 영역 레이어(DA)는 제1 레이어(L1)와 중첩될 수 있고, 대체 포인트(RP)를 지나는 가상의 평면이 될 수 있다. 그리고, 위험 영역 레이어(DA)의 모든 경계점은 모든 대체 포인트(RP)들과 미리 설정된 수평 거리만큼 이격되도록 위험 영역 레이어(DA)가 설정될 수 있다. 제1 레이어(L1) 상의 모든 제1 경로 포인트(LP1)들 중에서 위험 영역 레이어(DA)와 중첩되는 제1 경로 포인트는 제1 레이어(L1)의 상위 레이어(L0)로 맵핑되어 상위 레이어(L0) 상에는 제1 경로 포인트를 대체하는 또 다른 대체 포인트가 설정될 수 있다. 그리고, 제1 무인비행체(101)는 상위 레이어(L0)로 이동하여 대체 포인트를 따라 비행할 수 있다. 상위 레이어(L0) 상의 대체 포인트의 설정 방법은 도 12(a)에서 설명한 바와 같고, 제1 무인 비행체(101)가 비행하는 방식 또한 도 12(a)에서 무인비행체(100)가 비행하는 방식과 동일하게 적용될 수 있다. 실시예에서, 제1 무인비행체(101)의 제1 레이어(L1) 상에서의 비행 경로 상에서는 장애물이 인식되지 않는다고 하여도, 다른 레이어 상의 무인비행체의 회피 기능에 따라 자신의 레이어(L1)에 다른 무인비행체가 진입하여 비행시 상호 충돌 문제가 발생하거나 다른 무인비행체를 장애물로 인식하게 될 수 있다. 따라서, 제1 무인비행체(101) 또한 회피 기능을 할 수 있도록 하면서도 위험 영역으로 인식되는 범위를 고려하여 맵핑할 제1 무인비행체(101)의 경로 포인트의 범위를 결정하여 다른 무인비행체와의 충돌 문제 등을 방지할 수 있다.
도 13은 장애물의 인식과 다른 레이어로의 회피 비행 및 경로 포인트 간의 거리 정보의 설정 방법에 관한 개략도이다.
도 13에 도시된 레이어 상의 비행 경로는 장애물을 인식하지 못한 상태에서 최초 설정된 비행 경로이다.
도 13을 참조하면, 레이어(L) 상의 비행 경로는 복수의 경로 포인트로 구성될 수 있다. 무인비행체(100)는 자신에게 할당된 레이어(L) 상의 경로 포인트(LP)를 경유하면서 비행 경로를 따라 비행하게 된다. 일부 실시예에서, 최인접한 경로 포인트 상호간의 최대 이격 거리는 미리 설정된 무인비행체(100)의 최대 속도, 미리 설정된 무인비행체(100)가 전방의 장애물의 존재를 인식하는 시점에서의 무인비행체(100)와 장애물 사이의 최소 이격 거리 값(rl)에 기초하여 결정될 수 있다. 여기서의 최소 이격 거리 값(rl)은 무인비행체(100)의 자체 성능에 따라서 달라지는 값으로 자율항법지도 설정 시 무인비행체(100)의 자체의 성능을 고려하여 미리 결정될 수 있다.
도 13의 (a)를 참조하면, 임의의 경로 포인트에서 다음 경로 포인트까지의 비행 거리(l1, l2, l3, l4, l5, l6)는 지속적으로 달라질 수 있다. 다만, 최인접한 경로 포인트 사이의 비행 거리(l1, l2, l3, l4, l5, l6)를 빗변으로 하는 직각삼각형을 고려할 수 있다. 이 때, 모든 직각삼각형의 밑변은 x1이 될 수 있다. 일부 실시예에서, 모든 직각삼각형의 밑변의 값은 동일하게 경로 포인트가 설정될 수 있다. 그리고, 직각삼각형에서 최인접한 두개의 경로 포인트 중 출발 지점에 대응하는 경로 포인트를 꼭지점하고 해당 꼭지점의 각도를 tehta로 정의한다. 그리고, 여기서의 x1은 “최인전합 경로 포인트 사이의 무인비행체의 비행거리”* ”cos(theta)” 값이 될 수 있다. 즉, “최인전합 경로 포인트 사이의 무인비행체의 비행거리"와 cos(theta)의 곱으로 정의될 수 있다.
무인비행체(100)가 장애물을 인식할 때의 무인비행체(100)와 장애물 사이의 거리를 rl로 정의한다. rl은 레이어(L)의 길이 방향과 수평한 방향으로 무인비행체(100)와 장애물 사이의 거리로 정의할 수 있다.
무인비행체(100)는 장애물의 효율적인 회피를 위해서 무인비행체(100)와 장애물 사이의 최소 충돌 방지 거리(ep)에 도달하기 전에 회피 비행을 해야 한다고 가정한다. 최소 충돌 방지 거리(ep)는 레이어(L)의 길이 방향과 수평한 방향으로 무인비행체(100)와 장애물 사이의 거리로 정의할 수 있다.
무인비행체(100)가 l1 비행 거리에 대응하는 경로로 이동하는 중에 장애물을 인식하면 앞으로 경유할 경로 포인트에서 회피 비행을 할 수 있다. 회피 비행이 개시되는 경로 포인트와 장애물 사이의 직선 거리는 최소 충돌 방지 거리(ep)보다 크기 때문에 무인비행체(100)와 장애물의 충돌 문제가 발생되지 않고 안전하게 회피 비행을 할 수 있다.
다른 예로, 도 13의 (b)를 참조하면, “최인전합 경로 포인트 사이의 무인비행체의 비행거리”*”cos(theta)”값인 x2는 (a)에서의 x1보다는 큰 값을 가진다는 것을 알 수 있다. 이 경우, 무인비행체(100)가 l1 비행 거리에 대응하는 경로로 이동하는 중에 장애물을 인식하면 앞으로 경유할 경로 포인트에서 회피 비행을 할 수 있다. 회피 비행이 개시되는 경로 포인트와 장애물 사이의 직선 거리는 최소 충돌 방지 거리(ep)보다 작기 때문에 무인비행체(100)가 회피 비행이 개시되는 경로 포인트에서 상위나 하위 레이어로 회피 비행시 장애물의 충돌 문제가 발생할 수 있다. 따라서, “최인전합 경로 포인트 사이의 무인비행체의 비행거리”*”cos(theta)”의 최대치를 제한함으로써 예상치 못한 장애물에 대한 안전한 회피 비행이 가능하도록 한다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (6)

  1. 표면 스캐닝 데이터를 생성하는 단계;
    상기 표면 스캐닝 데이터로부터 피사체의 포인트 클라우드를 획득하는 단계;
    상기 포인트 클라우드의 분석에 기초하여 상기 피사체들을 식별하는 단계;
    상기 포인트 클라우드의 분석에 기초하여 상기 피사체들의 특정 포인트들을 연결하는 복수의 레이어를 설정하는 단계; 및
    상기 복수의 레이어 중 어느 하나의 레이어 상에서 제1 및 제2 무인비행체가 자율 주행 가능하도록 하는 비행 경로를 설정하여 자율항법지도를 설정하는 단계;를 포함하고,
    상기 제1 및 제2 무인비행체가 비행 경로 상에서 상기 자율항법지도 상에 반영되지 않은 장애물을 인식하면 상기 제1 및 제2 무인비행체 각각에 할당된 레이어와 다른 레이어로 회피 이동하되 상기 제1 및 제2 무인비행체 각각에 할당된 레이어 상에서의 비행 경로의 형태를 유지하며 상기 다른 레이어 상에서 비행하고,
    상기 제1 및 제2 무인비행체는 서로 미리 설정된 높이 차이를 유지하고, 풍량과 풍향 정보에 기초하여 서로간의 이격 거리를 조절하기 위하여 할당된 레이어의 평면 상에서 위치를 조절하며 비행하고
    제1 고도로 비행하는 상기 제1 무인비행체에서 분사되는 제1 비료가 상기 제1 고도보다 낮은 제2 고도 상에 분사되는 제1 영역을 추정하여 상기 제1 영역에 상기 제2 고도로 비행하는 상기 제2 무인비행체가 위치하지 않는 경우 상기 제1 및 제2 무인비행체 사이의 이격 거리를 유지하고, 현재 풍향과 역방향의 풍향이 발생한 것으로 감지되어 상기 제1 영역 내에 상기 제2 무인비행체가 위치하는 경우 상기 제2 무인비행체가 상기 제1 영역 내에서 벗어나도록 상기 제1 및 제2 무인비행체 사이의 이격 거리를 조절하고,
    상기 제1 무인비행체는 제1 레이어 상의 제1 경로 포인트를 따라 자율 비행하고, 상기 제2 무인비행체는 상기 제1 레이어보다 낮은 고도를 가진 제2 레이어 상의 제2 경로 포인트를 따라 자율 비행하고, 상기 제2 무인비행체는 장애물을 인식하면 상기 제1 레이어와 중첩되고 모든 경계점이 상기 제1 레이어 상의 제1 대체 포인트와 미리 설정된 거리만큼 이격된 위험 영역 레이어가 설정되고, 상기 경로 포인트들 중 상기 위험 영역 레이어와 중첩되는 제1 경로 포인트는 상기 제1 레이어의 상위 레이어로 맵핑되어 상기 상위 레이어 상에는 상기 중첩되는 제1 경로 포인트의 제2 대체 포인트가 설정되어 상기 제2 무인비행체는 상기 제1 대체 포인트를 따라 비행하고, 상기 제1 무인비행체는 상기 제2 대체 포인트를 따라 비행하고
    상기 제1 및 제2 레이어 각각의 경로 포인트 중 최인접한 경로 포인트 상호간의 최대 이격 거리는 미리 설정된 무인비행체의 최대 속도, 무인비행체가 전방의 장애물의 존재를 인식하는 시점에서의 무인비행체와 상기 장애물 사이의 최소 충돌 방지 거리 값에 기초하여 결정되고,
    최인접한 경로 포인트 사이의 비행 거리를 빗변으로 하는 직각삼각형에서 최인접한 경로 포인트 중 출발 지점에 대응하는 경로 포인트를 꼭지점으로 할 때 최인접한 경로 포인트 사이의 무인비행체의 비행거리와 cos(꼭지점의 각도)의 곱 연산의 값의 최대치는 상기 최소 충돌 방지 거리 값에 기초하여 설정되고, 최인접한 경로 포인트 사이의 비행 거리를 빗변으로 하는 모든 직각삼각형에서 최인접한 경로 포인트 사이의 무인비행체의 비행거리와 cos(꼭지점의 각도)의 곱 연산의 값은 동일한
    무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법.
  2. 삭제
  3. 제1 항에 있어서,
    공간에 형상화된 레이어에 비행 고도 제한 데이터, 정밀수치 지도, 및 군사보안지역 또는 비행금지 구역을 회피하는 항로 정보 중 적어도 어느 하나 이상을 정합하여 공간에 무인비행체의 비행을 위한 자율항법 지도를 구축하는
    무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법.
  4. 제3 항에 있어서,
    무인비행체가 비행 영역 상을 촬영한 적어도 하나의 프레임 이미지 데이터를 획득하는 단계;
    상기 적어도 하나의 프레임 이미지 데이터에 기초하여 상기 비행 영역 내의 경작지의 시맨틱 지도를 확정하는 단계; 및
    상기 시맨틱 지도 및 경작지 구조 모델에 따라 경작 구조 정보를 결정하여 경작지 세부 정보 맵을 설정하는 단계;를 더 포함하고,
    상기 경작지 구조 모델은 신경망 학습에 기초하여 획득되는
    무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법.
  5. 제4 항에 있어서,
    상기 프레임 이미지 데이터는 상기 복수의 레이어들 중에서 최저 고도의 레이어가 가지는 고도 값 이하에 존재하는 피사체들을 촬영한 프레임 이미지 데이터인
    무인비행체가 자율항법지도에 기초하여 자율 주행하는 방법.
  6. 삭제
KR1020210125107A 2021-09-17 2021-09-17 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템 KR102467855B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210125107A KR102467855B1 (ko) 2021-09-17 2021-09-17 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210125107A KR102467855B1 (ko) 2021-09-17 2021-09-17 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템

Publications (1)

Publication Number Publication Date
KR102467855B1 true KR102467855B1 (ko) 2022-11-16

Family

ID=84236002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210125107A KR102467855B1 (ko) 2021-09-17 2021-09-17 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템

Country Status (1)

Country Link
KR (1) KR102467855B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116841300A (zh) * 2023-08-31 2023-10-03 未岚大陆(北京)科技有限公司 工作地图生成方法、作业方法、控制方法和相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170002191A (ko) * 2015-06-29 2017-01-06 인하공업전문대학산학협력단 무인비행체의 충돌회피 제어방법
KR20170080354A (ko) * 2015-12-31 2017-07-10 자이로캠주식회사 무인기 안전 비행을 위한 가상적 스카이웨이와 이를 적용한 관제시스템 및 무인기 항법장치와 서비스
KR20170101776A (ko) * 2016-02-29 2017-09-06 팅크웨어(주) 무인 비행체 항로 구축 방법 및 시스템
KR20170111921A (ko) * 2016-03-30 2017-10-12 팅크웨어(주) 무인 비행체 제어 방법 및 시스템
KR20190001324A (ko) 2017-06-27 2019-01-04 박소현 드론 비행을 위한 공중 교통체계와 그 공중 교통체계 하의 드론 자율 비행 시스템 및 방법
KR20190068955A (ko) * 2017-12-11 2019-06-19 숭실대학교산학협력단 무인 항공기의 비행 시뮬레이션 장치 및 이를 이용한 무인 항공기 비행 시뮬레이션 시스템
KR102187654B1 (ko) * 2020-07-09 2020-12-07 주식회사 이노드 저고도 무인 비행체 및 이를 포함하는 작물 재배 정보 획득 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170002191A (ko) * 2015-06-29 2017-01-06 인하공업전문대학산학협력단 무인비행체의 충돌회피 제어방법
KR20170080354A (ko) * 2015-12-31 2017-07-10 자이로캠주식회사 무인기 안전 비행을 위한 가상적 스카이웨이와 이를 적용한 관제시스템 및 무인기 항법장치와 서비스
KR20170101776A (ko) * 2016-02-29 2017-09-06 팅크웨어(주) 무인 비행체 항로 구축 방법 및 시스템
KR20170111921A (ko) * 2016-03-30 2017-10-12 팅크웨어(주) 무인 비행체 제어 방법 및 시스템
KR20190001324A (ko) 2017-06-27 2019-01-04 박소현 드론 비행을 위한 공중 교통체계와 그 공중 교통체계 하의 드론 자율 비행 시스템 및 방법
KR20190068955A (ko) * 2017-12-11 2019-06-19 숭실대학교산학협력단 무인 항공기의 비행 시뮬레이션 장치 및 이를 이용한 무인 항공기 비행 시뮬레이션 시스템
KR102187654B1 (ko) * 2020-07-09 2020-12-07 주식회사 이노드 저고도 무인 비행체 및 이를 포함하는 작물 재배 정보 획득 시스템
KR102300799B1 (ko) * 2020-07-09 2021-09-10 주식회사 이노드 작물 상태 판단 장치 및 이를 포함하는 작물 재배 정보 서비스 플랫폼

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116841300A (zh) * 2023-08-31 2023-10-03 未岚大陆(北京)科技有限公司 工作地图生成方法、作业方法、控制方法和相关装置
CN116841300B (zh) * 2023-08-31 2023-12-19 未岚大陆(北京)科技有限公司 工作地图生成方法、作业方法、控制方法和相关装置

Similar Documents

Publication Publication Date Title
US11794890B2 (en) Unmanned aerial vehicle inspection system
US20210072745A1 (en) Systems and methods for uav flight control
US20210116943A1 (en) Systems and methods for uav interactive instructions and control
US20230213931A1 (en) Unmanned Aerial Vehicle Inspection System
US11218689B2 (en) Methods and systems for selective sensor fusion
US20220234733A1 (en) Aerial Vehicle Smart Landing
CN110062919B (zh) 递送车辆的放下地点规划
US9513635B1 (en) Unmanned aerial vehicle inspection system
JP7263630B2 (ja) 無人航空機による3次元再構成の実行
JP6390013B2 (ja) 小型無人飛行機の制御方法
US11726501B2 (en) System and method for perceptive navigation of automated vehicles
US11725940B2 (en) Unmanned aerial vehicle control point selection system
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
Thakoor et al. BEES: Exploring mars with bioinspired technologies
WO2020087297A1 (zh) 一种无人机测试方法、设备及存储介质
CN113156998A (zh) 一种无人机飞控系统及控制方法
JP2023041675A (ja) ドローン作業支援システム及びドローン作業支援方法
KR102467855B1 (ko) 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
Kamat et al. A survey on autonomous navigation techniques
Al-Kaff Vision-based navigation system for unmanned aerial vehicles
KR102289752B1 (ko) Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법
Zhang et al. Visual navigation based on stereo camera for water conservancy UAVs
AU2020217371A1 (en) A method of surveying a target
AZRAD et al. Localization of Small Unmanned Air Vehicle in GPS-Denied Environment Using Embedded Stereo Camera

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant