KR102385820B1 - 내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기 - Google Patents

내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기 Download PDF

Info

Publication number
KR102385820B1
KR102385820B1 KR1020207005722A KR20207005722A KR102385820B1 KR 102385820 B1 KR102385820 B1 KR 102385820B1 KR 1020207005722 A KR1020207005722 A KR 1020207005722A KR 20207005722 A KR20207005722 A KR 20207005722A KR 102385820 B1 KR102385820 B1 KR 102385820B1
Authority
KR
South Korea
Prior art keywords
point
area
depth image
navigation chart
information
Prior art date
Application number
KR1020207005722A
Other languages
English (en)
Other versions
KR20200031165A (ko
Inventor
리창 정
펑 류
Original Assignee
광저우 엑스에어크래프트 테크놀로지 씨오 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 filed Critical 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디
Publication of KR20200031165A publication Critical patent/KR20200031165A/ko
Application granted granted Critical
Publication of KR102385820B1 publication Critical patent/KR102385820B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B64C2201/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은, 무인 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계(S110); 현재 비행 위치, 자세 정보 및 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계(S120); 및 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계(S130)를 포함하는 내비게이션 차트 구성 방법을 제공한다. 본 발명은 자동 장애물 회피 방법, 장애물 회피 장치, 단말기 및 무인 항공기(800)를 더 제공한다.

Description

내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기
본 발명은 항공기(aerial vehicle) 기술분야에 관한 것으로, 구체적으로, 본 발명은 내비게이션 차트 구성 방법, 자동 장애물 회피 방법 및 장치, 단말기에 관한 것이다.
과학기술이 발전함에 따라, 드론과 같은 항공기가 공중 촬영, 농업, 식물 부호, 마이크로 셀카, 택배 운송, 재난 구조, 야생동물 관찰, 전염병 모니터링, 측량, 신문 보도, 전력 순시 검사, 구재, 영상 촬영 등 분야에서 광범위하게 응용되고 있다.
선행기술에서, 항공기의 작업 항로는 지면 제어 장치가 지상국 근거지 블록 정보에 의해 미리 자동으로 생성된 스캔 항로이다. 스캔 항로는 미리 생성된 것이고, 작업 후의 귀항 경로 조차도 모두 이륙하기 전에 생성된 것이므로, 일시적인 태스크 변화를 대응할 수 없는데, 예를 들어, 항공기가 미리 생성된 스캔 항로에 따라 작업할 경우, 사용자는 항공기가 미리 계획하지 않은 작업 항로의 하나의 작업 영역에 대해 동시에 작업을 진행해야 하거나, 항공기가 미리 생성된 스캔 항로에 따라 작업할 경우, 사용자는 항공기가 미리 계획하지 않은 미지의 장애물에 대해 자동 장애물 회피 등을 진행할 수 있도록 해야 한다.
본 발명은 기존 방식의 결점에 대해, 작업 항로를 동태적으로 생성하여 일시적인 태스크 변화를 효과적으로 대응할 수 있도록, 선행기술에서 존재하는 작업 항로 계획 방식이 일시적인 태스크 변화를 대응할 수 없는 문제를 해결하는 내비게이션 차트 구성 방법, 자동 장애물 회피 방법 및 장치, 단말기를 제공한다.
본 발명의 실시예는 제1 양태에 따라,
상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계;
상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계; 및
각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트(local navigation chart)에 투영하는 단계를 포함하는 내비게이션 차트 구성 방법을 제공한다.
본 발명의 실시예는 제2 양태에 따라,
상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계;
상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계;
각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계 - 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함함 - ;
서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 상기 장애물 영역에 대해 장애물 회피를 실행하도록 지시하는 단계;
사용자에 의해 설정된, 장애물 영역 및 작업 경계 영역을 지시하기 위한 측량 데이터, 및 상기 국부 내비게이션 차트 중 장애물 영역을 지시하기 위한 3차원 위치 정보를 획득하는 단계; 및
기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하여 상기 항공기가 상기 장애물 영역 및 상기 작업 경계 영역에 대해 장애물 회피를 실행하도록 지시하는 단계를 포함하는 장애물 회피 방법을 더 제공한다.
본 발명의 실시예는 제3 양태에 따라,
상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 정보 획득 모듈;
상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 3차원 위치 정보 획득 모듈; 및
각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 투영 모듈을 포함하는 항공기 내비게이션 차트 구성 장치를 더 제공한다.
본 발명의 실시예는 제4 양태에 따라,
상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 제1 정보 획득 모듈;
상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 3차원 위치 정보 획득 모듈;
각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 투영 모듈 - 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함함 - ;
서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 상기 장애물 영역에 대해 장애물 회피를 실행하도록 지시하는 제1 영역 설정 모듈;
사용자에 의해 설정된, 장애물 영역 및 작업 경계 영역을 지시하기 위한 측량 데이터, 및 상기 국부 내비게이션 차트 중 장애물 영역을 지시하기 위한 3차원 위치 정보를 획득하는 제2 정보 획득 모듈; 및
기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하여 상기 항공기가 상기 장애물 영역 및 상기 작업 경계 영역에 대해 장애물 회피를 실행하도록 지시하는 제2 영역 설정 모듈을 포함하는 장애물 회피 장치를 더 제공한다.
본 발명의 실시예는 제5 양태에 따라, 메모리, 프로세서, 및 메모리에 저장되고 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행할 경우 임의의 실시예에 따른 방법의 단계를 수행하는 단말기를 더 제공한다.
본 발명의 실시예는 제6 양태에 따라, 메모리, 프로세서, 및 메모리에 저장되고 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행할 경우 임의의 실시예에 따른 방법의 단계를 수행하는 단말기를 더 제공한다.
본 발명의 실시예는 제7 양태에 따라, 저장된 프로그램을 포함하고, 상기 프로그램이 실행될 경우 상기 저장 매체가 위치한 기기가 상기 제1 양태에 따른 내비게이션 차트 구성 방법을 수행하도록 제어하는 저장 매체를 더 제공한다.
본 발명의 실시예는 제8 양태에 따라, 저장된 프로그램을 포함하고, 상기 프로그램이 실행될 경우 상기 저장 매체가 위치한 기기가 상기 제2 양태에 따른 장애물 회피 방법을 수행하도록 제어하는 저장 매체를 더 제공한다.
본 발명의 실시예는 제9 양태에 따라, 통신 모듈, 센서, 제어기, 저장 매체를 포함하고, 상기 센서는 이미지 센서, GPS 수신기, RTK 위치 결정 센서, 관성 센서를 포함하며,
상기 통신 모듈은 지면 제어 장치와 통신하고,
상기 GPS 수신기 및 위치 결정 센서는 무인 항공기의 현재 비행 위치를 결정하며,
상기 관성 센서는 무인 항공기의 자세 정보를 결정하고,
상기 이미지 센서는 현재 비행 위치에서 깊이 이미지를 탐지하며,
상기 제어기는 상기 저장 매체와 연결되고, 상기 저장 매체는 프로그램을 저장하며, 상기 프로그램이 실행될 경우 제1 양태에 따른 내비게이션 차트 구성 방법의 단계를 수행하는 무인 항공기를 더 제공한다.
본 발명의 실시예는 제10 양태에 따라, 통신 모듈, 센서, 제어기, 저장 매체를 포함하고, 상기 센서는 이미지 센서, GPS 수신기, RTK 위치 결정 센서, 관성 센서를 포함하며,
상기 통신 모듈은 지면 제어 장치와 통신하고,
상기 GPS 수신기 및 위치 결정 센서는 무인 항공기의 현재 비행 위치를 결정하며,
상기 관성 센서는 무인 항공기의 자세 정보를 결정하고,
상기 이미지 센서는 현재 비행 위치에서 깊이 이미지를 탐지하며,
상기 제어기는 상기 저장 매체와 연결되고, 상기 저장 매체는 프로그램을 저장하며, 상기 프로그램이 실행될 경우 제2 양태에 따른 장애물 회피 방법의 단계를 수행하는 무인 항공기를 더 제공한다.
상기 내비게이션 차트 구성 방법, 자동 장애물 회피 방법 및 장치, 단말기는, 항공기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트를 동태적으로 생성하고, 항공기가 비행 과정에서 획득한 위치 정보, 자세 정보 및 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 분석하며, 상기 각각의 포인트의 3차원 위치 정보는 항공기가 비행 과정에서 만난 미지의 장애물의 정보일 수 있고, 항공기가 비행 과정에서 만난 미리 계획하지 않은 다른 물체의 정보일 수도 있으며, 각각의 포인트의 3차원 위치 정보를 국부 내비게이션 차트에 투영하면 상기 국부 내비게이션 차트에 따라 실시간 작업 항로 계획을 진행할 수 있다. 작업 항로는 항공기가 비행 과정에서 획득한 정보에 따라 동태적으로 생성된 것이므로, 일시적인 태스크 변화를 대응할 수 있는데, 예를 들어, 미리 계획하지 않은 작업 항로의 하나의 작업 영역에 대해 동시에 작업을 진행할 수 있거나, 미지의 장애물이 위치한 영역에 대해 장애물 회피 등을 진행할 수 있다.
본 발명의 상술한 내용 및/또는 부가된 양태 및 장점은 아래 도면을 결부한 실시예에 대한 설명에서 명확하고 쉽게 이해될 수 있도록 한다.
도 1은 본 발명의 내비게이션 차트 구성 방법 일 실시예의 흐름 모식도이다.
도 2는 본 발명의 기설정된 영역 결정 방법의 일 구체적 실시예의 모식도이다.
도 3은 본 발명의 항공기 내비게이션 차트 구성 장치의 일 실시예의 구조 모식도이다.
도 4는 본 발명의 장애물 회피 방법의 일 실시예의 흐름 모식도이다.
도 5는 본 발명의 전역 내비게이션 차트 경계 회득 방식의 일 구체적 실시예의 모식도이다.
도 6은 본 발명이 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하는 일 구체적 실시예의 모식도이다.
도 7은 본 발명의 장애물 회피 장치의 일 실시예의 구조 모식도이다.
도 8은 본 발명의 하나의 실시예의 무인 항공기(800)의 구조 모식도이다.
아래 본 발명의 실시예를 상세하게 설명하되, 상기 실시예의 예시를 도면에 나타내고, 여기서 시종일관 동일하거나 유사한 부호는 동일하거나 유사한 소자 또는 동일하거나 유사한 기능을 구비하는 소자를 나타낸다. 아래 도면을 참조하여 설명된 실시예는 예시적인 것이고, 단지 본 발명을 해석하기 위한 것이며, 본 발명을 한정하는 것으로 해석할 수 없다.
본 기술분야의 통상의 기술자는 달리 설명되지 않는 한 여기서 사용되는 단수 형태“일”, "하나”, "상기” 및 "해당”도 모두 복수 형태를 포함할 수 있는 것으로 이해할 수 있다. 응당 더 이해해야 할 것은, 본 발명의 명세서에서 사용되는 조사 "포함”은 상기 특징, 정수, 단계, 동작, 소자 및/또는 컴포넌트가 존재하지만 하나 또는 복수의 다른 특징, 정수, 단계, 동작, 소자, 컴포넌트 및/또는 이들의 조합이 존재함을 배제하는 것이 아님을 의미한다.
본 기술분야의 통상의 기술자는 달리 정의되지 않은 한 여기서 사용되는 모든 용어(기술 용어 및 과학 용어를 포함함)는 본 발명이 속하는 분야에서의 통상의 기술자가 일반적으로 이해하는 것과 동일한 의미를 구비하는 것으로 이해할 수 있다. 응당 더 이해해야 할 것은, 범용 사전에서 정의된 그러한 용어는 선행기술의 전후 문맥에서의 의미와 일치한 의미를 구비하는 것으로 이해되어야 하고, 여기서 마찬가지로 특정되게 정의되지 않은 한 이상적이거나 지나치게 정식적인 함의를 사용하지 않는 것으로 해석된다.
본 발명을 더 잘 이해할 수 있도록 먼저 본 발명의 전체적인 기술 구상을 간단하게 설명한다.
본 발명에서 설계된 항공기 장애물 회피 시스템은 2개 부분으로 나뉘되, 하나는 주로 전역 내비게이션 차트에 기반한 전역 장애물 회피 계획 부분이고, 다른 하나는 주로 국부 내비게이션 차트에 기반한 국부 장애물 회피 계획 부분이다. 전역 내비게이션 차트 및 국부 내비게이션 차트는 모두 항공기의 비행을 지시하기 위한 것이고, 여기서, 전역 내비게이션 차트 및 국부 내비게이션 차트의 구축은 서로 의존하지 않으며, 상대하는 문제는 상이하며, 차트 구축 책략도 상이하고(아래 부분에서 상세하게 설명함), 목적은 자원 소모를 저감하는 동시에 농업 응용에 적용시키는 것이다.
전역 장애물 회피 계획은 귀항 또는 비행 지시에 사용되는 것으로, 주로 전역 내비게이션 차트를 사용하며, 이미 알고 있는 장애물을 상대한다. 항공기의 응용에서, 예를 들어, 농업 드론 식물 보호 응용에서, 작업 항로는 지상국 근거지 블록 정보에 의해 미리 자동으로 생성된 스캔 항로이다. 스캔 항로는 미리 생성된 것이고, 작업 후의 귀항 경로 조차도 모두 이륙하기 전에 생성된 것이므로, 예를 들어, 약량이 갑자기 사용 완료되고, 전기량이 거의 사용 완료되거나 사용자가 갑자기 비행하지 않고 귀항하고자 하는 등 일시적인 태스크 변화를 대응할 수 없다. 전역 내비게이션 차트는 바로 이러한 상황을 대응하여 전체적인 지도에서 무장애물 경로 계획을 수시로 진행할 수 있고, 이러한 계획은 장거리이며, 스프레이 등 문제를 고려할 필요가 없다. 이러한 상황에서, 수요되는 지도 영역이 비교적 크고, 지도 입도가 너무 세밀할 팔요가 없으며, 지도 영역은 이륙하기 전에 결정될 수 있다.
국부 장애물 회피 계획은 작업 항로를 비행하거나 전역 계획의 항로를 따라 비행하는 과정에서 미지의 장애물을 만나는 상황에 사용되고, 국부 내비게이션 차트는 주로 작업 과정에서 미지의 장애물을 만나는 상황에 사용되며, 이러한 상황에서, 수요되는 지도 입도는 비교적 작은데, 이는 최대한 원래의 항로에 적용해야 하고 최대한 리크 스프레이를 감소시켜야 하기 때문에, 상응한 계획은 일반적으로 단거리이고, 지도는 비교적 작을 수 있으며, 지도 중심은 항공기와 함께 이동한다.
이 밖에, 본 발명이 설계한 국부 내비게이션 차트는 장애물 회피에 응용될 뿐만 아니라, 다른 측면에 응용될 수도 있는데, 예를 들어, 미리 계획하지 않은 하나의 과수 영역에 대해 작업 등을 진행할 수 있고, 본 발명은 국부 내비게이션 차트가 응용된 상황에 대해 한정하지 않는다.
상기 기술 구상에 기반하여 아래 본 발명에 의해 제공되는 내비게이션 차트 구성 방법, 자동 장애물 회피 방법 및 장치, 단말기의 구체적인 실시형태를 상세하게 설명한다.
먼저, 국부 내비게이션 차트 계획에 기반한 측면에서 본 발명을 상세하게 설명한다.
도 1에 도시된 바와 같이, 하나의 실시예에서, 내비게이션 차트 구성 방법은 하기와 같은 단계를 포함한다.
단계S110에서, 상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득한다.
항공기는 식물 보호 드론 등일 수 있다. 현재 비행 위치는 항공기가 현재 시각에 위치한 지리적 위치를 의미하는데, 예를 들어, 항공기의 경위도 정보 등을 의미한다. 자세 정보는 항공기가 현재 시각에 비행하는 자세를 의미하는데, 예를 들어, 부앙각, 롤링각 및 편류각 등을 의미한다. 항공기의 현재 비행 위치 및 자세 정보는 모두 항공기의 비행 제어를 통해 획득될 수 있다. 깊이 이미지는 촬영된 타겟의 2차원 이미지이고, 상기 깊이 이미지는 각각의 포인트와 상기 현재 비행 위치의 거리 정보를 포함하며, 즉, 깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 항공기 현재 위치의 거리 정보를 나타낸다. 실제 응용에서, 깊이 이미지는 항공기의 양안 시스템을 통해 탐지될 수 있다. 국부 장애물 회피를 진행할 경우, 사용되는 깊이 이미지는 여러 장의 깊이 이미지일 수 있고, 한 장의 깊이 이미지일 수 있도 있으며, 본 발명은 이에 대해 한정하지 않는다. 이 밖에, 깊이 이미지의 크기는 수요에 따라 자체적으로 설정될 수 있고, 본 발명은 이에 대해 한정하지 않으며, 예를 들어, 탐지된 깊이 이미지는 한 장의 640 Х 480 크기인 이미지이다. 획득된 현재 비행 위치, 자세 정보 및 깊이 이미지는 국부 내비게이션 차트의 구축에 사용된다.
단계S120에서, 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득한다.
깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 상기 항공기의 거리 정보를 포함하므로, 현재 비행 위치, 자세 정보 및 상기 깊이 이미지 중 각각의 픽셀 포인트의 픽셀 좌표, 및 그레이 스케일 값에 따라 각각의 픽셀 포인트에 대응되는 3차원 위치 정보를 산출할 수 있는데, 즉 깊이 이미지 중 각각의 2차원 픽셀 포인트에 대응되는 하나의 3차원의 포인트이다.
깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 상기 항공기의 거리 정보를 포함하므로, 현재 비행 위치, 자세 정보 및 상기 깊이 이미지 중 각각의 픽셀 포인트의 픽셀 좌표, 및 그레이 스케일 값에 따라 각각의 픽셀 포인트에 대응되는 3차원 위치 정보를 산출할 수 있는데, 즉 깊이 이미지 중 각각의 2차원 픽셀 포인트에 대응되는 하나의 3차원의 포인트이다.
내비게이션 좌표계는 현지 수평 좌표계로, 항행 시 내비게이션 시스템 작업의 수요에 따라 선택된 내비게이션 기준인 좌표계이고, 내비게이션 산출 시 사용되는 것이다. 이러한 3차원의 포인트가 항공기의 내비게이션에 사용되는 것을 고려하기에, 산출된 3차원의 포인트는 일반적으로 내비게이션 좌표계에서의 포인트이다. 선택 가능하게, 내비게이션 좌표계는 북동지 좌표계이다.
국부 내비게이션 차트는 단지 항공기 부근의 장애물에만 대해 지시하여 획득된 포인트 클라우드(각각의 3차원의 포인트)는 비교적 먼 범위의 포인트를 포함할 수 있으므로, 항공기 비행에 영향주는 포인트만 보류할 수 있는데, 예를 들어, 항공기 상하로부터 일정하게 떨어진 범위 내의 포인트만 보류할 수 있다.
단계S130에서, 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영한다.
국부 내비게이션 차트는 항공기를 위해 국부 내비게이션을 진행하기 위한 것이고, 이는 동태적이며, 지도의 중심은 항공기의 현재 위치이고, 지도의 크기는 인공적으로 미리 설정될 수 있거나 프로그램을 통해 미리 설정될 수 있다. 항공기의 현재 위치가 변화될 경우, 국부 내비게이션 지도의 중심을 이동시키는 동시에, 전체적인 지도의 콘텐츠를 한 번 평행 이동시키고, 평행 이동시킨 후, 지도 범위를 벗어난 원래의 콘텐츠는 삭제되며, 새로 추가된 콘텐츠는 0으로 세팅된다.
국부 내비게이션 차트는 2차원 지도이고, 포인트 클라우드, 즉 내비게이션 좌표계의 포인트 클라우드를 획득한 후, 이러한 포인트 클라우드를 일정한 가중치로 국부 내비게이션 차트에 중합시켜 동태적 계획 작업 항로에 사용해야 한다. 각각의 포인트의 가중치를 산출하는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 각각의 포인트의 상기 가중치는 기설정된 가중치와 거리 인자의 승적에 의해 획득되며, 여기서, 상기 거리 인자와 상기 거리 정보는 정비례 관계이고, 하기와 같은 공식에 나타낸 바와 같다.
point_weight＝point_weight_com*distance_factor
여기서, point_weight는 하나의 포인트의 가중치이고, point_weight_com은 포인트의 통용 가중치, 즉 기설정된 가중치이며, 경험에 따라 획득될 수 있고, 상기 통용 가중치는 모든 포인트에 대해 모두 일치하며, distance_factor는 거리와 관련되는 인자이고, 거리와 정비례 관계이며, 즉 그 값은 거리 정보가 증가함에 따라 선형으로 증가되고, 거리 정보가 감소함에 따라 선형으로 감소된다. 상기 거리 정보는 전술한 깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값이 나타내는 거리 정보이다. 거리 인자와 거리 정보는 정비례 관계인데, 그 원인은 원거리의 물체의 포인트 클라우드 개수가 비교적 적은 것이므로, 각각의 포인트의 가중치는 당연히 근거리의 포인트보다 커야 한다.
단계S130에 따라 업데이트된 후의 국부 내비게이션 차트를 획득한 후, 상기 국부 내비게이션 차트에 따라 작업 항로 계획을 진행할 수 있는데, 예를 들어 장애물에 대해 장애물 회피를 진행할 수 있고, 탐지된 하나의 새로운 영역에 대해 작업 등을 진행할 수 있다. 본 발명을 더 잘 이해할 수 있도록, 아래 국부 내비게이션 차트에 기반하여 장애물 회피를 진행하는 것을 예를 들어 상세하게 설명한다.
하나의 실시예에서, 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함하고, 상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계 이후에, 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 장애물 회피를 실행하도록 지시하는 단계를 더 포함한다.
일정한 규칙에 따라 국부 내비게이션 차트를 각각의 서브 영역으로 구획하고, 구체적인 구획 규칙은 실제 상황에 따라 설정할 수 있으며, 본 발명은 이에 대해 한정하지 않는다. 예를 들어, 하나의 실시예에서, 상기 국부 내비게이션 차트는 격자 지도일 수 있고, 각각의 격자는 하나의 서브 영역이다.
획득된 포인트는 장애물의 포인트 또는 소음 포인트 등일 수 있으므로, 이러한 포인트의 가중치를 더 산출하여 실제 장애물 영역을 획득해야 한다. 각각의 포인트를 가중치에 따라 국부 내비게이션 차트에 중합시킨 후, 국부 내비게이션 차트 중의 각각의 서브 영역은 다수의 포인트를 포함할 수 있고, 하기 공식에 따라 각각의 서브 영역에 대해 전체 가중치 산출을 진행하여 각각의 서브 영역의 전체 가중치를 획득한다.
획득된 포인트는 장애물의 포인트 또는 소음 포인트 등일 수 있으므로, 이러한 포인트의 가중치를 더 산출하여 실제 장애물 영역을 획득해야 한다. 각각의 포인트를 가중치에 따라 국부 내비게이션 차트에 중합시킨 후, 국부 내비게이션 차트 중의 각각의 서브 영역은 다수의 포인트를 포함할 수 있고, 하기 공식에 따라 각각의 서브 영역에 대해 전체 가중치 산출을 진행하여 각각의 서브 영역의 전체 가중치를 획득한다.
map_value+＝point_weight.
여기서, map_value는 하나의 서브 영역의 가중치를 나타낸다.
경험에 따라 기설정된 임계값을 설정하는데, 예를 들어, 기설정된 임계값을 1로 설정하고, 이 밖에, 실제 수요에 따라 장애물 영역을 나타내는 구체적인 형태를 설정해야 하는데, 예를 들어, 격자 지도에 있어서, 격자의 가중치가 0이면, 상기 위치가 자유 위치이고 항공기가 자유롭게 통행할 수 있는 것을 나타내고, 격자 가중치가 1이면, 상기 위치에 장애물이 존재하고 항공기가 에돌아가야 함을 나타낸다. 따라서, 하기와 같은 공식에 따라 서브 영역을 설정할 수 있다.
If(map_value>1)then map_value＝1.
하나의 실시예에서, 상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계 이후에, 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 작거나 같으면, 상기 서브 영역을 통행 영역으로 설정하여 상기 항공기가 통과하도록 허용하는 단계를 더 포함한다. 서브 영역의 전체 가중치가 기설정된 임계값보다 작거나 같으면, 상기 서브 영역이 진정한 장애물 영역이 아닌 것을 의미하므로, 상기 서브 영역을 통행 영역으로 표시할 수 있다. 예를 들어, 격자 지도에 있어서, 하나의 격자 내 모든 포인트의 가중치의 합이 1보다 작으면, 상기 격자의 가중치를 0으로 설정하여 항공기가 통행할 수 있도록 지시할 수 있다.
깊이 이미지 각각의 픽셀 포인트가 모두 타겟의 거리 정보를 포함하므로, 포함되는 정보량이 지나치게 크고, 원래의 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하면, 산출량이 지나치게 크다. 따라서, 깊이 이미지에 대해 전처리를 진행해야 한다. 깊이 이미지에 대해 전처리하여 산출량을 감소시키는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계 이후, 상기 각각의 포인트의 3차원 위치 정보를 획득하는 단계 이전에, 상기 깊이 이미지에 대해 성김 처리하는 단계를 더 포함할 수 있다.
카메라 핀홀 이미징 모형에 따르면, 먼 곳의 장애물은 이미지의 중심 측에 집중될 수 있고, 가까운 곳의 장애물은 거리가 가까우므로 이미지에서의 면적이 비교적 크다. 따라서, 하나의 실시예에서, 상기 깊이 이미지에 대해 성김 처리하는 단계는, 가변 스텝 사이즈를 사용하여 상기 깊이 이미지에 대해 성김 처리하는 단계를 포함하고, 여기서, 상기 가변 스텝 사이즈는 깊이 이미지 중의 픽셀 포인트가 가장자리로부터 중심까지 점진적으로 증가되도록 제어하기 위한 것이다.
구체적으로 실시할 경우, 이미지 경계로부터 시작하여 부등거리의 성김 처리를 진행하여 이미지 중심을 근접하는 픽셀 포인트가 비교적 조밀하도록 하고 이미지 가장자리의 픽셀 포인트가 비교적 성기도록 할 수 있다. 성김 처리의 의사 코드는 하기와 같다.
Figure 112020020579212-pct00001
여기서,
img_height와 img_width는 각각 이미지의 폭과 길이이다.
i_step과 j_step은 이미지를 트래버싱(traversing)하는 스텝 사이이고, 초기값은 모두 1이다.
height_step과 width_step은 각각 이미지의 종방향 및 횡방향의 성김 인자이다.
HandleImage()는 깊이 이미지에 대한 후속 처리를 나타낸다.
원래의 깊이 이미지, 또는 성김 처리를 거친 후의 성김 깊이 이미지는 좌표를 통해 내비게이션 좌표계 하로 전환되어야만 장애물의 정보로서 국부 내비게이션 차트에 업데이트될 수 있다. 하나의 실시예에서, 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계는, 상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계; 및 내비게이션 좌표계 중의 각각의 포인트, 상기 현재 비행 위치 및 상기 자세 정보에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계를 포함한다.
좌표 전환의 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계는, 카메라 내부 참조 매트릭스(internal reference matrix of a camera)에 따라 상기 깊이 이미지 중 각각의 포인트를 카메라 좌표계에서의 각각의 포인트로 전환시키는 단계; 카메라 좌표계로부터 본체 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00002
에 따라 카메라 좌표계에서의 각각의 포인트를 본체 좌표계의 각각의 포인트로 전환시키는 단계; 및 본체 좌표계로부터 내비게이션 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00003
에 따라 본체 좌표계에서의 각각의 포인트를 내비게이션 좌표계의 각각의 포인트로 전환시키는 단계를 포함한다.
깊이 이미지 자체에 소음이 존재하고 장애물이 이동할 수 있으므로(예를 들어, 나무잎이 바람에 하느작거림), 깊이 이미지를 사용하여 산출된 포인트 클라우드에도 소음 포인트가 존재할 수 있고, 이러한 소음은 상기 단계가 순환됨에 따라 국부 내비게이션 차트에 축적되어 장애물에 대한 측정에 오차가 발생하게 되는데, 이를 오측이라고 약칭한다. 오측 확률을 감소시키기 위하여, 하나의 실시예에서, 상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 국부 내비게이션 차트에 투영하는 단계 이후에, 상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키는 단계; 감쇠된 후의 각각의 서브 영역 중 모든 포인트의 가중치의 합을 획득하는 단계를 더 포함한다. 먼저 국부 내비게이션 차트 중의 기설정된 영역 내의 포인트의 가중치를 감쇠시키고, 다음, 각각의 서브 영역의 전체 가중치를 산출하여, 각각의 서브 영역이 장애물 영역인 지를 판담함으로써, 장애물 판단에 대한 소음의 영향을 감소시키고, 장애물 영역 판단의 정확성을 향상시킨다.
하나의 실시예에서, 상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키는 단계는, 상기 기설정된 영역 내의 각각의 포인트의 가중치와 기설정된 감쇠 인자를 곱하는 단계를 포함한다. 감쇠 인자는 경험에 따라 설정될 수 있다. 기설정된 영역에 마침 N개의 서브 영역이 포함되면, 하기 공식에 따라 감쇠 동작을 진행할 수 있다.
map_value*＝damping_factor.
여기서, map_value는 기설정된 영역 내의 하나의 서브 영역의 전체 가중치를 나타내고, damping_factor는 감쇠 인자를 나타낸다.
기설정된 영역 결정 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 기설정된 영역은 상기 국부 내비게이션 차트의 중심, 상기 항공기 중 깊이 이미지를 획득하기 위한 양안 시스템의 수평 시야각 및 설정 감쇠 거리에 따라 결정된다.
도 2에 도시된 바와 같이, 도 2는 일 구체적 실시예의 기설정된 영역 결정 방법의 모식도이고, 여기서, O은 국부 내비게이션 차트의 지도 중심, 즉 항공기의 현재 비행 위치를 나타내며, θ는 양안 시스템(binocular system)의 파라미터에 의해 결정되는 양안 시스템 시야각의 크기를 나타내고, d는 경험에 따라 설정되는 고정값인 감쇠 거리를 나타내므로, 이상 3개의 파라미터에 의해 결정된 부채꼴 영역이 바로 감쇠 영역이며, 상기 감쇠 영역 내의 포인트의 가중치를 감쇠시키지만, 감쇠 영역 밖의 포인트의 가중치는 감쇠시킬 필요가 없다.
설명해야 할 것은, 도 2는 단지 항공기의 전방에 양안 시스템을 장착한 감쇠 영역을 예시적으로 나타낸 것이고, 항공기 후방 또는 측면에도 양안 시스템을 장착하면, 감쇠 영역이 대칭되는 위치 또는 측면의 위치에 감쇠 영역이 설치된 것을 도시하고, 감쇠 영역 내의 포인트의 가중치를 감쇠시키는데, 즉 감쇠 영역은 양안 시스템 장착 방식과 관련된다. 다른 기기를 통해 깊이 이미지를 획득하면, 기설정된 영역을 결정하는 방식은 양안 시스템에 기반하여 기설정된 영역을 결정하는 구상과 동일하다.
동일한 발명 구상에 기반해보면, 본 발명은 항공기 내비게이션 차트 구성 장치를 더 제공하고, 아래 도면을 결부하여 본 발명의 장치의 구체적 실시형태를 상세하게 설명한다.
도 3에 도시된 바와 같이, 하나의 실시예에서, 항공기 내비게이션 차트 구성 장치는 하기와 같은 모듈을 포함한다.
정보 획득 모듈(110)은 상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득한다.
항공기는 식물 보호 드론 등일 수 있다. 현재 비행 위치는 항공기가 현재 시각에 위치한 지리적 위치를 의미하는데, 예를 들어, 항공기의 경위도 정보 등을 의미한다. 자세 정보는 항공기가 현재 시각에 비행하는 자세를 의미하는데, 예를 들어, 부앙각, 롤링각 및 편류각 등을 의미한다. 항공기의 현재 비행 위치 및 자세 정보는 모두 항공기의 비행 제어를 통해 획득될 수 있다. 깊이 이미지는 촬영된 타겟의 2차원 이미지이고, 상기 깊이 이미지는 각각의 포인트와 상기 현재 비행 위치의 거리 정보를 포함하며, 즉, 깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 항공기 현재 위치의 거리 정보를 나타낸다. 실제 응용에서, 깊이 이미지는 항공기의 양안 시스템을 통해 탐지될 수 있다. 국부 장애물 회피를 진행할 경우, 사용되는 깊이 이미지는 여러 장의 깊이 이미지일 수 있고, 한 장의 깊이 이미지일 수 있도 있으며, 본 발명은 이에 대해 한정하지 않는다. 이 밖에, 깊이 이미지의 크기는 수요에 따라 자체적으로 설정될 수 있고, 본 발명은 이에 대해 한정하지 않는다. 획득된 현재 비행 위치, 자세 정보 및 깊이 이미지는 국부 내비게이션 차트의 구축에 사용된다.
3차원 위치 정보 획득 모듈(120)은 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득한다.
깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 상기 항공기의 거리 정보를 포함하므로, 현재 비행 위치, 자세 정보 및 상기 깊이 이미지 중 각각의 픽셀 포인트의 픽셀 좌표, 및 그레이 스케일 값에 따라 각각의 픽셀 포인트에 대응되는 3차원 위치 정보를 산출할 수 있는데, 즉 깊이 이미지 중 각각의 2차원 픽셀 포인트에 대응되는 하나의 3차원의 포인트이다.
내비게이션 좌표계는 현지 수평 좌표계로, 항행 시 내비게이션 시스템 작업의 수요에 따라 선택된 내비게이션 기준인 좌표계이고, 내비게이션 산출 시 사용되는 것이다. 이러한 3차원의 포인트가 항공기의 내비게이션에 사용되는 것을 고려하기에, 산출된 3차원의 포인트는 일반적으로 내비게이션 좌표계에서의 포인트이다. 선택 가능하게, 내비게이션 좌표계는 북동지 좌표계이다.
국부 내비게이션 차트는 단지 항공기 부근의 장애물에만 대해 지시하여 획득된 포인트 클라우드(각각의 3차원의 포인트)는 비교적 먼 범위의 포인트를 포함할 수 있으므로, 항공기 비행에 영향주는 포인트만 보류할 수 있는데, 예를 들어, 항공기 상하로부터 일정하게 떨어진 범위 내의 포인트만 보류할 수 있다.
투영 모듈(130)은 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영한다.
국부 내비게이션 차트는 항공기를 위해 국부 내비게이션을 진행하기 위한 것이고, 이는 동태적이며, 지도의 중심은 항공기의 현재 위치이고, 지도의 크기는 인공적으로 미리 설정될 수 있거나 프로그램을 통해 미리 설정될 수 있다. 항공기의 현재 위치가 변화될 경우, 국부 내비게이션 지도의 중심을 이동시키는 동시에, 전체적인 지도의 콘텐츠를 한 번 평행 이동시키고, 평행 이동시킨 후, 지도 범위를 벗어난 원래의 콘텐츠는 삭제되며, 새로 추가된 콘텐츠는 0으로 세팅된다.
국부 내비게이션 차트는 2차원 지도이고, 포인트 클라우드, 즉 내비게이션 좌표계의 포인트 클라우드를 획득한 후, 이러한 포인트 클라우드를 일정한 가중치로 국부 내비게이션 차트에 중합시켜 동태적 계획 작업 항로에 사용해야 한다. 각각의 포인트의 가중치를 산출하는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 각각의 포인트의 상기 가중치는 기설정된 가중치와 거리 인자의 승적에 의해 획득되며, 여기서, 상기 거리 인자와 상기 거리 정보는 정비례 관계이다.
투영 모듈(130)은 업데이트된 후의 국부 내비게이션 차트를 획득한 후, 상기 국부 내비게이션 차트에 따라 작업 항로 계획을 진행할 수 있는데, 예를 들어 장애물에 대해 장애물 회피를 진행할 수 있고, 탐지된 하나의 새로운 영역에 대해 작업 등을 진행할 수 있다. 본 발명을 더 잘 이해할 수 있도록, 아래 국부 내비게이션 차트에 기반하여 장애물 회피를 진행하는 것을 예를 들어 상세하게 설명한다.
하나의 실시예에서, 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함하고, 상기 장치는, 상기 투영 모듈(130)과 연결되고, 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 장애물 회피를 실행하도록 지시하는 장애물 영역 설정 모듈을 더 포함한다.
일정한 규칙에 따라 국부 내비게이션 차트를 각각의 서브 영역으로 구획하고, 구체적인 구획 규칙은 실제 상황에 따라 설정할 수 있으며, 본 발명은 이에 대해 한정하지 않는다. 예를 들어, 하나의 실시예에서, 상기 국부 내비게이션 차트는 격자 지도일 수 있고, 각각의 격자는 하나의 서브 영역이다.
획득된 포인트는 장애물의 포인트 또는 소음 포인트 등일 수 있으므로, 이러한 포인트의 가중치를 더 산출하여 실제 장애물 영역을 획득해야 한다. 각각의 포인트를 가중치에 따라 국부 내비게이션 차트에 중합시킨 후, 국부 내비게이션 차트 중의 각각의 서브 영역은 다수의 포인트를 포함할 수 있고, 각각의 서브 영역에 대해 전체 가중치 산출을 진행하여 각각의 서브 영역의 전체 가중치를 획득한다. 전체 가중치가 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정한다.
하나의 실시예에서, 상기 장치는, 상기 투영 모듈(130)과 연결되고, 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 작거나 같으면, 상기 서브 영역을 통행 영역으로 설정하여 상기 항공기가 통과하도록 허용하는 통행 영역 설정 모듈을 더 포함한다. 서브 영역의 전체 가중치가 기설정된 임계값보다 작거나 같으면, 상기 서브 영역이 진정한 장애물 영역이 아닌 것을 의미하므로, 상기 서브 영역을 통행 영역으로 표시할 수 있다.
깊이 이미지 각각의 픽셀 포인트가 모두 타겟의 거리 정보를 포함하므로, 포함되는 정보량이 지나치게 크고, 원래의 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하면, 산출량이 지나치게 크다. 따라서, 깊이 이미지에 대해 전처리를 진행해야 한다. 깊이 이미지에 대해 전처리하여 산출량을 감소시키는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 장치는 상기 정보 획득 모듈(110)과 상기 3차원 위치 정보 획득 모듈(120) 사이에 연결되는 성김 처리(sparse processing) 모듈을 더 포함할 수 있고, 상기 성김 처리 모듈은 상기 깊이 이미지에 대해 성김 처리한다.
카메라 핀홀 이미징 모형에 따르면, 먼 곳의 장애물은 이미지의 중심 측에 집중될 수 있고, 가까운 곳의 장애물은 거리가 가까우므로 이미지에서의 면적이 비교적 크다. 따라서, 하나의 실시예에서, 성김 처리 모듈가변 스텝 사이즈(variable step size)를 사용하여 상기 깊이 이미지에 대해 성김 처리하는 단계, 여기서, 상기 가변 스텝 사이즈는 깊이 이미지 중의 픽셀 포인트가 가장리로부터 중심까지 점진적으로 증가되도록 제어하기 위한 것이다.
원래의 깊이 이미지, 또는 성김 처리를 거친 후의 성김 깊이 이미지는 좌표를 통해 내비게이션 좌표계 하로 전환되어야만 장애물의 정보로서 국부 내비게이션 차트에 업데이트될 수 있다. 따라서, 하나의 실시예에서, 상기 3차원 위치 정보 획득 모듈(120)은, 상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하고; 내비게이션 좌표계 중의 각각의 포인트, 상기 현재 비행 위치 및 상기 자세 정보에 따라 각각의 포인트의 3차원 위치 정보를 획득한다.
좌표 전환의 방식은 다양하고, 예를 들어, 하나의 실시예에서, 3차원 위치 정보 획득 모듈(120)은 카메라 내부 참조 매트릭스에 따라 상기 깊이 이미지 중 각각의 포인트를 카메라 좌표계에서의 각각의 포인트로 전환시키고; 카메라 좌표계로부터 본체 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00004
에 따라 카메라 좌표계에서의 각각의 포인트를 본체 좌표계의 각각의 포인트로 전환시키며; 본체 좌표계로부터 내비게이션 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00005
에 따라 본체 좌표계에서의 각각의 포인트를 내비게이션 좌표계의 각각의 포인트로 전환시킨다.
깊이 이미지 자체에 소음이 존재하고 장애물이 이동할 수 있으므로(예를 들어, 나무잎이 바람에 하느작거림), 깊이 이미지를 사용하여 산출된 포인트 클라우드에도 소음 포인트가 존재할 수 있고, 이러한 소음은 상기 단계가 순환됨에 따라 국부 내비게이션 차트에 축적되어 장애물에 대한 측정에 오차가 발생하게 되는데, 이를 오측이라고 약칭한다. 오측 확률을 감소시키기 위하여, 하나의 실시예에서, 상기 장치는 투영 모듈(130)과 장애물 영역 설정 모듈(및/또는 통행 영역 설정 모듈) 사이에 연결되는 감쇠 모듈을 더 포함할 수 있고, 상기 감쇠 모듈은, 상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키고; 감쇠된 후의 각각의 서브 영역 중 모든 포인트의 가중치의 합을 획득한다. 감쇠 모듈먼저 국부 내비게이션 차트 중의 기설정된 영역 내의 포인트의 가중치를 감쇠시키고, 다음, 각각의 서브 영역의 전체 가중치를 산출한다. 상기 전체 가중치에 기반하여 각각의 서브 영역이 장애물 영역인 지를 판담함으로써, 장애물 판단에 대한 소음의 영향을 감소시키고, 장애물 영역 판단의 정확성을 향상시킨다.
하나의 실시예에서, 상기 감쇠 모듈상기 기설정된 영역 내의 각각의 포인트의 가중치와 기설정된 감쇠 인자를 곱한다. 감쇠 인자는 경험에 따라 설정될 수 있다. 기설정된 영역에 마침 N개의 서브 영역이 포함되면, 각각의 서브 영역의 전체 가중치와 감쇠 인자를 각각 곱할 수 있다.
기설정된 영역 결정 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 기설정된 영역은 상기 국부 내비게이션 차트의 중심, 상기 항공기 중 깊이 이미지를 획득하기 위한 양안 시스템의 수평 시야각 및 설정 감쇠 거리에 따라 결정된다. 감쇠 영역은 양안 시스템 장착 방식과 관련된다. 다른 기기를 통해 깊이 이미지를 획득하면, 기설정된 영역을 결정하는 방식은 양안 시스템에 기반하여 기설정된 영역을 결정하는 구상과 동일하다.
본 발명은 단말기를 더 제공하고, 상기 단말기는 항공기 또는 다른 기기일 수 있으며, 메모리, 프로세서, 및 메모리에 저장되고 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행할 경우 상기 어느 하나에 따른 방법의 단계를 구현한다.
아래, 전역 내비게이션 차트에 기반한 전역 장애물 회피 계획의 측면에서 본 발명을 상세하게 설명한다.
도 4에 도시된 바와 같이, 하나의 실시예에서, 장애물 회피 방법은 하기와 같은 단계를 포함한다.
단계S210에서, 상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득한다.
항공기는 식물 보호 드론 등일 수 있다. 현재 비행 위치는 항공기가 현재 시각에 위치한 지리적 위치를 의미하는데, 예를 들어, 항공기의 경위도 정보 등을 의미한다. 자세 정보는 항공기가 현재 시각에 비행하는 자세를 의미하는데, 예를 들어, 부앙각, 롤링각 및 편류각 등을 의미한다. 항공기의 현재 비행 위치 및 자세 정보는 모두 항공기의 비행 제어를 통해 획득될 수 있다. 깊이 이미지는 촬영된 타겟의 2차원 이미지이고, 상기 깊이 이미지는 각각의 포인트와 상기 현재 비행 위치의 거리 정보를 포함하며, 즉, 깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 항공기 현재 위치의 거리 정보를 나타낸다. 실제 응용에서, 깊이 이미지는 항공기의 양안 시스템을 통해 탐지될 수 있다. 국부 장애물 회피를 진행할 경우, 사용되는 깊이 이미지는 여러 장의 깊이 이미지일 수 있고, 한 장의 깊이 이미지일 수 있도 있으며, 본 발명은 이에 대해 한정하지 않는다. 이 밖에, 깊이 이미지의 크기는 수요에 따라 자체적으로 설정될 수 있고, 본 발명은 이에 대해 한정하지 않으며, 예를 들어, 탐지된 깊이 이미지는 한 장의 640 Х 480 크기인 이미지이다. 획득된 현재 비행 위치, 자세 정보 및 깊이 이미지는 국부 내비게이션 차트의 구축에 사용된다.
단계S220에서, 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득한다.
깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 상기 항공기의 거리 정보를 포함하므로, 현재 비행 위치, 자세 정보 및 상기 깊이 이미지 중 각각의 픽셀 포인트의 픽셀 좌표, 및 그레이 스케일 값에 따라 각각의 픽셀 포인트에 대응되는 3차원 위치 정보를 산출할 수 있는데, 즉 깊이 이미지 중 각각의 2차원 픽셀 포인트에 대응되는 하나의 3차원의 포인트이다.
내비게이션 좌표계는 현지 수평 좌표계로, 항행 시 내비게이션 시스템 작업의 수요에 따라 선택된 내비게이션 기준인 좌표계이고, 내비게이션 산출 시 사용되는 것이다. 이러한 3차원의 포인트가 항공기의 내비게이션에 사용되는 것을 고려하기에, 산출된 3차원의 포인트는 일반적으로 내비게이션 좌표계에서의 포인트이다. 선택 가능하게, 내비게이션 좌표계는 북동지 좌표계이다.
국부 내비게이션 차트는 단지 항공기 부근의 장애물에만 대해 지시하여 획득된 포인트 클라우드(각각의 3차원의 포인트)는 비교적 먼 범위의 포인트를 포함할 수 있으므로, 항공기 비행에 영향주는 포인트만 보류할 수 있는데, 예를 들어, 항공기 상하로부터 일정하게 떨어진 범위 내의 포인트만 보류할 수 있다.
단계S230에서, 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하고, 여기서, 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함한다.
국부 내비게이션 차트는 항공기를 위해 국부 내비게이션을 진행하기 위한 것이고, 이는 동태적이며, 지도의 중심은 항공기의 현재 위치이고, 지도의 크기는 인공적으로 미리 설정될 수 있거나 프로그램을 통해 미리 설정될 수 있다. 항공기의 현재 위치가 변화될 경우, 국부 내비게이션 지도의 중심을 이동시키는 동시에, 전체적인 지도의 콘텐츠를 한 번 평행 이동시키고, 평행 이동시킨 후, 지도 범위를 벗어난 원래의 콘텐츠는 삭제되며, 새로 추가된 콘텐츠는 0으로 세팅된다.
일정한 규칙에 따라 국부 내비게이션 차트를 각각의 서브 영역으로 구획하고, 구체적인 구획 규칙은 실제 상황에 따라 설정할 수 있으며, 본 발명은 이에 대해 한정하지 않는다. 예를 들어, 하나의 실시예에서, 상기 국부 내비게이션 차트는 격자 지도일 수 있고, 각각의 격자는 하나의 서브 영역이다.
국부 내비게이션 차트는 2차원 지도이고, 포인트 클라우드, 즉 내비게이션 좌표계의 포인트 클라우드를 획득한 후, 이러한 포인트 클라우드를 일정한 가중치로 국부 내비게이션 차트에 중합시켜 구체적으로 어느 영역이 장애물 영역인 지를 판단하는데 사용해야 한다. 각각의 포인트의 가중치를 산출하는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 각각의 포인트의 상기 가중치는 기설정된 가중치와 거리 인자의 승적에 의해 획득되며, 여기서, 상기 거리 인자와 상기 거리 정보는 정비례 관계이고, 하기와 같은 공식에 나타낸 바와 같다.
point_weight＝point_weight_com*distance_factor
여기서, point_weight는 하나의 포인트의 가중치이고, point_weight_com은 포인트의 통용 가중치, 즉 기설정된 가중치이며, 경험에 따라 획득될 수 있고, 상기 통용 가중치는 모든 포인트에 대해 모두 일치하며, distance_factor는 거리와 관련되는 인자이고, 거리와 정비례 관계이며, 즉 그 값은 거리 정보가 증가함에 따라 선형으로 증가되고, 거리 정보가 감소함에 따라 선형으로 감소된다. 상기 거리 정보는 전술한 깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값이 나타내는 거리 정보이다. 거리 인자와 거리 정보는 정비례 관계인데, 그 원인은 원거리의 물체의 포인트 클라우드 개수가 비교적 적은 것이므로, 각각의 포인트의 가중치는 당연히 근거리의 포인트보다 커야 한다.
단계S240에서, 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 상기 장애물 영역에 대해 장애물 회피를 실행하도록 지시한다.
획득된 포인트는 장애물의 포인트 또는 소음 포인트 등일 수 있으므로, 이러한 포인트의 가중치를 더 산출하여 실제 장애물 영역을 획득해야 한다. 각각의 포인트를 가중치에 따라 국부 내비게이션 차트에 중합시킨 후, 국부 내비게이션 차트 중의 각각의 서브 영역은 다수의 포인트를 포함할 수 있고, 하기 공식에 따라 각각의 서브 영역에 대해 전체 가중치 산출을 진행하여 각각의 서브 영역의 전체 가중치를 획득한다.
map_value+＝point_weight.
여기서, map_value는 하나의 서브 영역의 가중치를 나타낸다.
경험에 따라 기설정된 임계값을 설정하는데, 예를 들어, 기설정된 임계값을 1로 설정하고, 이 밖에, 실제 수요에 따라 장애물 영역을 나타내는 구체적인 형태를 설정해야 하는데, 예를 들어, 격자 지도에 있어서, 격자의 가중치가 0이면, 상기 위치가 자유 위치이고 항공기가 자유롭게 통행할 수 있는 것을 나타내고, 격자 가중치가 1이면, 상기 위치에 장애물이 존재하고 항공기가 에돌아가야 함을 나타낸다. 따라서, 하기와 같은 공식에 따라 서브 영역을 설정할 수 있다.
If(map_value>1)then map_value＝1.
하나의 실시예에서, 상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계 이후에, 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 작거나 같으면, 상기 서브 영역을 통행 영역으로 설정하여 상기 항공기가 통과하도록 허용하는 단계를 더 포함할 수 있다. 서브 영역의 전체 가중치가 기설정된 임계값보다 작거나 같으면, 상기 서브 영역이 진정한 장애물 영역이 아닌 것을 의미하므로, 상기 서브 영역을 통행 영역으로 표시할 수 있다. 예를 들어, 격자 지도에 있어서, 하나의 격자 내 모든 포인트의 가중치의 합이 1보다 작으면, 상기 격자의 가중치를 0으로 설정하여 항공기가 통행할 수 있도록 지시할 수 있다.
단계S250에서, 사용자에 의해 설정된, 장애물 영역 및 작업 경계 영역을 지시하기 위한 측량 데이터(surveying and mapping data), 및 상기 국부 내비게이션 차트 중 장애물 영역을 지시하기 위한 3차원 위치 정보를 획득한다.
전역 장애물 회피 계획 진행시 데이터는 두 가지인데, 한 가지는 사용자의 측량 데이터(경계 및 장애물을 포함함)이고, 다른 한 가지는 국부 내비게이션 차트의 데이터이며, 국부 내비게이션 차트의 데이터는 일정한 주기로 전역 내비게이션 차트에 업데이트될 수 있다.
측량 데이터는 사용자가 수동으로 테스트한 데이터일 수 있고, 사용자가 지도 인터페이스를 통해 선택한 각각의 데이터일 수도 있다. 일반적으로, 측량 데이터는 장애물 영역의 경계 포인트 및 작업 경계 영역의 경계 포인트를 포함한다. 항공기가 이륙하기 전에, 데이터 링크를 통해 사용자가 측량한 지도 데이터를 항공기에 업로드할 수 있는데, 예를 들어, 항공기의 양안 시스템에 업로드하여 전역 내비게이션 차트의 구축 연산에 사용된다.
3차원 위치 정보는 국부 내비게이션 차트 중 이미 장애물 영역으로 설정된 데이터이다. 국부 내비게이션 차트는 일정한 주기로 업데이트될 수 있고, 업데이트되는 동시에, 장애물 영역의 위치를 하나의 장애물 큐(queue)에 채워 넣을 것을 선택할 수 있는 것으로 결정한다. 상기 장애물 큐는 삭제 또는 추가될 수 있다. 국부 내비게이션 차트에서 장애물로 결정될 경우, 장애물 영역의 정보를 큐에 추가한다. 장애물이 이동 또는 사라질 경우, 장애물 영역의 정보를 큐로부터 삭제한다. 일정한 주기로 장애물 큐에서의 장애물 영역의 정보를 전역 내비게이션 차트에 업데이트함으로써, 전역 내비게이션 차트도 양안 시스템에 의해 탐지된 정보를 포함한다. 설명할 것은, 본 발명은 큐의 형태로 전역 내비게이션 차트의 데이트를 업데이트하는 것으로 한정되지 않고, 사용자는 수요에 따라 다른 형태를 통해 국부 내비게이션 차트 중의 장애물 영역의 정보를 전역 내비게이션 차트에 업데이트할 수도 있다.
국부 내비게이션 차트의 장애물 영역의 정보를 전역 내비게이션 차트에 업데이트하면, 전역 계획 진행시 장애물을 직접 회피할 수 있고, 전역 범위 내에서 최단 경로를 검색함으로써, 단지 측량 데이터로 인해, 검색된 경로가 측량되지 않은 장애물을 회피하지 못하는 것을 방지할 수 있다.
단계S260에서, 기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하여 상기 항공기가 상기 장애물 영역 및 상기 작업 경계 영역에 대해 장애물 회피를 실행하도록 지시한다.
전역 내비게이션 차트는 격자 지도일 수 있다. 전역 내비게이션 차트는 국부 내비게이션 차트보다 훨씬 더 크고, 국부 내비게이션 차트는 아주 작을 수 있는데, 국부 장애물 회피 요구를 만족시키기만 하면 되며, 전역 내비게이션 차트는 항공기 그때 비행한 비행 밤위를 모두 포함해야 한다. 측량 데이터를 획득한 후, 측량 데이터에 포함된 작업 경계 영역의 위치 정보 및 장애물 영역의 위치 정보에 따라 전역 내비게이션 차트에서 상응한 영역을 표기할 수 있다. 예를 들어, 측량 데이터에 따라 전역 내비게이션 차트 중의 일부 격자의 가중치를 1로 설정한다. 국부 내비게이션 차트 중의 장애물 영역의 위치 정보를 획득한 후, 전역 내비게이션 차트를 업데이트하고, 전역 내비게이션 차트 중 상응한 위치를 장애물 영역으로 업데이트한다. 장애물 영역 및 작업 경계 영역을 설정한 후, 항공기는 상기 전역 내비게이션 차트에 따라 장애물 영역 및 작업 경계 영역에 대해 장애물 회피를 진행할 수 있다.
전역 내비게이션 차트는 항공기는 항공기가 이륙 작업 전에 초기화를 완성해야 한다. 초기화의 콘텐츠는 전역 내비게이션 차트를 결정하는 크기 및 중심 포인트 위치이다. 하나의 실시예에서, 상기 기설정된 전역 내비게이션 차트의 중심 및 크기는 상기 항공기가 이륙하기 전의 위치 및 상기 측량 데이터에 따라 획득된다. 전역 내비게이션 차트를 초기화하는 정보는 사용자에 의해 설정된 측량 데이터로부터 획득된다. 지도 중심이 나타내는 지리적 위치 및 지도의 크기는 초기화시 이미 결정된다. 이러한 정보를 결정한 후, 전역 내비게이션 차트에 저장 공간을 할당하고, 장애물의 지리적 위치에 따라 장애물 정보의 저장 위치를 결정하여 장애물 정보 저장 및 액세스에 편의를 제공한다.
하나의 실시예에서, 상기 전역 내비게이션 차트의 수평 경계는 Y축에서의 상기 위치 및 상기 측량 데이터의 최대치 및 최소치에 의해 팽창된 후 결정되고, 상기 전역 내비게이션 차트의 수직 경계는 X축에서의 상기 위치 및 상기 측량 데이터의 최대치 및 최소치에 의해 팽창된 후 결정된다. 구체적으로, 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 Y축에서의 최대치를 검색하고, 상기 최대치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 상부의 수평 경계를 획득한다. 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 Y축에서의 최소치를 검색하고, 상기 최소치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 하부의 수평 경계를 획득한다. 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 X축에서의 최대치를 검색하고, 상기 최대치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 우측의 수직 경계를 획득한다. 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 X축에서의 최소치를 검색하고, 상기 최소치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 좌측의 수직 경계를 획득한다. 여기서, 팽창된 거리는 실제 수요에 따라 설정될 수 있다. 전역 내비게이션 차트의 경계 정보를 획득한 후, 전역 내비게이션 차트의 크기 및 중심 포인트의 위치를 획득할 수 있고, 전역 내비게이션 차트의 초기화를 완성할 수 있다.
도 5에 도시된 바와 같이, 도 5는 일 구체적 실시예의 전역 내비게이션 차트 경계 획득의 모식도이다. 도 5에서, d는 팽창 거리이고, 해당 도면으로 알 수 있는 바, 상기 전역 내비게이션 차트는 다변형을 사용하여 작업 영역 경계B 및 장애물 영역O를 나타내며, 양안 시스템에 업로드된 지도는 이러한 다변형 정점의 위치 정보를 포함한다. 전역 내비게이션 차트의 경계를 결정할 경우, 항공기가 이륙하기 전의 현재 위치, 작업 영역 경계B의 정점 위치 및 장애물 영역O의 정점 위치로부터, 내비게이션 좌표계의 X축에서의 최대치가 우측의 장애물 영역이 최대인 X값이고, 내비게이션 좌표계의 X축에서의 최소치가 항공기가 이륙하기 전의 위치의 X값이며, 내비게이션 좌표계의 Y축에서의 최대치가 작업 영역 경계B가 최상부인 Y값이고, 내비게이션 좌표계의 Y축에서의 최소치가 항공기가 이륙하기 전의 위치의 Y값인 것을 산출하고, 상기 산출된 4개의 값을 각각 팽창 거리d에 따라 팽창시키면, 도 5에 도시된 전역 내비게이션 차트의 경계를 획득할 수 있다. 이때, 전역 내비게이션 차트의 크기, 경계 및 중심 포인트 위치 정보를 획득하여 전역 지도 초기화를 완성할 수 있다.
측량 데이터 및 국부 내비게이션 차트 중의 데이터에 따라 전역 내비게이션 차트 중 장애물 영역 및 작업 경계 영역을 설정하는 방식은 다양하고, 예를 들어, 하나의 실시예에서,상기 기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하는 단계는, 획득된 상기 측량 데이터 및 3차원 위치 정보에 따라 제1 장애물 영역 및 제1 작업 경계 영역을 획득하는 단계; 상기 제1 장애물 영역 및 상기 제1 작업 경계 영역을 팽창시켜 제2 장애물 영역 및 제2 작업 경계 영역을 획득하는 단계; 및 상기 제2 장애물 영역 및 상기 제2 작업 경계 영역을 항공기가 장애물 회피를 실행하도록 지시하기 위한 영역으로 설정하는 단계를 포함한다. 제1 장애물 영역 및 제1 작업 경계 영역 팽창의 거리에 대해 실제 수요에 따라 설정할 수 있고, 이러한 팽창된 영역도 위험한 영역으로, 항공기 통행을 금지시켜야 하므로, 항공기가 장애물 회피를 실행하는 영역을 설정하여 항공기가 장애물 및 작업 경계 영역과 안전 거리를 유지하도록 해야 한다.
설명해야 할 것은, 본 발명은 상기 전역 내비게이션 차트 중 장애물 영역 및 작업 경계 영역을 설정하는 방식을 한정하지 않고, 사용자는 직접 측량 데이터 및 국부 내비게이션 차트 중의 장애물 정보에 따라 전역 내비게이션 차트에 항공기 통행을 금지하는 영역을 설정하지만 팽창시키지 않거나, 장애물 영역 또는 작업 경계 영역만 팽창시킬 수도 있다. 이 밖에, 팽창시, 각각의 방향으로 팽창되는 거리를 동일하게 설정할 수 있고, 각각의 방향에 대해 각각 상이한 팽창 거리를 설정할 수도 있다.
도 6에 도시된 바와 같이, 도 6은 일 구체적 실시예의 전역 내비게이션 차트에 장애물 영역 및 작업 경계 영역을 장착하는 모식도이고, 여기서, 전역 내비게이션 차트는 격자 지도이며, 격자 지도 중 격자의 가중치가 1일 경우, 상기 격자가 통행을 금지하는 영역인 것을 나타내고, 격자의 가중치가 0일 경우, 상기 격자가 통행을 허용하는 영역인 것을 나타낸다. 도 6에 도시된 바와 같이, 측량 데이터 및 국부 내비게이션 차트 중 장애물의 정보에 따라 전역 내비게이션 차트에서의 원래의 작업 경계 영역 및 원래의 장애물 영역의 가중치를 모두 1로 설정하여 상기 영역이 이미 완전히 장애물에 의해 차지됨을 나타내고, 항공기 통행을 금지한다. 깊이 우선 알고리즘 또는 다른 알고리즘을 사용하여 원래의 경계 영역 및 원래의 장애물 영역을 팽창시키고, 팽창 영역의 가중치를 모두 1로 설정하여 팽창 영역도 위험한 영역임을 나타내고, 항공기 접근을 허용하지 않으며, 항공기가 장애물과 안전한 거리를 유지하도록 할 수 있다.
깊이 이미지 각각의 픽셀 포인트가 모두 타겟의 거리 정보를 포함하므로, 포함되는 정보량이 지나치게 크고, 원래의 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하면, 산출량이 지나치게 크다. 따라서, 깊이 이미지에 대해 전처리를 진행해야 한다. 깊이 이미지에 대해 전처리하여 산출량을 감소시키는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계 이후, 상기 각각의 포인트의 3차원 위치 정보를 획득하는 단계 이전에, 상기 깊이 이미지에 대해 성김 처리하는 단계를 더 포함할 수 있다.
카메라 핀홀 이미징 모형에 따르면, 먼 곳의 장애물은 이미지의 중심 측에 집중될 수 있고, 가까운 곳의 장애물은 거리가 가까우므로 이미지에서의 면적이 비교적 크다. 따라서, 하나의 실시예에서, 상기 깊이 이미지에 대해 성김 처리하는 단계는, 가변 스텝 사이즈를 사용하여 상기 깊이 이미지에 대해 성김 처리하는 단계를 포함하고, 여기서, 상기 가변 스텝 사이즈는 깊이 이미지 중의 픽셀 포인트가 가장리로부터 중심까지 점진적으로 증가되도록 제어하기 위한 것이다.
구체적으로 실시할 경우, 이미지 경계로부터 시작하여 부등거리의 성김 처리를 진행하여 이미지 중심을 근접하는 픽셀 포인트가 비교적 조밀하도록 하고 이미지 가장자리의 픽셀 포인트가 비교적 성기도록 할 수 있다. 성김 처리의 의사 코드는 하기와 같다.
Figure 112020020579212-pct00006
여기서,
img_height와 img_width는 각각 이미지의 폭과 길이이다.
i_step과 j_step은 이미지를 트래버싱(traversing)하는 스텝 사이이고, 초기값은 모두 1이다.
height_step과 width_step은 각각 이미지의 종방향 및 횡방향의 성김 인자이다.
HandleImage()는 깊이 이미지에 대한 후속 처리를 나타낸다.
원래의 깊이 이미지, 또는 성김 처리를 거친 후의 성김 깊이 이미지는 좌표를 통해 내비게이션 좌표계 하로 전환되어야만 장애물의 정보로서 국부 내비게이션 차트에 업데이트될 수 있다. 따라서, 하나의 실시예에서, 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계는, 상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계; 및 내비게이션 좌표계 중의 각각의 포인트, 상기 현재 비행 위치 및 상기 자세 정보에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계를 포함한다.
좌표 전환의 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계는, 카메라 내부 참조 매트릭스에 따라 상기 깊이 이미지 중 각각의 포인트를 카메라 좌표계에서의 각각의 포인트로 전환시키는 단계; 카메라 좌표계로부터 본체 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00007
에 따라 카메라 좌표계에서의 각각의 포인트를 본체 좌표계에서의 각각의 포인트로 전환시키는 단계; 및 본체 좌표계로부터 내비게이션 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00008
에 따라 본체 좌표계에서의 각각의 포인트를 내비게이션 좌표계의 각각의 포인트로 전환시키는 단계를 포함한다.
깊이 이미지 자체에 소음이 존재하고 장애물이 이동할 수 있으므로(예를 들어, 나무잎이 바람에 하느작거림), 깊이 이미지를 사용하여 산출된 포인트 클라우드에도 소음 포인트가 존재할 수 있고, 이러한 소음은 상기 단계가 순환됨에 따라 국부 내비게이션 차트에 축적되어 장애물에 대한 측정에 오차가 발생하게 되는데, 이를 오측이라고 약칭한다. 오측 확률을 감소시키기 위하여, 하나의 실시예에서, 상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 국부 내비게이션 차트에 투영하는 단계 이후에, 상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키는 단계; 감쇠된 후의 각각의 서브 영역 중 모든 포인트의 가중치의 합을 획득하는 단계를 더 포함한다. 먼저 국부 내비게이션 차트 중의 기설정된 영역 내의 포인트의 가중치를 감쇠시키고, 다음, 각각의 서브 영역의 전체 가중치를 산출하여, 각각의 서브 영역이 장애물 영역인 지를 판담함으로써, 장애물 판단에 대한 소음의 영향을 감소시키고, 장애물 영역 판단의 정확성을 향상시킨다.
하나의 실시예에서, 상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키는 단계는, 상기 기설정된 영역 내의 각각의 포인트의 가중치와 기설정된 감쇠 인자를 곱하는 단계를 포함한다. 감쇠 인자는 경험에 따라 설정될 수 있다. 기설정된 영역에 마침 N개의 서브 영역이 포함되면, 하기 공식에 따라 감쇠 동작을 진행할 수 있다.
map_value*＝damping_factor.
여기서, map_value는 기설정된 영역 내의 하나의 서브 영역의 전체 가중치를 나타내고, damping_factor는 감쇠 인자를 나타낸다.
기설정된 영역 결정 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 기설정된 영역은 상기 국부 내비게이션 차트의 중심, 상기 항공기 중 깊이 이미지를 획득하기 위한 양안 시스템의 수평 시야각 및 설정 감쇠 거리에 따라 결정된다.
도 2에 도시된 바와 같이, 도 2는 일 구체적 실시예의 기설정된 영역 결정 방법의 모식도이고, 여기서, O은 국부 내비게이션 차트의 지도 중심, 즉 항공기의 현재 비행 위치를 나타내며, θ는 양안 시스템의 파라미터에 의해 결정되는 양안 시스템 시야각의 크기를 나타내고, d는 경험에 따라 설정되는 고정값인 감쇠 거리를 나타내므로, 이상 3개의 파라미터에 의해 결정된 부채꼴 영역이 바로 감쇠 영역이며, 상기 감쇠 영역 내의 포인트의 가중치를 감쇠시키지만, 감쇠 영역 밖의 포인트의 가중치는 감쇠시킬 필요가 없다.
설명해야 할 것은, 도 2는 단지 항공기의 전방에 양안 시스템을 장착한 감쇠 영역을 예시적으로 나타낸 것이고, 항공기 후방 또는 측면에도 양안 시스템을 장착하면, 감쇠 영역이 대칭되는 위치 또는 측면의 위치에 감쇠 영역이 설치된 것을 도시하고, 감쇠 영역 내의 포인트의 가중치를 감쇠시키는데, 즉 감쇠 영역은 양안 시스템 장착 방식과 관련된다. 다른 기기를 통해 깊이 이미지를 획득하면, 기설정된 영역을 결정하는 방식은 양안 시스템에 기반하여 기설정된 영역을 결정하는 구상과 동일하다.
동일한 발명 구상에 기반해보면, 본 발명은 장애물 회피 장치를 더 제공하고, 아래 도면을 결부하여 본 발명의 장치의 구체적 실시형태를 상세하게 설명한다.
도 7에 도시된 바와 같이, 하나의 실시예에서, 항공기 내비게이션 차트 구성 장치는 하기와 같은 모듈을 포함한다.
제1 정보 획득 모듈(210)은 상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득한다.
항공기는 식물 보호 드론 등일 수 있다. 현재 비행 위치는 항공기가 현재 시각에 위치한 지리적 위치를 의미하는데, 예를 들어, 항공기의 경위도 정보 등을 의미한다. 자세 정보는 항공기가 현재 시각에 비행하는 자세를 의미하는데, 예를 들어, 부앙각, 롤링각 및 편류각 등을 의미한다. 항공기의 현재 비행 위치 및 자세 정보는 모두 항공기의 비행 제어를 통해 획득될 수 있다. 깊이 이미지는 촬영된 타겟의 2차원 이미지이고, 상기 깊이 이미지는 각각의 포인트와 상기 현재 비행 위치의 거리 정보를 포함하며, 즉, 깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 항공기 현재 위치의 거리 정보를 나타낸다. 실제 응용에서, 깊이 이미지는 항공기의 양안 시스템을 통해 탐지될 수 있다. 국부 장애물 회피를 진행할 경우, 사용되는 깊이 이미지는 여러 장의 깊이 이미지일 수 있고, 한 장의 깊이 이미지일 수 있도 있으며, 본 발명은 이에 대해 한정하지 않는다. 이 밖에, 깊이 이미지의 크기는 수요에 따라 자체적으로 설정될 수 있고, 본 발명은 이에 대해 한정하지 않는다. 획득된 현재 비행 위치, 자세 정보 및 깊이 이미지는 국부 내비게이션 차트의 구축에 사용된다.
차원 위치 정보 획득 모듈(220)은 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득한다.
깊이 이미지 중 각각의 픽셀 포인트의 그레이 스케일 값은 촬영된 타겟과 상기 항공기의 거리 정보를 포함하므로, 현재 비행 위치, 자세 정보 및 상기 깊이 이미지 중 각각의 픽셀 포인트의 픽셀 좌표, 및 그레이 스케일 값에 따라 각각의 픽셀 포인트에 대응되는 3차원 위치 정보를 산출할 수 있는데, 즉 깊이 이미지 중 각각의 2차원 픽셀 포인트에 대응되는 하나의 3차원의 포인트이다.
내비게이션 좌표계는 현지 수평 좌표계로, 항행 시 내비게이션 시스템 작업의 수요에 따라 선택된 내비게이션 기준인 좌표계이고, 내비게이션 산출 시 사용되는 것이다. 이러한 3차원의 포인트가 항공기의 내비게이션에 사용되는 것을 고려하기에, 산출된 3차원의 포인트는 일반적으로 내비게이션 좌표계에서의 포인트이다. 선택 가능하게, 내비게이션 좌표계는 북동지 좌표계이다.
국부 내비게이션 차트는 단지 항공기 부근의 장애물에만 대해 지시하여 획득된 포인트 클라우드(각각의 3차원의 포인트)는 비교적 먼 범위의 포인트를 포함할 수 있으므로, 항공기 비행에 영향주는 포인트만 보류할 수 있는데, 예를 들어, 항공기 상하로부터 일정하게 떨어진 범위 내의 포인트만 보류할 수 있다.
투영 모듈(230)은 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하고, 여기서, 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함한다.
국부 내비게이션 차트는 항공기를 위해 국부 내비게이션을 진행하기 위한 것이고, 이는 동태적이며, 지도의 중심은 항공기의 현재 위치이고, 지도의 크기는 인공적으로 미리 설정될 수 있거나 프로그램을 통해 미리 설정될 수 있다. 항공기의 현재 위치가 변화될 경우, 국부 내비게이션 지도의 중심을 이동시키는 동시에, 전체적인 지도의 콘텐츠를 한 번 평행 이동시키고, 평행 이동시킨 후, 지도 범위를 벗어난 원래의 콘텐츠는 삭제되며, 새로 추가된 콘텐츠는 0으로 세팅된다.
일정한 규칙에 따라 국부 내비게이션 차트를 각각의 서브 영역으로 구획하고, 구체적인 구획 규칙은 실제 상황에 따라 설정할 수 있으며, 본 발명은 이에 대해 한정하지 않는다. 예를 들어, 하나의 실시예에서, 상기 국부 내비게이션 차트는 격자 지도일 수 있고, 각각의 격자는 하나의 서브 영역이다.
국부 내비게이션 차트는 2차원 지도이고, 포인트 클라우드, 즉 내비게이션 좌표계의 포인트 클라우드를 획득한 후, 이러한 포인트 클라우드를 일정한 가중치로 국부 내비게이션 차트에 중합시켜 구체적으로 어느 영역이 장애물 영역인 지를 판단하는데 사용해야 한다. 각각의 포인트의 가중치를 산출하는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 각각의 포인트의 상기 가중치는 기설정된 가중치와 거리 인자의 승적에 의해 획득되며, 여기서, 상기 거리 인자와 상기 거리 정보는 정비례 관계이다.
제1 영역 설정 모듈(240)은 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 상기 장애물 영역에 대해 장애물 회피를 실행하도록 지시한다.
획득된 포인트는 장애물의 포인트 또는 소음 포인트 등일 수 있으므로, 이러한 포인트의 가중치를 더 산출하여 실제 장애물 영역을 획득해야 한다. 각각의 포인트를 가중치에 따라 국부 내비게이션 차트에 중합시킨 후, 국부 내비게이션 차트 중의 각각의 서브 영역은 다수의 포인트를 포함할 수 있고, 각각의 서브 영역에 대해 전체 가중치 산출을 진행하여 각각의 서브 영역의 전체 가중치를 획득한다. 전체 가중치가 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정한다.
하나의 실시예에서, 장애물 회피 장치는, 상기 투영 모듈(230)과 연결되고, 서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 작거나 같으면, 상기 서브 영역을 통행 영역으로 설정하여 상기 항공기가 통과하도록 허용하는 통행 영역 설정 모듈을 더 포함한다. 서브 영역의 전체 가중치가 기설정된 임계값보다 작거나 같으면, 상기 서브 영역이 진정한 장애물 영역이 아닌 것을 의미하므로, 상기 서브 영역을 통행 영역으로 표시할 수 있다.
제2 정보 획득 모듈(250)은 사용자에 의해 설정된, 장애물 영역 및 작업 경계 영역을 지시하기 위한 측량 데이터, 및 상기 국부 내비게이션 차트 중 장애물 영역을 지시하기 위한 3차원 위치 정보를 획득한다.
전역 장애물 회피 계획 진행시 데이터는 두 가지인데, 한 가지는 사용자의 측량 데이터(경계 및 장애물을 포함함)이고, 다른 한 가지는 국부 내비게이션 차트의 데이터이며, 국부 내비게이션 차트의 데이터는 일정한 주기로 전역 내비게이션 차트에 업데이트될 수 있다.
측량 데이터는 사용자가 수동으로 테스트한 데이터일 수 있고, 사용자가 지도 인터페이스를 통해 선택한 각각의 데이터일 수도 있다. 일반적으로, 측량 데이터는 장애물 영역의 경계 포인트 및 작업 경계 영역의 경계 포인트를 포함한다. 항공기가 이륙하기 전에, 데이터 링크를 통해 사용자가 측량한 지도 데이터를 항공기에 업로드할 수 있는데, 예를 들어, 항공기의 양안 시스템에 업로드하여 전역 내비게이션 차트의 구축 연산에 사용된다.
3차원 위치 정보는 국부 내비게이션 차트 중 이미 장애물 영역으로 설정된 데이터이다. 국부 내비게이션 차트는 일정한 주기로 업데이트될 수 있고, 업데이트되는 동시에, 장애물 영역의 위치를 하나의 장애물 큐(queue)에 채워 넣을 것을 선택할 수 있는 것으로 결정한다. 상기 장애물 큐는 삭제 또는 추가될 수 있다. 국부 내비게이션 차트에서 장애물로 결정될 경우, 장애물 영역의 정보를 큐에 추가한다. 장애물이 이동 또는 사라질 경우, 장애물 영역의 정보를 큐로부터 삭제한다. 일정한 주기로 장애물 큐에서의 장애물 영역의 정보를 전역 내비게이션 차트에 업데이트함으로써, 전역 내비게이션 차트도 양안 시스템에 의해 탐지된 정보를 포함한다. 설명할 것은, 본 발명은 큐의 형태로 전역 내비게이션 차트의 데이트를 업데이트하는 것으로 한정되지 않고, 사용자는 수요에 따라 다른 형태를 통해 국부 내비게이션 차트 중의 장애물 영역의 정보를 전역 내비게이션 차트에 업데이트할 수도 있다.
국부 내비게이션 차트의 장애물 영역의 정보를 전역 내비게이션 차트에 업데이트하면, 전역 계획 진행시 장애물을 직접 회피할 수 있고, 전역 범위 내에서 최단 경로를 검색함으로써, 단지 측량 데이터로 인해, 검색된 경로가 측량되지 않은 장애물을 회피하지 못하는 것을 방지할 수 있다.
제2 영역 설정 모듈(260)은 기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하여 상기 항공기가 상기 장애물 영역 및 상기 작업 경계 영역에 대해 장애물 회피를 실행하도록 지시한다.
전역 내비게이션 차트는 격자 지도일 수 있다. 전역 내비게이션 차트는 국부 내비게이션 차트보다 훨씬 더 크고, 국부 내비게이션 차트는 아주 작을 수 있는데, 국부 장애물 회피 요구를 만족시키기만 하면 되며, 전역 내비게이션 차트는 항공기 그때 비행한 비행 밤위를 모두 포함해야 한다. 측량 데이터를 획득한 후, 측량 데이터에 포함된 작업 경계 영역의 위치 정보 및 장애물 영역의 위치 정보에 따라 전역 내비게이션 차트에서 상응한 영역을 표기할 수 있다. 예를 들어, 측량 데이터에 따라 전역 내비게이션 차트 중의 일부 격자의 가중치를 1로 설정한다. 국부 내비게이션 차트 중의 장애물 영역의 위치 정보를 획득한 후, 전역 내비게이션 차트를 업데이트하고, 전역 내비게이션 차트 중 상응한 위치를 장애물 영역으로 업데이트한다. 장애물 영역 및 작업 경계 영역을 설정한 후, 항공기는 상기 전역 내비게이션 차트에 따라 장애물 영역 및 작업 경계 영역에 대해 장애물 회피를 진행할 수 있다.
전역 내비게이션 차트는 항공기는 항공기가 이륙 작업 전에 초기화를 완성해야 한다. 초기화의 콘텐츠는 전역 내비게이션 차트를 결정하는 크기 및 중심 포인트 위치이다. 하나의 실시예에서, 상기 기설정된 전역 내비게이션 차트의 중심 및 크기는 상기 항공기가 이륙하기 전의 위치 및 상기 측량 데이터에 따라 획득된다. 전역 내비게이션 차트를 초기화하는 정보는 사용자에 의해 설정된 측량 데이터로부터 획득된다. 지도 중심이 나타내는 지리적 위치 및 지도의 크기는 초기화시 이미 결정된다. 이러한 정보를 결정한 후, 전역 내비게이션 차트에 저장 공간을 할당하고, 장애물의 지리적 위치에 따라 장애물 정보의 저장 위치를 결정하여 장애물 정보 저장 및 액세스에 편의를 제공한다.
하나의 실시예에서, 상기 전역 내비게이션 차트의 수평 경계는 Y축에서의 상기 위치 및 상기 측량 데이터의 최대치 및 최소치에 의해 팽창된 후 결정되고, 상기 전역 내비게이션 차트의 수직 경계는 X축에서의 상기 위치 및 상기 측량 데이터의 최대치 및 최소치에 의해 팽창된 후 결정된다. 구체적으로, 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 Y축에서의 최대치를 검색하고, 상기 최대치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 상부의 수평 경계를 획득한다. 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 Y축에서의 최소치를 검색하고, 상기 최소치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 하부의 수평 경계를 획득한다. 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 X축에서의 최대치를 검색하고, 상기 최대치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 우측의 수직 경계를 획득한다. 측량 데이터 및 항공기가 이륙하기 전의 위치 정보로부터 X축에서의 최소치를 검색하고, 상기 최소치를 일정한 거리로 팽창시킨 후 전역 내비게이션 차트 좌측의 수직 경계를 획득한다. 여기서, 팽창된 거리는 실제 수요에 따라 설정될 수 있다. 전역 내비게이션 차트의 경계 정보를 획득한 후, 전역 내비게이션 차트의 크기 및 중심 포인트의 위치를 획득할 수 있고, 전역 내비게이션 차트의 초기화를 완성할 수 있다.
측량 데이터 및 국부 내비게이션 차트 중의 데이터에 따라 전역 내비게이션 차트 중 장애물 영역 및 작업 경계 영역을 설정하는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 제2 영역 설정 모듈(260)은, 획득된 상기 측량 데이터 및 3차원 위치 정보에 따라 제1 장애물 영역 및 제1 작업 경계 영역을 획득하고; 상기 제1 장애물 영역 및 상기 제1 작업 경계 영역을 팽창시켜 제2 장애물 영역 및 제2 작업 경계 영역을 획득하며; 상기 제2 장애물 영역 및 상기 제2 작업 경계 영역을 항공기가 장애물 회피를 실행하도록 지시하기 위한 영역으로 설정한다. 제1 장애물 영역 및 제1 작업 경계 영역 팽창의 거리에 대해 실제 수요에 따라 설정할 수 있고, 이러한 팽창된 영역도 위험한 영역으로, 항공기 통행을 금지시켜야 하므로, 항공기가 장애물 회피를 실행하는 영역을 설정하여 항공기가 장애물 및 작업 경계 영역과 안전 거리를 유지하도록 해야 한다.
설명해야 할 것은, 본 발명은 상기 전역 내비게이션 차트 중 장애물 영역 및 작업 경계 영역을 설정하는 방식을 한정하지 않고, 사용자는 직접 측량 데이터 및 국부 내비게이션 차트 중의 장애물 정보에 따라 전역 내비게이션 차트에 항공기 통행을 금지하는 영역을 설정하지만 팽창시키지 않거나, 장애물 영역 또는 작업 경계 영역만 팽창시킬 수도 있다. 이 밖에, 팽창시, 각각의 방향으로 팽창되는 거리를 동일하게 설정할 수 있고, 각각의 방향에 대해 각각 상이한 팽창 거리를 설정할 수도 있다.
깊이 이미지 각각의 픽셀 포인트가 모두 타겟의 거리 정보를 포함하므로, 포함되는 정보량이 지나치게 크고, 원래의 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하면, 산출량이 지나치게 크다. 따라서, 깊이 이미지에 대해 전처리를 진행해야 한다. 깊이 이미지에 대해 전처리하여 산출량을 감소시키는 방식은 다양하고, 예를 들어, 하나의 실시예에서, 장애물 회피 장치는 상기 제1 정보 획득 모듈(210)과 상기 3차원 위치 정보 획득 모듈(220) 사이에 연결되는 성김 처리 모듈을 더 포함할 수 있고, 상기 성김 처리 모듈은 상기 깊이 이미지에 대해 성김 처리한다.
카메라 핀홀 이미징 모형에 따르면, 먼 곳의 장애물은 이미지의 중심 측에 집중될 수 있고, 가까운 곳의 장애물은 거리가 가까우므로 이미지에서의 면적이 비교적 크다. 따라서, 하나의 실시예에서, 성김 처리 모듈가변 스텝 사이즈를 사용하여 상기 깊이 이미지에 대해 성김 처리하는 단계, 여기서, 상기 가변 스텝 사이즈는 깊이 이미지 중의 픽셀 포인트가 가장리로부터 중심까지 점진적으로 증가되도록 제어하기 위한 것이다.
원래의 깊이 이미지, 또는 성김 처리를 거친 후의 성김 깊이 이미지는 좌표를 통해 내비게이션 좌표계 하로 전환되어야만 장애물의 정보로서 국부 내비게이션 차트에 업데이트될 수 있다. 따라서, 하나의 실시예에서, 상기 3차원 위치 정보 획득 모듈(220)은, 상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하고; 내비게이션 좌표계 중의 각각의 포인트, 상기 현재 비행 위치 및 상기 자세 정보에 따라 각각의 포인트의 3차원 위치 정보를 획득한다.
좌표 전환의 방식은 다양하고, 예를 들어, 하나의 실시예에서, 3차원 위치 정보 획득 모듈(220)은, 카메라 내부 참조 매트릭스에 따라 상기 깊이 이미지 중 각각의 포인트를 카메라 좌표계에서의 각각의 포인트로 전환시키고; 카메라 좌표계로부터 본체 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00009
에 따라 카메라 좌표계에서의 각각의 포인트를 본체 좌표계의 각각의 포인트로 전환시키며; 본체 좌표계로부터 내비게이션 좌표계까지의 전환 매트릭스
Figure 112020020579212-pct00010
에 따라 본체 좌표계에서의 각각의 포인트를 내비게이션 좌표계의 각각의 포인트로 전환시킨다.
깊이 이미지 자체에 소음이 존재하고 장애물이 이동할 수 있으므로(예를 들어, 나무잎이 바람에 하느작거림), 깊이 이미지를 사용하여 산출된 포인트 클라우드에도 소음 포인트가 존재할 수 있고, 이러한 소음은 상기 단계가 순환됨에 따라 국부 내비게이션 차트에 축적되어 장애물에 대한 측정에 오차가 발생하게 되는데, 이를 오측이라고 약칭한다. 오측 확률을 감소시키기 위하여, 하나의 실시예에서, 장애물 회피 장치는 투영 모듈(230)과 제1 영역 설정 모듈(240)(및/또는 통행 영역 설정 모듈) 사이에 연결되는 감쇠 모듈을 더 포함할 수 있고, 상기 감쇠 모듈은, 상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키고; 감쇠된 후의 각각의 서브 영역 중 모든 포인트의 가중치의 합을 획득한다. 감쇠 모듈먼저 국부 내비게이션 차트 중의 기설정된 영역 내의 포인트의 가중치를 감쇠시키고, 다음, 각각의 서브 영역의 전체 가중치를 산출한다. 상기 전체 가중치에 기반하여 각각의 서브 영역이 장애물 영역인 지를 판담함으로써, 장애물 판단에 대한 소음의 영향을 감소시키고, 장애물 영역 판단의 정확성을 향상시킨다.
하나의 실시예에서, 상기 감쇠 모듈상기 기설정된 영역 내의 각각의 포인트의 가중치와 기설정된 감쇠 인자를 곱한다. 감쇠 인자는 경험에 따라 설정될 수 있다. 기설정된 영역에 마침 N개의 서브 영역이 포함되면, 각각의 서브 영역의 전체 가중치와 감쇠 인자를 각각 곱할 수 있다.
기설정된 영역 결정 방식은 다양하고, 예를 들어, 하나의 실시예에서, 상기 기설정된 영역은 상기 국부 내비게이션 차트의 중심, 상기 항공기 중 깊이 이미지를 획득하기 위한 양안 시스템의 수평 시야각 및 설정 감쇠 거리에 따라 결정된다. 감쇠 영역은 양안 시스템 장착 방식과 관련된다. 다른 기기를 통해 깊이 이미지를 획득하면, 기설정된 영역을 결정하는 방식은 양안 시스템에 기반하여 기설정된 영역을 결정하는 구상과 동일하다.
본 발명은 단말기를 더 제공하고, 상기 단말기는 항공기 또는 다른 기기일 수 있으며, 메모리, 프로세서, 및 메모리에 저장되고 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행할 경우 상기 내비게이션 차트 구성 방법 및 자동 장애물 회피 방법의 단계를 구현한다.
본 발명은 저장 매체를 더 제공하고, 상기 저장 매체는 저장된 프로그램을 포함하며, 여기서, 상기 프로그램이 실행될 경우 상기 저장 매체가 위치한 기기가 상기 제1 양태에 따른 내비게이션 차트 구성 방법을 수행하도록 제어한다.
본 발명은 저장 매체를 더 제공하고, 상기 저장 매체는 저장된 프로그램을 포함하며, 여기서, 상기 프로그램이 실행될 경우 상기 저장 매체가 위치한 기기가 상기 제2 양태에 따른 장애물 회피 방법을 수행하도록 제어한다.
도 8은 본 발명의 하나의 실시예의 무인 항공기(800)의 구조 모식도이다. 도 8에 도시된 바와 같이, 무인 항공기(800)는 제어기(810)를 포함하고, 상기 제어기(810)는 유선 또는 무선 방식으로 하나 또는 복수의 센서 또는 탐지 시스템(801a-801c)과 연결된다. 상기 센서는 제어기 통신망(controller area network, CAN)을 통해 상기 제어기와 연결될 수 있다. 상기 제어기(810)는 하나 또는 복수의 엑츄에이터(820)와 연결되어 상기 무인 항공기의 상태를 제어할 수 있다.
상기 센서는 본 명세서에서 설명한 임의의 센서, 예를 들어, 관성 센서, GPS 수신기, 지남침, RTK 위치 결정 센서, 자력계, 고도계, 거리 센서(예를 들어, 적외선 센서 또는 레이저 레이더 센서), 시각 또는 이미지 센서(예를 들어, 카메라 또는 비디오 카메라), 광전기 센서, 운동 센서, 터치 센서, 압력 센서, 온도 센서, 자기 센서를 포함할 수 있다.
상기 관성 센서는 IMU라고 불리우고, 항공기의 자세 정보를 결정할 수 있으며, 삼축 자이로, 삼축 가속도 센서, 삼축 지자기 센서 및 기압계 등을 포함하고, 여기서, 삼축 자이로, 삼축 가속도 센서, 삼축 지자기 센서 중의 삼축은 드론의 좌우, 전후, 수직 방향 상하인 3개의 축을 의미하며, 센서는 주로 XYZ인 3개의 축의 경각을 측정한다. 삼축 가속도 센서는 드론의 XYZ인 3개의 축의 가속도를 측정한다. 지자기 센서는 지자기를 감지하여 드론이 자체의 헤드와 비행이 향하는 방향을 알고 태스크 위치를 검색할 수 있도록 한다. 기압계는 상이한 위치의 기압을 측정하여 차압을 산출하여 현재의 높이를 획득할 수 있다. 상기 센서의 조합을 통해, IMU 관성 측정 유닛은 드론 자세의 변화를 감지할 수 있다. 예를 들어, 드론이 현재 앞으로 경사지는지 좌우로 경사지는지, 헤드의 방향, 높이 등 제일 기본적인 자세 데이터를 감지할 수 있다.
상기 이미지 센서는 무인 항공기 각각의 방향의 장애물 정보를 결정할 수 있고, 상기 이미지 센서는 양안 시스템을 포함하며, 상기 양안 시스템은 2개의 카메라를 적어도 포함하며, 이미지 처리 알고리즘을 통해 물체의 3차원 정보를 결정하고 물체의 3차원 모형을 구축할 수 있다.
일부 실시예에서, 일부 센서(예를 들어, 시각 센서)를 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA, 미도시)와 연결시킬 수 있다. 상기 필드 프로그래머블 게이트 어레이와 상기 제어기를 연결시킬 수 있다(예를 들어, 범용 메모리 제어기(general purpose memory controller, GPMC)를 통해 연결됨). 일부 실시예에서, 일부 센서(예를 들어, 시각 센서) 및/또는 상기 필드 프로그래머블 게이트 어레이를 전송 모듈과 연결시킬 수 있다. 상기 전송 모듈은 상기 센서에 의해 획득된 데이터(예를 들어, 이미지 데이터)를 임의의 적합한 외부 기기 또는 시스템에 전송할 수 있는데, 예를 들어, 본 명세서에서 설명한 단말기 또는 원격 기기에 전송할 수 있다.
상기 제어기는 하나 또는 복수의 프로그래머블 프로세서(예를 들어, 중앙처리장치)를 포함할 수 있다. 상기 제어기는 저장 매체(예를 들어, 비휘발성 컴퓨터 판독 가능 매체)(830)와 연결될 수 있다. 상기 저장 매체는 하나 또는 복수의 저장 유닛(예를 들어, 이동 가능 매체 또는 SD카드 또는 랜덤 액세스 메모리와 같은 외부 메모리)을 포함할 수 있다. 일부 실시예에서, 상기 센서(예를 들어, 카메라)로부터의 데이터는 상기 저장 매체의 저장 유닛에 직접 전송 및 저장될 수 있다(예를 들어, 직접 메모리 접근(DMA)을 통해 연결됨). 상기 저장 매체의 저장 유닛은 코드 및/또는 프로그램 명령을 저장할 수 있다. 상기 제어기는 상기 코드 및/또는 프로그램 명령을 실행하여 본 명세서에서 설명한 방법 실시예를 실행한다. 예를 들어, 상기 제어기는 명령을 실행하여, 상기 제어기의 하나 또는 복수의 프로세서가 하나 또는 복수의 센서 또는 탐지 시스템에 의해 생성된 데이터를 분석하여 본 명세서에서 설명한 상기 무인 항공기의 방위 및/또는 운동 정보, 검출된 외부 접촉 정보 및/또는 검출된 외부 신호 정보를 결정할 수 있도록 한다. 또한 예를 들어, 상기 제어기는 명령을 실행하여, 상기 제어기의 하나 또는 복수의 프로세서가 상기 무인 항공기가 자율적으로 이륙 또는 착륙하도록 제어하는지의 여부를 결정할 수 있도록 한다.
상기 저장 매체(830)의 저장 유닛은 상기 하나 또는 복수의 탐지 시스템의 감지 데이터로부터 획득되고, 상기 감지 데이터는 상기 제어기에 의해 처리된다. 일부 실시예에서, 상기 저장 유닛은 상기 무인 항공기의 방위 및/또는 운동 정보, 검출된 외부 접촉 정보 및/또는 검출된 외부 신호 정보를 저장할 수 있다. 선택 또는 결부 가능하게, 상기 저장 유닛은 상기 무인 항공기를 제어하기 위한 미리 설정 또는 미리 저장된 데이터(예를 들어, 미리 설정된 탐지 데이터의 임계값, 상기 엑츄에이터를 제어하기 위한 파라미터, 상기 무인 항공기의 미리 설정된 비행 경로, 속도, 가속도 또는 방향)를 저장할 수 있다.
상술한 바와 같이, 상기 제어기(810)는 하나 또는 복수의 엑츄에이터(820)를 통해 상기 무인 항공기의 상태를 조정할 수 있다. 예를 들어, 상기 제어기는 상기 무인 항공기의 로터를 제어할 수 있으므로(예를 들어, 로터의 회전 속도를 제어함), 6개의 자유도(X, Y 및 Z축을 따른 평행 운동 및 횡회전축, 부앙축 및 항행 방향축의 회전 운동)에 대한 상기 무인 항공기 또는 그 부재(옐르 들어, 부하, 부하의 캐리어)의 공간 분포를 조정한다. 선택 또는 결부 가능하게, 상기 제어기는 6개나 되는 자유도에 대한 상기 무인 항공기의 속도 또는 가속도를 조정할 수 있다. 일부 실시예에서, 상기 제어기는 미리 설정된 제어 데이터 또는 상기 무인 항공기의 위치, 외부 접촉 또는 외부 신호 정보에 기반하여 상기 무인 항공기를 제어할 수 있다. 하나 또는 복수의 탐지 시스템으로부터의 감지 데이터를 통해 상기 무인 항공기의 방위, 외부 접촉 또는 외부 신호 정보를 획득할 수 있다. 예를 들어, 상기 제어기는 이륙 또는 착륙 여부에 기반하여 상기 엑츄에이터에 가속 또는 감속 신호를 제공할 수 있다.
상이한 실시예에서, 상기 엑츄에이터는 모터, 전자 조속기, 기계 전동 장치, 유압 전동 장치, 기압 전동 장치 등을 포함할 수 있다. 상기 모터는 자기력 모터, 정전기 모터 또는 압전기 모터를 포함할 수 있다. 예를 들어, 일부 실시예에서, 상기 엑츄에이터는 브러시가 있는 직류 모터 또는 브러시가 없는 직류 모터를 포함한다.
상기 제어기는 통신 모듈(840)과 연결되어 하나 또는 복수의 외부 기기(예를 들어, 단말기, 표시 기기, 지면 제어 장치 또는 다른 리모컨)로부터의 데이터를 전송 및/또는 수신할 수 있다. 상기 통신 모듈은 유선 통신 또는 무선 통신과 같은 임의의 적용되는 통신 방식을 사용할 수 있다. 예를 들어, 상기 통신 모듈은 하나 또는 복수의 구내 정보 통신망, 광역 통신망, 적외선, 무선 전자파, WiFi, 포인트 투 포인트(point-to-point, P2P) 네트워크, 전신 네트워크, 클라우드 통신 등을 사용할 수 있다. 선택 가능하게, 송신탑, 위성 또는 이동국과 같은 중계국을 사용할 수 있다. 상기 무선 통신은 거리의 영향을 받을 수 있거나 받지 않을 수 있다. 일부 실시예에서, 시선 내 통신 또는 시선 밖의 통신일 수 있다. 상기 통신 모듈은 상기 탐지 시스템으로부터의 하나 또는 복수의 감지 데이터, 방위 및/또는 운동 정보, 상기 감지 데이터를 처리하여 획득된 외부 접촉 정보 및/또는 외부 신호 정보, 미리 설정된 제어 데이터, 단말기 또는 리모컨으로부터의 사용자 명령 등을 전송 및/또는 수신할 수 있다.
상기 무인 항공기의 부재는 임의로 적합하게 배치될 수 있다. 예를 들어, 상기 무인 항공기의 하나 또는 복수의 부재는 상기 무인 항공기, 캐리어, 부하, 단말기, 탐지 시스템 또는, 상기 하나 또는 복수의 기기와 통신하는 임의의 다른 원격 기기 또는 시스템에 설치될 수 있다. 이 밖에, 도 8에서 하나의 제어기 및 하나의 저장 매체를 설명하지만, 본 기술분야의 통상의 기술자는 응당 상기 설명이 상기 무인 항공기를 제한하지 않고 상기 무인 항공기는 복수의 제어기 및/또는 저장 매체를 포함할 수 있음을 알아야 한다. 일부 실시예에서, 상기 복수의 제어기 및/또는 저장 매체 중의 하나 또는 복수개는 상이한 위치에 설치될 수 있는데, 예를 들어, 상기 무인 항공기, 캐리어, 부하, 단말기, 탐지 시스템, 또는 상기 하나 또는 복수의 기기와 통신하는 임의의 다른 원격 기기 또는 시스템 또는 이들의 적절한 조합에 설치될 수 있음으로써, 상기 무인 항공기가 상기 하나 또는 복수의 위치에서 처리 및/또는 저장 기능을 수행하도록 한다.
상기 무인 항공기는 단일 회전 날개 항공기, 다중 회전 날개 항공기 및 회전 날개 항공기를 포함하지만 이에 한정되지 않는다. 회전 날개 항공기는 일반적으로 프로펠러 턴스타일 또는 축 회전을 이용하여 양력을 생성한다. 상기 회전 날개 항공기는 예를 들어 헬리콥터, 시클로자이로, 오토자이로, 회전익 헬리콥터 등을 포함한다. 상기 회전 날개 항공기는 상기 항공기의 복수의 위치에 장착된 복수의 로터를 구비할 수 있다. 예를 들어, 상기 무인 항공기는 회전 날개가 4개인 헬리콥터, 회전 날개가 6개인 헬리콥터, 회전 날개가 10개인 헬리콥터 등을 포함할 수 있다.
상이한 실시예에서, 상기 무인 항공기는 6개의 자유도(예를 들어, 3개의 평행 이동 자유도 및 3개의 회전 자유도)에 대해 자유롭게 운동할 수 있다. 또는, 상기 무인 항공기는 하나 또는 복수의 자유도 운동으로 제한될 수 있는데, 예를 들어, 미리 설정된 궤도 또는 궤적에 제한될 수 있다. 상기 운동은 임의의 적합한 구동기에 의해 구동될 수 있는데, 예를 들어, 엔진 또는 모터에 의해 구동될 수 있다. 일부 실시예에서, 상기 무인 항공기는 추진 시스템에 의해 구동될 수 있다. 추진 시스템은 예를 들어 엔진, 모터, 바퀴, 자석, 로터, 프로펠러, 블레이브, 노즐 또는 임의의 적합한 상기 부재의 조합을 포함할 수 있다. 임의의 적합한 에너지원, 예를 들어 전기 에너지, 자기 에너지, 태양 에너지, 풍력 에너지, 중력 에너지, 화학 에너지, 핵 에너지 또는 임의의 적합한 에너지원의 조합에 의해 상기 무인 항공기의 운동에 동력을 제공할 수 있다.
상이한 실시예에서, 상기 무인 항공기는 상이한 크기, 사이즈 및/또는 구조를 사용할 수 있다. 예를 들어, 하나의 실시예에서, 상기 무인 항공기는 다중 회전 날개 무인 항공기일 수 있고, 역방향으로 회전하는 로터의 축 간격은 어느 하나의 임계값을 초과하지 않는다. 상기 임계값은 약 5 m, 4 m, 3 m, 2 m, 1 m 등일 수 있다. 예를 들어, 상기 역방향으로 회전하는 로터의 축 간격의 수치는 350 mm, 450 mm, 800 mm, 900 mm 등일 수 있다.
일부 실시예에서, 상기 무인 항공기의 크기 및/또는 사이즈는 한 사람을 그 안에 또는 그 위에 수용할 수 있다. 또는, 상기 무인 항공기의 크기 및/또는 사이즈는 한 사람을 그 안에 또는 그 위에 수용할 수 없다. 일부 상황에서, 상기 무인 항공기의 최대 사이즈(예를 들어, 길이, 폭, 높이, 직경, 대각선)는 5 m, 4 m, 3 m, 2 m, 1 m, 0.5 m 또는 0.1 m를 초과하지 않는다. 예를 들어, 상기 역방향으로 회전하는 로터의 축 간격은 5 m, 4 m, 3 m, 2 m, 1 m, 0.5 m 또는 0.1 m를 초과하지 않을 수 있다. 일부 실시예에서, 상기 무인 항공기의 부피는 100 cm × 100 cm × 100 cm보다 작을 수 있다. 일부 실시예에서, 상기 무인 항공기의 부피는 50 cm × 50 cm × 30 cm보다 작을 수 있다. 일부 실시예에서, 상기 무인 항공기의 부피는 5 cm × 5 cm × 3 cm보다 작을 수 있다. 일부 실시예에서, 상기 무인 항공기의 지면 차지 면적(상기 무인 항공기의 횡단면의 면적)은 약 32000 cm2, 20000 cm2, 10000 cm2, 1000 cm2, 500 cm2, 100cm2 또는 더 작을 수 있다. 일부 상황에서, 상기 무인 항공기의 중량은 1000 kg, 500 kg, 100 kg, 10 kg, 5 kg, 1 kg 또는 0.5 kg을 초과하지 않을 수 있다.
상이한 실시예에서, 상기 무인 항공기는 하중을 탑재할 수 있다. 상기 하중은 하나 또는 복수의 화물, 장치, 기기 등을 포함할 수 있다. 상기 하중은 게이스를 구비할 수 있다. 선택 가능하게, 상기 하중의 부분 또는 전체는 케이스를 구비하지 않을 수 있다. 상기 하중은 상기 무인 항공기에 대해 강성 고정될 수 있다. 또는, 상기 하중은 상기 무인 항공기에 대해 운동할 수 있다(예를 들어, 상기 무인 항공기에 대해 평행 이동 또는 회전함).
일부 실시예에서, 상기 하중은 부하, 및 상기 부하를 탑재하는 캐리어를 포함하는데, 예를 들어, 약상자를 포함한다. 상기 캐리어는 상기 무인 항공기와 일체로 성형될 수 있다. 또는, 상기 캐리어는 상기 무인 항공기에 탈착 가능하게 연결될 수 있다. 상기 캐리어는 상기 무인 항공기와 직접 또는 간접적으로 연결될 수 있다. 상기 캐리어는 상기 부하를 지지할 수 있다(예를 들어, 상기 부하의 부분 중량을 적어도 지지함). 상기 캐리어는 상기 부하의 운동을 안정시키거나 및/또는 제어할 수 있는 적합한 장착 구조(예를 들어, 클라우트 플랫폼)를 포함할 수 있다. 일부 실시예에서, 상기 캐리어는 상기 부하가 상기 무인 항공기에 대한 상태(예를 들어, 위치 및/또는 방향)를 제어하는데 적용될 수 있다. 예를 들어, 상기 캐리어는 상기 무인 항공기에 대해 운동할 수 있음으로써(예를 들어, 하나, 2개 또는 3개의 평행 이동 자유도 및/또는 하나, 2개 또는 3개의 회전 자유도에 대해 운동함), 상기 부하가 적합한 참조 좌표계에 대해 그 위치 및/또는 방향이 상기 무인 항공기 운동의 영향을 받지 않도록 유지한다. 상기 참조 좌표계는 고정 참조 좌표계(예를 들어, 주위 환경)일 수 있다. 또는, 상기 참조 좌표계는 운동 참조 좌표계(예를 들어, 상기 무인 항공기, 부하)일 수 있다.
일부 실시예에서, 상기 캐리어는 상기 부하가 상기 캐리어 및/또는 무인 항공기에 대해 운동하도록 할 수 있다. 상기 운동은 3개에 달하는 자유도에 대해(예를 들어, 하나, 2개 또는 3개의 축을 따라) 평행 이동, 3개에 달하는 자유도에 대해(예를 들어, 하나, 2개 또는 3개의 축을 따라) 회전하는 것 또는 이들의 임의의 조합일 수 있다. 예를 들어, 상기 캐리어는 프레임 컴포넌트 및 엑츄에이터 컴포넌트를 포함할 수 있다. 상기 프레임 컴포넌트는 상기 부하에 구조 지지를 제공할 수 있다. 상기 프레임 컴포넌트는 복수의 단독의 프레임 부재를 포함할 수 있고, 여기서, 일부 프레임 부재는 상호적으로 운동할 수 있다.
상기 프레임 컴포넌트 및/또는 단독의 프레임 부재는 구동 컴포넌트와 연결될 수 있고, 상기 구동 컴포넌트는 상기 프레임 컴포넌트 운동을 구동한다. 상기 구동 컴포넌트는 상기 단독의 프레임 부재 운동을 구동하는 하나 또는 복수의 엑츄에이터(예를 들어, 모터)를 포함할 수 있다. 상기 엑츄에이터는 복수의 프레임 부재가 동시에 운동하거나 한 번에 하나의 프레임 부재만 운동하도록 할 수 있다. 상기 프레임 부재의 운동은 상기 부하가 상응하게 운동하도록 할 수 있다. 예를 들어, 상기 구동 컴포넌트는 하나 또는 복수의 프레임 부재가 하나 또는 복수의 회전축(예를 들어, 횡회전축, 부앙축 및 항행 방향축의 회전 운동)을 둘러싸며 회전하도록 할 수 있다. 상기 하나 또는 복수의 프레임 부재의 회전은 부하가 상기 무인 항공기에 대해 하나 또는 복수의 회전축을 둘러싸며 회전하도록 할 수 있다. 선택 또는 결부 가능하게, 상기 구동 컴포넌트는 하나 또는 복수의 프레임 부재가 하나 또는 복수의 평행 이동축을 따라 평행 이동하도록 구동할 수 있음으로써, 상기 부하가 상기 무인 항공기에 대해 하나 또는 복수의 대응되는 평행 이동축을 따라 평행 이동하도록 할 수 있다.
상기 부하는 상기 캐리어를 통해 상기 무인 항공기와 직접(예를 들어, 상기 무인 항공기와 직접 접촉됨) 또는 간접적으로(예를 들어, 상기 무인 항공기와 접촉되지 않음) 연결될 수 있다. 선택 가능하게, 상기 부하는 캐리어가 상기 무인 항공기에 장착되는 것을 필요로 하지 않을 수 있다. 상기 부하는 상기 캐리어와 일체로 형성될 수 있다. 또는, 상기 부하는 탈착 가능하게 상기 캐리어와 연결될 수 있다. 일부 실시예에서, 상기 부하는 상술한 바와 같이 하나 또는 복수의 부하 소자를 포함할 수 있고, 상기 부하 소자는 상기 무인 항공기 및/또는 캐리어에 대해 운동할 수 있다. 상기 부하는 하나 또는 복수의 타겟을 측정하는 하나 또는 복수의 센서를 포함할 수 있다. 상기 부하는 이미지 획득 기기(예를 들어, 카메라), 음성 획득 기기(예를 들어, 포물면 마이크), 적외선 이미징 기기 또는 자외선 이미징 기기와 같은 임의의 적합한 센서를 포함할 수 있다. 상기 센서는 정태적 감지 데이터(예를 들어, 사진) 또는 동태적 감지 데이터(예를 들어, 비디오)를 제공할 수 있다. 일부 실시예에서, 상기 센서는 감지 데이터를 상기 부하의 감지 대상에 제공한다. 선택 또는 결부 가능하게, 상기 부하는 신호를 하나 또는 복수의 감지 대상에 제공하는 하나 또는 복수의 송신기를 포함할 수 있다. 상기 송신기는 광원 또는 음원과 같은 임의의 적합한 송신기일 수 있다. 일부 실시예에서, 상기 부하는 예를 들어 상기 무인 항공기와 멀리 떨어진 모듈과 통신하기 위한 하나 또는 복수의 송수신기를 포함한다. 본 발명의 실시예에서, 저장 매체(830) 내에 저장된 프로그램을 호출하고 제어기(810)를 상기 비행 항로에 따라 비행하는 경우로 설정하여 제2 지도 데이터 및 비행 위치를 획득하고; 상기 제1 지도 데이터의 작업 영역과 상기 제2 지도 데이터를 매칭시켜 상기 비행 위치가 상기 비행 항로를 이탈한 비행 오프셋을 산출하며; 상기 비행 오프셋에 따라 상기 비행 항로까지 수정되도록 비행 수정을 진행한다.
선택 가능하게, 제어기(810) 또한,
상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하고;
상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하며;
각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영한다.
선택 가능하게, 제어기(810)는 또한,
상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하고;
상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하며;
각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하고, 여기서, 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함하며;
서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 상기 장애물 영역에 대해 장애물 회피를 실행하도록 지시하고;
사용자에 의해 설정된, 장애물 영역 및 작업 경계 영역을 지시하기 위한 측량 데이터, 및 상기 국부 내비게이션 차트 중 장애물 영역을 지시하기 위한 3차원 위치 정보를 획득하며;
기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하여 상기 항공기가 상기 장애물 영역 및 상기 작업 경계 영역에 대해 장애물 회피를 실행하도록 지시한다.
상기 내비게이션 차트 구성 방법, 자동 장애물 회피 방법 및 장치, 단말기,무인 항공기는, 항공기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트를 동태적으로 생성하고, 항공기가 비행 과정에서 획득한 위치 정보, 자세 정보 및 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 분석하며, 상기 각각의 포인트의 3차원 위치 정보는 항공기가 비행 과정에서 만난 미지의 장애물의 정보일 수 있고, 항공기가 비행 과정에서 만난 미리 계획하지 않은 다른 물체의 정보일 수도 있으며, 각각의 포인트의 3차원 위치 정보를 국부 내비게이션 차트에 투영하면 상기 국부 내비게이션 차트에 따라 실시간 작업 항로 계획을 진행할 수 있다. 작업 항로는 항공기가 비행 과정에서 획득한 정보에 따라 동태적으로 생성된 것이므로, 일시적인 태스크 변화를 대응할 수 있는데, 예를 들어, 미리 계획하지 않은 작업 항로의 하나의 작업 영역에 대해 동시에 작업을 진행할 수 있거나, 미지의 장애물이 위치한 영역에 대해 장애물 회피 등을 진행할 수 있다. 이 밖에, 국부 내비게이션 차트의 장애물 영역의 정보를 전역 내비게이션 차트에 업데이트하면, 전역 계획 진행시 장애물을 직접 회피할 수 있고, 전역 범위 내에서 최단 경로를 검색함으로써, 단지 측량 데이터로 인해, 검색된 경로가 측량되지 않은 장애물을 회피하지 못하는 것을 방지할 수 있다.
본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 모듈에 집적될 수 있고, 각각의 유닛은 단독으로 물리적으로 존재할 수 있으며, 2개 또는 2개 이상의 유닛이 하나의 모듈에 집적될 수도 있다. 상기 집적된 모듈은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 소프트웨어 기능 모듈의 형태로 구현될 수도 있다. 상기 집적된 모듈이 소프트웨어 기능 모듈의 형태로 구현되고 독립적인 제품으로서 판매 또는 사용될 경우, 하나의 컴퓨터 판독 가능 저망 매체에 저장될 수도 있다. 상기 저장 매체는 임의의 타입의 디스크(예를 들어, 플로피 디스켓, 하드디스크, 광디스크, CD-ROM 및 광자기 디스크를 포함함), ROM(Read-Only Memory, 판독 전용 메모리), RAM(Random AcceSS Memory, 랜덤 액세스 메모리), EPROM(EraSable Programmable Read-Only Memory, 소거 가능 프로그래머블 판독 전용 메모리), EEPROM(Electrically EraSable Programmable Read-Only Memory, 전기적 소거 가능 프로그래머블 판독 전용 메모리), 플래시 메모리, 자성 카드 또는 광선 카드 등을 포함하지만 이에 한정되지 않는다.
본 기술분야의 통상의 기술자는 본 발명에서 이미 토론된 다양한 동작, 방법, 흐름 중의 단계, 조치, 방안은 대체, 변경, 조합 또는 삭제될 수 있음을 이해할 수 있다. 선택 가능하게, 본 발명에서 이미 토론된 다양한 동작, 방법, 흐름 중의 다른 단계, 조치, 방안도 대체, 변경, 재배열, 분해, 조합 또는 삭제될 수 있다. 선택 가능하게, 선행기술에서의 본 발명에서 공개한 것과 같은 것을 구비한 다양한 동작, 방법, 흐름 중의 단계, 조치, 방안도 대체, 변경, 재배열, 분해, 조합 또는 삭제될 수 있다.
상술한 바는 단지 본 발명의 부분 실시형태이고, 본 기술분야의 통상의 기술자에게 있어서, 본 발명의 원리를 벗어나지 않는 전제 하에, 여러 가지 개선 및 수식을 진행할 수 있고 이러한 개선 및 수식은 본 발명의 보호범위에 속하는 것으로 간주함을 밝혀야 한다.
본 발명에 의해 제공되는 해결수단은 드론 내비게이션 분야에 응용될 수 있고, 내비게이션 차트 구성 방법은, 상기 무인 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계; 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계; 및 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계를 포함한다. 본 발명의 해결수단은 작업 항로를 동태적으로 생성함으로써, 일시적인 태스크 변화를 효과적으로 대응할 수 있다.

Claims (34)

  1. 내비게이션 차트 구성 방법으로서,
    항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하고, 상기 깊이 이미지는 각각의 픽셀 포인트와 상기 현재 비행 위치의 거리 정보를 포함하는 단계;
    상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 픽셀 포인트의 3차원 위치 정보를 획득하는 단계; 및
    각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계를 포함하고, 여기서, 상기 국부 내비게이션 차트는 상기 항공기가 계획의 항로를 따라 비행하는 과정에서 미지의 장애물, 항로 계획이 진행되지 않은 영역 중 적어도 하나에 대해 상응한 동작을 수행하도록 안내하는데 사용되고,
    상기 국부 내비게이션 차트는 복수의 서브 영역을 포함하고,
    상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계 이후에,
    서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 장애물 회피를 실행하도록 지시하는 단계를 더 포함하는 내비게이션 차트 구성 방법.
  2. 제1항에 있어서,
    상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계 이후에,
    서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 작거나 같으면, 상기 서브 영역을 통행 영역으로 설정하여 상기 항공기가 통과하도록 허용하는 단계를 더 포함하는 내비게이션 차트 구성 방법.
  3. 제1항에 있어서,
    상기 깊이 이미지는 각각의 포인트와 상기 현재 비행 위치의 거리 정보를 포함하고, 각각의 포인트의 가중치는 기설정된 가중치와 거리 인자의 승적에 의해 획득되며, 상기 거리 인자와 상기 거리 정보는 정비례 관계인 내비게이션 차트 구성 방법.
  4. 제1항에 있어서,
    상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 국부 내비게이션 차트에 투영하는 단계 이후에,
    상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키는 단계; 및
    감쇠된 후의 각각의 서브 영역 중 모든 포인트의 가중치의 합을 획득하는 단계를 더 포함하는 내비게이션 차트 구성 방법.
  5. 제4항에 있어서,
    상기 기설정된 영역은 상기 국부 내비게이션 차트의 중심, 상기 항공기 중 깊이 이미지를 획득하기 위한 양안 시스템의 수평 시야각 및 설정 감쇠 거리에 따라 결정되는 내비게이션 차트 구성 방법.
  6. 제1항에 있어서,
    상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계는,
    상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계; 및
    내비게이션 좌표계 중의 각각의 포인트, 상기 현재 비행 위치 및 상기 자세 정보에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계를 포함하는 내비게이션 차트 구성 방법.
  7. 제6항에 있어서,
    상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계는,
    카메라 내부 참조 매트릭스에 따라 상기 깊이 이미지 중 각각의 포인트를 카메라 좌표계에서의 각각의 포인트로 전환시키는 단계;
    카메라 좌표계로부터 본체 좌표계까지의 전환 매트릭스에 따라 카메라 좌표계에서의 각각의 포인트를 본체 좌표계의 각각의 포인트로 전환시키는 단계; 및
    본체 좌표계로부터 내비게이션 좌표계까지의 전환 매트릭스에 따라 본체 좌표계에서의 각각의 포인트를 내비게이션 좌표계의 각각의 포인트로 전환시키는 단계를 포함하는 내비게이션 차트 구성 방법.
  8. 제1항에 있어서,
    상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계 이후, 상기 각각의 포인트의 3차원 위치 정보를 획득하는 단계 이전에,
    상기 깊이 이미지에 대해 성김 처리하는 단계를 더 포함하고,
    상기 깊이 이미지에 대해 성김 처리하는 단계는,
    가변 스텝 사이즈를 사용하여 상기 깊이 이미지에 대해 성김 처리하는 단계를 포함하고,
    상기 가변 스텝 사이즈는 깊이 이미지 중의 픽셀 포인트가 가장리로부터 중심까지 점진적으로 증가되도록 제어하기 위한 것인 내비게이션 차트 구성 방법.
  9. 제2항 내지 제8항 중 어느 한 항에 있어서,
    상기 국부 내비게이션 차트는 격자 지도이고, 각각의 격자는 하나의 서브 영역인 내비게이션 차트 구성 방법.
  10. 장애물 회피 방법으로서,
    무인 항공기가 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하고, 상기 깊이 이미지는 각각의 픽셀 포인트와 상기 현재 비행 위치의 거리 정보를 포함하는 단계;
    상기 무인 항공기가 상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 픽셀 포인트의 3차원 위치 정보를 획득하는 단계;
    상기 무인 항공기가 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계; 여기서, 상기 국부 내비게이션 차트는 복수의 서브 영역을 포함-하고, 상기 국부 내비게이션 차트는 상기 무인 항공기가 계획의 항로를 따라 비행하는 과정에서 미지의 장애물, 항로 계획이 진행되지 않은 영역 중 적어도 하나에 대해 상응한 동작을 수행하도록 안내하는데 사용되며,
    서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 크면, 상기 무인 항공기가 상기 서브 영역을 장애물 영역으로 설정하여 상기 항공기가 상기 장애물 영역에 대해 장애물 회피를 실행하도록 지시하는 단계;
    상기 무인 항공기가 사용자에 의해 설정된, 장애물 영역 및 작업 경계 영역을 지시하기 위한 측량 데이터, 및 상기 국부 내비게이션 차트 중 장애물 영역을 지시하기 위한 3차원 위치 정보를 획득하는 단계; 및
    상기 무인 항공기가 기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하여 상기 항공기가 상기 장애물 영역 및 상기 작업 경계 영역에 대해 장애물 회피를 실행하도록 지시하는 단계를 포함하는 장애물 회피 방법.
  11. 제10항에 있어서,
    상기 기설정된 전역 내비게이션 차트에서 장애물 영역 및 작업 경계 영역을 설정하는 단계는,
    획득된 상기 측량 데이터 및 3차원 위치 정보에 따라 제1 장애물 영역 및 제1 작업 경계 영역을 획득하는 단계;
    상기 제1 장애물 영역 및 상기 제1 작업 경계 영역을 팽창시켜 제2 장애물 영역 및 제2 작업 경계 영역을 획득하는 단계; 및
    상기 제2 장애물 영역 및 상기 제2 작업 경계 영역을 항공기가 장애물 회피를 실행하도록 지시하기 위한 영역으로 설정하는 단계를 포함하는 장애물 회피 방법.
  12. 제10항에 있어서,
    상기 기설정된 전역 내비게이션 차트의 중심 및 크기는 상기 항공기가 이륙하기 전의 위치 및 상기 측량 데이터에 따라 획득되고,
    상기 전역 내비게이션 차트의 수평 경계는 Y축에서의 상기 위치 및 상기 측량 데이터의 최대치 및 최소치에 의해 팽창된 후 결정되고, 상기 전역 내비게이션 차트의 수직 경계는 X축에서의 상기 위치 및 상기 측량 데이터의 최대치 및 최소치에 의해 팽창된 후 결정되는 장애물 회피 방법.
  13. 제10항에 있어서,
    상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 상기 현재 비행 위치를 중심으로 하는 국부 내비게이션 차트에 투영하는 단계 이후에,
    서브 영역 중 모든 포인트의 가중치의 합이 기설정된 임계값보다 작거나 같으면, 상기 서브 영역을 통행 영역으로 설정하여 상기 항공기가 통과하도록 허용하는 단계를 더 포함하는 장애물 회피 방법.
  14. 제10항에 있어서,
    상기 깊이 이미지는 각각의 포인트와 상기 현재 비행 위치의 거리 정보를 포함하고, 각각의 포인트의 상기 가중치는 기설정된 가중치와 거리 인자의 승적에 의해 획득되며, 상기 거리 인자와 상기 거리 정보는 정비례 관계인 장애물 회피 방법.
  15. 제10항에 있어서,
    상기 각각의 포인트의 3차원 위치 정보를 각자에 의해 설정된 가중치에 따라 국부 내비게이션 차트에 투영하는 단계 이후에,
    상기 국부 내비게이션 차트 중 기설정된 영역 내의 각각의 포인트의 가중치를 감쇠시키는 단계;
    감쇠된 후의 각각의 서브 영역 중 모든 포인트의 가중치의 합을 획득하는 단계를 더 포함하는 장애물 회피 방법.
  16. 제15항에 있어서,
    상기 기설정된 영역은 상기 국부 내비게이션 차트의 중심, 상기 항공기 중 깊이 이미지를 획득하기 위한 양안 시스템의 수평 시야각 및 설정 감쇠 거리에 따라 결정되는 장애물 회피 방법.
  17. 제10항에 있어서,
    상기 현재 비행 위치, 상기 자세 정보 및 상기 깊이 이미지에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계는,
    상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계; 및
    내비게이션 좌표계 중의 각각의 포인트, 상기 현재 비행 위치 및 상기 자세 정보에 따라 각각의 포인트의 3차원 위치 정보를 획득하는 단계를 포함하고,
    상기 깊이 이미지에 대해 좌표 전환을 진행하여 내비게이션 좌표계 중의 각각의 포인트를 획득하는 단계는,
    카메라 내부 참조 매트릭스에 따라 상기 깊이 이미지 중 각각의 포인트를 카메라 좌표계에서의 각각의 포인트로 전환시키는 단계;
    카메라 좌표계로부터 본체 좌표계까지의 전환 매트릭스에 따라 카메라 좌표계에서의 각각의 포인트를 본체 좌표계의 각각의 포인트로 전환시키는 단계; 및
    본체 좌표계로부터 내비게이션 좌표계까지의 전환 매트릭스에 따라 본체 좌표계에서의 각각의 포인트를 내비게이션 좌표계의 각각의 포인트로 전환시키는 단계를 포함하는 장애물 회피 방법.
  18. 제10항에 있어서,
    상기 항공기의 현재 비행 위치, 자세 정보, 및 현재 비행 위치에서 탐지된 깊이 이미지를 획득하는 단계 이후, 상기 각각의 포인트의 3차원 위치 정보를 획득하는 단계 이전에,
    상기 깊이 이미지에 대해 성김 처리하는 단계를 더 포함하고,
    상기 깊이 이미지에 대해 성김 처리하는 단계는,
    가변 스텝 사이즈를 사용하여 상기 깊이 이미지에 대해 성김 처리하는 단계를 포함하고,
    상기 가변 스텝 사이즈는 깊이 이미지 중의 픽셀 포인트가 가장리로부터 중심까지 점진적으로 증가되도록 제어하기 위한 것인 장애물 회피 방법.
  19. 무인 항공기로서,
    통신 모듈, 센서, 제어기, 저장 매체를 포함하고, 상기 센서는 이미지 센서, GPS 수신기, RTK 위치 결정 센서, 관성 센서를 포함하며,
    상기 통신 모듈은 지면 제어 장치와 통신하고,
    상기 GPS 수신기 및 위치 결정 센서는 무인 항공기의 현재 비행 위치를 결정하며,
    상기 관성 센서는 무인 항공기의 자세 정보를 결정하고,
    상기 이미지 센서는 현재 비행 위치에서 깊이 이미지를 탐지하며, 상기 깊이 이미지는 각각의 픽셀 포인트와 상기 현재 비행 위치의 거리 정보를 포함하고,
    상기 제어기는 상기 저장 매체와 연결되고, 상기 저장 매체는 프로그램을 저장하며, 상기 프로그램이 실행될 경우 제1항 내지 제9항 중 어느 한 항에 따른 내비게이션 차트 구성 방법의 단계를 수행하는 무인 항공기.


  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
KR1020207005722A 2017-10-26 2018-10-26 내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기 KR102385820B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711021920.1A CN109708636B (zh) 2017-10-26 2017-10-26 导航图配置方法、避障方法以及装置、终端、无人飞行器
CN201711021920.1 2017-10-26
PCT/CN2018/112077 WO2019080924A1 (zh) 2017-10-26 2018-10-26 导航图配置方法、避障方法以及装置、终端、无人飞行器

Publications (2)

Publication Number Publication Date
KR20200031165A KR20200031165A (ko) 2020-03-23
KR102385820B1 true KR102385820B1 (ko) 2022-04-12

Family

ID=66247759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207005722A KR102385820B1 (ko) 2017-10-26 2018-10-26 내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기

Country Status (7)

Country Link
US (1) US20200394924A1 (ko)
EP (1) EP3702731A4 (ko)
JP (1) JP2020535545A (ko)
KR (1) KR102385820B1 (ko)
CN (1) CN109708636B (ko)
AU (1) AU2018355491B2 (ko)
WO (1) WO2019080924A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230159722A (ko) * 2022-05-12 2023-11-22 한국광기술원 3차원 영상 정보를 제공하기 위한 이동형 영상 촬영 장치, 이에 대한 방법 및 이를 포함하는 시스템

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262556A (zh) * 2019-07-12 2019-09-20 黑梭智慧技术(北京)有限公司 快递物流无人飞行器航线设计方法和装置
CN110471421B (zh) * 2019-08-27 2022-03-18 广州小鹏汽车科技有限公司 一种车辆安全行驶的路径规划方法及路径规划系统
CN112313476A (zh) * 2019-11-05 2021-02-02 深圳市大疆创新科技有限公司 无人飞行器的航线规划方法和装置
CN115136090A (zh) 2020-02-20 2022-09-30 株式会社尼罗沃克 无人机系统、操作器以及作业区域的定义方法
US20210300551A1 (en) * 2020-03-25 2021-09-30 Tencent America LLC Systems and methods for unmanned aerial system communication
CN113465614B (zh) * 2020-03-31 2023-04-18 北京三快在线科技有限公司 无人机及其导航地图的生成方法和装置
CN111854754B (zh) * 2020-06-19 2023-01-24 北京三快在线科技有限公司 无人机航线规划方法、装置、无人机及存储介质
CN111950524B (zh) * 2020-08-28 2024-03-29 广东省现代农业装备研究所 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN112066976B (zh) * 2020-09-07 2023-06-16 北京信息科技大学 一种自适应膨胀处理方法、系统、机器人及存储介质
CN112033413B (zh) * 2020-09-07 2023-06-16 北京信息科技大学 一种基于结合环境信息的改进a*算法的路径规划方法
CN112116643A (zh) * 2020-09-14 2020-12-22 哈工大机器人（合肥）国际创新研究院 一种基于tof相机深度图和点云图的避障处理方法及系统
CN112416018B (zh) * 2020-11-24 2021-07-09 广东技术师范大学 基于多信号采集与路径规划模型的无人机避障方法和装置
CN112859893A (zh) * 2021-01-08 2021-05-28 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行器避障方法、装置
CN113012479B (zh) * 2021-02-23 2022-07-22 欧阳嘉兰 一种基于障碍物分析的飞行限重测量方法、装置及系统
CN113077551A (zh) * 2021-03-30 2021-07-06 苏州臻迪智能科技有限公司 占据栅格地图构建方法、装置、电子设备和存储介质
CN113310493B (zh) * 2021-05-28 2022-08-05 广东工业大学 一种基于事件触发机制的无人机实时导航方法
CN113465606A (zh) * 2021-06-30 2021-10-01 三一机器人科技有限公司 末端工位定位方法、装置及电子设备
CN115222808B (zh) * 2021-06-30 2023-10-20 达闼机器人股份有限公司 基于无人机的定位方法、装置、存储介质和电子设备
CN113485359A (zh) * 2021-07-29 2021-10-08 北京超维世纪科技有限公司 一种工业类巡检机器人多传感器融合避障系统
CN114088094A (zh) * 2021-09-27 2022-02-25 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种无人艇的智能航路规划方法及系统
CN113867349B (zh) * 2021-09-28 2024-04-09 浙江大华技术股份有限公司 一种机器人的避障方法、系统及智能机器人
CN113642092B (zh) * 2021-10-18 2022-01-04 西南交通大学 一种建筑空间路径捕获方法
WO2023070667A1 (zh) * 2021-11-01 2023-05-04 深圳市大疆创新科技有限公司 可移动平台及用于处理其数据的方法和装置、终端设备
CN114313243B (zh) * 2021-12-19 2023-06-02 四川省天域航通科技有限公司 一种植保用避障无人机
CN114879704B (zh) * 2022-07-11 2022-11-25 山东大学 一种机器人绕障控制方法及系统
CN115150784B (zh) * 2022-09-02 2022-12-06 汕头大学 基于基因调控网络的无人机集群区域覆盖方法及设备
CN116757582B (zh) * 2023-08-18 2023-11-17 山西汇能科技有限公司 基于无人机的物流配送系统及方法
CN116907511B (zh) * 2023-09-12 2023-12-05 北京宝隆泓瑞科技有限公司 一种将管道坐标转换为图像坐标的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501475A (ja) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 状況に基づく飛行モード選択

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4061596B2 (ja) * 2004-05-20 2008-03-19 学校法人早稲田大学 移動制御装置、環境認識装置及び移動体制御用プログラム
US7463340B2 (en) * 2007-03-28 2008-12-09 Honeywell International Inc. Ladar-based motion estimation for navigation
JP5233432B2 (ja) * 2008-06-16 2013-07-10 アイシン・エィ・ダブリュ株式会社 運転支援システム、運転支援方法及び運転支援プログラム
JP5093020B2 (ja) * 2008-09-18 2012-12-05 トヨタ自動車株式会社 レーダ装置
CN102359784B (zh) * 2011-08-01 2013-07-24 东北大学 一种室内移动机器人自主导航避障系统及方法
CN103576686B (zh) * 2013-11-21 2017-01-18 中国科学技术大学 一种机器人自主导引及避障的方法
WO2015138327A1 (en) * 2014-03-11 2015-09-17 Cessna Aircraft Company Touch screen instrument panel
CN107291104A (zh) * 2014-07-30 2017-10-24 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN104236548B (zh) * 2014-09-12 2017-04-05 清华大学 一种微型无人机室内自主导航方法
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US9399524B2 (en) * 2014-10-21 2016-07-26 Honeywell International Inc. System and method for displaying runway landing information
KR101736089B1 (ko) * 2015-01-08 2017-05-30 서울대학교산학협력단 깊이 지도를 이용한 사물 형상 맵핑 및 실시간 유도를 위한 무인기 비행 제어 장치 및 방법
US9470528B1 (en) * 2015-03-26 2016-10-18 Honeywell International Inc. Aircraft synthetic vision systems utilizing data from local area augmentation systems, and methods for operating such aircraft synthetic vision systems
WO2017071143A1 (en) * 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
CN105678754B (zh) * 2015-12-31 2018-08-07 西北工业大学 一种无人机实时地图重建方法
CN105761265A (zh) * 2016-02-23 2016-07-13 英华达（上海）科技有限公司 利用影像深度信息提供避障的方法及无人飞行载具
JP6816156B2 (ja) * 2016-02-26 2021-01-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖ軌道を調整するシステム及び方法
CN105571588A (zh) * 2016-03-10 2016-05-11 赛度科技（北京）有限责任公司 一种无人机三维空中航路地图构建及其航路显示方法
CN105955258B (zh) * 2016-04-01 2018-10-30 沈阳工业大学 基于Kinect传感器信息融合的机器人全局栅格地图构建方法
JP6327283B2 (ja) * 2016-04-06 2018-05-23 トヨタ自動車株式会社 車両用情報提供装置
CN105910604A (zh) * 2016-05-25 2016-08-31 武汉卓拔科技有限公司 一种基于多传感器的自主避障导航系统
CN106780592B (zh) * 2016-06-30 2020-05-22 华南理工大学 基于相机运动和图像明暗的Kinect深度重建方法
CN106127788B (zh) * 2016-07-04 2019-10-25 触景无限科技（北京）有限公司 一种视觉避障方法和装置
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106931961B (zh) * 2017-03-20 2020-06-23 成都通甲优博科技有限责任公司 一种自动导航方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501475A (ja) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 状況に基づく飛行モード選択

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230159722A (ko) * 2022-05-12 2023-11-22 한국광기술원 3차원 영상 정보를 제공하기 위한 이동형 영상 촬영 장치, 이에 대한 방법 및 이를 포함하는 시스템
KR102622623B1 (ko) * 2022-05-12 2024-01-10 한국광기술원 3차원 영상 정보를 제공하기 위한 이동형 영상 촬영 장치, 이에 대한 방법 및 이를 포함하는 시스템

Also Published As

Publication number Publication date
JP2020535545A (ja) 2020-12-03
EP3702731A1 (en) 2020-09-02
AU2018355491B2 (en) 2022-03-17
WO2019080924A1 (zh) 2019-05-02
CN109708636B (zh) 2021-05-14
US20200394924A1 (en) 2020-12-17
AU2018355491A1 (en) 2020-06-11
CN109708636A (zh) 2019-05-03
KR20200031165A (ko) 2020-03-23
EP3702731A4 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
KR102385820B1 (ko) 내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
US20210247764A1 (en) Multi-sensor environmental mapping
US20200026720A1 (en) Construction and update of elevation maps
US10240930B2 (en) Sensor fusion
Scherer et al. Flying fast and low among obstacles
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
WO2020103049A1 (zh) 旋转微波雷达的地形预测方法、装置、系统和无人机
CN109564434B (zh) 用于定位可移动物体的系统和方法
JP2019164415A (ja) 飛行制御システム
EP3868652A1 (en) Information processing system, information processing method, and program
JP2021162572A (ja) 位置算出方法及び情報処理システム
KR20220086479A (ko) 항공기 센서 시스템 동기화
US20210229810A1 (en) Information processing device, flight control method, and flight control system
CN109163718A (zh) 一种面向建筑群的无人机自主导航方法
KR102467855B1 (ko) 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템
KR102090615B1 (ko) 모델 예측 제어를 이용한 드론 제어 시스템
Aksenov et al. An application of computer vision systems to solve the problem of unmanned aerial vehicle control
US11372455B2 (en) Imaging sensor-based position detection
Galloway et al. On the Development of Low-Cost Autonomous UAVs for Generation of Topographic Maps
US20220230550A1 (en) 3d localization and mapping systems and methods
CN115686045A (zh) 一种基于3dvfh算法的室内自主飞行器避障装置
CN111766893A (zh) 飞行器定位辅助系统、包括这样的系统的飞行组装件以及相关联的定位辅助方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant