KR20220021158A - Apparatus for generating flight path of unmanned aerial vehicle and method thereof - Google Patents
Apparatus for generating flight path of unmanned aerial vehicle and method thereof Download PDFInfo
- Publication number
- KR20220021158A KR20220021158A KR1020200101629A KR20200101629A KR20220021158A KR 20220021158 A KR20220021158 A KR 20220021158A KR 1020200101629 A KR1020200101629 A KR 1020200101629A KR 20200101629 A KR20200101629 A KR 20200101629A KR 20220021158 A KR20220021158 A KR 20220021158A
- Authority
- KR
- South Korea
- Prior art keywords
- path
- grid map
- cloud data
- point cloud
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 97
- 238000009499 grossing Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 10
- 230000036461 convulsion Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000029305 taxis Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B64C2201/141—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Catching Or Destruction (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
Description
본 발명은 무인항공기의 비행경로 생성장치 및 그 방법에 관한 것으로서, 보다 상세하게는 송전선로 주변의 3차원 점군 데이터를 기반으로 3차원 격자맵을 합성한 후 규정, 회피영역, 접근 불가 영역 등을 고려한 최적의 경로를 생성한 후 운행 안정성 및 급격한 움직임을 최소화하는 경로 평활화를 수행하여 최종 비행경로를 생성하는 무인항공기의 비행경로 생성장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for generating a flight path for an unmanned aerial vehicle, and more particularly, to a three-dimensional grid map based on three-dimensional point cloud data around a power transmission line, and then to define, avoid, and inaccessible areas. The present invention relates to an apparatus and method for generating a flight path for an unmanned aerial vehicle that generates a final flight path by performing path smoothing that minimizes driving stability and rapid movement after generating an optimal path in consideration.
최근 정보통신 및 그 제어기술의 발전으로 인해 사람이 직접 탑승하여 수행하기에는 위험한 작업이나 어려운 작업들을 대신 수행 가능하게 하는 무인항공기(예 : 드론(Drone))에 대한 개발이 활발히 진행되고 있다. Recently, due to the development of information and communication technology and its control technology, development of unmanned aerial vehicles (eg, drones) that can perform dangerous or difficult tasks that are difficult for a person to directly board is being actively developed.
예를 들어, 백화점, 아파트, 연구소, 밀집상가와 같은 건물 내에서 문서전달과 소포전달 등을 수행하기도 하고, 주변 지역에 물품을 배송하는 배달 서비스를 수행하기도 하며, 사용자가 접근하기 어려운 지역이나 시설물에 대한 점검 및 감시 역할을 수행하기도 한다. For example, it performs document delivery and parcel delivery within buildings such as department stores, apartments, research institutes, and shopping malls, and also performs delivery services that deliver goods to surrounding areas, as well as areas or facilities that are difficult for users to access. It also performs the role of inspection and monitoring.
이와 같은 무인항공기의 경우 실외 환경에서는 위성 및 관성 항법 장치를 사용하여 위치제어를 수행하고 있으며, 실내 환경에서는 트래킹 라인을 센싱하는 라인 트레이싱을 통해 위치제어를 하는 등 다양한 방법으로 비행 위치나 자세, 방향 등을 제어한다. In the case of such an unmanned aerial vehicle, position control is performed using satellites and inertial navigation devices in an outdoor environment, and in an indoor environment, flight position, posture, and direction are performed in various ways, such as position control through line tracing that senses tracking lines. control the back.
본 발명의 배경기술은 대한민국 공개특허공보 제2016-0056671호(2016.05.20. 공개, 무인 드론 연동형 라인트레이싱 기반의 무인 비행체를 이용한 무인 운송 시스템 및 이를 이용한 무인 운송 서비스 방법)에 개시되어 있다. The background technology of the present invention is disclosed in Republic of Korea Patent Publication No. 2016-0056671 (published on May 20, 2016, an unmanned transportation system using an unmanned aerial vehicle based on unmanned drone interlocking line tracing and an unmanned transportation service method using the same).
이와 같이 드론을 활용한 기술들이 많이 개발됨에 따라 자율비행 기술도 활발히 연구 개발되고 있다. As many technologies using drones have been developed, autonomous flight technologies are being actively researched and developed.
이미 많은 연구가 진행된 자율주행 자동차에서 사용하는 기술들을 드론에 적용하며 드론의 자율비행 기술을 개발하고 있지만, 차량이 다니는 도로나 도로교통법과 같이 드론을 위한 경로나 규정에 대한 정의가 명확하지 않기 때문에 자율비행 기술을 이용한 드론 택시나 물류 운송 드론 등을 적용하기에 한계가 존재한다. We are developing autonomous flying technology for drones by applying the technologies used in autonomous vehicles that have already been studied a lot, but because the definition of routes or regulations for drones is not clear, such as the road or road traffic law that vehicles travel on. There are limits to the application of drone taxis and logistics transport drones using autonomous flying technology.
따라서 드론이 택시 또는 물류 운송 등에 활발히 적용되어 사용이 증가될 경우에는 다수의 드론들이 운행하기 위한 비행/운행 규정이 필요할 것으로 예상된다. Therefore, when drones are actively applied to taxis or logistics transportation and their use increases, it is expected that flight/operation regulations for the operation of a large number of drones will be required.
또한, 현재 드론 자율비행 기술을 이용한 다양한 사회기반시설에 대한 상태감시 및 점검 관련 연구가 진행되고 활발히 진행되고 있다. In addition, research related to condition monitoring and inspection of various social infrastructures using drone autonomous flight technology is currently in progress and is being actively conducted.
에너지 분야에서는, 드론을 활용한 송전선로 점검 기술이 개발되고 있으며, 드론을 이용하여 송전선로 점검 시 송전선로에 의한 자기장 교란을 방지하기 위해 송전선로로부터 일정 거리 이격하여 자율비행을 실시하고 있다. In the energy field, transmission line inspection technology using drones is being developed, and autonomous flight is carried out at a certain distance from the transmission line to prevent magnetic field disturbance caused by the transmission line when inspecting the transmission line using a drone.
따라서 송전선로 주변을 자율비행하기 위해서는 GPS(Ground Positioning System) 좌표 측정기를 가지고 송전철탑에 접근하여 송전철탑의 GPS좌표를 측정한 후 GCS(Ground Control Station)에 좌표를 입력하고 경로 점 좌표를 계산한 뒤 산출된 경로 점 좌표를 기반으로 자율비행을 진행한다. Therefore, in order to autonomously fly around the transmission line, approach the transmission tower with a GPS (Ground Positioning System) coordinate measuring device, measure the GPS coordinates of the transmission tower, enter the coordinates in the GCS (Ground Control Station), and calculate the path point coordinates. Then, autonomous flight is carried out based on the calculated path point coordinates.
하지만 현재 활용중인 계산된 경로 점을 추종하는 자율비행을 수행하는 경우, 주변 장애물의 존재 여부를 판별할 수 없고, 여러 개의 송전선로가 있는 지역을 비행할 때 자율비행하는 드론이 자기장 영역에 침범하는지를 알 수 없는 문제점이 있다. However, when performing autonomous flight that follows the calculated path point currently being used, it is impossible to determine the existence of surrounding obstacles, and when flying over an area with multiple transmission lines, it is possible to determine whether the autonomous drone invades the magnetic field. There is an unknown problem.
따라서 현재 비행경로 상의 장애물 유무 및 자기장 교란에 의한 드론 추락 관련 비행 안전성을 확인하기 위해 소형 드론을 점검드론보다 선행하여 비행경로를 자율비행하도록 한 후 문제가 없는 경우 점검드론으로 자율비행을 수행한다. Therefore, in order to check the presence of obstacles on the current flight path and flight safety related to a drone fall due to magnetic field disturbance, the small drone is allowed to fly autonomously on the flight path ahead of the inspection drone, and if there is no problem, autonomous flight is performed with the inspection drone.
그러나 이러한 방법은 많은 시간이 소요된다는 단점이 존재하여 효율성 및 경제성이 감소한다. 또한, 송전선로를 활용하여 드론 택시나 물류 운송 드론 등의 자율비행을 하기 위하여 일일이 이러한 선행작업을 수행할 수 없다는 문제점이 있다. However, this method has a disadvantage that it takes a lot of time, thereby reducing efficiency and economic feasibility. In addition, there is a problem in that it is impossible to perform these preceding tasks one by one in order to autonomously fly a drone taxi or a logistics transport drone by using a power transmission line.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 송전선로 주변의 3차원 점군 데이터를 기반으로 3차원 격자맵을 합성한 후 규정, 회피영역, 접근 불가 영역 등을 고려한 최적의 경로를 생성한 후 운행 안정성 및 급격한 움직임을 최소화하는 경로 평활화를 수행하여 최종 비행경로를 생성하는 무인항공기의 비행경로 생성장치 및 그 방법을 제공하는 것이다. The present invention has been devised to improve the above problems, and an object of the present invention according to one aspect is to synthesize a three-dimensional grid map based on three-dimensional point cloud data around a transmission line, and then define, avoid area, and inaccessible To provide an apparatus and method for generating a flight path for an unmanned aerial vehicle that generates a final flight path by generating an optimal path in consideration of an area, etc., and then performing path smoothing that minimizes driving stability and rapid movement.
본 발명의 일 측면에 따른 무인항공기의 비행경로 생성장치는, 센싱부로부터 입력된 라이다 점군 데이터를 절대 좌표의 3차원 점군 데이터로 변환한 후 3차원 점군 데이터를 기반으로 3차원 격자맵을 생성하는 격자맵 생성부; 격자맵 생성부에서 생성된 3차원 격자맵과 서로 다른 좌표계에서 생성된 3차원 격자맵에 대해 특징인자를 기반으로 동일 좌표계로 격자맵을 합성하는 격자맵 합성부; 격자맵 합성부에서 합성된 3차원 격자맵과 저장부에 저장된 비행 조건을 적용하여 비행 가능한 영역을 선정하는 비행 가능영역 선정부; 및 비행 가능영역 선정부에서 선정된 비행 가능영역을 기반으로 최적 경로 점을 생성하여 비행경로를 생성하는 경로 생성부;를 포함하는 것을 특징으로 한다. An apparatus for generating a flight path of an unmanned aerial vehicle according to an aspect of the present invention converts lidar point cloud data input from a sensing unit into 3D point cloud data of absolute coordinates and then generates a 3D grid map based on the 3D point cloud data grid map generation unit; a lattice map synthesizing unit for synthesizing the lattice map in the same coordinate system based on the feature factors for the 3D lattice map generated by the lattice map generating unit and the 3D lattice map generated in different coordinate systems; a flightable area selection unit for selecting a flightable area by applying the three-dimensional grid map synthesized in the grid map synthesis unit and the flight conditions stored in the storage unit; and a route generator configured to generate a flight route by generating an optimal route point based on the flightable area selected by the flightable area selection unit.
본 발명에서 격자맵 생성부는, 라이다 점군 데이터를 무인항공기의 절대 위치 및 자세 정보를 이용하여 절대 좌표축에서의 3차원 점군 데이터로 변환하는 것을 특징으로 한다. In the present invention, the grid map generating unit is characterized in that the LIDAR point cloud data is converted into 3D point cloud data in the absolute coordinate axis by using the absolute position and attitude information of the unmanned aerial vehicle.
본 발명에서 격자맵 생성부는, 변환된 3차원 점군 데이터를 확률론적 다운 샘플링(down-sampling) 기법으로 다운 샘플링하여 3차원 격자맵을 생성하는 것을 특징으로 한다. In the present invention, the grid map generator generates a three-dimensional grid map by down-sampling the converted three-dimensional point cloud data using a probabilistic down-sampling technique.
본 발명에서 특징인자는, 송전철탑의 점군 데이터를 포함하는 것을 특징으로 한다. The characteristic factor in the present invention is characterized in that it includes point cloud data of the transmission tower.
본 발명에서 비행 가능영역 선정부는, 항공안전법 시행규칙, 고압 송전선로의 자기장에 의한 접근 불가 영역, 초목 존재 가능 영역 및 무인항공기의 운행 가능한 영역 중 어느 하나 이상을 적용하여 선정하는 것을 특징으로 한다. In the present invention, the flightable area selection unit selects by applying any one or more of the Aviation Safety Act enforcement regulations, the area inaccessible by the magnetic field of the high-voltage transmission line, the area where vegetation can exist, and the area where the unmanned aerial vehicle can operate.
본 발명은 경로 생성부에서 생성된 비행경로에 대해 경로를 평활화하는 경로 평활부;를 더 포함하는 것을 특징으로 한다. The present invention is characterized in that it further comprises; a path smoothing unit for smoothing the path for the flight path generated by the path generating unit.
본 발명에서 경로 평활부는, 무인항공기의 급격한 움직임이 최소화되도록 경로를 평활화하는 것을 특징으로 한다. In the present invention, the path smoothing unit smoothes the path so that the sudden movement of the unmanned aerial vehicle is minimized.
본 발명의 다른 측면에 따른 무인항공기의 비행경로 생성방법은, 격자맵 생성부가 센싱부로부터 입력된 라이다 점군 데이터를 절대 좌표의 3차원 점군 데이터로 변환하는 단계; 격자맵 생성부가 변환된 3차원 점군 데이터를 기반으로 3차원 격자맵을 생성하는 단계; 격자맵 합성부가 3차원 격자맵과 서로 다른 좌표계에서 생성된 3차원 격자맵에 대해 특징인자를 기반으로 동일 좌표계로 격자맵을 합성하는 단계; 비행 가능영역 선정부가 합성된 3차원 격자맵과 저장부에 저장된 비행 조건을 적용하여 비행 가능한 영역을 선정하는 단계; 및 경로 생성부가 선정된 비행 가능영역을 기반으로 최적 경로 점을 생성하여 비행경로를 생성하는 단계;를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, there is provided a method for generating a flight path of an unmanned aerial vehicle, the method comprising: converting, by a grid map generation unit, lidar point cloud data input from a sensing unit into 3D point cloud data of absolute coordinates; generating, by a grid map generator, a three-dimensional grid map based on the converted three-dimensional point cloud data; synthesizing, by a grid map synthesizing unit, a grid map in the same coordinate system based on a characteristic factor for a three-dimensional grid map generated in a coordinate system different from the three-dimensional grid map; selecting a flightable area by applying a three-dimensional grid map synthesized by a flightable area selection unit and a flight condition stored in a storage unit; and generating a flight path by generating an optimal path point based on the selected flightable area by the path generating unit.
본 발명에서 3차원 점군 데이터로 변환하는 단계는, 격자맵 생성부가 라이다 점군 데이터를 무인항공기의 절대 위치 및 자세 정보를 이용하여 절대 좌표축에서의 3차원 점군 데이터로 변환하는 것을 특징으로 한다. The step of converting the 3D point cloud data into the 3D point cloud data in the present invention is characterized in that the grid map generator converts the LIDAR point cloud data into 3D point cloud data on the absolute coordinate axis by using the absolute position and attitude information of the unmanned aerial vehicle.
본 발명에서 3차원 격자맵을 생성하는 단계는, 격자맵 생성부가 변환된 3차원 점군 데이터를 확률론적 다운 샘플링(down-sampling) 기법으로 다운 샘플링하여 생성하는 것을 특징으로 한다. The step of generating the 3D grid map in the present invention is characterized in that the grid map generator generates by down-sampling the converted 3D point cloud data using a probabilistic down-sampling technique.
본 발명에서 특징인자는, 송전철탑의 점군 데이터를 포함하는 것을 특징으로 한다. The characteristic factor in the present invention is characterized in that it includes point cloud data of the transmission tower.
본 발명에서 비행 가능영역을 선정하는 단계는, 비행 가능영역 선정부가 항공안전법 시행규칙, 고압 송전선로의 자기장에 의한 접근 불가 영역, 초목 존재 가능 영역 및 무인항공기의 운행 가능한 영역 중 어느 하나 이상을 적용하여 선정하는 것을 특징으로 한다. In the present invention, the step of selecting the flightable area is to apply any one or more of the flightable area selection unit to the Aviation Safety Act Enforcement Regulations, the inaccessible area due to the magnetic field of the high-voltage transmission line, the vegetation existable area, and the operable area of the unmanned aerial vehicle. It is characterized in that it is selected.
본 발명은 경로 평활부가 생성된 비행경로에 대해 경로를 평활화하는 단계;를 더 포함하는 것을 특징으로 한다. The present invention is characterized in that it further comprises; smoothing the path with respect to the flight path generated by the path smoothing unit.
본 발명에서 경로를 평활하는 단계는, 경로 평활부가 무인항공기의 급격한 움직임이 최소화되도록 경로를 평활화하는 것을 특징으로 한다. The step of smoothing the path in the present invention is characterized in that the path smoothing unit smoothes the path so that the sudden movement of the unmanned aerial vehicle is minimized.
본 발명의 일 측면에 따른 무인항공기의 비행경로 생성장치 및 그 방법은 송전선로 주변의 3차원 점군 데이터를 기반으로 3차원 격자맵을 합성한 후 규정, 회피영역, 접근 불가 영역 등을 고려한 최적의 경로를 생성한 후 운행 안정성 및 급격한 움직임을 최소화하는 경로 평활화를 수행하여 최종 비행경로를 생성함으로써, 드론의 운행 안전성을 향상시키고 추돌 위험성을 감소시킬 수 있을 뿐만 아니라 비행 신뢰성을 향상시킬 수 있다. An apparatus and method for generating a flight path for an unmanned aerial vehicle according to an aspect of the present invention are optimized in consideration of regulations, avoidance areas, inaccessible areas, etc. after synthesizing a 3D grid map based on 3D point cloud data around a power transmission line. After the route is created, the final flight route is generated by performing route smoothing that minimizes driving stability and rapid movement, thereby improving flight safety and reducing the risk of collision, as well as improving flight reliability.
도 1은 본 발명의 일 실시예에 따른 무인항공기의 비행경로 생성장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 격자맵 정합 알고리즘을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 서로 다른 좌표계에서의 기준 및 송전철탑의 3차원 점군 데이터를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 격자맵 정합 알고리즘 적용 후 정합된 기준 및 표적 송전철탑 3차원 점군 데이터를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 서로 다른 좌표계에서의 기준 및 표적 3차원 격자맵을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 격자맵 정합 알고리즘 적용 후 정합된 기준 및 표적 3차원 격자맵을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 송전선로 방향-고도 평면에서의 드론 비행 가능 영역을 나타낸 예시도이다.
도 8과 도 9는 본 발명의 일 실시예에 따른 드론 비행 방법에 대한 교통규정을 적용한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 드론 운행 가능 영역 및 드론 비행 방법을 고려한 경로 점 생성의 예시도이다.
도 11은 본 발명의 일 실시예에 따른 두 개의 송전선로에 대한 자기장 영역의 침범 예시도이다.
도 12는 본 발명의 일 실시예에 따른 경로 점 재계산 알고리즘을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 두 개의 송전선로에 대한 경로 점 계산식을 기하학적으로 도식화한 도면이다.
도 14는 본 발명의 일 실시예에 따른 다중 송전선로에 대한 경로 점 재생성의 예시도이다.
도 15는 본 발명의 일 실시예에 따른 최적 경로 생성 알고리즘을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 경로 생성시 타원형 제약조건을 나타낸 예시도이다.
도 17은 본 발명의 일 실시예에 따른 경로 평활 알고리즘을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 최적 경로 및 경로 평활 후 경로를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 무인항공기의 비행경로 생성방법을 설명하기 위한 흐름도이다. 1 is a block diagram illustrating an apparatus for generating a flight path of an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a diagram illustrating a three-dimensional grid map matching algorithm according to an embodiment of the present invention.
3 is a diagram illustrating three-dimensional point cloud data of a reference and a transmission tower in different coordinate systems according to an embodiment of the present invention.
4 is a diagram illustrating 3D point cloud data of a reference and target transmission tower matched after applying a 3D grid map matching algorithm according to an embodiment of the present invention.
5 is a diagram illustrating a reference and target three-dimensional grid map in different coordinate systems according to an embodiment of the present invention.
6 is a diagram illustrating a reference and target three-dimensional grid map matched after application of a three-dimensional grid map matching algorithm according to an embodiment of the present invention.
7 is an exemplary view illustrating a drone flight area in the direction of the transmission line-altitude plane according to an embodiment of the present invention.
8 and 9 are exemplary diagrams in which traffic regulations are applied to a drone flying method according to an embodiment of the present invention.
10 is an exemplary diagram of path point generation in consideration of a drone operable area and a drone flight method according to an embodiment of the present invention.
11 is a diagram illustrating an invasion of a magnetic field region for two power transmission lines according to an embodiment of the present invention.
12 is a diagram illustrating a path point recalculation algorithm according to an embodiment of the present invention.
13 is a diagram geometrically schematically illustrating a path point calculation formula for two power transmission lines according to an embodiment of the present invention.
14 is an exemplary diagram of path point regeneration for multiple transmission lines according to an embodiment of the present invention.
15 is a diagram illustrating an optimal path generation algorithm according to an embodiment of the present invention.
16 is an exemplary diagram illustrating an elliptical constraint when generating a path according to an embodiment of the present invention.
17 is a diagram illustrating a path smoothing algorithm according to an embodiment of the present invention.
18 is a diagram illustrating an optimal path and a path after path smoothing according to an embodiment of the present invention.
19 is a flowchart illustrating a method for generating a flight path of an unmanned aerial vehicle according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 무인항공기의 비행경로 생성장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an apparatus and method for generating a flight path of an unmanned aerial vehicle according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.
도 1은 본 발명의 일 실시예에 따른 무인항공기의 비행경로 생성장치를 나타낸 블록 구성도이다. 1 is a block diagram illustrating an apparatus for generating a flight path of an unmanned aerial vehicle according to an embodiment of the present invention.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 비행경로 생성장치는, 센싱부(10), 격자맵 생성부(20), 격자맵 합성부(30), 비행 가능영역 선정부(40), 저장부(50), 경로 생성부(60) 및 경로 평활부(70)를 포함할 수 있다. As shown in FIG. 1 , the device for generating a flight path of an unmanned aerial vehicle according to an embodiment of the present invention includes a
센싱부(10)는 라이다 센서(11), GPS(Ground Positioning System) 센서(12) 및 IMU(Inertia Measurement Unit) 센서(13)를 포함할 수 있다. The
라이다 센서(11)는 무인항공기에 설치되어 무인항공기의 위치에 대하여 상대 좌표로 측정되는 라이다 점군 데이터(Point Cloud Data ; PCD)를 측정한다.The
GPS 센서(12)는 무인항공기의 절대 위치를 측정한다.The
IMU 센서(13)는 무인항공기의 자세를 측정한다. The
도 2는 본 발명의 일 실시예에 따른 3차원 격자맵 정합 알고리즘을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 서로 다른 좌표계에서의 기준 및 송전철탑의 3차원 점군 데이터를 나타낸 도면이며, 도 4는 본 발명의 일 실시예에 따른 3차원 격자맵 정합 알고리즘 적용 후 정합된 기준 및 표적 송전철탑 3차원 점군 데이터를 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 서로 다른 좌표계에서의 기준 및 표적 3차원 격자맵을 나타낸 도면이며, 도 6은 본 발명의 일 실시예에 따른 3차원 격자맵 정합 알고리즘 적용 후 정합된 기준 및 표적 3차원 격자맵을 나타낸 도면이다. 2 is a diagram illustrating a three-dimensional grid map matching algorithm according to an embodiment of the present invention, and FIG. 3 is a diagram showing three-dimensional point cloud data of a reference and transmission tower in different coordinate systems according to an embodiment of the present invention. 4 is a view showing the three-dimensional point cloud data of the reference and target transmission towers matched after applying the three-dimensional grid map matching algorithm according to an embodiment of the present invention, and FIG. It is a diagram showing a reference and target three-dimensional grid map in a coordinate system, and FIG. 6 is a diagram illustrating a reference and target three-dimensional grid map matched after application of a three-dimensional grid map matching algorithm according to an embodiment of the present invention.
격자맵 생성부(20)는 센싱부(10)로부터 입력된 라이다 점군 데이터를 절대 좌표의 3차원 점군 데이터로 변환한 후 3차원 점군 데이터를 기반으로 3차원 격자맵을 생성할 수 있다. The grid
여기서, 격자맵 생성부(20)는 라이다 센서(11)를 통해 측정된 라이다 점군 데이터를 드론에 무인항공기에 장착된 GPS 센서(12) 및 IMU 센서(13)에서 측정되는 무인항공기 절대 위치 및 자세 정보를 이용하여 절대 좌표축에서의 3차원 점군 데이터로 변환한다. Here, the
이후 격자맵 생성부(20)는 변환된 3차원 점군 데이터를 확률론적 다운 샘플링(down-sampling) 기법으로 다운 샘플링하여 3차원 격자맵을 생성할 수 있다. Thereafter, the
본 실시예에서는 3차원 격자맵을 생성하는 구체적인 방법에 대해 본 출원인이 이전 출원한 “송전선로 환경침해 진단장치”(특허출원 10-2019-0114773호, 2019.09.18. 출원)에 개시된 바와 같이 라이다 점군 데이터를 무인항공기의 절대 위치 및 자세 정보를 이용하여 절대 좌표축에서의 3차원 점군 데이터로 변환한 후 변환된 3차원 점군 데이터를 확률론적 다운 샘플링(down-sampling) 기법으로 다운 샘플링하여 3차원 격자맵을 생성하며, 송전철탑의 점군 데이터를 추출하는 구성에 대해서는 간략하게 설명하고 자세한 설명은 생략하였다. In this embodiment, as disclosed in "Transmission Line Environmental Infringement Diagnosis Device" (Patent Application No. 10-2019-0114773, filed on September 18, 2019), the applicant previously applied for a specific method for generating a three-dimensional grid map. Ida point cloud data is converted into 3D point cloud data on the absolute coordinate axis using the absolute position and attitude information of the unmanned aerial vehicle, and then the converted 3D point cloud data is down-sampled using a probabilistic down-sampling technique to 3D The configuration of generating the grid map and extracting the point cloud data of the transmission tower is briefly described and detailed description is omitted.
격자맵 합성부(30)는 격자맵 생성부(20)에서 생성된 3차원 격자맵과 서로 다른 좌표계에서 생성된 3차원 격자맵에 대해 특징인자를 기반으로 동일 좌표계로 격자맵을 합성할 수 있다. The grid
여기서, 특징인자는 송전철탑의 점군 데이터를 포함할 수 있다. Here, the characteristic factor may include point cloud data of the transmission tower.
무인항공기는 배터리 용량의 한계로 다중 경간의 관심 송전선로를 측정하기 위해서는 여러 번 비행하여 송전선로 및 주변환경의 3차원 점군 데이터 측정이 필요하다. 이러한 경우 각 측정 점군데이터는 서로 다른 상대좌표계에 사상되기 때문에 취득된 3차원 격자맵들을 임의로 정의된 하나의 기준 좌표계에 대하여 3차원 격자맵으로 정합 및 합성하는 과정이 필요하다.Due to the limitation of battery capacity, the unmanned aerial vehicle needs to fly several times to measure the multi-span transmission line of interest to measure the three-dimensional point cloud data of the transmission line and the surrounding environment. In this case, since each measured point cloud data is mapped to different relative coordinate systems, a process of matching and synthesizing the acquired 3D grid maps into a 3D grid map with respect to one arbitrarily defined reference coordinate system is required.
도 2에 도시된 바와 같이 3차원 격자맵 정합 알고리즘을 적용하기 위해서는 정합하고자 하는 3차원 점군 데이터 사이에 공통적으로 측정된 송전철탑의 점군 데이터가 존재하여야 한다. As shown in FIG. 2 , in order to apply the 3D grid map matching algorithm, point cloud data of a transmission tower commonly measured among 3D point cloud data to be matched must exist.
여러 송전철탑 점군 데이터 집합들 중 하나의 데이터 집합을 표시할 때 도 3에 도시된 바와 같이 사용한 상대 좌표계를 기준 좌표계(Reference axis)로 선정하고, 이 외의 송전철탑 점군 데이터 집합들을 표적(Target)으로 정의한다. When displaying one data set among several transmission tower point cloud data sets, the relative coordinate system used as shown in FIG. 3 is selected as the reference axis, and other transmission tower point cloud data sets are used as targets. define.
이후 회전변환행렬(Rotational transformation matrix) R과 이동벡터(translational vector) t의 초기값을 수학식 1과 같이 정의한다. Thereafter, initial values of a rotational transformation matrix R and a translational vector t are defined as in
기준 좌표계 데이터 중 샘플 점군 데이터 pi를 추출하고, 표적 데이터 중 pi와 가장 가까운 점 qi를 선택한다. 이후 pi와 qi를 이용하여 목적함수를 계산하며 목적함수는 수학식 2와 같이 나타낼 수 있다.Sample point cloud data p i among the reference coordinate system data is extracted, and a point q i closest to p i is selected among the target data. Thereafter, the objective function is calculated using p i and q i , and the objective function can be expressed as in Equation (2).
수학식 2는 회전변환행렬과 이동백터를 이용하여 표적 점군 데이터를 회전 및 이동 변환을 수행하고 변환된 좌표와 기준 점군 데이터의 오차를 제곱하는 목적함수이다.
따라서 제시된 수학식 2를 기반으로 다양한 최적화 기법을 적용하여 수학식 2의 목적함수를 최소화하는 회전변환행렬 및 이동벡터 계산이 가능하다. Therefore, it is possible to calculate a rotation transformation matrix and a motion vector that minimizes the objective function of
마지막으로 수학식 2의 값이 임계값보다 높거나 알고리즘 반복 횟수가 최대 반복 횟수보다 낮으면 알고리즘을 반복하고, 수학식 2의 값이 임계값보다 낮거나 알고리즘 반복 횟수가 최대 반복 횟수보다 높으면 최적 변환행렬 및 이동백터를 표적 3차원 격자맵에 적용한 후 알고리즘을 종료한다.Finally, if the value of
도 4는 이와 같이 3차원 격자맵 정합 알고리즘 적용하여 3차원 격자맵을 정합하게 되면 도 4에 도시된 바와 같이 기준 및 표적 송전철탑 3차원 점군 데이터가 분포된다. In FIG. 4, when the three-dimensional grid map is matched by applying the three-dimensional grid map matching algorithm as described above, the reference and target transmission tower three-dimensional point cloud data are distributed as shown in FIG.
즉, 도 5에 도시된 바와 같이 서로 다른 좌표계에서의 기준 및 표적 3차원 격자맵에서 적색 원의 송전철탑을 특징인자로 정합하게 되면 도 6에 도시된 바와 같이 기준 및 표적이 정합된 3차원 격자맵으로 합성할 수 있다. That is, as shown in FIG. 5, when the transmission tower in the red circle is matched as a feature factor in the reference and target three-dimensional grid maps in different coordinate systems, the three-dimensional grid in which the reference and the target are matched as shown in FIG. It can be combined into a map.
비행 가능영역 선정부(40)는 격자맵 합성부(30)에서 합성된 3차원 격자맵과 저장부(50)에 저장된 비행 조건을 적용하여 비행 가능한 영역을 선정할 수 있다. The flightable
여기서 저장부(50)에는 항공안전법 시행규칙, 고압 송전선로의 자기장에 의한 접근 불가 영역, 초목 존재 가능 영역 및 무인항공기의 운행 가능한 영역 중 어느 하나 이상이 저장됨에 따라 비행 가능영역 선정부(40)는 항공안전법 시행규칙, 고압 송전선로의 자기장에 의한 접근 불가 영역, 초목 존재 가능 영역 및 무인항공기의 운행 가능한 영역 중 어느 하나 이상이 적용하여 선정할 수 있다. Here, in the
예를 들어, 항공안전법 시행규칙 제 10장 제 308조에는 초경량 비행장치의 비행 승인에 따르면, 제 1호에 사람 또는 건축물이 밀집된 지역에서는 해당 초경량 비행장치를 중심으로 수평거리 150m 범위 안에 있는 가장 높은 장애물의 상단에서 150m 이상 비행이 불가하고, 제 2호에는 제 1호 외의 지역에서는 지표면/수면 또는 물건의 상단에서 150m 이상 비행이 불가하다고 규정되어 있다. For example, according to Article 308 of
그리고 고압송전선로의 자기장에 의한 접근 불가 영역은 154 kV, 345 kV에서는 송전선로로부터 30m, 765 kV에서는 송전선로로부터 45m 이내로 정의하고 있다. In addition, the inaccessible area due to the magnetic field of the high-voltage transmission line is defined as within 30m from the transmission line at 154 kV and 345 kV, and within 45m from the transmission line at 765 kV.
또한, 이외의 초목 존재 가능 지역(45m) 및 다양한 발생오차를 고려한 안전 지역 (15m)이 정의된다. In addition, a safe area (15m) in consideration of the possible existence of other vegetation (45m) and various errors is defined.
도 7은 본 발명의 일 실시예에 따른 송전선로 방향-고도 평면에서의 드론 비행 가능 영역을 나타낸 예시도이고, 도 8과 도 9는 본 발명의 일 실시예에 따른 드론 비행 방법에 대한 교통규정을 적용한 예시도이다. 7 is an exemplary view illustrating a drone flight area in the transmission line direction-altitude plane according to an embodiment of the present invention, and FIGS. 8 and 9 are traffic regulations for a drone flying method according to an embodiment of the present invention. It is an example of applying .
위와 같은 항공안전법 시행규칙, 고압 송전선로의 자기장에 의한 접근 불가 영역, 초목 존재 가능 영역 및 무인항공기의 운행 가능한 영역 등에 대한 요소들을 고려한 송전선로 방향-고도 평면(yTL-zTL 평면)에서의 드론이 비행 가능한 영역은 도 7과 같이 나타낼 수 있다. Transmission line direction-altitude plane (y TL -z TL plane) considering factors such as the above enforcement rules of the Aviation Safety Act, areas inaccessible by the magnetic field of high-voltage transmission lines, areas where vegetation can exist, and areas where unmanned aerial vehicles can operate An area in which the drone can fly may be represented as shown in FIG. 7 .
본 예시에서는 3차원 격자맵의 격자의 크기를 15m로 선정하여 도시하였지만 다양한 해상도의 격자맵에서 동일한 정의에 의하여 드론 비행 불가지역 및 비행 가능 영역을 정의 가능하다. In this example, the grid size of the 3D grid map is selected to be 15 m, but the drone flight impossibility area and the flightable area can be defined by the same definition in the grid map of various resolutions.
또한, 다양한 교통사고를 방지하고자 차량 또는 항공기에 대한 교통법규가 존재하듯이 드론 길에서도 이러한 교통법규를 규정하지 않으면 다수의 드론이 드론 길을 운행할 때 추돌사고가 드론 비행가능 영역에서도 발생 가능하다. 따라서 본 실시예에서는 드론 길에서 드론의 비행 (또는 운행) 방법에 대한 교통규정을 아래와 같이 정의할 수 있다. Also, just as there are traffic laws for vehicles or aircraft to prevent various traffic accidents, if these traffic rules are not regulated on the drone road, collision accidents can occur even in the drone flight area when a large number of drones are operating the drone road. . Therefore, in this embodiment, traffic regulations for a method of flying (or operating) a drone on a drone road can be defined as follows.
[규정1] 드론 비행 (또는 운행)을 위한 교통규정은 차량과 상사성을 갖도록 송전철탑을 중앙선으로 드론은 항상 반시계 방향으로 비행/운행한다. [Rule 1] The traffic regulations for drone flight (or operation) must always fly/operate in a counterclockwise direction with the transmission tower as the center line in order to have a similarity to the vehicle.
[규정2] 송전철탑을 횡단할 경우, 드론이 송전철탑의 번호가 낮아지는 방향으로 비행하면 홀수 번째 송전철탑을 횡단하고, 송전철탑의 번호가 높아지는 방향으로 비행하면 짝수 번째 송전철탑에서 횡단한다.[Rule 2] When crossing a transmission tower, the drone crosses the odd-numbered transmission tower if the drone flies in the direction of decreasing transmission tower number, and crosses at the even-numbered transmission tower if flying in the direction of increasing transmission tower number.
[규정3] 드론이 송전철탑을 횡단하여 반대편 드론길에 진입하는 경우, 반대편 드론 길에서 드론들이 비행 중인 경우 안전주행거리 X m (safety driving distance RS -D) 이내인 경우 대기한다. 만일 반대편 드론 길에서 비행 중인 드론이 횡단하는 송전철탑과의 안전주행거리가 X m 이상인 경우 진입한다. 안전주행거리 X m 는 드론의 비행속도를 고려하여 추돌사고가 발생하지 않도록 선정한다. [Rule 3] When a drone crosses a transmission tower and enters the drone road on the other side, if the drones are flying on the other side of the drone road, if it is within the safe driving distance X m (safety driving distance R S -D ), wait. If the safe driving distance from the transmission tower crossing by the drone flying on the other side of the drone path is X m or more, enter. The safe driving distance X m is selected so that a collision does not occur in consideration of the drone's flight speed.
[규정4] 여러 대의 드론이 송전철탑을 횡단하여 반대편 드론길에 진입하는 경우, 횡단을 대기하는 드론들 사이의 거리는 안전 대기거리(safety waiting distance RS -W) Y m로 유지한다. 횡단 시 추돌사고가 발생하지 않도록 안전 대기거리는 적절히 선정한다. [Rule 4] When multiple drones cross the transmission tower and enter the drone road on the opposite side, the distance between the drones waiting to cross is maintained at the safety waiting distance R S -W Y m. A safe waiting distance should be appropriately selected to prevent a collision accident when crossing.
[규정5] 비행 및 송전철탑을 횡단하는 드론이 동시에 여러 대 존재하는 경우 비행 및 송전철탑 횡단 드론은 순차적으로 번갈아가며 드론 길에 진입한다. [Rule 5] When there are multiple drones flying and crossing the transmission tower at the same time, the drones flying and crossing the transmission tower take turns entering the drone path in sequence.
이와 같이 정의된 드론 경로의 교통규정 [규정1] 및 [규정2]를 적용한 예는 도 8과 같고, [규정3] ~ [규정5]를 적용한 예는 도 9와 같다. An example of applying the traffic regulations [Rule 1] and [Rule 2] of the defined drone route is shown in FIG. 8, and an example of applying [Rule 3] to [Rule 5] is shown in FIG. 9.
도 9에서 분홍 영역은 드론 길을 나타내며, 숫자 1~6은 [규정 5]에 따른 드론의 진입 및 비행 순서를 나타낸다. In FIG. 9, the pink area indicates the drone path, and
도 10은 본 발명의 일 실시예에 따른 드론 운행 가능 영역 및 드론 비행 방법을 고려한 경로 점 생성의 예시도이고, 도 11은 본 발명의 일 실시예에 따른 두 개의 송전선로에 대한 자기장 영역의 침범 예시도이며, 도 12는 본 발명의 일 실시예에 따른 경로 점 재계산 알고리즘을 나타낸 도면이고, 도 13은 본 발명의 일 실시예에 따른 두 개의 송전선로에 대한 경로 점 계산식을 기하학적으로 도식화한 도면이며, 도 14는 본 발명의 일 실시예에 따른 다중 송전선로에 대한 경로 점 재생성의 예시도이고, 도 15는 본 발명의 일 실시예에 따른 최적 경로 생성 알고리즘을 나타낸 도면이며, 도 16은 본 발명의 일 실시예에 따른 경로 생성시 타원형 제약조건을 나타낸 예시도이다. 10 is an exemplary diagram of path point generation in consideration of the drone operation area and the drone flight method according to an embodiment of the present invention, and FIG. 12 is a diagram illustrating a path point recalculation algorithm according to an embodiment of the present invention, and FIG. 13 is a geometric diagram of a path point calculation formula for two transmission lines according to an embodiment of the present invention 14 is an exemplary diagram of path point regeneration for multiple transmission lines according to an embodiment of the present invention, FIG. 15 is a diagram illustrating an optimal path generation algorithm according to an embodiment of the present invention, and FIG. 16 is It is an exemplary diagram illustrating an elliptical constraint when generating a path according to an embodiment of the present invention.
경로 생성부(60)는 비행 가능영역 선정부(40)에서 선정된 비행 가능영역을 기반으로 최적 경로 점을 생성하고 경로 내에 존재하는 장애물을 회피하여 각 경로 점을 비행하는 최적 경로를 생성할 수 있다. The
먼저, 드론 비행 가능 영역의 최적 경로 점은 도 7에 도시된 드론 비행 가능 영역의 중앙 지역을 선정할 수 있고, 선정된 지역 중 송전철탑에 가까운 영역을 물류운송, 긴급구조 등을 위한 드론 길로, 송전철탑에 먼 영역을 드론 택시 길로 정의할 수 있다. First, the optimal path point of the drone flight area can select the central area of the drone flight area shown in FIG. 7, and the area close to the transmission tower among the selected areas is a drone path for logistics and emergency rescue, etc. An area far from the transmission tower can be defined as a drone taxi route.
본 실시예에서는 물류운송, 긴급구조 등을 위한 드론 길과 드론 택시가 다니는 드론 길을 공유하면 충돌의 문제가 생길 경우 인명피해로 이어지므로 구분을 할 수 있고, 드론 택시를 타고 있는 승객이 근처에 송전선로가 있으면 승객에게 불안감을 줄 수 있으므로 드론 택시 길을 송전철탑에서 먼 영역으로 선정할 수 있지만 필요에 따라 이러한 정의는 변경할 수 있다. In this embodiment, sharing the drone road for logistics transportation, emergency rescue, etc. and the drone road for the drone taxi can be distinguished because it leads to casualties if a collision problem occurs, and the passenger in the drone taxi is nearby. The presence of power transmission lines can create anxiety for passengers, so drone taxi routes can be selected as areas far from transmission towers, but this definition can be changed as needed.
따라서 이러한 정의를 적용하여 경로 점을 생성하면 도 10과 같이 정의할 수 있다. Therefore, if a path point is generated by applying this definition, it can be defined as shown in FIG. 10 .
도 10과 같이 정의된 경로 점은 단일 송전선로에 대해 적용이 가능하며 두 개 이상의 송전선로에서 인접한 송전선로 사이의 각도가 180°가 아닐 경우에는 도 11과 같이 앞서 생성한 경로 점이 자기장 영역에 존재 가능하여, 이러한 점을 드론이 비행할 경우 자기장의 영향으로 지자기 센서가 교란되어 자율비행이 불가능할 수 있으며, 최악의 경우 추락이 가능하다. The path point defined as shown in FIG. 10 can be applied to a single transmission line, and when the angle between adjacent power lines in two or more transmission lines is not 180°, the path point previously created as shown in FIG. 11 exists in the magnetic field region. Because of this, when the drone is flying, the geomagnetic sensor is disturbed by the magnetic field, making autonomous flight impossible, and in the worst case, a fall is possible.
도 11에서 적색 원은 송전철탑의 위치이고, 적색 영역은 자기장 영역이며, 청색원은 경로 점 좌표이고, 청색 화살표는 경로 진행 방향을 나타낸다. In FIG. 11 , the red circle is the position of the transmission tower, the red region is the magnetic field region, the blue circle is the path point coordinates, and the blue arrow indicates the path progress direction.
따라서, 경로 생성부(60)는 생성된 경로 점이 자기장 영역을 침범하지 않기 위해서는 앞서 생성된 경로 점을 자기장 영역 밖의 위치로 재계산해야하며 도 12에 도시된 경로 점 재계산을 위한 알고리즘을 적용하여 경로 점을 재계산할 수 있다. Therefore, in order for the generated path point not to invade the magnetic field region, the
도 12에 도시된 바와 같이 격자맵 합성부(30)에서 정합한 3차원 격자맵 및 송전철탑의 점군 데이터 집합 P를 입력으로 하고 i=1로 초기화한다. As shown in FIG. 12 , the three-dimensional grid map matched by the grid
i번째 송전철탑으로부터 송전철탑에 생성된 경로 점까지의 거리 ri를 구하고 pi, pi+1, pi+2를 pi+1=(0,0)인 위치로 평행 이동한다. Find the distance r i from the i-th transmission tower to the path point created in the transmission tower, and move p i , p i+1 , and p i+2 in parallel to the position where p i+1 =(0,0).
이후 거리 ri와 pi, pi+1, pi+2를 이용하여 경로 점을 재계산한 이후 i≠n-2라면 i에 1을 더하여 알고리즘을 반복하고, i=n-2라면 재계산된 경로 점을 저장하고 알고리즘을 종료한다. Then, after recalculating the path point using the distances r i and p i , p i+1 , and p i+2 , if i ≠ n-2, add 1 to i and repeat the algorithm. Save the calculated path points and end the algorithm.
이와 같이 두 개의 송전선로에 대한 경로 점 계산식을 기하학적으로 도식화하면 도 13과 같다. As described above, if the path point calculation formula for the two transmission lines is geometrically diagrammed, it is shown in FIG. 13 .
두 개의 송전선로가 있을 경우 도 13에 도시된 바와 같이 세 개의 송전철탑이 존재하며 그 중 가운데 송전철탑을 (0, 0)으로 하면 두 개의 송전선로는 수학식 3과 같이 나타낼 수 있다.When there are two transmission lines, as shown in FIG. 13 , there are three transmission towers, and among them, if the transmission tower in the middle is (0, 0), the two transmission lines can be expressed as Equation (3).
여기서, i는 1부터 송전선로의 개수이며, 도 13에서 i=1, 2이다. Here, i is the number of transmission lines from 1, and i=1, 2 in FIG. 13 .
이때 송전철탑으로부터 경로 점까지의 거리 r은 도 10와 같이 산출 가능하며, 이때 경로 점을 나타내는 직선의 방정식은 수학식 4와 같다. At this time, the distance r from the transmission tower to the path point can be calculated as shown in FIG.
드론 길은 좌측, 우측 총 두 개의 길을 가지고 있으므로 수학식 4와 같이 나타낼 수 있고, 인접한 두 직선이 교차하는 좌표가 경로 점을 추종하면서 송전철탑의 자기장 영역을 침범하지 않는 좌표이므로 수학식 5와 같이 행렬식으로 나타낼 수 있다.Since the drone path has a total of two paths, left and right, it can be expressed as in
여기서, 
따라서, 수학식 6을 이용하여 자기장 영역을 침범하지 않는 경로 점을 산출할 수 있으며 지표면과 수평 평면(도 14의 x0y0 평면)에 적용하면 도 14와 같다. Therefore, it is possible to calculate a path point that does not invade the magnetic field
도 14에서 적색 점군 데이터는 송전철탑이고, 녹색 점군 데이터는 3차원 격자맵이다. In FIG. 14 , the red point cloud data is a transmission tower, and the green point cloud data is a three-dimensional grid map.
또한, 경로 생성부(60)는 드론이 비행 가능한 구역에서 중심을 가장 안전한 경로 점으로 최단거리로 비행할 경우 장애물과 충돌할 수 있으므로 경로 점을 최단 거리로 추종하면서 장애물을 회피하는 최적의 경로를 생성한다. In addition, the
도 15에 도시된 바와 같이 최적 경로 생성 알고리즘을 적용하여, 생성된 경로 점을 입력으로 받고 n=1로 선정한다. As shown in FIG. 15 , by applying the optimal path generation algorithm, the generated path point is received as an input and n=1 is selected.
이후 pn을 시작점, pn +1을 도착점으로 선정하고 무작위한 샘플링 점군 데이터 prand를 생성하고 prand와 가장 인접한 점군 데이터 pnearset를 찾은 후 pnearset로부터 prand방향으로 step size만큼 경로 점 pnew를 생성한다. After that, p n is selected as the starting point and p n +1 as the destination point, random sampling point cloud data p rand is generated, and the point cloud data p nearset closest to p rand is found . create new
pnew가 장애물에 충돌할 경우 장애물을 회피하며 prand와 가장 가까운 pnew를 재 생성한다. 만약 pnew가 도착점에 도달하지 않았다면 무작위 샘플링부터 알고리즘을 반복하고, pnew가 도착점에 도달하면 도 16과 같은 타원을 생성한다.If p new collides with an obstacle, it avoids the obstacle and regenerates p new closest to p rand . If p new has not reached the destination, the algorithm repeats from random sampling, and when p new reaches the destination, an ellipse as shown in FIG. 16 is generated.
도 16과 같은 타원형 제약조건을 생성하고 이후의 무작위한 샘플링 점군 데이터 prand는 수학식 7과 같은 조건에 대해서만 생성된다. After generating the elliptical constraint as shown in FIG. 16, random sampling point cloud data p rand is generated only for the condition shown in
최적 경로가 생성되지 않았다면 수학식 7의 제약 조건 내에 존재하는 데이터에 대하여 무작위 샘플링을 생성하여 알고리즘을 반복하고, 최적 경로가 생성되었다면 최적 경로를 저장하고 n=n+1을 하여 다음 경로 점으로 가는 최적 경로를 생성한다. If the optimal path is not generated, random sampling is generated for data existing within the constraint of
도 17은 본 발명의 일 실시예에 따른 경로 평활 알고리즘을 나타낸 도면이고, 도 18은 본 발명의 일 실시예에 따른 최적 경로 및 경로 평활 후 경로를 나타낸 도면이다. 17 is a diagram illustrating a path smoothing algorithm according to an embodiment of the present invention, and FIG. 18 is a diagram illustrating an optimal path and a path after path smoothing according to an embodiment of the present invention.
경로 평활부(70)는 경로 생성부(60)에서 생성된 경로에 대해 경로를 평활화한다. The
이때 경로 평활부(70)는 무인항공기의 급격한 움직임이 최소화되도록 경로를 평활화할 수 있다. In this case, the
경로 생성부(60)에서 생성된 최적 경로는 최단 거리를 목적으로 생성되기 때문에 최적 경로 추종 시 드론 기체에 과도한 하중 작용, 비행안전성 저하, 배터리 소모량 증가 현상들이 일어날 수 있다. Since the optimal path generated by the
따라서 경로 평활부(70)는 이러한 현상들을 방지하기 위해 시간에 대한 가속도의 변화량인 저크(Jerk)를 최소화하여 경로를 평활화할 수 있다. Accordingly, the
도 17에 도시된 경로 평활화 기법 알고리즘을 적용하여, 최적 경로를 입력으로 받고 j=1로 선정한다. By applying the path smoothing algorithm shown in FIG. 17, an optimal path is received as an input and j=1 is selected.
이후 시작점 및 도착점의 좌표, 속도, 가속도 설정하고 시간에 대한 가속도의 변화량인 저크(jerk)를 이용하여 jerk cost를 최소화하는 계수 행렬을 계산한다. 마지막으로 계수 행렬을 이용하여 평활화된 경로를 계산하고 j≠n이면 j=j+1을 하여 알고리즘을 반복하고 j=n이면 평활화된 경로를 저장하고 알고리즘을 종료한다. After that, the coordinates, velocity, and acceleration of the starting point and the destination are set, and a coefficient matrix that minimizes the jerk cost is calculated using jerk, which is the amount of change in acceleration with respect to time. Finally, the smoothed path is calculated using the coefficient matrix, and if j ≠ n, the algorithm is repeated with j =
저크(Jerk)는 시간에 대한 가속도의 변화량으로 수학식 8과 같이 정의할 수 있다. Jerk is an amount of change in acceleration with respect to time and can be defined as in Equation (8).
이때, Jerk를 최소화하기 위한 Jerk cost는 수학식 9와 같이 정의할 수 있다. In this case, the Jerk cost for minimizing the Jerk can be defined as in
여기서, ti와 tf는 각각 시작점 및 도착점에 도달했을 때의 시간이고, x(t)에 대한 성질은 수학식 10과 같다. Here, t i and t f are the times when the start point and the destination point are reached, respectively, and the property for x(t) is the same as in
여기서, xi, xf, vi, vf, ai, af는 각각 시작점 및 도착점의 좌표, 속도, 가속도이고, d는 시작점으로부터 도착점에 도달했을 때 걸린 시간이다. Here, x i , x f , v i , v f , a i , a f are the coordinates, velocity, and acceleration of the starting point and the destination, respectively, and d is the time taken to reach the destination from the starting point.
수학식 10을 이용하여 Jerk cost인 수학식 9를 최소화하면 수학식 11과 같다. Using
여기서, 수학식 9인 Jerk cost를 최소화한다는 것은 변위를 시간에 대해 여섯 번 미분하면 0이 되는 식과 동일하게 되며 이때 변위를 수학식 12와 같이 5차 다항식으로 근사 가능하다.Here, to minimize the Jerk cost of
여기서, 계수 a0:5 를 구하기 위해 수학식 12를 변위, 속도, 가속도에 대한 행렬식으로 변환하고 3차원에 대한 식으로 확장한 후 수학식 10의 성질을 이용하여 계수 행렬을 계산한다. 마지막으로 계수 행렬을 이용하여 평활화 된 경로를 생성한다. Here, in order to obtain the coefficient a 0:5 ,
도 18에 도시된 바와 같이 시뮬레이션 공간상에 3차원 격자맵을 만들고 출발점과 도착점을 임의로 선택한 후 최적 경로와 경로 평활화를 적용할 수 있다. As shown in FIG. 18 , a three-dimensional grid map is created on the simulation space, and after arbitrarily selecting a starting point and an ending point, an optimal path and path smoothing can be applied.
여기서 생성한 최적 경로는 적색 점선, 경로 평활화 한 후의 경로는 적색 실선으로 도시되어 있으며 경로 평활화한 후 경로의 총 이동거리는 증가하지만 급격한 움직임이 제거됨에 따라 드론 기체에 인가되는 하중이 감소될 수 있다. The optimal path created here is shown as a red dotted line, and the path after path smoothing is shown as a red solid line.
상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 비행경로 생성장치에 따르면, 송전선로 주변의 3차원 점군 데이터를 기반으로 3차원 격자맵을 합성한 후 규정, 회피영역, 접근 불가 영역 등을 고려한 최적의 경로를 생성한 후 운행 안정성 및 급격한 움직임을 최소화하는 경로 평활화를 수행하여 최종 비행경로를 생성함으로써, 드론의 운행 안전성을 향상시키고 추돌 위험성을 감소시킬 수 있을 뿐만 아니라 비행 신뢰성을 향상시킬 수 있다. As described above, according to the flight path generating apparatus of an unmanned aerial vehicle according to an embodiment of the present invention, a three-dimensional grid map is synthesized based on the three-dimensional point cloud data around the power line, and then the regulation, avoidance area, inaccessible area, etc. After creating an optimal route considering can
도 19는 본 발명의 일 실시예에 따른 무인항공기의 비행경로 생성방법을 설명하기 위한 흐름도이다. 19 is a flowchart illustrating a method for generating a flight path of an unmanned aerial vehicle according to an embodiment of the present invention.
도 19에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 비행경로 생성방법은 먼저, 격자맵 생성부(20)가 센싱부(10)로부터 입력된 라이다 점군 데이터를 절대 좌표의 3차원 점군 데이터로 변환한다(S10). As shown in FIG. 19 , in the method for generating a flight path of an unmanned aerial vehicle according to an embodiment of the present invention, first, the grid
여기서 격자맵 생성부(20)는 라이다 센서(11)를 통해 측정된 라이다 점군 데이터를 드론에 무인항공기에 장착된 GPS 센서(12) 및 IMU 센서(13)에서 측정되는 무인항공기 절대 위치 및 자세 정보를 이용하여 절대 좌표축에서의 3차원 점군 데이터로 변환한다. Here, the grid
S10 단계에서 3차원 점군 데이터로 변환한 후 격자맵 생성부(20)는 변환된 3차원 점군 데이터를 확률론적 다운 샘플링(down-sampling) 기법으로 다운 샘플링하여 3차원 격자맵을 생성한다(S20). After converting into 3D point cloud data in step S10, the
S20 단계에서 3차원 격자맵을 생성한 후 격자맵 합성부(30)는 격자맵 생성부(20)에서 생성된 3차원 격자맵과 서로 다른 좌표계에서 생성된 3차원 격자맵에 대해 특징인자를 기반으로 동일 좌표계로 격자맵을 합성한다(S30). After generating the three-dimensional grid map in step S20, the grid
여기서, 특징인자는 송전철탑의 점군 데이터를 포함할 수 있다. Here, the characteristic factor may include point cloud data of the transmission tower.
무인항공기는 배터리 용량의 한계로 다중 경간의 관심 송전선로를 측정하기 위해서는 여러 번 비행하여 송전선로 및 주변환경의 3차원 점군 데이터 측정이 필요하다. 이러한 경우 각 측정 점군데이터는 서로 다른 상대좌표계에 사상되기 때문에 취득된 3차원 격자맵들을 임의로 정의된 하나의 기준 좌표계에 대하여 3차원 격자맵으로 정합 및 합성하는 과정이 필요하다.Due to the limitation of battery capacity, the unmanned aerial vehicle needs to fly several times to measure the multi-span transmission line of interest to measure the three-dimensional point cloud data of the transmission line and the surrounding environment. In this case, since each measured point cloud data is mapped to different relative coordinate systems, a process of matching and synthesizing the acquired 3D grid maps into a 3D grid map with respect to one arbitrarily defined reference coordinate system is required.
S30 단계에서 격자맵을 합성한 후 비행 가능영역 선정부(40)는 합성된 3차원 격자맵과 저장부에 저장된 비행 조건을 적용하여 비행 가능한 영역을 선정한다(S40).After synthesizing the grid map in step S30, the flightable
여기서, 비행 가능영역 선정부(40)는 항공안전법 시행규칙, 고압 송전선로의 자기장에 의한 접근 불가 영역, 초목 존재 가능 영역 및 무인항공기의 운행 가능한 영역 중 어느 하나 이상을 적용하여 선정할 수 있다. Here, the flightable
예를 들어, 본 실시예에서는 드론 길에서 드론의 비행 (또는 운행) 방법에 대한 교통규정을 아래와 같이 정의할 수 있다. For example, in this embodiment, traffic regulations for a method of flying (or operating) a drone on a drone road may be defined as follows.
[규정1] 드론 비행 (또는 운행)을 위한 교통규정은 차량과 상사성을 갖도록 송전철탑을 중앙선으로 드론은 항상 반시계 방향으로 비행/운행한다. [Rule 1] The traffic regulations for drone flight (or operation) must always fly/operate in a counterclockwise direction with the transmission tower as the center line in order to have a similarity to the vehicle.
[규정2] 송전철탑을 횡단할 경우, 드론이 송전철탑의 번호가 낮아지는 방향으로 비행하면 홀수 번째 송전철탑을 횡단하고, 송전철탑의 번호가 높아지는 방향으로 비행하면 짝수 번째 송전철탑에서 횡단한다.[Rule 2] When crossing a transmission tower, the drone crosses the odd-numbered transmission tower if the drone flies in the direction of decreasing transmission tower number, and crosses at the even-numbered transmission tower if flying in the direction of increasing transmission tower number.
[규정3] 드론이 송전철탑을 횡단하여 반대편 드론길에 진입하는 경우, 반대편 드론 길에서 드론들이 비행 중인 경우 안전주행거리 X m (safety driving distance RS -D) 이내인 경우 대기한다. 만일 반대편 드론 길에서 비행 중인 드론이 횡단하는 송전철탑과의 안전주행거리가 X m 이상인 경우 진입한다. 안전주행거리 X m 는 드론의 비행속도를 고려하여 추돌사고가 발생하지 않도록 선정한다. [Rule 3] When a drone crosses a transmission tower and enters the drone road on the other side, if the drones are flying on the other side of the drone road, if it is within the safe driving distance X m (safety driving distance R S -D ), wait. If the safe driving distance from the transmission tower crossing by the drone flying on the other side of the drone path is X m or more, enter. The safe driving distance X m is selected so that a collision does not occur in consideration of the drone's flight speed.
[규정4] 여러 대의 드론이 송전철탑을 횡단하여 반대편 드론길에 진입하는 경우, 횡단을 대기하는 드론들 사이의 거리는 안전 대기거리(safety waiting distance RS -W) Y m로 유지한다. 횡단 시 추돌사고가 발생하지 않도록 안전 대기거리는 적절히 선정한다. [Rule 4] When multiple drones cross the transmission tower and enter the drone road on the opposite side, the distance between the drones waiting to cross is maintained at the safety waiting distance R S -W Y m. A safe waiting distance should be appropriately selected to prevent a collision accident when crossing.
[규정5] 비행 및 송전철탑을 횡단하는 드론이 동시에 여러 대 존재하는 경우 비행 및 송전철탑 횡단 드론은 순차적으로 번갈아가며 드론 길에 진입한다. [Rule 5] If there are multiple drones flying and crossing the transmission tower at the same time, the drones flying and crossing the transmission tower will enter the drone path in turn in turn.
S40 단계에서 비행 가능영역을 선정한 결과를 기반으로 경로 생성부(60)는 최적 경로 점을 생성하여 비행경로를 생성한다(S50). Based on the result of selecting the flight possible area in step S40, the
경로 생성부(60)는 선정된 비행 가능영역을 기반으로 최적 경로 점을 생성하고 경로 내에 존재하는 장애물을 회피하여 각 경로 점을 비행하는 최적 경로를 생성할 수 있다. The
먼저, 드론 비행 가능 영역의 최적 경로 점은 도 7에 도시된 드론 비행 가능 영역의 중앙 지역을 선정할 수 있고, 선정된 지역 중 송전철탑에 가까운 영역을 물류운송, 긴급구조 등을 위한 드론 길로, 송전철탑에 먼 영역을 드론 택시 길로 정의할 수 있다. First, the optimal path point of the drone flight area can select the central area of the drone flight area shown in FIG. 7, and the area close to the transmission tower among the selected areas is a drone path for logistics and emergency rescue, etc. An area far from the transmission tower can be defined as a drone taxi route.
본 실시예에서는 물류운송, 긴급구조 등을 위한 드론 길과 드론 택시가 다니는 드론 길을 공유하면 충돌의 문제가 생길 경우 인명피해로 이어지므로 구분을 할 수 있고, 드론 택시를 타고 있는 승객이 근처에 송전선로가 있으면 승객에게 불안감을 줄 수 있으므로 드론 택시 길을 송전철탑에서 먼 영역으로 선정할 수 있지만 필요에 따라 이러한 정의는 변경할 수 있다. In this embodiment, sharing the drone road for logistics transportation, emergency rescue, etc. and the drone road for the drone taxi can be distinguished because it leads to casualties if a collision problem occurs, and the passenger in the drone taxi is nearby. The presence of power transmission lines can create anxiety for passengers, so drone taxi routes can be selected as areas far from transmission towers, but this definition can be changed as needed.
S50 단계에서 최적 경로를 생성한 후 경로 평활부(70)가 생성된 최적 경로에 대해 무인항공기의 급격한 움직임이 최소화되도록 경로를 평활화 한다(S60). After generating the optimal path in step S50, the
경로 생성부(60)에서 생성된 최적 경로는 최단 거리를 목적으로 생성되기 때문에 최적 경로 추종 시 드론 기체에 과도한 하중 작용, 비행안전성 저하, 배터리 소모량 증가 현상들이 일어날 수 있다. Since the optimal path generated by the
따라서 경로 평활부(70)는 이러한 현상들을 방지하기 위해 시간에 대한 가속도의 변화량인 저크(Jerk)를 최소화하여 경로를 평활화할 수 있다. Accordingly, the
상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 비행경로 생성방법에 따르면, 송전선로 주변의 3차원 점군 데이터를 기반으로 3차원 격자맵을 합성한 후 규정, 회피영역, 접근 불가 영역 등을 고려한 최적의 경로를 생성한 후 운행 안정성 및 급격한 움직임을 최소화하는 경로 평활화를 수행하여 최종 비행경로를 생성함으로써, 드론의 운행 안전성을 향상시키고 추돌 위험성을 감소시킬 수 있을 뿐만 아니라 비행 신뢰성을 향상시킬 수 있다. As described above, according to the method for generating a flight path of an unmanned aerial vehicle according to an embodiment of the present invention, a three-dimensional grid map is synthesized based on the three-dimensional point cloud data around the power line, and then the regulation, avoidance area, inaccessible area, etc. After creating an optimal route considering can
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Implementations described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Although discussed only in the context of a single form of implementation (eg, discussed only as a method), implementations of the discussed features may also be implemented in other forms (eg, as an apparatus or program). The apparatus may be implemented in suitable hardware, software and firmware, and the like. A method may be implemented in an apparatus such as, for example, a processor, which generally refers to a computer, a microprocessor, a processing device, including an integrated circuit or programmable logic device, and the like. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants (“PDA”) and other devices that facilitate communication of information between end-users.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and it is understood that various modifications and equivalent other embodiments are possible by those of ordinary skill in the art. will understand
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the following claims.
10 : 센싱부 11 : 라이다 센서
12 : GPS 센서 13 : IMU 센서
20 : 격자맵 생성부 30 : 격자맵 합성부
40 : 비행 가능영역 선정부 50 : 저장부
60 : 경로 생성부 70 : 경로 평활부10: sensing unit 11: lidar sensor
12: GPS sensor 13: IMU sensor
20: grid map generation unit 30: grid map synthesis unit
40: flight area selection unit 50: storage unit
60: path generating unit 70: path smoothing unit
Claims (14)
상기 격자맵 생성부에서 생성된 상기 3차원 격자맵과 서로 다른 좌표계에서 생성된 3차원 격자맵에 대해 특징인자를 기반으로 동일 좌표계로 격자맵을 합성하는 격자맵 합성부;
상기 격자맵 합성부에서 합성된 3차원 격자맵과 저장부에 저장된 비행 조건을 적용하여 비행 가능한 영역을 선정하는 비행 가능영역 선정부; 및
상기 비행 가능영역 선정부에서 선정된 상기 비행 가능영역을 기반으로 최적 경로 점을 생성하여 비행경로를 생성하는 경로 생성부;를 포함하는 것을 특징으로 하는 무인항공기의 비행경로 생성장치.
a grid map generator that converts the LIDAR point cloud data input from the sensing unit into three-dimensional point cloud data of absolute coordinates and then generates a three-dimensional grid map based on the three-dimensional point cloud data;
a lattice map synthesizing unit for synthesizing a lattice map in the same coordinate system based on a characteristic factor with respect to the 3D lattice map generated in the lattice map generating unit and the 3D lattice map generated in a different coordinate system;
a flightable area selection unit for selecting a flightable area by applying the 3D grid map synthesized in the grid map synthesis unit and the flight conditions stored in the storage unit; and
A flight path generating device for an unmanned aerial vehicle comprising a;
The flight path of claim 1, wherein the grid map generator converts the lidar point cloud data into the 3D point cloud data on an absolute coordinate axis using absolute position and attitude information of the unmanned aerial vehicle. generating device.
The flight of claim 1, wherein the grid map generator generates the three-dimensional grid map by down-sampling the converted three-dimensional point cloud data using a probabilistic down-sampling technique. path generator.
The apparatus of claim 1, wherein the characteristic factor includes point cloud data of a power transmission tower.
The method of claim 1, wherein the flight area selection unit applies any one or more of the Aviation Safety Act Enforcement Regulations, the inaccessible area due to the magnetic field of the high-voltage power transmission line, the vegetation possible area, and the operable area of the unmanned aerial vehicle to select it. A flight path generating device for an unmanned aerial vehicle, characterized by its features.
The flight path generator of claim 1, further comprising a path smoothing unit for smoothing the path with respect to the flight path generated by the path generating unit.
The apparatus of claim 6 , wherein the path smoothing unit smoothes the path to minimize abrupt movement of the unmanned aerial vehicle.
상기 격자맵 생성부가 변환된 상기 3차원 점군 데이터를 기반으로 3차원 격자맵을 생성하는 단계;
격자맵 합성부가 상기 3차원 격자맵과 서로 다른 좌표계에서 생성된 3차원 격자맵에 대해 특징인자를 기반으로 동일 좌표계로 격자맵을 합성하는 단계;
비행 가능영역 선정부가 합성된 3차원 격자맵과 저장부에 저장된 비행 조건을 적용하여 비행 가능한 영역을 선정하는 단계; 및
경로 생성부가 선정된 상기 비행 가능영역을 기반으로 최적 경로 점을 생성하여 비행경로를 생성하는 단계;를 포함하는 것을 특징으로 하는 무인항공기의 비행경로 생성방법.
converting, by the grid map generation unit, the lidar point cloud data input from the sensing unit into 3D point cloud data of absolute coordinates;
generating, by the grid map generator, a three-dimensional grid map based on the converted three-dimensional point cloud data;
synthesizing, by a grid map synthesizing unit, a grid map in the same coordinate system based on a characteristic factor with respect to a three-dimensional grid map generated in a coordinate system different from the three-dimensional grid map;
selecting a flightable area by applying a three-dimensional grid map synthesized by a flightable area selection unit and a flight condition stored in a storage unit; and
The flight path generating method of an unmanned aerial vehicle comprising: a path generating unit generating a flight path by generating an optimal path point based on the selected flightable area.
The method of claim 8, wherein the converting into the 3D point cloud data comprises: converting the LIDAR point cloud data by the grid map generator into the 3D point cloud data on an absolute coordinate axis using absolute position and attitude information of the unmanned aerial vehicle A method of generating a flight path of an unmanned aerial vehicle, characterized in that
The method of claim 8, wherein the generating of the three-dimensional grid map comprises generating the three-dimensional point cloud data converted by the grid map generator by down-sampling using a probabilistic down-sampling technique. A method of creating a flight path for an unmanned aerial vehicle.
The method of claim 8 , wherein the characteristic factor includes point cloud data of a power transmission tower.
The method of claim 8, wherein the selecting of the flightable area comprises: the flightable area selection unit among the Aviation Safety Act enforcement regulations, the inaccessible area due to the magnetic field of the high-voltage transmission line, the vegetation existable area, and the operable area of the unmanned aerial vehicle. A method of generating a flight path of an unmanned aerial vehicle, characterized in that the selection is made by applying one or more of them.
The method of claim 8 , further comprising: smoothing a path for the generated flight path by a path smoothing unit.
The method of claim 13 , wherein, in the smoothing of the path, the path smoothing unit smoothes the path so that a sudden movement of the unmanned aerial vehicle is minimized.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200101629A KR102436589B1 (en) | 2020-08-13 | 2020-08-13 | Apparatus for generating flight path of unmanned aerial vehicle and method thereof |
| KR1020220103728A KR102454054B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103726A KR102454052B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103725A KR102454051B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103727A KR102454053B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200101629A KR102436589B1 (en) | 2020-08-13 | 2020-08-13 | Apparatus for generating flight path of unmanned aerial vehicle and method thereof |
Related Child Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220103727A Division KR102454053B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103725A Division KR102454051B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103726A Division KR102454052B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103728A Division KR102454054B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220021158A true KR20220021158A (en) | 2022-02-22 |
| KR102436589B1 KR102436589B1 (en) | 2022-08-29 |
Family
ID=80494037
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200101629A KR102436589B1 (en) | 2020-08-13 | 2020-08-13 | Apparatus for generating flight path of unmanned aerial vehicle and method thereof |
| KR1020220103728A KR102454054B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103726A KR102454052B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103727A KR102454053B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103725A KR102454051B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220103728A KR102454054B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103726A KR102454052B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103727A KR102454053B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
| KR1020220103725A KR102454051B1 (en) | 2020-08-13 | 2022-08-19 | Apparatus for generating flight path of unmanned aerial vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (5) | KR102436589B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114910050A (en) * | 2022-06-24 | 2022-08-16 | 四川腾盾科技有限公司 | Unmanned aerial vehicle visual positioning method based on grid map |
| CN116339347A (en) * | 2023-04-24 | 2023-06-27 | 广东工业大学 | Unmanned vehicle running path planning method, device and equipment |
| KR20230151255A (en) * | 2022-04-25 | 2023-11-01 | 한밭대학교 산학협력단 | Method for controling a flight of drone using point cloud |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012232745A (en) * | 2009-06-26 | 2012-11-29 | Eurocopter | Low altitude maneuvering support method |
| JP2017198517A (en) * | 2016-04-27 | 2017-11-02 | 株式会社国際電気通信基礎技術研究所 | Three dimensional map generation system |
| JP2018156491A (en) * | 2017-03-17 | 2018-10-04 | 東京電力ホールディングス株式会社 | Facility inspection system |
| KR20200056028A (en) * | 2018-11-14 | 2020-05-22 | 한국전력공사 | Apparatus estimating sag for power transmission line |
-
2020
- 2020-08-13 KR KR1020200101629A patent/KR102436589B1/en active IP Right Grant
-
2022
- 2022-08-19 KR KR1020220103728A patent/KR102454054B1/en active IP Right Grant
- 2022-08-19 KR KR1020220103726A patent/KR102454052B1/en active IP Right Grant
- 2022-08-19 KR KR1020220103727A patent/KR102454053B1/en active IP Right Grant
- 2022-08-19 KR KR1020220103725A patent/KR102454051B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012232745A (en) * | 2009-06-26 | 2012-11-29 | Eurocopter | Low altitude maneuvering support method |
| JP2017198517A (en) * | 2016-04-27 | 2017-11-02 | 株式会社国際電気通信基礎技術研究所 | Three dimensional map generation system |
| JP2018156491A (en) * | 2017-03-17 | 2018-10-04 | 東京電力ホールディングス株式会社 | Facility inspection system |
| KR20200056028A (en) * | 2018-11-14 | 2020-05-22 | 한국전력공사 | Apparatus estimating sag for power transmission line |
Non-Patent Citations (2)
| Title |
|---|
| Construction of real-time 3D Lidar/image complex information map based on trajectory optimization and final report on map-based precise positioning and development of optimal path generation technology (2019.08.28.), Leading research institute Konkuk University.* * |
| Kim Jeong-hoon et al., Directions and Tasks for Urban Three-Dimensional Planning for the Introduction of Drones, Journal of Korea Planning Association 53(1), 2018.2, 51-61 (11 pages) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230151255A (en) * | 2022-04-25 | 2023-11-01 | 한밭대학교 산학협력단 | Method for controling a flight of drone using point cloud |
| CN114910050A (en) * | 2022-06-24 | 2022-08-16 | 四川腾盾科技有限公司 | Unmanned aerial vehicle visual positioning method based on grid map |
| CN114910050B (en) * | 2022-06-24 | 2024-06-11 | 四川腾盾科技有限公司 | Unmanned aerial vehicle visual positioning method based on grid map |
| CN116339347A (en) * | 2023-04-24 | 2023-06-27 | 广东工业大学 | Unmanned vehicle running path planning method, device and equipment |
| CN116339347B (en) * | 2023-04-24 | 2023-10-31 | 广东工业大学 | Unmanned vehicle running path planning method, device and equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102454053B1 (en) | 2022-10-14 |
| KR102454054B1 (en) | 2022-10-14 |
| KR20220122942A (en) | 2022-09-05 |
| KR20220123188A (en) | 2022-09-06 |
| KR20220122943A (en) | 2022-09-05 |
| KR102454051B1 (en) | 2022-10-14 |
| KR20220123189A (en) | 2022-09-06 |
| KR102436589B1 (en) | 2022-08-29 |
| KR102454052B1 (en) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102454051B1 (en) | Apparatus for generating flight path of unmanned aerial vehicle | |
| US8082102B2 (en) | Computing flight plans for UAVs while routing around obstacles having spatial and temporal dimensions | |
| US9513125B2 (en) | Computing route plans for routing around obstacles having spatial and temporal dimensions | |
| US11217104B2 (en) | Airflow modeling for route optimization | |
| US11215630B2 (en) | Airflow modeling from aerial vehicle pose | |
| JP2018165930A (en) | Drone navigation device, drone navigation method and drone navigation program | |
| CN110119140A (en) | System and method for acceleration curve projection | |
| JP2018165931A (en) | Control device for drone, control method for drone and control program for drone | |
| US11519742B2 (en) | Routing autonomous vehicles using temporal data | |
| US20210114622A1 (en) | Movement control | |
| US11754415B2 (en) | Sensor localization from external source data | |
| US20210116920A1 (en) | Controlling movement of a device | |
| Krishnakumar et al. | Safe autonomous flight environment (safe50) for the notional last “50 ft” of operation of “55 lb” class of uas | |
| JP2018165115A (en) | Emergency response instruction device for drone, emergency response instruction method for drone, and emergency response instruction program for drone | |
| KR102058510B1 (en) | Method of providing obstacle information for safe operation of unmanned aerial vehicle, map server for the same, and automatic unmanned aerial vehicle operation system based on wireless communication network | |
| US11640764B1 (en) | Optimal occupancy distribution for route or path planning | |
| JP7488063B2 (en) | Navigation performance of urban air vehicles. | |
| JP6335354B1 (en) | Route management control server, method and system, and first and second flying bodies used therefor | |
| Bhise et al. | Signed Distance Function based Geofencing for UAV Corridor | |
| JP2019035771A (en) | Server, method and system for route management control and first and second flight vehicles used therein | |
| JP2018163664A (en) | Server, method and system for route management control and first and second flight vehicles used therein | |
| JP6820045B1 (en) | Route management Control servers, methods and systems, as well as the 1st and 2nd Air Divisions used in them. | |
| Balaban et al. | Towards airspace rules for future UAS-based delivery | |
| JP2023020509A (en) | Information processing device, program, and flight path search method | |
| CN114954520A (en) | Method and device for controlling unmanned vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |