KR20200008281A - Apparatus for following lane on road by unmanned aerial vehicle and method the same - Google Patents
Apparatus for following lane on road by unmanned aerial vehicle and method the same Download PDFInfo
- Publication number
- KR20200008281A KR20200008281A KR1020180082211A KR20180082211A KR20200008281A KR 20200008281 A KR20200008281 A KR 20200008281A KR 1020180082211 A KR1020180082211 A KR 1020180082211A KR 20180082211 A KR20180082211 A KR 20180082211A KR 20200008281 A KR20200008281 A KR 20200008281A
- Authority
- KR
- South Korea
- Prior art keywords
- unmanned aerial
- aerial vehicle
- lane
- speed command
- road
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000000284 extract Substances 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B64C2201/127—
-
- B64C2201/14—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 무인항공기의 도로차선 추종장치 및 그 방법에 관한 것으로서, 보다 상세하게는 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 한 무인항공기의 도로차선 추종장치 및 그 방법에 관한 것이다. The present invention relates to a road lane tracking device and a method thereof of an unmanned aerial vehicle, and more particularly, to detect a location of a road lane from a photographed image to track a path based on a lane of a road, and to determine a smooth curved path. The present invention relates to a road lane tracking device for an unmanned aerial vehicle and a method thereof.
최근 카메라가 탑재된 드론, 쿼드콥터, 및 헬리캠 등의 무인항공기(UAV; Unmanned aerial vehicle)가 상용화되면서 카메라 촬영 등 다양한 분야에서 활용되고 있다. Recently, unmanned aerial vehicles (UAVs) such as drones, quadcopters, and helicams equipped with cameras have been commercialized, and are being used in various fields such as camera photography.
이러한 무인항공기는 기존에 주로 사용되던 방송 및 군사분야를 넘어 엔터테인먼트용으로서 일반 사용자들이 촬영용 무인항공기를 이용해 카메라 촬영을 목적으로 사용하는 시대로 접어들고 있다. These drones are moving beyond the broadcasting and military fields, which are mainly used in the past, to enter the era of general users using cameras for shooting cameras.
하지만, 종래기술에 따른 무인항공기는 RC(Remote Controller) 및 스마트 사용자 단말기를 통해 무선으로 제어가 가능하기 때문에 반드시 사용자가 있어야 한다는 점에서 비효율적이고, 또한, 무인항공기의 특성상 지상에서 사용자가 수동으로 제어를 할 경우에 사용자 미숙으로 인해 사고가 빈번히 발생하고 있어 이로 인하여 고가의 기기가 파손되거나 안전사고를 유발하는 문제점이 있었다. However, the unmanned aerial vehicle according to the prior art is inefficient in that it must be a user because it can be controlled wirelessly through a remote controller (RC) and a smart user terminal, and also by the user manually controlled from the ground due to the characteristics of the unmanned aerial vehicle In case of accidents, accidents frequently occur due to immaturity of the user, and thus, expensive equipment is damaged or causes safety accidents.
따라서 지상에 있는 사용자의 제어 없이도 무인항공기 자율적으로 카메라 촬영대상을 인식한 다음 자동으로 추적할 수 있게 함으로써 안전사고 및 고가의 무인항공기가 파손되는 것을 방지할 수 있는 현실적이고도 적용이 가능한 무인항공기에 관한 기술이 절실한 실정이다.Therefore, the unmanned aerial vehicle can be detected autonomously and automatically tracked without the user's control on the ground, so that it can be applied to a realistic and applicable unmanned aerial vehicle that can prevent safety accidents and expensive drones from being damaged. Technology is desperately needed.
본 발명의 배경기술은 대한민국 공개특허공보 제2017-0022872호(2017.03.02. 공개, 자동추적 기능을 갖는 무인항공기)에 개시되어 있다. Background art of the present invention is disclosed in Republic of Korea Patent Publication No. 2017-0022872 (published on March 2, 2017, unmanned aerial vehicle having an automatic tracking function).
본 발명은 상기와 같은 필요성에 의해 안출된 것으로, 일 측면에 따른 본 발명의 목적은 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 한 무인항공기의 도로차선 추종장치 및 그 방법을 제공하는 것이다. The present invention has been made in view of the necessity as described above, an object of the present invention according to an aspect is to detect the position of the road lane from the captured image to follow the path based on the lane of the road to determine the position, smooth curve path It is to provide a road lane tracking device and a method of the unmanned aerial vehicle to follow the.
본 발명의 일 측면에 따른 무인항공기의 도로차선 추종장치는, 무인항공기의 하부에서 도로를 촬영하는 촬영부; 무인항공기의 비행궤적 및 고도를 측정하는 GPS 모듈; 무인항공기의 비행자세를 측정하는 자세측정부; 촬영부로부터 입력된 촬영영상과, GPS모듈로부터 입력된 무인항공기의 비행궤적 및 고도와, 자세측정부로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력하는 제어부; 및 제어부의 속도명령에 따라 무인항공기가 도로의 차선을 추종하도록 구동하는 구동부;를 포함하는 것을 특징으로 한다. Road lane tracking device of the unmanned aerial vehicle according to an aspect of the present invention, the shooting unit for photographing the road from the lower portion of the unmanned aerial vehicle; GPS module for measuring the flight trajectory and altitude of the unmanned aerial vehicle; A posture measuring unit measuring a flight attitude of the unmanned aerial vehicle; Based on the captured image input from the photographing unit, the flight trajectory and altitude of the unmanned aerial vehicle input from the GPS module, and the attitude angle input from the attitude measuring unit, the lane of the road is extracted, and the extracted lane is converted into a NED coordinate system. A control unit for calculating and outputting a speed command to follow a path point based on the converted lane; And a driving unit which drives the unmanned aerial vehicle to follow the lane of the road according to the speed command of the controller.
본 발명에서 촬영부는, 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착된 것을 특징으로 한다. In the present invention, the photographing unit is equipped with an ultra wide-angle fisheye lens having a field of view (FOV) of 180 degrees.
본 발명에서 제어부는, 촬영영상으로부터 라인세그먼트를 추출한 후 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 도로의 차선을 추출하는 것을 특징으로 한다. In the present invention, the controller extracts the line segment from the photographed image and then performs curve fitting based on the points of the line segment to extract the lane of the road.
본 발명에서 제어부는 커브 피팅을 수행한 후 설정된 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 것을 특징으로 한다. In the present invention, after performing the curve fitting, the controller extracts the lane by performing the second curve fitting based on the points of the line segment extracted within the set ROI.
본 발명에서 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 한다. Curve fitting in the present invention is characterized by performing based on the RANSAC (RANdom SAmple Consensus) algorithm.
본 발명에서 관심영역은, 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 한다. In the present invention, the ROI is characterized by being set to a different size according to the altitude of the unmanned aerial vehicle in a rectangle including one lane.
본 발명에서 제어부는, 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 무인항공기의 자세각과 GPS모듈로부터 입력된 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 1을 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 한다. In the present invention, the control unit, by applying the scale factor according to the attitude angle of the unmanned aerial vehicle input from the attitude measurement unit and the altitude of the unmanned aerial vehicle input from the GPS module to the selected points in front of the extracted lane based on
[아래식 1][Equation 1]
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. scale factor).
본 발명에서 제어부는, 곡선차선인 경우 추종하기 위한 3개의 경로 점과 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 속도명령을 생성하는 것을 특징으로 한다. In the present invention, the controller generates a curved path based on three path points for following the curved lane and an incident angle at which the unmanned aerial vehicle enters the path point, and generates a normal speed command and a tangential speed command based on the curved path. It is characterized by generating a speed command by the sum of.
본 발명에서 입사각은, 제어부가 GPS모듈로부터 입력된 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 한다. In the present invention, the incident angle is characterized in that the control unit calculates from the flight trajectory of the unmanned aerial vehicle input from the GPS module.
본 발명에서 접선방향 속도명령은, 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고, 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 한다. In the present invention, the tangential speed command is represented by the product of the tangential direction vector by the magnitude of the speed that the unmanned aerial vehicle is going to go, and the normal speed command is a projection of the t-axis error between the unmanned aerial vehicle and the path with the normal vector. The error obtained by multiplying Pgain (Kp) is characterized by the above-mentioned.
본 발명의 다른 측면에 따른 무인항공기의 도로차선 추종방법은, 제어부가 도로 위를 비행하는 무인항공기의 하부에 장착된 촬영부로부터 촬영한 촬영영상을 입력받는 단계; 제어부가 촬영영상으로부터 라인세그먼트를 추출하는 단계; 제어부가 추출한 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 차선을 추출하는 단계; 제어부가 추출된 차선을 NED 좌표계로 변환하는 단계; 및 제어부가 NED 좌표계로 변환된 경로 점들을 기반으로 속도명령을 생성하는 단계를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, there is provided a road lane tracking method of an unmanned aerial vehicle, including: receiving, by a controller, a photographed image photographed from a photographing unit mounted on a lower portion of an unmanned aerial vehicle flying on a road; Extracting, by the controller, the line segment from the captured image; Extracting a lane by performing curve fitting based on the points of the line segment extracted by the controller; Converting the extracted lane into an NED coordinate system; And generating, by the controller, the speed command based on the path points converted into the NED coordinate system.
본 발명에서 촬영영상은, 시야각이 180도인 초광각 어안렌즈로 촬영된 영상인 것을 특징으로 한다. In the present invention, the photographed image is an image photographed by an ultra wide-angle fisheye lens having a viewing angle of 180 degrees.
본 발명은 제어부가 커브 피팅을 수행한 후 설정된 관심영역 내에서 라인세그먼트를 추출하는 단계; 및 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 단계를 더 포함하는 것을 특징으로 한다. The present invention includes the steps of extracting a line segment within a region of interest set after the controller performs a curve fitting; And extracting a lane by performing a quadratic curve fitting based on the points of the line segment extracted in the region of interest.
본 발명에서 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 한다. Curve fitting in the present invention is characterized by performing based on the RANSAC (RANdom SAmple Consensus) algorithm.
본 발명에서 관심영역은, 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 한다. In the present invention, the ROI is characterized by being set to a different size according to the altitude of the unmanned aerial vehicle in a rectangle including one lane.
본 발명에서 NED 좌표계로 변환하는 단계는, 제어부가 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 무인항공기의 자세각과 GPS모듈로부터 입력된 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 2를 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 한다. In the present invention, the step of converting to the NED coordinate system, by applying a scale factor according to the attitude angle of the unmanned aerial vehicle input from the attitude measurement unit and the altitude of the unmanned aerial vehicle input from the GPS module with respect to selected points in front of the extracted lane. It is characterized by converting to the position of the NED coordinate system based on Equation 2 below.
[아래식 2][Equation 2]
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. scale factor).
본 발명에서 속도명령을 생성하는 단계는, 제어부가 곡선차선인 경우 추종하기 위한 3개의 경로 점과 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 속도명령을 생성하는 것을 특징으로 한다. In the present invention, the step of generating a speed command, when the controller is a curved lane, generates a curved path based on the three path points for tracking and the angle of incidence that the unmanned aerial vehicle enters the path point, and the normal direction based on the curved path The speed command is generated by the sum of the speed command and the tangential speed command.
본 발명에서 입사각은, 제어부가 GPS모듈로부터 입력된 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 한다. In the present invention, the incident angle is characterized in that the control unit calculates from the flight trajectory of the unmanned aerial vehicle input from the GPS module.
본 발명에서 접선방향 속도명령은, 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고, 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 한다. In the present invention, the tangential speed command is represented by the product of the tangential direction vector by the magnitude of the speed that the unmanned aerial vehicle is going to go, and the normal speed command is a projection of the t-axis error between the unmanned aerial vehicle and the path with the normal vector. The error obtained by multiplying Pgain (Kp) is characterized by the above-mentioned.
본 발명의 일 측면에 따른 무인항공기의 도로차선 추종장치 및 그 방법은 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있도록 한다. In accordance with an aspect of the present invention, a road lane tracking device and a method thereof of an unmanned aerial vehicle may detect a location of a road lane from a captured image and follow a smooth curved path in order to follow a path based on a road lane. By doing so, you can follow the lane path and autonomously fly without invading the lane.
도 1은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치를 간략하게 나타낸 블록 구성도이다.
도 2내지 도 5는 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 차선을 추출하는 과정을 나타낸 영상이다.
도 6은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 NED 좌표계의 변환을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 곡선경로의 추종을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법을 설명하기 위한 흐름도이다. 1 is a block diagram schematically illustrating a road lane tracking device of an unmanned aerial vehicle according to an exemplary embodiment of the present invention.
2 to 5 are images illustrating a process of extracting a lane in a road lane following device of an unmanned aerial vehicle according to an embodiment of the present invention.
6 is a view for explaining the conversion of the NED coordinate system in the road lane tracking device of the unmanned aerial vehicle according to an embodiment of the present invention.
7 is a view for explaining the following of the curved path in the road lane tracking device of the unmanned aerial vehicle according to an embodiment of the present invention.
8 is a flowchart illustrating a road lane following method of an unmanned aerial vehicle according to an exemplary embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 무인항공기의 도로차선 추종장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, a road lane tracking device and a method thereof of an unmanned aerial vehicle according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of description. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary depending on the intention or convention of a user or an operator. Therefore, the definitions of these terms should be made based on the contents throughout the specification.
도 1은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치를 간략하게 나타낸 블록 구성도이고, 도 2내지 도 5는 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 차선을 추출하는 과정을 나타낸 영상이며, 도 6은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 NED 좌표계의 변환을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 곡선경로의 추종을 설명하기 위한 도면이다. 1 is a block diagram schematically illustrating a road lane tracking device of an unmanned aerial vehicle according to an embodiment of the present invention, and FIGS. 2 to 5 are lanes of a road lane tracking device of an unmanned aerial vehicle according to an embodiment of the present invention. Figure 6 is an image showing a process of extracting, Figure 6 is a view for explaining the conversion of the NED coordinate system in the road lane tracking device of the unmanned aerial vehicle according to an embodiment of the present invention, Figure 7 according to an embodiment of the present invention A diagram for explaining the following of a curved path in a road lane following device of an unmanned aerial vehicle.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치는 촬영부(10), GPS모듈(40), 제어부(20) 및 구동부(30)를 포함할 수 있다. As shown in FIG. 1, a road lane tracking device of an unmanned aerial vehicle according to an exemplary embodiment of the present invention may include a photographing
촬영부(10)는 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착되어 무인항공기가 도로 위를 비행할 때 무인항공기의 하부에서 도로 위를 촬영한 촬영영상을 제어부(20)에 제공한다. The photographing
GPS모듈(40)은 무인항공기의 비행궤적과 고도를 측정하여 제어부(20)에 제공한다. The
여기서, 무인항공기의 비행궤적은, 제어부(20)가 곡선경로를 생성할 때 경계조건으로 3개의 경로 점과 더불어 입사각을 반영하여 3차 다항식의 계수를 산출할 수 있도록 한다. Here, the flight trajectory of the unmanned aerial vehicle allows the
또한, 무인항공기의 고도는, 제어부(20)가 촬영영상으로부터 차선을 추출할 때 관심영역을 설정하기 위해 적용될 수도 있고, 촬영영상에서 추출한 좌표를 NED 좌표계로 변환할 때 적용되는 스케일 팩터(scale factor)를 얻기 위해 이용할 수 있다. In addition, the altitude of the unmanned aerial vehicle may be applied to set a region of interest when the
자세측정부(50)는 무인항공기의 비행자세를 측정하여 제어부(20)에 제공한다. The
여기서, 무인항공기의 비행자세는 제어부(20)가 무인항공기의 비행자세를 기반으로 촬영부(10)의 자세각을 산출하여 촬영영상에서 좌표를 NED 좌표계로 변환할 때 적용할 수 있다. Here, the flight attitude of the unmanned aerial vehicle may be applied when the
제어부(20)는 촬영부(10)로부터 입력된 촬영영상과, GPS모듈(40)로부터 입력된 무인항공기의 비행궤적 및 고도와, 자세측정부(50)로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력함으로써 추종할 수 있도록 한다. The
즉, 제어부(20)는 입력된 촬영영상으로부터 차선의 기본적인 특징인 선을 추출하기 위해 도 2에 도시된 바와 같이 라인세그먼트를 추출한 후 추출한 라인세그먼트의 점들을 기반으로 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 커브 피팅(Curve fitting)을 수행하여 차선을 추출할 수 있다. That is, the
이후 제어부(20)는 추출한 차선으로부터 관심영역을 설정하고, 설정된 관심영역에서 도 4에 도시된 바와 같이 라인세그먼트를 추출할 수 있다. Thereafter, the
여기서, 관심영역은 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정될 수 있다. Here, the ROI is a quadrangle including one lane and may be set to different sizes according to the altitude of the unmanned aerial vehicle.
이와 같이 관심영역에서 라인세그먼트를 추출한 후 제어부(20)는 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 도 5와 같이 차선을 추출하고, 추출한 차선을 도 6과 같이 NED 좌표계(절대위치)로 변환할 수 있다. After extracting the line segment in the region of interest as described above, the
예를 들어, 제어부(20)는 NED 좌표계로 변환하기 위해 차선으로부터 전방의 3개의 점을 추출한 후 3개 점의 y축 정보를 이용하여 왼쪽, 오른쪽 3쌍의 이미지 정보를 획득하고, 수학식 1에 대입하여 각 점에 대해 NED 좌표계의 위치를 산출할 수 있다. For example, the
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the pose angle of the imager, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. .
이때 촬영부의 자세각은 자체측정부(50)로부터 입력된 무인항공기의 비행자세를 기반으로 얻을 수 있고, 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터(scale factor)는 GPS모듈(40)로부터 입력된 무인항공기의 고도를 이용해서 얻을 수 있다. At this time, the attitude angle of the photographing unit can be obtained based on the flight attitude of the unmanned aerial vehicle inputted from the self-measuring
이와 같이 도로 위의 차선에 대해 무인항공기가 추종해야 될 경로 점들을 NED 좌표계의 위치로 변환할 수 있다. In this way, the path points to be followed by the unmanned aerial vehicle for the lane on the road may be converted into positions in the NED coordinate system.
이후 제어부(20)는 NED 좌표계의 점들을 기반으로 경로 점들을 추종하기 위한 속도명령을 생성하여 구동부(30)에 출력함으로써 자율비행으로 추종할 수 있도록 한다. Thereafter, the
이때 직선으로 이루어진 차선에서 만들어진 경로 점을 추종하는 것은 기존의 점 항법 비행으로도 옆 차선을 침범하지 않을 수 있지만, 곡선차선의 경우에는 경로 점간의 거리에 따라서 차선을 침범하는 경우가 발생할 수 있다. At this time, following a path point made in a lane made of a straight line may not invade the side lane even with a conventional point navigation flight, but in a curved lane, a lane may be invaded according to the distance between path points.
따라서 본 실시예에서는 이를 방지하기 위해서 주어진 경로 점들을 이용해서 부드러운 곡선경로를 추종할 수 있도록 곡선경로를 생성하고, 이를 기반으로 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 생성하여 곡선경로를 추종할 수 있도록 한다. Therefore, in this embodiment, in order to prevent this, a curved path is generated to follow a smooth curved path using given path points, and based on this, the normal speed command (Vn, cmd) and the tangential speed command (Vt, cmd) are generated. The speed command (Vcmd) generated by the sum of) can be generated to follow the curve path.
예를 들어, 곡선경로를 생성하기 위해서는 최소한 3개의 경로 점이 필요하므로 도 6에서 변환한 3쌍의 차선 위치를 사용할 수 있다. 오른쪽, 왼쪽 점의 평균을 통해서 도 7에 도시된 바와 같이 경로 점 Pi-1, Pi, Pi+1의 세 점을 얻을 수 있다. For example, since at least three path points are required to generate the curved path, three pairs of lane positions converted in FIG. 6 may be used. As shown in FIG. 7, three points, path points P i-1, P i and P i + 1 , may be obtained through the average of the right and left points.
이와 같이 경로 점 세 점을 연결하는 곡선경로는 3차 다항식 d(s)로 정의할 수 있다. 여기서, 3차 다항식의 계수를 모두 얻기 위해서는 4개의 경계조건이 필요하게 되는데, 본 실시예에서는 3개의 경로 점과 Pi-1 점으로 진입하는 무인항공기의 입사각을 기반으로 수학식 2를 통해 3차 다항식의 계수를 결정할 수 있다. Thus, the curved path connecting the three points of the path can be defined by the third order polynomial d (s). Here, four boundary conditions are required to obtain all the coefficients of the third order polynomial. In the present embodiment, Equation 2 is based on the incidence angle of the unmanned aerial vehicle entering three path points and P i-1 points. The coefficient of the difference polynomial can be determined.
여기서, 무인항공기의 입사각은 GPS모듈(40)로부터 입력된 무인항공기의 비행궤적을 기반으로 산출할 수 있다. Here, the incident angle of the unmanned aerial vehicle may be calculated based on the flight trajectory of the unmanned aerial vehicle input from the
한편, 접선방향 속도명령(Vt,cmd)은 수학식 3과 같이 산출하여 생성할 수 있으며, 경로의 접속방향 속도명령(Vt,cmd)은 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타낼 수 있다. On the other hand, the tangential speed command (Vt, cmd) can be calculated and generated as shown in equation (3), the connection direction speed command (Vt, cmd) of the path is a direction vector in the tangential direction to the magnitude of the speed that the unmanned aerial vehicle wants to go It can be expressed as the product of.
또한, 법선방향 속도명령(Vn,cmd)은 수학식 4와 같이 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타낼 수 있다.In addition, the normal speed command (Vn, cmd) may be represented by multiplying the P gain (Kp) by the error obtained by projecting the t-axis error between the unmanned aerial vehicle and the path with the normal direction vector, as shown in equation (4).
따라서 제어부(20)는 곡선경로에서 수학식 5와 같이 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 출력하여 옆 차선을 침범하지 않고 곡선경로를 부드럽게 추종할 수 있도록 한다. Therefore, the
구동부(30)는 제어부(20)에서 출력되는 속도명령에 따라 무인항공기가 도로 위를 비행할 수 있도록 구동한다. The
따라서, 무인항공기의 제어장치는 제어부(20)가 촬영부(10)로부터 입력된 도로 위의 촬영영상으로부터 차선을 추출한 후 NED 좌표계로 변환하여, 변환된 차선을 기반으로 차선에 따른 경로를 자율비행으로 추종할 수 있도록 속도명령을 생성하여 구동부(30)를 구동시킬 뿐만 아니라 곡선차선에서는 곡선경로를 생성하여 접선방향 속도명령과 법선방향 속도명령의 합에 의한 속도명령으로 차선을 침범하지 않고 부드러운 곡선경로를 추종할 수 있도록 한다. Therefore, the control apparatus of the unmanned aerial vehicle extracts the lane from the photographed image on the road input from the photographing
상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 도로차선 추종장치에 따르면, 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있다. As described above, according to the road lane tracking device of the unmanned aerial vehicle according to the embodiment of the present invention, in order to follow the path based on the lane of the road, the lane of the road is detected from the photographed image to determine the position, and the smooth curve path By allowing to follow the lane path can be autonomous flight without invading the lane.
도 8은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법을 설명하기 위한 흐름도이다. 8 is a flowchart illustrating a road lane following method of an unmanned aerial vehicle according to an exemplary embodiment of the present invention.
도 8에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법에서는 먼저, 제어부(20)가 무인항공기의 하부에 장착된 촬영부(10)로부터 도로 위를 시야각 180도의 초광각 어안렌즈를 채용하여 촬영한 촬영영상을 입력받는다(S10). As shown in FIG. 8, in the road lane tracking method of the unmanned aerial vehicle according to the exemplary embodiment of the present invention, first, the
S10 단계에서 촬영영상을 입력받은 제어부(20)는, 입력된 촬영영상으로부터 차선의 기본적인 특징인 선을 추출하기 위해 도 2에 도시된 바와 같이 라인세그먼트를 추출한다(S20). The
S20 단계에서 라인세그먼트를 추출한 후 제어부(20)는, 추출한 라인세그먼트의 점들을 기반으로 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 커브 피팅(Curve fitting)을 수행하여 차선을 추출한다(S30). After extracting the line segment in operation S20, the
여기서 커브 피팅을 RANSAC 알고리즘을 통해 차선의 일부분만을 샘플로 수행하기 때문에 도 3에 도시된 바와 같이 멀리 있는 차선은 피팅 정보가 크게 벗어날 수 있다. Since only a part of the lane is sampled through the curve fitting through the RANSAC algorithm, as shown in FIG. 3, the fitting information may deviate significantly from the far lane.
따라서, S30 단계에서 추출한 차선으로부터 제어부(20)는 관심영역을 설정하고, 설정된 관심영역에서 도 4에 도시된 바와 같이 라인세그먼트를 추출한다(S40). Therefore, the
여기서, 관심영역은 1개 차로가 포함되는 사각형으로 제어부(20)가 GPS모듈(40)로부터 입력된 무인항공기의 고도에 따라 다른 크기로 설정할 수 있다. Here, the ROI may be a rectangle including one lane and may be set to different sizes according to the altitude of the unmanned aerial vehicle input by the
S40 단계에서 관심영역에서 라인세그먼트를 추출한 후 제어부(20)는 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 도 5와 같이 차선을 추출한다(S50). After extracting the line segment in the ROI in operation S40, the
S50 단계에서 차선을 추출한 후 제어부(20)는 추출한 차선을 도 6과 같이 NED 좌표계(절대위치)로 변환한다(S60). After extracting the lane in step S50, the
예를 들어, 제어부(20)는 NED 좌표계로 변환하기 위해 차선으로부터 전방의 3개의 점을 추출한 후 3개 점의 y축 정보를 이용하여 왼쪽, 오른쪽 3쌍의 이미지 정보를 획득하고, 수학식 6에 대입하여 각 점에 대해 NED 좌표계의 위치를 산출할 수 있다. For example, the
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the pose angle of the imager, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. .
이때 촬영부(10)의 자세각은 자체측정부(50)로부터 입력된 무인항공기의 비행자세를 기반으로 얻을 수 있고, 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터(scale factor)는 GPS모듈(40)로부터 입력된 무인항공기의 고도를 이용해서 얻을 수 있다. At this time, the attitude angle of the photographing
이와 같이 도로 위의 차선에 대해 무인항공기가 추종해야 될 경로 점들을 NED 좌표계의 위치로 변환할 수 있다. In this way, the path points to be followed by the unmanned aerial vehicle for the lane on the road may be converted into positions in the NED coordinate system.
S60 단계에서 차선을 NED 좌표계의 위치로 변환한 후 제어부(20)는 NED 좌표계로 변환된 경로 점들을 기반으로 경로 점들을 추종하기 위한 속도명령을 생성하여 자율비행으로 추종할 수 있도록 한다(S70). After converting the lane to the position of the NED coordinate system in step S60, the
직선으로 이루어진 차선에서 만들어진 경로 점을 추종하는 것은 기존의 점 항법 비행으로도 옆 차선을 침범하지 않을 수 있지만, 곡선 차선의 경우에는 경로 점간의 거리에 따라서 차선을 침범하는 경우가 발생할 수 있다. Following a path point made from a straight lane may not invade the next lane even with a conventional point navigation flight. However, in the case of a curved lane, a lane may be involved depending on the distance between the path points.
따라서 본 실시예에서는 이를 방지하기 위해서 주어진 경로 점들을 이용해서 부드러운 곡선경로를 추종할 수 있도록 곡선경로를 기반으로 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 생성하여 곡선경로를 추종할 수 있도록 한다. Therefore, in this embodiment, in order to prevent this, the sum of the normal speed command (Vn, cmd) and the tangential speed command (Vt, cmd) based on the curve path can be used to follow the smooth curve path using the given path points. Create a speed command (Vcmd) to be created to follow the curve path.
예를 들어, 곡선경로를 얻기 위해서는 최소한 3개의 경로 점이 필요하므로 도 6에서 변환한 3쌍의 차선 위치를 사용할 수 있다. 오른쪽, 왼쪽 점의 평균을 통해서 도 7에 도시된 바와 같이 경로 점 Pi-1, Pi, Pi+1의 세 점을 얻을 수 있다. For example, since at least three path points are required to obtain a curved path, three pairs of lane positions converted in FIG. 6 may be used. As shown in FIG. 7, three points, path points P i-1, P i and P i + 1 , may be obtained through the average of the right and left points.
이와 같이 경로 점 세 점을 연결하는 곡선경로는 3차 다항식 d(s)로 정의할 수 있다. 여기서, 3차 다항식의 계수를 모두 얻기 위해서는 4개의 경계조건이 필요하게 되는데, 본 실시예에서는 3개의 경로 점과 Pi-1 점으로 진입하는 무인항공기의 입사각을 기반으로 수학식 7을 통해 3차 다항식의 계수를 결정할 수 있다. Thus, the curved path connecting the three points of the path can be defined by the third order polynomial d (s). Here, four boundary conditions are required to obtain all the coefficients of the third order polynomial. In this embodiment, three equations are obtained based on the incidence angle of the unmanned aerial vehicle entering three path points and P i-1 points. The coefficient of the difference polynomial can be determined.
여기서, 무인항공기의 입사각은 GPS모듈(40)로부터 입력된 무인항공기의 비행궤적을 기반으로 산출할 수 있다. Here, the incident angle of the unmanned aerial vehicle may be calculated based on the flight trajectory of the unmanned aerial vehicle input from the
한편, 접선방향 속도명령(Vt,cmd)은 수학식 8과 같이 산출하여 생성할 수 있으며, 경로의 접속방향 속도명령(Vt,cmd)은 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타낼 수 있다. On the other hand, the tangential speed command (Vt, cmd) can be calculated and generated as shown in Equation 8, the connection direction speed command (Vt, cmd) of the path is a direction vector in the tangential direction to the magnitude of the speed that the unmanned aerial vehicle is going to go It can be expressed as the product of.
또한, 법선방향 속도명령(Vn,cmd)은 수학식 9와 같이 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타낼 수 있다.In addition, the normal speed command (Vn, cmd) can be represented by multiplying the P gain (Kp) by the error obtained by projecting the t-axis error between the unmanned aerial vehicle and the path with the normal direction vector, as shown in equation (9).
따라서 제어부(20)는 곡선경로에서 수학식 10과 같이 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 출력하여 옆 차선을 침범하지 않고 곡선경로를 부드럽게 추종할 수 있도록 한다. Therefore, the
상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 도로차선 추종방법에 따르면, 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있다. As described above, according to the road lane tracking method of the unmanned aerial vehicle according to the embodiment of the present invention, in order to follow the path based on the lane of the road, the lane of the road is detected from the photographed image to determine the position, and the smooth curve path By allowing to follow the lane path can be autonomous flight without invading the lane.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and those skilled in the art to which the art belongs can make various modifications and other equivalent embodiments therefrom. I will understand.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention will be defined by the claims below.
10 : 촬영부 20 : 제어부
30 : 구동부 40 : GPS모듈
50 : 자세측정부10: recording unit 20: control unit
30: drive unit 40: GPS module
50: posture measuring unit
Claims (19)
상기 무인항공기의 비행궤적 및 고도를 측정하는 GPS 모듈;
상기 무인항공기의 비행자세를 측정하는 자세측정부;
상기 촬영부로부터 입력된 촬영영상과, 상기 GPS모듈로부터 입력된 상기 무인항공기의 상기 비행궤적 및 상기 고도와, 상기 자세측정부로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력하는 제어부; 및
상기 제어부의 상기 속도명령에 따라 상기 무인항공기가 도로의 차선을 추종하도록 구동하는 구동부;를 포함하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
Shooting unit for photographing the road from the bottom of the unmanned aerial vehicle;
A GPS module for measuring a flight trajectory and an altitude of the unmanned aerial vehicle;
A posture measuring unit measuring a flight attitude of the unmanned aerial vehicle;
A lane of a road is extracted based on a captured image input from the photographing unit, the flight trajectory and altitude of the unmanned aerial vehicle input from the GPS module, and an attitude angle input from the attitude measuring unit. A control unit for converting to a NED coordinate system and calculating and outputting a speed command to follow a path point based on the converted lane; And
And a driving unit for driving the unmanned aerial vehicle to follow a lane of a road according to the speed command of the control unit.
The apparatus of claim 1, wherein the photographing unit is equipped with an ultra wide angle fisheye lens having a field of view (FOV) of 180 degrees.
The apparatus of claim 1, wherein the controller extracts a line segment from the photographed image and extracts a lane of a road by performing curve fitting based on points of the line segment.
The road of claim 3, wherein the controller extracts a lane by performing a second curve fitting based on points of the line segment extracted within a region of interest set after performing the curve fitting. Lane following device.
5. The apparatus of claim 4, wherein the curve fitting is performed based on a random SAmple consensus (RANSAC) algorithm.
5. The apparatus of claim 4, wherein the ROI is a quadrangle including one lane and is set to a different size according to the altitude of the unmanned aerial vehicle. 6.
[아래식 1]
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
The scale factor of claim 1, wherein the controller is further configured to determine a scale factor according to the attitude angle of the unmanned aerial vehicle input from the attitude measuring unit and the altitude of the unmanned aerial vehicle input from the GPS module with respect to selected points forward from the extracted lane. The road lane following device of the unmanned aerial vehicle, characterized in that for converting to the position of the NED coordinate system based on Equation 1 below.
[Equation 1]
Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the captured image and the actual NED coordinate system position. scale factor).
The method of claim 1, wherein the controller generates a curved path based on three path points for following a curved lane and an incident angle at which the unmanned aerial vehicle enters the path point, and generates a normal speed based on the curved path. And a speed command is generated by the sum of the command and the tangential speed command.
The apparatus of claim 8, wherein the incidence angle is calculated by the controller from the flight trajectory of the unmanned aerial vehicle input by the GPS module.
상기 법선방향 속도명령은, 상기 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
The method of claim 8, wherein the tangential speed command is expressed as a product of a tangential direction vector multiplied by a magnitude of a speed to which the unmanned aerial vehicle wants to go,
And wherein the normal speed command indicates a t-axis error between the unmanned aerial vehicle and a path by multiplying Pgain (Kp) by an error obtained by projecting a normal vector with a normal direction vector.
상기 제어부가 상기 촬영영상으로부터 라인세그먼트를 추출하는 단계;
상기 제어부가 추출한 상기 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 차선을 추출하는 단계;
상기 제어부가 추출된 차선을 NED 좌표계로 변환하는 단계; 및
상기 제어부가 상기 NED 좌표계로 변환된 경로 점들을 기반으로 속도명령을 생성하는 단계를 포함하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
Receiving, by the control unit, a photographed image photographed from a photographing unit mounted on a lower portion of an unmanned aerial vehicle flying on a road;
Extracting, by the controller, a line segment from the captured image;
Extracting a lane by performing curve fitting based on the points of the line segment extracted by the controller;
Converting, by the controller, the extracted lane into a NED coordinate system; And
And generating, by the control unit, a speed command based on the path points converted into the NED coordinate system.
The method of claim 11, wherein the photographed image is an image photographed by an ultra wide-angle fisheye lens having a viewing angle of 180 degrees.
상기 관심영역 내에서 추출한 상기 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 단계를 더 포함하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
The method of claim 11, further comprising: extracting, by the controller, the line segment within a region of interest set after performing the curve fitting; And
And extracting a lane by performing a second curve fitting on the basis of the points of the line segment extracted in the region of interest.
15. The method of claim 13, wherein the curve fitting is performed based on a random SAmple consensus (RANSAC) algorithm.
The method of claim 13, wherein the ROI is a quadrangle including one lane and is set to a different size according to the altitude of the unmanned aerial vehicle.
[아래식 2]
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
The method of claim 11, wherein the converting into the NED coordinate system comprises: the attitude angle of the unmanned aerial vehicle input from the attitude measuring unit with respect to the selected points forward from the extracted lane, and the altitude of the unmanned aerial vehicle input from the GPS module. A road lane tracking method of an unmanned aerial vehicle, characterized by converting to a position of the NED coordinate system based on Equation 2 by applying a scale factor according to Equation 2 below.
[Equation 2]
Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the captured image and the actual NED coordinate system position. scale factor).
The method of claim 11, wherein the generating of the speed command comprises: generating a curved path based on three path points for following when the controller is a curved lane and an incident angle at which the unmanned aerial vehicle enters the path point; And generating the speed command based on the sum of the normal speed command and the tangential speed command based on a curved path.
18. The method of claim 17, wherein the incidence angle is calculated by the controller from a flight trajectory of the unmanned aerial vehicle input from a GPS module.
상기 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 하는 무인항공기의 도로차선 추종방법. 18. The method of claim 17, wherein the tangential speed command is expressed as a product of a tangential direction vector multiplied by a magnitude of a speed to which the unmanned aerial vehicle wants to go,
And said normal speed command indicates a t-axis error between the unmanned aerial vehicle and the path by multiplying Pgain (Kp) by an error obtained by projecting the normal vector with the normal direction vector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180082211A KR102503308B1 (en) | 2018-07-16 | 2018-07-16 | Apparatus for following lane on road by unmanned aerial vehicle and method the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180082211A KR102503308B1 (en) | 2018-07-16 | 2018-07-16 | Apparatus for following lane on road by unmanned aerial vehicle and method the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200008281A true KR20200008281A (en) | 2020-01-28 |
KR102503308B1 KR102503308B1 (en) | 2023-02-24 |
Family
ID=69370570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180082211A KR102503308B1 (en) | 2018-07-16 | 2018-07-16 | Apparatus for following lane on road by unmanned aerial vehicle and method the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102503308B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113721606A (en) * | 2021-08-16 | 2021-11-30 | 清华大学 | Guiding type automatic driving logistics vehicle control system and method |
KR102349818B1 (en) * | 2020-08-21 | 2022-01-10 | 금오공과대학교 산학협력단 | Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017165627A1 (en) * | 2016-03-23 | 2017-09-28 | Netradyne Inc. | Advanced path prediction |
KR20170110800A (en) * | 2016-03-24 | 2017-10-12 | 엘지전자 주식회사 | Navigation Apparutaus and Driver Assistance Apparatus Having The Same |
JP2018013949A (en) * | 2016-07-21 | 2018-01-25 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Mobile body, method for detecting obstacle of mobile body, and program for detecting obstacle of mobile body |
-
2018
- 2018-07-16 KR KR1020180082211A patent/KR102503308B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017165627A1 (en) * | 2016-03-23 | 2017-09-28 | Netradyne Inc. | Advanced path prediction |
KR20170110800A (en) * | 2016-03-24 | 2017-10-12 | 엘지전자 주식회사 | Navigation Apparutaus and Driver Assistance Apparatus Having The Same |
JP2018013949A (en) * | 2016-07-21 | 2018-01-25 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Mobile body, method for detecting obstacle of mobile body, and program for detecting obstacle of mobile body |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102349818B1 (en) * | 2020-08-21 | 2022-01-10 | 금오공과대학교 산학협력단 | Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes |
CN113721606A (en) * | 2021-08-16 | 2021-11-30 | 清华大学 | Guiding type automatic driving logistics vehicle control system and method |
Also Published As
Publication number | Publication date |
---|---|
KR102503308B1 (en) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210065400A1 (en) | Selective processing of sensor data | |
KR102319191B1 (en) | Determination of yaw error from map data, lasers and cameras | |
CN109238240B (en) | Unmanned aerial vehicle oblique photography method considering terrain and photography system thereof | |
CN109470158B (en) | Image processing device and distance measuring device | |
US11094208B2 (en) | Stereo camera system for collision avoidance during aircraft surface operations | |
US8213706B2 (en) | Method and system for real-time visual odometry | |
CN106873619B (en) | Processing method of flight path of unmanned aerial vehicle | |
JP5775632B2 (en) | Aircraft flight control system | |
Shim et al. | An autonomous driving system for unknown environments using a unified map | |
KR20180050823A (en) | Generating method and apparatus of 3d lane model | |
KR101672732B1 (en) | Apparatus and method for tracking object | |
Anitha et al. | Vision based autonomous landing of an unmanned aerial vehicle | |
WO2019208101A1 (en) | Position estimating device | |
Natraj et al. | Omnidirectional vision for UAV: Applications to attitude, motion and altitude estimation for day and night conditions | |
WO2019238044A1 (en) | Determination device, mobile object, determination method and program | |
CN112232275A (en) | Obstacle detection method, system, equipment and storage medium based on binocular recognition | |
Moore et al. | UAV altitude and attitude stabilisation using a coaxial stereo vision system | |
Bazin et al. | UAV attitude estimation by vanishing points in catadioptric images | |
JP6821220B2 (en) | Unmanned aerial vehicles, unmanned aerial vehicle flight control devices, unmanned aerial vehicle flight control methods, and programs | |
KR102503308B1 (en) | Apparatus for following lane on road by unmanned aerial vehicle and method the same | |
Kakillioglu et al. | 3D sensor-based UAV localization for bridge inspection | |
Miller et al. | UAV navigation based on videosequences captured by the onboard video camera | |
JP6515423B2 (en) | CONTROL DEVICE, MOBILE OBJECT, CONTROL METHOD, AND PROGRAM | |
JP2019219874A (en) | Autonomous moving and imaging control system and autonomous moving body | |
KR20220068606A (en) | Automatic landing algorithm of drone considering partial images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |