KR20200008281A - Apparatus for following lane on road by unmanned aerial vehicle and method the same - Google Patents

Apparatus for following lane on road by unmanned aerial vehicle and method the same Download PDF

Info

Publication number
KR20200008281A
KR20200008281A KR1020180082211A KR20180082211A KR20200008281A KR 20200008281 A KR20200008281 A KR 20200008281A KR 1020180082211 A KR1020180082211 A KR 1020180082211A KR 20180082211 A KR20180082211 A KR 20180082211A KR 20200008281 A KR20200008281 A KR 20200008281A
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
lane
speed command
road
Prior art date
Application number
KR1020180082211A
Other languages
Korean (ko)
Other versions
KR102503308B1 (en
Inventor
민경원
임선빈
김선엽
이한섭
오현찬
심현철
Original Assignee
현대모비스 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사, 한국과학기술원 filed Critical 현대모비스 주식회사
Priority to KR1020180082211A priority Critical patent/KR102503308B1/en
Publication of KR20200008281A publication Critical patent/KR20200008281A/en
Application granted granted Critical
Publication of KR102503308B1 publication Critical patent/KR102503308B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • B64C2201/127
    • B64C2201/14

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention discloses an apparatus for following a road lane of an unmanned air vehicle and a method thereof. The apparatus enabling an unmanned air vehicle for autonomous flight by following a road lane comprises: a photographing unit photographing a road from the bottom of the unmanned air vehicle; a GPS module measuring a flight trajectory and altitude of the unmanned air vehicle; a posture measuring unit measuring a flight posture of the unmanned air vehicle; a control unit extracting a photographed image inputted from the photographing unit, the flight trajectory and altitude of the unmanned air vehicle inputted from the GPS module, and a road lane based on a posture angle inputted from the posture measuring unit, converting the extracted road lane into NED coordinates, and calculating and outputting a speed command to follow a waypoint based on the converted road lane; and a drive unit driving the unmanned air vehicle to follow the road lane according to the speed command of the control unit.

Description

무인항공기의 도로차선 추종장치 및 그 방법{APPARATUS FOR FOLLOWING LANE ON ROAD BY UNMANNED AERIAL VEHICLE AND METHOD THE SAME}Road lane tracking device of unmanned aerial vehicle and its method {APPARATUS FOR FOLLOWING LANE ON ROAD BY UNMANNED AERIAL VEHICLE AND METHOD THE SAME}

본 발명은 무인항공기의 도로차선 추종장치 및 그 방법에 관한 것으로서, 보다 상세하게는 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 한 무인항공기의 도로차선 추종장치 및 그 방법에 관한 것이다. The present invention relates to a road lane tracking device and a method thereof of an unmanned aerial vehicle, and more particularly, to detect a location of a road lane from a photographed image to track a path based on a lane of a road, and to determine a smooth curved path. The present invention relates to a road lane tracking device for an unmanned aerial vehicle and a method thereof.

최근 카메라가 탑재된 드론, 쿼드콥터, 및 헬리캠 등의 무인항공기(UAV; Unmanned aerial vehicle)가 상용화되면서 카메라 촬영 등 다양한 분야에서 활용되고 있다. Recently, unmanned aerial vehicles (UAVs) such as drones, quadcopters, and helicams equipped with cameras have been commercialized, and are being used in various fields such as camera photography.

이러한 무인항공기는 기존에 주로 사용되던 방송 및 군사분야를 넘어 엔터테인먼트용으로서 일반 사용자들이 촬영용 무인항공기를 이용해 카메라 촬영을 목적으로 사용하는 시대로 접어들고 있다. These drones are moving beyond the broadcasting and military fields, which are mainly used in the past, to enter the era of general users using cameras for shooting cameras.

하지만, 종래기술에 따른 무인항공기는 RC(Remote Controller) 및 스마트 사용자 단말기를 통해 무선으로 제어가 가능하기 때문에 반드시 사용자가 있어야 한다는 점에서 비효율적이고, 또한, 무인항공기의 특성상 지상에서 사용자가 수동으로 제어를 할 경우에 사용자 미숙으로 인해 사고가 빈번히 발생하고 있어 이로 인하여 고가의 기기가 파손되거나 안전사고를 유발하는 문제점이 있었다. However, the unmanned aerial vehicle according to the prior art is inefficient in that it must be a user because it can be controlled wirelessly through a remote controller (RC) and a smart user terminal, and also by the user manually controlled from the ground due to the characteristics of the unmanned aerial vehicle In case of accidents, accidents frequently occur due to immaturity of the user, and thus, expensive equipment is damaged or causes safety accidents.

따라서 지상에 있는 사용자의 제어 없이도 무인항공기 자율적으로 카메라 촬영대상을 인식한 다음 자동으로 추적할 수 있게 함으로써 안전사고 및 고가의 무인항공기가 파손되는 것을 방지할 수 있는 현실적이고도 적용이 가능한 무인항공기에 관한 기술이 절실한 실정이다.Therefore, the unmanned aerial vehicle can be detected autonomously and automatically tracked without the user's control on the ground, so that it can be applied to a realistic and applicable unmanned aerial vehicle that can prevent safety accidents and expensive drones from being damaged. Technology is desperately needed.

본 발명의 배경기술은 대한민국 공개특허공보 제2017-0022872호(2017.03.02. 공개, 자동추적 기능을 갖는 무인항공기)에 개시되어 있다. Background art of the present invention is disclosed in Republic of Korea Patent Publication No. 2017-0022872 (published on March 2, 2017, unmanned aerial vehicle having an automatic tracking function).

본 발명은 상기와 같은 필요성에 의해 안출된 것으로, 일 측면에 따른 본 발명의 목적은 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 한 무인항공기의 도로차선 추종장치 및 그 방법을 제공하는 것이다. The present invention has been made in view of the necessity as described above, an object of the present invention according to an aspect is to detect the position of the road lane from the captured image to follow the path based on the lane of the road to determine the position, smooth curve path It is to provide a road lane tracking device and a method of the unmanned aerial vehicle to follow the.

본 발명의 일 측면에 따른 무인항공기의 도로차선 추종장치는, 무인항공기의 하부에서 도로를 촬영하는 촬영부; 무인항공기의 비행궤적 및 고도를 측정하는 GPS 모듈; 무인항공기의 비행자세를 측정하는 자세측정부; 촬영부로부터 입력된 촬영영상과, GPS모듈로부터 입력된 무인항공기의 비행궤적 및 고도와, 자세측정부로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력하는 제어부; 및 제어부의 속도명령에 따라 무인항공기가 도로의 차선을 추종하도록 구동하는 구동부;를 포함하는 것을 특징으로 한다. Road lane tracking device of the unmanned aerial vehicle according to an aspect of the present invention, the shooting unit for photographing the road from the lower portion of the unmanned aerial vehicle; GPS module for measuring the flight trajectory and altitude of the unmanned aerial vehicle; A posture measuring unit measuring a flight attitude of the unmanned aerial vehicle; Based on the captured image input from the photographing unit, the flight trajectory and altitude of the unmanned aerial vehicle input from the GPS module, and the attitude angle input from the attitude measuring unit, the lane of the road is extracted, and the extracted lane is converted into a NED coordinate system. A control unit for calculating and outputting a speed command to follow a path point based on the converted lane; And a driving unit which drives the unmanned aerial vehicle to follow the lane of the road according to the speed command of the controller.

본 발명에서 촬영부는, 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착된 것을 특징으로 한다. In the present invention, the photographing unit is equipped with an ultra wide-angle fisheye lens having a field of view (FOV) of 180 degrees.

본 발명에서 제어부는, 촬영영상으로부터 라인세그먼트를 추출한 후 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 도로의 차선을 추출하는 것을 특징으로 한다. In the present invention, the controller extracts the line segment from the photographed image and then performs curve fitting based on the points of the line segment to extract the lane of the road.

본 발명에서 제어부는 커브 피팅을 수행한 후 설정된 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 것을 특징으로 한다. In the present invention, after performing the curve fitting, the controller extracts the lane by performing the second curve fitting based on the points of the line segment extracted within the set ROI.

본 발명에서 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 한다. Curve fitting in the present invention is characterized by performing based on the RANSAC (RANdom SAmple Consensus) algorithm.

본 발명에서 관심영역은, 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 한다. In the present invention, the ROI is characterized by being set to a different size according to the altitude of the unmanned aerial vehicle in a rectangle including one lane.

본 발명에서 제어부는, 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 무인항공기의 자세각과 GPS모듈로부터 입력된 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 1을 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 한다. In the present invention, the control unit, by applying the scale factor according to the attitude angle of the unmanned aerial vehicle input from the attitude measurement unit and the altitude of the unmanned aerial vehicle input from the GPS module to the selected points in front of the extracted lane based on Equation 1 below And converting the position to a coordinate system position.

[아래식 1][Equation 1]

Figure pat00001
Figure pat00001

여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. scale factor).

본 발명에서 제어부는, 곡선차선인 경우 추종하기 위한 3개의 경로 점과 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 속도명령을 생성하는 것을 특징으로 한다. In the present invention, the controller generates a curved path based on three path points for following the curved lane and an incident angle at which the unmanned aerial vehicle enters the path point, and generates a normal speed command and a tangential speed command based on the curved path. It is characterized by generating a speed command by the sum of.

본 발명에서 입사각은, 제어부가 GPS모듈로부터 입력된 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 한다. In the present invention, the incident angle is characterized in that the control unit calculates from the flight trajectory of the unmanned aerial vehicle input from the GPS module.

본 발명에서 접선방향 속도명령은, 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고, 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 한다. In the present invention, the tangential speed command is represented by the product of the tangential direction vector by the magnitude of the speed that the unmanned aerial vehicle is going to go, and the normal speed command is a projection of the t-axis error between the unmanned aerial vehicle and the path with the normal vector. The error obtained by multiplying Pgain (Kp) is characterized by the above-mentioned.

본 발명의 다른 측면에 따른 무인항공기의 도로차선 추종방법은, 제어부가 도로 위를 비행하는 무인항공기의 하부에 장착된 촬영부로부터 촬영한 촬영영상을 입력받는 단계; 제어부가 촬영영상으로부터 라인세그먼트를 추출하는 단계; 제어부가 추출한 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 차선을 추출하는 단계; 제어부가 추출된 차선을 NED 좌표계로 변환하는 단계; 및 제어부가 NED 좌표계로 변환된 경로 점들을 기반으로 속도명령을 생성하는 단계를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, there is provided a road lane tracking method of an unmanned aerial vehicle, including: receiving, by a controller, a photographed image photographed from a photographing unit mounted on a lower portion of an unmanned aerial vehicle flying on a road; Extracting, by the controller, the line segment from the captured image; Extracting a lane by performing curve fitting based on the points of the line segment extracted by the controller; Converting the extracted lane into an NED coordinate system; And generating, by the controller, the speed command based on the path points converted into the NED coordinate system.

본 발명에서 촬영영상은, 시야각이 180도인 초광각 어안렌즈로 촬영된 영상인 것을 특징으로 한다. In the present invention, the photographed image is an image photographed by an ultra wide-angle fisheye lens having a viewing angle of 180 degrees.

본 발명은 제어부가 커브 피팅을 수행한 후 설정된 관심영역 내에서 라인세그먼트를 추출하는 단계; 및 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 단계를 더 포함하는 것을 특징으로 한다. The present invention includes the steps of extracting a line segment within a region of interest set after the controller performs a curve fitting; And extracting a lane by performing a quadratic curve fitting based on the points of the line segment extracted in the region of interest.

본 발명에서 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 한다. Curve fitting in the present invention is characterized by performing based on the RANSAC (RANdom SAmple Consensus) algorithm.

본 발명에서 관심영역은, 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 한다. In the present invention, the ROI is characterized by being set to a different size according to the altitude of the unmanned aerial vehicle in a rectangle including one lane.

본 발명에서 NED 좌표계로 변환하는 단계는, 제어부가 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 무인항공기의 자세각과 GPS모듈로부터 입력된 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 2를 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 한다. In the present invention, the step of converting to the NED coordinate system, by applying a scale factor according to the attitude angle of the unmanned aerial vehicle input from the attitude measurement unit and the altitude of the unmanned aerial vehicle input from the GPS module with respect to selected points in front of the extracted lane. It is characterized by converting to the position of the NED coordinate system based on Equation 2 below.

[아래식 2][Equation 2]

Figure pat00002
Figure pat00002

여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. scale factor).

본 발명에서 속도명령을 생성하는 단계는, 제어부가 곡선차선인 경우 추종하기 위한 3개의 경로 점과 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 속도명령을 생성하는 것을 특징으로 한다. In the present invention, the step of generating a speed command, when the controller is a curved lane, generates a curved path based on the three path points for tracking and the angle of incidence that the unmanned aerial vehicle enters the path point, and the normal direction based on the curved path The speed command is generated by the sum of the speed command and the tangential speed command.

본 발명에서 입사각은, 제어부가 GPS모듈로부터 입력된 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 한다. In the present invention, the incident angle is characterized in that the control unit calculates from the flight trajectory of the unmanned aerial vehicle input from the GPS module.

본 발명에서 접선방향 속도명령은, 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고, 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 한다. In the present invention, the tangential speed command is represented by the product of the tangential direction vector by the magnitude of the speed that the unmanned aerial vehicle is going to go, and the normal speed command is a projection of the t-axis error between the unmanned aerial vehicle and the path with the normal vector. The error obtained by multiplying Pgain (Kp) is characterized by the above-mentioned.

본 발명의 일 측면에 따른 무인항공기의 도로차선 추종장치 및 그 방법은 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있도록 한다. In accordance with an aspect of the present invention, a road lane tracking device and a method thereof of an unmanned aerial vehicle may detect a location of a road lane from a captured image and follow a smooth curved path in order to follow a path based on a road lane. By doing so, you can follow the lane path and autonomously fly without invading the lane.

도 1은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치를 간략하게 나타낸 블록 구성도이다.
도 2내지 도 5는 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 차선을 추출하는 과정을 나타낸 영상이다.
도 6은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 NED 좌표계의 변환을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 곡선경로의 추종을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법을 설명하기 위한 흐름도이다.
1 is a block diagram schematically illustrating a road lane tracking device of an unmanned aerial vehicle according to an exemplary embodiment of the present invention.
2 to 5 are images illustrating a process of extracting a lane in a road lane following device of an unmanned aerial vehicle according to an embodiment of the present invention.
6 is a view for explaining the conversion of the NED coordinate system in the road lane tracking device of the unmanned aerial vehicle according to an embodiment of the present invention.
7 is a view for explaining the following of the curved path in the road lane tracking device of the unmanned aerial vehicle according to an embodiment of the present invention.
8 is a flowchart illustrating a road lane following method of an unmanned aerial vehicle according to an exemplary embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 무인항공기의 도로차선 추종장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, a road lane tracking device and a method thereof of an unmanned aerial vehicle according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of description. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary depending on the intention or convention of a user or an operator. Therefore, the definitions of these terms should be made based on the contents throughout the specification.

도 1은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치를 간략하게 나타낸 블록 구성도이고, 도 2내지 도 5는 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 차선을 추출하는 과정을 나타낸 영상이며, 도 6은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 NED 좌표계의 변환을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 곡선경로의 추종을 설명하기 위한 도면이다. 1 is a block diagram schematically illustrating a road lane tracking device of an unmanned aerial vehicle according to an embodiment of the present invention, and FIGS. 2 to 5 are lanes of a road lane tracking device of an unmanned aerial vehicle according to an embodiment of the present invention. Figure 6 is an image showing a process of extracting, Figure 6 is a view for explaining the conversion of the NED coordinate system in the road lane tracking device of the unmanned aerial vehicle according to an embodiment of the present invention, Figure 7 according to an embodiment of the present invention A diagram for explaining the following of a curved path in a road lane following device of an unmanned aerial vehicle.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치는 촬영부(10), GPS모듈(40), 제어부(20) 및 구동부(30)를 포함할 수 있다. As shown in FIG. 1, a road lane tracking device of an unmanned aerial vehicle according to an exemplary embodiment of the present invention may include a photographing unit 10, a GPS module 40, a controller 20, and a driver 30.

촬영부(10)는 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착되어 무인항공기가 도로 위를 비행할 때 무인항공기의 하부에서 도로 위를 촬영한 촬영영상을 제어부(20)에 제공한다. The photographing unit 10 is equipped with an ultra-wide angle fisheye lens having a field of view (FOV) of 180 degrees, so that when the unmanned aerial vehicle is flying on the road, the photographing image captured on the road from the lower part of the unmanned aerial vehicle to the controller 20 is used. to provide.

GPS모듈(40)은 무인항공기의 비행궤적과 고도를 측정하여 제어부(20)에 제공한다. The GPS module 40 measures the flight trajectory and the altitude of the unmanned aerial vehicle and provides the same to the controller 20.

여기서, 무인항공기의 비행궤적은, 제어부(20)가 곡선경로를 생성할 때 경계조건으로 3개의 경로 점과 더불어 입사각을 반영하여 3차 다항식의 계수를 산출할 수 있도록 한다. Here, the flight trajectory of the unmanned aerial vehicle allows the control unit 20 to calculate the coefficient of the third order polynomial by reflecting the incident angle along with the three path points as boundary conditions when generating the curved path.

또한, 무인항공기의 고도는, 제어부(20)가 촬영영상으로부터 차선을 추출할 때 관심영역을 설정하기 위해 적용될 수도 있고, 촬영영상에서 추출한 좌표를 NED 좌표계로 변환할 때 적용되는 스케일 팩터(scale factor)를 얻기 위해 이용할 수 있다. In addition, the altitude of the unmanned aerial vehicle may be applied to set a region of interest when the control unit 20 extracts a lane from a captured image, and a scale factor applied when converting coordinates extracted from the captured image into a NED coordinate system. Available to get).

자세측정부(50)는 무인항공기의 비행자세를 측정하여 제어부(20)에 제공한다. The attitude measuring unit 50 measures the flight posture of the unmanned aerial vehicle and provides the same to the controller 20.

여기서, 무인항공기의 비행자세는 제어부(20)가 무인항공기의 비행자세를 기반으로 촬영부(10)의 자세각을 산출하여 촬영영상에서 좌표를 NED 좌표계로 변환할 때 적용할 수 있다. Here, the flight attitude of the unmanned aerial vehicle may be applied when the controller 20 calculates the attitude angle of the photographing unit 10 based on the flight attitude of the unmanned aerial vehicle and converts the coordinates in the captured image into the NED coordinate system.

제어부(20)는 촬영부(10)로부터 입력된 촬영영상과, GPS모듈(40)로부터 입력된 무인항공기의 비행궤적 및 고도와, 자세측정부(50)로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력함으로써 추종할 수 있도록 한다. The control unit 20 is based on the captured image input from the photographing unit 10, the flight trajectory and altitude of the unmanned aerial vehicle input from the GPS module 40, and the attitude angle input from the attitude measuring unit 50 The lanes are extracted, the extracted lanes are converted to the NED coordinate system, and the speed command is calculated and output to follow the path point based on the converted lanes so that they can be followed.

즉, 제어부(20)는 입력된 촬영영상으로부터 차선의 기본적인 특징인 선을 추출하기 위해 도 2에 도시된 바와 같이 라인세그먼트를 추출한 후 추출한 라인세그먼트의 점들을 기반으로 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 커브 피팅(Curve fitting)을 수행하여 차선을 추출할 수 있다. That is, the controller 20 extracts a line segment as shown in FIG. 2 to extract a line, which is a basic feature of the lane, from the input photographed image, and then uses a random SAmple consensus (RANSAC) algorithm based on the extracted points of the line segment. Curve fitting may be performed to extract lanes.

이후 제어부(20)는 추출한 차선으로부터 관심영역을 설정하고, 설정된 관심영역에서 도 4에 도시된 바와 같이 라인세그먼트를 추출할 수 있다. Thereafter, the controller 20 may set an ROI from the extracted lane and extract the line segment from the ROI as shown in FIG. 4.

여기서, 관심영역은 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정될 수 있다. Here, the ROI is a quadrangle including one lane and may be set to different sizes according to the altitude of the unmanned aerial vehicle.

이와 같이 관심영역에서 라인세그먼트를 추출한 후 제어부(20)는 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 도 5와 같이 차선을 추출하고, 추출한 차선을 도 6과 같이 NED 좌표계(절대위치)로 변환할 수 있다. After extracting the line segment in the region of interest as described above, the controller 20 performs a second curve fitting based on the points of the line segment extracted in the region of interest, extracts the lane as shown in FIG. 5, and extracts the extracted lane as shown in FIG. 6. Can be converted to NED coordinate system (absolute position).

예를 들어, 제어부(20)는 NED 좌표계로 변환하기 위해 차선으로부터 전방의 3개의 점을 추출한 후 3개 점의 y축 정보를 이용하여 왼쪽, 오른쪽 3쌍의 이미지 정보를 획득하고, 수학식 1에 대입하여 각 점에 대해 NED 좌표계의 위치를 산출할 수 있다. For example, the controller 20 extracts three points in front of the lane to convert to the NED coordinate system, and then acquires left and right three pairs of image information using the y-axis information of the three points, and Equation 1 We can calculate the position of the NED coordinate system for each point by substituting for.

Figure pat00003
Figure pat00003

여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the pose angle of the imager, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. .

이때 촬영부의 자세각은 자체측정부(50)로부터 입력된 무인항공기의 비행자세를 기반으로 얻을 수 있고, 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터(scale factor)는 GPS모듈(40)로부터 입력된 무인항공기의 고도를 이용해서 얻을 수 있다. At this time, the attitude angle of the photographing unit can be obtained based on the flight attitude of the unmanned aerial vehicle inputted from the self-measuring unit 50, and the scale factor between the image position and the position of the actual NED coordinate system is input from the GPS module 40. Can be obtained by using the altitude of the unmanned aerial vehicle.

이와 같이 도로 위의 차선에 대해 무인항공기가 추종해야 될 경로 점들을 NED 좌표계의 위치로 변환할 수 있다. In this way, the path points to be followed by the unmanned aerial vehicle for the lane on the road may be converted into positions in the NED coordinate system.

이후 제어부(20)는 NED 좌표계의 점들을 기반으로 경로 점들을 추종하기 위한 속도명령을 생성하여 구동부(30)에 출력함으로써 자율비행으로 추종할 수 있도록 한다. Thereafter, the controller 20 generates a speed command for following the path points based on the points of the NED coordinate system and outputs the speed command to the driver 30 to follow the autonomous flight.

이때 직선으로 이루어진 차선에서 만들어진 경로 점을 추종하는 것은 기존의 점 항법 비행으로도 옆 차선을 침범하지 않을 수 있지만, 곡선차선의 경우에는 경로 점간의 거리에 따라서 차선을 침범하는 경우가 발생할 수 있다. At this time, following a path point made in a lane made of a straight line may not invade the side lane even with a conventional point navigation flight, but in a curved lane, a lane may be invaded according to the distance between path points.

따라서 본 실시예에서는 이를 방지하기 위해서 주어진 경로 점들을 이용해서 부드러운 곡선경로를 추종할 수 있도록 곡선경로를 생성하고, 이를 기반으로 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 생성하여 곡선경로를 추종할 수 있도록 한다. Therefore, in this embodiment, in order to prevent this, a curved path is generated to follow a smooth curved path using given path points, and based on this, the normal speed command (Vn, cmd) and the tangential speed command (Vt, cmd) are generated. The speed command (Vcmd) generated by the sum of) can be generated to follow the curve path.

예를 들어, 곡선경로를 생성하기 위해서는 최소한 3개의 경로 점이 필요하므로 도 6에서 변환한 3쌍의 차선 위치를 사용할 수 있다. 오른쪽, 왼쪽 점의 평균을 통해서 도 7에 도시된 바와 같이 경로 점 Pi-1, Pi, Pi+1의 세 점을 얻을 수 있다. For example, since at least three path points are required to generate the curved path, three pairs of lane positions converted in FIG. 6 may be used. As shown in FIG. 7, three points, path points P i-1, P i and P i + 1 , may be obtained through the average of the right and left points.

이와 같이 경로 점 세 점을 연결하는 곡선경로는 3차 다항식 d(s)로 정의할 수 있다. 여기서, 3차 다항식의 계수를 모두 얻기 위해서는 4개의 경계조건이 필요하게 되는데, 본 실시예에서는 3개의 경로 점과 Pi-1 점으로 진입하는 무인항공기의 입사각을 기반으로 수학식 2를 통해 3차 다항식의 계수를 결정할 수 있다. Thus, the curved path connecting the three points of the path can be defined by the third order polynomial d (s). Here, four boundary conditions are required to obtain all the coefficients of the third order polynomial. In the present embodiment, Equation 2 is based on the incidence angle of the unmanned aerial vehicle entering three path points and P i-1 points. The coefficient of the difference polynomial can be determined.

여기서, 무인항공기의 입사각은 GPS모듈(40)로부터 입력된 무인항공기의 비행궤적을 기반으로 산출할 수 있다. Here, the incident angle of the unmanned aerial vehicle may be calculated based on the flight trajectory of the unmanned aerial vehicle input from the GPS module 40.

Figure pat00004
Figure pat00004

한편, 접선방향 속도명령(Vt,cmd)은 수학식 3과 같이 산출하여 생성할 수 있으며, 경로의 접속방향 속도명령(Vt,cmd)은 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타낼 수 있다. On the other hand, the tangential speed command (Vt, cmd) can be calculated and generated as shown in equation (3), the connection direction speed command (Vt, cmd) of the path is a direction vector in the tangential direction to the magnitude of the speed that the unmanned aerial vehicle wants to go It can be expressed as the product of.

Figure pat00005
Figure pat00005

또한, 법선방향 속도명령(Vn,cmd)은 수학식 4와 같이 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타낼 수 있다.In addition, the normal speed command (Vn, cmd) may be represented by multiplying the P gain (Kp) by the error obtained by projecting the t-axis error between the unmanned aerial vehicle and the path with the normal direction vector, as shown in equation (4).

Figure pat00006
Figure pat00006

따라서 제어부(20)는 곡선경로에서 수학식 5와 같이 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 출력하여 옆 차선을 침범하지 않고 곡선경로를 부드럽게 추종할 수 있도록 한다. Therefore, the control unit 20 violates the side lane by outputting the speed command Vcmd generated by the sum of the normal speed command (Vn, cmd) and the tangential speed command (Vt, cmd) as shown in Equation 5 on the curved path. This allows you to follow the curve path smoothly.

Figure pat00007
Figure pat00007

구동부(30)는 제어부(20)에서 출력되는 속도명령에 따라 무인항공기가 도로 위를 비행할 수 있도록 구동한다. The driver 30 drives the unmanned aerial vehicle to fly on the road according to the speed command output from the controller 20.

따라서, 무인항공기의 제어장치는 제어부(20)가 촬영부(10)로부터 입력된 도로 위의 촬영영상으로부터 차선을 추출한 후 NED 좌표계로 변환하여, 변환된 차선을 기반으로 차선에 따른 경로를 자율비행으로 추종할 수 있도록 속도명령을 생성하여 구동부(30)를 구동시킬 뿐만 아니라 곡선차선에서는 곡선경로를 생성하여 접선방향 속도명령과 법선방향 속도명령의 합에 의한 속도명령으로 차선을 침범하지 않고 부드러운 곡선경로를 추종할 수 있도록 한다. Therefore, the control apparatus of the unmanned aerial vehicle extracts the lane from the photographed image on the road input from the photographing unit 10 and converts the lane to the NED coordinate system, and autonomously flies the path along the lane based on the converted lane. Not only does it drive the drive unit 30 by following the speed command so that it can follow, but also creates a curved path in the curved lane so that it does not invade the lane by the speed command by the sum of the tangential speed command and the normal speed command. Make sure you follow the path.

상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 도로차선 추종장치에 따르면, 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있다. As described above, according to the road lane tracking device of the unmanned aerial vehicle according to the embodiment of the present invention, in order to follow the path based on the lane of the road, the lane of the road is detected from the photographed image to determine the position, and the smooth curve path By allowing to follow the lane path can be autonomous flight without invading the lane.

도 8은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법을 설명하기 위한 흐름도이다. 8 is a flowchart illustrating a road lane following method of an unmanned aerial vehicle according to an exemplary embodiment of the present invention.

도 8에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법에서는 먼저, 제어부(20)가 무인항공기의 하부에 장착된 촬영부(10)로부터 도로 위를 시야각 180도의 초광각 어안렌즈를 채용하여 촬영한 촬영영상을 입력받는다(S10). As shown in FIG. 8, in the road lane tracking method of the unmanned aerial vehicle according to the exemplary embodiment of the present invention, first, the control unit 20 has an ultra-wide angle of 180 degrees from the photographing unit 10 mounted to the lower part of the unmanned aerial vehicle. The fisheye lens is adopted to receive the captured image (S10).

S10 단계에서 촬영영상을 입력받은 제어부(20)는, 입력된 촬영영상으로부터 차선의 기본적인 특징인 선을 추출하기 위해 도 2에 도시된 바와 같이 라인세그먼트를 추출한다(S20). The controller 20 receiving the captured image in step S10 extracts a line segment as shown in FIG. 2 to extract a line which is a basic feature of the lane from the input captured image (S20).

S20 단계에서 라인세그먼트를 추출한 후 제어부(20)는, 추출한 라인세그먼트의 점들을 기반으로 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 커브 피팅(Curve fitting)을 수행하여 차선을 추출한다(S30). After extracting the line segment in operation S20, the controller 20 extracts a lane by performing a curve fitting through a random SAmple consensus (RANSAC) algorithm based on the extracted points of the line segment (S30).

여기서 커브 피팅을 RANSAC 알고리즘을 통해 차선의 일부분만을 샘플로 수행하기 때문에 도 3에 도시된 바와 같이 멀리 있는 차선은 피팅 정보가 크게 벗어날 수 있다. Since only a part of the lane is sampled through the curve fitting through the RANSAC algorithm, as shown in FIG. 3, the fitting information may deviate significantly from the far lane.

따라서, S30 단계에서 추출한 차선으로부터 제어부(20)는 관심영역을 설정하고, 설정된 관심영역에서 도 4에 도시된 바와 같이 라인세그먼트를 추출한다(S40). Therefore, the controller 20 sets the region of interest from the lane extracted in step S30 and extracts the line segment from the set region of interest as shown in FIG. 4 (S40).

여기서, 관심영역은 1개 차로가 포함되는 사각형으로 제어부(20)가 GPS모듈(40)로부터 입력된 무인항공기의 고도에 따라 다른 크기로 설정할 수 있다. Here, the ROI may be a rectangle including one lane and may be set to different sizes according to the altitude of the unmanned aerial vehicle input by the controller 20 from the GPS module 40.

S40 단계에서 관심영역에서 라인세그먼트를 추출한 후 제어부(20)는 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 도 5와 같이 차선을 추출한다(S50). After extracting the line segment in the ROI in operation S40, the controller 20 performs a second curve fitting based on points of the line segment extracted in the ROI to extract the lane as illustrated in FIG. 5 (S50).

S50 단계에서 차선을 추출한 후 제어부(20)는 추출한 차선을 도 6과 같이 NED 좌표계(절대위치)로 변환한다(S60). After extracting the lane in step S50, the control unit 20 converts the extracted lane into a NED coordinate system (absolute position) as shown in FIG. 6 (S60).

예를 들어, 제어부(20)는 NED 좌표계로 변환하기 위해 차선으로부터 전방의 3개의 점을 추출한 후 3개 점의 y축 정보를 이용하여 왼쪽, 오른쪽 3쌍의 이미지 정보를 획득하고, 수학식 6에 대입하여 각 점에 대해 NED 좌표계의 위치를 산출할 수 있다. For example, the control unit 20 extracts three points in front of the lane to convert to the NED coordinate system, and then obtains left and right three pairs of image information using the y-axis information of the three points, and Equation 6 We can calculate the position of the NED coordinate system for each point by substituting for.

Figure pat00008
Figure pat00008

여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터이다. Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the pose angle of the imager, and s is the scale factor between the image position of the image and the position of the actual NED coordinate system. .

이때 촬영부(10)의 자세각은 자체측정부(50)로부터 입력된 무인항공기의 비행자세를 기반으로 얻을 수 있고, 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터(scale factor)는 GPS모듈(40)로부터 입력된 무인항공기의 고도를 이용해서 얻을 수 있다. At this time, the attitude angle of the photographing unit 10 can be obtained based on the flight attitude of the unmanned aerial vehicle inputted from the self-measuring unit 50, and the scale factor between the image position and the position of the actual NED coordinate system is determined by the GPS module ( Can be obtained using the altitude of the unmanned aerial vehicle input from 40.

이와 같이 도로 위의 차선에 대해 무인항공기가 추종해야 될 경로 점들을 NED 좌표계의 위치로 변환할 수 있다. In this way, the path points to be followed by the unmanned aerial vehicle for the lane on the road may be converted into positions in the NED coordinate system.

S60 단계에서 차선을 NED 좌표계의 위치로 변환한 후 제어부(20)는 NED 좌표계로 변환된 경로 점들을 기반으로 경로 점들을 추종하기 위한 속도명령을 생성하여 자율비행으로 추종할 수 있도록 한다(S70). After converting the lane to the position of the NED coordinate system in step S60, the control unit 20 generates a speed command for following the path points based on the path points converted into the NED coordinate system to follow the autonomous flight (S70). .

직선으로 이루어진 차선에서 만들어진 경로 점을 추종하는 것은 기존의 점 항법 비행으로도 옆 차선을 침범하지 않을 수 있지만, 곡선 차선의 경우에는 경로 점간의 거리에 따라서 차선을 침범하는 경우가 발생할 수 있다. Following a path point made from a straight lane may not invade the next lane even with a conventional point navigation flight. However, in the case of a curved lane, a lane may be involved depending on the distance between the path points.

따라서 본 실시예에서는 이를 방지하기 위해서 주어진 경로 점들을 이용해서 부드러운 곡선경로를 추종할 수 있도록 곡선경로를 기반으로 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 생성하여 곡선경로를 추종할 수 있도록 한다. Therefore, in this embodiment, in order to prevent this, the sum of the normal speed command (Vn, cmd) and the tangential speed command (Vt, cmd) based on the curve path can be used to follow the smooth curve path using the given path points. Create a speed command (Vcmd) to be created to follow the curve path.

예를 들어, 곡선경로를 얻기 위해서는 최소한 3개의 경로 점이 필요하므로 도 6에서 변환한 3쌍의 차선 위치를 사용할 수 있다. 오른쪽, 왼쪽 점의 평균을 통해서 도 7에 도시된 바와 같이 경로 점 Pi-1, Pi, Pi+1의 세 점을 얻을 수 있다. For example, since at least three path points are required to obtain a curved path, three pairs of lane positions converted in FIG. 6 may be used. As shown in FIG. 7, three points, path points P i-1, P i and P i + 1 , may be obtained through the average of the right and left points.

이와 같이 경로 점 세 점을 연결하는 곡선경로는 3차 다항식 d(s)로 정의할 수 있다. 여기서, 3차 다항식의 계수를 모두 얻기 위해서는 4개의 경계조건이 필요하게 되는데, 본 실시예에서는 3개의 경로 점과 Pi-1 점으로 진입하는 무인항공기의 입사각을 기반으로 수학식 7을 통해 3차 다항식의 계수를 결정할 수 있다. Thus, the curved path connecting the three points of the path can be defined by the third order polynomial d (s). Here, four boundary conditions are required to obtain all the coefficients of the third order polynomial. In this embodiment, three equations are obtained based on the incidence angle of the unmanned aerial vehicle entering three path points and P i-1 points. The coefficient of the difference polynomial can be determined.

Figure pat00009
Figure pat00009

여기서, 무인항공기의 입사각은 GPS모듈(40)로부터 입력된 무인항공기의 비행궤적을 기반으로 산출할 수 있다. Here, the incident angle of the unmanned aerial vehicle may be calculated based on the flight trajectory of the unmanned aerial vehicle input from the GPS module 40.

한편, 접선방향 속도명령(Vt,cmd)은 수학식 8과 같이 산출하여 생성할 수 있으며, 경로의 접속방향 속도명령(Vt,cmd)은 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타낼 수 있다. On the other hand, the tangential speed command (Vt, cmd) can be calculated and generated as shown in Equation 8, the connection direction speed command (Vt, cmd) of the path is a direction vector in the tangential direction to the magnitude of the speed that the unmanned aerial vehicle is going to go It can be expressed as the product of.

Figure pat00010
Figure pat00010

또한, 법선방향 속도명령(Vn,cmd)은 수학식 9와 같이 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타낼 수 있다.In addition, the normal speed command (Vn, cmd) can be represented by multiplying the P gain (Kp) by the error obtained by projecting the t-axis error between the unmanned aerial vehicle and the path with the normal direction vector, as shown in equation (9).

Figure pat00011
Figure pat00011

따라서 제어부(20)는 곡선경로에서 수학식 10과 같이 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 출력하여 옆 차선을 침범하지 않고 곡선경로를 부드럽게 추종할 수 있도록 한다. Therefore, the control unit 20 violates the side lane by outputting the speed command Vcmd generated by the sum of the normal speed command Vn and cmd and the tangential speed command Vt and cmd on the curved path. This allows you to follow the curve path smoothly.

Figure pat00012
Figure pat00012

상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 도로차선 추종방법에 따르면, 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있다. As described above, according to the road lane tracking method of the unmanned aerial vehicle according to the embodiment of the present invention, in order to follow the path based on the lane of the road, the lane of the road is detected from the photographed image to determine the position, and the smooth curve path By allowing to follow the lane path can be autonomous flight without invading the lane.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and those skilled in the art to which the art belongs can make various modifications and other equivalent embodiments therefrom. I will understand.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention will be defined by the claims below.

10 : 촬영부 20 : 제어부
30 : 구동부 40 : GPS모듈
50 : 자세측정부
10: recording unit 20: control unit
30: drive unit 40: GPS module
50: posture measuring unit

Claims (19)

무인항공기의 하부에서 도로를 촬영하는 촬영부;
상기 무인항공기의 비행궤적 및 고도를 측정하는 GPS 모듈;
상기 무인항공기의 비행자세를 측정하는 자세측정부;
상기 촬영부로부터 입력된 촬영영상과, 상기 GPS모듈로부터 입력된 상기 무인항공기의 상기 비행궤적 및 상기 고도와, 상기 자세측정부로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력하는 제어부; 및
상기 제어부의 상기 속도명령에 따라 상기 무인항공기가 도로의 차선을 추종하도록 구동하는 구동부;를 포함하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
Shooting unit for photographing the road from the bottom of the unmanned aerial vehicle;
A GPS module for measuring a flight trajectory and an altitude of the unmanned aerial vehicle;
A posture measuring unit measuring a flight attitude of the unmanned aerial vehicle;
A lane of a road is extracted based on a captured image input from the photographing unit, the flight trajectory and altitude of the unmanned aerial vehicle input from the GPS module, and an attitude angle input from the attitude measuring unit. A control unit for converting to a NED coordinate system and calculating and outputting a speed command to follow a path point based on the converted lane; And
And a driving unit for driving the unmanned aerial vehicle to follow a lane of a road according to the speed command of the control unit.
제 1항에 있어서, 상기 촬영부는, 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착된 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
The apparatus of claim 1, wherein the photographing unit is equipped with an ultra wide angle fisheye lens having a field of view (FOV) of 180 degrees.
제 1항에 있어서, 상기 제어부는, 상기 촬영영상으로부터 라인세그먼트를 추출한 후 상기 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 도로의 차선을 추출하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
The apparatus of claim 1, wherein the controller extracts a line segment from the photographed image and extracts a lane of a road by performing curve fitting based on points of the line segment.
제 3항에 있어서, 상기 제어부는, 상기 커브 피팅을 수행한 후 설정된 관심영역 내에서 추출한 상기 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
The road of claim 3, wherein the controller extracts a lane by performing a second curve fitting based on points of the line segment extracted within a region of interest set after performing the curve fitting. Lane following device.
제 4항에 있어서, 상기 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
5. The apparatus of claim 4, wherein the curve fitting is performed based on a random SAmple consensus (RANSAC) algorithm.
제 4항에 있어서, 상기 관심영역은, 1개 차로가 포함되는 사각형으로 상기 무인항공기의 상기 고도에 따라 다른 크기로 설정되는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
5. The apparatus of claim 4, wherein the ROI is a quadrangle including one lane and is set to a different size according to the altitude of the unmanned aerial vehicle. 6.
제 1항에 있어서, 상기 제어부는, 추출된 차선으로부터 전방의 선택된 점들에 대해 상기 자세측정부로부터 입력된 상기 무인항공기의 상기 자세각과 상기 GPS모듈로부터 입력된 상기 무인항공기의 상기 고도에 따른 스케일 팩터를 적용하여 아래식 1을 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
[아래식 1]
Figure pat00013

여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
The scale factor of claim 1, wherein the controller is further configured to determine a scale factor according to the attitude angle of the unmanned aerial vehicle input from the attitude measuring unit and the altitude of the unmanned aerial vehicle input from the GPS module with respect to selected points forward from the extracted lane. The road lane following device of the unmanned aerial vehicle, characterized in that for converting to the position of the NED coordinate system based on Equation 1 below.
[Equation 1]
Figure pat00013

Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the captured image and the actual NED coordinate system position. scale factor).
제 1항에 있어서, 상기 제어부는, 곡선차선인 경우 추종하기 위한 3개의 경로 점과 상기 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 상기 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 상기 속도명령을 생성하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
The method of claim 1, wherein the controller generates a curved path based on three path points for following a curved lane and an incident angle at which the unmanned aerial vehicle enters the path point, and generates a normal speed based on the curved path. And a speed command is generated by the sum of the command and the tangential speed command.
제 8항에 있어서, 상기 입사각은, 상기 제어부가 상기 GPS모듈로부터 입력된 상기 무인항공기의 상기 비행궤적으로부터 산출하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
The apparatus of claim 8, wherein the incidence angle is calculated by the controller from the flight trajectory of the unmanned aerial vehicle input by the GPS module.
제 8항에 있어서, 상기 접선방향 속도명령은, 상기 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고,
상기 법선방향 속도명령은, 상기 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
The method of claim 8, wherein the tangential speed command is expressed as a product of a tangential direction vector multiplied by a magnitude of a speed to which the unmanned aerial vehicle wants to go,
And wherein the normal speed command indicates a t-axis error between the unmanned aerial vehicle and a path by multiplying Pgain (Kp) by an error obtained by projecting a normal vector with a normal direction vector.
제어부가 도로 위를 비행하는 무인항공기의 하부에 장착된 촬영부로부터 촬영한 촬영영상을 입력받는 단계;
상기 제어부가 상기 촬영영상으로부터 라인세그먼트를 추출하는 단계;
상기 제어부가 추출한 상기 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 차선을 추출하는 단계;
상기 제어부가 추출된 차선을 NED 좌표계로 변환하는 단계; 및
상기 제어부가 상기 NED 좌표계로 변환된 경로 점들을 기반으로 속도명령을 생성하는 단계를 포함하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
Receiving, by the control unit, a photographed image photographed from a photographing unit mounted on a lower portion of an unmanned aerial vehicle flying on a road;
Extracting, by the controller, a line segment from the captured image;
Extracting a lane by performing curve fitting based on the points of the line segment extracted by the controller;
Converting, by the controller, the extracted lane into a NED coordinate system; And
And generating, by the control unit, a speed command based on the path points converted into the NED coordinate system.
제 11항에 있어서, 상기 촬영영상은, 시야각이 180도인 초광각 어안렌즈로 촬영된 영상인 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
The method of claim 11, wherein the photographed image is an image photographed by an ultra wide-angle fisheye lens having a viewing angle of 180 degrees.
제 11항에 있어서, 상기 제어부가 상기 커브 피팅을 수행한 후 설정된 관심영역 내에서 상기 라인세그먼트를 추출하는 단계; 및
상기 관심영역 내에서 추출한 상기 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 단계를 더 포함하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
The method of claim 11, further comprising: extracting, by the controller, the line segment within a region of interest set after performing the curve fitting; And
And extracting a lane by performing a second curve fitting on the basis of the points of the line segment extracted in the region of interest.
제 13항에 있어서, 상기 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
15. The method of claim 13, wherein the curve fitting is performed based on a random SAmple consensus (RANSAC) algorithm.
제 13항에 있어서, 상기 관심영역은, 1개 차로가 포함되는 사각형으로 상기 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
The method of claim 13, wherein the ROI is a quadrangle including one lane and is set to a different size according to the altitude of the unmanned aerial vehicle.
제 11항에 있어서, 상기 NED 좌표계로 변환하는 단계는, 상기 제어부가 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 상기 무인항공기의 자세각과 GPS모듈로부터 입력된 상기 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 2를 기반으로 상기 NED 좌표계의 위치로 변환하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
[아래식 2]
Figure pat00014

여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
The method of claim 11, wherein the converting into the NED coordinate system comprises: the attitude angle of the unmanned aerial vehicle input from the attitude measuring unit with respect to the selected points forward from the extracted lane, and the altitude of the unmanned aerial vehicle input from the GPS module. A road lane tracking method of an unmanned aerial vehicle, characterized by converting to a position of the NED coordinate system based on Equation 2 by applying a scale factor according to Equation 2 below.
[Equation 2]
Figure pat00014

Where u and v are distances from the center of the image, f (u, v) is the fisheye lens model function, R is the attitude angle of the image pickup unit, and s is the scale factor between the image position of the captured image and the actual NED coordinate system position. scale factor).
제 11항에 있어서, 상기 속도명령을 생성하는 단계는, 상기 제어부가 곡선차선인 경우 추종하기 위한 3개의 경로 점과 상기 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 상기 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 상기 속도명령을 생성하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
The method of claim 11, wherein the generating of the speed command comprises: generating a curved path based on three path points for following when the controller is a curved lane and an incident angle at which the unmanned aerial vehicle enters the path point; And generating the speed command based on the sum of the normal speed command and the tangential speed command based on a curved path.
제 17항에 있어서, 상기 입사각은, 상기 제어부가 GPS모듈로부터 입력된 상기 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
18. The method of claim 17, wherein the incidence angle is calculated by the controller from a flight trajectory of the unmanned aerial vehicle input from a GPS module.
제 17항에 있어서, 상기 접선방향 속도명령은, 상기 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고,
상기 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
18. The method of claim 17, wherein the tangential speed command is expressed as a product of a tangential direction vector multiplied by a magnitude of a speed to which the unmanned aerial vehicle wants to go,
And said normal speed command indicates a t-axis error between the unmanned aerial vehicle and the path by multiplying Pgain (Kp) by an error obtained by projecting the normal vector with the normal direction vector.
KR1020180082211A 2018-07-16 2018-07-16 Apparatus for following lane on road by unmanned aerial vehicle and method the same KR102503308B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180082211A KR102503308B1 (en) 2018-07-16 2018-07-16 Apparatus for following lane on road by unmanned aerial vehicle and method the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180082211A KR102503308B1 (en) 2018-07-16 2018-07-16 Apparatus for following lane on road by unmanned aerial vehicle and method the same

Publications (2)

Publication Number Publication Date
KR20200008281A true KR20200008281A (en) 2020-01-28
KR102503308B1 KR102503308B1 (en) 2023-02-24

Family

ID=69370570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180082211A KR102503308B1 (en) 2018-07-16 2018-07-16 Apparatus for following lane on road by unmanned aerial vehicle and method the same

Country Status (1)

Country Link
KR (1) KR102503308B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721606A (en) * 2021-08-16 2021-11-30 清华大学 Guiding type automatic driving logistics vehicle control system and method
KR102349818B1 (en) * 2020-08-21 2022-01-10 금오공과대학교 산학협력단 Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction
KR20170110800A (en) * 2016-03-24 2017-10-12 엘지전자 주식회사 Navigation Apparutaus and Driver Assistance Apparatus Having The Same
JP2018013949A (en) * 2016-07-21 2018-01-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Mobile body, method for detecting obstacle of mobile body, and program for detecting obstacle of mobile body

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction
KR20170110800A (en) * 2016-03-24 2017-10-12 엘지전자 주식회사 Navigation Apparutaus and Driver Assistance Apparatus Having The Same
JP2018013949A (en) * 2016-07-21 2018-01-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Mobile body, method for detecting obstacle of mobile body, and program for detecting obstacle of mobile body

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349818B1 (en) * 2020-08-21 2022-01-10 금오공과대학교 산학협력단 Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes
CN113721606A (en) * 2021-08-16 2021-11-30 清华大学 Guiding type automatic driving logistics vehicle control system and method

Also Published As

Publication number Publication date
KR102503308B1 (en) 2023-02-24

Similar Documents

Publication Publication Date Title
US20210065400A1 (en) Selective processing of sensor data
KR102319191B1 (en) Determination of yaw error from map data, lasers and cameras
CN109238240B (en) Unmanned aerial vehicle oblique photography method considering terrain and photography system thereof
CN109470158B (en) Image processing device and distance measuring device
US11094208B2 (en) Stereo camera system for collision avoidance during aircraft surface operations
US8213706B2 (en) Method and system for real-time visual odometry
CN106873619B (en) Processing method of flight path of unmanned aerial vehicle
JP5775632B2 (en) Aircraft flight control system
Shim et al. An autonomous driving system for unknown environments using a unified map
KR20180050823A (en) Generating method and apparatus of 3d lane model
KR101672732B1 (en) Apparatus and method for tracking object
Anitha et al. Vision based autonomous landing of an unmanned aerial vehicle
WO2019208101A1 (en) Position estimating device
Natraj et al. Omnidirectional vision for UAV: Applications to attitude, motion and altitude estimation for day and night conditions
WO2019238044A1 (en) Determination device, mobile object, determination method and program
CN112232275A (en) Obstacle detection method, system, equipment and storage medium based on binocular recognition
Moore et al. UAV altitude and attitude stabilisation using a coaxial stereo vision system
Bazin et al. UAV attitude estimation by vanishing points in catadioptric images
JP6821220B2 (en) Unmanned aerial vehicles, unmanned aerial vehicle flight control devices, unmanned aerial vehicle flight control methods, and programs
KR102503308B1 (en) Apparatus for following lane on road by unmanned aerial vehicle and method the same
Kakillioglu et al. 3D sensor-based UAV localization for bridge inspection
Miller et al. UAV navigation based on videosequences captured by the onboard video camera
JP6515423B2 (en) CONTROL DEVICE, MOBILE OBJECT, CONTROL METHOD, AND PROGRAM
JP2019219874A (en) Autonomous moving and imaging control system and autonomous moving body
KR20220068606A (en) Automatic landing algorithm of drone considering partial images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant