KR102503308B1 - 무인항공기의 도로차선 추종장치 및 그 방법 - Google Patents

무인항공기의 도로차선 추종장치 및 그 방법 Download PDF

Info

Publication number
KR102503308B1
KR102503308B1 KR1020180082211A KR20180082211A KR102503308B1 KR 102503308 B1 KR102503308 B1 KR 102503308B1 KR 1020180082211 A KR1020180082211 A KR 1020180082211A KR 20180082211 A KR20180082211 A KR 20180082211A KR 102503308 B1 KR102503308 B1 KR 102503308B1
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
lane
road
speed command
Prior art date
Application number
KR1020180082211A
Other languages
English (en)
Other versions
KR20200008281A (ko
Inventor
민경원
임선빈
김선엽
이한섭
오현찬
심현철
Original Assignee
현대모비스 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사, 한국과학기술원 filed Critical 현대모비스 주식회사
Priority to KR1020180082211A priority Critical patent/KR102503308B1/ko
Publication of KR20200008281A publication Critical patent/KR20200008281A/ko
Application granted granted Critical
Publication of KR102503308B1 publication Critical patent/KR102503308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 무인항공기의 도로차선 추종장치 및 그 방법이 개시된다. 본 발명의 무인항공기의 도로차선 추종장치는, 무인항공기의 하부에서 도로를 촬영하는 촬영부; 무인항공기의 비행궤적 및 고도를 측정하는 GPS 모듈; 무인항공기의 비행자세를 측정하는 자세측정부; 촬영부로부터 입력된 촬영영상과, GPS모듈로부터 입력된 무인항공기의 비행궤적 및 고도와, 자세측정부로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력하는 제어부; 및 제어부의 속도명령에 따라 무인항공기가 도로의 차선을 추종하도록 구동하는 구동부;를 포함하는 것을 특징으로 한다.

Description

무인항공기의 도로차선 추종장치 및 그 방법{APPARATUS FOR FOLLOWING LANE ON ROAD BY UNMANNED AERIAL VEHICLE AND METHOD THE SAME}
본 발명은 무인항공기의 도로차선 추종장치 및 그 방법에 관한 것으로서, 보다 상세하게는 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 한 무인항공기의 도로차선 추종장치 및 그 방법에 관한 것이다.
최근 카메라가 탑재된 드론, 쿼드콥터, 및 헬리캠 등의 무인항공기(UAV; Unmanned aerial vehicle)가 상용화되면서 카메라 촬영 등 다양한 분야에서 활용되고 있다.
이러한 무인항공기는 기존에 주로 사용되던 방송 및 군사분야를 넘어 엔터테인먼트용으로서 일반 사용자들이 촬영용 무인항공기를 이용해 카메라 촬영을 목적으로 사용하는 시대로 접어들고 있다.
하지만, 종래기술에 따른 무인항공기는 RC(Remote Controller) 및 스마트 사용자 단말기를 통해 무선으로 제어가 가능하기 때문에 반드시 사용자가 있어야 한다는 점에서 비효율적이고, 또한, 무인항공기의 특성상 지상에서 사용자가 수동으로 제어를 할 경우에 사용자 미숙으로 인해 사고가 빈번히 발생하고 있어 이로 인하여 고가의 기기가 파손되거나 안전사고를 유발하는 문제점이 있었다.
따라서 지상에 있는 사용자의 제어 없이도 무인항공기 자율적으로 카메라 촬영대상을 인식한 다음 자동으로 추적할 수 있게 함으로써 안전사고 및 고가의 무인항공기가 파손되는 것을 방지할 수 있는 현실적이고도 적용이 가능한 무인항공기에 관한 기술이 절실한 실정이다.
본 발명의 배경기술은 대한민국 공개특허공보 제2017-0022872호(2017.03.02. 공개, 자동추적 기능을 갖는 무인항공기)에 개시되어 있다.
본 발명은 상기와 같은 필요성에 의해 안출된 것으로, 일 측면에 따른 본 발명의 목적은 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 한 무인항공기의 도로차선 추종장치 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 무인항공기의 도로차선 추종장치는, 무인항공기의 하부에서 도로를 촬영하는 촬영부; 무인항공기의 비행궤적 및 고도를 측정하는 GPS 모듈; 무인항공기의 비행자세를 측정하는 자세측정부; 촬영부로부터 입력된 촬영영상과, GPS모듈로부터 입력된 무인항공기의 비행궤적 및 고도와, 자세측정부로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력하는 제어부; 및 제어부의 속도명령에 따라 무인항공기가 도로의 차선을 추종하도록 구동하는 구동부;를 포함하는 것을 특징으로 한다.
본 발명에서 촬영부는, 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착된 것을 특징으로 한다.
본 발명에서 제어부는, 촬영영상으로부터 라인세그먼트를 추출한 후 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 도로의 차선을 추출하는 것을 특징으로 한다.
본 발명에서 제어부는 커브 피팅을 수행한 후 설정된 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 것을 특징으로 한다.
본 발명에서 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 한다.
본 발명에서 관심영역은, 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 한다.
본 발명에서 제어부는, 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 무인항공기의 자세각과 GPS모듈로부터 입력된 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 1을 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 한다.
[아래식 1]
Figure 112018069729332-pat00001
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
본 발명에서 제어부는, 곡선차선인 경우 추종하기 위한 3개의 경로 점과 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 속도명령을 생성하는 것을 특징으로 한다.
본 발명에서 입사각은, 제어부가 GPS모듈로부터 입력된 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 한다.
본 발명에서 접선방향 속도명령은, 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고, 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 무인항공기의 도로차선 추종방법은, 제어부가 도로 위를 비행하는 무인항공기의 하부에 장착된 촬영부로부터 촬영한 촬영영상을 입력받는 단계; 제어부가 촬영영상으로부터 라인세그먼트를 추출하는 단계; 제어부가 추출한 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 차선을 추출하는 단계; 제어부가 추출된 차선을 NED 좌표계로 변환하는 단계; 및 제어부가 NED 좌표계로 변환된 경로 점들을 기반으로 속도명령을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 촬영영상은, 시야각이 180도인 초광각 어안렌즈로 촬영된 영상인 것을 특징으로 한다.
본 발명은 제어부가 커브 피팅을 수행한 후 설정된 관심영역 내에서 라인세그먼트를 추출하는 단계; 및 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 한다.
본 발명에서 관심영역은, 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 한다.
본 발명에서 NED 좌표계로 변환하는 단계는, 제어부가 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 무인항공기의 자세각과 GPS모듈로부터 입력된 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 2를 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 한다.
[아래식 2]
Figure 112018069729332-pat00002
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
본 발명에서 속도명령을 생성하는 단계는, 제어부가 곡선차선인 경우 추종하기 위한 3개의 경로 점과 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 속도명령을 생성하는 것을 특징으로 한다.
본 발명에서 입사각은, 제어부가 GPS모듈로부터 입력된 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 한다.
본 발명에서 접선방향 속도명령은, 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고, 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 한다.
본 발명의 일 측면에 따른 무인항공기의 도로차선 추종장치 및 그 방법은 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치를 간략하게 나타낸 블록 구성도이다.
도 2내지 도 5는 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 차선을 추출하는 과정을 나타낸 영상이다.
도 6은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 NED 좌표계의 변환을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 곡선경로의 추종을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 무인항공기의 도로차선 추종장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치를 간략하게 나타낸 블록 구성도이고, 도 2내지 도 5는 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 차선을 추출하는 과정을 나타낸 영상이며, 도 6은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 NED 좌표계의 변환을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치에서 곡선경로의 추종을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종장치는 촬영부(10), GPS모듈(40), 제어부(20) 및 구동부(30)를 포함할 수 있다.
촬영부(10)는 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착되어 무인항공기가 도로 위를 비행할 때 무인항공기의 하부에서 도로 위를 촬영한 촬영영상을 제어부(20)에 제공한다.
GPS모듈(40)은 무인항공기의 비행궤적과 고도를 측정하여 제어부(20)에 제공한다.
여기서, 무인항공기의 비행궤적은, 제어부(20)가 곡선경로를 생성할 때 경계조건으로 3개의 경로 점과 더불어 입사각을 반영하여 3차 다항식의 계수를 산출할 수 있도록 한다.
또한, 무인항공기의 고도는, 제어부(20)가 촬영영상으로부터 차선을 추출할 때 관심영역을 설정하기 위해 적용될 수도 있고, 촬영영상에서 추출한 좌표를 NED 좌표계로 변환할 때 적용되는 스케일 팩터(scale factor)를 얻기 위해 이용할 수 있다.
자세측정부(50)는 무인항공기의 비행자세를 측정하여 제어부(20)에 제공한다.
여기서, 무인항공기의 비행자세는 제어부(20)가 무인항공기의 비행자세를 기반으로 촬영부(10)의 자세각을 산출하여 촬영영상에서 좌표를 NED 좌표계로 변환할 때 적용할 수 있다.
제어부(20)는 촬영부(10)로부터 입력된 촬영영상과, GPS모듈(40)로부터 입력된 무인항공기의 비행궤적 및 고도와, 자세측정부(50)로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력함으로써 추종할 수 있도록 한다.
즉, 제어부(20)는 입력된 촬영영상으로부터 차선의 기본적인 특징인 선을 추출하기 위해 도 2에 도시된 바와 같이 라인세그먼트를 추출한 후 추출한 라인세그먼트의 점들을 기반으로 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 커브 피팅(Curve fitting)을 수행하여 차선을 추출할 수 있다.
이후 제어부(20)는 추출한 차선으로부터 관심영역을 설정하고, 설정된 관심영역에서 도 4에 도시된 바와 같이 라인세그먼트를 추출할 수 있다.
여기서, 관심영역은 1개 차로가 포함되는 사각형으로 무인항공기의 고도에 따라 다른 크기로 설정될 수 있다.
이와 같이 관심영역에서 라인세그먼트를 추출한 후 제어부(20)는 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 도 5와 같이 차선을 추출하고, 추출한 차선을 도 6과 같이 NED 좌표계(절대위치)로 변환할 수 있다.
예를 들어, 제어부(20)는 NED 좌표계로 변환하기 위해 차선으로부터 전방의 3개의 점을 추출한 후 3개 점의 y축 정보를 이용하여 왼쪽, 오른쪽 3쌍의 이미지 정보를 획득하고, 수학식 1에 대입하여 각 점에 대해 NED 좌표계의 위치를 산출할 수 있다.
Figure 112018069729332-pat00003
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터이다.
이때 촬영부의 자세각은 자체측정부(50)로부터 입력된 무인항공기의 비행자세를 기반으로 얻을 수 있고, 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터(scale factor)는 GPS모듈(40)로부터 입력된 무인항공기의 고도를 이용해서 얻을 수 있다.
이와 같이 도로 위의 차선에 대해 무인항공기가 추종해야 될 경로 점들을 NED 좌표계의 위치로 변환할 수 있다.
이후 제어부(20)는 NED 좌표계의 점들을 기반으로 경로 점들을 추종하기 위한 속도명령을 생성하여 구동부(30)에 출력함으로써 자율비행으로 추종할 수 있도록 한다.
이때 직선으로 이루어진 차선에서 만들어진 경로 점을 추종하는 것은 기존의 점 항법 비행으로도 옆 차선을 침범하지 않을 수 있지만, 곡선차선의 경우에는 경로 점간의 거리에 따라서 차선을 침범하는 경우가 발생할 수 있다.
따라서 본 실시예에서는 이를 방지하기 위해서 주어진 경로 점들을 이용해서 부드러운 곡선경로를 추종할 수 있도록 곡선경로를 생성하고, 이를 기반으로 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 생성하여 곡선경로를 추종할 수 있도록 한다.
예를 들어, 곡선경로를 생성하기 위해서는 최소한 3개의 경로 점이 필요하므로 도 6에서 변환한 3쌍의 차선 위치를 사용할 수 있다. 오른쪽, 왼쪽 점의 평균을 통해서 도 7에 도시된 바와 같이 경로 점 Pi-1, Pi, Pi+1의 세 점을 얻을 수 있다.
이와 같이 경로 점 세 점을 연결하는 곡선경로는 3차 다항식 d(s)로 정의할 수 있다. 여기서, 3차 다항식의 계수를 모두 얻기 위해서는 4개의 경계조건이 필요하게 되는데, 본 실시예에서는 3개의 경로 점과 Pi-1 점으로 진입하는 무인항공기의 입사각을 기반으로 수학식 2를 통해 3차 다항식의 계수를 결정할 수 있다.
여기서, 무인항공기의 입사각은 GPS모듈(40)로부터 입력된 무인항공기의 비행궤적을 기반으로 산출할 수 있다.
Figure 112018069729332-pat00004
한편, 접선방향 속도명령(Vt,cmd)은 수학식 3과 같이 산출하여 생성할 수 있으며, 경로의 접속방향 속도명령(Vt,cmd)은 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타낼 수 있다.
Figure 112018069729332-pat00005
또한, 법선방향 속도명령(Vn,cmd)은 수학식 4와 같이 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타낼 수 있다.
Figure 112018069729332-pat00006
따라서 제어부(20)는 곡선경로에서 수학식 5와 같이 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 출력하여 옆 차선을 침범하지 않고 곡선경로를 부드럽게 추종할 수 있도록 한다.
Figure 112018069729332-pat00007
구동부(30)는 제어부(20)에서 출력되는 속도명령에 따라 무인항공기가 도로 위를 비행할 수 있도록 구동한다.
따라서, 무인항공기의 제어장치는 제어부(20)가 촬영부(10)로부터 입력된 도로 위의 촬영영상으로부터 차선을 추출한 후 NED 좌표계로 변환하여, 변환된 차선을 기반으로 차선에 따른 경로를 자율비행으로 추종할 수 있도록 속도명령을 생성하여 구동부(30)를 구동시킬 뿐만 아니라 곡선차선에서는 곡선경로를 생성하여 접선방향 속도명령과 법선방향 속도명령의 합에 의한 속도명령으로 차선을 침범하지 않고 부드러운 곡선경로를 추종할 수 있도록 한다.
상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 도로차선 추종장치에 따르면, 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법을 설명하기 위한 흐름도이다.
도 8에 도시된 바와 같이 본 발명의 일 실시예에 따른 무인항공기의 도로차선 추종방법에서는 먼저, 제어부(20)가 무인항공기의 하부에 장착된 촬영부(10)로부터 도로 위를 시야각 180도의 초광각 어안렌즈를 채용하여 촬영한 촬영영상을 입력받는다(S10).
S10 단계에서 촬영영상을 입력받은 제어부(20)는, 입력된 촬영영상으로부터 차선의 기본적인 특징인 선을 추출하기 위해 도 2에 도시된 바와 같이 라인세그먼트를 추출한다(S20).
S20 단계에서 라인세그먼트를 추출한 후 제어부(20)는, 추출한 라인세그먼트의 점들을 기반으로 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 커브 피팅(Curve fitting)을 수행하여 차선을 추출한다(S30).
여기서 커브 피팅을 RANSAC 알고리즘을 통해 차선의 일부분만을 샘플로 수행하기 때문에 도 3에 도시된 바와 같이 멀리 있는 차선은 피팅 정보가 크게 벗어날 수 있다.
따라서, S30 단계에서 추출한 차선으로부터 제어부(20)는 관심영역을 설정하고, 설정된 관심영역에서 도 4에 도시된 바와 같이 라인세그먼트를 추출한다(S40).
여기서, 관심영역은 1개 차로가 포함되는 사각형으로 제어부(20)가 GPS모듈(40)로부터 입력된 무인항공기의 고도에 따라 다른 크기로 설정할 수 있다.
S40 단계에서 관심영역에서 라인세그먼트를 추출한 후 제어부(20)는 관심영역 내에서 추출한 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 도 5와 같이 차선을 추출한다(S50).
S50 단계에서 차선을 추출한 후 제어부(20)는 추출한 차선을 도 6과 같이 NED 좌표계(절대위치)로 변환한다(S60).
예를 들어, 제어부(20)는 NED 좌표계로 변환하기 위해 차선으로부터 전방의 3개의 점을 추출한 후 3개 점의 y축 정보를 이용하여 왼쪽, 오른쪽 3쌍의 이미지 정보를 획득하고, 수학식 6에 대입하여 각 점에 대해 NED 좌표계의 위치를 산출할 수 있다.
Figure 112018069729332-pat00008
여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, R은 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터이다.
이때 촬영부(10)의 자세각은 자체측정부(50)로부터 입력된 무인항공기의 비행자세를 기반으로 얻을 수 있고, 이미지 위치와 실제 NED 좌표계의 위치 간 스케일 팩터(scale factor)는 GPS모듈(40)로부터 입력된 무인항공기의 고도를 이용해서 얻을 수 있다.
이와 같이 도로 위의 차선에 대해 무인항공기가 추종해야 될 경로 점들을 NED 좌표계의 위치로 변환할 수 있다.
S60 단계에서 차선을 NED 좌표계의 위치로 변환한 후 제어부(20)는 NED 좌표계로 변환된 경로 점들을 기반으로 경로 점들을 추종하기 위한 속도명령을 생성하여 자율비행으로 추종할 수 있도록 한다(S70).
직선으로 이루어진 차선에서 만들어진 경로 점을 추종하는 것은 기존의 점 항법 비행으로도 옆 차선을 침범하지 않을 수 있지만, 곡선 차선의 경우에는 경로 점간의 거리에 따라서 차선을 침범하는 경우가 발생할 수 있다.
따라서 본 실시예에서는 이를 방지하기 위해서 주어진 경로 점들을 이용해서 부드러운 곡선경로를 추종할 수 있도록 곡선경로를 기반으로 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 생성하여 곡선경로를 추종할 수 있도록 한다.
예를 들어, 곡선경로를 얻기 위해서는 최소한 3개의 경로 점이 필요하므로 도 6에서 변환한 3쌍의 차선 위치를 사용할 수 있다. 오른쪽, 왼쪽 점의 평균을 통해서 도 7에 도시된 바와 같이 경로 점 Pi-1, Pi, Pi+1의 세 점을 얻을 수 있다.
이와 같이 경로 점 세 점을 연결하는 곡선경로는 3차 다항식 d(s)로 정의할 수 있다. 여기서, 3차 다항식의 계수를 모두 얻기 위해서는 4개의 경계조건이 필요하게 되는데, 본 실시예에서는 3개의 경로 점과 Pi-1 점으로 진입하는 무인항공기의 입사각을 기반으로 수학식 7을 통해 3차 다항식의 계수를 결정할 수 있다.
Figure 112018069729332-pat00009
여기서, 무인항공기의 입사각은 GPS모듈(40)로부터 입력된 무인항공기의 비행궤적을 기반으로 산출할 수 있다.
한편, 접선방향 속도명령(Vt,cmd)은 수학식 8과 같이 산출하여 생성할 수 있으며, 경로의 접속방향 속도명령(Vt,cmd)은 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타낼 수 있다.
Figure 112018069729332-pat00010
또한, 법선방향 속도명령(Vn,cmd)은 수학식 9와 같이 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타낼 수 있다.
Figure 112018069729332-pat00011
따라서 제어부(20)는 곡선경로에서 수학식 10과 같이 법선방향 속도명령(Vn,cmd)과 접선방향 속도명령(Vt,cmd)의 합으로 생성되는 속도명령(Vcmd)을 출력하여 옆 차선을 침범하지 않고 곡선경로를 부드럽게 추종할 수 있도록 한다.
Figure 112018069729332-pat00012
상술한 바와 같이, 본 발명의 실시예에 의한 무인항공기의 도로차선 추종방법에 따르면, 도로의 차선을 기반으로 경로를 추종하기 위해 촬영영상으로부터 도로의 차선을 탐지하여 위치를 파악하고, 부드러운 곡선경로를 추종할 수 있도록 함으로써 차선을 침범하지 않고 차선 경로를 추종하여 자율 비행할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 촬영부 20 : 제어부
30 : 구동부 40 : GPS모듈
50 : 자세측정부

Claims (19)

  1. 무인항공기의 하부에서 도로를 촬영하는 촬영부;
    상기 무인항공기의 비행궤적 및 고도를 측정하는 GPS 모듈;
    상기 무인항공기의 비행자세를 측정하는 자세측정부;
    상기 촬영부로부터 입력된 촬영영상과, 상기 GPS모듈로부터 입력된 상기 무인항공기의 상기 비행궤적 및 상기 고도와, 상기 자세측정부로부터 입력된 자세각을 기반으로 도로의 차선을 추출하고, 추출한 차선을 NED 좌표계로 변환하며, 변환된 차선을 기반으로 경로 점을 추종하도록 속도명령을 산출하여 출력하는 제어부; 및
    상기 제어부의 상기 속도명령에 따라 상기 무인항공기가 도로의 차선을 추종하도록 구동하는 구동부;를 포함하되,
    상기 제어부는, 곡선차선인 경우 추종하기 위한 3개의 경로 점과 상기 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 상기 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 상기 속도명령을 생성하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  2. 제 1항에 있어서, 상기 촬영부는, 시야각(FOV ; Field Of View)이 180도인 초광각 어안렌즈가 장착된 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  3. 제 1항에 있어서, 상기 제어부는, 상기 촬영영상으로부터 라인세그먼트를 추출한 후 상기 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 도로의 차선을 추출하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  4. 제 3항에 있어서, 상기 제어부는, 상기 커브 피팅을 수행한 후 설정된 관심영역 내에서 추출한 상기 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  5. 제 4항에 있어서, 상기 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  6. 제 4항에 있어서, 상기 관심영역은, 1개 차로가 포함되는 사각형으로 상기 무인항공기의 상기 고도에 따라 다른 크기로 설정되는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  7. 제 1항에 있어서, 상기 제어부는, 추출된 차선으로부터 전방의 선택된 점들에 대해 상기 자세측정부로부터 입력된 상기 무인항공기의 상기 자세각과 상기 GPS모듈로부터 입력된 상기 무인항공기의 상기 고도에 따른 스케일 팩터를 적용하여 아래식 1을 기반으로 NED 좌표계의 위치로 변환하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
    [아래식 1]
    Figure 112022091032339-pat00013

    여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, uav는 무인항공기, R은 무인항공기 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
  8. 삭제
  9. 제 1항에 있어서, 상기 입사각은, 상기 제어부가 상기 GPS모듈로부터 입력된 상기 무인항공기의 상기 비행궤적으로부터 산출하는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  10. 제 1항에 있어서, 상기 접선방향 속도명령은, 상기 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고,
    상기 법선방향 속도명령은, 상기 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 하는 무인항공기의 도로차선 추종장치.
  11. 제어부가 도로 위를 비행하는 무인항공기의 하부에 장착된 촬영부로부터 촬영한 촬영영상을 입력받는 단계;
    상기 제어부가 상기 촬영영상으로부터 라인세그먼트를 추출하는 단계;
    상기 제어부가 추출한 상기 라인세그먼트의 점들을 기반으로 커브 피팅을 수행하여 차선을 추출하는 단계;
    상기 제어부가 추출된 차선을 NED 좌표계로 변환하는 단계; 및
    상기 제어부가 상기 NED 좌표계로 변환된 경로 점들을 기반으로 속도명령을 생성하는 단계;를 포함하되,
    상기 속도명령을 생성하는 단계는, 상기 제어부가 곡선차선인 경우 추종하기 위한 3개의 경로 점과 상기 무인항공기가 경로 점으로 진입하는 입사각을 기반으로 곡선경로를 생성하고, 상기 곡선경로를 기반으로 법선방향 속도명령과 접선방향 속도명령의 합으로 상기 속도명령을 생성하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
  12. 제 11항에 있어서, 상기 촬영영상은, 시야각이 180도인 초광각 어안렌즈로 촬영된 영상인 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
  13. 제 11항에 있어서, 상기 제어부가 상기 커브 피팅을 수행한 후 설정된 관심영역 내에서 상기 라인세그먼트를 추출하는 단계; 및
    상기 관심영역 내에서 추출한 상기 라인세그먼트의 점들을 기반으로 2차 커브 피팅을 수행하여 차선을 추출하는 단계를 더 포함하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
  14. 제 13항에 있어서, 상기 커브 피팅은 RANSAC(RANdom SAmple Consensus) 알고리즘을 기반으로 수행하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
  15. 제 13항에 있어서, 상기 관심영역은, 1개 차로가 포함되는 사각형으로 상기 무인항공기의 고도에 따라 다른 크기로 설정되는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
  16. 제 11항에 있어서, 상기 NED 좌표계로 변환하는 단계는, 상기 제어부가 추출된 차선으로부터 전방의 선택된 점들에 대해 자세측정부로부터 입력된 상기 무인항공기의 자세각과 GPS모듈로부터 입력된 상기 무인항공기의 고도에 따른 스케일 팩터를 적용하여 아래식 2를 기반으로 상기 NED 좌표계의 위치로 변환하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
    [아래식 2]
    Figure 112022091032339-pat00014

    여기서, u, v는 영상의 중심으로부터 떨어진 거리, f(u,v)는 어안렌즈 모델함수, uav는 무인항공기, R은 무인항공기 촬영부의 자세각 및, s는 촬영영상의 이미지 위치와 실제 NED 좌표계의 위치 간에 스케일 팩터(scale factor)이다.
  17. 삭제
  18. 제 11항에 있어서, 상기 입사각은, 상기 제어부가 GPS모듈로부터 입력된 상기 무인항공기의 비행궤적으로부터 산출하는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
  19. 제 11항에 있어서, 상기 접선방향 속도명령은, 상기 무인항공기가 가고자 하는 속도의 크기에 접선방향의 방향벡터의 곱으로 나타내고,
    상기 법선방향 속도명령은, 무인항공기와 경로 사이의 t축 에러를 법선방향 벡터와의 프로젝션하여 얻어진 에러에 Pgain(Kp)를 곱하여 나타내는 것을 특징으로 하는 무인항공기의 도로차선 추종방법.
KR1020180082211A 2018-07-16 2018-07-16 무인항공기의 도로차선 추종장치 및 그 방법 KR102503308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180082211A KR102503308B1 (ko) 2018-07-16 2018-07-16 무인항공기의 도로차선 추종장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180082211A KR102503308B1 (ko) 2018-07-16 2018-07-16 무인항공기의 도로차선 추종장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200008281A KR20200008281A (ko) 2020-01-28
KR102503308B1 true KR102503308B1 (ko) 2023-02-24

Family

ID=69370570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180082211A KR102503308B1 (ko) 2018-07-16 2018-07-16 무인항공기의 도로차선 추종장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102503308B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349818B1 (ko) * 2020-08-21 2022-01-10 금오공과대학교 산학협력단 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
CN113721606B (zh) * 2021-08-16 2023-04-25 清华大学 跟随式自动驾驶物流车辆控制系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction
JP2018013949A (ja) * 2016-07-21 2018-01-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の障害物検知方法および移動体の障害物検知プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533246B1 (ko) * 2016-03-24 2023-05-17 엘지전자 주식회사 항법 장치 및 이를 포함하는 차량 운전 보조장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction
JP2018013949A (ja) * 2016-07-21 2018-01-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の障害物検知方法および移動体の障害物検知プログラム

Also Published As

Publication number Publication date
KR20200008281A (ko) 2020-01-28

Similar Documents

Publication Publication Date Title
US20230236611A1 (en) Unmanned Aerial Vehicle Sensor Activation and Correlation System
US20210116943A1 (en) Systems and methods for uav interactive instructions and control
CN109238240B (zh) 一种顾及地形的无人机倾斜摄影方法及其摄影系统
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
US8213706B2 (en) Method and system for real-time visual odometry
US20190096069A1 (en) Systems and methods for visual target tracking
JP5775632B2 (ja) 飛行体の飛行制御システム
CN108235815B (zh) 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
CN109665099B (zh) 无人航空器以及架线摄影方法
US20190055017A1 (en) Unmanned aircraft, unmanned aircraft control system, and flight control method
TWI693959B (zh) 控制裝置、飛行體以及記錄媒體
US9460554B2 (en) Aerial video annotation
Anitha et al. Vision based autonomous landing of an unmanned aerial vehicle
CN112154649A (zh) 航测方法、拍摄控制方法、飞行器、终端、系统及存储介质
KR102503308B1 (ko) 무인항공기의 도로차선 추종장치 및 그 방법
WO2019238044A1 (zh) 确定装置、移动体、确定方法以及程序
CN107576329B (zh) 基于机器视觉的固定翼无人机着降引导合作信标设计方法
US20220019222A1 (en) Unmanned Aerial Vehicle, Unmanned Aerial Vehicle Flight Control Device, Unmanned Aerial Vehicle Flight Control Method and Program
JP2020012878A (ja) 制御装置、移動体、制御方法、及びプログラム
Miller et al. UAV navigation based on videosequences captured by the onboard video camera
WO2019174343A1 (zh) 活动体检测装置、控制装置、移动体、活动体检测方法及程序
JP6515423B2 (ja) 制御装置、移動体、制御方法、及びプログラム
KR20220068606A (ko) 부분 영상을 고려한 드론의 자동 착륙 알고리즘
JP2019219874A (ja) 自律移動撮影制御システムおよび自律移動体
US20220283584A1 (en) Information processing device, information processing method, and information processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant