KR101688642B1 - 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법 - Google Patents

무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법 Download PDF

Info

Publication number
KR101688642B1
KR101688642B1 KR1020150112496A KR20150112496A KR101688642B1 KR 101688642 B1 KR101688642 B1 KR 101688642B1 KR 1020150112496 A KR1020150112496 A KR 1020150112496A KR 20150112496 A KR20150112496 A KR 20150112496A KR 101688642 B1 KR101688642 B1 KR 101688642B1
Authority
KR
South Korea
Prior art keywords
image
marker
template
correlation coefficient
size
Prior art date
Application number
KR1020150112496A
Other languages
English (en)
Inventor
방효충
정유연
이동진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150112496A priority Critical patent/KR101688642B1/ko
Application granted granted Critical
Publication of KR101688642B1 publication Critical patent/KR101688642B1/ko

Links

Images

Classifications

    • G06K9/32—
    • G06K9/3208—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 원거리 인식기법과 근거리 인식기법을 기반으로 영상 내 마커의 픽셀크기와 카메라 화각 왜곡, 그리고 실제 마커의 크기 정보를 이용하여 무인기 고도를 추정하기 위한 무인기 영상기반 자동 착륙을 위한 마커 인식 방법을 제공하기 위한 것으로서, 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 HSV 영상으로 전환하는 영상 변환부와, 상기 전환된 HSV 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 근거리 영상인지 또는 원거리 영상인지를 산출하는 거리 산출부와, 상기 산출된 근거리 영상 및 원거리 영상 별로 노이즈가 제거된 필터 이미지를 생성하고, Otsu's 방법으로부터 계산된 임계치를 이용해 상기 필터 이미지를 이진화 영상으로 변환하는 영상 처리부와, 상기 변환된 이진화된 영상에서 각각 연결되어 있는 연결성분들에 번호를 부여하여 레벨 이미지를 생성하고, 부여된 연결성분들을 연결성분 후보로 설정하는 연결성분 후보 생성부와, 입력된 영상이 원거리 영상인 경우, 연결성분 크기만큼 템플릿의 크기를 맞추고, 회전각을 정의하고 그 각도를 계산하여 템플릿을 회전시키는 회전각 산출부와, 상기 템플릿 회전을 통해 마커와 동일한 템플릿(Template)을 상기 설정된 연결성분 후보들과의 상관계수(r)를 계산하고, 각 연결성분의 최대 상관계수를 비교하여 상관계수의 값이 가장 큰 연결성분 후보를 마커로 인식하는 마커 인식부를 포함하여 구성되는데 있다.

Description

무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법{Apparatus and Method of Marker Recognition for Automatic Landing Image Based on Unmanned Plane}
본 발명은 무인기의 영상기반 정밀 자동 착륙을 위한 마커의 인식 장치 및 방법에 관한 것으로, 특히 디자인 된 마커를 원거리에서부터 근접한 거리까지 지속적으로 인식이 가능하도록 하는 마커 인식 장치 및 방법에 관한 것이다.
일반적으로 무인기를 착륙시키는 방법에 있어서 종래에는 외부조종사의 조종에 의한 착륙 방법, 낙하산 또는 그물망을 이용한 착륙 방법, ILS(Instrument Landing System)나 레이더를 이용한 자동 착륙 방법 등이 있다.
그런데, 이상과 같은 착륙 방법은 추가의 인력유지 및 시설확보, 장비 장착 등에 많은 비용이 소모될 수 있을 뿐만 아니라 전파방해에 의한 교란 문제에 쉽게 노출될 수 있는 문제점 또한 있다.
이러한 단점을 보완하기 위해 카메라를 이용한 영상기반의 자동 착륙 방법이 연구되고 있는데, 즉 카메라를 통해 착륙 지점의 마커 영상을 획득하여 필터링을 통해 마커 영상을 분리한 후, 명암, 색차, 픽셀개수 등의 문턱값을 적용하여 마커를 인식하고 필터를 이용하여 백색잡음을 제거함과 동시에 표적의 움직임을 추적하는 일련의 과정을 통해 이동표적에 대한 경로를 계획하게 된다.
그러나 이상과 같은 영상기반 시스템에 따르면, xy 평면상의 벡터인 2차원 정보만을 취득하므로, GPS, 관성센서, 레이저 센서 등의 부가적인 센서 값을 통한 위치 및 고도정보의 보정이 실시간 수행되어야 하는데, 이러한 경우 처리의 복잡성을 증대시키고 처리 시간이 지연되는 단점이 있다.
또한, 종래에는 움직이는 착륙지점에 관한 비행체 유도에는 한계가 있는데, 즉 고정된 착륙지점의 경우는 착륙지점의 GPS 정보를 미리 취득한 후 비행체 유도를 수행하면 되나, 함상 착륙과 같이 착륙지점이 유동성을 가진 경우에는 상기 착륙지점의 위치를 비행체에 실시간 전달해야 하는 문제점이 있다.
뿐만 아니라, 이러한 경우 상기 착륙지점의 착륙표적을 추적하는 동안 모든 영상처리가 실시간 처리되어야 하는 부담이 있으며, 표적의 뒤틀림에 관한 정보가 존재하지 않아 그에 관한 인식 알고리즘 및 연산이 추가로 수행되어야 하므로 영상처리 시간이 크게 할애되게 되며, 상기 이동하는 표적의 인식 및 그에 따른 비행 자세정보의 전달이 매우 취약하여 비행체의 즉각적인 반응을 지연시키고 각종 사고를 발생시킬 수 있는 문제점이 있다.
등록특허공보 제10-1008259호 : 영상신호를 이용한 항공기의 자동 착륙 시스템 및 그 제어방법 등록특허공보 제10-0842104호 : ADS-B와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어방법
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 원거리 인식기법과 근거리 인식기법을 기반으로 영상 내 마커의 픽셀크기와 카메라 화각 왜곡, 그리고 실제 마커의 크기 정보를 이용하여 무인기 고도를 추정하기 위한 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 장치의 특징은 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 HSV(Hue Saturation Value) 영상으로 전환하는 영상 변환부와, 상기 전환된 HSV 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 근거리 영상인지 또는 원거리 영상인지를 산출하는 거리 산출부와, 상기 산출된 근거리 영상 및 원거리 영상 별로 노이즈가 제거된 필터 이미지를 생성하고, Otsu's 방법으로부터 계산된 임계치를 이용해 상기 필터 이미지를 이진화 영상으로 변환하는 영상 처리부와, 상기 변환된 이진화된 영상에서 각각 연결되어 있는 연결성분(Connected Component)들에 번호를 부여하여 레벨 이미지를 생성하고, 부여된 연결성분들을 연결성분 후보로 설정하는 연결성분 후보 생성부와, 입력된 영상이 원거리 영상인 경우, 연결성분 크기만큼 템플릿의 크기를 맞추고, 회전각을 정의하고 그 각도를 계산하여 템플릿을 회전시키는 회전각 산출부와, 상기 템플릿 회전을 통해 마커와 동일한 템플릿(Template)을 상기 설정된 연결성분 후보들과의 상관계수(r)를 계산하고, 각 연결성분의 최대 상관계수를 비교하여 상관계수의 값이 가장 큰 연결성분 후보를 마커로 인식하는 마커 인식부를 포함하여 구성되는데 있다.
바람직하게 상기 영상 처리부는 상기 거리 산출부를 통해 근거리 영상으로 산출되면, 상기 HSV 영상 중 Hue 영상에서 'H'로 표시되는 범위를 제거하여 마커에서 동심원만을 분리하는 Hue 영상 처리부와, 상기 영상 처리부에서 출력되는 HSV 영상 또는 상기 거리 산출부를 통해 산출된 원거리 HSV 영상 중 Value 영상을 메디안 필터(Median Filter)나 가우시안 필터(Gaussian Filter)를 이용하여 노이즈를 제거하여 필터 이미지를 생성하는 노이즈 제거부와, Otsu's 방법으로부터 계산된 임계치를 이용하여 상기 생성된 필터 이미지를 이진화 영상으로 변환하는 이진화 영상 처리부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 거리 산출부는 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 고도 정도가 미리 정의되어 있는 일정 거리 이상일 경우는 원거리로, 그 이하일 경우는 근거리로 설정하는 것을 특징으로 한다.
바람직하게 상기 회전각 산출부는 이미지 모멘트로부터 계산된 연결성분의 초기 각도 만큼 템플릿을 회전시키고, 그 크기를 연결성분 크기만큼 맞춰 초기 상관계수를 계산한 후, 황금분할 탐색(Golden Section Search) 방법에 따라 회전각 변형, 크기조절 및 상관계수 계산을 반복하여 최대치의 상관계수를 갖는 회전각을 산출하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 방법의 특징은 (A) 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 HSV 영상으로 전환한 후, Otsu's 방법으로부터 계산된 임계치를 이용해 변환된 이진화 영상에서 각각 연결되어 있는 성분들에 번호를 부여하고, 그 위치, 넓이 정보를 저장하여 연결성분 후보로 저장하는 전처리 단계와, (B) 입력된 영상이 원거리 영상인 경우, 연결성분 크기만큼 템플릿의 크기를 맞추고, 회전각을 정의하고 그 각도를 계산하여 템플릿을 회전시키는 단계와, (C) 상기 템플릿 회전을 통해 마커와 동일한 템플릿(Template)을 상기 저장하는 연결성분 후보의 상관계수(r)를 계산하고, 각 연결성분의 최대 상관계수를 비교하여 상관계수의 값이 가장 큰 연결성분 후보를 마커로 인식하는 단계와, (D) 입력된 영상이 근거리 영상인 경우, 마커에 추가된 동심원을 기반으로 원추형 방정식을 이용하는 DLS(Direct Least Square) 기법을 사용하여 동심원을 통한 연속적인 마커 인식을 수행하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 (A) 단계는 (a) 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 영상 변환부를 통해 HSV(Hue Saturation Value) 영상으로 전환하는 단계와, (b) 상기 전환된 HSV 영상이 근거리 영상인지 또는 원거리 영상인지를 판단하는 단계와, (c) 상기 판단결과 근거리 영상인 경우, 상기 전환된 HSV 영상 중 Hue 영상에서 'H'로 표시되는 범위를 제거하여 마커에서 동심원만을 분리하는 단계와, (d) 상기 동심원 분리과정을 거치거나, 또는 상기 판단결과 원거리 영상인 경우, 상기 HSV 영상 중 Value 영상을 메디안 필터(Median Filter)나 가우시안 필터(Gaussian Filter)를 이용하여 노이즈를 제거하여 필터 이미지를 생성하는 단계와, (e) Otsu's 방법으로부터 계산된 임계치를 이용하여 상기 생성된 필터 이미지를 이진화 영상으로 변환하는 단계와, (f) 상기 변환된 이진화된 영상에서 각각 연결되어 있는 연결성분(Connected Component)들에 번호를 부여하여 레벨 이미지를 생성하고, 부여된 연결성분들을 연결성분 후보로 하여 번호의 위치, 넓이의 정보를 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게 상기 (b) 단계는 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 고도 정도가 미리 정의되어 있는 일정 거리 이상일 경우는 원거리로, 그 이하일 경우는 근거리로 정의하는 것을 특징으로 한다.
바람직하게 상기 (f) 단계는 연결성분에 번호를 부여할 때, 마커의 특징을 이용하여 마커와 연관이 없을 것으로 판단되는 연결성분은 번호를 부여하지 않도록 하여 후보에서 제외시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게 상기 (B) 단계는 이미지 모멘트로부터 계산된 연결성분의 초기 각도 만큼 템플릿을 회전시키고, 그 크기를 연결성분 크기만큼 맞춰 초기 상관계수를 계산하는 단계와, 황금분할 탐색(Golden Section Search) 방법에 따라 회전각 변형, 크기조절 및 상관계수 계산을 반복하여 최대치의 상관계수를 갖는 회전각을 구하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법은 디자인 된 마커를 원거리에서부터 근접한 거리까지 지속적으로 인식이 가능하도록 하여 무인기와 지상의 각도, 상기 무인기와 상기 착륙지점까지의 지상거리 및 상기 무인기와 상기 착륙지점까지의 기울기 거리를 손쉽게 계산할 수 있어 장비가 간단하고 비용이 절감되는 효과가 있다.
도 1 은 본 발명의 실시예에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 장치의 구성을 나타낸 블록도
도 2 는 본 발명의 실시예에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 방법을 설명하기 위한 흐름도
도 3 은 도 2에서 영상 전처리 과정을 설명하기 위한 도면
도 4 는 도 2에서 영상기법을 통한 동심원 분리 과정을 설명하기 위한 도면
도 5 는 도 2의 원거리 마커 인식에서 수행되는 마커 회전각을 정의하는 과정을 설명하기 위한 도면
도 6 는 도 2에서 입력된 영상이 원거리 영상인 경우에 본 발명에 따른 원거리 마커 인식 알고리즘 시뮬레이션 결과를 나타낸 도면
도 7 은 도 2에서 근거리 마커 인식을 통해 원추형 방정식의 계수들을 이용하여 연결성분 후보의 타원정보를 계산한 마커 인식 결과는 나타낸 도면
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 장치의 구성을 나타낸 블록도이다.
도 1에서 도시하고 있는 것과 같이, 본 발명의 마커 인식 장치는 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 HSV(Hue Saturation Value) 영상으로 전환하는 영상 변환부(10)와, 상기 전환된 HSV 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 근거리 영상인지 또는 원거리 영상인지를 산출하는 거리 산출부(20)와, 상기 거리 산출부(20)를 통해 근거리 영상으로 산출되면, 상기 HSV 영상 중 Hue 영상에서 'H'로 표시되는 범위를 제거하여 마커에서 동심원만을 분리하는 Hue 영상 처리부(30)와, 상기 영상 처리부(30)에서 출력되는 HSV 영상 또는 상기 거리 산출부(20)를 통해 산출된 원거리 HSV 영상 중 Value 영상을 메디안 필터(Median Filter)나 가우시안 필터(Gaussian Filter)를 이용하여 노이즈를 제거하여 필터 이미지를 생성하는 노이즈 제거부(40)와, Otsu's 방법으로부터 계산된 임계치를 이용하여 상기 생성된 필터 이미지를 이진화 영상으로 변환하는 이진화 영상 처리부(50)와, 상기 변환된 이진화된 영상에서 각각 연결되어 있는 연결성분(Connected Component)들에 번호를 부여하여 레벨 이미지를 생성하고, 부여된 연결성분들을 연결성분 후보로 설정하는 연결성분 후보 생성부(60)와, 입력된 영상이 원거리 영상인 경우, 연결성분 크기만큼 템플릿의 크기를 맞추고, 회전각을 정의하고 그 각도를 계산하여 템플릿을 회전시키는 회전각 산출부(70)와, 상기 템플릿 회전을 통해 마커와 동일한 템플릿(Template)을 상기 저장된 연결정보 후보들과의 상관계수(r)를 계산하고, 각 연결성분의 최대 상관계수를 비교하여 상관계수의 값이 가장 큰 연결성분 후보를 마커로 인식하는 마커 인식부(80)로 구성된다.
이때, 상기 거리 산출부(20)는 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 고도 정도가 미리 정의되어 있는 일정 거리 이상일 경우는 원거리로, 그 이하일 경우는 근거리로 정의한다.
그리고 상기 회전각 산출부(70)는 이미지 모멘트로부터 계산된 연결성분의 초기 각도 만큼 템플릿을 회전시키고, 그 크기를 연결성분 크기만큼 맞춰 초기 상관계수를 계산한다. 그리고 황금분할 탐색(Golden Section Search) 방법에 따라 회전각 변형, 크기조절 및 상관계수 계산을 반복하여 최대치의 상관계수를 갖는 회전각을 산출한다.
이와 같이 구성된 본 발명에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 장치의 구성의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 또는 도 2와 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 2 는 본 발명의 실시예에 따른 무인기 영상기반 자동 착륙을 위한 마커 인식 방법을 설명하기 위한 흐름도이다.
도 2에서 도시하고 있는 것과 같이, 먼저 무인기에 부착된 카메라에서 촬영된 마커의 RGB 영상을 획득한 후(S10), 영상 변환부를 통해 상기 획득한 RGB 영상을 HSV(Hue Saturation Value) 영상으로 전환한다(S20). 도 3(a)는 마커의 RGB 영상을 도시한 도면이다.
이어, 전환된 HSV 영상이 근거리 영상인지 또는 원거리 영상인지를 판단한다(S30). 이때, 원거리 영상과 근거리 영상을 나누는 기준은 영상 내 마커의 크기이며, 이는 무인기의 고도정도에 해당한다고 볼 수 있다. 따라서 마커의 크기를 통해 도출된 고도정보를 기반으로 고도 정도가 미리 정의되어 있는 일정 거리 이상일 경우는 원거리로, 그 이하일 경우는 근거리로 정의한다.
그리고 상기 판단결과 근거리 영상인 경우(S30), 도 4(b)에서 도시하고 있는 것과 같이 상기 전환된 HSV 영상 중 Hue 영상에서 'H'로 표시되는 노란색 범위를 제거하여 도 4(a)에서 도시하고 있는 것과 같이 마커에서 동심원만을 분리하는 과정을 수행한다(S40). 이를 통해 분리된 원형을 인식하는 근거리 마커 인식 알고리즘을 사용할 수 있는 준비를 마치게 된다.
또한, 상기 근거리 마커 인식을 통해 동심원 분리과정을 거치거나(S40), 상기 판단결과 원거리 영상인 경우(S30), 상기 HSV 영상 중 Value 영상을 메디안 필터(Median Filter)나 가우시안 필터(Gaussian Filter)를 이용하여 노이즈 제거를 수행하여 도 3(b)에서 도시하고 있는 것과 같은 필터 이미지를 생성한다(S50). 즉, 상기 판단결과 근거리 영상인 경우는 원거리 영상인 경우와 달리 마커에서 동심원만을 분리하는 과정을 추가로 수행하게 된다.
그리고 Otsu's 방법으로부터 계산된 임계치를 이용하여 상기 생성된 필터 이미지를 도 3(c)에서 도시하고 있는 이진화 영상으로 변환한다(S60).
이렇게 변환된 이진화된 영상에서 각각 연결되어 있는 연결성분(Connected Component)들에 번호를 부여하여 도 3(d)에서 도시하고 있는 레벨 이미지를 생성하고, 부여된 연결성분들을 연결성분 후보로 하여 번호의 위치, 넓이 등의 정보를 저장하여 전처리 과정을 수행한다(S70). 이때, 상기 연결성분에 번호를 부여할 때, 마커의 특징을 이용하여 마커와 연관이 없을 것으로 판단되는 연결성분은 번호를 부여하지 않도록 하여 후보에서 제외되도록 하고, 번호가 부여된 후보들만을 저장한다.
이어 입력된 영상이 원거리 영상인 경우(S80), 마커의 크기와 회전에 따라 계수가 변하기 때문에 연결성분 크기만큼 템플릿의 크기를 맞추며, 도 5에서 도시하고 있는 것과 같이 최대치의 상관계수를 갖는 회전각을 정의하여 그 각도를 계산하여 템플릿을 회전시킨다(S90).
좀 더 상세히 설명하면, 이미지 모멘트로부터 계산된 연결성분의 초기 각도 만큼 템플릿을 회전시키고, 그 크기를 연결성분 크기만큼 맞춰 초기 상관계수를 계산한다. 그리고 황금분할 탐색(Golden Section Search) 방법에 따라 회전각 변형, 크기조절 및 상관계수 계산을 반복하여 최대치의 상관계수를 갖는 회전각을 구한다. 이처럼, 상기 템플린 회전과 크기 조절, 그리고 상관계수 계산에 따른 이 루틴은 상관계수의 최대치를 구할 때까지 반복하게 된다.
다음 수학식 1은 초기 각도(
Figure 112015077283805-pat00001
)를 계산하는 수식이다.
Figure 112015077283805-pat00002
이때,
Figure 112015077283805-pat00003
이다.
또한,
Figure 112015077283805-pat00004
이고,
Figure 112015077283805-pat00005
은 모멘트를 나타내는 변수로,
Figure 112015077283805-pat00006
에서 i는 명암도(intensity)를 뜻한다. 수학식 1에서 이진화된 영상을 사용하였으므로 명암도는 0아니면 1로 나타내게 되고, 0, 1, 2차 모멘트를 이용하여 각 연결성분의 크기, 중점, 회전각 등을 계산할 수 있게 된다.
그리고 상기 템플릿 회전을 통해 마커와 동일한 템플릿(Template)을 상기 저장된 연결정보 후보들과의 상관계수(r)를 계산하고, 계산된 각 연결성분의 최대 상관계수를 비교하여 상관계수의 값이 가장 큰 값을 갖는 연결성분을 마커로 인식하도록 한다(S100). 이때, 상관계수(r)는 다음 수학식 2와 같이 많이 사용되는 NCC(Normalized Cross Correlation)의 수식을 사용한다.
Figure 112015077283805-pat00007
이때, 상기 f는 템플릿을, g는 영상을 나타낸다.
도 6 은 원거리 마커 인식을 통해 마커 영상을 인식한 결과를 나타낸 도면이다.
한편, 입력된 영상이 근거리 영상인 경우(S80), 즉 무인기가 원거리 마커 인식기법으로 마커에 접근하면서, 'H' 마커의 모든 형상이 프레임 안에서 나타날 수 없는 거리에 도달하는 순간 원거리 인식기법은 사용할 수 없으며 자동적으로 근거리 인식기법으로 전환된다. 상기 근거리 인식기법을 위해 마커에 동심원을 추가하여 그 중심을 추정할 수 있도록 구성된다.
즉, 마커에 추가된 동심원은 렌즈 왜곡이나 무인기의 자세각도에 따라 원의 모양이 영상 안에서 타원으로 보이기 때문에 근거리 인식기법은 타원의 일부분만으로 그 중심을 추정할 수 있는 DLS(Direct Least Square) 기법을 사용하여 동심원을 통한 연속적으로 마커를 인식하도록 한다(S110).
상기 DLS 기법은 얼굴인식, 카메라 캘리브레이션, 눈동자 인식 등에 사용되며, 다음 수학식 3과 같은 원추형 방정식(conic equation)에서부터 수식전개가 시작된다.
Figure 112015077283805-pat00008
이때, 상기
Figure 112015077283805-pat00009
이고, 상기
Figure 112015077283805-pat00010
으로 정의된다.
상기
Figure 112015077283805-pat00011
는 대수 거리(Algebraic distance)라고 표현하며, 다음 수학식 4를 최소화시키는 원추형 방정식의 계수를 찾는 것이 목표이다.
Figure 112015077283805-pat00012
이 문제는 행렬식으로 표현할 수 있으며, 원추형 방정식이 타원만을 나타내는 제약조건을 고려하여 문제를 정리하면 다음 수학식 5와 같다.
Figure 112015077283805-pat00013
이때, 상기
Figure 112015077283805-pat00014
이고, 상기
Figure 112015077283805-pat00015
이다.
상기 수학식 5를 라그레인지 멀티플레이어(Lagrange multiplyer)
Figure 112015077283805-pat00016
를 이용하면 다음 수학식 6과 같이 표현할 수 있다.
Figure 112015077283805-pat00017
또한 계산시간을 단축시키고 특이점(singularity)을 피하기 위해 다음 수학식 7과 같이 행렬을 변환한다.
Figure 112015077283805-pat00018
최종적으로 DLS 문제는 다음 수학식 8과 같이 표현할 수 있으며, 이 수학식 8은 강건하고, 행렬의 크기가 감소하여 계산 속도를 향상시킬 수 있다는 장점이 있다.
Figure 112015077283805-pat00019
이때, 상기
Figure 112015077283805-pat00020
이다.
그리고 상기 수학식 8에서 구해진 원추형 방정식의 계수들을 이용하여 연결성분 후보의 타원정보를 계산하도록 하여 마커를 인식하게 된다.
도 7 은 근거리 마커 인식을 통해 원추형 방정식의 계수들을 이용하여 연결성분 후보의 타원정보를 계산한 마커 인식 결과는 나타낸 도면이다.
이를 통해 원거리 인식기법과 근거리 인식기법을 기반으로 영상 내 마커를 정확하게 인식하여 무인기의 자동 착륙을 수행할 수 있도록 한다(S120).
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (9)

  1. 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 HSV(Hue Saturation Value) 영상으로 전환하는 영상 변환부와,
    상기 전환된 HSV 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 근거리 영상인지 또는 원거리 영상인지를 산출하는 거리 산출부와,
    상기 산출된 근거리 영상 및 원거리 영상 별로 노이즈가 제거된 필터 이미지를 생성하고, Otsu's 방법으로부터 계산된 임계치를 이용해 상기 필터 이미지를 이진화 영상으로 변환하는 영상 처리부와,
    상기 변환된 이진화된 영상에서 각각 연결되어 있는 연결성분(Connected Component)들에 번호를 부여하여 레벨 이미지를 생성하고, 부여된 연결성분들을 연결성분 후보로 설정하는 연결성분 후보 생성부와,
    입력된 영상이 원거리 영상인 경우, 연결성분 크기만큼 템플릿의 크기를 맞추고, 회전각을 정의하고 그 각도를 계산하여 템플릿을 회전시키는 회전각 산출부와,
    상기 템플릿 회전을 통해 마커와 동일한 템플릿(Template)을 상기 설정된 연결성분 후보들과의 상관계수(r)를 계산하고, 각 연결성분의 최대 상관계수를 비교하여 상관계수의 값이 가장 큰 연결성분 후보를 마커로 인식하는 마커 인식부를 포함하여 구성되는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 장치.
  2. 제 1 항에 이어서, 상기 영상 처리부는
    상기 거리 산출부를 통해 근거리 영상으로 산출되면, 상기 HSV 영상 중 Hue 영상에서 'H'로 표시되는 범위를 제거하여 마커에서 동심원만을 분리하는 Hue 영상 처리부와,
    상기 영상 처리부에서 출력되는 HSV 영상 또는 상기 거리 산출부를 통해 산출된 원거리 HSV 영상 중 Value 영상을 메디안 필터(Median Filter)나 가우시안 필터(Gaussian Filter)를 이용하여 노이즈를 제거하여 필터 이미지를 생성하는 노이즈 제거부와,
    Otsu's 방법으로부터 계산된 임계치를 이용하여 상기 생성된 필터 이미지를 이진화 영상으로 변환하는 이진화 영상 처리부를 포함하여 구성되는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 장치.
  3. 제 1 항에 있어서,
    상기 거리 산출부는 영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 고도 정도가 미리 정의되어 있는 일정 거리 이상일 경우는 원거리로, 그 이하일 경우는 근거리로 설정하는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 장치.
  4. 제 1 항에 있어서,
    상기 회전각 산출부는 이미지 모멘트로부터 계산된 연결성분의 초기 각도 만큼 템플릿을 회전시키고, 그 크기를 연결성분 크기만큼 맞춰 초기 상관계수를 계산한 후, 황금분할 탐색(Golden Section Search) 방법에 따라 회전각 변형, 크기조절 및 상관계수 계산을 반복하여 최대치의 상관계수를 갖는 회전각을 산출하는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 장치.
  5. (A) 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 HSV 영상으로 전환한 후, Otsu's 방법으로부터 계산된 임계치를 이용해 변환된 이진화 영상에서 각각 연결되어 있는 성분들에 번호를 부여하고, 그 위치, 넓이 정보를 저장하여 연결성분 후보로 저장하는 전처리 단계와,
    (B) 입력된 영상이 원거리 영상인 경우, 연결성분 크기만큼 템플릿의 크기를 맞추고, 회전각을 정의하고 그 각도를 계산하여 템플릿을 회전시키는 단계와,
    (C) 상기 템플릿 회전을 통해 마커와 동일한 템플릿(Template)을 상기 저장하는 연결성분 후보의 상관계수(r)를 계산하고, 각 연결성분의 최대 상관계수를 비교하여 상관계수의 값이 가장 큰 연결성분 후보를 마커로 인식하는 단계와,
    (D) 입력된 영상이 근거리 영상인 경우, 마커에 추가된 동심원을 기반으로 원추형 방정식을 이용하는 DLS(Direct Least Square) 기법을 사용하여 동심원을 통한 연속적인 마커 인식을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 방법.
  6. 제 5 항에 있어서, 상기 (A) 단계는
    (a) 무인기에 부착된 카메라에서 획득된 마커의 RGB 영상을 영상 변환부를 통해 HSV(Hue Saturation Value) 영상으로 전환하는 단계와,
    (b) 상기 전환된 HSV 영상이 근거리 영상인지 또는 원거리 영상인지를 판단하는 단계와,
    (c) 상기 판단결과 근거리 영상인 경우, 상기 전환된 HSV 영상 중 Hue 영상에서 'H'로 표시되는 범위를 제거하여 마커에서 동심원만을 분리하는 단계와,
    (d) 상기 동심원 분리과정을 거치거나, 또는 상기 판단결과 원거리 영상인 경우, 상기 HSV 영상 중 Value 영상을 메디안 필터(Median Filter)나 가우시안 필터(Gaussian Filter)를 이용하여 노이즈를 제거하여 필터 이미지를 생성하는 단계와,
    (e) Otsu's 방법으로부터 계산된 임계치를 이용하여 상기 생성된 필터 이미지를 이진화 영상으로 변환하는 단계와,
    (f) 상기 변환된 이진화된 영상에서 각각 연결되어 있는 연결성분(Connected Component)들에 번호를 부여하여 레벨 이미지를 생성하고, 부여된 연결성분들을 연결성분 후보로 하여 번호의 위치, 넓이의 정보를 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 방법.
  7. 제 6 항에 있어서, 상기 (b) 단계는
    영상 내 마커의 크기를 기반으로 도출된 고도정보를 이용하여 고도 정도가 미리 정의되어 있는 일정 거리 이상일 경우는 원거리로, 그 이하일 경우는 근거리로 정의하는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 방법.
  8. 제 6 항에 있어서, 상기 (f) 단계는
    연결성분에 번호를 부여할 때, 마커의 특징을 이용하여 마커와 연관이 없을 것으로 판단되는 연결성분은 번호를 부여하지 않도록 하여 후보에서 제외시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 방법.
  9. 제 5 항에 있어서, 상기 (B) 단계는
    이미지 모멘트로부터 계산된 연결성분의 초기 각도 만큼 템플릿을 회전시키고, 그 크기를 연결성분 크기만큼 맞춰 초기 상관계수를 계산하는 단계와,
    황금분할 탐색(Golden Section Search) 방법에 따라 회전각 변형, 크기조절 및 상관계수 계산을 반복하여 최대치의 상관계수를 갖는 회전각을 구하는 단계를 포함하는 것을 특징으로 하는 무인기 영상기반 자동 착륙을 위한 마커 인식 방법.
KR1020150112496A 2015-08-10 2015-08-10 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법 KR101688642B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150112496A KR101688642B1 (ko) 2015-08-10 2015-08-10 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150112496A KR101688642B1 (ko) 2015-08-10 2015-08-10 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101688642B1 true KR101688642B1 (ko) 2016-12-21

Family

ID=57735084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150112496A KR101688642B1 (ko) 2015-08-10 2015-08-10 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101688642B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190022173A (ko) * 2017-08-25 2019-03-06 한국항공우주연구원 카메라를 통해 구형 목표물의 궤적을 예측하여 무인비행기의 움직임을 제어하는 방법 및 시스템
KR102179676B1 (ko) * 2019-07-31 2020-11-17 주식회사 아르고스다인 자율 이동체의 위치 결정 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842104B1 (ko) 2007-06-15 2008-06-30 주식회사 대한항공 Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법
US20090306840A1 (en) * 2008-04-08 2009-12-10 Blenkhorn Kevin P Vision-based automated landing system for unmanned aerial vehicles
KR101008259B1 (ko) 2008-09-03 2011-01-13 한국항공우주연구원 영상신호를 이용한 항공기의 자동착륙 시스템 및 그 제어방법
KR20140035069A (ko) * 2012-09-13 2014-03-21 한국전자통신연구원 수직이착륙기의 착륙을 지원하는 지능형 헬리패드, 상기 지능형 헬리패드를 포함하는 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842104B1 (ko) 2007-06-15 2008-06-30 주식회사 대한항공 Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법
US20090306840A1 (en) * 2008-04-08 2009-12-10 Blenkhorn Kevin P Vision-based automated landing system for unmanned aerial vehicles
KR101008259B1 (ko) 2008-09-03 2011-01-13 한국항공우주연구원 영상신호를 이용한 항공기의 자동착륙 시스템 및 그 제어방법
KR20140035069A (ko) * 2012-09-13 2014-03-21 한국전자통신연구원 수직이착륙기의 착륙을 지원하는 지능형 헬리패드, 상기 지능형 헬리패드를 포함하는 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190022173A (ko) * 2017-08-25 2019-03-06 한국항공우주연구원 카메라를 통해 구형 목표물의 궤적을 예측하여 무인비행기의 움직임을 제어하는 방법 및 시스템
KR101980095B1 (ko) * 2017-08-25 2019-05-20 한국항공우주연구원 카메라를 통해 구형 목표물의 궤적을 예측하여 무인비행기의 움직임을 제어하는 방법 및 시스템
KR102179676B1 (ko) * 2019-07-31 2020-11-17 주식회사 아르고스다인 자율 이동체의 위치 결정 방법 및 시스템

Similar Documents

Publication Publication Date Title
Patruno et al. A vision-based approach for unmanned aerial vehicle landing
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
KR100842104B1 (ko) Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법
US8000867B2 (en) System for automatically landing aircraft using image signals and method of controlling the same
WO2016015547A1 (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN107240063A (zh) 一种面向移动平台的旋翼无人机自主起降方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
Anitha et al. Vision based autonomous landing of an unmanned aerial vehicle
CN112486207A (zh) 一种基于视觉识别的无人机自主降落方法
Thurrowgood et al. A vision based system for attitude estimation of UAVs
Coutard et al. Visual detection and 3D model-based tracking for landing on an aircraft carrier
CN109341686B (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
KR101688642B1 (ko) 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법
CN109357663A (zh) 桥梁检测系统
KR102040289B1 (ko) 드론 위치 정보 보정 장치 및 방법
KR20160102844A (ko) 멀티콥터 착륙 가이드 시스템 및 방법
CN114815871A (zh) 一种基于视觉的垂直起降无人机动平台自主降落方法
US10597168B2 (en) Method and device for managing configurations of an aircraft
CN112650304A (zh) 无人机自主着陆系统、方法和无人机
Togo et al. Gesture recognition using hand region estimation in robot manipulation
CN112862862B (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法
Fan et al. A vision-based algorithm for landing unmanned aerial vehicles
Jin et al. A vision tracking system via color detection
Angermann et al. Multispectral image-aided automatic landing system: position availability investigation during final approach
KR20200008281A (ko) 무인항공기의 도로차선 추종장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 4