KR101737950B1 - 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법 - Google Patents

지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법 Download PDF

Info

Publication number
KR101737950B1
KR101737950B1 KR1020150163066A KR20150163066A KR101737950B1 KR 101737950 B1 KR101737950 B1 KR 101737950B1 KR 1020150163066 A KR1020150163066 A KR 1020150163066A KR 20150163066 A KR20150163066 A KR 20150163066A KR 101737950 B1 KR101737950 B1 KR 101737950B1
Authority
KR
South Korea
Prior art keywords
image sensor
image
navigation
images
terrain
Prior art date
Application number
KR1020150163066A
Other languages
English (en)
Inventor
방효충
김영주
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150163066A priority Critical patent/KR101737950B1/ko
Application granted granted Critical
Publication of KR101737950B1 publication Critical patent/KR101737950B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01C2011/36—

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

본 발명에 따른 지형참조항법에서 영상 기반 항법해 추정 방법은 영상센서에 의해 촬영된 두 개의 영상 각각에서 특징점 정보 및 상기 두 개의 영상에서 공통된 특징점의 매칭 정보를 포함하는 영상 측정치를 이용하여, 상기 매칭된 특징점의 위치를 계산하는 단계; 및 상기 계산된 특징점의 위치를 지형고도데이터와 비교하여 상기 영상센서의 위치 및 자세 추정치를 갱신하는 단계;를 포함할 수 있다.

Description

지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법 {VISION-BASED NAVIGATION SOLUTION ESTIMATION SYSTEM AND METHOD IN TERRAIN REFERENCED NAVIGATION}
본 발명은 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 지형참조항법에서 영상 정보를 이용하여 항공기 등의 위치, 자세 및 속도를 포함하는 항법해를 추정하는 시스템 및 방법에 관한 것이다.
기존의 지형참조항법은 관성항법을 기반으로 전파고도계의 고도 측정치를 지형 데이터와 비교해 현재 위치를 추정한다. 이를 위해 많은 양의 고도 측정치 데이터가 요구되며 지형의 형태에 따라 정확한 추정이 어려운 경우가 발생할 수 있다. 이는 전파고도계를 사용하는 경우 한번에 하나의 고도 측정치만 얻을 수 있기 때문이다. 또한, 전파고도계는 고가인 문제점이 있다.
최근, 영상 처리 및 추정 이론이 진보하면서 영상 기반 항법이 로봇 공학 분야에서 관심을 받기 시작했다. 이후 영상 기반 항법은 군사 임무 이외에도 다양한 산업 분야에 적용되어 왔다. 영상센서의 가장 큰 특성 중 하나는 영상센서가 수동 센서라는 점이며, 이 특성은 영상센서를 검출하거나 이를 간섭하는 것을 매우 어렵게 한다는 점이다. 더욱이, 대부분의 무인 항공기(unmanned aircraft)에는 이미 카메라(camera)가 장착되어 있으므로 항법시 영상 정보를 이용하기 위해 추가의 비용이 요구되지 않는다. 하지만, 영상 기반 항법 시스템의 실행 가능성에 대해서 상당한 의구심이 존재해왔다. 실제로 많은 연구자들은 가법 위치 추정 알고리즘(additive position estimation algorithm)의 고유 특성에 따른 오류 누적을 영상센서를 이용하여 어떻게 제어할 것인지에 대해서 초점을 두었다.
종래에는 영상 정보를 이용하여 항공기의 위치를 추정하기 위한 연구가 주를 이루었지만, 지형참조항법에서 항공기의 위치뿐 아니라 이의 자세 및 속도 또한 정확하고 신뢰성 있게 추정할 수 있는 기술에 대한 필요성이 대두되고 있다.
미국 특허 공보 US 6512976 (2003.1.28 공개) 미국 특허 공보 US 7191056 (2007.3.13 공개)
본 발명의 목적은 지형참조항법에서 항공기의 위치뿐 아니라 이의 자세 및 속도 또한 정확하고 신뢰성 있게 추정할 수 있는 기술을 제공하는 것이다.
본 발명의 목적은 전파고도계등 고가의 장비를 사용함이 없이 저가의 영상센서만을 이용하면서도 항공기의 위치뿐 아니라 이의 자세 및 속도 또한 정확하고 신뢰성 있게 추정할 수 있는 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법을 제공하는 것이다.
본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 방법은 영상센서에 의해 촬영된 두 개의 영상 각각에서 특징점 정보 및 상기 두 개의 영상에서 공통된 특징점의 매칭 정보를 포함하는 영상 측정치를 이용하여, 상기 매칭된 특징점의 위치를 계산하는 단계; 및 상기 계산된 특징점의 위치를 지형고도데이터와 비교하여 상기 영상센서의 위치 및 자세 추정치를 갱신하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템은 영상센서의 위치 및 자세 추정치를 얻도록 구성된 프로세스 모델부: 및 영상센서에 의해 촬영된 두 개의 영상 각각에서 특징점 정보 및 상기 두 개의 영상에서 공통된 특징점의 매칭 정보를 포함하는 영상 측정치를 이용하여, 상기 매칭된 특징점의 위치를 계산하고 상기 계산된 특징점의 위치를 지형고도데이터와 비교하여 상기 영상센서의 위치 및 자세 추정치를 갱신하도록 구성된 위치 및 자세 갱신부;를 포함할 수 있다.
개시된 기술의 실시예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 실시예에 따르면 지형참조항법에서 항공기의 위치뿐 아니라 이의 자세 및 속도 또한 정확하고 신뢰성 있게 추정할 수 있는 기술을 제공할 수 있다.
본 발명의 실시예에 따르면 전파고도계등 고가의 장비를 사용함이 없이 저가의 영상센서만을 이용하면서도 항공기의 위치뿐 아니라 이의 자세 및 속도 또한 정확하고 신뢰성 있게 추정할 수 있는 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법을 제공할 수 있다.
본 발명의 실시예에 따르면, 서로 다른 위치에서 촬영한 두 개의 영상에서 특징점들을 추출해 이들과 영상센서와의 위치관계를 지형고도데이터와 비교하여 지형참조항법에 영상으로부터 얻은 정보를 추가적으로 제공할 수 있다. 여기서 영상 특징점의 개수만큼 고도 측정치를 더 얻은 것과 같기 때문에 본 발명의 실시예에 따르면 적은 비용이 드는 영상센서를 추가함으로써 획득 가능한 정보 수를 늘려 더욱 정확하고 신뢰성 있는 항법해를 얻을 수 있게 한다. 또한, 위치 추정치만이 갱신이 가능한 기존의 지형참조항법에 자세 및 속도까지 갱신할 수 있도록 영상으로부터 더 많은 정보를 추출하여 항법에 사용할 수 있다.
도1은 본 발명의 실시예에 따른 영상 기반 항법해 추정 시스템을 포함하는 지형참조항법 시스템의 간략한 블록도를 예시한다.
도2는 공통된 특징점을 갖는 지표면이 두 개의 영상에서 촬영되는 모습을 나타내는 간략도이다.
도3은 지표면 촬영시 두 개의 영상 내에서 특징점들 사이의 기하학적 관계를 예시한다.
도4는 특징점과 영상센서 위치 및 자세 사이의 관계를 예시한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.
본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법을 이용하면 지형참조항법에서 영상 정보를 추가하여 항공기의 위치뿐 아니라 속도 및 자세 추정의 정확도 및 신뢰성을 개선할 수 있다.
본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법은, 예컨대, 지형참조항법에서 영상 정보를 관성항법 및/또는 기압고도계 측정치와 조합하는 방법에 관한 것이다. 서로 다른 위치에서 지면을 촬영한 두 개의 영상을 얻으면 그 두 영상에 공통적으로 포함된 특징점들을 추출할 수 있으며, 특징점들의 위치를 계산할 수 있다. 본 발명은 지면을 촬영한 영상센서의 위치 및 자세와 특징점 위치의 관계를 지형고도 데이터와 비교하여 위치, 속도, 자세 등 항법해를 추정하는 데에 이용할 수 있다.
보다 구체적으로, 본 발명은 영상센서의 위치, 자세, 속도와 특징점 위치 간의 관계를 이용하여 통계적 필터를 구성하는 데에 있다. 본 발명에 따라 지형참조항법에서 영상 정보로부터 영상센서의 위치, 자세, 속도를 갱신할 수 있다.
이하에서는 본 발명에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법에 대해서 상세하게 살펴본다.
도1은 본 발명의 실시예에 따른 영상 기반 항법해 추정 시스템을 포함하는 지형참조항법 시스템의 간략한 블록도를 예시한다.
본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템(130)은 이하에서 항법해 추정 시스템(130)으로 지칭될 수 있다. 본 발명의 실시예에 따른 항법해 추정 시스템(130)은 항공기 등에 장착된 영상센서(110)로부터 정보를 획득할 수 있다. 본 명세서에서 영상센서(110)는 카메라(camera)일 수 있다.
본 발명의 실시예에 따른 영상 기반 항법해 추정 시스템(130)을 포함하는 지형참조항법 시스템(100)은 상기 영상센서(110)로부터 서로 다른 시간에 촬영된 2개의 영상으로부터 각각 특징점을 검출하고, 공통된 특징점들을 매칭(matching)하는 특징점 검출 및 매칭부(120)를 포함할 수 있다.
본 발명의 실시예에 따른 항법해 추정 시스템(130)은 필터(filter)로 지칭될 수 있다. 지형참조항법 시스템(100)은 특징점 검출 및 매칭부(120)를 더 포함할 수 있다. 특징점 검출 및 매칭부(120)에서, 영상센서(110)로부터 촬영된 2개의 영상 각각에서 특징점의 영상 내 픽셀 좌표, 그리고 공통된 특징점에 대해서 각 영상 내 픽셀 좌표의 1 대 1 대응 관계에 대한 정보가 출력될 수 있다. 1 대 1 대응 관계는 특징점 매칭과정을 통해 하나의 영상 내의 각 특징점이 다른 영상 내의 어떤 특징점과 같은 것이라고 인식하는 것을 지칭할 수 있다. 이러한 정보는 순서대로 나열한 픽셀 좌표 어레이(array) 한 쌍 (yi cam1, yi cam2)으로 표현될 수 있다.
항법해 추정 시스템(130)은 특징점 검출 및 매칭부(120)로부터 입력되는 정보를 이용하여, 첫 번째 영상에서 촬영된 특징점들이 두 번째 촬영된 영상에서 어떻게 움직였는지를 역으로 분석해서 영상센서(110)의 위치 및 자세 관계를 알 수 있다. 본 발명의 실시예에 따른 항법해 추정 시스템(130)에서는 특징점의 위치 정보까지도 분석될 수 있다. 여기서, 영상센서(110)의 위치 및 자세와 특징점의 위치 관계는 영상센서(110)의 위치 및 자세를 정의하는 항법좌표계에서의 관계를 나타낸다.
본 발명의 실시예에 따른 항법해 추정 시스템(130)은 영상센서(110)의 위치 및 자세와, 특징점 위치의 관계를 지형고도데이터(170)와 비교하여 영상센서(110)의 위치, 속도, 자세 등의 항법해를 갱신하도록 구성될 수 있다. 본 발명의 실시예에 따른 항법해 추정 시스템(130)은 관성항법시스템(160)에 포함될 수 있는 관성센서와 바로미터(180)의 측정치에 특징점 검출 및 매칭부(120)로부터 출력되는 영상 정보를 조합하여 영상센서(110)의 위치, 속도, 자세 및 고도의 추정치를 갱신할 수 있다.
본 명세서에서 영상센서(110)의 위치, 속도, 자세 및 고도는 영상센서(110)가 장착된 항공기 등 객체의 위치, 속도, 자세 및 고도를 지칭할 수 있다.
영상 기반 항법에서 항공기 상태를 추정하는데 지형고도데이터를 이용하기 위해서, 영상센서(110)는 지면 상의 시각적 특징점(feature points) 세트를 촬영할 수 있어야 한다. 본 명세서에서 지형고도데이터(170)는 지면 및 해당 지면상의 모든 물체를 포함하는 디지털 표면 모델(DSM: Digital Surface Model)일 수 있다. 디지털 표면 모델과 달리, 디지털 지형 모델(DTM: Digital Terrain Model)은 식물 및 건물과 같은 물체를 전혀 포함하지 않는 나지면(bare ground surface)을 나타낼 수 있다.
예컨대, 무인 항공기 등에 장착된 하나의 영상센서(110)로부터 연속적으로 촬영된 두 개의 영상에 대해서, 특징점 검출 및 매칭(matching)을 위해 특징점 검출 및 매칭부(120)에서는 특징점 검출 및 트래킹(tracking) 알고리즘이 사용될 수 있다. 여기서, 특징점 검출 및 트래킹 알고리즘으로는 예컨대 SIFT(Scale-Invariant Feature Transform), SURF(Speeded-Up Robust Features) 및 광학적 흐름(optical flow)과 같은 알고리즘이 이용될 수 있다. 본 발명에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법은, 두 개의 영상에서 한 세트의 특징점이 검출되고 첫 번째 영상에서 검출된 특징점들과 두 번째 영상에서 검출된 특징점들 사이에 일대일(one-to-one) 매칭이 성립될 수 있다는 전제하에 논의될 수 있다.
도2는 공통된 특징점을 갖는 지표면(10)이 두 개의 영상(20, 30)에서 촬영되는 모습을 나타내는 간략도이다.
도2에 예시된 바와 같이, 지표면(10) 위의 특정 지형으로서 두 개의 영상(20, 30)까지 각각 선으로 이어진 점은 특징점을 나타낸다. 특징점은 지표면(10)에서 주변의 표면과 구별될 수 있는 특징을 가지는 포인트(point)일 수 있다. 특징점은 영상(20, 30) 내에서 탐지가 가능하며 동일한 지표면(10)을 여러 번 촬영했을 때 동일한 특징점임을 구별할 수 있는 성질을 지닌다. 예컨대, 특징점은 뾰족한 피크(peak), 코너(corner), 경사도(gradient)가 변하는 경계점, 명도가 변하는 경계점 등이 될 수 있다. 특징점의 위치를 계산하기 위해서는 공중에서 지표면(10)을 두 번 촬영했을 때 각 영상에서 영상처리 과정을 통해 특징점들을 탐지하고 두 영상에서 동일한 특징점끼리 매칭하는 과정이 요구된다. 본 발명의 실시예에서, 두 영상에 의해 공통적으로 촬영되고 각각 매칭된 특징점들을 이용하여 영상센서(110)의 위치, 자세 및 속도를 추정할 수 있다.
도3은 지표면 촬영시 두 개의 영상 내에서 특징점들 사이의 기하학적 관계를 예시한다.
도3에는 두 개의 영상에서 공통적으로 촬영된 지표면(10) 특징점의 항법좌표계(11) 상의 위치와 두 개의 영상(20, 30)내 픽셀로 얻어지는 영상내 좌표의 관계가 도시된다. 각각 시간 t0와 t1에 촬영한 두 개의 영상(20, 30)에서 탐지되고 매칭된 특징점 중 지표면(10)을 나타내는 항법좌표계(11)에 위치한 특징점은 제1카메라 좌표계에서는 pc(t0)의 좌표를 가지고 제2카메라 좌표계에서는 pc(t1)의 좌표를 갖는 것으로 표시된다. 또한, 이 특징점은 각각의 영상(20, 30)에서 yc(t0)와 yc(t1)의 픽셀 좌표에서 보여지게 된다.
도3은 각 카메라 좌표계를 기준으로 도시되어 있다. 특징점의 위치를 구하기 위해, 삼각측량기법을 통해 제1카메라 좌표계(21)에서의 위치를 계산할 수 있다. 카메라 좌표계(21, 31)에서의 특징점 위치에 항법좌표계(11)에서의 카메라 위치를 더함으로써 항법좌표계(11)에서의 특징점 위치를 계산할 수 있다. 각 카메라 좌표계(21, 31)가 항법좌표계(11)와 이루는 각도가 영상센서(110)의 항법좌표계(11)에서의 자세가 될 수 있다. 이러한 관계는 도4에 예시되어 있으며, 도4에서 항법좌표계(11)의 원점은 On로 표시되어 있다.
항법해 추정 시스템(130)을 통해 추정하기 위한 항법해의 기준이 되는 좌표계가 항법좌표계(Navigation Coordinate Frame)로 지칭될 수 있다. 실시예에서 항법좌표계로서 관성좌표계(Inertial Coordinate Frame)가 이용될 수 있다.
시간 t0와 t1 동안의 영상센서(110)의 회전과 병진운동은 각각 3X3 행렬로 표현되는 R01과 3X1 행렬로 표현되는 병진벡터 T01으로 표현될 수 있다. 이때, 이들 행렬은 본 발명은 실시예에 따른 항법해 추정 시스템(130)에서 관성항법시스템(160)으로부터 획득될 수 있다. 예컨대, 이들 행렬은 관성항법시스템(160)에 포함되는 가속도계 및 각속도계(gyro) 센서로부터 획득될 수 있다. 두 개의 시간 시점에서 영상센서(110) 사이의 관계(R01과 T01)와 영상 내의 픽셀 좌표(yc(t0)와 yc(t1))를 얻으면 각 카메라 좌표계 원점으로부터 시작해 영상 내 픽셀 좌표를 지나는 두 선이 만나는 점을 계산하는 삼각측량기법을 통해 특징점의 항법좌표계(11)에서의 위치를 계산할 수 있다.
한 세트의 특징점의 위치를 지형고도데이터(170)와 비교하여 영상센서(110), 즉 영상센서가 장착된 항공기의 위치를 추정할 수 있다. 매칭된 특징점들을 이용하여 특징점 위치를 계산하는 과정은 삼각측량기법(triangulation) 또는 두 개의 관점에서 사영 복원(projective reconstruction from two views)으로 지칭될 수 있다. 삼각측량기법이 영상센서(110)의 위치 및 영상 픽셀 측량치에 기초하므로, 종래에는 항공기 위치 및 영상 측량치에 관한 측정치 모델이 고려되었다. 하지만, 특징점 위치의 계산을 위해서는 영상센서(110) 또는 항공기의 자세에 대한 정보 또한 요구된다. 종래의 관성항법시스템 모델에 의한 자세 추정의 정확도가 특징점 위치를 계산하기에는 불충분하므로 본 발명의 실시예에 따른 측정치 모델은 항공기 위치와 함께 자세도 포함하여 구성된다. 따라서, 삼각측량기법이 항공기 위치 및 자세를 갱신하는데 이용될 수 있다. 다양한 삼각측량기법 알고리즘이 본 발명의 실시예에 적용될 수 있다.
이상에서 설명한 삼각측량기법으로 특징점 위치를 계산하여 영상센서(110)의 위치 및 자세 추정치를 갱신하는 과정은 본 발명의 실시예에 따른 항법해 추정 시스템(130)에 포함된 위치/자세 갱신부(141)에서 수행될 수 있다.
또한, 본 발명의 실시예에 따르면 영상 측량으로부터 추가의 정보를 획득할 수 있다. 본 발명의 실시예에 따르면 영상 측량으로부터 항공기 속도에 대한 정보도 추가로 획득할 수 있다. 호모그래피 기하학(homography geometry)의 일반화된 형태로서 8-포인트 알고리즘(eight-point algorithm)을 이용하여 매칭된 세트의 영상내 포인트들로부터 입체 사진 촬영용 카메라 페어(stereo camera pair)에 관련된 기본 행렬(essential matrix)를 제공할 수 있다. 상기 8-포인트 알고리즘은 지면이 평면일 것을 요구하지 않으므로 특징점들이 다양한 고도를 갖는 경우에 적용될 수 있다. 다만, 8-포인트 알고리즘은 객체 공간(objective space)에서 자세 변화를 재구성하지 않는다는 제약이 있다. 본 발명의 실시예에 따른 항법해 추정 시스템(130)의 속도 갱신부(142)에서 속도 갱신을 위해 시간 단계 동안에 영상센서(110)의 병진의 방향을 획득하는데 8-포인트 알고리즘을 이용할 수 있다.
도3에 예시된 바와 같이 본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템(130)은 관성항법시스템(160)으로부터 가속도계 출력 및 각속도계(gyro) 출력을 추출하고 영상센서(110)로부터 매칭된 특징점들의 픽셀 좌표를 추출할 수 있다. 또한, 본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템(130)은 항법해 추정시 정밀도가 매우 중요한 고도를 정정하기 위해 바로미터(barometer: 180)의 출력을 이용할 수 있다.
이하에서는 본 발명의 실시예에 따른 지형참조항법에서 영상 기반 항법해 추정 시스템(130)의 구성을 참조하여 항법해 추정 방법을 상세히 설명한다. A섹션에서 예측 모델, B섹션에서 위치 및 자세를 갱신하기 위한 삼각측량기법, 그리고 C섹션에서 속도를 갱신하기 위한 8-포인트 알고리즘에 대해서 살펴본다.
A.예측 모델(estimation model)
본 명세서에서 영상센서(110)의 상태는 항공기의 상태로 간주될 수 있으며, 영상센서(10)의 상태로는 위치(p), 속도(v) 및 오일러 각(ψ: Euler angles)가 포함될 수 있다. 본 명세서 영상센서(110)의 상태는 위치가 (e, n, u)로 표시되는 항법 프레임(navigation frame)에서 정의될 수 있다. 항법 프레임은 지면상에 임의의 선택된 포인트에서 시작되며 e, n 및 u 각각은 미터계에서 동(east), 북(north) 및 위(up)쪽 위치를 나타낼 수 있다.
영상센서(110)의 상태는 관성 센서, 즉 가속도계 및 비율 각속도계(rate gyro)의 측량값을 이용해 예측될 수 있다. 본 명세서에서 1차 자기 회귀(first-order autoregressive: AR) 모델이 관성 센서들의 오류(error)를 모델링하는데 이용될 수 있다. 1차 자기 회귀 모델은 가우시안-마코프(Gauss-Markov) 모델을 포함한 다른 모델에 비해 저가 관성 측량 유닛의 확률적 에러에 대해 더 큰 정확성을 나타내는 것으로 알려져 있다. 결과적으로, 추정되어야 할 상태는 영상센서(110)의 상태 및 프로세스 잡음(
Figure 112015113313811-pat00001
)인 것이다. 프로세스 잡음은 관성 측량 센서들의 자기 회귀적 에러들의 벡터(vector)로 표현될 수 있다. 따라서, 항법해 추정 시스템(10)를 통해서 추정될 상태는
Figure 112015113313811-pat00002
로 표시될 수 있으며 여기서 프로세스 잡은은
Figure 112015113313811-pat00003
이다. 아래첨자 a 및 w는 각각 가속도계와 각속도계(관성항법시스템(160)에 포함됨)로부터 기인한 잡음을 나타낸다.
이산 시간 인스턴스(k)에서 영상센서(110)의 상태는 수학식(1)로 표시되는 시스템 모델에 따른다. 프로세스 모델부(150)에서 이러한 시스템 예측 모델이 구성될 수 있다.
Figure 112015113313811-pat00004
수학식(1)
수학식(1)을 살펴보면, 시스템 예측 모델은 이전 상태를 근거로 현재 어느 상태가 될지 예측할 수 있도록 한다. 여기서,
Figure 112015113313811-pat00005
는 자기 회귀 에러 모델에서 백색 잡음을 나타낸다. 비선형 확률적 상태 변환 함수(f)를 보다 구체적으로 기재하면 수학식(1)의 시스템 예측 모델은 아래 수학식(2)와 같이 표현될 수 있다.
Figure 112015113313811-pat00006
수학식(2)
여기서,
Figure 112015113313811-pat00007
및
Figure 112015113313811-pat00008
는 바디 프레임(body frame)에서 가속도계 출력 및 각속도계 출력을 각각 나타내고,
Figure 112015113313811-pat00009
는 시스템 예측 모델의 시간 스텝을 나타낸다.
Figure 112015113313811-pat00010
및 는
Figure 112015113313811-pat00011
각각 대응하는 방향 코사인 행렬(DCM: Direction Cosine Matrix) 및 바디 프레임으로부터 항법 프레임으로의 회전율 변환 행렬(rotation rate transformation matrix)을 나타내며 아래 수학식(3)과 같이 주어질 수 있다.
Figure 112015113313811-pat00012
Figure 112015113313811-pat00013
수학식(3)
여기서, 코사인 및 사인 함수는 c 및 s로 각각 축약되어 기재된다. 관성 센서들의 AR 계수를 구성하는 행렬 A 및 B는 수학식(4)와 같이 표현될 수 있다.
Figure 112015113313811-pat00014
Figure 112015113313811-pat00015
수학식(4)
본 발명의 실시예에 따른 항법해 추정 시스템(130)의 프로세스 모델부(150)에서는 가속도계/각속도계 측정치를 이용하여 그 다음 시간 스텝에서 영상센서(110)의 상태를 예측할 수 있다. 가속도계의 출력을 이용하여 다음 시간 스텝에서의 속도가 예측 가능하며, 속도를 통해 위치가 예측 가능하며, 그리고 각속도계의 출력을 이용하여 다음 시간 스텝에서의 자세각이 예측 가능하다.
확률적 측정치 프로세스(stochastic observation process)는 수학식(5)와 같이 표현될 수 있다.
Figure 112015113313811-pat00016
수학식(5)
여기서,
Figure 112015113313811-pat00017
는 측정치 벡터이고
Figure 112015113313811-pat00018
는 측정치 잡음 벡터이다. 베이시안 추적(Bayesian tracking)에서, 현재 단계까지의 측량
Figure 112015113313811-pat00019
이 획득되었을 때 후부 확률 밀도(posterior probability density)
Figure 112015113313811-pat00020
를 특정할 필요가 있다. 수학식(1)로 표시된 비선형 시스템 예측 모델을 통한 이전의 상태 및 이전의 모든 측정값이 주어진 상황에서 현재 상태의 예측 조건부 변환 확률 밀도(conditional transition density)를 아래와 같이 특정할 수 있다.
Figure 112015113313811-pat00021
수학식(6)
후부 확률 밀도를 계산함에 있어, 측정치 모델의 우도 함수(likelihood function)
Figure 112015113313811-pat00022
가 정의될 필요가 있다. 이하에서는 측정치 모델의 우도 함수를 어떻게 구성하는지에 대해서 살펴본다. 섹션B에서는, 수학식(7)로 표시되는 바와 같이, 위치 및 자세에 대한 현재 측정값과 관련한 우도 함수를 제시한다.
Figure 112015113313811-pat00023
수학식(7)
또한, 섹션(C)에서는, 수학식(8)로 표시되는 바와 같이, 속도에 대한 현재 측정값과 관련한 측정치 모델의 우도 함수를 제시한다.
Figure 112015113313811-pat00024
수학식(8)
여기서, 본 발명의 실시예에서 측정값
Figure 112015113313811-pat00025
는 두 개의 연속된 영상에서 매칭된 특징점들의 픽셀 좌표에 대응한다.
본 발명의 실시예에서 항법해 추정 시스템(130)으로는 측정치로부터 통계적 추정치를 계산하는 통계적 필터, 즉 칼만 필터(Kalman Filter) 계열 및 파티클 필터(particle filter)를 통틀어 지칭할 수 있는 필터가 이용될 수 있다. 예컨대, 본 발명의 실시예에서 상기 문제를 해결하기 위해서 순차적 중요도 샘플림(SIS: Sequential Importance Sampling) 알고리즘을 갖는 파티클 필터(particle filter)가 이용될 수 있다. 실시예에 따라 다른 필터의 선택이 가능하며, 시스템의 특성에 따라 적합한 필터를 선택하여 사용할 수 있다.
본 발명의 실시예에 따른 영상 기반 항법해 추정 시스템 (130)의 동작 과정은 아래와 같이 두 단계로 나뉠 수 있다.
1.예측 단계(propagation, prediction, time update, etc.)
본 발명의 실시예에 따른 지형참조항법 시스템(100)의 특성을 기반으로 시간에 따라 이전 상태(예컨대, 위치, 자세, 속도)가 현재 어느 상태가 될지 예측될 수 있다. 본 발명의 실시예에서 가속도계 및 각속도계 측정치를 이용하여 수행될 수 있다. 이러한 예측 단계는 항법해 추정 시스템(130)에 포함되는 프로세스 모델부(150)를 통해 수행될 수 있다.
예측 과정을 수식으로 표현하면 아래와 같다. 이러한 예측 모델은 수학식(2)에서 보다 구체적으로 표현될 수 있다.
(현재 상태) = (이전 상태) + (상태 변화율) * (시간)
즉, 상태 변화율에 오차가 있을 경우 시간이 지남에 따라 오차가 누적된다. 이를 보정하기 위하여 아래의 측정치 갱신 과정을 거친다.
2.갱신 단계(update, measurement update)
예측 단계에서의 오차를 측정치를 이용하여 보정할 수 있다.
영상센서(110)가 이전 예측 단계에서 예측된 상태(state)를 가진다고 가정할 때, 어떤 값의 측정치를 얻을 수 있을지 측정치 모델을 통해 예상할 수 있다. 이 예측된 측정치와 실제로 얻은 측정치를 비교해보면 두 값이 다르므로 이들을 조합하여 추정값을 계산할 수 있다. 측정치의 예측값과 실제 측정치의 오차 특성을 통계적으로 반영하여 최적의 추정값을 결정하는 것이 본 발명의 실시예에 따른 항법해 추정 시스템(130)의 갱신 과정이다. 본 발명의 실시예에서 이러한 갱신 과정은 갱신부(140)를 통해 수행될 수 있다. 이러한 갱신 과정을 통해 영상센서(110)의 위치, 자세 및 속도에 대한 정확하고 신뢰성 있는 추정치를 획득할 수 있다.
본 발명의 실시예에서, 측정치 모델은 예측 모델을 통해 획득한 현재의 영상센서(110)의 상태(위치, 자세, 속도)와 그 때 얻은 측정치 사이의 관계를 나타내는 수식이다. 여기서, 측정치는 영상센서(110)로부터 얻은 측정치 yi cam1, yi cam2와 바로미터로부터 얻은 고도 측정치일 수 있다. 이러한 측정치 모델은 본 명세서에서 수학식(14), (15) 및 (22) 등을 통해 소개되고 있다. 즉, 항법해 추정 시스템(130)에서 갱신부(140)에서 영상센서(110)의 상태에 따른 측정치의 확률분포함수가 모델링될 수 있으며, 여기서, 역으로 실제 얻은 측정치를 통해 영상센서(110)의 상태가 추정될 수 있다. 이는 항법해 추정 시스템(130)의 갱신 과정이다.
이때, 갱신부(140)의 위치/자세 갱신부(141)는 영상센서(110)의 위치/자세에 따라 측정치가 어떻게 측정될 것인지 확률분포함수를 정의하여 사용하며 이는 수학식(14)로 표현될 수 있다. 갱신부(140)의 속도 갱신부(142)는 속도에 따라 측정치의 확률분포를 정의하여 사용하며 이는 수학식(22)로 표현될 수 있다. 또한, 갱신부(140)의 고도 갱신부(143)는 바로미터(180) 측정치를 통해 고도를 갱신할 수 있으며 이는 수학식(15)로 표현될 수 있다. 이하에서 갱신부(140)에 대해서 상세하게 살펴본다.
B.위치 및 자세 갱신
본 명세서에서 영상센서(110)는 카메라로 지칭될 수도 있다. 본 섹션에서, 지형고도데이터(170)로부터 정보를 어떻게 획득하는지에 대해서 설명한다. 지형고도데이터(170)를 영상센서(110)로부터의 측정값과 비교하기 위해서, 시각적 측량값에 의한 삼각측량기법에 의해 특징점 위치를 추정한다. 삼각측량기법은 두 개의 영상 각각에서 픽셀 좌표가 주어지면 각 카메라 좌표계 원점으로부터 시작한 두 개의 선이 만나는 지점을 계산하여 특징점의 항법 좌표계에서의 위치를 계산할 수 있다. 본 발명의 실시예에서 하나의 영상센서(110)가 이용되므로, 두 개의 영상은 항공기 등에 장착된 이동하는 영상센서(110)를 통해 두 개의 시간 시점에 찍힌 영상을 의미한다. 본 명세서에서 삼각측량기법은 기술분야에서 알려진 기존의 알고리즘을 통해 수행될 수 있으며 이에 대한 상세한 설명은 생략한다. 다만, 문제를 풀기 위해 삼각측량기법을 어떻게 적용하는지에 대해서 아래에서 살펴본다.
함수
Figure 112015113313811-pat00026
는 삼각측량기법을 나타내는 것이며, 이를 통해 특징점의 추정된 위치가 출력될 수 있다. 여기서,
Figure 112015113313811-pat00027
및
Figure 112015113313811-pat00028
은 제1시간 시점에서 카메라 프레임에서 카메라 행렬 및 특징점 위치를 각각 나타낸다. 이와 유사하게,
Figure 112015113313811-pat00029
및
Figure 112015113313811-pat00030
은 제2시간 시점에서 카메라 프레임에서 카메라 행렬 및 특징점 위치를 각각 나타낸다. 항법 프레임에서 특징점의 위치는 아래와 같이 추정될 수 있다.
Figure 112015113313811-pat00031
수학식(9)
여기서,
Figure 112015113313811-pat00032
는 특징점 위치의 추정값을 나타내고
Figure 112015113313811-pat00033
는 항법 프레임에서 제1시간 시점에서 카메라의 위치를 나타낸다. 카메라 행렬들은 아래와 같은 카메라 위치에 의해 서로 연관되어 있다.
Figure 112015113313811-pat00034
Figure 112015113313811-pat00035
수학식(10)
카메라 프레임에서 특징점 위치는 아래와 같이 획득될 수 있다.
Figure 112015113313811-pat00036
Figure 112015113313811-pat00037
수학식(11)
여기서,
Figure 112015113313811-pat00038
및
Figure 112015113313811-pat00039
는 대응하는 카메라의 자세에 따라 구성되는 방향 코사인 행렬들이다.
Figure 112015113313811-pat00040
및
Figure 112015113313811-pat00041
는 각각 특징점 검출 및 매칭부(120)에 의해 주어지는 시각적 측정치들로서, 제1 영상 프레임 및 제2 영상 프레임에서 특징점의 위치를 나타낸다. 서로 다른 프레임에서 이들 좌표들 사이의 관계가 도4에 도시되어 있다.
삼각측량기법은 카메라의 위치 및 자세의 함수이므로, 카메라 상태를 시각적 측정치들과 관련시킬 수 있는 측정치 모델을 구성할 수 있다. 이러한 측정치 모델은 위치/자세 갱신부(141)에서 구성될 수 있다. 특징점 위치의 추정치를 지형고도데이터(170)와 비교하는 기술은 기술분야에서 이미 공지된 것을 이용할 수 있다. 측정치 모델의 우도 함수는 아래와 같이 고도 차이를 나타내는 d의 함수로 표현될 수 있다.
Figure 112015113313811-pat00042
수학식(12)
여기서,
Figure 112015113313811-pat00043
수학식(13)
함수
Figure 112015113313811-pat00044
는 이중선형보간법(bilinear interpolation)을 이용하여
Figure 112015113313811-pat00045
에서 지형의 고도를 제공한다. 측정치 모델의 우도 함수는 아래와 같이 지수 분포를 나타내는 것으로 가정될 수 있다.
Figure 112015113313811-pat00046
수학식 (14)
여기서,
Figure 112015113313811-pat00047
는 정규화 상수이고
Figure 112015113313811-pat00048
는 각 특징점의 고도 차이의 합이다.
여기서
Figure 112015113313811-pat00049
는 첫번째 카메라의 위치,
Figure 112015113313811-pat00050
는 첫번째 카메라의 자세,
Figure 112015113313811-pat00051
는 첫번째 카메라의 픽셀 측정치이다. 위 수학식 (14)에서 상수 C, β는 확률분포함수의 모양을 결정하는 것으로 오차의 특성에 따라 조절될 수 있다.
픽셀 오차의 통계적 특성을 분석하여 그래프 피팅(fitting)을 통해 상수 C, β를 알아내어 정확히 오차 모델을 표현하는 것이 바람직할 수 있지만, 실시예에 따라 픽셀 오차의 특성에 관한 정보가 없을 경우 근사적으로 임의로 지정할 수 있다. 이 때, β가 클수록 봉우리 모양의 확률분포함수의 너비가 넓어진다. 이는 영상 측정치 오차가 카메라의 위치와 자세에 민감함을 의미한다. 반대로 β가 작을수록 카메라 위치 및 자세에 따라 영상 측정치 오차의 변화의 폭이 크지 않다. β를 실제 오차 특성보다 작게 설정했을 경우, 추정 필터가 제대로 작동하지 않고 발산할 가능성이 있다. 이러한 이유로 일반적으로 β를 실제 오차 특성보다 크게 설정하는 경향이 있으며, 이에 따라 실제 값에서 멀어질수록 예상치 못한 큰 오차에 잘 대응하지만, 필터의 추정 정확성이 떨어질 수 있다. 마지막으로 C는 확률분포함수의 넓이가 1이 되도록 설정될 수 있다.
위 수식으로부터 명확한 바와 같이, 본 발명의 실시예에서는 전파고도계 등을 사용함이 없이 영상정보만을 이용하여 위치 및 자세가 보정/갱신될 수 있다.
지수 에러 모델을 사용하는 것은 큰 고도 차이(d)를 가질 확률이 매우 낮다는 사실을 반영한다. 또한, 가우시안 모델과 비교하면 지수 모델은 일반적으로 헤비-테일(heavier tail)을 갖는 것으로 알려져 있으며 더욱 로버스트(robust)한 추정치를 제공하는 경향이 있다. 이에 따라 본 명세서에서는 카메라의 위치 및 자세를 갱신하기 위해 지형고도데이터(170)를 이용하는 측정치 모델을 이용할 수 있다.
바로미터(180)로부터 고도 측정치가 항공기의 고도를 갱신하는데 아래와 같이 직접 이용될 수 있다.
Figure 112015113313811-pat00052
수학식(15)
여기서,
Figure 112015113313811-pat00053
수학식(16)
그리고,
Figure 112015113313811-pat00054
는 표준 편차가
Figure 112015113313811-pat00055
인 제로 평균 가우시안 노이즈(zero-mean Gaussian noise)에 의해 영향을 받도록 모델링된 항법 프레임에서 바로미터(180)로부터의 고도 측정치를 나타낼 수 있다.
C.속도 갱신
지형과 이들의 영상을 분석함에 있어 기본 행렬은 기본적인 도구이다. 기본 행렬은 이미지 구성의 에피폴라 기하 구조(epipolar geometry)를 함축한다. 이러한 기본 행렬은 두 개의 캘리브레이트(calibrate)된 영상에서 8개 이상의 매칭된 특징점 세트로부터 계산될 수 있다. 본 명세서에서 8-포인트 알고리즘이라는 용어는 매칭된 특징점 개수와 무관하게 기본 행렬을 계산하는 방식을 지칭하도록 사용될 수 있다. 8-포인트 알고리즘은 사영 변환(projective transformation), 현장 복원(scene reconstruction), 이미지 수정(image rectification), 이상점 검출(outlier detection), 및 스테레오 매칭(stereo matching)과 같은 다양한 태스크(task)에 사용되어 온 기술이다.
속도 갱신부(142)는 특징점 검출 및 매칭부(120)로부터 두 카메라 영상 내의 특징점 픽셀 좌표 및 이들의 대응 정보를 8-포인트 알고리즘의 입력으로 사용할 수 있다. 8-포인트 알고리즘은 서로 다른 위치와 방향에서 찍은 두 영상 사이의 관계를 추출할 수 있다. 따라서, 8-포인트 알고리즘은 상기 정보를 통해 기본 행렬을 구성할 수 있으며, 이러한 기본 행렬을 통해 두 카메라 사이의 자세 차이 및 위치 차이를 추출할 수 있다. 하지만, 여기서 추출된 두 카메라 사이의 위치 변화는 영상 좌표계에서의 결과이므로, 항법 좌표계에서와 같이 미터 단위를 가지 않는다. 따라서, 본 발명의 실시예에 따른 속도 갱신부(142)에서는 위치 변화의 방향만을 사용하여 속도를 갱신하도록 구성될 수 있다.
본 발명의 실시예에서 무인 항공기의 항법을 위해 기본 행렬로부터 다양한 정보를 추출하려고 한다. 기본 행렬은 사영 공간(projective space)에서 두 개의 뷰(view) 사이에 위치 및 자세 차이를 제공할 수 있다. 하지만, 8-포인트 알고리즘은 객체 공간, 즉 미터계에서 자세 변화를 재구성할 수 없다. 대신에, 병진(translation)은 카메라의 정규화된 병진, 즉 방향으로 간주될 수 있다. 본 발명의 실시예에서 상기 획득된 정보는 항법해 추정 시스템(130)의 속도 갱신부(142)에서 속도를 정정하기 위해 이용될 수 있다.
8-포인트 알고리즘은 두 개의 이미지에서 적어도 8개의 매칭된 특징점을 요구한다. 본 명세서에서
Figure 112015113313811-pat00056
를 8-포인트 알고리즘에 대한 입력으로서 고려한다. 기본 행렬(E)이 계산되면, 기본 행렬로부터 병진 벡터를 추출할 수 있다. 기본 행렬은 아래와 같이 표현될 수 있다.
Figure 112015113313811-pat00057
수학식(17)
전술한 기본 행렬의 특이값 분해(SVD: Singular Value Decomposition)에 따르면 특이값은
Figure 112015113313811-pat00058
의 형태를 갖는다.
Figure 112015113313811-pat00059
Figure 112015113313811-pat00060
수학식(18)
여기서,
Figure 112015113313811-pat00061
Figure 112015113313811-pat00062
수학식(19)
이상과 같이 정의될 수 있다.
병진 벡터의 두 개의 해는 아래와 같이 재구성될 수 있다.
Figure 112015113313811-pat00063
Figure 112015113313811-pat00064
수학식(20)
여기서,
Figure 112015113313811-pat00065
는 행렬(A)의 a번째 행 및 b번째 열에 위치한 성분을 나타낸다. 일반적으로,
Figure 112015113313811-pat00066
이고 카메라의 움직임에 대한 다른 정보를 이용하여 물리적으로 일치하는 해가 선택되어야 한다.
전술한 방식에 따라 계산된 재구성된 병진 벡터(
Figure 112015113313811-pat00067
)는 아래와 같이 표현될 수 있다.
Figure 112015113313811-pat00068
수학식(21)
재구성된 병진 벡터는 카메라의 표준화된 속도로 간주될 수 있다. 여기서,
Figure 112015113313811-pat00069
는 항법해 추정 시스템(130)의 속도 갱신부(142)에서 추정된 속도의 정규화된 값일 수 있다. 본 발명의 실시예에서 측정치 모델의 우도 함수는 아래와 같이 가정될 수 있다.
Figure 112015113313811-pat00070
수학식(22)
여기서, K는 정규화 상수이고 ε는 확률값의 발산을 방지하도록 작은 수치일 수 있다. 오류 확률은 재구성된 병진과 속도 추정치 사이의 각도 차이의 역수에 비례하도록 모델링될 수 있다. 수학식(22)는 카메라의 속도를 갱신하기 위한 수학식(7)에 대응하는 측정치 모델이 될 수 있다.
본 발명의 실시예에 따르면 기존의 지형참조항법에 영상 정보를 통합한다. 영상으로부터 얻은 특징점의 위치를 지형고도데이터와 비교한 결과를 관성항법 시스템 등 다른 추정 결과와 결합하기 위해 통계적 필터가 이용될 수 있다. 종래에는 영상 정보와 지형정보의 상관관계를 이용하여 영상센서의 위치 정보만이 추출되었으나, 본 발명의 실시예에 따르면 영상센서의 위치, 자세 및 속도와 영상 측정치 간의 관계를 통해 통계적 필터에서 위치, 자세 및 속도가 갱신될 수 있다.
본 발명의 실시예에 따르면 종래 기술에 비해 영상 측정치로부터 얻을 수 있는 정보량이 증가될 수 있다.
본 발명의 실시예에 따르면 특징점의 위치를 계산하기 위하여 같은 지역을 카메라로 서로 다른 위치에서 두 번 촬영하여 각 영상에서 특징점을 탐지하고 탐지된 특징점을 매칭한 결과를 삼각측량 기법에 사용할 수 있다.
본 발명의 실시예에 따르면 영상 측정치를 분석하여 영상센서의 속도 갱신을 할 수 있도록 측정치 모델을 구성할 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 지형참조항법 시스템
110: 영상센서
120: 특징점 검출 및 매칭부
130: 영상 기반 항법해 추정 시스템
140: 갱신부
150: 프로세스 모델부
160: 관성센서
170: 지형고도데이터
180: 바로미터

Claims (12)

  1. 영상센서에 의해 서로 다른 시간에 순차적으로 촬영된 두 개의 영상 각각에서 특징점 정보 및 상기 두 개의 영상에서 공통된 특징점의 매칭 정보를 포함하는 영상 측정치를 이용하여, 상기 매칭된 특징점의 위치를 계산하는 단계;
    가속도계 및 각속도계 출력을 이용하여 상기 영상센서의 위치 및 자세 추정치를 획득하는 단계; 및
    상기 계산된 특징점의 위치를 지형고도데이터와 비교한 결과에 근거하여 상기 획득된 상기 영상센서의 위치 및 자세 추정치의 오차를 보정하여 상기 영상센서의 위치 및 자세 추정치를 갱신하는 단계;를 포함하는,
    지형참조항법에서 영상 기반 항법해 추정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상센서의 위치 및 자세 추정치를 갱신하는 단계는:
    상기 영상 측정치와 상기 영상센서의 위치 및 자세와의 관계를 정의하는 측정치 모델을 이용하여 수행되는, 지형참조항법에서 영상 기반 항법해 추정 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 두 개의 영상이 촬영된 시간 동안 상기 영상센서의 병진 벡터를 획득하여, 상기 영상센서의 속도 추정치를 갱신하는 단계를 더 포함하는, 지형참조항법에서 영상 기반 항법해 추정 방법.
  5. 제4항에 있어서,
    상기 병진 벡터는 8-포인트 알고리즘을 이용하여 획득되는, 지형참조항법에서 영상 기반 항법해 추정 방법.
  6. 제1항 또는 제3항에 있어서,
    바로미터의 출력을 이용하여, 상기 영상센서의 고도 추정치를 갱신하는 단계를 더 포함하는, 지형참조항법에서 영상 기반 항법해 추정 방법.
  7. 가속도계 및 각속도계 출력을 이용하여 영상센서의 위치 및 자세 추정치를 얻도록 구성된 프로세스 모델부: 및
    상기 영상센서에 의해 서로 다른 시간에 순차적으로 촬영된 두 개의 영상 각각에서 특징점 정보 및 상기 두 개의 영상에서 공통된 특징점의 매칭 정보를 포함하는 영상 측정치를 이용하여, 상기 매칭된 특징점의 위치를 계산하고 상기 계산된 특징점의 위치를 지형고도데이터와 비교한 결과에 근거하여 상기 획득된 상기 영상센서의 위치 및 자세 추정치의 오차를 보정하여 상기 영상센서의 위치 및 자세 추정치를 갱신하도록 구성된 위치 및 자세 갱신부;를 포함하는,
    지형참조항법에서 영상 기반 항법해 추정 시스템.
  8. 삭제
  9. 제7항에 있어서,
    상기 위치 및 자세 갱신부는:
    상기 영상 측정치와 상기 영상센서의 위치 및 자세와의 관계를 정의하는 측정치 모델을 이용하여 상기 영상센서의 위치 및 자세 추정치를 갱신하도록 구성된, 지형참조항법에서 영상 기반 항법해 추정 시스템.
  10. 제7항 또는 제9항에 있어서,
    상기 두 개의 영상이 촬영된 시간 동안 상기 영상센서의 병진 벡터를 획득하여, 상기 영상센서의 속도 추정치를 갱신하도록 구성된 속도 갱신부를 더 포함하는, 지형참조항법에서 영상 기반 항법해 추정 시스템.
  11. 제10항에 있어서,
    상기 병진 벡터는 8-포인트 알고리즘을 이용하여 획득되는, 지형참조항법에서 영상 기반 항법해 추정 시스템.
  12. 제7항 또는 제9항에 있어서,
    바로미터의 출력을 이용하여, 상기 영상센서의 고도 추정치를 갱신하는 고도 갱신부를 더 포함하는, 지형참조항법에서 영상 기반 항법해 추정 시스템.
KR1020150163066A 2015-11-20 2015-11-20 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법 KR101737950B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163066A KR101737950B1 (ko) 2015-11-20 2015-11-20 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163066A KR101737950B1 (ko) 2015-11-20 2015-11-20 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101737950B1 true KR101737950B1 (ko) 2017-05-19

Family

ID=59049337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163066A KR101737950B1 (ko) 2015-11-20 2015-11-20 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101737950B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109100537A (zh) * 2018-07-19 2018-12-28 百度在线网络技术（北京）有限公司 运动检测方法、装置、设备和介质
KR102026114B1 (ko) 2018-10-01 2019-09-27 주식회사 파블로항공 무인 항공기의 도심 항법 위치 추정장치 및 방법
CN113406566A (zh) * 2021-06-04 2021-09-17 广东汇天航空航天科技有限公司 一种飞行器定位的方法和装置
KR20220023046A (ko) 2020-08-20 2022-03-02 한국과학기술원 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램
CN115265588A (zh) * 2022-07-15 2022-11-01 北京航空航天大学 陆用捷联惯导基于逆向导航的零速修正在线平滑方法
US11609093B2 (en) 2021-06-07 2023-03-21 Honeywell International Inc. Position probability density function filter to determine real-time measurement errors for map based, vision navigation systems

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109100537A (zh) * 2018-07-19 2018-12-28 百度在线网络技术（北京）有限公司 运动检测方法、装置、设备和介质
KR102026114B1 (ko) 2018-10-01 2019-09-27 주식회사 파블로항공 무인 항공기의 도심 항법 위치 추정장치 및 방법
KR20220023046A (ko) 2020-08-20 2022-03-02 한국과학기술원 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램
KR102381013B1 (ko) 2020-08-20 2022-04-01 한국과학기술원 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램
CN113406566A (zh) * 2021-06-04 2021-09-17 广东汇天航空航天科技有限公司 一种飞行器定位的方法和装置
CN113406566B (zh) * 2021-06-04 2023-09-19 广东汇天航空航天科技有限公司 一种飞行器定位的方法和装置
US11609093B2 (en) 2021-06-07 2023-03-21 Honeywell International Inc. Position probability density function filter to determine real-time measurement errors for map based, vision navigation systems
CN115265588A (zh) * 2022-07-15 2022-11-01 北京航空航天大学 陆用捷联惯导基于逆向导航的零速修正在线平滑方法
CN115265588B (zh) * 2022-07-15 2024-04-09 北京航空航天大学 陆用捷联惯导基于逆向导航的零速修正在线平滑方法

Similar Documents

Publication Publication Date Title
KR101737950B1 (ko) 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
Jiao et al. Robust odometry and mapping for multi-lidar systems with online extrinsic calibration
US8660338B2 (en) Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
Mondragón et al. 3D pose estimation based on planar object tracking for UAVs control
Kneip et al. Closed-form solution for absolute scale velocity determination combining inertial measurements and a single feature correspondence
EP2901236B1 (en) Video-assisted target location
KR102226846B1 (ko) Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
KR20150088636A (ko) 위치 추정 장치 및 방법
Troiani et al. 2-point-based outlier rejection for camera-imu systems with applications to micro aerial vehicles
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
US20180075609A1 (en) Method of Estimating Relative Motion Using a Visual-Inertial Sensor
CN111707261A (zh) 一种微型无人机高速感知和定位方法
Schneider et al. Incremental real-time bundle adjustment for multi-camera systems with points at infinity
US9816786B2 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
Caruso et al. An inverse square root filter for robust indoor/outdoor magneto-visual-inertial odometry
Spaenlehauer et al. A loosely-coupled approach for metric scale estimation in monocular vision-inertial systems
Kinnari et al. GNSS-denied geolocalization of UAVs by visual matching of onboard camera images with orthophotos
Steffen et al. On visual real time mapping for unmanned aerial vehicles
JP5267100B2 (ja) 運動推定装置及びプログラム
CN115930948A (zh) 一种果园机器人融合定位方法
Ling et al. An iterated extended Kalman filter for 3D mapping via Kinect camera
Jeon et al. Quaternion-Based Iterative Extended Kalman Filter for Sensor Fusion of Vision Sensor and IMU in 6-DOF Displacement Monitoring
Meier et al. Visual-inertial curve SLAM
Geva et al. Estimating camera pose using bundle adjustment and digital terrain model constraints

Legal Events

Date Code Title Description
A201 Request for examination
R401 Registration of restoration