KR20220023046A - 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램 - Google Patents

다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220023046A
KR20220023046A KR1020200104492A KR20200104492A KR20220023046A KR 20220023046 A KR20220023046 A KR 20220023046A KR 1020200104492 A KR1020200104492 A KR 1020200104492A KR 20200104492 A KR20200104492 A KR 20200104492A KR 20220023046 A KR20220023046 A KR 20220023046A
Authority
KR
South Korea
Prior art keywords
frame
matching
rotation angle
movement position
contour
Prior art date
Application number
KR1020200104492A
Other languages
English (en)
Other versions
KR102381013B1 (ko
Inventor
이지윤
신석현
민동찬
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200104492A priority Critical patent/KR102381013B1/ko
Publication of KR20220023046A publication Critical patent/KR20220023046A/ko
Application granted granted Critical
Publication of KR102381013B1 publication Critical patent/KR102381013B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 유인기 또는 무인기의 운행시, 프레임 정합 및 윤곽선 정합을 통해 실시간으로 현재 위치 추정을 수행하여 그 결과를 제공하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
본 발명에 의하면, 종래 기술, 즉, 이종 영상 간 직접 정합에 공통적으로 나타나는 정합률 및 연산효율의 급격한 저하 문제와 탐색기 센서의 하드웨어적 특성으로 인해 영상에 발생하는 문제점을 동시에 해결하기 위하여, 유인기 또는 무인기에 설치된 탐색기가 촬영한 영상 간의 정합(frame matching) 및, 지도타일(map tile)을 이용하여 생성한 유사프레임 영상과 탐색기 영상 간의 윤곽선 정합(edge matching)을 통하여, 더욱 정밀하게 탐색기 위치를 추정하도록 한다.

Description

다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램{Method, apparatus and computer program for multi-matching based realtime vision-aided navigation}
본 발명은 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 유인기 또는 무인기의 운행시, 프레임 정합과 윤곽선 정합의 순차적 실행을 통해 실시간으로 현재 위치 추정을 수행하여 그 결과를 제공하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
이전 영상항법 기술들의 경우 참조지도(Reference Map)와 탐색기 영상을 직접 정합하는 방식으로 접근하였다. 종래기술은 크게 두가지 방식으로 나눌 수 있는데 첫번째는 탐색기로부터 촬영된 영상을 기보유한 참조지도와 정합시 기존의 특징 기반 정합 알고리즘(SIFT, SURF 등)을 개선시켜 정합률을 높여 위치정보를 얻는 방법이고, 두번째는 첫번째 방법들에서 문제가 되는 낮은 정합률을 개선하기 위해 시도된 방법으로서, 탐색기 영상에서 도로만을 추출한 후 도로의 갈래길 지점(node point)을 찾은 다음 기 보유한 지도 또는 상용지도의 갈래길 지점과 정합시켜 위치정보를 얻는 방법이다.
탐색기 영상을 특징 기반 정합으로 직접 정합하는 알고리즘의 경우 3차원 구조물, 지형물에 의한 빛반사, 가려짐 및 그늘에 의한 정합 문제 외에도 시간, 계절에 따른 영상의 밝기 차이 및 탐색기 종류에 따른 해상도 차이 등으로 인해 정합도의 차이가 크게 달라지고 이를 보완하기 위해 추가되는 알고리즘들로 인한 연산속도의 급격한 저하가 나타나는 것을 확인하였다. 또한 도로 추출을 통한 정합 방법의 경우 위에서 언급한 것들의 영향을 적게 받으나 도로가 명확히 보이지 않는 경우(수풀에 가려짐, 그늘 등)나 도로의 갈래길이 적은 경우 정합률이 급격히 낮아지는 문제점을 나타내었다.
그 외에도 기존 정합 방식들에 공통적으로 보여지는 중요한 제약점을 두가지 확인하였다. 우선 첫번째 제약점은 두가지 방법 모두 정합에 사용된 영상 지역이 대체적으로 평탄한 지역이거나 고고도(high altitude)에서 촬영한 영상이라는 것이다. 지형의 기복이 심한곳에서는 실제 탐색기에서 보여지는 영상이 지도와는 다르기 때문에 정합을 하는데 많은 어려움이 따를 것으로 생각된다. 이런 연유로 기존에 발표된 대부분의 영상정합 관련 논문들에서는 평탄한 지역 또는 고고도 지역 영상을 사용함으로써 지형 기복의 영향을 최소화 한 상태에서 영상정합 성능을 테스트 하였을 것으로 추측된다. 두번째 제약점은 기상조건이 양호한 상황을 가정하고 정합을 수행하였는데 실제 환경에서는 다양한 환경적 변수(눈,비 etc.)가 발생한다. 그 외에도 탐색기에 달린 영상감지 센서로 촬영을 하다보면 센서가 가지는 하드웨어적 특성으로 인해 다양한 문제점(잡음, 흐려짐 등)이 발생한다. 따라서 이와 같이 발생 가능한 다양한 경우를 모두 포함하는 영상 항법은 현재까지는 전무한 상황이다.
KR 10-1737950 B1
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 종래 기술, 즉, 이종 영상 간 직접 정합에 공통적으로 나타나는 정합률 및 연산효율의 급격한 저하 문제와 탐색기 센서의 하드웨어적 특성으로 인해 영상에 발생하는 문제점을 동시에 해결하기 위하여, 유인기 또는 무인기에 설치된 탐색기가 촬영한 영상 간의 정합(frame matching) 및, 지도타일(map tile)을 이용하여 생성한 유사프레임 영상과 탐색기 영상 간의 윤곽선 정합(edge matching)을 통하여, 더욱 빠르고 정밀하게 비행위치를 추정하도록 하는데 그 목적이 있다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 다중 정합 기반 실시간 영상항법 수행 방법은, (a) 탐색기 영상의 전 프레임(pre frame)과 후 프레임(post frame)을 정합시키는 단계; (b) 상기 전 프레임과 후 프레임 간의 회전각과 이동위치를 산출하는 단계; (c) 후 프레임의 위치(position), 이동방향각(heading) 및 프레임 범위(area)를 추정하는 단계; (d) 기 생성되어 서버에 저장되어 구축된 지도타일에 유무선 통신을 통해 접속하여, 또는 비행체의 저장장치에 탑재된 지도타일을 이용하여, 추정된 프레임 범위에 대한 유사프레임(pseudo frame)을 생성하는 단계; 및, (e) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하여 윤곽선 정합을 수행하는 단계를 포함한다.
상기 후 프레임은, 상기 전 프레임(pre frame)의 바로 다음 프레임 또는 상기 전 프레임(pre frame)으로부터 기 설정된 갯수의 프레임을 건너뛴 프레임으로 결정될 수 있다.
상기 후 프레임은, 상기 전 프레임(pre frame)과 제2 전 프레임 간의 프레임 정합에 소요된 시간 직후의 프레임으로 결정될 수 있고, 여기서 상기 제2 전 프레임은, 상기 전 프레임(pre frame)의 이전 프레임으로서, 상기 전 프레임(pre frame)과 프레임 정합을 수행한 프레임을 의미한다.
상기 단계(b)의 이동위치 및 회전각은 픽셀 좌표계 상의 픽셀 이동위치 및 회전각이고, 상기 단계(b)와 단계(c) 사이에, (b1) 상기 단계(b)에서 산출된 이동위치 및 회전각을 미터 좌표계 상의 이동위치 및 회전각으로 변환하는 단계를 더 포함할 수 있고, 상기 단계(c)에서 추정된 후 프레임의 위치는, WGS84 좌표계 상의 위치일 수 있다.
상기 단계(b)와 단계(c) 사이에, (b21) 상기 산출된 이동위치 또는 회전각이 기 설정된 허용범위보다 큰 지 여부를 비교하는 단계를 더 포함할 수 있고, 상기 산출된 이동위치 또는 회전각이 기 설정된 허용범위보다 큰 경우에는 상기 단계(c)에서 추정된 후 프레임(post frame)의 위치(position), 비행방향각(heading) 및 범위(area)는, 외삽법(extrapolation)으로 추정된 값을 사용할 수 있고, 상기 산출된 이동위치 또는 회전각이 기 설정된 허용범위 이하인 경우에는 상기 단계(c)에서 추정된 후 프레임(post frame)의 위치(position), 비행방향각(heading) 및 범위(area)는, 상기 전 프레임(pre frame)의 위치와, 상기 이동위치 및 회전각으로부터 추정된 값을 사용할 수 있다.
상기 단계(d)와 단계(e) 사이에, (d1) 윤곽선 정합 성능을 향상시키기 위하여, 상기 후 프레임과 상기 유사프레임에 나타나는 그림자를 감지하여 합산 후 교차 제거하는 단계를 더 포함할 수 있다.
상기 비행체의 저장장치에 탑재된 지도타일은, 비행 시나리오가 정해진 경우, 정해진 비행 궤적 내 탐색기 프레임 영역에 포함되는 최소한의 지도타일일 수 있다.
상기 단계(d)의 유사프레임 생성은, (d21) 상기 후 프레임(post frame)을 이용하여, 기 알고있는 위치값을 프레임의 중심점으로 하고 프레임이 가지는 X축 거리와 Y축 거리를 이용하여 네 모서리 부분의 위치값을 계산하는 단계; (d22) 해당 프레임 범위를 중심위치에 놓는 지도타일 n2개를 추출하여 n x n 참조지도를 생성하는 단계; (d23) 해당 프레임 영역 범위의 지도만을 남긴 후, 비행방향각을 고려하여 지도를 회전하는 단계; 및, (d24) 아핀변환을 적용하여, 후 프레임과 유사한 범위를 가지는 유사프레임(pseudo frame) 영상을 생성하는 단계를 포함할 수 있다.
상기 단계(d24) 이후, 새로운 후 프레임에 대한 유사프레임을 생성하는 경우,새로운 후 프레임 범위가 상기 단계(d22)에서 생성된 참조지도 안에 포함되는 경우에는, 연산시간을 단축하도록 상기 단계(d22)에서 생성된 참조지도를 재사용할 수 있다.
상기 단계(e)의 윤곽선 정합은, (e1) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하는 단계; (e2) 상기 추출된 후 프레임 윤곽선과 상기 유사프레임 윤곽선 사이의 오차각을 계산하여, 상기 유사프레임 윤곽선을 상기 오차각 만큼 상기 후 프레임 방향으로 회전시키는 단계; 및, (e3) 상기 후 프레임 윤곽선과 상기 유사프레임 윤곽선 사이의 오차위치를 계산하여, 상기 유사 프레임 윤곽선을 후 프레임 윤곽선에 맞추는 단계를 포함할 수 있다.
상기 단계(e2)의 후 프레임과 유사프레임 사이의 오차각 계산은, (e21) 상기 후 프레임의 기준 허프(Hough)각 및 상기 유사프레임의 기준허프각을 선정하는 단계; 및, (e22) 상기 두 기준 허프각의 차이를 계산하여 구한 허프각 차이값을 상기 오차각으로 결정하는 단계를 포함할 수 있고, 상기 각 프레임에서 기준 허프각의 선정은, 허프 변환(Hough tranform) 결과 구해진 수개의 원점에서 허프 선(Hough line)까지의 길이와 그때의 각(이하 '허프각'이라 한다)을 계산한 후, 허프각 분포가 밀집한 구간의 최빈각을 평균하여 기준 허프각으로 선정할 수 있다.
상기 단계(e2)에서, 상기 계산된 회전각이 기 설정된 허용 회전각을 넘을 경우, 허용 회전각 만큼만 유사프레임 윤곽선을 회전시킬 수 있다.
상기 단계(e3)에서, 상기 계산된 이동위치가 기 설정된 허용 이동위치를 넘을 경우, 허용 이동위치 만큼만 유사프레임 윤곽선을 이동시킬 수 있다.
상기 단계(e3) 이후, (e4) 반복 근사점(iterative closest point, ICP) 기법에 의하여, 윤곽선 이동위치 및 회전각을 추가 보정하여 윤곽선 정합률을 높이는 단계를 더 포함할 수 있다.
상기 단계(e4)에서, 추가 보정을 위해 계산된 회전각이 기 설정된 허용 회전각을 넘을 경우, 허용 회전각 만큼만 유사프레임 윤곽선을 회전시키고, 추가 보정을 위해 계산된 이동위치가 기 설정된 허용 이동위치를 넘을 경우, 허용 이동위치 만큼만 유사프레임 윤곽선을 이동시킬 수 있다.
본 발명의 다른 측면에 따르면, 다중 정합 기반 실시간 영상항법을 수행하기 위한, 비일시적 저장 매체에 저장된 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 탐색기 영상의 전 프레임(pre frame)과 후 프레임(post frame)을 정합시키는 단계; (b) 상기 전 프레임과 후 프레임 간의 회전각과 이동위치를 산출하는 단계; (c) 후 프레임의 위치(position), 이동방향각(heading) 및 범위(area)를 추정하는 단계; (d) 기 생성되어 서버에 저장되어 구축된 지도타일에 유무선 통신을 통해 접속하여, 또는 비행체의 저장장치에 탑재된 지도타일을 이용하여, 추정된 프레임 범위에 대한 유사프레임(pseudo frame)을 생성하는 단계; 및, (e) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하여 윤곽선 정합을 수행하는 단계가 실행되도록 하는 명령을 포함한다.
본 발명의 또 다른 측면에 따르면, 다중 정합 기반 실시간 영상항법을 수행하기 위한 장치는, (a) 탐색기 영상의 전 프레임(pre frame)과 후 프레임(post frame)을 정합시키는 단계; (b) 상기 전 프레임과 후 프레임 간의 회전각과 이동위치를 산출하는 단계; (c) 후 프레임의 위치(position), 이동방향각(heading) 및 범위(area)를 추정하는 단계; (d) 기 생성되어 서버에 저장되어 구축된 지도타일에 유무선 통신을 통해 접속하여, 또는 비행체의 저장장치에 탑재된 지도타일을 이용하여, 추정된 프레임 범위에 대한 유사프레임(pseudo frame)을 생성하는 단계; 및, (e) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하여 윤곽선 정합을 수행하는 단계가 실행되도록 한다.
본 발명에 의하면, 종래 기술, 즉, 이종 영상 간 직접 정합에 공통적으로 나타나는 정합률 및 연산효율의 급격한 저하 문제와 탐색기 센서의 하드웨어적 특성으로 인해 영상에 발생하는 문제점을 동시에 해결하기 위하여, 유인기 또는 무인기에 설치된 탐색기가 촬영한 영상 간의 정합(frame matching) 및, 지도타일(map tile)을 이용하여 생성한 유사프레임 영상과 탐색기 영상 간의 윤곽선 정합(edge matching)을 통하여, 더욱 빠르고 정밀하게 비행위치를 추정하도록 하는 효과가 있다.
도 1은 본 발명의 영상 항법 제공을 위한 위치 추정 과정을 거시적으로 나타내는 모식도.
도 2는 본 발명의 영상 항법 제공을 위한 위치 추정 과정을 미시적으로 나타내는 모식도.
도 3은 본 발명의 영상 항법 제공을 위한 위치 추정 과정을 나타내는 순서도.
도 4는 특징 기반 영상정합을 나타내는 도면.
도 5는 비 지역평균 필터(Non-Local Means Filter)를 적용한 결과를 적용 전 결과와 비교하여 나타낸 도면.
도 6은 위너필터 디컨벌루션(wiener filter deconvolution)을 적용한 결과를 적용 전 결과와 비교하여 나타낸 도면.
도 7은 히스토그램 정규화(histogram equalization)의 원리 및 그 적용 결과를 적용 전 결과와 비교하여 나타낸 도면.
도 8은 퍼지 C-평균 군집화(Fuzzy C-Means Clustering)의 원리 및 그 적용 결과를 적용 전 결과와 비교하여 나타낸 도면.
도 9는 탐색기 촬영 영상 프레임 간 정합 프로세스를 나타내는 도면.
도 10은 지형고도 적용 유무에 따른 영상정합 결과 차이를 나타내는 도면.
도 11은 타원체고도, 지형고도 및 지상고도를 비교하여 나타낸 도면.
도 12는 디지털 표고 모델을 이용한 지상고도 계산 방법을 도시한 도면.
도 13은 지형고도 적용 유무에 따른 프레임 정합 결과 차이를 도시한 도면.
도 14는 단계별 지도타일 영역 분할을 나타내는 도면.
도 15는 위도와 비행방향각에 따른 가로/세로 거리비를 나타내는 도면.
도 16은 유사프레임(pseudo frame) 영상 생성 프로세스를 나타내는 도면.
도 17은 탐색기 프레임과 유사프레임의 단순 윤곽선을 추출한 결과를 도시한 도면.
도 18은 영상 프레임에서의 윤곽선 향상 방법을 나타내는 모식도.
도 19는 윤곽선 향상 결과를 비교하여 도시한 도면.
도 20은 수정된 허프변환(modified Hough transform)을 이용한 회전각 오차 계산 및 최소화를 나타내는 도면.
도 21은 수정된 하우스도르프 거리(modified hausdorff distance)를 이용한 이동위치 오차 계산 및 최소화를 나타내는 도면.
도 22는 수정된 하우스도르프 거리(modified hausdorff distance)를 이용한 이상치 교차 확인 및 제거를 나타내는 도면.
도 23은 반복 근사점을 이용한 추가 이동위치 및 회전각 오차 계산 및 최소화를 나타내는 도면.
도 24는 이동위치 및 회전각 제약 기법을 이용한 이동위치 및 회전각 오차 최소화를 나타내는 도면.
도 25는 프레임 정합 실패 또는 오차 발생 시 외삽법을 이용한 대략적인 비행위치 추정을 나타내는 모식도.
도 26은 원 윤곽선 대비 남은 윤곽선의 비율을 이용한 위치 정확도 검증을 나타내는 도면.
도 27은 유인기 조종석 모니터링 시스템을 이용한 비행위치 보정 및 무인기-통제시스템 간 무선통신을 이용한 비행위치 보정의 개요도.
도 28은 다중 정합 기반 실시간 영상항법 수행 결과를 도시한 도면.
도 29는 GPS, 본 발명의 영상항법 및 IMU 관성항법의 통합항법의 모식도.
도 30은 GPS, 본 발명의 영상항법 및 IMU 관성항법의 통합항법의 수행결과를 도시한 도면.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 영상 항법 제공을 위한 위치 추정 과정을 거시적으로 나타내는 모식도이고, 도 2는 본 발명의 영상 항법 제공을 위한 위치 추정 과정을 미시적으로 나타내는 모식도이며, 도 3은 본 발명의 영상 항법 제공을 위한 위치 추정 과정을 나타내는 순서도이다.
이하에서는 도 3의 순서도에 따라, 도 1 및 도 2의 모식도를 참조하여 본 발명의 영상 항법 제공을 위한 위치 추정 과정을 전체적으로 설명한다. 도 3의 순서도에는 전체적인 줄기가 되는 과정을 위주로 기술되어 있으며, 순서도의 각 단계에 대한 세부적 내용 및 순서도에 기술되지 않은 세부적 과정 또는 내용들에 대하여는 도 4 내지 도 27을 참조하여 상세히 후술하기로 한다.
탐색기는 유인기 또는 무인기에 설치되어, 비행 지점의 영상을 지속적으로 촬영한다. 탐색기에서 촬영된 영상 프레임은, 본 발명의 영상 항법 제공을 위한 위치 추정 장치에서 프레임 정합(frame matching)에 사용된다.
본 발명에서 고려하는 영상항법은 유·무인기에 부착된 탐색기를 이용한다. 도 1과 같이 비행하는 동안 탐색기는 일정한 고도(타원체고, Alt0)를 유지하면서 지면을 수직으로 내려다보고 있다고 가정한다. 즉, 비행하는 동안 유,무인기 동체의 자세가 변하더라도 탐색기는 스스로 자세를 보정하면서 안정적으로 지면을 향한다고 가정한다. 또한 탐색기가 촬영한 영상은 픽셀기준 정사각형 영역을 갖는다고 가정한다.
도 1 및 도 2의 'Frame Matching'은, 탐색기 촬영 영상의 전 프레임(pre frame) 및 후 프레임(post frame)의 정합을 나타내고(S301 내지 S304), 'Edge Matching'은 후 프레임(post frame)과 후술하는 유사프레임(pseudo frame)의 윤곽선 정합을 나타낸다(S305 내지 S311).
본 발명의 다중 정합 기반 실시간 영상항법 프로그램(이하 '영상항법 프로그램'이라 한다)에 의해 동작하는 장치(비행체에 탑재된 장치, 이하 '영상항법 장치'라 한다)는, 탐색기에서 촬영한 각 프레임을 사용할 때, 비행체의 저장 장치에 연속적으로 저장된 프레임을 사용하거나, 또는 필요시 탐색기로부터 해당 프레임을 수신하여 사용할 수 있다. 이 경우, 전 프레임에 대한 후 프레임 선택 방법은 다음과 같다.
탐색기는 그 성능에 따라서 초당 프레임 수(Frames per Second, FPS)가 다르며, FPS가 클수록 프레임 간의 시간 간격은 매우 짧아진다.
전 프레임(pre frame)의 이전 프레임으로서, 전 프레임과 프레임 정합을 수행한 프레임을 제2 전 프레임이라 하자. 이때 제2 전 프레임은, 전 프레임의 바로 앞 프레임일 수도 있고, 전 프레임에서 여러 프레임 앞으로 건너뛴 이전 프레임일 수도 있다. 만약, 제2 전 프레임과 전 프레임(pre frame) 간의 프레임 정합에 소요된 시간이 연속한 프레임 간 시간 간격보다 짧다면 영상항법 장치는 전 프레임(pre frame)의 다음 프레임을 후 프레임(post frame)을 선택하여, 그 두 프레임 간에 영상정합을 수행한다.
그러나 제2 전 프레임과 전 프레임(pre frame) 간의 프레임 정합에 소요된 시간이 연속한 프레임 간 시간 간격보다 길다면 영상항법 장치는, 그 프레임 정합에 소요된 시간 직후의 프레임을 후 프레임(post frame)으로 사용할 수 있으며, 이때 후 프레임(post frame)은 전 프레임(pre frame)으로부터 하나 이상의 프레임을 건너뛴 프레임이게 된다.
만약 프레임이 저장 장치에 연속으로 저장되고 있다면, 영상항법 장치는 저장된 프레임 중, 제2 전 프레임과 전 프레임(pre frame) 간의 프레임 정합에 소요된 시간 경과 직후의 프레임을 후 프레임(post frame)으로 선택한다. 그러나 만약 프레임을 탐색기로부터 수신하여 사용하는 경우라면, 예를 들어 플래그(flag) 등의 적절한 신호 방식에 따라, 제2 전 프레임과 전 프레임(pre frame) 간의 프레임 정합에 소요된 시간 경과 직후의 프레임이 탐색기로 요청되고, 탐색기는 해당 프레임을 영상항법 장치로 전달해주게 된다.
결론적으로, 영상항법 장치에서 제2 전 프레임과 전 프레임(pre frame) 간의 프레임 정합에 소요된 시간 직후의 프레임을 후 프레임(post frame)으로 선택하며, 이때 그 프레임 정합에 소요된 시간과, 탐색기의 초당 프레임 수(FPS)에 따른 연속한 프레임 간 시간 간격의 크기에 따라 후 프레임(post frame)은, 전 프레임(pre frame)의 바로 다음 프레임일 수도 있고, 또는 전 프레임(pre frame)으로부터 여러 프레임을 건너뛴 프레임일 수도 있게 된다.
또 다른 방법으로는 탐색기의 FPS와, 프레임 정합에 걸리는 소요시간을 일정하게 결정한 후 그에 따라, 전 프레임의 바로 다음 프레임을 항상 후 프레임으로 결정하거나 또는 전 프레임으로부터 기 정해진 갯수만큼의 프레임을 건너뛴 프레임을 항상 후 프레임으로 결정하는 방식을 채택할 수도 있다.
프레임 정합은 특징 기반 영상 정합을 사용할 수 있는데 이에 대하여는 도 4를 참조하여 후술한다. 이와 같이 정합된 영상으로부터 프레임의 '이동위치(translation)' 및 '회전각'을 산출한다(S302). 이하에서 '이동위치(translation)'란 후 프레임이 전 프레임으로부터 이동한 거리와 이동방향을 포함하는 양을 나타내고, '회전각'이란, 후 프레임이 전 프레임으로부터 회전한 각도를 나타낸다.
산출된 이동위치 및 회전각은 픽셀 좌표계 상의 픽셀 이동위치 및 회전각이기 때문에, 이를 미터좌표계 상의 이동위치 및 회전각으로 변환한다(S303). 이미 알고있는 전 프레임의 위치(Lat0,Lon0)와, 산출된 이동위치 및 회전각으로부터, 후 프레임의 위치(position), 이동방향각(heading) 및 범위(area)를 추정해 내는데(S304), 추정되는 후 프레임의 위치를 WGS84 좌표계 상의 위치로 변환하는 알고리즘을 포함할 수 있다.
이 경우 이동위치 또는 회전각이 기 설정된 허용범위보다 클 경우에는(S321), 산출된 이동위치 및 회전각을 사용하지 않고, 외삽법(extrapolation)으로 후 프레임을 추정할 수 있는데(S322), 이에 대하여는 도 25를 참조하여 후술한다.
프레임 정합을 통한 좌표 변환(S301 내지 S304, 또는 S301,S302,S303,S321,S322) 시 발생하는 위치 오차를 수정하기 위한 방법으로 윤곽선 정합 알고리즘(S305 내지 S311)을 추가 적용할 수 있다. 이를 위해 먼저 후 프레임으로 추정(S304 또는 S322)된 범위에 대하여, 지도타일(map tiles)을 이용하여 유사프레임(pseudo frame)을 생성한다(S305). 지도타일에 대하여는 도 14를 참조하여, 그리고 유사프레임 생성 프로세스에 관하여는 도 16을 참조하여 상세히 후술한다.
추정된 후 프레임과, 생성된 유사프레임 각각에 대하여 윤곽선 데이터를 추출한다. 윤곽선 데이터를 추출하는 기본적인 방법에 대하여는 도 17, 도 18을 참조하여 상세히 후술한다.
이후, 후 프레임에 대하여 추출된 윤곽선과, 유사프레임에 대하여 추출된 윤곽선에 대하여, 수정된 허프 변환(modified Hough Transform, mHT)을 이용하여 두 윤곽선 사이의 오차각을 계산하여(S307), 유사 프레임 윤곽선을 오차각 만큼 회전시켜 후 프레임에 맞춘다(S308). 수정된 허프 변환(mHT) 방법에 대하여는 도 20을 참조하여 상세히 후술한다.
다음으로 수정된 하우스도르프 거리(modified Hausdorff Distance, mHD)를 이용하여 두 윤곽선 사이의 오차위치를 계산하여(S309), 유사 프레임 윤곽선을 후 프레임 윤곽선에 맞춘다(S310). 수정된 하우스도르프 거리(mHD) 방법에 대하여는 도 21 및 도 22를 참조하여 상세히 후술한다.
최종적으로 반복 근사점(iterative closest point, ICP) 기법을 적용하여 계산된 추가적인 오차거리와 오차각을 계산하여 유사프레임 윤곽선의 위치 및 회전 오차를 추가 보정함(S311)에 의해 후 프레임과의 윤곽선 정합률을 높임으로써 위치와 비행방향각을 보다 정밀하게 계산한다. 반복 근사점(ICP)을 수행한 최종 결과는 도 23에 도시되어 있다.
전,후 프레임이 바뀔 때마다 전술한 과정을 반복하면서 실시간으로 탐색기의 위치 추정을 진행하게 된다.
도 4는 특징 기반 영상정합을 나타내는 도면이다.
도 3의 순서도에서 단계 S301의 프레임 정합에서 수행되는 특징 기반 영상 정합은, 2개 이상의 영상 내 선택된 특징점들에 대해 점들 사이의 대응관계를 계산하여 하나의 영상으로 재구성하는 정합 기법이다. 이때 특징점(도 4의 원)은 해리스 코너 검출기(Harris corner detector) 등과 같은 특징점 검출기로 추출할 수 있다. 이후 영상 픽셀이 가지는 강도의 변화(gradient)를 이용하여 특징 기술자(도 4의 화살표)를 추출하여 2개 이상의 영상의 변환 관계식을 계산하여 적용함으로써 하나의 영상으로 재구성할 수 있다. 본 발명에서는 탐색기로부터 생성된 전후 프레임 영상을 이용하여 특징 기반 영상 정합을 수행하며, 좌표계 변환 알고리즘을 추가 적용 및 통합하여 이를 프레임 정합으로 정의한다.
도 5는 잡음제거에 의한 향상(noise enhancement)을 위해 비 지역평균 필터(non-local means filter)를 적용한 결과를 적용 전 결과와 비교하여 나타낸 도면이다.
탐색기에 장착된 광학센서는 하드웨어적인 특성으로 인해, 촬영된 영상에 다양한 잡음이 발생하게 된다. 특히 가우시안, 푸아송, 양자화 잡음의 형태로 많이 발생하는데 이러한 형태의 잡음을 제거하는 알고리즘으로 비 지역평균 필터(non-local means filter)를 사용할 수 있다. 비 지역평균 필터(non-local means filter)를 사용하기 전(before) 영상과 후(after) 영상이 도 5에 대비되어 있으며, 적용 후 영상이 훨씬 명료함을 알 수 있다.
도 6은 움직임에 의한 영상 흐려짐 개선(motion blur enhancement)을 위해 위너필터 디컨벌루션(wiener filter deconvolution)을 적용한 결과를 적용 전 결과와 비교하여 나타낸 도면이다.
탐색기에 장착된 광학센서(CMOS 기반)의 경우 고정된 물체를 일정 시간 간격 동안 스캔하기 때문에 스캔 시간 대비 이동 발생 시 필연적으로 움직임에 의한 영상 흐려짐이 발생하게 된다. 저고도를 고속으로 이동하는 유,무인기의 경우 영상 흐려짐 효과가 상대적으로 크게 두드러져 나타나게 된다. 이를 해결하기 위해 위너필터(wiener filter)를 사용하였고 이때 입력값으로 사용되는 점 확산 함수(point spread function, PSF)의 추정에 필요한 움직임 픽셀이동거리와 픽셀이동방향은
1) 비행속도와 비행각속도로부터 계산된 미터거리와 방향을 픽셀 좌표계로 변환하여 구하거나,
2) 탐색기 영상을 공간주파수 데이터로 변환한 다음 관련 수식에 대입하여 구할 수 있다.
1)번 방식이 연산량을 줄일 수 있어서 적합하지만 속도/각속도 정보를 사용할 수 없을 경우 2)번 방식을 이용하여 흐림 개선이 가능하다. 위너필터 디컨벌루션을 사용하기 전(before) 영상과 후(after) 영상이 도 6에 대비되어 있으며, 적용 후 영상이 훨씬 명료함을 알 수 있다.
도 7은 영상 대조도/밝기 향상(contrast/brightness enhancement)를 위한 히스토그램 정규화(histogram equalization)의 원리 및 그 적용 결과를 적용 전 결과와 비교하여 나타낸 도면이다.
야간 또는 대낮, 그리고 연무가 낀 대기를 비행할 경우, 이때 생성된 탐색기 영상은 낮은 대조도를 가진다. 따라서 히스토그램 정규화(histogram equalization)를 통해 영상의 대조도를 향상시킨다. 히스토그램 정규화(histogram equalization)를 사용하기 전(before) 영상과 후(after) 영상이 도 7의 하단에 대비되어 있으며, 적용 후 영상이 훨씬 선명함을 알 수 있다.
도 8은 그림자 영역 검출(shadow detection)을 위한 퍼지 C-평균 군집화(fuzzy C-means clustering)의 원리 및 그 적용 결과를 적용 전 결과와 비교하여 나타낸 도면이다.
탐색기 영상 프레임과 참조지도로부터 생성된 유사프레임(Pseudo Frame) 간 윤곽선 정합(도 3의 단계 S305 내지 S311)을 수행하기 전에 정합성능을 높이고 수행속도를 향상시키기 위해서는 필연적으로 생성되는 그림자 영역을 탐지해서 제거하는 것이 중요하다. 유사프레임에 보여지는 그림자 영역과 탐색기 프레임에서 보여지는 그림자 영역이 서로 다를 경우 그림자가 윤곽선으로 추출되어 윤곽선 정합 프로세스에 오차를 발생시키기 때문에, 두 영상으로부터 탐지된 그림자 영역을 합산하여 교차 제거하여 동일한 영역의 윤곽선들만을 남김으로써 순차적으로 진행되는 윤곽선 정합 프로세스의 오차를 최소화할 수 있다. 그림자 검출에는 퍼지 C-평균 군집화(fuzzy C-means clustering) 알고리즘을 사용할 수 있다. 그림자 영역 검출(shadow detection) 알고리즘을 사용하기 전(before) 영상과 후(after) 영상이 도 8의 하단에 대비되어 있으며, 적용 후 영상에서 그림자 영역이 제거되어 있음을 알 수 있다.
도 9는 탐색기 촬영 영상 프레임 간 정합(inter frame feature matching) 프로세스를 간략화하여 나타낸 도면이다.
도 9에 도시된 바와 같은, 탐색기 촬영영상에서 전 프레임(pre frame)과 후 프레임(post frame) 간의 프레임 간 정합(도 3의 단계 S301)에서, 정합 알고리즘은 일반적인 특징 기반 영상정합 알고리즘을 사용할 수 있다. 본 발명에서는, 영상정합을 통해 얻어진 픽셀 이동위치(pixel translation)와 픽셀 회전각(pixel rotation angle)을 미터 좌표계상의 실제 이동위치(translation)와 방위각으로 변환하는 알고리즘과 이를 이용하여 후 프레임(post frame)의 위치를 WGS84 좌표계 상의 위치로 변환하는 알고리즘을 더 수행한다.
도 10은 지형고도 적용 유무에 따른 영상정합 결과 차이를 나타내는 도면이고, 도 11은 타원체고도, 지형고도 및 지상고도를 비교하여 나타낸 도면이다.
픽셀 좌표계에서 미터 좌표계로 변환(도 3의 단계 S303)하는 공식에 입력값으로 사용되는 고도는 지상고도(Height of Above Ground Level, AGL)를 사용한다. 왜냐하면 탐색기로부터 생성된 프레임 영상은 지형의 굴곡과 3차원 구조물이 반영되어있기 때문에 지형 고도가 높은 곳을 지날 때에는 생성된 프레임의 정합으로 계산된 픽셀 이동위치가 길어지고 픽셀 회전각의 변화율이 커지는 양상을 나타낸다. 반면 지형 고도가 낮은 곳을 지날 때에는 계산된 픽셀 이동위치가 상대적으로 짧아지고 픽셀 회전각의 변화율이 작아진다. 도 10에서 그와 같은 지형고도 높이 차이에 따른 영상정합 이동위치와 회전각의 차이를 확인할 수 있다.
따라서 비행 위치의 지상고도를 알기 위해서는 WGS84 타원체 좌표계를 기준으로 비행고도와 지형고도의 차이를 계산해야 한다. 이때 비행위치의 지형고도를 계산하기 위해서 디지털 지형 모델(Digital Terrain Model, DTM) 또는 디지털 표고 모델(Digital Elevation Model, DEM)을 사용할 수 있다. 일 실시예로서 본 발명에서는 SRTM3(3 arc-second, 90m 해상도) 디지털 표고 모델을 사용한다. 이 경우 디지털 표고 모델이 가지는 위경도 벡터를 분석하여 탐색기 위치에 인접한 4n개 격자의 위경고도를 취합한 후 보간을 취하여 비행위치의 정확한 지형고도를 산출한다. 이후 비행고도와의 차이를 계산하여 지상고도를 구한다. 도 11에 각각의 고도의 차이점을 도식화 하여 나타내었다.
도 12는 디지털 표고 모델을 이용한 지상고도 계산 방법을 도시한 도면이고, 도 13은 지형고도 적용 유무에 따른 프레임 정합 결과 차이를 도시한 도면이다.
즉, 도 12는 디지털 표고 모델로부터 비행위치의 지상고도를 계산하는 것을 도식화 한 것이고, 도 13은 픽셀 좌표계에서 미터 좌표계로 변환하는 공식에 지형고도를 고려하지 않았을 때와 지형고도를 고려했을 때 실제 이동위치와의 차이를 비교한 결과를 나타낸다. 결과를 보면 회전각 오차에 비해 이동위치 오차가 상대적으로 많이 줄어든 것을 확인할 수 있다. 하지만 오차가 여전히 남아있기 때문에 이를 제거하기 위해 윤곽선 정합(도 3의 단계 S305 내지 S311)을 수행한다.
도 14는 단계별 지도타일 영역 분할을 나타내는 도면이다.
지도타일은 전 지구를 정사각형 영역에 투영한 다음 단계(Level) 별로 영역을 나누어 256 x 256 픽셀 크기로 이미지화 한 것을 나타낸다. 일 실시예로서 png 파일로 저장될 수 있으며, 파일 이름은 예를 들어 "Y축 분할순서.png"으로 표시될 수 있고, "단계" 폴더 아래 하위폴더인 "X축 분할순서" 폴더 안에 저장될 수 있다. 본 발명의 영상 항법을 수행할 경우 비행영역 외의 불필요한 대용량의 지도(수 Gigabyte ~ 수백 Terrabyte)를 탑재하여 사용하는 대신, 예상 비행궤적에 대한 최소한의 지도타일 만을 탑재하여 탐색기 영상이 포함되는 영역을 9개의 지도타일(300 Kilobyte ~ 1.5 Megabyte)로 재구성하여 사용함으로써 메모리 및 CPU의 부하를 획기적으로 줄일 수 있고 비행위치 추정을 빠르게 수행할 수 있다.
즉, 도 16을 참조하여 상세히 후술하는 유사프레임(pseudo frame) 생성을 위해 지도타일을 이용하는 방법은 두가지가 있는데, 첫번째는, 기 생성되어 서버에 저장되어 구축된 지도타일에 유무선 통신을 통해 접속하는 방법이고, 두번째는, 비행 시나리오가 정해진 경우 정해진 비행 궤적 내 탐색기 프레임 영역에 포함되는 최소한의 지도타일만을 비행체의 저장장치에 탑재하여, 그 탑재된 지도타일을 이용하는 것이며, 이러한 두번째 방법을 이용할 경우 전술한 바와 같이 메모리 및 CPU의 부하를 획기적으로 줄일 수 있고 비행위치 추정을 빠르게 수행할 수 있는 장점이 있는 것이다.
도 15는 위도와 비행방향각에 따른 가로/세로 거리비를 나타내는 도면이다.
빈센티 공식(Vincenty's direct formula)을 사용하여 WGS84 타원체를 기준으로 비행고도(300m, 600m, 900m, 1200m, 2400m, 3600m)와 위도(3°, 12°, 24°, 36°, 47°, 59°, 78°), 그리고 진북(True North) 기준 비행방향각(magnetic heading)을 0도부터 359도 까지 1도씩 회전시키면서 생성한 총 15,120개의 고정 탐색기 영상으로부터 도 15의 결과를 도출하였다.
지구 타원체의 영향으로 인해 위도와 고도, 그리고 비행방향각에 따라 탐색기가 촬영한 정사각형 영상의 가로와 세로의 미터 거리(Meter Distance)에 차이가 발생한다. 실험해 본 결과 고도가 변화하더라도 가로세로 미터 거리비(XY ratio)는 변하지 않는 것을 확인하였고 위도의 변화에 의해서만 XY ratio가 변하는 것을 확인하였다. 이를 다른 관점에서 본다면 특정 고도에서 각각의 탐색기가 나타내는 영상의 범위가 서로 다르더라도 고도 변화에 의한 영상 범위의 변환문제로 생각하면 단순 가중치로 보정이 가능함을 나타낸다. 이것은, 제안하는 방법을 이용할 경우 시판하는 모든 광학/적외선 탐색기 영상을 이용하여 영상 항법이 가능함을 의미한다.
X축 방향 거리와 Y축 방향 거리(Dst.X, Dst.Y), XY ratio는 0 ~ 360° 비행방향각에 따른 사인파(sine wave)의 형태를 나타내기 때문에 이를 유사 사인함수로 수식화 할 수 있다. 이때 진폭(Amplitude, A)과 수직이동(Vertical Shift, D)는 위도에 따라 다르게 입력되는 변수로 나타내어진다. 그리고 위상변이(Phase Shift, Φ)의 경우 정사각 영역을 회전시켜 X와 Y축 거리의 변화를 나타내기 때문에 두 위상변이의 합은 90°가 된다.
고도의 변화에 따른 영상의 X와 Y축 거리의 변화는 선형 상관성을 가진다. 따라서 특정 위도와 비행 방향에서의 영상의 Y축 방향 거리는 그 위도에 해당하는 진폭에 위상변이와 비행방향각이 적용된 사인함수를 곱한 다음 수직이동값을 더하여 구한다. 비행방향각에 대한 영상의 X축 방향 거리(Dst.X)는 XY ratio와 Y축 방향 거리(Dst.Y)의 곱으로 계산할 수 있다.
Figure pat00001
위 식에서 구한 X와 Y축 방향 거리를 이용하여 영상정합 결과 계산된 후 프레임(post frame)의 픽셀 좌표계 기반 이동위치값과 회전값을 미터 좌표계 기반 이동위치와 회전각으로 1차 변환(도 3의 단계 S303)한 후, 빈센티 공식(Vincenty's direct formula)에 대입함으로써 탐색기의 현재 위치값, 즉, 후 프레임(post frame)에서의 위치값을 계산한다(도 3의 단계 S304). 이때 계산된 위치값은 오차가 포함되는데 영상정합 시 계산된 이동위치값과 회전값에 포함된 오차, 탐색기 영상 기반 픽셀 좌표계에서 지형 기반 미터 거리 좌표계로 변환시 발생한 오차, 그리고 지형 기반 미터 거리 좌표계에서 지형 기반 타원체 좌표계로 변환시 발생한 오차가 순차적으로 누적되어 발생한다.
이와 같은 단순 프레임 간 정합만을 이용할 경우 좌표변환 이외에 다른 추가적인 연산이 없기 때문에 빠른 위치값 추정이 가능하지만, 비행시간이 길어질수록 프레임 간 정합 후 좌표계 변환 시 발생한 이동위치 및 회전각 오차가 누적되어 추정 위치값이 발산하는 문제가 발생한다.
도 16은 유사프레임(pseudo frame) 영상 생성 프로세스를 나타내는 도면이다.
즉, 도 16은 도 3의 단계 S305의 유사프레임(pseudo frame) 생성 프로세스를 실제 영상으로 나타낸 것이다.
프레임 정합을 통한 좌표 변환(도 3의 단계 S301 내지 S304) 시 발생하는 위치 오차를 수정하기 위한 방법으로 윤곽선 정합 알고리즘(도 3의 단계 S305 내지 S311)을 추가 적용할 수 있다. 프레임 간 정합 후 타원체 좌표계로의 변환을 통해 오차가 포함된 위치(coarse position)를 계산한 후, 그 위치를 중심으로 하고 탐색기 프레임의 가로세로 거리를 사각 영역의 모서리 위치값으로 하는 유사프레임(pseudo Frame) 영상을 참조지도(map reconstructed from map-tiles)로부터 생성한다.
도 16을 참조하면, 우선 프레임 간 정합에 사용된 프레임들 중 후 프레임을 이용하여, 기 알고있는 위치값을 프레임의 중심점으로 하고 프레임이 가지는 X축 거리와 Y축 거리를 이용하여 네 모서리 부분의 위치값을 계산한다(도 16(a)). 이후 해당 범위를 중심위치에 놓는 지도타일 n2개를 추출하여 n x n 참조지도를 생성하고(도 16(b)), 해당 범위의 지도만을 남긴 후(도 16(c),(d)) 비행방향각을 고려하여 지도를 회전하여(도 16(e)) 아핀변환을 적용하면 프레임과 유사한 범위를 가지는 유사프레임(pseudo frame) 영상을 생성(도 16(f))할 수 있다. 아핀변환은, 공간상에서의 기하학적 형태를 변환하는 행렬함수식이다.
이후, 새로운 후 프레임에 대한 유사프레임을 생성하는 경우, 새로운 후 프레임 범위가 도 16(b)와 같이 이미 생성된 참조지도 안에 포함되는 경우에는, 연산시간을 단축하기 위하여, 생성된 참조지도를 재사용할 수 있다.
도 17은 탐색기 프레임과 유사프레임의 단순 윤곽선을 추출한 결과를 도시한 도면이고, 도 18은 영상 프레임에서의 윤곽선 향상 방법을 나타내는 모식도이며, 도 19는 윤곽선 향상 결과를 비교하여 도시한 도면이다.
도 16과 같은 지도영상 생성이 끝나면 프레임 영상과 유사프레임 영상을 각각 윤곽선 데이터로 변환하여 2차 정합, 즉, 윤곽선 정합(도 3의 단계 S305 내지 S311)을 진행한다. 윤곽선 추출 시 중요한 사항은 건물과 도로 위주의 윤곽선이 추출되어야 윤곽선 정합 수행 속도면에서 정합율 측면에서 우수한 결과를 나타낸다는 것이다. 일반적으로 널리 사용되는 윤곽선 추출 알고리즘들로는 라플라샨, 캐니, 소벨, 프리윗, 로버츠 등이 있다. 테스트를 통해 프리윗 윤곽선 감지(Prewitt edge eetection) 알고리즘이 수행 속도면에서 건물과 도로 윤곽 외 추출 억제 성능면에서 우수한 결과를 나타내었다. 하지만, 프리윗 만을 이용한 단순 윤곽선 변환을 진행할 경우 도 17에 도시된 바와 같이, 영상에서 보여지는 것에 비해 윤곽선이 적게 추출된 것을 확인할 수 있다.
윤곽선 향상 알고리즘(modified edge extraction)은 대비 제한 적응형 히스토그램 평활화(CLAHE) 알고리즘과 프리윗 윤곽선 감지(Prewitt edge detection) 알고리즘을 기저로 사용한다. 프리윗 윤곽선 감지 알고리즘은 빠른 윤곽선 감지 성능을 나타내지만 영상의 대조도(contrast)의 영향을 많이 받는다. 영상의 대조도가 클수록 윤곽선 추출 성능이 높아지고 반대의 경우 낮아진다. 탐색기 영상의 경우 시간, 계절, 날씨에 따라 영상이 가지는 대조도에 차이가 발생한다. 따라서 이러한 환경 변화에 구애받지 않도록 영상의 전영역에 걸쳐 대조도를 높이는 과정이 필요하다. 이때 단순히 CLAHE를 한번 사용하는 대신, 도 18에 도시된 바와 같이 영상 타일(image tile)의 갯수를 순차적으로 증가시키면서 CLAHE를 수행하게 되면 낮은 대비를 갖는 윤곽선까지 추출이 가능해진다.
도 19에는 프레임 영상(도 19(a))으로부터 단순 윤곽선 알고리즘을 수행한 경우의 결과(도 19(b))와, 도 18에 도시된 윤곽선 향상 알고리즘(modified edge extraction)을 사용한 경우의 결과(도 19(c))가 대비되어 나타나 있다. 도 19(c)의 경우가 더욱 명확한 윤곽선이 형성되어 있음을 알 수 있다.
윤곽선 정합에는 크게 세가지 방법이 사용될 수 있다. 1차 오차 회전각을 찾아 보정하기 위하여, 수정된 허프 변환(modified Hough transform, mHT)을 사용할 수 있고, 1차 오차 이동위치를 보정하기 위하여, 수정된 하우스도르프 거리(modified Hausdorff distance, mHD)을 사용할 수 있다. 여기에, 최종적으로 잔여 오차 회전각과 이동위치를 더욱 보정하기 위해 반복 근사점(iterative closest point, ICP)을 사용할 수 있다. 수정된 허프변환(mHT)을 이용한 회전각 오차 계산 및 최소화에 대하여는 도 20을 참조하여 후술하고, 수정된 하우스도르프 거리(mHD)를 이용한 이동위치 오차 계산 및 최소화에 대하여는 도 21을 참조하여 후술하며, 수정된 하우스도르프 거리(mHD)를 이용한 이상치 교차 확인 및 제거에 대하여는 도 22를 참조하여 후술한다. 또한 반복 근사점(ICP)을 이용한 추가 이동위치 오차 및 회전각 오차 최소화에 대하여는 도 23을 참조하여 후술한다.
도 20은 수정된 허프변환(modified Hough transform, HT)을 이용한 회전각 오차 계산 및 최소화를 나타내는 도면이다.
수정된 허프 변환(mHT)은 일반적으로 널리 알려진 허프 변환(HT)을 기저 알고리즘으로 사용한다. 차이점은 허프 변환 결과 얻어진 수개의 원점에서 허프 선(Hough line)까지의 길이와 그때의 각을 계산한 다음 허프각 분포가 밀집한 구간의 최빈각을 평균하여 기준 허프각으로 선정하는데 있다. 이러한 방식을 프레임과 유사프레임에 적용하여 각각의 기준 허프각을 찾은다음 두 허프각의 차이를 계산하여 구한 허프각 차이값(
Figure pat00002
)을 아래의 수식에 대입하여 1차 오차 회전각을 계산한다.
Figure pat00003
도 21은 수정된 하우스도르프 거리(modified hausdorff distance, mHD)를 이용한 이동위치 오차 계산 및 최소화를 나타내는 도면이고, 도 22는 수정된 하우스도르프 거리(modified hausdorff distance, HD)를 이용한 이상치 교차 확인 및 제거를 나타내는 도면이며, 도 23은 반복 근사점을 이용한 추가 이동위치 및 회전각 오차 계산 및 최소화를 나타내는 도면이다.
일반적으로 하우스도르프 거리(HD)는 두 윤곽선들 사이의 유사도를 측정하는데 사용된다. 아래는 관련 수식을 나타낸다.
Figure pat00004
기존 HD 알고리즘의 수식에 나온 A와 B는 각각 윤곽선 데이터를 나타낸다.
A의 윤곽선 데이터들이 B 윤곽선 데이터에 닿는 가장 짧은 거리를 계산한 집합을 h(A,B)라고 하고 반대로 B의 윤곽선 데이터들이 A 윤곽선 데이터에 닿는 가장 짧은 거리를 계산한 집합을 h(B,A)라고 할 때 각 집합이 가지는 값들 중 가장 큰 값을 두 윤곽선 사이의 거리로 나타낸다. 즉, 기존 HD는 각각의 윤곽선 데이터(pointset)들 사이의 최소값 집합을 구한 다음 양쪽 중 가장 큰 값을 거리값으로 추정하는 기법이다. 이는 하우스도르프 거리가 0에 가까울수록 두 윤곽선이 서로 유사함을 의미한다.
그러나 여기에는 단점이 존재한다. 즉, 우선 두 윤곽선의 형태는 유사하나, 크기가 서로 다르거나 회전되어 있거나 이상치(outlier)를 가진 윤곽선이 포함 될 때 하우스도르프 거리 오차가 급격히 증가하게 된다. 따라서 이러한 제약들을 해결하기 위해 앞서 유사프레임을 추출함으로써 크기 변화와 회전 변화를 최소화 하였다. 그리고 이상치를 제거하기 위한 방법으로 1차적으로 최소값의 평균을 사용하도록 수정하였다. 이렇게 함으로써 이상치가 하우스도르프 거리 오차를 증가시키는 것을 최소화 하였다.
Figure pat00005
비록 이렇게 하더라도 HD를 이용한 거리값은 정확한 거리값이 아닌 오차를 포함한 대략적인 거리값이 된다. 대략적인 거리값을 이동거리 오차로 하고 45도 각도로 360도 까지 총 8 방향으로 유사프레임 윤곽선 데이터를 이동시키면서 프레임 윤곽선 데이터와의 HD 거리가 최소가 되는 지점을 찾아서 유사프레임 윤곽선 데이터를 업데이트 한다(도 21 참조). 이때 비슷한 건물이나 반복되는 패턴의 윤곽선이 나타날 경우 단순 HD 거리만을 정합 판별 기준으로 이용할 경우 비슷한 건물 또는 패턴의 윤곽선에 정합되어 위치 추정이 잘못될 가능성이 높아진다. 따라서 윤곽선 정합 판별의 강건성을 부여하기 위해 두 영상 간 윤곽선 점들의 최소거리를 이용하였다. 상호간에 계산된 유클리디안 거리(Euclidean distance, ||a-b||) 최소값 집합에서 역치 거리를 넘지 않는 윤곽선들 만을 추출한 다음 추출된 프레임 윤곽선 점들의 전체 개수를 수정한 하우스도르프 거리 결과값으로 나눔으로써 정합 판별 성능을 높였다. 앞서 설명한 수식과 프로세스를 합해서 수정된 하우스도르프 거리(mHD)로 정의하였다.
8방향으로 제약을 준 이유는 모든 각에 대한 HD를 계산할 경우 연산 시간이 길어지기 때문이다. 비록 8방향 계산을 통해 구한 최선의 이동위치에 오차가 포함되지만, 이는 다음 프로세스인 ICP를 수행할 때 상쇄되어진다.
Figure pat00006
이렇게 총 8방향에 대한 위치이동을 통해 가장 상관관계가 높게 나온 각을 선택한 다음 다시 한번 유클리디안 거리를 계산하여 역치값보다 큰 윤곽선 데이터를 제거한다. 이렇게 함으로써 다음 단계에서 수행하게 될 반복 근사점(ICP) 알고리즘이 수행될 때 발생할 수 있는 이동위치 및 회전각 오차를 최소화 할 수 있다.
도 23은 이와 같이 수정된 하우스도르프 거리(mHD)를 적용하여 거리 오차가 최소화 되고 이상치들이 제거된 윤곽선을 이용하여 ICP를 수행한 결과를 나타낸다.
도 24는 이동위치 및 회전각 제약 기법을 이용한 이동위치 및 회전각 오차 최소화를 나타내는 도면이다.
이상적으로는 최종적으로 계산된 추가 이동위치와 회전각을 좌표 변환하여 적용함으로써 정확한 위치 추정이 가능해야 한다. 하지만 3차원 지형과 구조물을 포함하는 탐색기 프레임의 정합을 통해 추정된 대략적인 위치와 비행방향각은 일정 수준의 오차를 내포하고 있고 이차원의 고정된 영상을 가지는 지도로부터 생성된 유사프레임과 삼차원의 실시간으로 변하는 영상을 가지는 탐색기 프레임과의 윤곽선 정합 수행 시에도 마찬가지로 일정 수준의 오차가 발생한다. 이전에 이동위치 오차와 회전각 오차를 계산하기 위해서 수정된 허프 변환(mHT)과 수정된 하우스도르프 거리(mHD)를 이용하였고 최종적으로 반복 근사점 방법으로 잔여 오차를 계산하여 대략적인 위치값을 업데이트하여 보다 정확한 위치를 추정하도록 하였다.
문제는 수정된 허프 변환(mHT)과 반복 근사점(ICP) 알고리즘을 통해 계산된 회전각 오차(도 3의 단계 S307, S311)의 경우 드물긴 하지만 허프 선이 엉뚱한 곳에 선택되어지거나 반복 근사점(ICP) 알고리즘 수행시 제거되지 않은 이상치의 영향으로 10도가 넘기도 한다. 이 경우 도 24에 나타낸 것처럼 탐색기 비행 영상에서 나타나는 회전각이 허용 회전각을 넘을 경우 허용 회전각 만큼만 유사프레임 윤곽선을 회전시키도록 제약(constraint)을 준다.
또한 수정된 하우스도르프 거리(mHD)와 반복 근사점(ICP)를 통해 계산된 이동위치(도 3의 단계 S309, S311)의 경우에도 허용 이동위치를 설정하고 계산된 이동위치가 기준값을 넘길 경우 허용위치 만큼만 이동하도록 제약을 준다.
이렇게 함으로써 드물게 발생하는 회전각 오차와 이동위치 오차가 위치 추정에 주는 영향을 최소화할 수 있다. 일반적으로 오차가 크게 발생하는 경우보다 오차가 작거나 없는 경우가 확률적으로 더 많이 발생하기 때문에 오차가 발생하더라도 반복되는 위치 추정 프로세스를 통해 오차가 상쇄된다.
도 25는 프레임 정합 실패 또는 오차 발생 시 외삽법을 이용한 대략적인 비행위치 추정을 나타내는 모식도이다.
본 발명에서 제안하는 방법은 탐색기 영상의 전 프레임(pre frame)의 위치값을 안다는 전제하에 전후 프레임 간 정합을 통해 WGS84좌표계 상에서의 후 프레임(post frame)의 대략의 위치값을 계산하는 과정을 거친다. 그러나 환경의 영향이나 광학 센서의 문제로 인해 일시적으로 탐색기 프레임 영상의 상태가 좋지 않은 경우 프레임 정합이 잘못될 우려가 있다. 잘못된 프레임 정합의 결과로 엉뚱한 위치를 후 프레임의 대략적인 위치로 계산하게 되면 이를 기반으로 생성하는 유사프레임(pseudo frame)과 후 프레임(post frame)의 영역에 차이가 발생하게 되고 이런 경우 최종 추정 위치 또한 잘못될 가능성이 커진다. 이런 상황에서 프로세스를 반복할수록 프레임 정합 오차와 윤곽선 정합 오차의 복합적인 영향으로 위치 추정이 어렵게 된다.
이를 사전에 방지하기 위한 기법을 다음과 같이 적용한다.
즉, 프레임 정합 결과 계산된 이동위치와 회전값(도 3의 단계 S302, S303)이 허용범위를 벗어난 경우(도 3의 단계 S321) 문제가 발생한 것으로 판단하여, 프레임 정합을 통해 계산된 값을 버리고 이전 위치값들에 외삽법을 적용하여 다음 위치를 판단함으로써(S322), 프레임 정합 결과로 추정된 위치의 정확도보다는 다소 떨어지만, 윤곽선 정합(도 3의 단계 S305 내지 S311)을 통해 더욱 정확한 위치 추정 및 수렴이 가능하도록 하였다. 그것이 가능한 이유는 이전에 설명한 수정된 허프 변환(mHT)을 통한 1차 회전각 오차 보정(도 3의 단계 S307, S308) 및, 수정된 하우스도르프 거리(mHD)를 이용한 1차 이동위치 오차 보정 과정(도 3의 단계 S309, S310), 그리고 반복 근사점(ICP)을 이용한 2차 회전각 및 이동위치 오차 보정 과정(도 3의 단계 S311)을 거치기 때문이다.
도 25는 프레임 정합 실패 또는 오차 발생 시, 이와 같이 외삽법을 이용한 비행 경로 추정에 대한 모식도를 나타낸다. 다항식 기반 외삽법을 사용하였고 비행궤적이 프레임 시간 간격에 대해 빠르게 변하지 않고 느리고 완만하게 변하기 때문에 2차 이하 다항식을 사용하였다.
이하의 다항 외삽 방정식(polynomial extrapolation equation)에서 x는 비행에 따른 시간값을 나타내고 y는 위치값(위도, 경도)을 나타낸다. 행렬 연산을 통해 다항식 변수(a1,a2)를 찾은 다음 프레임 에러가 발생한 시간값을 적용하면 예상 위치값을 계산할 수 있다.
Figure pat00007
도 26은 원 윤곽선 대비 남은 윤곽선의 비율을 이용한 위치 정확도 검증을 나타내는 도면이다.
탐색기 영상을 이용한 항법 시 위치 추정이 잘 되었는지 판별하는 지표가 필요하다. 상황에 따라서 실제 구조물의 윤곽선이 흐리고 유사 구조물의 윤곽선이 선명하거나 그 반대일 경우 윤곽선 정합 시 위치 추정 오차가 발생하게 되고 반복된 위치 추정 시 오차가 누적되어 발산할 가능성이 있기 때문이다. 따라서 윤곽선 정합의 성능을 나타내는 지표로 프레임 영상과 유사프레임 영상으로부터 각각 추출된 초기 윤곽선(OF,OPF) 대비 윤곽선 정합 후 제거되지 않고 남은 각각의 윤곽선(FF,FPF)의 비율(FMR,PFMR) 중 큰값(MR)을 산정하였다. 이렇게 하는 이유는 경우에 따라 프레임의 윤곽선과 유사프레임의 윤곽선 추출율이 다르게 나타나기 때문에 어느 한쪽을 지표로 삼기 어렵기 때문이다. 따라서 두 윤곽선의 원래 윤곽선 대비 남은 윤곽선의 비율이 어느 한쪽이라도 높으면 위치 추정이 잘 되었다고 가정하였다.
Figure pat00008
비율 역치값(90%, 80%, 70%, 60%, 50%)을 기준으로 총 6개의 구간으로 나누어 성능 지표값이 비율 역치 최저값(50%) 이하로 나올 경우 윤곽선 정합을 통한 위치 추정값을 버리고 영상정합 결과 얻은 위치 추정값을 최종값으로 한다.
도 27은 유인기 조종석 모니터링 시스템을 이용한 비행위치 보정 및 무인기-통제시스템 간 무선통신을 이용한 비행위치 보정의 개요도이다.
본 발명은 탐색기의 영상을 이용하여 프레임 정합과 윤곽선 정합을 순차적으로 수행함으로써 유,무인기의 위치를 추정하는 과정을 거친다. 이에 따라, 연산에 사용되는 프레임 중심점의 위치가 어느 정도 정확해야만, 반복되는 정합 프로세스를 통해 다음 프레임의 중심점의 정확한 위치를 추정할 수 있다. 문제는 탐색기 영상에서 특징점/특징기술자, 그리고 윤곽선 데이터가 정합을 수행하기에 충분하지 않거나 이상치를 많이 가질 경우 다음 위치 추정 시 오차가 발생하게 되고, 이 값을 다음 프레임의 중심 위치로 사용하는 과정을 반복할 경우 위치 오차가 급격히 증가하게 된다. 따라서 비행 시나리오가 정해질 경우 사전 모의비행시험을 통해 정합이 잘 안되거나 이상치가 많이 나타나는 비행 영역을 지날 때에는 수동적으로 위치오차를 보정해주는 프로세스가 필요하다. 도 27에 유인기(도 27(a))와 무인기(도 27(b)) 각각에 대한 부분 위치보정 프로세스에 대한 개요도를 나타내었다.
유인기의 경우(도 27(a)), 조종석 모니터링 시스템을 이용하여 탐색기의 후 프레임과 유사프레임의 차이를 조종사가 직접 보면서 수동으로 이동위치 오차와 회전각 오차를 보정함으로써 추정 위치 오차를 상쇄시킬 수 있다.
무인기의 경우(도 27(b)), 후 프레임과 유사프레임 데이터를 유,무선 송신기를 통해 제어부에 전송하고 제어부에서는 관리자가 두 프레임을 비교하면서 수동으로 이동위치 오차와 회전각 오차를 보상하는 값을 무인기로 전송함으로써 무인기가 잘못된 위치 및 비행방향을 수정하여 안정정인 비행이 가능하게 할 수 있다.
도 28은 다중 정합 기반 실시간 영상항법 수행 결과를 도시한 도면이고, 도 29는 GPS, 본 발명의 영상항법 및 IMU 관성항법의 통합항법의 모식도이며, 도 30은 GPS, 본 발명의 영상항법 및 IMU 관성항법의 통합항법의 수행결과를 도시한 도면이다.
앞서 설계한 알고리즘을 순차적으로 적용한 결과는 아래와 같다. 흰색으로 표시된 궤적이 실제 비행위치 궤적(Ground Truth)이고 하늘색, 초록색, 연두색, 노란색, 주황색, 빨간색으로 표시된 궤적이 다중정합 기반 영상항법을 통해 추정된 윤곽선 비율(MR)에 따라 색상을 구분한 비행위치 궤적이다. 추정 비행위치 궤적의 경우 추정 정확도가 가장 높은것 부터 낮은 순서대로 6개의 색깔로 다르게 표시하였다. 도 28에 나타난 위치 추정 결과를 살펴보면 영상항법 중에 추정 정확도가 떨어지는 부분(주황색)이 조금 나타나는데 대부분은 영상항법을 통한 위치추정이 비교적 잘 된 것을 확인할 수 있다.
본 발명의 영상항법 자체의 성능을 검증한 다음 통합 항법을 수행하였다. 통합 항법은 GPS와 본 발명의 영상항법의 공통 출력값인 위경도값과 IMU의 출력값인 3축 가속도와 각속도를 이용하였고 편의상 약결합 선형 칼만필터를 사용하여 통합항법을 수행하였다.
통합항법 시나리오는 우선 0초부터 100초 동안은 GPS+IMU 통합항법을 수행하다가 100초가 지나면 GPS가 불능이 되는 상황을 가정하였다. GPS가 불능이 되면 불능되기 이전의 위치값과 방위각을 초기값으로 다중정합 기반 영상항법이 수행되도록 하였고 총 비행시간 212초 까지 Vision+IMU 통합항법을 수행하도록 하였다. 통합항법 관련 모식도 및 수행 결과 그래프는 각각 도 29와 도 30에 나타내었다.
S301 내지 S311, S321, S322 : 영상 항법 제공을 위한 위치 추정 단계

Claims (17)

  1. 다중 정합 기반 실시간 영상항법 수행 방법으로서,
    (a) 탐색기 영상의 전 프레임(pre frame)과 후 프레임(post frame)을 정합시키는 단계;
    (b) 상기 전 프레임과 후 프레임 간의 회전각과 이동위치를 산출하는 단계;
    (c) 후 프레임의 위치(position), 이동방향각(heading) 및 프레임 범위(area)를 추정하는 단계;
    (d) 기 생성되어 서버에 저장되어 구축된 지도타일에 유무선 통신을 통해 접속하여, 또는 비행체의 저장장치에 탑재된 지도타일을 이용하여, 추정된 프레임 범위에 대한 유사프레임(pseudo frame)을 생성하는 단계; 및,
    (e) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하여 윤곽선 정합을 수행하는 단계
    를 포함하는 다중 정합 기반 실시간 영상항법 수행 방법.
  2. 청구항 1에 있어서,
    상기 후 프레임은,
    상기 전 프레임(pre frame)의 바로 다음 프레임 또는 상기 전 프레임(pre frame)으로부터 기 설정된 갯수의 프레임을 건너뛴 프레임으로 결정되는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  3. 청구항 1에 있어서,
    상기 후 프레임은,
    상기 전 프레임(pre frame)과 제2 전 프레임 간의 프레임 정합에 소요된 시간 직후의 프레임으로 결정되고,
    여기서 상기 제2 전 프레임은,
    상기 전 프레임(pre frame)의 이전 프레임으로서, 상기 전 프레임(pre frame)과 프레임 정합을 수행한 프레임을 의미하는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  4. 청구항 1에 있어서,
    상기 단계(b)의 이동위치 및 회전각은 픽셀 좌표계 상의 픽셀 이동위치 및 회전각이고,
    상기 단계(b)와 단계(c) 사이에,
    (b1) 상기 단계(b)에서 산출된 이동위치 및 회전각을 미터 좌표계 상의 이동위치 및 회전각으로 변환하는 단계
    를 더 포함하고,
    상기 단계(c)에서 추정된 후 프레임의 위치는,
    WGS84 좌표계 상의 위치인 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  5. 청구항 1에 있어서,
    상기 단계(b)와 단계(c) 사이에,
    (b21) 상기 산출된 이동위치 또는 회전각이 기 설정된 허용범위보다 큰 지 여부를 비교하는 단계
    를 더 포함하고,
    상기 산출된 이동위치 또는 회전각이 기 설정된 허용범위보다 큰 경우에는 상기 단계(c)에서 추정된 후 프레임(post frame)의 위치(position), 비행방향각(heading) 및 범위(area)는, 외삽법(extrapolation)으로 추정된 값을 사용하고,
    상기 산출된 이동위치 또는 회전각이 기 설정된 허용범위 이하인 경우에는 상기 단계(c)에서 추정된 후 프레임(post frame)의 위치(position), 비행방향각(heading) 및 범위(area)는, 상기 전 프레임(pre frame)의 위치와, 상기 이동위치 및 회전각으로부터 추정된 값을 사용하는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  6. 청구항 1에 있어서,
    상기 단계(d)와 단계(e) 사이에,
    (d1) 윤곽선 정합 성능을 향상시키기 위하여, 상기 후 프레임과 상기 유사프레임에 나타나는 그림자를 감지하여 합산 후 교차 제거하는 단계
    를 더 포함하는 것을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  7. 청구항 1에 있어서,
    상기 비행체의 저장장치에 탑재된 지도타일은,
    비행 시나리오가 정해진 경우, 정해진 비행 궤적 내 탐색기 프레임 영역에 포함되는 최소한의 지도타일인 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  8. 청구항 1에 있어서,
    상기 단계(d)의 유사프레임 생성은,
    (d21) 상기 후 프레임(post frame)을 이용하여, 기 알고있는 위치값을 프레임의 중심점으로 하고 프레임이 가지는 X축 거리와 Y축 거리를 이용하여 네 모서리 부분의 위치값을 계산하는 단계;
    (d22) 해당 프레임 범위를 중심위치에 놓는 지도타일 n2개를 추출하여 n x n 참조지도를 생성하는 단계;
    (d23) 해당 프레임 영역 범위의 지도만을 남긴 후, 비행방향각을 고려하여 지도를 회전하는 단계; 및,
    (d24) 아핀변환을 적용하여, 후 프레임과 유사한 범위를 가지는 유사프레임(pseudo frame) 영상을 생성하는 단계
    를 포함하는 것을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  9. 청구항 8에 있어서,
    상기 단계(d24) 이후, 새로운 후 프레임에 대한 유사프레임을 생성하는 경우,
    새로운 후 프레임 범위가 상기 단계(d22)에서 생성된 참조지도 안에 포함되는 경우에는, 연산시간을 단축하도록 상기 단계(d22)에서 생성된 참조지도를 재사용하는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  10. 청구항 1에 있어서,
    상기 단계(e)의 윤곽선 정합은,
    (e1) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하는 단계;
    (e2) 상기 추출된 후 프레임 윤곽선과 상기 유사프레임 윤곽선 사이의 오차각을 계산하여, 상기 유사프레임 윤곽선을 상기 오차각 만큼 상기 후 프레임 방향으로 회전시키는 단계; 및,
    (e3) 상기 후 프레임 윤곽선과 상기 유사프레임 윤곽선 사이의 오차위치를 계산하여, 상기 유사 프레임 윤곽선을 후 프레임 윤곽선에 맞추는 단계
    를 포함하는 것을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  11. 청구항 10에 있어서,
    상기 단계(e2)의 후 프레임과 유사프레임 사이의 오차각 계산은,
    (e21) 상기 후 프레임의 기준 허프(Hough)각 및 상기 유사프레임의 기준허프각을 선정하는 단계; 및,
    (e22) 상기 두 기준 허프각의 차이를 계산하여 구한 허프각 차이값을 상기 오차각으로 결정하는 단계
    를 포함하고,
    상기 각 프레임에서 기준 허프각의 선정은,
    허프 변환(Hough tranform) 결과 구해진 수개의 원점에서 허프 선(Hough line)까지의 길이와 그때의 각(이하 '허프각'이라 한다)을 계산한 후, 허프각 분포가 밀집한 구간의 최빈각을 평균하여 기준 허프각으로 선정하는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  12. 청구항 10에 있어서,
    상기 단계(e2)에서,
    상기 계산된 회전각이 기 설정된 허용 회전각을 넘을 경우, 허용 회전각 만큼만 유사프레임 윤곽선을 회전시키는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  13. 청구항 10에 있어서,
    상기 단계(e3)에서,
    상기 계산된 이동위치가 기 설정된 허용 이동위치를 넘을 경우, 허용 이동위치 만큼만 유사프레임 윤곽선을 이동시키는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  14. 청구항 10에 있어서,
    상기 단계(e3) 이후,
    (e4) 반복 근사점(iterative closest point, ICP) 기법에 의하여, 윤곽선 이동위치 및 회전각을 추가 보정하여 윤곽선 정합률을 높이는 단계
    를 더 포함하는 것을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  15. 청구항 14에 있어서,
    상기 단계(e4)에서,
    추가 보정을 위해 계산된 회전각이 기 설정된 허용 회전각을 넘을 경우, 허용 회전각 만큼만 유사프레임 윤곽선을 회전시키고,
    추가 보정을 위해 계산된 이동위치가 기 설정된 허용 이동위치를 넘을 경우, 허용 이동위치 만큼만 유사프레임 윤곽선을 이동시키는 것
    을 특징으로 하는 다중 정합 기반 실시간 영상항법 수행 방법.
  16. 다중 정합 기반 실시간 영상항법을 수행하기 위한, 비일시적 저장 매체에 저장된 컴퓨터 프로그램으로서,
    비일시적 저장 매체에 저장되며, 프로세서에 의하여,
    (a) 탐색기 영상의 전 프레임(pre frame)과 후 프레임(post frame)을 정합시키는 단계;
    (b) 상기 전 프레임과 후 프레임 간의 회전각과 이동위치를 산출하는 단계;
    (c) 후 프레임의 위치(position), 이동방향각(heading) 및 범위(area)를 추정하는 단계;
    (d) 기 생성되어 서버에 저장되어 구축된 지도타일에 유무선 통신을 통해 접속하여, 또는 비행체의 저장장치에 탑재된 지도타일을 이용하여, 추정된 프레임 범위에 대한 유사프레임(pseudo frame)을 생성하는 단계; 및,
    (e) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하여 윤곽선 정합을 수행하는 단계
    가 실행되도록 하는 명령을 포함하는, 다중 정합 기반 실시간 영상항법을 수행하기 위한, 비일시적 저장 매체에 저장된 컴퓨터 프로그램.
  17. 다중 정합 기반 실시간 영상항법을 수행하기 위한 장치로서,
    (a) 탐색기 영상의 전 프레임(pre frame)과 후 프레임(post frame)을 정합시키는 단계;
    (b) 상기 전 프레임과 후 프레임 간의 회전각과 이동위치를 산출하는 단계;
    (c) 후 프레임의 위치(position), 이동방향각(heading) 및 범위(area)를 추정하는 단계;
    (d) 기 생성되어 서버에 저장되어 구축된 지도타일에 유무선 통신을 통해 접속하여, 또는 비행체의 저장장치에 탑재된 지도타일을 이용하여, 추정된 프레임 범위에 대한 유사프레임(pseudo frame)을 생성하는 단계; 및,
    (e) 상기 후 프레임과 상기 유사프레임의 윤곽선 데이터를 추출하여 윤곽선 정합을 수행하는 단계
    가 실행되도록 하는, 다중 정합 기반 실시간 영상항법을 수행하기 위한 장치.
KR1020200104492A 2020-08-20 2020-08-20 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램 KR102381013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200104492A KR102381013B1 (ko) 2020-08-20 2020-08-20 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200104492A KR102381013B1 (ko) 2020-08-20 2020-08-20 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20220023046A true KR20220023046A (ko) 2022-03-02
KR102381013B1 KR102381013B1 (ko) 2022-04-01

Family

ID=80815257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200104492A KR102381013B1 (ko) 2020-08-20 2020-08-20 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102381013B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911474A (zh) * 2024-03-20 2024-04-19 中南大学 一种在线瓦片地图渐进式动态配准方法、系统及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130004227A (ko) * 2009-06-25 2013-01-09 이에이디에스 도이치란트 게엠베하 Ｓａｒ 영상 내의 픽셀의 지리 좌표를 결정하기 위한 방법
KR101737950B1 (ko) 2015-11-20 2017-05-19 한국과학기술원 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
KR20190001086A (ko) * 2017-06-26 2019-01-04 서울대학교산학협력단 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130004227A (ko) * 2009-06-25 2013-01-09 이에이디에스 도이치란트 게엠베하 Ｓａｒ 영상 내의 픽셀의 지리 좌표를 결정하기 위한 방법
KR101737950B1 (ko) 2015-11-20 2017-05-19 한국과학기술원 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
KR20190001086A (ko) * 2017-06-26 2019-01-04 서울대학교산학협력단 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911474A (zh) * 2024-03-20 2024-04-19 中南大学 一种在线瓦片地图渐进式动态配准方法、系统及装置

Also Published As

Publication number Publication date
KR102381013B1 (ko) 2022-04-01

Similar Documents

Publication Publication Date Title
CN108986037B (zh) 基于半直接法的单目视觉里程计定位方法及定位系统
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
EP2575104B1 (en) Enhancing video using super-resolution
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
US8503730B2 (en) System and method of extracting plane features
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
WO2006083297A2 (en) Method and apparatus for aligning video to three-dimensional point clouds
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
KR101885961B1 (ko) 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
CN112419374A (zh) 一种基于图像配准的无人机定位方法
CN115406447B (zh) 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法
CN112197764A (zh) 实时位姿确定方法、装置及电子设备
CN113744337A (zh) 一种融合视觉、imu与声纳的同步定位与建图方法
CN108801225B (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
KR102381013B1 (ko) 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
CN114627395B (zh) 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
KR101879858B1 (ko) 보정 영상으로부터 추출된 대상 객체의 좌표 정보와 항공사진의 좌표 정보를 비교하여 공통점을 추출함으로써 공간데이터를 모델링하는 공간 모델링 시스템
Qin et al. A coarse elevation map-based registration method for super-resolution of three-line scanner images
CN112102412B (zh) 一种无人机降落过程中视觉锚点的检测方法及系统
KR101775124B1 (ko) 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant