KR20150101009A - 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 - Google Patents

무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR20150101009A
KR20150101009A KR1020140021506A KR20140021506A KR20150101009A KR 20150101009 A KR20150101009 A KR 20150101009A KR 1020140021506 A KR1020140021506 A KR 1020140021506A KR 20140021506 A KR20140021506 A KR 20140021506A KR 20150101009 A KR20150101009 A KR 20150101009A
Authority
KR
South Korea
Prior art keywords
image
corresponding points
aerial image
matching
map
Prior art date
Application number
KR1020140021506A
Other languages
English (en)
Other versions
KR101617078B1 (ko
Inventor
배종수
주용관
백준기
임재현
Original Assignee
주식회사 한화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한화 filed Critical 주식회사 한화
Priority to KR1020140021506A priority Critical patent/KR101617078B1/ko
Publication of KR20150101009A publication Critical patent/KR20150101009A/ko
Application granted granted Critical
Publication of KR101617078B1 publication Critical patent/KR101617078B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

본 발명은 정찰용 소형 무인기(UAV: Unmanned Aerial Vehicle)에서 획득한 원근감(perspective) 왜곡을 갖는 항공 영상을 지도 영상에 정합하는 영상 정합 장치 및 방법에 관한 것이다. 이를 위한 본 발명의 영상 정합 장치는 원근감 왜곡을 갖는 항공 영상과, 항공 영상의 대응 위치를 나타내는 지도 영상에 복수개의 대응점들을 할당하는 대응점 할당부; 및 복수개의 대응점들을 근거로 기하학적 변환을 수행함으로써, 지도 영상에 항공 영상을 정합하는 기하 변환부를 포함하는 것을 특징으로 한다.

Description

무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법{APPARATUS AND METHOD FOR IMAGE MATCHING UNMANNED AERIAL VEHICLE IMAGE WITH MAP IMAGE}
본 발명은 정찰용 소형 무인기(UAV: Unmanned Aerial Vehicle)에서 획득한 항공 영상과 지도 영상 간 영상 정합 장치 및 방법에 관한 것이고, 보다 상세하게 원근감(perspective) 왜곡을 갖는 항공 영상을 지도 영상에 정합하는 영상 정합 장치 및 방법에 관한 것이다.
무인 항공기 예를 들어, 정찰용 소형 무인기(UAV) 는 내장된 위치 추적 장치 예를 들어, GPS(Global Positioning System)를 이용하여 무인 항공기에 대한 위치 즉 좌표 값을 파악할 수 있다. 또한, 이러한 무인 항공기는 영상 센서를 포함하여, 타겟 영상을 촬영할 수 있다. 하지만 이러한 영상 센서는 영상 센서의 구조적인 문제에 기인하여, 무인 항공기의 좌표 값과 타겟의 위치는 정확하게 일치하지 않는다.
예를 들어, 도 1에 도시된 것처럼, 무인 항공기(10)에서 촬영된 타겟에 대한 항공 영상은 무인 항공기(10)가 타겟의 수직선 상에 있는 것이 아닌 사선 방향으로 촬영된다. 즉, 이러한 항공 영상의 촬영 특성에 기인하여, 정확한 타겟 위치는 유추되기 힘들다.
이에 관련하여, 종래에는 영상 대조 기법을 이용하여, 이러한 표적의 위치를 추정하는 기술이 개발되었다. 대조 영상은 일반적으로, 기하 변형 요소를 가지고 있기 때문에, 직접 참조 지도 영상과 정합하지 않고 투영 기하 변환을 이용한다. 이러한 투영 기하 변환은 대조 영상과 참조 영상에서 특징점을 추출함으로써, 투영 기하 변환에 필요한 파라미터를 추정하고 두 영상을 정합하는 기법이다.
하지만, 이러한 종래 방법은 특징점을 추출하는데 있어서, 두 영상이 환경적인 요인 즉, 계절, 날씨 또는 안개로 인한 요인, 그리고 도로의 재정비 또는 신규 건축물 등과 같이, 예상치 못한 변화에 기인하여 정확한 특징점을 추출에 실패하는 경우가 많다. 또한, 동일한 영상 조건에서도, 특징점 추출 방식에 따라 부정확한 특징점 추출이 발생하는 경우가 존재한다.
이에 관련하여 발명의 명칭이 "선수계형상 추출 방법"인 한국공개특허 제1998-0057608호가 존재한다.
본 발명은 무인 항공기에서 촬영된 원근감 왜곡을 갖는 항공 영상을 통해, 타겟의 위치와 무인 항공기의 보다 정확한 위치를 추정하는 영상 정합 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 무인 항공기에서 촬영된 영상을 근거로, 기존에 데이터베이스 내에 가지고 있던 지도 영상을 갱신할 수 있는 영상 정합 장치 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 영상 정합 장치는 원근감 왜곡을 갖는 항공 영상과, 항공 영상의 대응 위치를 나타내는 지도 영상에 복수개의 대응점들을 할당하는 대응점 할당부; 및 복수개의 대응점들을 근거로 기하학적 변환을 수행함으로써, 지도 영상에 항공 영상을 정합하는 기하 변환부를 포함하는 것을 특징으로 한다.
또한, 항공 영상은, 타겟을 기준으로 지면과 무인 항공기는 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상일 수 있다.
또한, 대응점 할당부는, 복수개의 대응점들을 통해 생성되는 영역이 무인 항공기의 타겟의 지점을 포함하도록 복수개의 대응점들을 할당할 수 있다.
또한, 복수개의 대응점들은, 적어도 4개 이상으로 구성될 수 있다.
또한, 본 발명의 영상 정합 장치는, 복수개의 대응점들을 근거로 기하학적 변환에 사용되는 변환 행렬을 추정하는 행렬 추정부를 더 포함하여 구성될 수 있다.
또한, 행렬 추정부는, 복수개의 대응점들의 좌표들을 동차(homogeneous) 좌표들로 변환하고, 동차 좌표들과 변환 행렬을 연산함으로써, 변환 행렬에 포함된 파라미터들을 추정할 수 있다.
또한, 기하 변환부는, 변환 행렬을 근거로, 지도 영상에 항공 영상을 정합할 수 있다.
또한, 기하 변환부는, 변환 행렬을 근거로, 지도 영상 상의 복수개의 대응점들에 항공 영상 상의 복수개의 대응점들을 정합시킴으로써, 경선을 기준으로 항공 영상의 회전 각도(α)를 추론하고, 회전 각도(α)를 이용하여 항공 영상을 지도 영상에 대응하도록 회전시킬 수 있다.
또한, 본 발명의 영상 정합 장치는, 기하 변환부에서 도출된 정합 영상을 근거로, 무인 항공기의 좌표와, 항공 영상에 포함된 타겟의 좌표를 추출하는 좌표 추출부를 더 포함할 수 있다.
또한, 기하학적 변환은, 투영 변환(projective transformation)일 수 있다.
또한, 본 발명의 영상 정합 장치는, 전체 지도 맵에서 항공 영상과 유사도가 높은 복수의 후보 영상들을 추출하고, 복수의 후보 영상들 중 항공 영상에 대응하는 지도 영상을 선택하는 지도 영상 선택부를 더 포함할 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 영상 정합 방법은, 대응점 할당부에 의해, 원근감 왜곡을 갖는 항공 영상과, 항공 영상의 대응 위치를 나타내는 지도 영상에 복수개의 대응점들을 할당하는 단계; 및 기하 변환부에 의해, 복수개의 대응점들을 근거로 기하학적 변환을 수행함으로써, 지도 영상에 항공 영상을 정합하는 단계를 포함할 수 있다.
또한, 항공 영상은, 타겟을 기준으로 지면과 상기 무인 항공기는 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상일 수 있다.
또한, 복수개의 대응점들을 할당하는 단계는, 복수개의 대응점들을 통해 생성되는 영역이 무인 항공기의 타겟의 지점을 포함하도록 복수개의 대응점들을 할당함으로써 이루어질 수 있다.
또한, 복수개의 대응점들은, 적어도 4개 이상으로 구성될 수 있다.
또한, 복수개의 대응점들을 할당하는 단계 이후, 본 발명의 영상 정합 방법은 행렬 추정부에 의해, 복수개의 대응점들을 근거로 기하학적 변환에 사용되는 변환 행렬을 추정하는 단계를 더 포함할 수 있다.
또한, 변환 행렬을 추정하는 단계는, 복수개의 대응점들의 좌표들을 동차 좌표들로 변환하고, 동차 좌표들과 변환 행렬을 연산함으로써, 변환 행렬에 포함된 파라미터들을 추정할 수 있다.
또한, 항공 영상을 정합하는 단계는, 변환 행렬을 근거로, 지도 영상에 항공 영상을 정합할 수 있다.
또한, 항공 영상을 정합하는 단계는, 변환 행렬을 근거로, 지도 영상 상의 복수개의 대응점들에 항공 영상 상의 복수개의 대응점들을 정합시킴으로써, 경선을 기준으로 항공 영상의 회전 각도(α)를 추론하고, 회전 각도(α)를 이용하여 항공 영상을 지도 영상에 대응하도록 회전시킬 수 있다.
또한, 항공 영상을 정합하는 단계 이후, 본 발명의 영상 정합 방법은 좌표 추출부에 의해, 항공 영상을 정합하는 단계에서 도출된 정합 영상을 근거로, 무인 항공기의 좌표와, 항공 영상에 포함된 타겟의 좌표를 추출하는 단계를 더 포함할 수 있다.
또한, 기하학적 변환은, 투영 변환일 수 있다.
또한, 복수개의 대응점들을 할당하는 단계 이전, 본 발명의 영상 정합 방법은 지도 영상 선택부에 의해, 전체 지도 맵에서 항공 영상과 유사도가 높은 복수의 후보 영상들을 추출하고, 복수의 후보 영상들 중 항공 영상에 대응하는 지도 영상을 선택하는 단계를 더 포함할 수 있다.
본 발명의 영상 정합 장치 및 방법에 따르면 기존의 무인 항공기에서 촬영된 항공 영상에 존재하는 원근감 왜곡을 제거함으로써, 보다 정확한 무인 항공기와 타겟의 위치를 추정할 수 있는 효과가 있다.
또한, 본 발명의 영상 정합 장치 및 방법에 따르면 왜곡 보정을 통해 항공 영상에 존재하는 왜곡된 객체의 크기를 실제 크기의 근사치로 추정할 수 있는 효과가 있다.
또한, 본 발명의 영상 정합 장치 및 방법에 따르면 무인 항공기에서 촬영된 영상을 근거로, 기존에 데이터베이스 내에 가지고 있던 지도 영상을 갱신할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 정합 시스템에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 타겟 지점에 대한 지도 영상에 대한 도면이다.
도 3은 본 발명의 일 실시예에 따른 타겟 지점에 대한 항공 영상에 대한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 정합 장치를 통해 정합된 정합 영상에 대한 도면이다.
도 5는 본 발명의 일 실시예에 따른 정합 과정에 대한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 정합 장치에 대한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 방법에 대한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 도 1을 참조로 본 발명의 실시예에 따른 영상 정합 시스템(1000)에 대하여 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른 영상 정합 시스템(1000)에 대한 개념도이다. 본 발명의 영상 정합 시스템(1000)은 무인 항공기(10)에서 촬영된 항공 영상, 즉 원근감 왜곡을 갖는 항공 영상의 왜곡을 보정하고, 보정 결과물을 통해 타겟과 무인 항공기의 정확한 위치를 추정하는 시스템이다.
즉, 앞서 언급한 것과 같이, 무인 항공기(10)에서 촬영한 항공 영상, 구체적으로 타겟이 포함된 범위(40)에 대한 항공 영상은 도 1에 도시된 것처럼 수직이 아닌 각도(θ)만큼 경사진 상태로 촬영되므로, 원근감 왜곡을 갖게 된다. 한편, 인공 위성(20)에서 촬영된 범위(40)에 대한 지도 영상은 무인 항공기(10)에서 촬영된 영상과는 달리 원근감 왜곡이 존재하지 않는다. 따라서, 상술한 항공 영상의 왜곡을 제거하기 위해, 본 발명의 영상 정합 시스템(1000)에 포함된 영상 정합 장치(100)는 인공 위성(20)에서 촬영된 지도 영상에 무인 항공기(10)에서 촬영된 항공 영상을 정합할 수 있다.
이러한 영상 정합을 위해, 본 발명의 영상 정합 장치(100)는 먼저, 두 지도 영상 즉, 항공 영상과 지도 영상 간의 기하학적 정보의 관계를 추정하기 위해, 두 영상 사이에서 대응되는 네 쌍의 대응점들을 할당한다. 그 후, 영상 정합 정치(100)는 두 지도 영상의 기하 정보가 동일하게 변환될 수 있도록 할당된 대응점들을 이용하여 변환 행렬의 파라미터를 추정한다. 그 후, 영상 정합 정치(100)는 서로 다른 시점 시점에서 촬영된 영상에서도, 같은 위치를 추정할 수 있도록 추정된 변환 행렬을 이용하여, 영상의 화소를 다른 영상의 화소 위치로 정합할 수 있다.
상술한 영상 정합 장치(100)에서 수행되는 영상 정합 과정은 도 2 내지 도 5를 참조로 더 서술한다. 도 2는 본 발명의 일 실시예에 따른 타겟 지점에 대한 지도 영상에 대한 도면이다. 도 3은 본 발명의 일 실시예에 따른 타겟 지점에 대한 항공 영상에 대한 도면이다. 도 4는 본 발명의 일 실시예에 따른 영상 정합 장치를 통해 정합된 정합 영상에 대한 도면이다.
일반적으로 지도 영상은 북쪽이 위쪽으로 설정된 영상이다. 반면, 항공 영상의 경우, 무인 항공기에 설치된 영상 센서의 위치에 따라, 그리고 무인 항공기의 방향에 따라, 타겟을 기준으로 지면과 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상이다. 이러한 지도 영상과 항공 영상에 대한 특징은 도 2 및 도 3을 참조하면 보다 분명해진다. 즉, 도 2에 도시된 지도 영상은 위쪽이 북쪽이며, 위에서 촬영된 영상이므로 원근감 왜곡이 존재하지 않는 영상이다. 반면 도 3에 도시된 항공 영상은 지면과 사선 방향으로 촬영된 영상이므로, 원근감 왜곡이 존재하고, 항공기 방향에 따라 경선을 기준으로 각도(α)만큼 회전된 영상이라는 것을 알 수 있다.
따라서, 본 발명의 영상 정합 장치(100)는 이들 영상 간 정합을 위해, 먼저, 복수개의 대응점들을 설정한다. 본 예시에서 대응점들은 4개의 대응점(cp1, cp2, cp3, cp4)들로 설정된다. 여기서 4개의 대응점(cp1, cp2, cp3, cp4)들은 항공 영상과 지도 영상에 대해 동일한 지점을 나타낸다. 또한, 이러한 복수개의 대응점들 여기서 4개의 대응점들(cp1, cp2, cp3, cp4)들은 각 대응점들을 연결할 때, 영역이 생성되도록 설정되고, 이 설정된 영역 내에 타겟이 포함되게 된다.
그 후, 본 발명의 영상 정합 장치(100)는 도 1을 참조로 언급한 것처럼, 이러한 복수개의 대응점(cp1, cp2, cp3, cp4)들을 근거로, 변환 행렬을 추정한다. 여기서, 변환 행렬은 본 발명의 투영 변환(projective transformation)에 필요한 행렬로서, 이에 대한 상세한 서술은 도 6을 참조로 이루어지므로, 여기선 생략된다.
그 후, 본 발명의 영상 정합 장치(100)는 추정된 변환 행렬을 근거로, 도 2 및 도 3에 도시된 지도 영상과 항공 영상을 정합하여, 도 4에 도시된 정합 영상을 생성한다. 이러한 정합 영상의 생성 과정은 도 5를 보면 보다 명확해진다.
즉, 도 5에서 지도 영상(51)과 항공 영상(52)에 대응점(cp1, cp2, cp3, cp4)들이 설정되고, 이들 대응점(cp1, cp2, cp3, cp4)들을 근거로, 변환 행렬이 추정된다. 그 후, 추정된 변환 행렬을 근거로, 지도 영상(51)과 항공 영상(52)의 정합 과정을 거쳐 정합 영상(53)이 생성된다. 앞서 언급한 것처럼, 항공 영상(52)은 무인 항공기에 설치된 영상 센서의 위치에 따라, 그리고 무인 항공기의 방향에 따라, 타겟을 기준으로 지면과 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상이므로, 이러한 항공 영상(52)은 지도 영상(51)에 대응하도록 회전 방향(r)을 따라 회전되어, 정합 영상(53)이 생성된다.
이하, 도 6을 참조로, 본 발명의 일 실시예에 따른 영상 정합 장치(100)에 대해 더 서술한다. 도 6은 본 발명의 일 실시예에 따른 영상 정합 장치(100)에 대한 블록도이다. 본 발명의 일 실시예에 따른 영상 정합 장치(100)는 수신부(110), 지도 영상 선택부(120), 대응점 할당부(130), 행렬 추정부(140), 기하 변환부(150) 및 좌표 추정부(160)를 포함하여 구성될 수 있다. 본 발명의 영상 정합 장치(100)에 포함된 각 구성들에 대한 서술은 이하에서 이루어진다.
수신부(110)는 무인 항공기(10)에서 촬영된 항공 영상을 수신하는 기능을 한다. 여기서 항공 영상은 앞서 서술한 바와 같이, 무인 항공기(10)에 설치된 영상 센서의 위치에 따라, 그리고 무인 항공기(10)의 방향에 따라, 타겟을 기준으로 지면과 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상을 나타낸다.
지도 영상 선택부(120)는 데이터베이스(30)에 저장된 전체 지도 맵에서 항공 영상과 유사도가 높은 복수의 후보 영상들을 추출하고, 복수의 후보 영상들 중 항공 영상에 대응하는 지도 영상을 선택하는 기능을 한다. 상술한 것처럼, 여기서 지도 영상은 위성에서 촬영된 영상이므로, 별도의 원근감 왜곡이 존재하지 않는 영상을 나타낸다.
대응점 할당부(130)는 원근감 왜곡을 갖는 항공 영상과, 항공 영상의 대응 위치를 나타내는 지도 영상에 복수개의 대응점들을 할당하는 기능을 한다. 여기서, 복수개의 대응점들은 이들 대응점들을 통해 생성되는 영역이 무인 항공기(10)에서 촬영한 타겟의 지점을 포함하도록 할당된다. 또한, 여기서 복수개의 대응점들은 적어도 4개 이상으로 구성되는데, 그 이유는 이하에서 언급되는 변환 행렬의 파라미터를 추정하는데 적어도 4개의 대응점의 좌표가 필요하기 때문이다.
또한, 대응점 할당부(130)는 디스플레이 장치(40)와 연동되어, 상술한 기능을 수행할 수 있다. 즉, 대응점 할당부(130)를 통한 대응점들의 할당이 자동으로 이루어지는 경우, 자동으로 할당된 대응점들에 대한 디스플레이를 수행할 수 있다. 이렇게 디스플레이 장치(40)에 디스플레이된 대응점들은 운용자의 확인을 통해 대응점의 할당이 올바르게 이루어졌는지 더 확인될 수 있다. 또한, 대응점 할당부(130)에서 대응점들의 할당이 수동으로 이루어지는 경우라도, 운용자가 직접 디스플레이 장치(40)에 디스플레이된 영상들을 확인하여 대응점들을 지정 및 할당할 수 있다.
행렬 추정부(140)는 복수개의 대응점들을 근거로 기하학적 변환에 사용되는 변환 행렬을 추정하는 기능을 한다. 즉, 앞서 언급한 것처럼, 항공 영상과 지도 영상의 기하학적 변환 즉, 본 발명의 일 실시예에 따른 투영 변환을 위해서는 하기 수학식 1로 언급된 변환 행렬이 필요하다.
Figure pat00001
수학식 1에 도시된 것처럼, 변환 행렬 H는 3x3 행렬로 구성된다. 여기서 파라미터(h33)는 호모그래피(homography)를 나타내고, 이러한 파라미터(h33)는 일반적으로 1의 값을 갖는다. 즉, 변환 행렬 H를 추정하기 위해서는 파라미터(h33)을 제외한 나머지 파라미터(h11, h12, h13, h21, h22, h23, h31, h32)들을 추정해야 한다. 즉, 이로 인해, 이들 파라미터(h11, h12, h13, h21, h22, h23, h31, h32)들을 추정하기 위해서는 4개의 대응점들이 필요하다. 즉, 각 대응점은 x 좌표 및 y 좌표를 갖고 있으므로, 이하에서 언급되는 수학식들을 통해 이들 파라미터(h11, h12, h13, h21, h22, h23, h31, h32)들에 대한 추정이 가능하다.
상술한 것처럼, 대응점 할당부(130)를 통해, 대응점들이 할당된다. 여기서 대응점들은 자동으로 또는 사용자의 지정을 통해 할당될 수 있다. 여기서 대응점의 할당 시, 사용자를 통한 지정이 수행되는 경우, 사용자 즉, 운용자의 세밀함 또는 지정 도구의 부정확성으로 인해 정밀하게 특징점을 지정하기가 어렵다. 따라서, 각 지도 즉, 항공 영상 및 지도 영상에서 정확한 좌표값을 추출하기 위해 지정된 점들을 중심으로, 상황에 따른 오차 범위를 설정하여, 해당 범위 내에서 특징점을 추출하고, 오차를 보정하는 기법이 이용될 수 있다.
기하학적 변환의 기본형은 A'=HA로 나타낼 수 있다. 여기서, A'와 A는 기하학적 변환 후와 변환 전, 즉, 투영 변환 후와 전의 좌표를 나타낸다. 또한, 수학식 1에서 언급한 것처럼, 변환 행렬은 3x3 행렬로 이루어져 있으므로, 행렬 연산을 위해, A와 A'은 동차(homogeneous) 좌표로 이루어져 있다. 이러한 동차 좌표에 대해, A 좌표 즉, 투영 변환 전의 좌표가 주어지면, 지도 영상 내의 좌표 즉, A' 좌표는 다음과 같이 계산될 수 있다.
Figure pat00002
앞서 언급한 바와 같이, A와 A'은 모두 동차 좌표로 이루어져 있다. 그러므로, 변환 결과를 영상으로 나타낼 때는 비동차(inhomogeneous) 좌표 즉, 변환 전의 좌표로 다시 변환을 수행해야 한다. 즉, 수학식 1에서 언급한 것처럼, 동차 좌표는 호모그래피로 나눔으로써, 다시 비동차 좌표로 나타낼 수 있다. 각 대응점으로부터 변환 행렬의 파라미터를 구하기 위한 2개의 방정식이 도출될 수 있고, 이러한 식은 수학식 3과 같이 나타낼 수 있다.
Figure pat00003
이렇게 수학식 2 및 수학식 3에 도시된 방정식들을 통해, 수학식 1에 도시된 변환 행렬(H)이 도출 가능하다. 구체적으로, 수학식 2 및 수학식 3에 도시된 방정식들을 통해, 투영 변환에 사용되는 4개의 대응점 각각의 x 좌표 및 y 좌표를 통해 8개의 방정식이 도출되고, 이들 8개의 방정식을 통해 변환 행렬의 파라미터들이 추정 가능하다. 추정된 H 행렬은 투영 변환을 위하여 수학식 4와 같이 사용된다.
Figure pat00004
상술한 것처럼, A'와 A는 기하학적 변환 후와 변환 전, 즉, 투영 변환 후와 전의 좌표를 나타낸다. 여기서, A'와 A는 동차 좌표를 나타내므로, 수학식 4는 수학식 5와 같이 표현 가능하다.
Figure pat00005
또한, 이렇게 수학식 5를 통해 추정된 좌표는 동차 좌표를 나타내므로, 추정된 좌표를 2차원 지도 영상의 좌표로 나타내기 위해서는 비동차 좌표로 다시 변환해야 한다. 이러한 비동차 좌표로 변환을 위해서 각 대응점에 대한 x 좌표 및 y 좌표는 다음과 같이 변환될 수 있다.
Figure pat00006
수학식 6에서, xi' 및 yi'는 투영 변환된 i번째 대응점의 x 좌표 및 y 좌표를 나타내고, x' y'및 z'은 수학식 5에 도시된 변수들을 나타낸다.
기하 변환부(150)는 복수개의 대응점들을 근거로 기하학적 변환을 수행함으로써, 항공 영상을 지도 영상에 정합하는 기능을 한다. 구체적으로, 기하 변환부(150)는 행렬 추정부(140)에서 추정된 변환 행렬과 복수의 대응점들을 이용하여 항공 영상을 지도 영상에 정합할 수 있다. 이렇게 정합된 정합 영상은 디스플레이 장치(40)를 통해 운용자에게 디스플레이될 수 있고, 이에 대한 예시는 도 4에 도시된다. 앞서 언급한 것처럼, 항공 영상의 경우, 지도 영상에 비해 회전 각도(α)만큼 회전되고, 원근감 왜곡을 갖는 영상이다. 즉, 기하 변환부(150)에서 정합되는 정합 영상은 경선을 기준으로 하는 항공 영상의 회전 각도(α)를 추론하고, 회전 각도(α)를 이용하여 항공 영상을 지도 영상에 대응하도록 회전된 영상이다.
좌표 추출부(160)는 기하 변환부(150)에서 도출된 정합 영상을 근거로, 무인 항공기(10)의 좌표와, 항공 영상에 포함된 타겟의 좌표를 추출하는 기능을 한다. 즉, 기하 변환부(150)에서 도출된 정합 영상과 지도 영상과의 비교를 통해, 타겟의 좌표를 도출 가능하다. 이는 정합 영상에 포함된 타겟이, 지도 영상에 포함된 객체들의 좌표를 통해 도출 가능하기 때문이다. 또한, 이렇게 타겟의 좌표가 도출되면, 도출된 타겟의 좌표를 근거로, 무인 항공기(10)의 좌표 또한 쉽게 도출 가능하다.
이하, 도 7을 참조로, 본 발명의 일 실시예에 따른 영상 정합 방법을 더 서술한다. 도 7은 본 발명의 일 실시예에 따른 영상 정합 방법에 대한 흐름도이다. 이하의 서술에서, 상술한 내용과 중복되는 사항은 명세서의 명료함을 위해 생략된다.
먼저, 수신부에 의해, 무인 항공기에서 촬영된 항공 영상을 수신하는 단계(S110)가 수행된다. 여기서, 항공 영상은 앞서 언급한 것처럼, 타겟을 기준으로 지면과 무인 항공기는 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상을 나타낸다. 즉, 항공 영상은 무인 항공기의 촬영 방향에 인해, 원근감 왜곡을 갖는 영상이다.
그 후, 지도 영상 선택부에 의해, 항공 영상에 대응하는 지도 영상을 선택하는 단계(S120)가 수행된다. 구체적으로, S120 단계는 데이터베이스에 저장된 전체 지도 맵에서 항공 영상과 유사도가 높은 복수의 후보 영상들을 추출하고, 복수의 후보 영상들 중 항공 영상에 대응하는 지도 영상을 선택하는 단계이다. 여기서, 지도 영상의 선택은 S120 단계를 통해 자동으로 이루어질 수 있고, 상황에 따라 사용자의 선택 및 확인 과정을 통해 보다 정확도를 높인 상태로 이루어질 수 있다.
그 후, 대응점 할당부에 의해, 원근감 왜곡을 갖는 항공 영상과, 항공 영상의 대응 위치를 나타내는 지도 영상에 복수개의 대응점들을 할당하는 단계(S130)가 수행된다. 여기서, 복수개의 대응점들은 이들 대응점들을 연결하여 생성되는 영역이 무인 항공기에서 촬영한 타겟의 지점을 포함하도록 할당된다. 또한, 여기서 대응점들의 개수는 상술한 것처럼, 변환 행렬의 파라미터를 도출하기 위해 적어도 4개 이상으로 구성될 수 있다.
또한, S130 단계는 디스플레이 장치와 연동되어 이루어질 수 있다. 즉, S130 단계에서 수행되는 대응점들의 할당이 자동으로 이루어지는 경우, 디스플레이 장치를 통해 자동으로 할당된 대응점들이 운용자에게 디스플레이될 수 있다. 이를 통해, 운용자는 대응점이 올바르게 할당되었는지를 확인할 수 있어서, 대응점 할당에 대한 정확도를 높일 수 있다. 또한, S130 단계가 운용자를 통해 수동으로 이루어지는 경우라도, 운용자가 직접 디스플레이 장치에 디스플레이된 영상들을 확인하여 대응점들을 지정 및 할당할 수 있다.
그 후, 행렬 추정부에 의해, S130 단계에서 할당된 복수개의 대응점들을 근거로 기하학적 변환에 사용되는 변환 행렬을 추정하는 단계(S140)가 수행된다. 이러한 S140 단계는 항공 영상의 기하학적 변환에 사용되는 변환 행렬(H)을 추정하기 위해, S130 단계에서 할당된 복수개의 대응점들의 좌표들을 동차 좌표들로 변환하고, 동차 좌표들과 변환 행렬을 연산함으로써, 변환 행렬에 포함된 파라미터들을 추정할 수 있다. 이러한 변환 행렬을 추정하는 과정은 앞서 도 6에 대한 서술에서 수학식 1에서 수학식 3까지의 서술로 상세히 언급되었으므로, 명세서의 명료함을 위해 이에 대한 추가적인 서술은 생략한다.
그 후, 기하 변환부에 의해, 복수개의 대응점들을 근거로 기하학적 변환을 수행함으로써, 지도 영상에 항공 영상을 정합하는 단계(S150)가 수행된다. 구체적으로, S150 단계는 S140 단계에서 추정된 변환 행렬을 근거로, 지도 영상에 항공 영상을 정합하는 단계이다. 이를 위해, S150 단계는 변환 행렬을 근거로, 지도 영상 상의 복수개의 대응점들에 항공 영상 상의 복수개의 대응점들을 정합시킴으로써 이루어질 수 있다.
또한, 상술한 것처럼, 항공 영상은 특성상 원근감 왜곡을 가지고 있으므로, 경선을 기준으로 항공 영상의 회전 각도(α)를 추론하고, 회전 각도(α)를 이용하여 항공 영상을 지도 영상에 대응하도록 회전시켜, 정합 영상이 생성될 수 있다.
그 후, 좌표 추출부에 의해, S150 단계에서 도출된 정합 영상을 근거로, 무인 항공기의 좌표와, 항공 영상에 포함된 타겟의 좌표를 추출하는 단계(S160)가 수행된다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 영상 정합 장치 110 : 수신부
120 : 지도 영상 선택부 130 : 대응점 할당부
140 : 행렬 추정부 150 : 기하 변환부
160 : 좌표 추정부

Claims (22)

  1. 무인 항공기로부터 타겟을 포함하는 영역이 촬영된 항공 영상의 원근감 왜곡을 보정하는 영상 정합 장치로서,
    상기 원근감 왜곡을 갖는 항공 영상과, 상기 항공 영상의 대응 위치를 나타내는 지도 영상에 복수개의 대응점들을 할당하는 대응점 할당부; 및
    상기 복수개의 대응점들을 근거로 기하학적 변환을 수행함으로써, 상기 지도 영상에 상기 항공 영상을 정합하는 기하 변환부를 포함하는 것을 특징으로 하는, 영상 정합 장치.
  2. 제1항에 있어서,
    상기 항공 영상은,
    상기 타겟을 기준으로 지면과 상기 무인 항공기는 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상인 것을 특징으로 하는, 영상 정합 장치.
  3. 제1항에 있어서,
    상기 대응점 할당부는,
    상기 복수개의 대응점들을 통해 생성되는 영역이 상기 무인 항공기의 타겟의 지점을 포함하도록 상기 복수개의 대응점들을 할당하는 것을 특징으로 하는, 영상 정합 장치.
  4. 제3항에 있어서,
    상기 복수개의 대응점들은,
    적어도 4개 이상으로 구성되는 것을 특징으로 하는, 영상 정합 장치.
  5. 제1항에 있어서,
    상기 영상 정합 장치는,
    상기 복수개의 대응점들을 근거로 상기 기하학적 변환에 사용되는 변환 행렬을 추정하는 행렬 추정부를 더 포함하여 구성되는 것을 특징으로 하는, 영상 정합 장치.
  6. 제5항에 있어서,
    상기 행렬 추정부는,
    상기 복수개의 대응점들의 좌표들을 동차(homogeneous) 좌표들로 변환하고, 상기 동차 좌표들과 상기 변환 행렬을 연산함으로써, 상기 변환 행렬에 포함된 파라미터들을 추정하는 것을 특징으로 하는, 영상 정합 장치.
  7. 제6항에 있어서,
    상기 기하 변환부는,
    상기 변환 행렬을 근거로, 상기 지도 영상에 상기 항공 영상을 정합하는 것을 특징으로 하는, 영상 정합 장치.
  8. 제7항에 있어서,
    상기 기하 변환부는,
    상기 변환 행렬을 근거로, 상기 지도 영상 상의 복수개의 대응점들에 상기 항공 영상 상의 복수개의 대응점들을 정합시킴으로써, 경선을 기준으로 상기 항공 영상의 회전 각도(α)를 추론하고, 상기 회전 각도(α)를 이용하여 상기 항공 영상을 상기 지도 영상에 대응하도록 회전시키는 것을 특징으로 하는, 영상 정합 장치.
  9. 제1항에 있어서,
    상기 영상 정합 장치는,
    상기 기하 변환부에서 도출된 정합 영상을 근거로, 상기 무인 항공기의 좌표와, 상기 항공 영상에 포함된 타겟의 좌표를 추출하는 좌표 추출부를 더 포함하는 것을 특징으로 하는, 영상 정합 장치.
  10. 제1항에 있어서,
    상기 기하학적 변환은,
    투영 변환(projective transformation)인 것을 특징으로 하는, 영상 정합 장치.
  11. 제1항에 있어서,
    상기 영상 정합 장치는,
    전체 지도 맵에서 상기 항공 영상과 유사도가 높은 복수의 후보 영상들을 추출하고, 상기 복수의 후보 영상들 중 상기 항공 영상에 대응하는 지도 영상을 선택하는 지도 영상 선택부를 더 포함하는 것을 특징으로 하는, 영상 정합 장치.
  12. 무인 항공기로부터 타겟을 포함하는 영역이 촬영된 항공 영상의 원근감 왜곡을 보정하는 영상 정합 방법으로서,
    대응점 할당부에 의해, 상기 원근감 왜곡을 갖는 항공 영상과, 상기 항공 영상의 대응 위치를 나타내는 지도 영상에 복수개의 대응점들을 할당하는 단계; 및
    기하 변환부에 의해, 상기 복수개의 대응점들을 근거로 기하학적 변환을 수행함으로써, 상기 지도 영상에 상기 항공 영상을 정합하는 단계를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  13. 제12항에 있어서,
    상기 항공 영상은,
    상기 타겟을 기준으로 지면과 상기 무인 항공기는 90˚ 미만의 각도(θ)를 갖고, 경선을 기준으로 각도(α)만큼 회전되어 촬영된 영상인 것을 특징으로 하는, 영상 정합 방법.
  14. 제12항에 있어서,
    상기 복수개의 대응점들을 할당하는 단계는,
    상기 복수개의 대응점들을 통해 생성되는 영역이 상기 무인 항공기의 타겟의 지점을 포함하도록 상기 복수개의 대응점들을 할당함으로써 이루어지는 것을 특징으로 하는, 영상 정합 방법.
  15. 제14항에 있어서,
    상기 복수개의 대응점들은,
    적어도 4개 이상으로 구성되는 것을 특징으로 하는, 영상 정합 방법.
  16. 제12항에 있어서,
    상기 복수개의 대응점들을 할당하는 단계 이후,
    행렬 추정부에 의해, 상기 복수개의 대응점들을 근거로 상기 기하학적 변환에 사용되는 변환 행렬을 추정하는 단계를 더 포함하는 것을 특징으로 하는, 영상 정합 방법.
  17. 제16항에 있어서,
    상기 변환 행렬을 추정하는 단계는,
    상기 복수개의 대응점들의 좌표들을 동차 좌표들로 변환하고, 상기 동차 좌표들과 상기 변환 행렬을 연산함으로써, 상기 변환 행렬에 포함된 파라미터들을 추정하는 것을 특징으로 하는, 영상 정합 방법.
  18. 제17항에 있어서,
    상기 항공 영상을 정합하는 단계는,
    상기 변환 행렬을 근거로, 상기 지도 영상에 상기 항공 영상을 정합하는 것을 특징으로 하는, 영상 정합 방법.
  19. 제18항에 있어서,
    상기 항공 영상을 정합하는 단계는,
    상기 변환 행렬을 근거로, 상기 지도 영상 상의 복수개의 대응점들에 상기 항공 영상 상의 복수개의 대응점들을 정합시킴으로써, 경선을 기준으로 상기 항공 영상의 회전 각도(α)를 추론하고, 상기 회전 각도(α)를 이용하여 상기 항공 영상을 상기 지도 영상에 대응하도록 회전시키는 것을 특징으로 하는, 영상 정합 방법.
  20. 제12항에 있어서,
    상기 항공 영상을 정합하는 단계 이후,
    좌표 추출부에 의해, 상기 항공 영상을 정합하는 단계에서 도출된 정합 영상을 근거로, 상기 무인 항공기의 좌표와, 상기 항공 영상에 포함된 타겟의 좌표를 추출하는 단계를 더 포함하는 것을 특징으로 하는, 영상 정합 방법.
  21. 제12항에 있어서,
    상기 기하학적 변환은,
    투영 변환인 것을 특징으로 하는, 영상 정합 방법.
  22. 제12항에 있어서,
    상기 복수개의 대응점들을 할당하는 단계 이전,
    지도 영상 선택부에 의해, 전체 지도 맵에서 상기 항공 영상과 유사도가 높은 복수의 후보 영상들을 추출하고, 상기 복수의 후보 영상들 중 상기 항공 영상에 대응하는 지도 영상을 선택하는 단계를 더 포함하는 것을 특징으로 하는, 영상 정합 방법.
KR1020140021506A 2014-02-24 2014-02-24 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 KR101617078B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140021506A KR101617078B1 (ko) 2014-02-24 2014-02-24 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140021506A KR101617078B1 (ko) 2014-02-24 2014-02-24 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150101009A true KR20150101009A (ko) 2015-09-03
KR101617078B1 KR101617078B1 (ko) 2016-04-29

Family

ID=54242263

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140021506A KR101617078B1 (ko) 2014-02-24 2014-02-24 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101617078B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN109523579A (zh) * 2018-11-12 2019-03-26 北京联海信息系统有限公司 一种无人机视频图像与三维地图的匹配方法和装置
WO2019139243A1 (ko) * 2018-01-15 2019-07-18 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR20190087266A (ko) * 2018-01-15 2019-07-24 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2020071619A1 (ko) * 2018-10-02 2020-04-09 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
WO2020101156A1 (ko) * 2018-11-15 2020-05-22 주식회사 스트리스 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
KR20210129472A (ko) * 2020-04-20 2021-10-28 한국국토정보공사 도로선형 기반의 3차원 공간객체 위치보정 방법
CN114119995A (zh) * 2021-11-08 2022-03-01 山东科技大学 一种基于物方面元的空地影像匹配方法
KR20220123901A (ko) * 2021-03-02 2022-09-13 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
KR20220135789A (ko) * 2021-03-31 2022-10-07 한국국토정보공사 건물형상정합 알고리즘을 이용한 3d 모델 위치보정 방법 및 장치
KR102525764B1 (ko) * 2022-11-30 2023-04-26 삼아항업(주) 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법
KR20230065732A (ko) * 2021-11-05 2023-05-12 주식회사 지오스토리 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141507A (ja) * 2001-11-07 2003-05-16 Japan Science & Technology Corp ランドサットｔｍ画像の精密幾何補正方法及び衛星画像の精密幾何補正方法
JP2014032628A (ja) * 2012-08-06 2014-02-20 Nippon Hoso Kyokai <Nhk> 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980057608A (ko) * 1996-12-30 1998-09-25 이우복 선수계형상 추출 방법
JP5294522B2 (ja) * 2001-06-20 2013-09-18 株式会社パスコ 地図・写真画像配信システム及びそのクライアントシステム
JP2009251763A (ja) * 2008-04-02 2009-10-29 Nec Corp 画像検索システム、画像検索方法、及び画象検索装置用プログラム
KR101524548B1 (ko) * 2012-07-26 2015-06-02 삼성테크윈 주식회사 영상 정합 장치 및 방법
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141507A (ja) * 2001-11-07 2003-05-16 Japan Science & Technology Corp ランドサットｔｍ画像の精密幾何補正方法及び衛星画像の精密幾何補正方法
JP2014032628A (ja) * 2012-08-06 2014-02-20 Nippon Hoso Kyokai <Nhk> 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689B (zh) * 2015-12-31 2020-01-31 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN111263960A (zh) * 2018-01-15 2020-06-09 Sk电信有限公司 更新用于自主驾驶的高清晰度地图的设备和方法
CN111263960B (zh) * 2018-01-15 2022-04-05 Sk电信有限公司 用于更新高清晰度地图的设备和方法
WO2019139243A1 (ko) * 2018-01-15 2019-07-18 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR20190087266A (ko) * 2018-01-15 2019-07-24 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
US11530924B2 (en) 2018-01-15 2022-12-20 Sk Telecom Co., Ltd. Apparatus and method for updating high definition map for autonomous driving
WO2020071619A1 (ko) * 2018-10-02 2020-04-09 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
KR20200038140A (ko) * 2018-10-02 2020-04-10 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
CN109523579A (zh) * 2018-11-12 2019-03-26 北京联海信息系统有限公司 一种无人机视频图像与三维地图的匹配方法和装置
WO2020101156A1 (ko) * 2018-11-15 2020-05-22 주식회사 스트리스 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
KR20210129472A (ko) * 2020-04-20 2021-10-28 한국국토정보공사 도로선형 기반의 3차원 공간객체 위치보정 방법
KR20220123901A (ko) * 2021-03-02 2022-09-13 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
KR20220135789A (ko) * 2021-03-31 2022-10-07 한국국토정보공사 건물형상정합 알고리즘을 이용한 3d 모델 위치보정 방법 및 장치
KR20230065732A (ko) * 2021-11-05 2023-05-12 주식회사 지오스토리 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론
CN114119995A (zh) * 2021-11-08 2022-03-01 山东科技大学 一种基于物方面元的空地影像匹配方法
CN114119995B (zh) * 2021-11-08 2024-03-15 山东科技大学 一种基于物方面元的空地影像匹配方法
KR102525764B1 (ko) * 2022-11-30 2023-04-26 삼아항업(주) 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법

Also Published As

Publication number Publication date
KR101617078B1 (ko) 2016-04-29

Similar Documents

Publication Publication Date Title
KR101617078B1 (ko) 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
WO2019196478A1 (zh) 机器人定位
De Franchis et al. An automatic and modular stereo pipeline for pushbroom images
US9799139B2 (en) Accurate image alignment to a 3D model
US8059887B2 (en) System and method for providing mobile range sensing
EP2894602A1 (en) A method of using image warping for geo-registration feature matching in vision-aided positioning
JP5389964B2 (ja) 地図情報生成装置
JP5134784B2 (ja) 空中写真測量方法
CN111383279B (zh) 外参标定方法、装置及电子设备
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN112805766B (zh) 用于更新详细地图的装置和方法
CA3209009A1 (en) Computer vision systems and methods for supplying missing point data in point clouds derived from stereoscopic image pairs
JP2019032218A (ja) 位置情報記録方法および装置
Liu et al. A novel adjustment model for mosaicking low-overlap sweeping images
Iwaszczuk et al. Matching of 3D building models with IR images for texture extraction
JP3808833B2 (ja) 空中写真測量方法
WO2020133080A1 (zh) 物体定位方法、装置、计算机设备及存储介质
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
EP2879090B1 (en) Aligning ground based images and aerial imagery
Xiong et al. Camera pose determination and 3-D measurement from monocular oblique images with horizontal right angle constraints
Jende et al. Fully automatic feature-based registration of mobile mapping and aerial nadir images for enabling the adjustment of mobile platform locations in GNSS-denied urban environments
Cavegn et al. Robust and accurate image-based georeferencing exploiting relative orientation constraints
Berveglieri et al. Multi-scale matching for the automatic location of control points in large scale aerial images using terrestrial scenes
Liebold et al. Integrated Georeferencing of LIDAR and Camera Data acquired from a moving platform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 6