KR101775124B1 - 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법 - Google Patents

위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법 Download PDF

Info

Publication number
KR101775124B1
KR101775124B1 KR1020160005549A KR20160005549A KR101775124B1 KR 101775124 B1 KR101775124 B1 KR 101775124B1 KR 1020160005549 A KR1020160005549 A KR 1020160005549A KR 20160005549 A KR20160005549 A KR 20160005549A KR 101775124 B1 KR101775124 B1 KR 101775124B1
Authority
KR
South Korea
Prior art keywords
image
satellite
extracting
matching pair
unit
Prior art date
Application number
KR1020160005549A
Other languages
English (en)
Other versions
KR20170085871A (ko
Inventor
최명진
이상민
우한별
Original Assignee
(주)인스페이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인스페이스 filed Critical (주)인스페이스
Priority to KR1020160005549A priority Critical patent/KR101775124B1/ko
Publication of KR20170085871A publication Critical patent/KR20170085871A/ko
Application granted granted Critical
Publication of KR101775124B1 publication Critical patent/KR101775124B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0006—Affine transformations
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

본 발명의 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템은 수집 대상 인공위성 영상을 수집하는 위성영상수집부; 수집되는 신규 위성영상인 대상영상을 저장하는 위성영상저장부; 매칭의 기준이 되는 위성 영상인 기준영상을 저장하는 기준위성영상저장부; 상기 기준영상 및 대상영상 각각에 대해 하나 이상의 대응점을 추출하는 대응점추출부; 매칭쌍 추출을 위한 파라미터를 결정하는 파라미터 결정부; 상기 대응점 중 상기 결정된 파리미터에 의하여 매칭쌍을 추출하는 매칭쌍추출부; 및 상기 매칭쌍을 이용하여 어핀 변환(affine transform) 계수를 추정하고, 상기 추정된 어핀 변환 계수를 이용하여 상기 대상영상의 특징점의 좌표를 상기 기준영상의 좌표체계로 변환하는 좌표 변환부를 포함하는 것을 특징으로 한다.

Description

위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법{SYSTEM AND METHOD FOR AUTOMATIC SATELLITE IMAGE PROCESSING FOR IMPROVEMENT OF LOCATION ACCURACY}
본 발명은 위성영상을 처리하는 시스템 및 방법에 관한 것으로서 더욱 구체적으로는, 기준이 되는 위성영상과 대상이 되는 위성영상의 영상 특성을 반영한 변환과 매칭 프로세싱을 통하여 위성영상의 위치 정확도를 개선하는 자동영상처리시스템 및 방법에 관한 것이다.
대부분의 위성영상 처리시스템에서는 대상 물체의 영상을 획득한 후 영상 분석을 수행하게 되는데 이를 위해서는 정확한 위치 정보가 필요하다. 위성영상으로부터 취득할 수 있는 다양한 정보 중 위치 정보를 포함하는 결과물의 정확도 및 정밀도는 영상의 기하 정확도에 기반하여 결정된다고 할 수 있다.
그러나 인공위성에서 수집한 영상데이터들은 위성의 위치와 자세의 변화, 위성의 속도 변화, 주사범위와 주사경의 회전속도 변화, 지구자전, 지도투영법 등의 다양한 원인으로 인하여 기하학적으로 왜곡되는데 이러한 왜곡 현상 중 영상 자료 사이의 절대위치의 차이를 나타내는 기하학적 휘어짐 현상이 가장 크다고 할 수 있다.
이러한 기하학적 휘어짐은 영상 내 각 점의 위치 변동을 의미하는데 이렇게 휘어진 영상을 평면 위에 존재하는 기존의 지형도와 중첩시키기 위해서는 지형도와 같은 크기 및 투영값이 되도록 인공위성 영상에 나타나는 각 점의 위치를 지형도와 같은 크기와 투영값이 되도록 변환해 주는 과정이 필요하다.
이와 같은 변환 과정을 기하학적 보정(Geometric Correction)이라고 하며, 이러한 과정을 거쳐야 지도를 통해 흔히 보는 안정된 형태의 영상을 생성할 수 있다.
이러한 영상 보정 프로세싱은 예를 들어, 영상 자료를 기상 또는 해양 등의 다른 위성 자료와 대응시키는 경우, 영상 자료를 이용하여 데이터 베이스를 구축하는 경우, 영상 분류 후 면적 등의 계량적 통계량을 산출하는 경우, 인접한 영상과 모자이킹하는 경우, 지도 제작 등의 작업을 수행하는 경우 등과 같은 다양한 프로세싱에 필수적 수반되는 것이 바람직하다.
위성영상의 기하왜곡을 보정하는 방법으로는 크게 두 가지 방법을 들 수 있는데, 그 첫 번째는 위성의 위치와 자세, 궤도 및 센서의 특성과 지구의 형태와 운동특성을 고려하여 영상 데이터를 공급하는 기관에서 행하는 계통적 기하보정 방법이며, 두 번째는 사용자가 영상과 참조자료에서 식별 가능한 지상기준점(GCP: ground control point)들을 선정 사용하여 영상과 참조자료상의 위치관계를 나타내는 좌표변환식을 유도한 후, 변환식을 이용하여 영상을 참조자료의 위치 관계로 재배열하여 보정하는 방법을 들 수 있다.
영상 분석을 위한 정확한 위치 정보를 획득하기 위하여 위성영상 공급기관에서 제공하는 다양한 위치결정 변수 데이터를 이용하여 기하보정을 수행할 경우 위성영상의 위치결정을 위한 파라미터의 정밀도 한계 등으로 인하여 기하 정확도가 낮아지는 문제가 발생할 수 있다.
이와 관련하여 한국공개특허공보 10-2010-0008886호에 SIFT(Scalar Invariant Feature Transform)알고리즘을 이용하여 위성영상 간 자동 기하 보정 방법이 개시되어 있기는 하나, 이 방법에 의하는 경우 대응점 검출 시 적절하지 않은 많은 대응점이 함께 검출되는 오류가 자주 발생할 수 있고 이로부터 영상 보정의 프로세싱 시간이 불필요하게 장기화되며 나아가 기하 정확도가 낮아지는 문제점이 있다.
따라서, 위성영상에 대한 서브픽셀(위성영상 공간해상도의 절반 이하 수준의 공간해상도) 수준의 기하 정확도를 달성하기 위해서는 고정밀 기준 영상의 확보와는 독립적으로 대상 영상과 기준영상을 활용하여 더욱 정밀하게 영상을 보정하는 방법이 요구된다고 할 수 있다.
한국공개특허공보 10-2010-0008886호(공개일 : 2010.01.27)
본 발명은 상기와 같은 배경에서 상술된 문제점을 해결하기 위하여 창안된 것으로서, 동일 공간해상도를 갖는 위성영상 간에 영상 매칭 방법을 이용하여 기하정확도를 자동으로 더욱 정밀하게 확보하는 방법 및 이를 수행하는 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 아래의 설명에 의하여 이해될 수 있으며, 본 발명의 실시예에 의하여 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 그 구성의 조합에 의하여 실현될 수 있다.
상기 목적을 달성하기 위한 본 발명의 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템은 수집 대상 인공위성 영상을 수집하는 위성영상수집부; 수집되는 신규 위성영상인 대상영상을 저장하는 위성영상저장부; 매칭의 기준이 되는 위성 영상인 기준영상을 저장하는 기준위성영상저장부; 상기 기준영상 및 대상영상 각각에 대해 하나 이상의 대응점을 추출하는 대응점추출부; 매칭쌍 추출을 위한 파라미터를 결정하는 파라미터 결정부; 상기 대응점 중 상기 결정된 파리미터에 의하여 매칭쌍을 추출하는 매칭쌍추출부; 및 상기 매칭쌍을 이용하여 어핀 변환(affine transform) 계수를 추정하고, 상기 추정된 어핀 변환 계수를 이용하여 상기 대상영상의 특징점의 좌표를 상기 기준영상의 좌표체계로 변환하는 좌표 변환부를 포함하여 구성될 수 있다.
여기에서, 본 발명의 상기 대응점추출부는 상기 기준영상 및 대상 영상 각각에 대해 SURF(Speed Up Robust Features)알고리즘을 적용하여 상기 하나 이상의 대응점을 추출하도록 구성하는 것이 바람직하며, 본 발명의 상기 매칭쌍추출부는 RANSAC(RANdom SAmple Consensus)알고리즘을 이용하여 매칭쌍을 추출하도록 구성하는 것이 바람직하다.
더욱 바람직한 실시형태의 구현을 위하여 본 발명은 구간적 선형 함수를 이용하여 상기 기준영상 및 대상영상 각각의 델루누이 삼각망을 생성하고, 상기 생성된 기준영상의 델루누이 삼각망 및 대상영상의 델루누이 삼각망 사이의 관계를 이용하여 상기 대상 영상의 각 화소의 좌표를 상기 기준 영상의 좌표체계로 기하보정하는 기하보정부를 더 포함할 수 있다.
본 발명의 다른 측면의 목적을 달성하기 위한 본 발명의 위성영상의 위치 정확도 개선을 위한 자동영상처리방법은 수집 대상 인공위성 영상을 수집하는 위성영상수집단계; 수집되는 신규 위성영상인 대상영상을 저장하는 위성영상저장단계; 매칭의 기준이 되는 위성 영상인 기준영상을 저장하는 기준위성영상저장단계; 상기 기준영상 및 대상영상 각각에 대해 하나 이상의 대응점을 추출하는 대응점추출단계; 매칭쌍 추출을 위한 파라미터를 결정하는 파라미터 결정단계; 상기 대응점 중 상기 결정된 파리미터에 의하여 매칭쌍을 추출하는 매칭쌍추출단계; 및 상기 매칭쌍을 이용하여 어핀 변환(affine transform) 계수를 추정하고, 상기 추정된 어핀 변환 계수를 이용하여 상기 대상영상의 특징점의 좌표를 상기 기준영상의 좌표체계로 변환하는 좌표 변환단계를 포함하여 구성될 수 있다.
본 발명의 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법은 자동으로 영상을 수집하고 동일 공간해상도를 갖는 위성영상 간에 영상 매칭 방법을 이용하여 기하 정확도를 자동으로 보정함으로써 위성영상의 판독 및 분석 정확도를 향상시킬 수 있으며 기하보정 알고리즘의 재현성을 높이고, 처리속도를 향상시고 제품 성능 개선을 더욱 가속화시킬 수 있는 효과를 제공할 수 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술 사상을 더욱 효과적으로 이해시키는 역할을 하는 것이므로, 본 발명은 이러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 일 실시예에 의한 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템의 상세 구성을 도시한 블록도,
도 2는 본 발명의 바람직한 일 실시예에 의한 위성영상의 위치 정확도 개선을 위한 자동영상처리방법의 프로세싱 과정을 도시한 흐름도,
도 3은 본 발명의 바람직한 일 실시예에 따른 SURF 알고리즘을 설명하기 위한 도면,
도 4는 본 발명의 바람직한 일 실시예에 따른 RANSAC 알고리즘을 설명하기 위한 도면,
도 5는 본 발명의 바람직한 일 실시예에 따른 효과를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 일 실시예에 의한 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템(이하 '자동영상처리시스템'이라 지칭한다)(100)의 상세 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이 본 발명의 자동영상처리시스템(100)은 위성영상수집부(110), 위성영상저장부(120), 기준위성영상저장부(130), 대응점추출부(140), 파라미터결정부(150), 매칭쌍추출부(160), 좌표 변환부(170) 및 기하보정부(180)을 포함하여 구성될 수 있다.
본 발명의 상세한 설명에 앞서, 도 1에 도시된 본 발명의 자동영상처리시스템(100)에 대한 각 구성요소는 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 이해되어야 한다.
즉, 각각의 구성은 본 발명의 기술사상을 실현하기 위한 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 구성되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.
본 발명에서 이용되는 인공 위성 영상은 각 인공위성에서 획득되어 전송하는 광학 영상에 해당한다. 본 발명의 위성영상수집부(110)는 이러한 위성영상을 전송받아 수집(도 2의 S200)하고 전송받은 위성영상을 위성영상저장부(120)에 전달한다. 전달된 위성영상은 본 발명의 위성영상저장부(120)에 저장되며(S210) 본 발명의 위성영상저장부(120)는 수집된 위성영상의 초기데이터(raw date)를 저장한다. 이와 같이 새롭게 전송받은 위성영상을 이하 설명에서 대상영상이라 지칭한다.
이에 상응하여 상기 대상영상과 대비되는 기준이 되며, 후술되는 프로세싱 등의 기준이 되는 영상인 기준영상은 본 발명의 기준영상저장부(130)에 저장된다.
본 발명의 대응점추출부(140)는 매칭의 기준이 되는 기준 영상(Reference image)과 매칭의 대상이 되는 대상 영상(Sensed image) 각각에 대해 SURF(Speed Up Robust Features) 알고리즘을 적용하여 대응점들을 추출한다(S220).
SURF 알고리즘은 가우시안 스케일 공간상에서 특징점을 찾는 방법으로, 아래 수학식 1로 표현할 수 있다.
Figure 112016004867938-pat00001
상기 수식에서
Figure 112016004867938-pat00002
는 근사 헤시안 행렬(Approximated Hessian Matrix)을 의미하며, D는 가우시안 커널(Gaussian Kernel)의 2차 편도 함수(Second Order Partial Derivative)의 근사식을 의미하며, 각각의 근사식은 필터의 형태로 영상에 회선(Convolution)된다. Dxx, Dxy, Dyy 는 상기 근사식에 대입되는 입력영상의 선택변수(픽셀값)이다.
앞서 설명된 바와 같이 SIFT 등과 같은 기존 영상 매칭 기법을 사용하여 대응점을 검출할 경우 적절하지 않은 많은 대응점들이 함께 검출되는 오류가 발생될 가능성이 높고 나아가 매칭쌍 추출을 위한 후속 프로세싱(RANSAC 알고리즘)의 수행 시간을 장기화시키는 문제를 발생시키며 기하정확도 또한 저하되는 문제를 발생시키게 된다.
본 발명의 대응점추출부(140)는 특징점 정보를 이용하여 정규화 영역을 생성하며, 정규화 영역을 대상으로 그래디언트 히스토그램(gradient histogram)을 연산한다. SURF 알고리즘은 크게 대응점을 검출하는 것과 표현하는 것으로 구분될 수 있는데, SURF 알고리즘은 이미지 영상의 대응점 검출과정에서 수학식 1에 나타난 근사 헤시안 행렬의 행렬식(Determinant)을 이용하여 이미지 영상의 가장자리 여부를 판단한다.
한편, 도 3에 도시된 바와 같이 필터들은 스케일이 일정하게 증가되기 때문에 다양한 스케일의 가장자리 내지 코너가 검출될 수 있다.
이후 본 발명의 대응점추출부(140)는 검출된 특징점(대응점) 위치 주변의 화소값을 이용하여 특징점의 방향을 계산하게 되며, 이때 생성된 다수의 벡터들 중 가장 크기가 큰 벡터의 방향을 대응점의 방향으로 정한다. 이렇게 방향이 연산된 대응점은 최종적으로 벡터 형태의 서술자로 구성되고 대응점 자체를 표상하게 된다.
이와 같이 기준영상 및 대상영상의 대응점이 추출된 후, 본 발명의 파라미터결정부(150)는 후술되는 매칭쌍추출부(160)에서 최적의 대응점 내지 매칭쌍을 구하기 위해 요구되는 그래디언트(gradient)의 배열, 방향 성분을 선택한다.
본 발명의 매칭쌍추출부(160)는 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용하게 되는데, RANSAC 알고리즘은 측정 노이즈가 심한 원본 데이터로부터 적절한 모델 파라미터를 예측하는 방법으로서 이를 통해 Homography Matrix를 생성한다.
도 4에 도시된 바와 같이 RANSAC 알고리즘은 다른 알고리즘에 대비하여 특정 error(오매칭쌍 추출율) 영역에서의 손실(loss)이 이상적인 형태를 가지므로 더욱 실효성 높은 매칭쌍을 추출할 수 있다.
상기 RANSAC 알고리즘은 전체의 대응점 후보들 중에서 Homography Matrix를 결정하는데 필요한 최소한의 대응점을 랜덤(random)하게 샘플링하면서 반복적인 과정을 통해 최적의 매칭쌍을 산출한다(S230). RANSAC 알고리즘의 수행 순서는 다음과 같다.
(1) 전체 대응점 후보들로부터 N(N은 1 이상의 자연수)개의 샘플 대응점 획득
(2) 획득한 샘플 대응점을 참(true)값으로 가정하고, Homography Matrix를 예측
(3) 예측된 Homography Matrix가 참인지 판단
(4) 참값이 아닌 경우 상기 (1) 내지 (3) 과정 반속 수행
이와 같이 필터링이 수행된 대응점들을 사용하여 영상 간의 상대적 위치를 확인하고 Homography Matrix를 구한 후 영상을 변환하는 과정을 수행하게 된다.
본 발명의 좌표변환부(170)는 최소제곱법(least square method)에 기반한 이상치(outliers) 제거 과정을 통해 매칭쌍추출부(160)로부터 추출된 매칭쌍들 중 오매칭쌍을 한번 더 제거하는 프로세싱을 수행한다. 또한, 오매칭쌍을 제거한 후, 나머지 매칭쌍을 이용하여 어핀 변환(affine transformation)계수를 추정 산출한다(S240).
또한, 본 발명의 좌표변환부(170)는 어핀 변환 계수가 산출되면, 산출된 어핀 변환계수를 이용하여 대상영상의 모든 특징점의 좌표를 기준영상의 좌표로 변환한다(S250).
이하에서는 상기 본 발명의 좌표변환부(170)의 프로세싱을 더욱 구체적으로 설명하도록 한다.
앞서 언급된 어핀 변환(affine transformation)은 x, y축에 대한 스케일, 비직교성(non-orthogonality), 회전, 대칭이동으로 매칭쌍 간의 관계를 표현하는데, 이를 정리하면 아래 수학식 2와 같이 표현된다.
Figure 112016004867938-pat00003
상기 수식에서 x, y는 기준 영상의 매칭쌍 좌표이며, X, Y는 그에 대응하는 대상영상의 매칭쌍 좌표를 의미한다. 또한, a0, a1, a2, bo, b1, b2는 독립된 어핀 변환 계수를 의미한다. 6개 어핀 변환계수를 산출하기 위해서는 최소 3개의 매칭쌍이 필요하며, 그 이상의 매칭쌍이 존재하는 경우 최소제곱법을 이용하여 어핀 변환 계수를 추정할 수 있다.
SURF 기법으로 추출된 매칭쌍의 경우, 오매칭쌍이 존재할 수 있으므로 이를 제거하는 과정을 추가적으로 수행하는 것이 바람직하다.
즉, 본 발명의 좌표변환부(170)는 최소제곱법을 이용하여 산출한 어핀 변환 계수를 매칭된 대상영상의 모든 특징점에 적용함으로써, 이에 대응하는 기준영상의 특징점과의 거리차를 판단하는 평균 제곱근 편차(RMSE, Root Mean Square Error)를 연산하며, 이러한 연산을 통하여 산출된 RMSE 중 가장 큰 RMSE를 가지는 매칭쌍을 오매칭쌍으로 판단하여 제거한다(S260).
본 발명의 좌표 변환부(170)는 매칭쌍추출부(160)로부터 추출된 매칭쌍들 중 오매칭쌍으로 판단되는 매칭쌍이 제거되면, 나머지 매칭쌍으로 다시 어핀 변환 계수를 갱신하는 과정을 반복 수행한다. 또한, 오매칭쌍 제거의 반복 수행을 통해 모든 매칭쌍의 RMSE가 특정 임계치보다 낮아지면, 현재 계수를 최종 어핀 변환 계수로 추정한다.
본 발명의 좌표 변환부(170)는 이와 같이 최종적으로 추정된 어핀 변환 계수를 이용하여 대상 영상의 모든 매칭점의 좌표를 기준 영상의 좌표로 변환한다.
이하에서는 본 발명의 기하보정부(180)의 프로세싱에 대하여 상세하게 설명한다.
고도가 높거나 고도 변화가 심한 지역은 센서의 촬영방식에 따라 많은 기복변위를 발생시킬 수 있다. 특히, 중저해상도 영상보다 고해상도 영상에서 이러한 기복변위는 더욱 두드러지는 경향이 있다. 이렇게 기복변위가 발생하는 두 영상을 어핀 변환이나 다항 함수(polynomial function)와 같은 선형 변환식으로 기하보정할 경우, 왜곡 보정에 한계가 있다.
따라서, 본 발명의 기하보정부(180)는 선형식과 비선형식을 결합한 형태인 전역적/지역적 변환모델식(global/local mapping function)을 이용하여 두 영상이 가지고 있는 기하학적인 차이를 최소화하는 프로세싱(S270)을 수행하도록 구성된다.
구체적으로 본 발명의 기하보정부(180)는 지역적 변환모델식으로 구간적 선형 함수(piecewise linear function)를 사용하며, 구간적 선형 함수는 영상 간 매칭쌍들을 이용하여 델루누이 삼각망(Delaunay triangulation)을 구성한다. 또한, 기하보정부(180)는 구성된 델루누이 삼각망 각각에 대해 어핀 변환 계수를 산출하고, 이를 이용하여 두 영상 간의 변환을 수행한다.
델루누이 삼각망 규칙에 따르면, 세 특징점으로 구성된 기준 영상의 삼각망과 그에 대응하는 대상 영상의 삼각망 간의 관계를 어핀 변환을 통해 나타낼 수 있으며 또한, 어핀 변환 계수를 이용하여 삼각망 내에 존재하는 대상 영상의 모든 화소의 좌표를 기준 영상의 좌표체계로 변환할 수 있다.
본 발명의 기하보정부(180)는 이러한 변환 과정을 모든 삼각망에 대해 반복적으로 수행하고, 이러한 프로세싱에 의하여 각 삼각망의 서로 다른 계수를 갖는 어핀 변환을 통해 대상 영상이 기준 영상의 좌표로 기하 보정된다.
도 5의 좌측 상단에 도시된 이미지는 기준영상 이미지이며, 오른쪽에 도시된 이미지는 신규로 획득되는 대상영상이며, 오른쪽 하단의 사각 영역에 포함된 이미지는 상술된 본 발명의 방법을 통한 좌표 변환 및 기하 보정이 완료되어 매칭된 영상에 해당한다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명의 설명과 그에 대한 실시예의 도시를 위하여 첨부된 도면 등은 본 발명에 의한 기술 내용을 강조 내지 부각하기 위하여 다소 과장된 형태로 도시될 수 있으나, 앞서 기술된 내용과 도면에 도시된 사항 등을 고려하여 이 기술 분야의 통상의 기술자 수준에서 다양한 형태의 변형 적용 예가 가능할 수 있음은 자명하다고 해석되어야 한다.
100 : 본 발명의 자동영상처리시스템
110 : 위성영상수집부 120 : 위성영상저장부
130 : 기준위성영상저장부 140 : 대응점 추출부
150 : 파라미터결정부 160 : 매칭쌍추출부
170 : 좌표 변환부 180 : 기하보정부

Claims (5)

  1. 수집 대상 인공위성 영상을 수집하는 위성영상수집부;
    수집되는 신규 위성영상인 대상영상을 저장하는 위성영상저장부;
    매칭의 기준이 되는 위성 영상인 기준영상을 저장하는 기준위성영상저장부;
    상기 기준영상 및 대상영상 각각에 대해 SURF(Speed Up Robust Features)알고리즘을 적용하여 하나 이상의 대응점을 추출하되, 상기 추출된 대응점 위치 주변의 화소값을 이용하여 상기 추출된 대응점의 방향을 연산하며, 상기 연산된 방향성을 가지는 복수 개의 벡터 중 최대 크기를 가지는 벡터를 상기 대응점으로 추출하는 대응점추출부;
    매칭쌍 추출을 위한 파라미터를 결정하는 파라미터 결정부;
    상기 대응점 중 상기 결정된 파리미터에 의하여 매칭쌍을 추출하되, RANSAC(RANdom SAmple Consensus)알고리즘을 이용하여 매칭쌍을 추출하는 매칭쌍추출부; 및
    상기 매칭쌍을 이용하여 어핀 변환(affine transform) 계수를 추정하고, 상기 추정된 어핀 변환 계수를 이용하여 상기 대상영상의 특징점의 좌표를 상기 기준영상의 좌표체계로 변환하는 좌표 변환부를 포함하는 것을 특징으로 하는 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    구간적 선형 함수를 이용하여 상기 기준영상 및 대상영상 각각의 델루누이 삼각망을 생성하고, 상기 생성된 기준영상의 델루누이 삼각망 및 대상영상의 델루누이 삼각망 사이의 관계를 이용하여 상기 대상 영상의 각 화소의 좌표를 상기 기준 영상의 좌표체계로 기하보정하는 기하보정부를 더 포함하는 것을 특징으로 하는 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템.
  5. 수집 대상 인공위성 영상을 수집하는 위성영상수집단계;
    수집되는 신규 위성영상인 대상영상을 저장하는 위성영상저장단계;
    매칭의 기준이 되는 위성 영상인 기준영상을 저장하는 기준위성영상저장단계;
    상기 기준영상 및 대상영상 각각에 대해 SURF(Speed Up Robust Features)알고리즘을 적용하여 하나 이상의 대응점을 추출하되, 상기 추출된 대응점 위치 주변의 화소값을 이용하여 상기 추출된 대응점의 방향을 연산하며, 상기 연산된 방향성을 가지는 복수 개의 벡터 중 최대 크기를 가지는 벡터로 상기 대응점으로 추출하는 대응점추출단계;
    매칭쌍 추출을 위한 파라미터를 결정하는 파라미터 결정단계;
    상기 대응점 중 상기 결정된 파리미터에 의하여 매칭쌍을 추출하되, RANSAC(RANdom SAmple Consensus)알고리즘을 이용하여 매칭쌍을 추출하는 매칭쌍추출단계; 및
    상기 매칭쌍을 이용하여 어핀 변환(affine transform) 계수를 추정하고, 상기 추정된 어핀 변환 계수를 이용하여 상기 대상영상의 특징점의 좌표를 상기 기준영상의 좌표체계로 변환하는 좌표 변환단계를 포함하는 것을 특징으로 하는 위성영상의 위치 정확도 개선을 위한 자동영상처리방법.
KR1020160005549A 2016-01-15 2016-01-15 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법 KR101775124B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160005549A KR101775124B1 (ko) 2016-01-15 2016-01-15 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160005549A KR101775124B1 (ko) 2016-01-15 2016-01-15 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170085871A KR20170085871A (ko) 2017-07-25
KR101775124B1 true KR101775124B1 (ko) 2017-09-05

Family

ID=59422819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005549A KR101775124B1 (ko) 2016-01-15 2016-01-15 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101775124B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177582B (zh) * 2021-04-16 2024-03-15 江西航天鄱湖云科技有限公司 一种目标位置的卫星电子信息和光学图像信息关联方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100488685B1 (ko) * 2002-08-22 2005-05-11 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100488685B1 (ko) * 2002-08-22 2005-05-11 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템

Also Published As

Publication number Publication date
KR20170085871A (ko) 2017-07-25

Similar Documents

Publication Publication Date Title
Li et al. DeepI2P: Image-to-point cloud registration via deep classification
WO2019042232A1 (zh) 一种快速鲁棒的多模态遥感影像匹配方法和系统
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
KR101404640B1 (ko) 영상 매칭 방법 및 이를 수행하는 시스템
KR100986809B1 (ko) 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
CN109523585B (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
IL221061A (en) A method of designing buildings based on a geographically verified figure
CN111524194B (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN112419374A (zh) 一种基于图像配准的无人机定位方法
KR101941878B1 (ko) 무인항공기 영상 자동 기하보정을 위한 처리시스템
JP2017130067A (ja) 衛星映像の位置正確度改善のための自動映像処理システム及びその方法
US20210132214A1 (en) Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program
CN108960267A (zh) 用于模型调整的系统和方法
Ribera et al. Estimating phenotypic traits from UAV based RGB imagery
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
Farella et al. The EuroSDR TIME benchmark for historical aerial images
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
WO2019221149A1 (ja) テンプレート姿勢推定装置、方法、及びプログラム
KR101677230B1 (ko) 이종 영상 융합 알고리즘의 품질 평가 장치 및 방법
Tsaregorodtsev et al. Extrinsic camera calibration with semantic segmentation
KR101775124B1 (ko) 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법
Novacheva Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection
KR20200078723A (ko) 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right