KR102352009B1

KR102352009B1 - 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법 및 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템

Info

Publication number: KR102352009B1
Application number: KR1020200134128A
Authority: KR
Inventors: 장재영; 김희섭; 채태병
Original assignee: 한국항공우주연구원
Priority date: 2020-10-16
Filing date: 2020-10-16
Publication date: 2022-01-18
Anticipated expiration: 2040-10-16

Abstract

지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법 및 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템이 개시된다. 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법은, 위성영상의 촬영에 연동하여 상기 위성영상 내 오브젝트의 좌표값이 포함된 제1 지도 정보를 기계학습 기반으로 생성하는 단계와, 상기 제1 지도 정보를, 상기 위성영상과 연관되어 획득된 제2 지도 정보와 비교하여 오브젝트 간 좌표값을 변환하는 변환 함수를 산출하는 단계, 및 상기 위성영상에 상기 변환 함수를 적용하여 보정한 영상을, 상기 제1 지도 정보가 정합된 정사영상으로서, 메모리부에 저장하는 단계를 포함한다.

Description

지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법 및 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템{METHOD AND SYSTEM FOR MACHINE LEARNING-BASED GEOMETRIC CORRECTION OF SATELLITE IMAGES USING MAP INFORMATION}

본 발명은 위성영상 기하보정 방법에 연관되며, 보다 특정하게는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 처리 과정의 자동화 및 정확도 향상에 연관된다.

위성에서 촬영된 위성영상은 국가안보, 재난/재해 대응, 농업 작황 및 산림 변화 분석, 도시 환경 모니터링 등 다양한 분야에서 활용되고 있다.

위성영상의 의미 있는 활용을 위해서는 영상좌표와 지상좌표 간의 대응 관계가 정확해야 하며, 이러한 정확도를 높이기 위한 일련의 처리 과정을 기하보정이라고 한다.

현재는 아리랑 위성 시리즈 K2, K3, K3A 등에서 촬영된 위성영상이 판매되고 있고, 이중 1G제품에서는 물리적 센서 모델 기반의 RPC(Rational Polynomial Coefficient) 보정에 의한 정밀 기하보정이 수행되고 있다.

여기서 RPC 보정이란, 카메라 센서의 사양이나 자세 등의 물리적 센서 정보를 활용하여 지상 좌표를 산출하는 방식을 일컫는다. 이 방법에서는 위성에서 전송된 정보 외에 추가적인 정보 없이 기하보정을 수행할 수는 있으나, 거리 오차가 상당히 큰 편이다.

그래서 RPC 보정 외에도, 정사보정, 상대 기하보정 등에 의한 정밀 기하보정을 통해 거리 오차를 줄이는 방법이 이용될 수 있다.

정사보정이란, 사전에 지상에 설치된 지상기준점(GCP, Ground Control Point)과 수치표면모델(DSM, Digital Surface Model)을 이용해서 지도와 같이 정사 투영된 상태로 보정하는 방법이고, 상대 기하보정이란, 동일 위치에서 촬영되어 이미 기하보정이 완료된 기준영상이 있을 때에 위성영상 내의 특징점과의 상응 관계를 이용해 보정하는 방법이다.

한편 이러한 RPC 보정, 정사보정, 상대 기하보정 등의 정밀 기하보정 방식을 통해 지상 좌표와의 대응 관계가 정확한 위성 영상인 정사영상을 얻는 데에는 GCP 위치 지정 등의 사람에 의한 개입과 다양한 파라미터 조정이 필요하며, 이를 자동으로 처리할 경우 상당한 오차가 발생될 수 있다.

이에 따라 기계학습 기반으로 생성한 지도를 이용해, 정사영상을 얻기 위한 기존 기하보정의 처리 과정을 자동화함과 동시에 오차를 최소화 하는 방안이 요구된다.

본 발명의 실시예는 위성영상에 정합된 가상지도를 기계학습 기반으로 생성하고, 생성한 가상지도와 실제지도와의 위치관계를 분석해서 얻어진 변환 관계를 상기 위성영상에 적용하는 것에 의해, 영상좌표와 지상좌표가 정확히 대응되는 정사영상을 얻음으로써, 기하보정 처리 과정을 자동화하는 것을 목적으로 한다.

본 발명의 실시예는 위성영상과 지도정보의 쌍으로 이루어진 대량의 학습 데이터를 이용한 반복적인 기계학습에 의해, 위성영상에 정합되는 가상지도를 출력하는 학습 모델의 구축 및 지속적인 성능 향상을 실시하여, 가상지도와 실제지도 간 위치 차이로 인한 오차를 최소화함으로써, 정확도를 향상시키는 것을 목적으로 한다.

본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법은, 위성영상의 촬영에 연동하여 상기 위성영상 내 오브젝트의 좌표값이 포함된 제1 지도 정보를 기계학습 기반으로 생성하는 단계와, 상기 제1 지도 정보를, 상기 위성영상과 연관되어 획득된 제2 지도 정보와 비교하여, 오브젝트 간 좌표값을 변환하는 변환 함수를 산출하는 단계, 및 상기 위성영상에 상기 변환 함수를 적용하여 보정한 영상을, 상기 제1 지도 정보가 정합된 정사영상으로서, 메모리부에 저장하는 단계를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템은, 위성영상의 촬영에 연동하여 상기 위성영상 내 오브젝트의 좌표값이 포함된 제1 지도 정보를 기계학습 기반으로 생성하는 생성부와, 상기 제1 지도 정보를, 상기 위성영상과 연관되어 획득된 제2 지도 정보와 비교하여, 오브젝트 간 좌표값을 변환하는 변환 함수를 산출하는 산출부, 및 상기 위성영상에 상기 변환 함수를 적용하여 보정한 영상을, 상기 제1 지도 정보가 정합된 정사영상으로서, 메모리부에 저장하는 보정부를 포함할 수 있다.

본 발명에 따르면, 위성영상에 정합된 가상지도를 기계학습 기반으로 생성하여, 가상지도와 실제지도와의 위치 관계를 분석해 위성영상에 적용 함으로써, 지도와 위성영상의 상응관계를 사람의 개입 없이 높은 정확도로 파악할 수 있으므로 기존 정밀 기하보정의 처리 과정을 자동화할 수 있다.

본 발명에 따르면, 위성영상에 정합된 가상지도의 기계학습 기반 자동 생성을 통해 기하보정의 처리 과정을 자동화할 수 있으므로, 끊임없이 수신되는 대용량 위성영상의 활용 지연시간을 대폭 감소시킬 수 있으며, 이는 위성활용 촉진을 위해 해결되어야 할 우선 과제이다.

도 1은 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템을 포함한 네트워크를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템에서, 기계학습에 의해 학습 모델을 구축하는 과정을 도시한 도면이다.
도 4a는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템에서, 학습 모델을 이용하여 가상지도를 생성하는 과정을 도시한 도면이다.
도 4b는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템에서, 지도 간 위치 관계를 분석하는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법의 순서를 도시한 흐름도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템을 포함한 네트워크를 도시한 도면이다.

도 1을 참조하면, 네트워크(100)는, 위성영상 기하보정 시스템(110), 위성(120) 및 맵 서버(130)를 포함하여 구성할 수 있다.

위성영상 기하보정 시스템(110)은 위성영상을 촬영하는 위성(120)의 내부에 포함될 수 있다. 또한 위성영상 기하보정 시스템(110)은 위성(120)과 주기적으로 교신하는 지상 제어국에 포함되어 구현될 수도 있다.

위성(120)은 구비한 카메라 센서를 통해 위성영상을 촬영하는 다양한 위성(예, K2, K3 등)일 수 있다.

맵 서버(130)는, 상기 위성영상이 촬영된 위치 범위에 해당하는 실제지도를 제공하는 서버로서, GPS 서버로도 구현될 수도 있다.

위성(120)에서 위성영상이 촬영되면, 위성영상 기하보정 시스템(110)은 위성(120)으로부터 전달되는 위성영상을 기하보정 처리하여, 영상좌표와 지상좌표가 정확히 대응되는 정사영상을 획득해 메모리부에 유지할 수 있다.

구체적으로 위성영상 기하보정 시스템(110)은 위성영상의 촬영에 연동하여, 상기 위성영상에 정합되는 가상지도(제1 지도 정보)를 기계학습 기반으로 자동 생성하고, 생성한 가상지도를, 맵 서버(130)로부터 획득한 상기 위성영상의 촬영 시점에서의 실제지도(제2 지도 정보)와 비교하여, 오브젝트 간 위치 관계를 분석하고, 분석 결과를 위성영상에 적용해 보정함으로써, 정사영상을 획득할 수 있다.

여기서 가상지도는, 실제지도 상의 다리, 원형교차로, 운동장 등의 오브젝트와, 각 오브젝트의 좌표값, 윤곽, 고도 등과 같은 벡터 정보를 포함하여 생성될 수 있다.

보다 정확도 높은 가상지도의 생성을 위해, 위성영상 기하보정 시스템(110)은 발명의 구현에 앞서, 위성영상과 그에 정합된 지도정보의 쌍으로 이루어진 대량의 학습용 데이터를 반복적으로 기계학습 처리하여 학습 모델을 구축하고, 이 학습 모델을 이용해서, 위성영상에 위치 정합되는 가상의 지도를 자동 생성할 수 있게 된다.

일례로 위성영상 기하보정 시스템(110)은 기계학습에 의해 생성한 가상지도와 맵 서버(130)에 의해 획득한 실제지도에 동일하게 포함된 오브젝트의 좌표값을 각각 식별하고, 각각의 좌표값 간의 관계로부터 변환 함수를 도출해 이를 위성영상에 적용하는 것으로, 상기 정사영상을 획득할 수 있다.

이처럼 본 발명의 위성영상 기하보정 시스템(110)은 위성영상에서 기계학습을 통해 자동 생성된 가상지도와 실제지도와의 비교 분석을 통해서 높은 정확도의 정사영상을 획득할 수 있고, 이를 통해 기존 위성영상의 기하보정 처리 과정을 자동화할 수 있다.

도 2는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템의 구성을 도시한 블록도이다.

도 2를 참조하면, 본 발명에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템(200)은, 생성부(210), 산출부(220), 보정부(230) 및 메모리부(240)를 포함하여 구성할 수 있다. 또한 실시예에 따라, 위성영상 기하보정 시스템(200)은, 구축부(250), 획득부(260), 및 검증부(270)를 각각 추가하여 구성할 수 있다.

구축부(250)는 다수의 위성영상을, 상기 다수의 위성영상 각각에 정합된 지도 정보와 함께 기계학습 처리하여, 학습 모델을 구축한다.

이하 도 3을 참조하여 구축부(250)를 설명한다.

도 3은 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템에서, 기계학습에 의해 학습 모델을 구축하는 과정을 도시한 도면이다.

도 3을 참조하면, 구축부(250)는 위성영상(310)에 정합된 지도 정보(320)를 위성영상(310)과 함께 기계학습 처리하여, 학습 모델을 구축할 수 있다.

구축부(250)는 기하오차를 포함하는 위성영상(310) 내 영상 좌표에 지도 정보(320) 내 지상 좌표를 정확히 대응시켜, 영상 기준으로 정합된 학습용 데이터를 수집하고, 이 학습용 데이터의 위성영상(310) 및 지도 정보(320)를 함께 기계학습 처리하는 것에 의해, 새로운 위성영상의 입력 시 그에 정합된 가상의 지도 정보를 출력할 수 있는 학습 모델을 구축할 수 있게 된다.

이때 구축부(250)는 위성영상(310) 및 지도 정보(320)의 쌍으로 이루어진 학습용 데이터를 대량으로 기계학습 처리할 경우, 학습 모델의 성능을 향상시켜, 보다 정확도 높은 가상지도의 출력이 가능해지도록 할 수 있다.

또한 구축부(250)는 학습 모델의 구축 이후에도, 최신의 학습용 데이터로 기계학습을 반복 함으로써, 시간 경과에 따라 위성영상(310) 또는 지도 정보(320)에 변경이 생기더라도 변경사항이 학습 모델에도 손쉽게 반영되도록 할 수 있다.

생성부(210)는 위성영상의 촬영에 연동하여, 상기 위성영상 내 오브젝트의 좌표값이 포함된 제1 지도 정보('가상지도')를 기계학습 기반으로 생성한다.

일례로 생성부(210)는 상기 학습 모델에 상기 위성영상을 입력하여, 상기 학습 모델로부터 상기 위성영상에 정합되는 가상의 지도 정보가 출력되면, 상기 가상의 지도 정보를, 상기 제1 지도 정보로서 생성할 수 있다.

이하 도 4a를 참조하여 생성부(210)를 설명한다.

도 4a는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템에서, 학습 모델을 이용하여 가상지도를 생성하는 과정을 도시한 도면이다.

도 4a를 참조하면, 생성부(210)는 촬영된 위성영상(410)을, 도 3에서 구축한 학습 모델에 입력했을 때 상기 학습 모델로부터 출력되는 가상지도(420)를, 상기 제1 지도 정보로서 생성할 수 있다.

가상지도(420)는 실제지도를 학습 처리해 구축된 학습 모델로부터 얻어지므로, 도 4a에 도시된 것처럼, 가상지도(420)는 실제지도 상의 다리, 원형교차로, 운동장 등의 오브젝트에 대한 좌표값, 윤곽, 고도 등과 같은 벡터 정보가 포함된 형태로 생성될 수 있다.

산출부(220)는 제1 지도 정보(가상지도)를, 상기 위성영상과 연관되어 획득된 제2 지도 정보('실제지도')와 비교하여, 오브젝트 간 좌표값을 변환하는 변환 함수를 산출한다.

획득부(260)는 위성으로부터, 상기 위성영상의 촬영 시점에서의 제2 지도 정보('실제지도')를 획득하거나, 또는 상기 위성으로부터 수집한 상기 위성영상의 촬영 범위에 관한 정보를 맵 서버로 전달하여, 상기 제2 지도 정보를 획득한다.

이하 도 4b를 참조하여 산출부(220) 및 획득부(260)를 설명한다.

도 4b는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템에서, 지도 간 위치 관계를 분석하는 과정을 도시한 도면이다.

도 4b를 참조하면, 획득부(260)는 위성영상(410)의 촬영 시점에서의 실제지도(430)를 위성으로부터 획득할 수 있다. 또한 획득부(260)는 위성으로부터 위성영상(410)의 촬영 범위에 관한 정보를 수집하고 이를 맵 서버(GPS 서버)로 전달하여, 상기 촬영 범위에 해당하는 실제지도(430)를 획득할 수 있다.

산출부(220)는 도 4a에서 얻어진 가상지도(420)를 실제지도(430)와 비교하여, 가상지도(420)와 실제지도(430) 내 동일 오브젝트의, 각 지도(420, 430)에서의 좌표값의 변환 관계를 분석할 수 있다.

일례로 산출부(220)는 제1 지도 정보(420) 내 오브젝트(예, '도로', '건물' 등)의 가상 좌표값 (x1, y1, z1)을 식별하고, 상기 오브젝트의, 제2 지도 정보(430) 내에서의 실제 좌표값 (x2, y2, z2)을 식별한 뒤, 가상 좌표값 (x1, y1, z1)을 실제 좌표값 (x2, y2, z2)으로 변환시키는 함수(f)와 그 역함수(f')를, 상기 변환 함수로서 산출할 수 있다.

또한 산출부(220)는 좌표값 뿐만 아니라, 해당 오브젝트를 나타내는 길이, 면적, 고도, 부피 등의 다양한 물리량값의 비교를 통해, 상기 변환 함수를 산출할 수도 있다. 즉 산출부(220)는 제1 지도 정보(420)와 제2 지도 정보(430) 각각에서의, 상기 오브젝트의 길이, 면적, 고도, 및 부피 중 적어도 하나에 관한 물리량값을 비교하여, 상기 변환 함수를 산출할 수 있다.

보정부(230)는 상기 위성영상에 상기 변환 함수를 적용하여 보정한 영상을, 상기 제1 지도 정보가 정합된 정사영상으로서, 메모리부(240)에 저장한다.

일례로 도 4a 내지 도 4b를 참조하면, 보정부(230)는 변환 함수(예, 역함수(f'))를 위성영상(410)에 적용해서, 위성영상(410)을 보정할 수 있다. 이에 따라 보정된 영상은, 기계학습 기반으로 생성된 가상지도(420)에 정합되는 정사영상으로서, 메모리부(240)에 저장될 수 있다.

다시 말해 보정부(230)는 기계학습에 의해 생성되는 가상지도(420)의 실제지도(430)와의 위치 차이를 상기 변환 함수에 의해 보완할 수 있으므로, 정확도 높은 정사영상을 획득하는 것이 가능해진다.

다른 일례로 보정부(230)는 변환 함수(예, 함수(f))를 기계학습 기반으로 생성된 가상지도(420)에 적용해서, 가상지도(420)를 보정할 수도 있다.

이 경우 위성영상(410)은, 보정 후의 가상지도(420)에 정합되는 정사영상으로서, 메모리부(240)에 저장될 수 있다.

또한 구축부(250)는 보정 후의 가상지도(420)와 위성영상(410)을 상기 학습 모델에 재학습 처리해, 상기 학습 모델을 수정 함으로써, 학습 모델의 성능을 향상시킬 수 있다.

실시예에 따라 위성영상 기하보정 시스템(200)은 검증부(270)를 더 포함하여 구성할 수 있다.

검증부(270)는 상기 위성영상에 상기 변환 함수를 적용하여 보정한 영상이, 상기 위성영상에 상기 제2 지도 정보를 정합하여 생성한 영상(기준영상)과 설정된 오차 범위 내에서 일치하는지 검증한다.

검증부(270)는 실제지도를 정합한 영상과, 변환 함수를 적용하여 보정한 영상 간 일치 여부를 확인하여 검증을 실시했지만, 이외에, 변환 함수를 적용하여 보정한 영상의 성능 및 품질을 확인할 수 있는 공지된 다양한 방법에 의해 검증을 실시할 수 있다.

일치하는 경우, 보정부(230)는 상기 변환 함수를 적용하여 보정한 영상을, 정사영상으로서, 메모리부(240)에 저장할 수 있다. 이에 따라 본 발명에 의하면, 정확도 높은 정사영상을 획득할 수 있게 된다.

다른 실시예로, 상기 가상 좌표값과 상기 실제 좌표값이 거의 동일한 경우, 변환 함수는 예를 들어 'f = 1'로 산출될 수 있다. 이 변환 함수는 제1 지도 정보와 제2 지도 정보 간에 위치 차이가 거의 없음을 나타낼 수 있다. 이 경우 보정부(230)는 상기 위성영상에 상기 변환 함수를 적용해 보정하는 과정을 생략할 수 있다.

다시 말해 보정부(230)는 변환 함수를 적용하지 않은 상기 위성영상 자체를 기계학습 기반으로 생성한 제1 지도 정보(가상지도)에 정합된 정사영상으로서, 메모리부(240)에 저장할 수 있다. 이 경우 구축부(250)는 상기 위성영상과 제1 지도 정보(가상지도)의 쌍을 새로운 학습용 데이터로서 상기 학습 모델에 재학습시킬 수도 있다.

또 다른 실시예로, 획득부(260)는 위성으로부터, 상기 위성영상의 촬영 범위에 관한 정보를 수집하고, 상기 촬영 범위와 영역이 겹치는 복수의 정사영상을, 메모리부(240)에서 검색할 수도 있다.

이 경우 보정부(230)는 상기 복수의 정사영상을 조합한 영상을, 상기 위성영상에 대한 합성의 정사영상으로서, 메모리부(240)에 추가로 저장할 수 있다.

또 다른 실시예로, 보정부(230)는 상기 변환 함수를 적용하여 보정한 영상을, 상기 제2 지도 정보의 촬영 시점과 연관시켜, 메모리부(240)에 저장할 수 있고, 생성부(210)는 상기 촬영 시점으로부터 일정 기간이 경과할 때 마다 상기 제1 지도 정보를 재 생성할 수 있다.

산출부(220)는 상기 재 생성되는 상기 제1 지도 정보에 의해, 상기 변환 함수를 갱신할 수 있고, 보정부(230)는 갱신되는 상기 변환 함수에 따라 보정한 영상을, 최신의 정사영상으로서, 메모리부(240)에 저장할 수도 있다.

이와 같이 본 발명에 따르면, 위성영상에 정합된 가상지도를 기계학습 기반으로 생성하고, 생성한 가상지도와 실제지도와의 위치관계를 분석해 상기 위성영상에 적용하는 것에 의해, 영상좌표와 지상좌표가 정확히 대응되는 정사영상을 얻기 위한 기존 기하보정의 처리 과정을 자동화할 수 있으며, 동시에 높은 정확도를 기대할 수 있다.

본 발명에 따르면, 위성영상과 지도정보의 쌍으로 이루어진 대량의 학습 데이터를 이용한 반복적인 기계학습에 의해, 위성영상에 정합되는 가상지도를 출력하는 학습 모델의 구축 및 지속적인 성능 향상을 실시하여, 생성되는 가상지도의 정확도를 높임으로써, 기하보정 정확도를 지속적으로 개선시킬 수 있다.

이와 같이 본 발명에 의하면, 촬영된 위성영상에 대해, 기계학습 기반으로 생성한 가상지도인 제1 지도 정보를 그대로 사용하지 않고, 실제지도인 제2 지도 정보와의 위치 변환 관계를 나타내는 변환 함수를 위성영상에 적용하여 보정함으로써, 정확도 높은 정사영상의 획득이 가능해진다.

도 5는 본 발명의 일실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법의 순서를 도시한 흐름도이다.

본 실시예에 따른 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법은, 상술한 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템(200)에 의해 수행될 수 있다.

도 5을 참조하면, 단계(510)에서 위성영상 기하보정 시스템(200)은 위성에서 촬영된 위성영상이 입력되는지 확인한다.

위성영상이 입력되는 경우, 단계(520)에서 위성영상 기하보정 시스템(200)은 상기 위성영상에 정합된 가상지도를 기계학습 기반으로 생성한다.

일례로 위성영상 기하보정 시스템(200)은 학습 모델에 위성영상을 입력하여, 학습 모델로부터 출력되는 상기 위성영상에 정합되는 가상의 지도 정보를 가상지도로서 생성할 수 있다.

여기서 학습 모델은, 도 3에 도시된 것처럼, 위성영상(310) 및 지도 정보(320)의 쌍으로 이루어진 학습용 데이터를 대량으로 기계학습 처리하는 것에 의해 정확도 높은 가상지도의 출력이 가능하도록 구축될 수 있다.

상기 가상지도는, 실제지도를 학습 처리해 구축된 학습 모델로부터 얻어지므로, 도 4a에 도시된 가상지도(420)와 같이, 실제지도 상의 다리, 원형교차로, 운동장 등의 오브젝트에 대한 좌표값, 윤곽, 고도 등과 같은 벡터 정보가 포함된 형태로 생성될 수 있다.

단계(530)에서 위성영상 기하보정 시스템(200)은 상기 가상지도를, 맵 서버에서 획득한 위성영상의 촬영 범위에 해당하는 실제지도와 비교하여, 오브젝트 간 위치 관계를 나타내는 변환 함수를 산출한다.

일례로 도 4a 내지 도 4b를 참조하면, 위성영상 기하보정 시스템(200)은 오브젝트(예, '도로', '건물' 등)의, 가상지도(420) 내에서의 좌표값 (x1, y1, z1)을, 실제지도(430) 내에서의 좌표값 (x2, y2, z2)으로 변환시키는 함수(f)의 역함수(f')를, 상기 변환 함수로서 산출할 수 있다.

이때 위성영상 기하보정 시스템(200)은 상기 오브젝트의 좌표값 뿐만 아니라, 오브젝트의 길이, 면적, 고도, 부피 등의 다양한 물리량값을 비교해서, 상기 변환 함수 산출 시 활용할 수도 있다.

단계(540)에서 위성영상 기하보정 시스템(200)은 상기 변환 함수를 위성영상에 적용하여 보정한다.

일례로 위성영상 기하보정 시스템(200)은 변환 함수(예, 역함수(f'))를 도 4a의 위성영상(410)에 적용해서, 위성영상(410)을 보정할 수 있고, 여기서 보정된 영상은, 기계학습 기반으로 생성된 도 4a의 가상지도(420)에 정합되는 정사영상으로 간주될 수 있다.

다시 말해 위성영상 기하보정 시스템(200)은 기계학습에 의해 생성되는 가상지도와 실제지도와의 위치 차이를 상기 변환 함수에 의해 보완하여, 정확도 높은 정사영상을 획득할 수 있다.

단계(550)에서 위성영상 기하보정 시스템(200)은, 단계(540)에서 얻어진 보정한 영상을, 위성영상에 실제지도를 정합해 생성한 영상(기준영상)과 설정된 오차 범위 내에서 일치하는지 검증한다.

상기 검증이 실패할 경우, 위성영상 기하보정 시스템(200)은, 단계(530)로 이동하여, 가상지도와 실제지도 간 위치 관계를 나타내는 변환 함수를 재산출하고, 단계(540)에서, 재산출한 변환 함수로 위성영상을 재 보정하여, 상기 검증을 다시 실시할 수 있다.

상기 검증이 성공할 경우, 단계(560)에서 위성영상 기하보정 시스템(200)은 단계(540)에서 얻어진 보정한 영상을, 정사영상으로서, 메모리부에 저장한다.

이와 같이 본 발명에 따르면, 위성영상에 정합된 가상지도를 기계학습 기반으로 생성하여, 가상지도와 실제지도와의 위치 관계를 분석해 위성영상에 적용 함으로써, 기존의 특징점 기반의 제한적 위치 비교 대비 폭넓은 상응 관계 분석이 가능하므로, 변환 관계 분석의 정확도를 높일 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

200: 위성영상 기하보정 시스템
210: 생성부
220: 산출부
230: 보정부
240: 메모리부
250: 구축부
260: 획득부
270: 검증부

Claims

다수의 위성영상을, 상기 다수의 위성영상 각각에 정합된 지도 정보와 함께 기계학습 처리하여, 학습 모델을 구축하는 단계;
위성영상의 촬영에 연동하여,
상기 위성영상 내 오브젝트의 좌표값이 포함된 제1 지도 정보를, 상기 학습 모델을 이용해 생성하는 단계;
상기 제1 지도 정보를, 상기 위성영상과 연관되어 획득된 제2 지도 정보와 비교하여, 오브젝트 간 좌표값을 변환하는 변환 함수를 산출하는 단계;
상기 위성영상에 상기 변환 함수를 적용하여 보정한 1)보정 후의 위성영상을, 상기 제1 지도 정보가 정합된 정사영상으로서, 메모리부에 저장하는 단계;
상기 오브젝트에 대한 상기 제1 지도 정보에서의 가상 좌표값을, 상기 제2 지도 정보에서의 실제 좌표값으로 변환시키는 함수를 산출하는 단계;
상기 위성 영상을, 상기 제1 지도 정보에 상기 함수를 적용하여 보정한 2)보정 후의 제1 지도 정보가 정합된 정사영상으로서, 상기 메모리부에 저장하는 단계; 및
상기 1)보정 후의 위성영상과, 상기 2)보정 후의 제1 지도 정보를, 각각 상기 학습 모델에 재학습 처리해, 상기 학습 모델을 수정하는 단계
를 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
제1항에 있어서,
상기 학습 모델을 이용해 생성하는 단계는,
상기 학습 모델에 상기 위성영상을 입력하여, 상기 학습 모델로부터, 상기 위성영상에 정합되는 가상의 지도 정보를 출력하는 단계; 및
상기 가상의 지도 정보를, 상기 제1 지도 정보로서 생성하는 단계
를 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
제1항에 있어서,
위성으로부터, 상기 위성영상의 촬영 시점에서의 상기 제2 지도 정보를 획득하는 단계; 또는
상기 위성으로부터 수집한 상기 위성영상의 촬영 범위에 관한 정보를 맵 서버로 전달하여, 상기 제2 지도 정보를 획득하는 단계
를 더 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
제1항에 있어서,
상기 변환 함수를 산출하는 단계는,
상기 제1 지도 정보 내 오브젝트의 가상 좌표값을 식별하는 단계;
상기 오브젝트의, 상기 제2 지도 정보 내에서의 실제 좌표값을 식별하는 단계; 및
상기 가상 좌표값을 상기 실제 좌표값으로 변환시키는 함수의 역함수를, 상기 변환 함수로서 산출하는 단계
를 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
제1항에 있어서,
상기 변환 함수를 산출하는 단계는,
상기 제1 지도 정보와 상기 제2 지도 정보 각각에서의, 상기 오브젝트의 길이, 면적, 고도, 및 부피 중 적어도 하나에 관한 물리량값을 비교하여, 상기 변환 함수를 산출하는 단계
를 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
제1항에 있어서,
상기 위성영상에 상기 변환 함수를 적용하여 보정한 영상이, 상기 위성영상에 상기 제2 지도 정보를 정합하여 생성한 영상과 설정된 오차 범위 내에서 일치하는지 검증하는 단계; 및
일치하는 경우, 상기 변환 함수를 적용하여 보정한 영상을, 상기 메모리부에 저장하는 단계
를 더 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
제1항에 있어서,
위성으로부터, 상기 위성영상의 촬영 범위에 관한 정보를 수집하는 단계;
상기 촬영 범위와 영역이 겹치는 복수의 정사영상을, 상기 메모리부에서 검색하는 단계; 및
상기 복수의 정사영상을 조합한 영상을, 상기 위성영상에 대한 합성의 정사영상으로서, 상기 메모리부에 추가로 저장하는 단계
를 더 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
제1항에 있어서,
상기 변환 함수를 적용하여 보정한 영상을, 상기 제2 지도 정보의 촬영 시점과 연관시켜, 상기 메모리부에 저장하는 단계;
상기 촬영 시점으로부터 일정 기간이 경과할 때 마다 재 생성되는 상기 제1 지도 정보를 이용하여, 상기 변환 함수를 갱신하는 단계; 및
상기 갱신된 변환 함수에 따라 보정한 영상을, 최신의 정사영상으로서, 상기 메모리부에 저장하는 단계
를 더 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법.
다수의 위성영상을, 상기 다수의 위성영상 각각에 정합된 지도 정보와 함께 기계학습 처리하여, 학습 모델을 구축하는 구축부;
위성영상의 촬영에 연동하여,
상기 위성영상 내 오브젝트의 좌표값이 포함된 제1 지도 정보를, 상기 학습 모델을 이용해 생성하는 생성부;
상기 제1 지도 정보를, 상기 위성영상과 연관되어 획득된 제2 지도 정보와 비교하여, 오브젝트 간 좌표값을 변환하는 변환 함수를 산출하는 산출부; 및
상기 위성영상에 상기 변환 함수를 적용하여 보정한 1)보정 후의 위성영상을, 상기 제1 지도 정보가 정합된 정사영상으로서, 메모리부에 저장하는 보정부
를 포함하고,
상기 산출부는,
상기 오브젝트에 대한 상기 제1 지도 정보에서의 가상 좌표값을, 상기 제2 지도 정보에서의 실제 좌표값으로 변환시키는 함수를 산출하고,
상기 보정부는,
상기 위성 영상을, 상기 제1 지도 정보에 상기 함수를 적용하여 보정한 2)보정 후의 제1 지도 정보가 정합된 정사영상으로서, 상기 메모리부에 저장하고,
상기 구축부는,
상기 1)보정 후의 위성영상과, 상기 2)보정 후의 제1 지도 정보를, 각각 상기 학습 모델에 재학습 처리해, 상기 학습 모델을 수정하는
지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템.
제9항에 있어서,
상기 생성부는,
상기 학습 모델에 상기 위성영상을 입력하여, 상기 학습 모델로부터, 상기 위성영상에 정합되는 가상의 지도 정보를 출력하고, 상기 가상의 지도 정보를, 상기 제1 지도 정보로서 생성하는
지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템.
제9항에 있어서,
상기 위성영상 기하보정 시스템은,
위성으로부터, 상기 위성영상의 촬영 시점에서의 상기 제2 지도 정보를 획득하거나, 또는 상기 위성으로부터 수집한 상기 위성영상의 촬영 범위에 관한 정보를 맵 서버로 전달하여, 상기 제2 지도 정보를 획득하는 획득부
를 더 포함하는 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템.
제9항에 있어서,
상기 산출부는,
상기 제1 지도 정보 내 오브젝트의 가상 좌표값을 식별하고, 상기 오브젝트의, 상기 제2 지도 정보 내에서의 실제 좌표값을 식별하고, 상기 가상 좌표값을 상기 실제 좌표값으로 변환시키는 함수의 역함수를, 상기 변환 함수로서 산출하는
지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템.
제9항에 있어서,
상기 산출부는,
상기 제1 지도 정보와 상기 제2 지도 정보 각각에서의, 상기 오브젝트의 길이, 면적, 고도, 및 부피 중 적어도 하나에 관한 물리량값을 비교하여, 상기 변환 함수를 산출하는
지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템.
제9항에 있어서,
상기 위성영상 기하보정 시스템은,
상기 위성영상에 상기 변환 함수를 적용하여 보정한 영상이, 상기 위성영상에 상기 제2 지도 정보를 정합하여 생성한 영상과 설정된 오차 범위 내에서 일치하는지 검증하는 검증부
를 더 포함하고,
상기 보정부는,
일치하는 경우, 상기 변환 함수를 적용하여 보정한 영상을, 상기 메모리부에 저장하는
지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템.
제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.