KR102102369B1

KR102102369B1 - 정합 성능 추정 방법 및 장치

Info

Publication number: KR102102369B1
Application number: KR1020190027159A
Authority: KR
Inventors: 전소영
Original assignee: 국방과학연구소
Priority date: 2019-03-08
Filing date: 2019-03-08
Publication date: 2020-04-20

Abstract

개시된 정합 성능 추정 장치에 의해 수행되는 정합 성능 추정 방법은, 정사 위성 영상 내의 주어진 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하는 단계와, 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀에 방향각을 할당하는 단계와, 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 대하여, 할당된 방향각의 유사도를 계산하는 단계와, 계산된 방향각의 유사도에 기초하여 국소 영역의 정합 성능을 추정하는 단계를 포함한다.

Description

정합 성능 추정 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING MATCHING PERFORMANCE}

본 발명은 정사 위성 영상(ortho-rectified satellite image) 내의 주어진 위치를 중심으로 하는 국소 영역에 대한 영상 정합(matching)의 성능을 추정하는 방법 및 장치에 관한 것이다.

위성 기술의 발달 및 활용이 나날이 증가하면서 획득된 새로운 위성 영상 들을 기존의 다른 센서 영상들과 정합할 필요성이 증가하고 있다. 영상 정합을 위해 널리 알려진 종래 기술로는 SIFT(Scale Invariant Feature Transform) 기법이나 SURF(Speeded Up Robust Features) 기법이 있다. 이들 기법은 LoG(Laplacian of Gaussian) 필터를 근사하여 에지(edge)나 코너(corner)가 뚜렷한 점을 특징점으로 추출하고, 추출된 다수의 특징점 기반으로 정합을 수행한다. 여기서 각 특징점에 대한 정합은 해당 점 중심의 국소 영역에 대한 정합을 의미하며, 각 특징점들의 정합 결과를 종합하여 가장 정답에 가까울 것으로 보이는 정합 해(解)를 얻는다. 이들 기술을 이종 센서 영상 정합에 적용하기 위한 종래의 기술로서 SIFT 기법을 수정하여 정합 영역을 중첩된 블록들로 나누어 정합을 수행하거나, SURF 기법에서 얻은 특징점들에 대해, 위상상관도 기반 정합으로 적외선과 광학 영상 간의 정합을 수행하는 기술이 있었다.

한편, 이종 센서 영상은 서로 다른 신호 패턴을 보이지만, 에지(혹은 코너)는 공통적으로 발생하는 경우가 많기 때문에, 이 점을 이용한 정합 기술도 고안되었다. 예를 들어, 주어진 정사 위성 영상 또는 기타 영상들로부터 지형지물(도로, 건물 및 기타 경계선 등)에 대한 2차원 또는 3차원 와이어프레임(예를 들어, 삼각형 메쉬) 집합을 사전에 획득한 다음, 와이어프레임 집합을 이용하여 모델 기반 정합을 수행하는 것이다. 모델 기반 정합 수행 시에는 와이어프레임 집합만을 사용하거나, 사전에 주어진 정사 위성 영상을 보완적으로 사용하여 정합할 수도 있다.

특징점 기반 정합 방법을 사용할 때, 정합을 실시간으로 수행해야 하는 상황에서는 사용할 특징점 수를 줄임으로써 종래의 정합 기술을 적용할 수 있다. 예를 들어 모델 기반 정합 수행시, 전체 와이어프레임 모델 집합이 아닌 소수의 국소 와이어프레임 모델 집합만으로 정합을 하면 정합 시간을 단축시킬 수 있다. 단, 소수의 특징점을 사용할 경우, 정합이 실패할 가능성이 높은 와이어프레임 모델 집합을 사전에 배제하여야, 정합 성공률을 높일 수 있다. 이 경우, 실시간으로 정합을 수행하는 분야에서는, 특징점 주변 국소 영역에 대한 정합 성능을 사전에 추정하는 것이 필요하다.

그러나 정사 위성 영상 내의 임의의 위치를 중심으로 하는 국소 영역과 해당 영역이 포함하는 국소 와이어프레임 모델 집합의 정합 성능을 추정하는 것에 대한 연구는 알려진 바가 없다.

일 실시예에 따른 해결하고자 하는 과제는, 위성 영상으로부터 사전 추출된 국소 와이어프레임 모델 집합과 국소 정사 위성 영상을 다른 파장 대역의 미지(unknown)의 영상과 정합하는 경우, 이 정합 성능을 추정하는 방법 및 장치를 제공한다.

해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

제 1 관점에 따른 정합 성능 추정 장치에 의해 수행되는 정합 성능 추정 방법은, 정사 위성 영상 내의 특정 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 상기 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하는 단계와, 상기 국소 정사 위성 영상, 상기 국소 와이어프레임 모델 집합 및 상기 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀의 방향각을 할당하는 단계와, 상기 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 상기 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 할당된 방향각의 유사도를 계산하는 단계와, 계산된 상기 방향각의 유사도에 기초하여 상기 국소 영역의 정합 성능을 추정하는 단계를 포함할 수 있다.

여기서, 상기 국소 정사 위성 영상 내 이진 에지 픽셀 별로 제 1 가중치를 계산하는 단계를 더 포함하고, 상기 정합 성능을 추정하는 단계는, 상기 방향각의 유사도 및 상기 제 1 가중치에 기초하여 상기 정합 성능을 추정할 수 있다.

상기 국소 와이어프레임 모델 집합에 속하는 개별 와이어프레임 모델 별로 제 2 가중치를 계산하는 단계를 더 포함하고, 상기 정합 성능을 추정하는 단계는, 상기 방향각의 유사도와 상기 제 1 가중치 및 상기 제 2 가중치에 기초하여 상기 정합 성능을 추정할 수 있다.

상기 국소 와이어프레임 모델 집합의 이진 에지 영상을 참조 영상으로 하고, 상기 국소 정사 위성 영상 및 상기 주변 정사 위성 영상의 이진 에지 영상을 입력 영상으로 하여 정합을 수행하고 정합 검색 영역에 대한 정합 유사도맵(similarity map)을 계산하는 단계와, 계산된 상기 정합 유사도에 기초하여 상기 국소 영역의 고유성을 정량화하는 단계를 포함하여, 상기 국소 영역이 최소한의 고유성을 가졌는지를 판정하고, 해당 국소 영역을 향후 정합에서 배제할 지 여부를 결정할 수 있다.

제 2 관점에 따른 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체는, 저장된 컴퓨터 프로그램이 정사 위성 영상 내의 특정 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델 집합과, 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하는 단계와, 상기 국소 정사 위성 영상, 상기 국소 와이어프레임 모델 집합 및 상기 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀의 방향각을 할당하는 단계와, 상기 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 상기 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 대하여, 할당된 방향각의 유사도를 계산하는 단계와, 계산된 상기 방향각의 유사도에 기초하여 상기 국소 영역의 정합 성능을 추정하는 단계를 포함하는 정합 성능 추정 방법을 프로세서가 수행하도록 할 수 있다.

제 3 관점에 따른 정합 성능 추정 장치는, 정사 위성 영상 내의 특정 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 상기 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하는 획득부와, 상기 국소 정사 위성 영상, 상기 국소 와이어프레임 모델 집합 및 상기 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀의 방향각을 할당하는 에지 영상 계산부와, 상기 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 상기 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 대하여, 할당된 방향각의 유사도를 계산하는 유사도 계산부와, 계산된 상기 방향각의 유사도에 기초하여 상기 국소 영역의 정합 성능을 추정하는 추정부를 포함할 수 있다.

여기서, 상기 국소 정사 위성 영상 내 이진 에지 픽셀 별로 제 1 가중치를 계산하는 가중치 계산부를 더 포함하고, 상기 추정부는, 상기 방향각의 유사도 및 상기 제 1 가중치에 기초하여 상기 정합 성능을 추정할 수 있다.

상기 가중치 계산부는, 상기 국소 와이어프레임 모델 집합에 속하는 개별 와이어프레임 모델 별로 제 2 가중치를 계산하고, 상기 추정부는, 상기 방향각의 유사도와 상기 제 1 가중치 및 상기 제 2 가중치에 기초하여 상기 정합 성능을 추정할 수 있다.

상기 국소 와이어프레임 모델 집합의 이진 에지 영상을 참조 영상으로 하고, 상기 국소 정사 위성 영상 및 상기 주변 정사 위성 영상의 이진 에지 영상을 입력 영상으로 하여 정합을 수행하고 정합 검색 영역에 대한 정합 유사도맵을 계산하는 에지 정합부와, 계산된 상기 정합 유사도맵에 기초하여 상기 국소 영역의 고유성을 정량화하는 고유성 계산부를 더 포함하여, 상기 국소 영역이 정합에 사용될 수 있는 최소한의 고유성을 가졌는지를 판별할 수 있다.

일 실시예에 따르면, 위성 영상으로부터 사전 추출된 2차원 또는 3차원 와이어프레임 모델을 이용하여 다른 파장 대역의 영상과의 정합을 실시간으로 수행할 때에, 와이어프레임 모델을 포함하는 위성 영상 내 주어진 위치를 특징점으로 삼아 그 중심의 국소 영역을 정합하는 경우, 사전에 해당 국소 영역의 정합 성능을 추정할 수 있고, 주변과 비교하여 최소한의 고유성이 있는지 판정하여 정합 실패 가능성이 높은 국소 영역을 사전에 배제할 수 있다.

이로써, 우수한 정합 성능을 보일 것으로 추정되는 소수의 특징점들에 대하여, 이들 중심의 국소 영역들만을 골라서 정합을 수행할 수 있으므로, 정합 성공률을 높이고 처리 시간을 단축시킬 수 있어 위성 영상과 다른 센서 영상 간의 효율적인 정합 시스템을 구현할 수 있다.

도 1은 본 발명의 일 실시예에 따른 정합 성능 추정 장치의 구성도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 정합 성능 추정 장치에 의해 수행되는 정합 성능 추정 방법을 설명하기 위한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 정합 성능 추정 장치의 구성도이다.

도 1에 나타낸 바와 같이 일 실시예에 따른 정합 성능 추정 장치(100)는 획득부(110), 에지 영상 계산부(120), 유사도 계산부(130), 추정부(140), 가중치 계산부(150), 에지 정합부(160) 및 고유성 계산부(170)를 포함할 수 있다. 이 중에서, 가중치 계산부(150), 에지 정합부(160) 및 고유성 계산부(170)는 본 발명의 다른 실시예에 따라 생략될 수도 있다. 이러한 일 실시예에 따른 정합 성능 추정 장치(100)를 구성하는 각 구성요소들은 마이크로프로세서(microprocessor)를 포함하여 구현될 수 있다.

획득부(110)는 정사 위성 영상 내의 주어진 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득한다. 예를 들어, 획득부(110)에는 정사 위성 영상 중 정합 성능을 추정하고자 하는 국소 영역의 중심 좌표 및 크기 정보, 삼각형 메쉬로 구성된 와이어프레임 모델 집합에 대한 정보, 정사 위성 영상 등의 정보를 입력받을 수 있고, 입력받은 정보를 이용하여 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 주변 정사 위성 영상을 획득할 수 있다.

에지 영상 계산부(120)는 획득부(110)에 의해 획득된 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀에 방향각을 할당한다.

유사도 계산부(130)는 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 대하여, 할당된 방향각의 유사도를 계산한다.

추정부(140)는 유사도 계산부(130)에서 계산된 방향각의 유사도에 기초하여 국소 영역의 정합 성능을 추정한다.

한편, 가중치 계산부(150)는 국소 정사 위성 영상 내 이진 에지 픽셀 별로 제 1 가중치를 계산하고, 국소 와이어프레임 모델 집합에 속하는 개별 와이어프레임 모델 별로 제 2 가중치를 계산한다. 이 경우에, 추정부(140)는 방향각의 유사도와 제 1 가중치 및 제 2 가중치에 기초하여 국소 영역의 정합 성능을 추정할 수 있다.

또한, 에지 정합부(160)는 국소 와이어프레임 모델 집합의 이진 에지 영상을 참조 영상으로 하고, 국소 정사 위성 영상 및 주변 정사 위성 영상의 이진 에지 영상을 입력 영상으로 하여 정합을 수행하고 정합 검색 영역에 대한 정합 유사도맵을 계산한다.

그리고, 고유성 계산부(170)는 계산된 정합 유사도맵에 기초하여 국소 영역의 고유성을 정량화한다. 정량화된 고유성을 이용하면 국소 영역이 주변 클러터(clutter)로 인해 정합이 실패할 가능성이 있는 지 판별할 수 있다. 해당 국소 영역이 정합에 실패할 가능성이 높다고 판단되면, 향후 정합에 사용되지 않도록 배제할 수 있다.

도 2 내지 도 4는 본 발명의 일 실시예에 따른 정합 성능 추정 장치에 의해 수행되는 정합 성능 추정 방법을 설명하기 위한 흐름도이다.

이하, 도 1 및 도 4를 참조하여 본 발명의 일 실시예에 따른 정합 성능 추정 장치(100)가 수행하는 정합 성능 추정 방법에 대해 자세히 살펴보기로 한다.

먼저, 정합 성능 추정 장치(100)의 획득부(110)는 정사 위성 영상 내의 주어진 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하여 에지 영상 계산부(120)에 제공한다.

예를 들어, 획득부(110)는 정사 위성 영상 중 정합 성능을 추정하고자 하는 국소 영역의 중심 좌표 및 크기 정보, 와이어프레임 모델 집합에 대한 정보, 정사 위성 영상 등의 정보를 입력받을 수 있고, 획득부(110)는 입력받은 정보를 이용하여 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 정합 검색 영역까지 포함하는 주변 정사 위성 영상을 획득할 수 있다. 여기서, 획득부(110)는 에지 정합부(160)에서 특징점 기반 정합을 위해 정합할 검색 범위의 크기를 기초로 하여 주변 정사 위성 영상의 크기를 결정할 수 있다(S210).

다음으로, 에지 영상 계산부(120)는 획득부(110)로부터 제공받은 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산한다.

이러한 에지 영상 계산부(120)는 국소 정사 위성 영상과 주변 정사 위성 영상의 각

번째 픽셀의 x축 그래디언트

와 y축 그래디언트

및 그래디언트 강도

를 계산한다. 그래디언트 강도는 가중치 계산부(150)에서 가중치 계산에 이용된다.

번째 픽셀의 에지 방향각

은 벡터 (

,

)가 가리키는 방향으로 결정된다.

그리고, 에지 영상 계산부(120)는 그래디언트 성분 및 강도 값, 적절한 임계값을 이용하여 국소 정사 위성 영상의 이진 에지 영상을 계산할 수 있다. 예를 들어, 에지 영상 계산부(120)는 케니 에지(Canny edge) 추출 알고리즘 등을 이용하여 국소 정사 위성 영상의 이진 에지 영상을 계산할 수 있다.

또한, 에지 영상 계산부(120)는 국소 와이어프레임 모델 집합을 구성하는 정점(vertex) 및 정점 간 연결 정보를 이용하여 브레즌햄(Bresenham)의 직선 그리기 방법 등을 통해 국소 와이어프레임 모델 집합이 기술하는 선분(line segment)들을 정사 위성 영상과 같은 좌표 공간에서 픽셀단위로 그리는 작업을 수행한다. 이때, 각 선분을 픽셀 단위로 그리는 과정에서 각 선분의 양 끝점의 좌표를 이용해 해당 선분의 방향각

를 결정할 수 있다. 이에 따라 해당 선분을 구성하는 픽셀

의 방향각

는

가 된다. 단, 해당 선분의 양 끝점을 그린 픽셀 두 개에 대해서는 다른 선분들과 만날 수 있기 때문에 다양한 방향각이 나온다. 이 픽셀 두 개에 대해서는 “Don’t Care” 처리한다. 각 선분이 픽셀 단위로 그려지면 국소 와이어프레임 모델 집합의 이진 에지 영상을 얻을 수 있다. 또한 각 선분이 픽셀로 그려지면, 선분으로 경계가 결정된 다각형 내부의 픽셀 집합 또한 결정된다. 결정된 픽셀 집합은 가중치 계산부(150)에서 사용될 수 있다(S220).

다음으로, 유사도 계산부(130)는 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 할당된 방향각의 유사도를 계산한다.

예를 들어, 에지 영상 계산부(120)로부터 계산된 국소 정사 위성 영상의 이진 에지 영상과 국소 와이어프레임 모델 집합의 이진 에지 영상에 대하여, 상기 두 이진 에지 영상이 사전에 정렬이 되어 있다고 가정하면, 국소 와이어프레임 모델 집합의 이진 에지 영상에서

번째 픽셀의 에지 방향각

와, 이에 대응하는 국소 정사 위성 영상의 이진 에지 영상에서

번째 픽셀의 에지 방향각

의 유사도

를 다음의 수학식 1과 같이 계산한다(S230).

단,

가 Don’t Care 처리되었다면

를 1로 계산한다.

은

°와

°가 같은 방향이라고 간주하고 값이 적은 방향으로 계산한다.

이후, 추정부(140)는 유사도 계산부(130)에서 계산된 방향각의 유사도에 기초하여 국소 영역의 정합 성능을 추정한다.

예를 들어, 추정부(140)는 중심 좌표가

인 국소 영역의 정합 성능을 아래의 수학식 2와 같이 계산할 수 있다.

여기서,

는 국소 와이어프레임 모델 집합의 이진 에지 픽셀 좌표 집합이고,

는 국소 정사 위성 영상의 이진 에지 픽셀 좌표 집합이다.

한편, 정합 성능 추정 장치(100)의 가중치 계산부(150)는 국소 정사 위성 영상 내 이진 에지 픽셀 별로 제 1 가중치를 계산할 수 있고, 더 나아가 국소 와이어프레임 모델 집합에 속하는 개별 와이어프레임 모델 별로 제 2 가중치를 계산할 수도 있다.

예를 들어, 가중치 계산부(150)는 국소 정사 위성 영상 내 이진 에지 픽셀의 에지 강도

를 0~1 범위에 속하는 값으로 정규화하여 제 1 가중치

을 계산할 수 있다.

,

은 정사 위성 영상 전체를 통틀어 계산된 최대 및 최소 그래디언트 강도이다(S310). 제 1 가중치를 부여하는 목적은 와이어프레임 모델의 경계를 구성하는

번째 에지 픽셀에 대응하는 정사 위성 영상의

번째 에지 픽셀이 에지 강도가 높을수록 정합성능이 높을 것이라고 판단하여, 해당 픽셀이 정합 성능 계산에 기여하는 가중치를 높이기 위한 것이다.

또한, 가중치 계산부(150)는 국소 와이어프레임 모델 집합에 속하는 개별 와이어프레임 별로 부여되는 제 2 가중치를 계산할 수 있다. 국소 와이어프레임 모델 집합이

개의 개별 와이어프레임으로 구성되어 있다고 가정할 때

번째 와이어프레임의 내부 픽셀 좌표 집합을

라고 정의한다.

는 정사 위성 영상과 와이어프레임 모델 집합의 이진 에지 영상 간의 사전 정렬 오차를 감안하여, 와이어프레임의 경계선으로부터 1픽셀 정도 안쪽에 속하는 픽셀 좌표 집합으로 정의할 수 있다. 그러면 다음 수학식 3과 같이 k번째 와이어프레임에 대한 제 2 가중치

를 계산할 수 있다(S320).

수학식 3에서

는

번째 와이어프레임 내부 픽셀에 대해 계산되는 값으로서, 모델 내부에 존재하는 클러터(clutter) 에지 픽셀의 강도를 표현하기 위한 값이다. 각 개별 와이어프레임에 제 2 가중치를 부여하는 목적은, 해당 와이어프레임 모델 내부가 정사 위성 영상을 통해서 볼 때 수풀이나 흙더미 등으로 인해 부분적으로 가려진 경우, 클러터 에지가 발생하고, 그 결과 해당 와이어프레임은 정합 성능이 떨어질 것이라고 판단하여 낮은 가중치를 주기 위한 것이다. 구체적인 예로 높이가 낮은 건물이 주변의 수풀에 가려진 경우, 이 건물 중심 영역의 정합 성능은 낮을 것으로 판단할 수 있다. 따라서, 수학식 3은

가 0에 가까운 값일수록

의 값이 커지도록 고안되었다.

이처럼, 가중치 계산부(150)가 제 1 가중치를 계산하거나 제 2 가중치까지 계산할 경우에, 추정부(140)는 단계 S230에서 계산된 방향각의 유사도와 단계 S310에서 계산된 제 1 가중치 및 단계 S320에서 계산된 제 2 가중치에 기초하여 국소 영역의 정합 성능을 추정할 수 있다.

예를 들어, 추정부(140)는 가중치 계산부(150)에서 계산한 제 1 가중치

와 수학식 2를 결합하여 수학식 4와 같이 국소 영역의 정합 성능을 추정할 수 있다.

또는, 추정부(140)는 수학식 4에서 집합

를 제외하여 다음의 수학식 5를 이용하여 국소 영역의 정합 성능을 추정할 수도 있다.

수학식 5에서 집합

를 제외하였기 때문에

의 임의의 원소

에 대해 가중치 계산부(150)에서 계산한

가 0보다 크면 해당 픽셀의 방향각 유사도를 계산하므로 수학식 4와 비교하여 집합

를 계산하기 위한 이진 에지 추출 알고리즘의 성능에 의존하지 않을뿐 아니라 해당 에지 추출 작업을 위한 추가 연산 시간 없이 방향각 유사도를 반영할 수 있지만, 에지로 보기 어려운 픽셀도 국소 영역의 정합 성능에 반영하기 때문에 수학식 4와 수학식 5는 서로 장단점을 가지고 있다.

또한, 추정부(140)는 수학식 5에 가중치 계산부(150)에서 계산한 개별 와이어프레임에 부여된 제 2 가중치를 반영하여 다음의 수학식 6을 이용하여 국소 영역의 정합 성능을 추정할 수도 있다.

여기서,

은 국소 와이어프레임 모델 집합을 구성하는 개별 와이어프레임 모델의 개수이고,

는

번째 개별 와이어프레임 모델의 에지 픽셀 좌표 집합이다.

이처럼, 정합 성능 추정 장치(100)의 추정부(140)는 수학식 2, 수학식 4, 수학식 5 및 수학식 6 중 어느 하나를 이용하여 국소 영역의 정합 성능을 추정할 수 있다(S330).

한편, 정합 성능 추정 장치(100)가 정합성능을 추정하고자 하는 정사 위성 영상 내 주어진 국소 영역이 주변 클러터로 인해 정합이 실패할 가능성이 있는 지 판별할 수 있다.

먼저, 정합 성능 추정 장치(100)의 획득부(110)에 의해 정사 위성 영상 내의 특정 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델 집합 및 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상이 획득되고(S410), 정합 성능 추정 장치(100)의 에지 영상 계산부(120)에 의해 상기 국소 정사 위성 영상, 상기 국소 와이어프레임 모델 집합 및 상기 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산한다(S420).

그러면, 에지 정합부(160)는 국소 와이어프레임 모델 집합의 이진 에지 영상을 참조 영상으로 하고, 국소 정사 위성 영상 및 주변 정사 위성 영상의 이진 에지 영상을 입력 영상으로 하여 정합을 수행하고 정합 검색 영역에 대한 정합 유사도맵을 계산한다. 예컨대, 에지 정합부(160)는 정합을 위해서 일반화된 허프 변환(Generalized Hough Transform) 등을 이용한 방법을 사용할 수 있다.

여기서, 에지 정합부(160)는 국소 영역의 중심 좌표

로부터 사전에 설정한 검색 영역 내 좌표 집합

내 모든 좌표에 대해 정합 유사도를 계산한다. 이하의 설명에서는 정합 유사도를 계산한 결과로서,

내 좌표

에서의 정합 유사도를

라고 표기한다(S430).

다음으로, 정합 성능 추정 장치(100)의 고유성 계산부(160)는 단계 S430에서 계산된 정합 유사도에 기초하여 국소 영역의 고유성을 정량화한 수치

를 계산한다.

는 수학식 7을 이용하여 계산할 수 있다.

여기서,

는 고유성을 판별할 국소 영역 중심 좌표이다.

는 사전에 설정한 검색 영역 내 좌표 집합이다.

는

를 중심으로 가로 및 세로

픽셀 영역으로 정의되는 좌표 집합이다.

는 정합 성공 기준이

픽셀 이내 일치일 경우

=2

+1로 설정할 수 있다.

이다. 수학식 7의 분모는 클러터의 유사도를 나타낸다.

고유성 계산부(170)는 수학식 7의

값이 사전에 설정한 값

보다 작으면 클러터로 인해 오정합이 발생할 수 있다고 판정한다.

를 통해 고유성을 판단하는 것은 사용한 정합 알고리즘에 따라서 국소 영역의 고유성을 다소 과장하거나 과소 평가할 수 있다. 따라서

값은 기본적으로 1로 설정하되, 이를 중심으로 증가/감소하여 판정의 엄격한 정도를 조정한다.

이처럼, 고유성 계산부(160)는 국소 영역의 고유성을 정량화함으로써, 국소 영역이 정합에 사용될 수 있는 최소한의 고유성을 가졌는지를 판정하고 이로부터 해당 국소 영역의 정합 실패 가능성을 추정한다. 그 결과 정합 실패 가능성이 높은 국소 영역은 향후 정합에 사용되지 않도록 배제할 수 있다(S440).

지금까지 설명한 바와 같이 본 발명의 일 실시예에 따르면, 위성 영상으로부터 사전 추출된 2차원 또는 3차원 와이어프레임 모델을 이용하여 다른 파장 대역의 영상과의 정합을 실시간으로 수행할 때에, 와이어프레임 모델을 포함하는 정사 위성 영상 내 특정 위치를 특징점으로 삼아 정합할 경우, 이 특징점 의 정합 성능을 사전에 추정할 수 있다.

이로써, 우수한 정합 성능을 보일 것으로 추정되는 특징점만을 골라서 와이어프레임 모델을 이용한 정합을 수행할 수 있으므로, 처리 시간을 단축시키는 한편 정합 성공률을 높일 수 있어 위성 영상과 다른 센서 영상 간의 효율적인 정합 시스템을 구현할 수 있다.

본 발명에 첨부된 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 정합 성능 추정 장치 110 : 획득부
120 : 에지 영상 계산부 130 : 유사도 계산부
140 : 추정부 150 : 가중치 계산부
160 : 에지 정합부 170 : 고유성 계산부

Claims

정합 성능 추정 장치에 의해 수행되는 정합 성능 추정 방법으로서,
정사 위성 영상(ortho-rectified satellite image) 내의 특정 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델(wireframe model) 집합 및 상기 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하는 단계와,
상기 국소 정사 위성 영상, 상기 국소 와이어프레임 모델 집합 및 상기 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀의 방향각을 할당하는 단계와,
상기 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 상기 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 대하여, 할당된 방향각의 유사도를 계산하는 단계와,
계산된 상기 방향각의 유사도에 기초하여 상기 국소 영역의 정합 성능을 추정하는 단계를 포함하는
정합 성능 추정 방법.
제 1 항에 있어서,
상기 국소 정사 위성 영상 내 이진 에지 픽셀 별로 제 1 가중치를 계산하는 단계를 더 포함하고,
상기 정합 성능을 추정하는 단계는, 상기 방향각의 유사도 및 상기 제 1 가중치에 기초하여 상기 정합 성능을 추정하는
정합 성능 추정 방법.
제 2 항에 있어서,
상기 제 1 가중치로서 하기의 수학식을 계산하는

(여기서,
는 와이어프레임 모델의 에지 픽셀
에 대응하는 정사 위성 영상의 에지 픽셀
의 강도를 정규화한 값이다.
이고,
와
는 각각
번째 픽셀의 x축 그래디언트, y축 그래디언트이다.
와
은 각각 정사 위성 영상 전체를 통틀어 계산된 최대 및 최소 그래디언트 강도이다.)
정합 성능 추정 방법.
제 2 항에 있어서,
상기 국소 와이어프레임 모델 집합에 속하는 개별 와이어프레임 모델 별로 제 2 가중치를 계산하는 단계를 더 포함하고,
상기 정합 성능을 추정하는 단계는, 상기 방향각의 유사도와 상기 제 1 가중치 및 상기 제 2 가중치에 기초하여 상기 정합 성능을 추정하는
정합 성능 추정 방법.
제 4 항에 있어서,
상기 제 2 가중치로서 k번째 와이어프레임에 대해 하기의 수학식을 계산하고,

(여기서,
는 상기 국소 와이어프레임 모델 집합이
개의 개별 와이어프레임으로 구성되어 있다고 가정할 때
번째 와이어프레임의 내부 픽셀 좌표 집합이며,
는 모델의 경계선 내부에 존재하는 클러터 에지 픽셀의 강도를 나타내는 값으로서,
이며,
와
은 각각 정사 위성 영상 전체를 통틀어 계산된 최대 및 최소 그래디언트 강도이다.)
상기 정합 성능은 다음 식
,
,
,
중 어느 하나를 이용하여 추정하는

(여기서,
는 픽셀
에서 상기 국소 정사 위성 영상의 x축 그래디언트
및 y축 그래디언트
에 대하여 벡터 (
,
)가 가리키는 방향으로 결정된다.
는 픽셀
가 표현하는 와이어프레임 모델의 한 선분의 방향각이다. 단, 픽셀
가 정확히 선분의 양 끝점 중 하나를 표현할 경우, Don’t Care 처리한다.
와
는 각각 상기 국소 와이어프레임 집합의 이진 에지 픽셀 좌표 집합, 상기 국소 정사 위성 영상의 이진 에지 픽셀 좌표 집합이다.
이다.
은
°와
°가 같은 방향이라고 간주하고 값이 적은 방향으로 계산한다. 단,
가 Don’t Care 처리된 경우
은 1로 계산한다.
이며,
와
은 각각 정사 위성 영상 전체를 통틀어 계산된 최대 및 최소 그래디언트 강도이다.
이며,
는 상기 국소 와이어프레임 모델 집합이
개의 개별 와이어프레임으로 구성되어 있다고 가정할 때
번째 개별 와이어프레임의 내부 픽셀 좌표 집합이다.
는
번째 개별 와이어프레임의 에지 픽셀 좌표 집합이다.)
정합 성능 추정 방법.
제 1 항에 있어서,
상기 국소 와이어프레임 모델 집합의 이진 에지 영상을 참조 영상으로 하고, 상기 국소 정사 위성 영상 및 상기 주변 정사 위성 영상의 이진 에지 영상을 입력 영상으로 하여 정합을 수행하고 정합 검색 영역에 대한 정합 유사도맵을 계산하는 단계와,
계산된 상기 정합 유사도맵에 기초하여 상기 국소 영역의 고유성을 정량화하는 단계를 더 포함하는
정합 성능 추정 방법.
정사 위성 영상(ortho-rectified satellite image) 내의 주어진 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델(wireframe model) 집합 및 상기 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하는 획득부와,
상기 국소 정사 위성 영상, 상기 국소 와이어프레임 모델 집합 및 상기 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀의 방향각을 할당하는 에지 영상 계산부와,
상기 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 상기 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 대하여, 할당된 방향각의 유사도를 계산하는 유사도 계산부와,
계산된 상기 방향각의 유사도에 기초하여 상기 국소 영역의 정합 성능을 추정하는 추정부를 포함하는
정합 성능 추정 장치.
제 7 항에 있어서,
상기 국소 정사 위성 영상 내 이진 에지 픽셀 별로 제 1 가중치를 계산하는 가중치 계산부를 더 포함하고,
상기 추정부는, 상기 방향각의 유사도 및 상기 제 1 가중치에 기초하여 상기 정합 성능을 추정하는
정합 성능 추정 장치.
제 8 항에 있어서,
상기 가중치 계산부는, 상기 국소 와이어프레임 모델 집합에 속하는 개별 와이어프레임 모델 별로 제 2 가중치를 계산하고,
상기 추정부는, 상기 방향각의 유사도와 상기 제 1 가중치 및 상기 제 2 가중치에 기초하여 상기 정합 성능을 추정하는
정합 성능 추정 장치.
제 7 항에 있어서,
상기 국소 와이어프레임 모델 집합의 이진 에지 영상을 참조 영상으로 하고, 상기 국소 정사 위성 영상 및 상기 주변 정사 위성 영상의 이진 에지 영상을 입력 영상으로 하여 정합을 수행하고 정합 검색 영역에 대한 정합 유사도맵을 계산하는 에지 정합부와,
계산된 상기 정합 유사도맵에 기초하여 상기 국소 영역의 고유성을 정량화하는 고유성 계산부를 더 포함하는
정합 성능 추정 장치.
정사 위성 영상(ortho-rectified satellite image) 내의 주어진 위치를 중심으로 하는 국소 영역 내의 국소 정사 위성 영상, 국소 와이어프레임 모델(wireframe model) 집합 및 상기 국소 영역에 정합 검색 영역까지 포함한 주변 정사 위성 영상을 획득하는 단계와,
상기 국소 정사 위성 영상, 상기 국소 와이어프레임 모델 집합 및 상기 주변 정사 위성 영상에 대하여 각각의 이진 에지 영상을 계산하고 각 에지 픽셀에 방향각을 할당하는 단계와,
상기 국소 정사 위성 영상의 이진 에지 픽셀과 이에 대응하는 상기 국소 와이어프레임 모델 집합의 이진 에지 픽셀로 이루어진 에지 픽셀 쌍에 대하여, 할당된 방향각의 유사도를 계산하는 단계와,
계산된 상기 방향각의 유사도에 기초하여 상기 국소 영역의 정합 성능을 추정하는 단계를 포함하는 정합 성능 추정 방법을 프로세서가 수행하도록 하는
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.