KR101404640B1

KR101404640B1 - 영상 매칭 방법 및 이를 수행하는 시스템

Info

Publication number: KR101404640B1
Application number: KR1020120143336A
Authority: KR
Inventors: 변영기; 채태병; 임효숙
Original assignee: 한국항공우주연구원
Priority date: 2012-12-11
Filing date: 2012-12-11
Publication date: 2014-06-20

Abstract

본 발명은 영상 매칭 방법 및 이를 수행하는 시스템에 관한 것이다.
본 발명에 따르면, 기준 영상 및 대상 영상으로부터 SIFT에 기반하여 추출한 특징점을 이용하여 전역적 매칭 대상이 되는 매칭쌍을 추출하고, 추출한 전역적 매칭쌍을 이용한 어핀 변환을 통해 두 영상 간 좌표체계의 차이를 일차적으로 최소화하며, 담금질 모사 기법을 이용하여 추출한 파라미터를 이용하여 지역적 매칭 대상이 되는 지역적 매칭쌍을 추출하고, 각 지역적 매칭쌍의 거리 정보와 지역적 방향 정보를 이용하여 오정합점을 제거한 나머지 지역적 매칭쌍에 전역적/지역적 변환모델식을 적용함으로써 기하보정을 수행한다.

Description

영상 매칭 방법 및 이를 수행하는 시스템{Method and system for image registration}

본 발명은 영상 매칭 방법 및 이를 수행하는 시스템에 관한 것으로서, 더욱 상세하게는 이종의 고해상도 광학영상간의 영상 매칭 방법 및 이를 수행하는 시스템에 관한 것이다.

고해상도 영상의 매칭 성능 향상을 위해, 대부분의 고해상도 광학영상간 매칭 기술은 고해상도 영상에 특화된 특징점을 추출하는 개체 기반 기법을 위주로 연구되고 있다. 또한, 고해상도 영상 내에 존재하는 기복변위에 의한 기하보정 오차를 최소화하기 위해서 다양한 방식의 이상치(outliers) 제거 기법과 비강체(non-rigid) 기반의 지역적 변환식(local mapping function)을 적용하는 연구가 수행 되고 있다.

최근 광학 영상간의 매칭을 자동화 하려는 다양한 시도들이 있었다. 그러나, 아직까지는 중?저해상도의 동일 센서에만 적용이 국한되거나, 사용자의 개입이 요구되는 반자동 알고리즘이 대부분이다.

이에 따라, 센서의 종류나 영상취득 시기, 취득한 영상 내의 지형적인 특성에 강인하면서 사용자의 개입 없이 수행이 가능한 광학영상 간 매칭기술의 필요성이 대두되고 있다.

본 발명이 이루고자 하는 기술적 과제는, 고해상도 광학영상 간에 매칭 성능을 향상시키기 위한 영상 매칭 방법 및 이를 수행하는 시스템을 제공하는 것이다.

본 발명의 일 양태에 따르면 영상 매칭 시스템은, 기준 영상 및 대상 영상 각각에 대해 적어도 하나의 특징점을 추출하고, 상기 기준 영상으로부터 추출한 상기 특징점과 상기 대상 영상으로부터 추출한 상기 특징점 간의 유클리드 거리를 토대로 전역적 매칭의 후보가 되는 적어도 하나의 제1 매칭쌍을 추출하는 특징점 추출부; 상기 제1 매칭쌍을 이용하여 제1 어핀 변환(affine transform) 계수를 추정하고, 상기 제1 어핀 변환 계수를 이용하여 상기 대상 영상의 특징점의 좌표를 상기 기준영상의 좌표체계로 변환하는 좌표 변환부; 최적화 기법을 이용하여 지역적 매칭쌍을 선택하기 버퍼의 반지름 및 임계치를 산출하는 파라미터 결정부 상기 기준 영상의 특징점을 기준점으로 하는 상기 버퍼를 토대로, 상기 대상 영상으로부터 지역적 매칭의 후보점이 되는 적어도 하나의 특징점을 선택하고, 상기 후보점과 상기 기준점간의 유사도 거리를 상기 임계치와 비교하여 지역적 매칭의 후보가 되는 적어도 하나의 제2 매칭쌍을 추출하는 지역적 매칭쌍 추출부; 및 상기 제2 매칭쌍을 이용하여 변환모델식을 구성하고, 상기 변환모델식을 토대로 상기 대상 영상을 상기 기준 영상의 좌표체계로 기하보정하는 기하보정부를 포함한다.

또한, 본 발명의 다른 양태에 따르면 영상 매칭 시스템의 영상 매칭 방법은, 기준 영상 및 대상 영상 각각에 대해 적어도 하나의 특징점을 추출하는 단계; 상기 기준 영상으로부터 추출한 상기 특징점과 상기 대상 영상으로부터 추출한 상기 특징점 간의 유클리드 거리를 토대로 전역적 매칭의 후보가 되는 적어도 하나의 제1 매칭쌍을 추출하는 단계; 상기 제1 매칭쌍을 이용하여 추정한 제1 어핀 변환(affine transform) 계수를 이용하여 상기 대상 영상의 특징점의 좌표를 상기 기준 영상의 좌표체계로 변환하는 단계; 최적화 기법으로 결정된 반지름을 토대로 상기 기준 영상의 특징점을 기준점으로 하는 버퍼를 설정하는 단계; 상기 버퍼를 이용하여 상기 대상 영상으로부터 지역적 매칭의 후보점이 되는 적어도 하나의 특징점을 선택하는 단계; 상기 후보점과 상기 기준점간의 유사도 거리를, 상기 최적화 기법으로 결정된 임계치와 비교하여 지역적 매칭의 후보가 되는 적어도 하나의 제2 매칭쌍을 추출하는 단계; 및 상기 제2 매칭쌍을 이용하여 구성한 변환모델식을 토대로, 상기 대상 영상을 상기 기준 영상의 좌표체계로 기하보정하는 단계를 포함한다.

본 문서에 개시된 영상 매칭 방법 및 이를 수행하는 시스템은, 지역적 매칭의 매칭쌍을 선택하기 위해 사용되는 두 파라미터인 버퍼의 반지름과 지역적 매칭 거리의 임계치를 최적화 기법을 사용하여 자동으로 도출함으로써, 두 파라미터에 따라서 기하보정 정확도가 달라지는 문제점을 해결하는 효과가 있다.

또한, 기하 보정 알고리즘의 재현성을 높이고, 기하 보정 알고리즘을 보다 일반화하는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 매칭 시스템을 도시한 구조도이다.
도 2는 본 발명의 일 실시 예에 따른 SIFT 알고리즘을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 영상 매칭 시스템에서 원형버퍼를이용하여 지역적 매칭을 위한 후보점으로 선택하는 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 영상 매칭 시스템에서 전역적/지역적 변환모델식을 적용하는 일 예를 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따른 영상 매칭 시스템의 영상 매칭 방법을 도시한 흐름도이다.
도 6 내지 도 10은 본 발명의 일 실시 예에 따른 영상 매칭 방법의 효과를 설명하기 위한 도면들이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

이하, 필요한 도면들을 참조하여 본 발명의 일 실시 예에 따른 영상 매칭 방법 및 이를 수행하는 영상 매칭 시스템의 동작에 대하여 상세하세 설명한다.

도 1은 본 발명의 일 실시 예에 따른 영상 매칭 시스템을 도시한 구조도이다. 또한, 도 2 내지 도 4는 도 1의 영상 매칭 시스템을 설명하기 위한 도면들이다.

도 1을 참조하면, 영상 매칭 시스템(10)은 특징점 추출부(11), 좌표 변환부(12), 파라미터 결정부(13), 국지적 매칭쌍 추출부(14), 기하보정부(15) 등을 포함할 수 있다.

특징점 추출부(11)는 매칭의 기준이 되는 기준 영상(Reference image)과 매칭의 대상이 되는 대상 영상(Sensed image) 각각에 대해 SIFT(Scalar Invariant Feature Transform) 알고리즘을 적용하여 특징점들을 추출한다. 또한, 기준 영상과 대상 영상으로부터 추출한 특징점들로부터 전역적(global) 매칭의 후보가 되는 매칭쌍을 추출한다. SIFT 알고리즘은 가우시안 스케일 공간상에서 특징점을 찾는 방법으로, 영상의 크기 변화와 회전에 영향이 적은 특징점을 추출하는 방법이다.

이하, 특징점 추출부(11)의 동작에 대해 상세하게 설명하기로 한다.

특징점 추출부(11)는 특징점 추출을 위해 가우시안 필터의 효과를 조절하는 값을 변화시키면서 가우시안 영상들을 생성한다. 또한, 인접한 가우시안 영상 간의 차영상(Difference of Gaussian)을 생성하고, 각 스케일의 차영상에서 발생하는 극점들을 특징점으로 추출한다. 또한, 추출된 각 특징점에 대해 위치(location), 축척(scale), 방향(orientation) 정보 등을 포함하는 특징점 정보를 획득한다.

이후, 특징점 추출부(11)는 특징점 정보를 이용하여 정규화 영역을 생성한다. 또한, 정규화 영역에 대하여 도 2의 (a)에 도시된 바와 같이 그래디언트 히스토그램(gradient histogram)을 계산한다.

또한, 가장 큰 그래디언트 방향이 위를 향하도록 회전시킨 후, 도 2의 (b)에 도시된 바와 같이 4×4 배열(bins)의 그래디언트 히스토그램을 8방향 성분, 즉 128차원(4×4×8)으로 나누어 SIFT 기술자 벡터를 생성한다.

한편, 도 2의 (a)에서는 그래디언트 히스토그램을 2×2 배열로 도시하였으나, 이는 본 SIFT 알고리즘을 설명하기 위한 것으로서, 일반적으로 정규화 영역은 16×16 화소로 생성되며, 이에 따라 추출되는 그래디언트 히스토그램의 크기는 4×4 배열일 수 있다.

특징점 추출부(11)는 기준 영상과 대상 영상에서 각각 추출된 특징점들 간의 128차원 벡터를 이용한 유클리드(Euclid) 거리를 계산한다. 또한 특징점 간의 유클리드 거리를 토대로, 전역적 매칭의 후보가 되는 매칭쌍을 선택한다. 즉, 가장 가까운 매칭쌍과 두 번째로 가까운 매칭쌍 간의 유클리드 거리의 비율이 임계치보다 작은 경우 가장 가까운 매칭쌍을 후보 매칭쌍으로 선택한다.

다시, 도 1을 보면, 좌표 변환부(12)는 최소제곱법(least square method)에 기반한 이상치 제거 과정을 통해 특징점 추출부(11)로부터 추출된 매칭쌍들 중 오매칭쌍(outliers)을 제거한다. 또한, 오매칭쌍을 제거한 후 나머지 매칭쌍을 이용하여 어핀 변환(affine transformation) 계수를 추정한다. 또한, 추정한 어핀 변환 계수를 이용하여 대상 영상의 모든 특징점의 좌표를 기준 영상의 좌표로 변환한다.

이하, 좌표 변환부(12)의 동작에 대해 상세하게 설명하기로 한다.

어핀 변환은 x, y축에 대한 스케일, 비직교성(nonorthogonality), 회전, 그리고 대칭이동으로 매칭쌍 간의 관계를 표현하며, 아래 수학식 1로 표현할 수 있다.

여기서 x, y는 기준 영상의 매칭쌍 좌표이고 X, Y는 그에 대응하는 대상영상의 매칭쌍 좌표를 의미하며,

는 독립적인 어핀 변환 계수를 나타낸다. 6개의 어핀 변환 계수를 구하기 위해서는 최소 3개의 매칭쌍이 필요하며, 그 이상의 매칭쌍이 존재하는 경우, 최소제곱법을 통해서 어핀 변환 계수를 추정할 수 있다.

한편, SIFT 기법으로 추출된 매칭쌍의 경우 오매칭쌍이 존재할 수 있으므로 이를 제거하는 과정이 추가적으로 요구된다.

이에 따라, 좌표 변환부(12)는 최소제곱법을 이용하여 산출한 어핀 변환 계수를, 매칭된 대상 영상의 모든 특징점에 적용함으로써, 이에 대응하는 기준 영상의 특징점과의 거리차를 판단하는 평균 제곱근 편차(RMSE: Root Mean Square Error)를 계산하다. 또한, 가장 큰 RMSE를 갖는 매칭쌍을 오매칭쌍으로 판단하여 제거한다.

좌표 변환부(12)는 특징점 추출부(11)로부터 추출된 매칭쌍들 중 오매칭쌍으로 판단되는 매칭쌍을 제거한 후, 나머지 매칭쌍으로 다시 어핀 변환 계수를 갱신하는 과정을 반복 수행한다. 또한, 오매칭쌍 제거의 반복 수행을 통해 모든 매칭쌍의 RMSE가 특정 임계치보다 낮아지면, 현재 계수를 최종 어핀 변환 계수로 추정한다. 또한, 최종적으로 추정된 어핀 변환 계수를 이용하여 대상 영상의 모든 특징점의 좌표를 기준 영상의 좌표로 변환한다. 이에 따라, 기준 영상 및 대상 영상으로부터 추출한 특징점 간의 공간 거리를 산출하는 것이 가능하다.

다시, 도 1을 보면, 파라미터 결정부(13)는 후술하는 지역적 매칭쌍 추출부(14)에서 지역적 매칭쌍을 추정하기 위해서 필요한 두 파라미터인 원형버퍼의 반지름과, 유클리드 거리의 임계치를 최적화 기법을 통해 산출하는 기능을 수행한다.

이하, 파라미터 결정부(13)의 동작에 대하여 상세하게 설명하기로 한다.

파라미터 결정부(13)는 최적화 기법으로 담금질 모사 기법(Simulated Annealing, SA)을 사용한다.

담금질 모사 기법은 일반적인 기울기 감소 방법(gradient descent method)과 달리 목적함수 내의 변수를 임의적으로 교란(perturbation)시켜 목적함수가 지역적인 최소치를 벗어나 광역적인 최소값(global optimal solution)에 수렴하도록 한다. 따라서, 담금질 모사 기법을 이용한 최적화 기법은 광역적 최소화 값을 가지도록 하는 목적함수 내의 변수를 추정하는 것이다.

를 목적함수 값이라고 가정하고, 를 담금질 모사 기법의 시스템 온도라고 할 때, 담금질 모사 기법은 다음과 같은 과정으로 수행된다.

a. 초기 온도

와 냉각일정을 결정한다.

b. 임의의

를 선택하고, 이를 이용하여 목적함수 값

를 계산한다.

c. 디자인 벡터

를 조정하여 새로운

를 생성하고

를 계산한다.

d.

인 경우,

를 새로운 해로 설정한다.

e.

일 경우, 현재 온도에서의 볼츠만 확률

가 임의의 확률보다 클 때에만

를 새로운 해로 설정한다.(여기서,

)

f. 냉각 일정에 따라서 시스템 온도를 낮춘다.

g. 정지 규칙을 만족할 때까지 c~f까지의 과정을 반복한다.

담금질 모사 기법을 수행하는 과정에서 임의의 목적함수 내의 교란된 변수

가 목적함수의 값을 감소시키는 경우 기존의

는

로 대체된다. 반면에,

인 경우에도 현재 온도에서의 볼츠만 확률이 임의의 확률보다 큰 경우

를 새로운 해로 결정한다. 이는 담금질 모사 기법 과정의 목적함수 내의 변수가 지역적 최소치를 벗어나서 광역적인 최소값에 수렴하도록 조정해주는 역할을 한다.

따라서, 담금질 모사 기법 내에서는 초기 온도와 시스템 온도를 반복 과정에서 주기적으로 감소시키기 위한 냉각일정을 결정하는 것이 중요한 요소가 될 수 있다.

파라미터 결정부(13)는 지역적 매칭쌍을 추출하기 위해 필요한 두 파라미터를 최적화하기 위해, 특정 시스템 온도 내에서 b~e의 과정을 첫 번째 반복 횟수만큼 적용하고, 정지규칙을 만족할 때까지의 시스템 온도를 두 번째 반복 횟수만큼 반복 적용함으로써, 목적함수의 광역적 최소치를 추정한다. 여기서, 사용된 목적함수는 매칭 일관성(registration consistency) 값으로, 값이 낮을수록 설정한 파라미터를 통해 생성된 변환모델식의 기하보정 정확도가 높음을 나타낸다.

다시, 도 1을 보면, 지역적 매칭쌍 추출부(14)는 파라미터 결정부(13)에 의해 결정된 두 파라미터를 이용하여 지역적 매칭의 후보가 되는 지역적 매칭쌍을 추출한다. 또한, 매칭쌍들 간의 방향 특성 정보를 이용하여 추출한 매칭쌍들 중 오정합점 즉, 오매칭쌍을 제거한다.

이하, 지역적 매칭쌍 추출부(14)의 동작에 대하여 상세하게 설명한다.

지역적 매칭쌍 추출부(14)는 지역적 매칭을 위한 특징점을 선정하기 위하여 기준 영상의 각 특징점을 기준점으로 하는 소정 거리 내 영역에 대응하는 버퍼(buffer)를 설정한다. 또한, 버퍼 내에 존재하는 대상 영상의 특징점만을 매칭 대상이 되는 후보점으로 선택한다. 여기서, 지역적 매칭쌍 추출부(14)는 좌표 변환부(12)에 의해 변환된 좌표를 토대로 버퍼 내에 위치하는 특징점을 선택한다. 또한, 버퍼를 설정하기 위한 거리 즉, 버퍼의 반지름은 파라미터 결정부(13)에 의해 산출된 값을 사용한다. 도 3은 기준 영상의 특징점을 기준으로 설정된 원형버퍼의 반지름 내에 존재하는 대상 영상의 특징점을 지역적 매칭을 위한 후보점으로 선택하는 일 예를 도시한 것이다.

한편, 도 3에서 기준 영상의 한 특징점을 i라고 하고, 이 특징점(i)을 기준으로 하는 원형 버퍼 내에 존재하는 대상 영상의 한 특징점을 j라고 할 때, 두 특징점(i, j)을 매칭하기 위한 유사도 거리 D(i,j)는 아래 수학식 2로 나타낼 수 있다.

여기서 ED(i,j)는 두 특징점(i, j)의 128 방향 벡터에 대한 유클리드 거리를 나타내며, ND(i,j)는 대상 영상의 특징점 j를 기준 영상의 좌표 체계로 변환했을 때 두 특징점(i, j) 간의 공간거리를 [0, 1]로 정규화시킨 값을 나타낸다.

지역적 매칭쌍 추출부(14)는 최종적으로 D(i,j)가 미리 지정한 임계치보다 작은 경우, 두 특징점(i, j)을 지역적 매칭의 후보가 되는 지역적 매칭쌍으로 선택한다. 여기서, 두 특징점(i, j)을 매칭하기 위한 거리 D(i,j)의 임계치는 파라미터 결정부(13)에 의해 산출된 값을 사용한다.

위 수학식 2에 따르면, 두 특징점(i, j)의 위치가 완전히 일치하는 경우 ND(i, j)의 값이 0이 되어 단순히 128 방향 벡터 간의 유클리드 거리만을 매칭 거리로 판단하게 된다. 또한, 두 특징점(i, j) 간의 거리가 멀어질수록 방향 벡터에 대한 유클리드 거리의 가중치가 증가하므로 결과적으로 매칭쌍으로 선정될 확률이 줄어들게 된다.

지역적 매칭쌍 추출부(14)는 매칭쌍이 선택되면, 선택된 매칭쌍들 간의 방향 특성 정보를 이용한 오매칭쌍 제거 기법을 통해 그림자 지역이나 기복 변위가 심한 고층건물 지역에서 추출된 매칭쌍을 오정합점으로 판단하고 추가적으로 제거한다.

각 영상의 취득시각이나 관측각 등의 특성으로 인해, 그림자 지역이나 높은 건물의 누워있는 방향은 영상마다 다를 수 있다. 특히 고해상도 영상의 경우, 이러한 특성이 더욱 도드라지게 나타난다. 이에 따라, 지역적 매칭쌍 추출부(14)는 보다 높은 기하보정 정확도를 얻기 위해 그림자 지역이나, 고층 건물, 나무와 같은 높이 변화가 심한 지역에서 추출된 매칭쌍은 지역적 매칭의 매칭쌍에서 제외한다.

오매칭쌍은 전술한 원형버퍼의 지형학적 제약으로 인해 일차적으로 제거될 수 있다. 하나의 매칭쌍이 건물의 지붕에서 추출되는 경우를 예로 들면, 그 위치는 기복변위에 의해 실질적인 기하학적 위치에 존재하지 않게 된다. 이는 해당 매칭쌍이 기술 벡터에 의해 서술된 특성이 유사하더라도, 원형버퍼 안에 존재할 가능성이 줄어들어 결과적으로 매칭쌍으로 선택된 확률이 줄어들게 된다. 또한, 해당 매칭쌍이 버퍼 안에 존재하더라도, 그 위치는 버퍼의 가장자리 부분에 존재할 가능성이 크고, 이에 따라, 유사도 거리가 증가하여 최종적으로 매칭쌍으로 추출될 확률이 줄어든다.

이와 같이, 지역적 매칭쌍 추출부(14)는 원형버퍼를 이용하여 오정합이라고 판단되는 특징점이 매칭쌍으로 추출되는 것을 일차적으로 필터링하고, 이 과정에서 제거되지 못한 오정합점들은 추출된 매칭쌍 간의 방향 정보의 차를 이용하여 추가적으로 제거한다.

오정합점의 제거를 위해, 지역적 매칭쌍 추출부(14)는 어핀 변환으로 추출된 각 매칭쌍에 대한 평균 방향정보를 산출한다. 또한, 산출된 평균 방향 정보에 대한 차를 이용하여 오정합점을 제거한다.

그림자나 건물과 같이 높이 정보가 다양한 곳에서 추출된 매칭쌍들은 다른 일반적인 매칭쌍들에 비해 다양한 방향 정보의 차를 갖게 된다. 따라서, 지역적 매칭쌍 추출부(14)는 각 매칭쌍의 방향정보의 차에 대한 평균과 표준편차를 산출하고, 이를 토대로 제트 스코어(z-score)를 산출한다. 그리고, 산출된 제트 스코어를 이용하여 오정합쌍을 제거한다.

제트 스코어는 다음의 수학식 3을 통해 산출할 수 있다.

여기서,

는 검사를 수행할 매칭쌍이 갖는 방향정보 차를 나타내고,

와

는 각각 매칭쌍으로부터 구한 방향정보의 차에 대한 평균과 표준편차를 나타낸다. 지역적 매칭쌍 추출부(14)는

값이

보다 큰 값을 가지면,

를 오정합점으로 판단하고 매칭쌍으로부터 제거함으로써, 지역적 매칭의 대상이 되는 매칭쌍을 최종적으로 선택한다.

다시, 도 1을 보면, 기하보정부(15)는 지역적 매칭쌍 추출부(14)에 의해 최종적으로 추출된 매칭쌍을 이용하여 변환모델식을 구성하고, 이를 토대로 대상 영상의 각 화소를 기준 영상의 좌표체계로 변환한다.

이하, 기하보정부(15)의 동작에 대하여 상세하게 설명한다.

고도가 높거나 고도 변화가 심한 지역은 센서의 촬영방식에 따라 많은 기복변위를 발생시킬 수 있다. 특히, 중·저해상도 영상보다 고해상도 영상에서 이러한 기복변위는 더욱 두드러지는 경향이 있다. 이렇게 기복변위가 발생하는 두 영상을 어핀 변환이나 다항 함수(polynomial function)와 같은 선형 변환식으로 기하보정할 경우, 왜곡 보정에 한계가 있다.

따라서, 기하보정부(15)는 선형식과 비선형식을 결합한 형태인 전역적/지역적 변환모델식(global/local mapping function)을 이용하여 두 영상이 가지고 있는 기하학적인 차이를 최소화하였다.

기하보정부(15)는 지역적 변환모델식으로 구간적 선형 함수(piecewise linear function)를 사용하며, 구간적 선형 함수는 영상 간 매칭쌍들을 이용하여 델루누이 삼각망(Delaunay triangulation)을 구성한다. 또한, 기하보정부(15)는 구성된 델루누이 삼각망 각각에 대해 어핀 변환 계수를 산출하고, 이를 이용하여 두 영상 간의 변환을 수행한다.

델루누이 삼각망 규칙에 따르면, 세 특징점으로 구성된 기준 영상의 삼각망과 그에 대응하는 대상 영상의 삼각망 간의 관계를 어핀 변환을 통해 나타낼 수 있다. 또한, 어핀 변환 계수를 이용하여 삼각망 내에 존재하는 대상 영상의 모든 화소의 좌표를 기준 영상의 좌표체계로 변환할 수 있다.

기하보정부(15)는 이러한 변환 과정을 모든 삼각망에 대해 반복적으로 수행하고, 이에 따라 각 삼각망에 대해 서로 다른 계수를 갖는 어핀 변환을 통해 대상 영상이 지역적으로 기준 영상의 좌표로 기하 보정된다.

한편, 기하보정부(15)는 매칭쌍이 존재하지 않는 영상의 외곽 지역에 대해서는, 전역적인 어핀 변환을 수행한다.

도 4는 전역적/지역적 변환모델식(global/local mapping function)을 적용하는 일 예를 도시한 것이다.

도 4를 참조하면, 기하보정부(15)는 삼각망 외각에 존재하는 매칭쌍(P1)을 이용하여 어핀 변환 계수를 추정한다. 또한, 추정한 어핀 변환 계수를 이용하여 영상에서 삼각망이 구성되지 않은 지역(A1)에 대한 변환을 수행한다.

기하보정부(15)는 삼각망 외각에 존재하는 매칭쌍만을 전역적인 어핀 변환 계수 추정에 이용함으로써, 두 변환모델 사이에 생길 수 있는 오차를 최소화하였다.

도 5는 본 발명의 일 실시 예에 따른 영상 매칭 시스템의 영상 매칭 방법을 도시한 흐름도이다.

도 5를 참조하면, 영상 매칭 시스템(10)은 기준 영상 및 대상 영상 각각에 대해 SIFT 알고리즘을 적용하여, 기준 영상 및 대상 영상으로부터 특징점들을 추출한다(S101).

이후, 영상 매칭 시스템(10)은 추출한 특징점들 간의 유클리드 거리를 산출하고, 이를 토대로 전역적 매칭의 후보가 되는 매칭쌍들을 추출한다(S102).

또한, 영상 매칭 시스템(10)은 최소제곱법에 기반한 이상치 제거 과정을 통해 상기 S102 단계에서 추출한 매칭쌍들 중에서 오매칭쌍을 제거한다(S103).

또한, 상기 S102 단계에서 추출된 매칭쌍들 중 오매칭쌍을 제거한 나머지 매칭쌍들을 이용하여 어핀 변환 계수를 산출한다. 그리고, 산출한 어핀 변환 계수를 이용하여 대상 영상의 모든 특징점의 좌표를 기준 영상의 좌표체계에 기반하여 변환한다(S104).

또한, 영상 매칭 시스템(10)은 기준 영상의 각 특징점을 기준점으로 버퍼를 설정하고, 버퍼 내에 존재하는 대상 영상의 특징점들을 후보점으로 선택한다. 또한, 대상 영상에서 후보점으로 선택된 특징점과 기준 영상의 특징점 간의 유사도 거리를 산출하고, 유사도 거리가 임계치보다 작은 특징점들을 지역적 매칭의 후보가 되는 매칭쌍으로 선택한다(S105).

상기 S105 단계에서, 후보점 선택의 기준이 되는 버퍼의 반지름과, 유사도 거리를 이용한 매칭쌍을 선택하기 위한 기준이 되는 임계치는 담금질 모사 기법을 통해 산출된 값이다.

영상 매칭 시스템(10)은 지역적 매칭의 후보가 되는 매칭쌍이 선택되면, 선택된 매칭쌍들 간의 방향 특성 정보를 이용하여, 매칭쌍들 중 오정합점을 제거한다(S106).

이후, 영상 매칭 시스템(10)은 상기 S106 단계에서 오정합점을 제거한 나머지 매칭쌍에 대해 전역적/지역적 변환모델식을 적용함으로써, 대상 영상의 각 화소의 좌표를 기준 영상의 좌표체계로 기하 보정한다(S107).

본 발명의 일 실시 예에 따르면, 지역적 매칭의 매칭쌍을 선택하기 위해 사용되는 두 파라미터인 버퍼의 반지름과 지역적 매칭 거리의 임계치를 최적화 기법을 사용하여 자동으로 도출함으로써, 두 파라미터에 따라서 기하보정 정확도가 달라지는 문제점을 해결하는 효과가 있다. 또한, 기하 보정 알고리즘의 재현성을 높이고, 기하 보정 알고리즘을 보다 일반화하는 효과도 있다.

또한, 선형식과 비선형식을 결합한 형태인 전역적/국지적 변환모델식(global/local mapping function)을 이용하여 지역적 매칭을 수행함으로써, 두 영상이 가지고 있는 기하학적인 차이를 효과적으로 최소화하는 효과가 있다.

도 6 내지 도 10은 본 발명의 일 실시 예에 따른 영상 매칭 방법의 효과를 설명하기 위한 도면들로서, 서로 다른 위성 영상을 이용하여 본 발명의 일 실시 예에 따른 영상 매칭 방법을 적용하는 경우를 도시한 것이다.

도 6은 영상 매칭에 사용된 위성영상들을 도시한 것이고, 영상 매칭에 사용된 각 위성영상의 특성은 아래 표 1과 같다.

표 1. 고해상도 광학영상 간 매칭 실험에 사용된 위성영상 특성

도 7은 각 대상지역(site) 별로 SIFT 기법을 통해 추출된 지역적 매칭쌍의 수와 분포를 도시한 것이다.

도 7을 참조하면, 대상지역 1에서는 15쌍, 대상지역 2에서는 19쌍의 매칭쌍이 추출되었다.

한편, 도 7을 보면, 두 대상지역에서 모두 매칭쌍이 특정 지역에서 집중되어서 추출되었음을 알 수 있다. 이와 같이 특정 지역에 매칭쌍이 집중되면, 추출된 매칭쌍을 이용하여 변환모델식을 구성할 경우 매칭쌍이 추출되지 않은 지역에 대해서는 많은 기하보정 오차를 포함할 수 있다.

또한, 도 7을 보면, 두 대상지역 모두에서 오정합된 매칭쌍을 확인할 수 있으며, 이러한 매칭쌍이 하나라도 변환모델식을 구성하는데 포함되면, 신뢰할만한 변환모델 계수를 구할 수 없다.

이에 따라, 본 발명의 일 실시 예에 따른 영상 매칭 방법에서는, 높은 RMSE 값을 갖는 오매칭쌍을 제외한 나머지 매칭쌍을 이요하여 어핀 변환 계수를 추정하고, 이를 이용하여 대상 영상의 특징점의 좌표를 기준영상의 좌표체계로 변환하였다.

표 2는 지역적 매칭쌍을 추출하기 위해 사용되는 임계치의 초기 설정 값과 본 발명의 일 실시 예에 따른 담금질 모사 기법을 이용하여 최종 결정된 임계치에 따른 원형버퍼 반지름, 추출된 매칭쌍 수 및 목적함수로 설정한 registration consistency의 값을 비교한 것이다.

표 2. 지역적 매칭쌍을 위해 선정한 초기 임계치와 담금질 모사 기법을 통해 추출된 최종 임계치 비교 결과

표 2를 보면, 담금질 모사 기법을 이요하여 임계치를 설정하는 경우가 그렇지 않은 경우에 비해, 두 대상 지역 모두에 대해서 추출된 총 매칭쌍의 수가 3배 이상 증가하였으며, registration consistency 값 또한 감소한 것을 알 수 있다.

도 8은 담금질 모사 기법으로 결정된 두 임계치를 이용하여 추출한 지역적 매칭쌍의 분포를 도시한 것이다.

도 8을 참조하면, 대상지역 1과 2에서 각각 70개와 108개의 매칭쌍이 추출되었으며, 추출된 매칭쌍이 영상 전역에 걸쳐서 고르게 분포함을 알 수 있다. 특히, 오정합점의 제거가 효과적으로 수행되어 고층건물이 많이 분포하는 대상지역 1에서 건물 등과 같이 기복 변화가 심한 지역에서는 매칭쌍이 추출되지 않았음을 알 수 있다.

도 9는 도 8에서 추출된 매칭쌍을 이용하여 구성한 삼각망을 도시한 것이다. 또한, 도 10은 본 발명의 일 실시 예에 따른 영상 매칭 방법을 이용하여 도 9에서 삼각망이 구성된 지역에 대해서는 구간적 선형 변환식(piecewise linear transformation)을 적용하고, 삼각망이 구성되지 않은 외각 지역에 대해서는 전역적 어핀 변환을 적용하여 대상 영상을 기준 영상의 좌표체계로 변환한 뒤, 기준 영상의 좌표체계로 기하 보정된 대상 영상(SB1)을 기준 영상(RB1)에 중첩하여 모자이크 영상으로 표시한 도면이다. 기준 영상(RB1)과 대상 영상(SB1)의 블록은 서로 다른 색상의 블록으로 표시하였다.

도 10을 참조하면, 두 대상지역 모두에서 공통으로 존재하는 선형정보나 특정 객체의 형상이 유지되는 것을 볼 수 있다.

아래 표 3은 각 대상 영상에서 총 10개의 검사점을 추출하여 x, y 방향에 대한 오차, RMSE 및 CE90을 계산한 결과는 나타낸다.

표 3. 기하보정 정확도 평가

표 3을 참조하면, 대상 지역 1 및 2에 대하여 각각 1.56m와 1.288m의 RMSE 값과 1.98m, 1.46m의 CE90 값을 도출하였다. 이는 종래에 수동으로 추출한 매칭쌍을 이용하여 어핀 변환을 수행하는 방법에 비해, 기하보정 정확도가 증가하였음을 알 수 있다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

영상 매칭 시스템에 있어서,
기준 영상 및 대상 영상 각각에 대해 적어도 하나의 특징점을 추출하고, 상기 기준 영상으로부터 추출한 상기 특징점과 상기 대상 영상으로부터 추출한 상기 특징점 간의 유클리드 거리를 토대로 전역적 매칭의 후보가 되는 적어도 하나의 제1 매칭쌍을 추출하는 특징점 추출부;
상기 제1 매칭쌍을 이용하여 제1 어핀 변환(affine transform) 계수를 추정하고, 상기 제1 어핀 변환 계수를 이용하여 상기 대상 영상의 특징점의 좌표를 상기 기준영상의 좌표체계로 변환하는 좌표 변환부;
최적화 기법을 이용하여 지역적 매칭쌍을 선택하기 위한 버퍼의 반지름 및 임계치를 산출하는 파라미터 결정부;
상기 기준 영상의 특징점을 기준점으로 하는 상기 버퍼를 토대로, 상기 대상 영상으로부터 지역적 매칭의 후보점이 되는 적어도 하나의 특징점을 선택하고, 상기 후보점과 상기 기준점간의 유사도 거리를 상기 임계치와 비교하여 지역적 매칭의 후보가 되는 적어도 하나의 제2 매칭쌍을 추출하는 지역적 매칭쌍 추출부; 및
상기 제2 매칭쌍을 이용하여 변환모델식을 구성하고, 상기 변환모델식을 토대로 상기 대상 영상을 상기 기준 영상의 좌표체계로 기하보정하는 기하보정부
를 포함하는 시스템.
제1항에 있어서,
특징점 추출부는 상기 기준 영상 및 상기 대상 영상 각각에 대해 SIFT(Scalar Invariant Feature Transform) 알고리즘을 적용하여 상기 특징점을 추출하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 좌표 변환부는 최소제곱법을 이용한 이상치 제거 과정을 통해 상기 적어도 하나의 제1 매칭쌍 중 오매칭쌍을 제거하고, 상기 오매칭쌍을 제거한 나머지 제1 매칭쌍을 이용하여 상기 제1 어핀 변환 계수를 추정하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 파라미터 결정부는 상기 최적화 기법으로 담금질 모사 기법을 사용하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 지역적 매칭쌍 추출부는 상기 대상 영상의 특징점들 중 상기 버퍼 내에 위치하는 특징점을 상기 후보점으로 선택하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 지역적 매칭쌍 추출부는 상기 기준점과 각 후보점 간의 방향 벡터에 대한 유클리드 거리 및 공간 거리를 결합하여 상기 유사도 거리를 산출하며, 상기 유사도 거리가 상기 임계치보다 작은 두 특징점을 지역적 매칭을 위한 상기 제2 매칭쌍으로 선택하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 지역적 매칭쌍 추출부는 상기 적어도 하나의 제2 매칭쌍 간의 방향 특성 정보를 토대로 상기 적어도 하나의 제2 매칭쌍 중 오정합점을 제거하고,
상기 기하보정부는 상기 적어도 하나의 제2 매칭쌍 중 오정함접을 제외한 나머지 제2 매칭쌍을 이용하여 상기 변환모델식을 구성하는 것을 특징으로 하는 시스템.
제1항에 있어서,
상기 기하보정부는 선형식과 비선형식을 결합한 형태인 전역적/지역적 변환모델식을 상기 기하보정을 위한 변환식으로 사용하는 것을 특징으로 하는 시스템.
제8항에 있어서,
상기 기하보정부는 상기 지역적 변환모델식으로 구간적 선형 함수(piecewise linear function)가 사용하는 것을 특징으로 하는 시스템.
제9항에 있어서,
상기 기하보정부는 상기 제2 매칭쌍에 상기 구간적 선형 함수를 적용하여 델루누이 삼각망을 구성하고, 상기 삼각망에 대한 제2 어핀 변환 계수를 추정하고, 상기 제2 어핀 변환 계수를 이용하여 상기 삼각망 내에 존재하는 상기 대상 영상의 각 화소의 좌표를 상기 기준 영상의 좌표체계로 변환하는 것을 특징으로 하는 시스템.
제10항에 있어서,
상기 기하보정부는 상기 전역적 변환모델식으로 전역적 어핀 변환식을 사용하는 것을 특징으로 하는 시스템.
제11항에 있어서,
상기 기하보정부는 상기 삼각망 외각에 존재하는 상기 제2 매칭쌍을 이용하여 제3 어핀 변환 계수를 추정하고, 상기 제3 어핀 변환 계수를 이용하여 상기 대상 영상에서 상기 삼각망이 구성되지 않은 지역의 각 화소의 좌표를 상기 기준 영상의 좌표체계로 변환하는 것을 특징으로 하는 시스템.
영상 매칭 시스템의 영상 매칭 방법에 있어서,
기준 영상 및 대상 영상 각각에 대해 적어도 하나의 특징점을 추출하는 단계;
상기 기준 영상으로부터 추출한 상기 특징점과 상기 대상 영상으로부터 추출한 상기 특징점 간의 유클리드 거리를 토대로 전역적 매칭의 후보가 되는 적어도 하나의 제1 매칭쌍을 추출하는 단계;
상기 제1 매칭쌍을 이용하여 추정한 제1 어핀 변환(affine transform) 계수를 이용하여 상기 대상 영상의 특징점의 좌표를 상기 기준 영상의 좌표체계로 변환하는 단계;
최적화 기법으로 결정된 반지름을 토대로 상기 기준 영상의 특징점을 기준점으로 하는 버퍼를 설정하는 단계;
상기 버퍼를 이용하여 상기 대상 영상으로부터 지역적 매칭의 후보점이 되는 적어도 하나의 특징점을 선택하는 단계;
상기 후보점과 상기 기준점간의 유사도 거리를, 상기 최적화 기법으로 결정된 임계치와 비교하여 지역적 매칭의 후보가 되는 적어도 하나의 제2 매칭쌍을 추출하는 단계; 및
상기 제2 매칭쌍을 이용하여 구성한 변환모델식을 토대로, 상기 대상 영상을 상기 기준 영상의 좌표체계로 기하보정하는 단계
를 포함하는 방법.
제13항에 있어서,
상기 특징점을 추출하는 단계는,
상기 기준 영상 및 상기 대상 영상 각각에 대해 SIFT(Scalar Invariant Feature Transform) 알고리즘을 적용하여 상기 특징점을 추출하는 단계인 것을 특징으로 하는 방법.
제13항에 있어서,
최소제곱법을 이용한 이상치 제거 과정을 통해 상기 적어도 하나의 제1 매칭쌍 중 오매칭쌍을 제거하는 단계; 및
상기 오매칭쌍을 제거한 나머지 제1 매칭쌍을 이용하여 상기 제1 어핀 변환 계수를 추정하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제13항에 있어서,
상기 최적화 기법은 담금질 모사 기법인 것을 특징으로 하는 방법.
제13항에 있어서,
상기 버퍼를 이용하여 상기 지역적 매칭의 후보점이 되는 적어도 하나의 특징점을 선택하는 단계는,
상기 대상 영상의 특징점들 중 상기 버퍼 내에 위치하는 특징점을 상기 후보점으로 선택하는 것을 특징으로 하는 방법.
제13항에 있어서,
상기 기준점과 각 후보점 간의 방향 벡터에 대한 유클리드 거리 및 공간 거리를 결합하여 상기 유사도 거리를 산출하는 단계를 더 포함하며,
상기 적어도 하나의 제2 매칭쌍을 추출하는 단계는,
상기 유사도 거리가 상기 임계치보다 작은 두 특징점을 지역적 매칭을 위한 상기 제2 매칭쌍으로 선택하는 것을 특징으로 하는 방법.
제13항에 있어서,
상기 적어도 하나의 제2 매칭쌍 간의 방향 특성 정보를 토대로 상기 적어도 하나의 제2 매칭쌍 중 오정합점을 제거하는 단계; 및
상기 적어도 하나의 제2 매칭쌍 중 오정함접을 제외한 나머지 제2 매칭쌍을 이용하여 상기 변환모델식을 구성하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제13항에 있어서,
상기 변환모델식은 선형식과 비선형식을 결합한 형태인 전역적/지역적 변환모델식인 것을 특징으로 하는 방법.
제20항에 있어서,
상기 지역적 변환모델식은 구간적 선형 함수(piecewise linear function)인 것을 특징으로 하는 방법.
제21항에 있어서,
상기 기하보정하는 단계는,
상기 제2 매칭쌍에 상기 구간적 선형 함수를 적용하여 델루누이 삼각망을 구성하는 단계;
상기 삼각망에 대한 제2 어핀 변환 계수를 추정하는 단계; 및
상기 제2 어핀 변환 계수를 이용하여 상기 삼각망 내에 존재하는 상기 대상 영상의 각 화소의 좌표를 상기 기준 영상의 좌표체계로 변환하는 단계
를 포함하는 방법.
제22항에 있어서,
상기 전역적 변환모델식은 전역적 어핀 변환식인 것을 특징으로 하는 방법.
제23항에 있어서,
상기 기하보정하는 단계는,
상기 삼각망 외각에 존재하는 상기 제2 매칭쌍을 이용하여 제3 어핀 변환 계수를 추정하는 단계; 및
상기 제3 어핀 변환 계수를 이용하여 상기 대상 영상에서 상기 삼각망이 구성되지 않은 지역의 각 화소의 좌표를 상기 기준 영상의 좌표체계로 변환하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제13항 내지 제24항 중 어느 한 항에 의한 방법을 실행시키기 위한 프로그램을 컴퓨터에서 실행하는 기록매체.