KR20130138457A

KR20130138457A - 증강현실의 호모그래피 정확도 향상을 위한 ｃｓｐ 기반의 ｒａｎｓａｃ 샘플링 방법

Info

Publication number: KR20130138457A
Application number: KR1020120062051A
Authority: KR
Inventors: 조근식; 장철희
Original assignee: 인하대학교 산학협력단
Priority date: 2012-06-11
Filing date: 2012-06-11
Publication date: 2013-12-19
Also published as: KR101373397B1

Abstract

증강현실의 호모그래피 정확도 향상을 위한 CSP 기반의 RANSAC 샘플링 방법이 개시된다. RANSAC(Random Sample Consensus) 알고리즘을 이용하여 복수의 이미지 간의 변환 관계를 나타내는 호모그래피(Homography)를 추정하기 위한 샘플링 방법은, 상기 복수의 이미지 중 대상 이미지를 복수의 격자 영역으로 나누고 상기 대상 이미지에서 추출된 특징점을 상기 격자 영역으로 분류하는 전처리 단계; 및 상기 분류된 특징점에 대하여 명시한 모든 제약조건(Constraint)을 적용하여 상기 호모그래피를 추정하기 위한 특징점을 선택하는 선택 단계를 포함할 수 있다.

Description

증강현실의 호모그래피 정확도 향상을 위한 ＣＳＰ 기반의 ＲＡＮＳＡＣ 샘플링 방법{SAMPLING METHOD FOR RANDOM SAMPLE CONSENSUS BASED ON CONSTRAINT SATISFACTION PROBLEM IN AUGMENTED REALITY}

본 발명의 실시예들은 두 이미지 간의 평면 호모그래피(Homography)를 구하기 위한 RANSAC 알고리즘의 샘플링 방법에 관한 것이다.

최근 실제 환경에 가상의 객체를 합성하여 실제 환경에 존재하는 사물처럼 보이게 하는 증강현실(Augmented Reality)에 대한 기술 개발이 활발이 이루어지고 있다.

증강현실은 가상의 객체(virtual object)를 실세계의 영상에 중첩시키는 기술이다. 이런 증강현실 분야에서 가장 핵심이 되는 부분이 객체 인식 및 객체추적이다. 그 중 카메라의 시점이 바뀜에 따라 대상 객체를 추적하는 추적기술은 이질감 없이 가상의 객체를 실제 영상에 합성하기 위해 중요한 부분이다. 이러한 추적기술은 크게 센서기반, 컴퓨터시각기반으로 나눌 수 있다. 증강하고자 하는 가상의 객체를 정확한 위치에 합성하고자 할 때 컴퓨터시각기반의 기술을 이용하는 것이 센서를 이용하는 방법보다 정확한 위치에 합성할 수 있다. 컴퓨터시각기반의 추적기술은 크게 마커 기반, 비마커 기반의 기법이 있지만 마커 기반의 경우 응용범위가 협소하고 비현실적이기에 비마커 기반의 추적방법을 사용한다. 비마커 기반의 추적기술은 실세계의 영상으로부터 얻을 수 있는 점, 선, 에지, 텍스쳐 등과 같은 특징들로부터 카메라의 시점을 결정하는 방식이다.

이러한 비마커 기반의 추적기술에서는 미리 저장한 실세계의 영상(이미지) 위에 합성하고자 하는 가상의 객체들을 저작하고, 현재 카메라로부터 들어오는 실세계의 영상(이미지)과 저장된 실세계 이미지간 기하학적 변환관계인 호모그래피(Homography)를 추정하여 추정된 호모그래피를 이용하여 저작된 가상의 객체들을 현재 카메라의 시점에 맞게 증강시키는 방법을 이용할 수가 있다. 이때 가상의 객체를 정확한 위치에 이질감 없이 합성하기 위한 정확한 호모그래피의 추정은 중요한 문제이다.

일반적으로, CSP(Constraint Satisfaction Problem)는 n개의 변수(V_i, i=1,...,n)와 각 변수가 가질 수 있는 도메인(D_i, i=1,...,n), 그리고 m개의 제약조건(C_i, i=1,...,m)으로 구성되며, 각 변수의 도메인 내에서 주어진 제약조건을 만족하는 해를 찾는 문제이다. 대표적인 CSP 문제로는 차량경로문제(Vehicle Routing Problem), 외판원 문제(Traveling Salesman Problem) 등을 들 수 있다.

호모그래피(사영변환(Projective Transformation)이라고도 함)는 사영공간(Projective space)에서 사영공간으로의 가역변환(Invertible Transformation)이다. 이를 이용하면 같은 대상에 대하여 카메라의 시점이 다른 이미지에 대하여 변환관계를 표현할 수 있다. 이는 두 장의 이미지에 대하여 추출된 특징점에 대하여 매칭 수행 후 최소 4개의 매칭 쌍을 이용하여 Homography를 계산하게 된다. 도 1과 같이 같은 대상에 대한 카메라의 시점만 다른 Image1, Image2의 2장의 그림이 있다고 했을 때, Image1의 사각형 I가 가지는 4개의 점을 Image2의 사각형 I´이 가지는 4개의 점으로 변환시켜줄 수 있는 행렬 H를 구할 수 있다면, 이 행렬 H는 Image1의 모든 점을 Image2의 대응되는 위치로 모두 변환시킬 수 있다. 이때 행렬 H를 호모그래피 매트릭스(Homography matrix)라 하고 이러한 변환을 호모그래피 혹은 사영변환이라고도 한다.

RANSAC(Random Sample Consensus)은 거짓정보(Outlier)를 포함하는 데이터 셋으로부터 수학적 모델의 인자를 반복적으로 추정하는 기법이다. 데이터 셋 전체에 대하여 모든 경우에 대한 수학적 모델 인자를 추정하기는 시간상 문제가 있기 때문에 랜덤 샘플링을 통하여 임의의 샘플들로 수학적 모델 인자를 추정하는 방법이다.

일반적인 RANSAC 알고리즘은 다음의 과정을 반복횟수 N만큼 반복 수행을 하여 모델인자를 추정한다.

(1) 샘플링

(2) 선택된 샘플로부터 모델 인자를 추정

(3) 추정된 모델 인자를 평가

(4) 샘플링을 더 수행할지에 대한 반복횟수 N을 계산

반복횟수 N은 확률을 기반으로 계산이 되고, 확률 p(최소 하나의 샘플이 유효한 데이터만을 포함할 확률), u(추출된 샘플이 모두 참정보(inlier)일 확률)라 하면 추출된 샘플이 모두 거짓정보(outlier)일 확률은 v=1-u이다. 샘플의 데이터 수가 m이라고 하면 반복횟수 N은 수학식 1과 같이 구할 수 있다.

RANSAC 알고리즘을 이용하여, 데이터 셋을 두 이미지에서 추출하여 매칭을 한 특징점 쌍으로 하고, 추정하고자 하는 수학적 모델 인자를 호모그래피로 하여 호모그래피를 추정할 수 있다.

(1) 랜덤으로 호모그래피 계산을 위한 특징점 쌍을 선택

(2) 선택된 특징점 쌍으로부터 호모그래피 계산

(3) 계산된 호모그래피로부터 두 이미지의 매칭된 특징점 쌍을 이용하여 각 특징점들을 변환시키고 변환된 특징점이 매칭된 특징점의 위치로 변환되는지를 평가하여 참정보(잘 매칭된 특징점 쌍)와 거짓정보(잘못 매칭된 특징점 쌍)를 구분하여 많은 참정보를 포함하는 호모그래피를 우수한 것으로 판단한다.

(4) 반복횟수 N을 계산

두 이미지에 대해 특징점을 기반으로 호모그래피를 계산할 때, 호모그래피 추정에 사용되는 특징점 쌍이 정확하게 매칭되었다 하더라도 각 특징점이 선형을 이루며 놓여있거나(도 2의 (a)) 특정영역에 군집을 이루며 모여 있을 경우(도 2의 (b)) 정확한 호모그래피를 추정할 수 없는 문제가 존재한다. 이 문제는 호모그래피를 추정하기 위한 RANSAC 알고리즘 에서도 똑같이 발생한다.

일반적인 RANSAC 알고리즘의 샘플링 방법을 이용하여 호모그래피를 추정하면 의미 없는 샘플(선형으로 놓여있거나, 특정영역에 군집을 이루는 특징점)로부터 부정확한 호모그래피를 추정하게 되는 문제가 발생하고 이는 불필요한 연산을 수행하여 계산시간을 소모시키고 전체적인 RANSAC 알고리즘의 정확도를 저하시키는 원인이 된다.

따라서, 두 이미지 간의 평면 호모그래피 행렬을 구할 때, 계산시간을 줄이고 정확한 호모그래피 행렬을 구할 수 있는 기술이 필요하다.

본 발명의 목적은 RANSAC 알고리즘을 이용하여 호모그래피를 추정하고자 할 때, RANSAC 알고리즘의 샘플링 과정에서 의미 없는 샘플이 추출되는 것을 배제하고, 한 번의 샘플을 추출하면서도 우수한 호모그래피를 추정할 수 있는 샘플링 방법을 제공하기 위한 것이다.

본 발명의 다른 목적은 한 번의 샘플링으로 우수한 호모그래피를 추정하여 RANSAC 알고리즘의 전체적인 반복횟수를 줄이는 것을 목적으로 한다.

본 발명의 일 측면에 따르면, RANSAC(Random Sample Consensus) 알고리즘을 이용하여 복수의 이미지 간의 변환 관계를 나타내는 호모그래피(Homography)를 추정하기 위한 샘플링 방법은, 상기 복수의 이미지 중 대상 이미지를 복수의 격자 영역으로 나누고 상기 대상 이미지에서 추출된 특징점을 상기 격자 영역으로 분류하는 전처리 단계; 및 상기 분류된 특징점에 대하여 명시한 모든 제약조건(Constraint)을 적용하여 상기 호모그래피를 추정하기 위한 특징점을 선택하는 선택 단계를 포함할 수 있다.

상기 전처리 단계는, 상기 특징점의 좌표 값을 기준으로 각 단위 격자의 위치에 해당되는 상기 특징점을 분류할 수 있다.

상기 선택 단계는, 하나의 특징점이 선택되면 상기 하나의 특징점과 선형을 이루는 위치의 다른 특징점이 선택되지 못하는 선형제약조건, 및 하나의 특징점이 선택되면 상기 하나의 특징점을 기준으로 일정 거리 이내의 다른 특징점이 선택되지 못하는 거리제약조건 중 적어도 하나의 제약조건을 적용할 수 있다.

상기 선형제약조건은, 하나의 단위 격자에서 하나의 특징점을 선택하는 조건, 같은 열(row)의 격자 영역에서 하나의 특징점을 선택하는 조건, 같은 행(column)의 격자 영역에서 하나의 특징점을 선택하는 조건, 및 같은 대각선 상의 격자 영역에서 하나의 특징점을 선택하는 조건 모두를 만족시켜야 한다.

본 발명의 다른 측면에 따르면, 컴퓨터 시스템이 RANSAC(Random Sample Consensus) 알고리즘을 수행하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서, 이때, 상기 RANSAC 알고리즘은 복수의 이미지 간의 변환 관계를 나타내는 호모그래피(Homography)를 추정하는 방법이며, 상기 명령은, 상기 복수의 이미지 중 대상 이미지를 복수의 격자 영역으로 나누고 상기 대상 이미지에서 추출된 특징점을 상기 격자 영역으로 분류하는 전처리 단계; 및 상기 분류된 특징점에 대하여 명시한 모든 제약조건(Constraint)을 적용하여 상기 호모그래피를 추정하기 위한 특징점을 선택하는 선택 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어할 수 있다.

본 발명의 다른 측면에 따르면, 메모리; 및 상기 메모리에 저장되어 있는 프로그램을 실행하는 처리기를 포함하고, 상기 프로그램은, 복수의 이미지 간의 변환 관계를 나타내는 호모그래피(Homography)를 추정하는 RANSAC(Random Sample Consensus) 알고리즘으로서, 상기 복수의 이미지 중 대상 이미지를 복수의 격자 영역으로 나누고 상기 대상 이미지에서 추출된 특징점을 상기 격자 영역으로 분류하며, 상기 분류된 특징점에 대하여 명시된 모든 제약조건(Constraint)을 적용하여 상기 호모그래피를 추정하기 위한 특징점을 선택하는 명령어를 포함하는 영상 처리 장치를 제공한다.

본 발명의 실시예에 따르면, 호모그래피를 추정하기 위한 RANSAC 알고리즘의 샘플링 과정에 CSP를 적용하여 샘플링 과정에서 선택되는 무의미한 샘플들을 배제함으로써 RANSAC 알고리즘의 반복횟수를 줄이고 추정되는 호모그래피의 정확도를 향상시킬 수 있다.

도 1은 두 이미지의 변환 관계를 나타내는 호모그래피를 설명하기 위한 도면이다.
도 2는 잘못 선택된 특징점들로 추정된 호모그래피 결과를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 있어서, CSP를 RANSAC 알고리즘의 샘플링 과정에 적용하기 위하여 대상 이미지를 격자 영역으로 나누는 전처리 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 있어서, 격자 영역에 대한 CSP의 변수를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 있어서, CSP를 적용한 RANSAC 알고리즘의 샘플링 결과를 설명하기 위한 도면이다.
도 6은 CSP를 적용한 RANSAC 알고리즘 수행 후 얻어진 호모그래피 행렬의 정확도를 측정한 결과 그래프를 도시한 도면이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명은 두 이미지간의 평면 호모그래피를 구하기 위한 RNASAC 알고리즘의 정확도 향상에 관한 것으로, RANSAC 알고리즘의 샘플링 과정에서 호모그래피를 구하기 위한 샘플을 추출할 때 정확하지 않은 호모그래피를 추정하는 샘플들이 선택되는 것을 배제하고 정확도가 높은 호모그래피를 추정하는 샘플들을 추출할 수 있는 RANSAC 알고리즘에서의 샘플링 방법에 관한 것이다.

본 발명은 두 이미지 간의 평면 호모그래피 행렬을 구할 때, 정확한 호모그래피 행렬을 구하는 것을 목적으로 한다.

두 이미지 간의 평면 호모그래피 행렬을 구하기 위해서는 SURF(Speeded Up Robust Feature) 기술자(SURF Descriptor)를 통해 각 이미지를 대표할 수 있는 특징점들을 추출을 하고, 추출된 특징점들을 유클리드 거리(Euclidean Distance)를 이용하여 유사도를 비교하여 비슷한 특징점들끼리 매칭(짝을 만듦)을 시켜준다. 매칭된 특징점 쌍을 이용하여 호모그래피 행렬을 구한다.

이때, 호모그래피 행렬을 구하기 위해서는 최소 4쌍의 특징점 쌍이 필요한데, 이것을 매칭이 끝난 특징점 집합에서 선택을 해야 한다. 하지만, 특징점들 간의 유사도를 비교하는 과정에서 오차가 생길 수 있고 이로 인해 잘못 매칭이 되는 특징점 쌍이 생길 수 있다. 이런 잘못 매칭된 특징점 쌍을 이용하여 호모그래피 행렬을 구할 경우 정확한 결과를 얻을 수 없다.

그렇기 때문에 잘못 매칭된 특징점 쌍(Outlier)을 배제하고 호모그래피 행렬을 구하기 위해 RANSAC 알고리즘을 사용한다. RANSAC 알고리즘은 거짓정보(Outlier)를 포함하는 데이터 집합으로부터 수학적 모델 인자를 랜덤 샘플링(Random Sampling)을 통해 반복적으로 추정하는 기법이다. 이러한 RANSAC 알고리즘을 적용하여 잘못 매칭 된 특징점 쌍들의 집합(Outlier를 포함하는 데이터 셋)으로부터 랜덤 샘플링을 통해 잘못 매칭된 특징점 쌍들을 확률적으로 회피하여 보다 정확한 호모그래피 행렬을 구할 수 있다.

일반적인 RANSAC 알고리즘 내에서의 랜덤 샘플링의 경우 호모그래피 행렬을 구하기 위한 특징점의 쌍들을 선택할 때 의미 없는 값들(선택된 특징점 쌍을 이용하여 호모그래피 행렬을 계산할 경우 정확한 호모그래피를 구할 수 없음)이 선택되는 경우가 생기기 때문에 RANSAC 알고리즘의 효율성과 계산되는 호모그래피 행렬의 정확도가 떨어지게 된다.

이를 해결하기 위해, 본 발명은 RANSAC 알고리즘의 샘플링 과정에 제약조건을 적용하여 전체적인 RANSAC 알고리즘의 효율성과 계산되는 호모그래피 행렬을 정확도를 높이는 것을 목적으로 한다.

문제 정의( Problem Definition )

호모그래피 행렬을 추정하기 위해 특징점들을 선택하는 과정은, 이미지에서 추출된 전체 특징점의 수를 m(|X|=m)이라 했을 때, 서로 다른 m개의 특징점들 중 r(r≥4)개의 특징점을 선택하는 조합문제로 볼 수 있다.

조합의 경우의 수를 계산하는 수학식 2의 공식을 이용하고 한 이미지에서 추출된 특징점의 수를 100개라 한다면,

호모그래피 행렬을 추정하기 위해 4개의 특징점을 선택하는 경우의 수는 수학식 3과 같이 3,921,225가지의 경우의 수가 나온다.

이들 3,921,225가지의 특징점들의 조합 중에는 잘못 매칭된 특징점 쌍이 포함될 수 있고, 이 조합들의 특징점들을 이용하여 호모그래피 행렬을 전부 구해 보는 것은 시간상 너무 비효율 적이기 때문에 RANSAC 알고리즘을 이용한다.

RANSAC 알고리즘에서는 모든 경우의 수를 고려하는 것이 아니라 랜덤 샘플링을 이용해서 랜덤으로 선택되어지는 특징점들을 이용해서 호모그래피 행렬을 계산하게 된다. RANSAC 알고리즘을 이용하여 호모그래피 행렬을 계산하는 과정은 다음과 같다.

(1) 랜덤하게 특징점을 선택

(2) 선택된 특징점을 이용하여 호모그래피 행렬을 계산

(3) 호모그래피 행렬을 평가

(4) 평가값이 일정 값 이상일 경우 RANSAC 종료, 아닐 경우 (a)번으로 돌아가 같은 과정을 반복

(5) 최종 호모그래피 행렬을 반환

RANSAC 알고리즘의 경우 위의 과정을 수행하여 최종적으로 호모그래피 행렬을 구하게 된다. 하지만, 일반적인 랜덤 샘플링의 경우 추출되는 특징점들에 일관성이 없고 추출된 특징점으로 호모그래피 행렬을 계산하더라도 정확한 호모그래피 행렬을 구할 수가 없는 경우가 발생하기 때문에 전체적인 RANSAC 알고리즘의 효율성이 저하된다.

도 2와 같이 선택된 특징점들이 아래의 두 경우에 해당될 때는 정확한 호모그래피 행렬을 계산해 낼 수 없다.

(1) 선형을 이루는 경우

(2) 특정 영역에 집중되어 군집을 이루는 경우

따라서, 호모그래피 행렬을 구하기 위한 RANSAC 알고리즘의 샘플링 과정에 CSP(Constraint Satisfaction Problem)를 적용하여 호모그래피 행렬을 구하기 위한 RANSAC 알고리즘의 전체적인 효율성을 높이고자 한다. RANSAC 알고리즘의 샘플링 과정에서 특징점을 선택할 때 제약조건을 적용하여 의미가 없는 특징점들이 추출이 되는 것을 방지하고, 불필요한 계산과정을 줄여 전체적인 RANSAC 알고리즘의 효율성을 높이고, 도 2와 같이 선형을 이루거나 특정영역에 군집을 이루어 추출이 되는 특징점들을 배제하여 계산되는 호모그래피 행렬의 정확도를 높인다. (호모그래피 행렬을 계산하기 위해 선택되는 특징점이 이미지 전체 영역에서 잘 분산되어 선택이 되면 보다 정확한 호모그래피 행렬을 얻을 수 있다.)

전처리 과정

CSP를 RANSAC 알고리즘의 샘플링 과정에 적용하기 위하여 RANSAC 알고리즘이 수행되기 이전 단계에서 아래의 과정을 미리 수행한다.

도 3에 도시한 바와 같이, 대상 이미지를 N×N의 격자로 나누고, 각 특징점을 해당 격자영역의 좌표로 분류한다.

각 이미지로부터 SURF를 이용하여 추출된 특징점들은 2D 이미지를 하나의 평면으로 했을 때, 좌상단을 원점으로 하는 x, y축을 기준으로 상대 위치를 나타내는 좌표 값(F_(x,y))를 가지고 있다. 이미지를 N×N의 격자영역으로 나누고 이미지에서 추출된 특징점들의 좌표 값을 기준으로 해당 격자영역 별로 분류한다. 모든 특징점의 집합을 X(|X|=m)라 하면, 하나의 단위 격자 영역에는 0~m개의 특징점이 포함될 수 있다.

위의 과정을 수행하여 전체 이미지 영역에 분포 되어있는 특징점을 N×N의 격자 영역으로 이산 분류 한다.

CSP( Constraint Satisfaction Problem )

RANSAC 알고리즘의 샘플링 과정에 적용하려는 CSP(Constraint Satisfaction Problem)는 주어진 제약조건을 만족시키는 해를 찾는 탐색 방법으로, 제약조건을 만족시키지 않으면 탐색 범위에서 제외되기 때문에 탐색 공간을 줄여 모든 경우를 고려하지 않고도 해를 찾을 수 있는 효율적인 탐색 방법이다.

CSP는 변수(Variables)와 각 변수의 도메인(Domain), 그리고 제약조건(Constraints)으로 구성되며, 각 변수가 가지는 도메인 내에서 제약조건을 만족하는 해를 찾는 문제이다.

RANSAC 알고리즘의 샘플링 과정에 적용하려는 CSP는 다음과 같다.

(1) 변수

V∈{V[i], i=0,1,2,...,n-1}: 격자 구조(N×N)에서 열(Row) 영역으로, 실질적으로 1차원의 배열이 된다(도 4 참조). 이때, V[i](i=0,1,2,...,n-1)는 각각 정수 값으로 해당 열 영역에서 특징점이 선택된 격자 영역의 인덱스 값을 나타낸다.

(2) 도메인:

V[i]∈{-1,0,1,2,...,n-1} (i=0,1,2,...,n-1)

단, V[i]=-1이면 V[i]∈Ø이다.

(3) 제약조건:

(3-1) 선형제약조건

a. 같은 위치

:(같은 격자 영역에서는 하나의 특징점만 선택)

전체 N×N의 격자를 G_r _,c(r,c=0,1,2,...,n-1)라고 하고, G_r _,c에 속한 특징점 x_k(x_k∈X(k=0,1,2,...,m))라 하고, 이때, G_r _,c에서 선택되는 특징점의 집합을 S(S⊂X)라 한다면 |S|=1이다.

b. 같은 열(Row) 위에 위치

:(같은 열 위에서는 하나의 특징점만 선택)

V[i]∈{-1,0,1,2,...,n-1}; (i=0,1,2,...,n-1)을 만족하는 하나의 값만을 가짐.

c. 같은 행(Column) 위에 위치

:(같은 행 위에서는 하나의 특징점만 선택)

V[i]≠V[j]; (i,j=0,1,2,...,n-1; i≠j)

d. 같은 대각선 위에 위치

:(같은 대각선 위에서는 하나의 특징점만 선택)

V[i]≠V[j]±(i-j); (i,j=0,1,2,...,n-1; i≠j)

(3-2) 거리제약조건

:(하나의 특징점이 선택이 되면 일정 거리 이내에는 다른 특징점이 선택되지 못하게 함)

if |i-j|=1 then V[i]≠V[j]±2

if |i-j|=2 then V[i]≠V[j]±1

(i,j=0,1,2,...,n-1; i≠j)

정리하면, 대상 이미지를 N×N의 격자로 나누고, 각 특징점을 해당 격자영역의 좌표로 분류한 후, 각 격자영역에서 다음의 제약조건을 적용하여 특징점을 선택한다.

(1) 제약조건 1(선형제약조건): 샘플링 되는 특징점들이 선형이 되지 않도록 하는 제약조건이다. 하나의 특징점이 선택이 되면 같은 행, 열, 대각선에서는 다른 특징점이 선택되지 않도록 한다. 이 제약조건을 샘플링 과정에 적용할 경우 샘플링 되는 특징점들이 선형을 이루는 것을 막을 수 있다.

(2) 제약조건 2(거리제약조건): 샘플링 시에 선택되는 특징점들이 서로 모여 특정 영역에 군집을 이루는 것을 회피하기 위한 제약조건이다. 하나의 특징점이 선택이 되면, 그 주위의 일정거리 내에서는 다른 특징점이 선택되는 것을 막는다. 다시 말해, 샘플링 과정에서 선택되는 특징점의 수는 격자수 보다 적기에 제약조건 1을 만족하면서 선택되는 특징점들이 서로 군집을 이루는 경우가 발생하게 된다. 이것을 방지하기 위해 하나의 특징점이 선택되면 선택된 특징점으로부터 일정 거리 이내에서는 다른 특징점을 선택하지 않게 한다.

도 5와 같이 처음 특징점 (a)가 선택이 될 경우, (b)는 거리제약조건 위반, (c)는 선형제약조건을 위반하기에 선택이 되지 않는다. (d),(e),(f),(g)의 경우 특징점 (a)를 비롯하여 각각의 특징점 (d),(e),(f),(g)와도 선형제약조건, 거리제약조건을 만족하면서 선택된 특징점들이다.

제약조건을 적용한 샘플링

위의 제약조건을 만족하는 특징점들을 선택하여 RANSAC 알고리즘의 샘플링 다음 부분을 수행할 수 있다.

앞서 설명한 제약조건을 적용한 샘플링에 대해 설명한다. 제안하는 샘플링 알고리즘은 대상 이미지에서 추출된 각 특징점(변수)들 간의 위치관계(도메인)를 기반으로 한다. 따라서 각 특징점들 간의 상대적인 위치관계를 나타내고자 N×N의 격자영역을 사용하고, 특징점들(F_i)의 좌표와 격자영역을 기반으로 특징점들을 분류한다.

일 차원 배열 V[i]를 생성하고 이를 이용하여 명시된 제약조건을 만족하는 샘플을 추출한다. 랜덤으로 하나의 특징점을 선택을 하게 되면 N x N의 격자로 분류된 정보로부터 선택된 특징점의 격자영역에서의 Row 와 Column의 값을 가져와 V[i] 의 값을 할당(V[Row]=Column 의 형식으로 할당)한다. 그리고 이전에 할당된 V[j](j=0,1,2,...,n-1)와 앞서 명시한 제약조건을 만족 여부를 판별하여 만족할 경우 V[i]를 최종 갱신하는 방법을 사용한다. 이 과정을 필요한 특징점의 수만큼 수행하게 되면 명시한 제약조건을 만족하는 샘플을 추출할 수 있게 된다. 단, 경우에 따라 이전에 선택된 특징점들과 제약조건을 만족하는 새로운 특징점을 찾을 수 없는 경우가 생길 수 있으므로 랜덤으로 특징점을 선택하는 과정의 최대 횟수를 정하여 이를 초과할 경우 처음부터 다시 특징점을 선택하는 과정을 추가 수행한다.

본 발명에서는 제안하는 CSP를 적용한 RANSAC 알고리즘의 성능을 평가하기 위해 일반적인 RANSAC 알고리즘의 랜덤 샘플링 방법과 삼각형의 넓이를 이용하는 샘플링 방법을 각각 적용한 RANSAC 알고리즘을 수행한다. 실험에서는 수행시간(Processing Time), 추정된 호모그래피 행렬의 정확도를 측정하여 비교한다. 수행시간의 경우 RANSAC 알고리즘의 시작시간과 끝나는 시간을 측정하여 구하고, 추정된 호모그래피 행렬의 정확도는 두 가지 평가방법을 사용하여 측정한다.

평가방법1(Error Rate 1): 임의의 점들(P_i: 0<i≤n)을 추정한 호모그래피 행렬을 통해 변환(수학식 4)을 하고 변환된 점들(

)을 다시 호모그래피 행렬 H의 역행렬(H^-1)을 구해 역변환(수학식 5)을 하여 원래의 점들과 역변환 되어 구해진 점들(

) 간의 유사도의 평균(수학식 6과 수학식 7)을 구하여 호모그래피 행렬의 정확도를 측정한다.

평가방법2(Error Rate 2): 대상 이미지 쌍에서 사용자가 직접 수동으로 매칭이 되는 쌍들(P_i _,Q_i: 0<i≤n)을 생성한 뒤 원래의 점(P_i)을 추정한 호모그래피 행렬 H를 통해 변환을 하고 변환된 점(

)과 원래의 매칭이 된 점(Q_i)간에 유사도의 평균(수학식 8과 수학식 7)을 구하여 호모그래피 행렬의 정확도를 측정한다.

본 실험에서는 이미지를 격자로 나누었을 때 특징점이 각 격자영역에 골고루 분포되어 있는 33쌍의 항공기 이미지를 대상으로 각 RANSAC 알고리즘을 1000번 반복 수행한 결과의 평균치를 측정하였다.

실험결과로는 도 6와 같은 결과를 얻을 수 있다. 도 6의 Error Rate 1과 2의 경우 각 RANSAC 알고리즘 수행 후 얻어진 호모그래피 행렬의 정확도를 측정한 결과이다. 실험 결과 제안하는 알고리즘의 경우 랜덤 샘플링, 삼각형의 넓이를 이용한 샘플링에 비해 Error Rate 1의 경우 각각 16.7%, 14.2%, Error Rate 2의 경우 각각 61.7%, 48.1%로 정확도가 향상되었고, 특히 평가방법2에서 더 우수한 결과를 보이는 것으로 확인 되었다. 도 6의 수행시간의 경우 제안하는 알고리즘이 랜덤 샘플링, 삼각형의 넓이를 이용한 샘플링에 비해 각각 3.5%(0.1msec), 2.3%(0.06msec)의 추가시간이 필요하지만 그 차이는 미미한 것으로 확인 되었다.

위의 평과 결과를 보면 본 발명의 우수성을 확인할 수 있다. 제약조건을 RANSAC 알고리즘의 샘플링 과정에 적용함으로써 샘플링 되는 특징점들이 선형을 이루거나, 특정영역에 군집된 형태로 추출되는 것을 막아 좋지 않은 샘플로 인해 부정확한 호모그래피가 계산되는 것을 줄여 불필요한 계산을 줄이고 추정되는 호모그래피의 정확도를 향상시키는 효과를 거둘 수 있다.

이와 같이, 본 발명의 실시예에 따르면, 호모그래피를 추정하기 위한 RANSAC 알고리즘의 샘플링 과정에 CSP를 적용하여 샘플링 과정에서 선택되는 무의미한 샘플들을 배제하여 RANSAC 알고리즘의 반복횟수를 줄이고 추정되는 호모그래피의 정확도를 향상시킬 수 있다.

상기한 RANSAC 샘플링 방법은 증강현실 기반의 영상 처리 장치에 적용될 수 있으며, RANSAC 샘플링 방법에 포함된 각각의 과정은 상기 영상 처리 장치에 의해 수행될 수 있다.

RANSAC 샘플링 방법이 수행되는 영상 처리 장치에 대한 도식은 생략하였으나, 처리기와 메모리를 포함하여 구성될 수 있다. 이때, 메모리는 복수의 이미지 간의 변환 관계를 나타내는 호모그래피를 추정하는 RANSAC 알고리즘에 해당되는 프로그램, 특히 대상 이미지를 복수의 격자 영역으로 나누고 대상 이미지에서 추출된 특징점을 격자 영역으로 분류하며 분류된 특징점에 대하여 CSP를 적용하여 호모그래피를 추정하기 위한 특징점을 선택하는 명령어를 포함하는 프로그램이 저장될 수 있다. 그리고, 처리기는 상기 메모리에 저장된 프로그램의 명령어에 따라 처리하는 장치로서, CPU 등의 마이크로프로세서가 포함될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

RANSAC(Random Sample Consensus) 알고리즘을 이용하여 복수의 이미지 간의 변환 관계를 나타내는 호모그래피(Homography)를 추정하기 위한 샘플링 방법에 있어서,
상기 복수의 이미지 중 대상 이미지를 복수의 격자 영역으로 나누고 상기 대상 이미지에서 추출된 특징점을 상기 격자 영역으로 분류하는 전처리 단계; 및
상기 분류된 특징점에 대하여 명시한 모든 제약조건(Constraint)을 적용하여 상기 호모그래피를 추정하기 위한 특징점을 선택하는 선택 단계
를 포함하는 RANSAC 샘플링 방법.
제1항에 있어서,
상기 전처리 단계는,
상기 특징점의 좌표 값을 기준으로 각 단위 격자의 위치에 해당되는 상기 특징점을 분류하는 것
을 특징으로 하는 RANSAC 샘플링 방법.
제1항에 있어서,
상기 선택 단계는,
하나의 특징점이 선택되면 상기 하나의 특징점과 선형을 이루는 위치의 다른 특징점이 선택되지 못하는 선형제약조건, 및 하나의 특징점이 선택되면 상기 하나의 특징점을 기준으로 일정 거리 이내의 다른 특징점이 선택되지 못하는 거리제약조건 중 적어도 하나의 제약조건을 적용하는 것
을 특징으로 하는 RANSAC 샘플링 방법.
제3항에 있어서,
상기 선형제약조건은,
하나의 단위 격자에서 하나의 특징점을 선택하는 조건, 같은 열(row)의 격자 영역에서 하나의 특징점을 선택하는 조건, 같은 행(column)의 격자 영역에서 하나의 특징점을 선택하는 조건, 및 같은 대각선 상의 격자 영역에서 하나의 특징점을 선택하는 조건 모두를 만족시키는 것
을 특징으로 하는 RANSAC 샘플링 방법.
컴퓨터 시스템이 RANSAC(Random Sample Consensus) 알고리즘을 수행하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
상기 RANSAC 알고리즘은 복수의 이미지 간의 변환 관계를 나타내는 호모그래피(Homography)를 추정하는 방법이며,
상기 명령은,
상기 복수의 이미지 중 대상 이미지를 복수의 격자 영역으로 나누고 상기 대상 이미지에서 추출된 특징점을 상기 격자 영역으로 분류하는 전처리 단계; 및
상기 분류된 특징점에 대하여 명시한 모든 제약조건(Constraint)을 적용하여 상기 호모그래피를 추정하기 위한 특징점을 선택하는 선택 단계
를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 매체.
제5항에 있어서,
상기 선택 단계는,
하나의 특징점이 선택되면 상기 하나의 특징점과 선형을 이루는 위치의 다른 특징점이 선택되지 못하는 선형제약조건, 및 하나의 특징점이 선택되면 상기 하나의 특징점을 기준으로 일정 거리 이내의 다른 특징점이 선택되지 못하는 거리제약조건 중 적어도 하나의 제약조건을 적용하는 것
을 특징으로 하는 컴퓨터 판독가능 매체.
메모리; 및
상기 메모리에 저장되어 있는 프로그램을 실행하는 처리기를 포함하고,
상기 프로그램은,
복수의 이미지 간의 변환 관계를 나타내는 호모그래피(Homography)를 추정하는 RANSAC(Random Sample Consensus) 알고리즘으로서,
상기 복수의 이미지 중 대상 이미지를 복수의 격자 영역으로 나누고 상기 대상 이미지에서 추출된 특징점을 상기 격자 영역으로 분류하며, 상기 분류된 특징점에 대하여 명시한 모든 제약조건(Constraint)을 적용하여 상기 호모그래피를 추정하기 위한 특징점을 선택하는 명령어
를 포함하는 영상 처리 장치.
제7항에 있어서,
상기 제약조건은,
하나의 특징점이 선택되면 상기 하나의 특징점과 선형을 이루는 위치의 다른 특징점이 선택되지 못하는 선형제약조건, 및 하나의 특징점이 선택되면 상기 하나의 특징점을 기준으로 일정 거리 이내의 다른 특징점이 선택되지 못하는 거리제약조건 중 적어도 하나를 포함하는 영상 처리 장치.