KR101753360B1

KR101753360B1 - 시점 변화에 강인한 특징점 정합 방법

Info

Publication number: KR101753360B1
Application number: KR1020150172504A
Authority: KR
Inventors: 정현조; 유지상
Original assignee: 광운대학교 산학협력단
Priority date: 2015-12-04
Filing date: 2015-12-04
Publication date: 2017-07-03
Also published as: KR20170066014A

Abstract

한 장 이상의 멀티 프레임을 이용하여 건물 인식에 필요한 특징점을 분류하는 시점 변화에 강인한 특징점 정합 방법에 관한 것으로서, (a) 상기 멀티프레임 영상을 블록 단위로 분할하는 단계; (b) 다수의 프레임을 이용하여 추출한 특징점들을 정합하여, 다수의 특징점 쌍들을 획득하는 단계; (c) 다수의 특징점 쌍들로부터 호모그래피 행렬을 획득하여, 건물에 필요한 특징점들을 분류하는 단계; 및, (d) 분류되고 남은 특징점 쌍을 이용하여 호모그래피를 이용한 분류를 반복하는 단계를 포함하는 구성을 마련한다.
상기와 같은 특징점 분류 방법에 의하여, RANSAC을 이용하여 특징점들의 연관 관계를 찾아 반복적으로 나타나는 특징점을 찾고 분류함으로써, 배경의 특징점이 한정된 영상에서만 나타나는 점을 이용하여 특징점 정합의 정확도를 상당히 높일 수 있다.

Description

시점 변화에 강인한 특징점 정합 방법 { A feature matching method which is robust to the viewpoint change }

본 발명은 FAST(Features from Accelerated Segment Test) 특징점 검출기와 SIFT(Scale Invariant Feature Transform) 특징점 서술자(descriptor)를 사용하여 특징점을 정합하는, 시점 변화에 강인한 특징점 정합 방법에 관한 것이다.

특히, 본 발명은 FAST 방법으로 특징점을 추출하되, 주곡률(principal curvatures)을 적용하여 개선하고, 추출된 특징점을 SIFT 서술자를 통해 기술하고, 시점이 다른 두 영상으부터 구해진 정합쌍에 RANSAC(RANdom SAmple Consensus) 방법을 통하여 호모그래피(homography)를 계산하고, 기준 영상의 특징점들을 호모그래피 변환을 통해 변경된 좌표와 시점이 다른 영상의 특징점 좌표간의 유클리디언(Euclidean) 거리를 통해 정합쌍을 분류하는, 시점 변화에 강인한 특징점 정합 방법에 관한 것이다.

일반적으로, 컴퓨터 비전 분야에서 영상의 특징점 정합 방법은 움직임 검출, 얼굴 인식, 3D 이미지 복원, 파노라마 스티칭, 물체 인식, 스테레오 유사도 측정 등 여러 분야에서 널리 사용되는 기술이다. 특징점 정합 방법은 영상에서 특징점 추출 알고리즘을 이용하여 특징점을 추출하는 과정, 추출된 특징점을 서술자(descriptor)를 이용하여 특징점마다 서술하는 과정, 마지막으로 서로 다른 영상에서 서술된 특징점을 비교하여 유사한 특징점들을 연결하고 잘못 연결된 특징점을 제거하여 올바르게 연결된 특징점을 분리하는 과정으로 이루어진다. 특징점 정합 방법의 성능은 영상에서 독특한 특징점을 검출하는 것과 각 특징점마다 구별되는 서술자를 생성하는 방식에 따라 좌우된다.

초기의 특징점 검출 방법인 해리스(Harris) 코너 검출기는 헤이시안(Hessian) 행렬의 고유값을 이용하여 영상의 특징점을 찾는 방법으로 영상의 스케일 변환에 취약한 약점을 가지고 있다[비특허문헌 4]. 린더버그(Lindeberg)가 제안한 가우시안 미분 검출기(Laplacian of Gaussian)는 스케일 공간에서 라플라시안의 극대점을 얻어내는 방식으로 크기 변화에 강인한 특징을 가지고 있다[비특허문헌 1]. 로우(Lowe)는 가우시안 미분 검출기를(Laplacian of Gaussian)를 가우시안 차분 검출기(Difference of Gaussian)로 근사하여 영상의 특징점을 검출하고, 특징점 주변의 기울기(gradient) 방향의 히스토그램으로 특징점을 표현하여 영상 정합을 수행하는 SIFT(Scale Invariant Feature Transform) 방법을 제안하였다[비특허문헌 1]. Mikolajczyk는 해리스 코너 검출기를 수정하여 라플라시안 기반의 스케일 변화를 고려한 특징점을 검출하고, SIFT 특징점 서술자를 수정한 GLOH(Gradient Location and Orientation Histogram)로 서술자를 생성하여 영상 정합을 수행하는 방법을 제안하였다[비특허문헌 2,3].

Bay는 계산량을 감소시키면서 우수한 정합 성능을 나타내는 SURF(Speeded Up Robust Feature) 방법을 제안하였다[비특허문헌 6]. SURF는 헤이시안 행렬의 극대점을 사용해 특징점을 검출하고, Haar 응답으로 특징점 서술자를 생성하여 영상 정합을 수행하는데, 적분 영상 방법을 사용하여 계산량을 크게 감소시켰다[비특허문헌 7].

하지만 SIFT방법은 영상의 조명 변화나 영상의 크기, 회전 변화에 강인하지만 많은 계산량으로 인해 실시간으로 사용될 수 없는 문제점을 가지고 있다. SURF 방법은 같은 물체나 장소에 대해 시점이 변화된 영상에 대해서는 정합율이 낮아지는 단점이 있다.

[비특허문헌 1] D. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, Nov. 2004. [비특허문헌 2] K. Mikolajczyk, "Scale & Affine Invariant Interest Point Detectors", International Journal of Computer Vision, vol. 60, no. 1, pp. 63-86, Oct. 2004. [비특허문헌 3] K. Mikolajczyk, "A Performance Evaluation of Local Descriptors", Pattern Analysis and Machine Intelligence, vol. 27, no. 10, pp. 1615-1630, Oct. 2005. [비특허문헌 4] K. Midolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. kadir, and L. Van Gool. "A Comparison of Affine Region Detectors", International Journal of Computer Vision, vol. 65, no. 1-2, pp. 43-72 , Nov. 2005. [비특허문헌 5] E. Rosten and T. Drummond, "Machine Learning for High-speed Corner Detection", 9th European Conference on Computer Vision, Graz, Austria, pp. 430-443, May 2006. [비특허문헌 6] E. Rosten, "Faster and Better : A Machine Learning Approach to Corner Detection", Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119 Jan. 2010. [비특허문헌 7] H. Bay, A. Ess, T. Tuytelaars and L. V. Gool, "Speeded-up Robust Feature", Computer Vision and Image Understanding, vol. 10, no. 3, pp. 346-359, Jun. 2008. [비특허문헌 8] M. A. Fischler and R. C. Bolles, "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Communications of the ACM, vol. 24, no. 6, pp. 381-395, Jun. 1981. [비특허문헌 9] D. Comaniciu, V. Ramesh and P. Meer, "Real-time Tracking of Non-rigid Objects using Mean Shift", Proc. 2000 IEEE Conference Computer Vision and Patter Recognition, vol. 2, pp. 142-149, Jun. 2000. [비특허문헌 10] http://www.robots.ox.ac.uk/~vgg/research/affine/ [비특허문헌 11] http://www.vision.caltech.edu/pmoreels/Datasets/ Home_Objects_06/Test/ [비특허문헌 12] M. M. Hossain, H. J. Lee and J. S. Lee, "Fast image stitching for video stabilization using sift feature points", The Korean Institute of Communications and Information Sciences, vol. 39, no. 10, pp. 957-966, Oct. 2014. [비특허문헌 13] B. W. Chung, K. Y. Park and S. Y. Hwang, "A fast and efficient haar-like feature selection algorithm for object detection", The Korean Institute of Communications and Information Sciences, vol. 38, no. 6, pp. 486-497, Jun. 2013. [비특허문헌 14] H. K. Jang, "The more environmentally robust edge detection of moving objects using improved Canny edge detector and Freeman chain code", The Korean Institute of Communications and Information Sciences, vol. 37, no. 2, pp. 37-42, Apr. 2012.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, FAST 방법으로 특징점을 추출하되, 주곡률(principal curvatures)을 적용하여 개선하고, 추출된 특징점을 SIFT 서술자를 통해 기술하고, 시점이 다른 두 영상으부터 구해진 정합쌍에 RANSAC(RANdom SAmple Consensus) 방법을 통하여 호모그래피(homography)를 계산하고, 기준 영상의 특징점들을 호모그래피 변환을 통해 변경된 좌표와 시점이 다른 영상의 특징점 좌표간의 유클리디언(Euclidean) 거리를 통해 정합쌍을 분류하는, 시점 변화에 강인한 특징점 정합 방법을 제공하는 것이다.

특히, 본 발명의 목적은 FAST 방법으로 특징점을 추출하되, 주곡률(principal curvatures)을 적용하는 방법을 제공하는 것이다. 즉, 본 발명은 특징점을 빠르게 추출하기 위해 단순히 화소 값의 비교만으로 계산량을 최소화하여 특징점을 추출하는 FAST(Features from Accelerated Segment Test) 방법[비특허문헌 5]을 적용하고, 기존의 FAST 방법에서 영상의 에지 부분을 따라 특징점을 불필요하게 많이 추출하는 단점을 극복하기 위하여, 주곡률(principal curvatures)을 적용하여 개선하는 방법을 제공한다. FAST 방법은 SIFT의 DOG 방법이나 SURF의 하 웨이블릿(Haar wavelet) 방식보다 특징점을 추출하는 속도 측면에서 성능이 월등히 좋다.

또한, 본 발명은 추출된 특징점에 대해서는 더 많은 정보(128차원)를 기술할 수 있는 SIFT 서술자(descriptor)를 사용한다. 시점이 다른 두 영상으로부터 구해진 정합쌍에는 올바른 정합쌍뿐만 아니라 오차가 있는 정합쌍이 발생할 수 있으며, 잘못된 정합쌍의 분포가 전체 데이터에서 많은 부분을 차지할 경우에는 특징점 정합의 정확성이 떨어진다. 따라서 구해진 정합쌍에서 오차가 있는 정합쌍들을 제거하기 위해 Fischler and Bolles이 제안한 RANSAC(RANdom SAmple Consensus)을 사용하며 정확하게 정합된 4개의 특징점 쌍을 가지고 호모그래피 계산을 수행한다[비특허문헌 8,9]. 시점 변화에 강인한 특징점 정합을 위해서 RANSAC을 통해 구한 호모그래피 행렬과 기준 영상의 특징점들을 이용하여 호모그래피 변환을 통해 변경된 좌표와 시점이 다른 영상의 특징점 좌표간의 유클리디언(Euclidean) 거리를 계산하고 이 거리를 이용하여 임계값(threshold)과 비교를 통해 정합쌍을 분류한다.

상기 목적을 달성하기 위해 본 발명은 시점 변화에 강인한 특징점 정합 방법에 관한 것으로서, (a) FAST(Features from Accelerated Segment Test) 방법을 이용하여, 상기 영상에서 특징점을 추출하는 단계; (b) 추출된 특징점에 대하여 헤시안(Hessian) 행렬을 구하고, 구한 헤시안 행렬의 주대각선 상에 있는 원소들의 합과 행렬식을 이용하여 특징점 추출을 개선하는 단계; (c) 다수의 프레임을 이용하여 추출한 특징점들을 정합하여, 다수의 특징점 쌍들을 획득하는 단계; (d) 다수의 특징점 쌍들로부터 호모그래피 행렬을 획득하여, 건물에 필요한 특징점들을 분류하는 단계; 및, (e) 분류되고 남은 특징점 쌍을 이용하여 호모그래피를 이용한 분류를 반복하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (a)단계에서, 상기 영상에서 한 화소 p를 중심 화소라고 할 때 이로부터 사전에 정해진 거리의 원을 형성하고, 형성된 원에 걸쳐있는 주변 화소에 대하여, 상기 주변 화소의 밝기를 중심 화소의 밝기값과 대비하여, 사전에 설정된 임계값 이상의 차이가 나는 주변 화소가 N(N은 자연수)개 이상 연속으로 있을 때 상기 중심 화소 p를 특징점으로 판단하는 것을 특징으로 한다.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (a)단계에서, 상기 형성된 원에 걸쳐있는 주변 화소 중 일부만을 중심 화소의 밝기와 대비하여, 사전에 설정된 임계값 이상의 차이가 나는 주변 화소의 개수가 사전에 정해진 비율 이상일 경우, 상기 일부 외의 다른 주변 화소들에 대하여도 모두 비교하여 특징점을 추출하고, 주변 화소의 개수가 사전에 정해진 비율 보다 적을 경우, 해당 중심 화소는 특징점이 아닌 것으로 판별하는 것을 특징으로 한다.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (a)단계에서, 중심 화소와 주변 화소 간의 대비 결과의 상태를 결정 트리 구조로 구성하여, 깊이 탐색 방식으로 전체 화소에서 특징점을 추출하되, 모든 화소들의 상태를 u(unknown)으로 초기화하고, 하나의 중심 화소에 대하여 주변 화소들과 밝기 대비를 하여 그 결과에 따라 주변 화소의 상태를 결정하고, 깊이 탐색 방식에 따라 해당 주변 화소들의 트리에서 첫번째 화소부터 순차적으로 중심 화소로 놓고 다시 주변 화소의 상태를 결정하고, 화소들 간의 상태가 앞선 과정에서 결정되어 있는 경우에는 화소들 간의 밝기 대비를 통한 상태 결정을 수행하지 않는 것을 특징으로 한다.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (a)단계에서, 화소의 상태는 다음 수식 1과 같이 4가지 상태로 결정되는 것을 특징으로 한다.

[수식 1]

단, S_p _-> _xk는 원을 구성하는 주변 화소 중 k번째 화소의 상태를 나타내고, I_p 는 중심 화소 p의 밝기 값이고, I_p _-> _xk 는 중심 화소 p의 주변 화소의 밝기 값이고, t는 임계값이고, d는 중심화소 보다 어둡다(dark)는 상태이고, b는 중심화소 보다 밝다(bright)는 상태이고, s는 중심화소 밝기와 유사하다(similar)는 상태이고, u는 결정되지 않는 상태(unknown)를 나타냄.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (a)단계에서, 상기 수식 1에 따라 주변 화소의 상태를 결정하고, 결정 트리 구조에서 b상태(x∈S_bright)에 해당하는 화소와 d 상태(x∈S_dark)에 해당하는 화소에 대해 다음 수식 2를 적용하여 더 큰 값을 해당 특징점의 값으로 부여하고, 인접한 특징점들에 대하여 모두 특징점의 값을 [수식 2]를 적용하여 부여하여 가장 큰 값을 가지는 특징점을 군집 영역의 특징점으로 추출하는 것을 특징으로 한다.

[수식 2]

단, V는 중심화소 p의 특징점의 값이고, I_p _->x와 I_p는 각각 주변 화소의 밝기값과 중심 화소의 밝기 값을 나타냄.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (b)단계에서, 상기 (a)단계에서 추출된 특징점에 대하여, 2×2 헤시안(Hessian) 행렬을 구하여, 다음 [수식 3]을 만족하지 못하는 경우에는 해당 특징점을 제외시키는 것을 특징으로 한다.

[수식 3]

여기서,

.

,

단, I_xx는 해당 특징점 화소의 x방향 2차 미분값, I_yy는 y방향 2차 미분값, I_xy는 x와 y방향으로 각각 미분한 값이고, r은 사전에 정해진 임계값임.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (c)단계에서, 특징점에 대하여, 4×4 크기의 블록 16개를 각각 8개의 방향으로 표현하되, 각 화살표의 길이는 방향 히스토그램 값을 의미하고, 방향 히스토그램의 값들로 이루어진 벡터의 형태로 서술자를 형성하는 것을 특징으로 한다.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (c)단계에서, 각 특징점에 대하여 16개 블록에 대해 각각 8개의 방향으로 서술자를 표현하여 모두 128(4×4×8)차원으로 기술하고, 정합할 두 영상에서 추출된 특징점들 간의 128차원 벡터로 유클리디언 거리를 계산하고 거리 값이 임계값보다 작은 경우에 정합된 특징점 쌍으로 선정하는 것을 특징으로 한다.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (d)단계에서, 정합된 특징점 쌍의 4쌍을 이용하여 호모그래피 행렬을 구하는 것을 특징으로 한다.

또, 본 발명은 시점 변화에 강인한 특징점 정합 방법에 있어서, 상기 (e)단계에서, 기준 영상의 특징점을 호모그래피 행렬을 통해 변환하고, 변환된 특징점과, 상기 기준 영상의 특징점과 정합되는 특징점 사이의 유클리디언 거리를 구하여 임계값과 비교하여, 임계값 이내인 경우에만 특징점으로 선정하여 분류하는 것을 특징으로 한다.

또한, 본 발명은 시점 변화에 강인한 특징점 정합 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 시점 변화에 강인한 특징점 정합 방법에 의하면, FAST 방법에 의해 추출된 특징점에 대하여 주곡률을 적용하고, 두 영상의 정합쌍에 대하여 호모그래피를 이용하여 분류함으로써, 적은 계산량으로 수행 시간을 단축하면서 동시에 시점 변화에 강인한 효과가 얻어진다. 특히, 본 발명은 기존의 특징점 정합 방법보다 우수한 성능을 보여준다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 시점 변화에 강인한 특징점 정합 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 중심 화소 p를 기준으로 원 위에 존재하는 16개 화소를 나타낸 예시도.
도 4는 본 발명의 일실시예에 따른 결정 트리 구조에 대한 예시도.
도 5는 본 발명의 일실시예에 따른 FAST를 이용하여 특징점을 추출한 영상으로서, (a) NMS방법을 적용하지 않은 경우와, (b) NMS방법을 적용한 경우의 영상.
도 6은 본 발명의 일실시예에 따른 FAST 방법과 NMS 방법을 적용하여 특징점을 추출한 영상으로서, (a) NMS만 적용한 경우와, (b) NMS방법과 주곡률을 모두 적용한 경우의 영상.
도 7은 본 발명의 일실시예에 따른 SIFT의 서술자 블록 형태와 영상 기울기를 나타낸 도면.
도 8은 본 발명의 일실시예에 따른 SIFT의 특징점 서술자를 나타낸 도면.
도 9는 본 발명의 일실시예에 따른 시점이 다른 두 영상과 보정된 영상으로서, (a) 기준 영상과, (b) 시점이 다른 영상, (c) 호모그래피를 이용해 보정된 영상.
도 10은 본 발명의 실험에 따른 'Graffiti A' 영상의 정합 결과 영상으로서, 본 발명에 따른 방법(상)과 SURF(중), SIFT(하)에 대한 영상.
도 11은 본 발명의 실험에 따른 'Graffiti B' 영상의 정합 결과 영상으로서, 본 발명에 따른 방법(상)과 SURF(중), SIFT(하)에 대한 영상.
도 12는 본 발명의 실험에 따른 'Home Object A' 영상의 정합 결과 영상으로서, 본 발명에 따른 방법(상)과 SURF(중), SIFT(하)에 대한 영상.
도 13은 본 발명의 실험에 따른 'Home Object B' 영상의 정합 결과 영상으로서, 본 발명에 따른 방법(상)과 SURF(중), SIFT(하)에 대한 영상.
도 14는 본 발명의 실험에 따른 'Home Object C' 영상의 정합 결과 영상으로서, 본 발명에 따른 방법(상)과 SURF(중), SIFT(하)에 대한 영상.
도 15는 본 발명의 실험에 따른 'Graffiti A'의 단계별 수행 시간 비교를 나타낸 표.
도 16은 본 발명의 실험에 따른 'Graffiti B'의 단계별 수행 시간 비교를 나타낸 표.
도 17은 본 발명의 실험에 따른 영상별 전체 수행 시간 비교를 나타낸 표.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 시점 변화에 강인한 특징점 정합 방법은 다시점 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 특징점을 추출하고 정합하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 특징점 정합 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 시점 변화에 강인한 특징점 정합 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 영상에서 특징점을 정합하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 특징점 정합 장치(30)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, 다시점 영상(10)은 적어도 2개의 시점을 가지는 영상들로 구성된다. 특히, 각 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.

다음으로, 본 발명의 일실시예에 따른 시점 변화에 강인한 특징점 정합 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 시점 변화에 강인한 특징점 정합 방법에 대한 전체적인 흐름도를 보여준다.

도 2에서 보는 바와 같이, 본 발명에 따른 시점 변화에 강인한 특징점 정합 방법은 특징점을 추출하는 단계(S10), 주곡률을 적용하는 단계(S20), 특징점 서술자를 생성하고 이를 이용하여 특징점을 정합하는 단계(S30), 정합된 특징점 쌍을 이용하여 호모그래피를 획득하는 단계(S40), 및 호모그래피를 이용하여 정합된 특징점 쌍을 분류하는 단계(S50)로 구성된다.

먼저, FAST 방법을 이용하여 다시점 영상에서 특징점을 추출한다(S10).

FAST(Features from Accelerated Segment Test) 방법은 실시간 특징점 추출에 적합한 방법으로 기존의 특징점 추출 방법인 해리스(Harris) 코너 검출기, SIFT(Scale Invariant Feature Transform)의 DOG(Difference Of Gaussian), SURF(Speeded Up Robust Feature)의 하 웨이블릿(Haar wavelet)과 SUSAN(Smallest Uni-Value Segment Assimilating Nucleus Test)보다 빠른 속도로 특징점 추출이 가능하다.

도 3은 특징점을 결정하기 위한 중심 화소와 주변 화소들과의 관계를 보여준다. FAST 방법은 영상에서 한 화소 p를 중심 화소라고 할 때 이로부터 거리가 3인 원을 형성한다. 형성된 원에 걸쳐있는 16개의 주변 화소를 p->x_k 라고 하면 밝기 값(I_p->xk)과 중심 화소 p의 밝기 값(I_p)에서 임계값을 더하거나 뺀 값을 비교하여 중심 화소 p의 특징점 여부를 판별한다. 만약 16개의 화소들의 밝기 값 중 중심 화소 p에 임계값을 더한 밝기 값보다 더 크거나, 중심 화소 p에 임계값을 뺀 밝기 값보다 더 작은 화소가 N개 이상 연속으로 있을 때 중심 화소 p를 특징점으로 한다. [비특허문헌 5]에 의하면 N의 값이 9일 경우 다음 프레임에서의 반복성(repeatability)이 가장 높고 임계값은 사용자가 임의로 설정하여 특징점을 검출할 수 있다.

이 과정에서 특징점 후보를 더 빠르게 추출하기 위해서 원을 구성하는 16개 화소들의 밝기 값을 비교하는 방법 대신에 도 3에서 1,5,9,13번에 위치한 화소들의 밝기 값만을 비교한다. 4개의 화소들 중 3개 이상이 중심 화소의 밝기 값 Ip에 임계값 t를 더한 Ip + t보다 밝거나 Ip에 임계값 t를 뺀 Ip - t보다 어두울 경우에 해당 화소가 특징점일 가능성이 있다고 판단한다. 일단 특징점일 가능성이 있다고 판단되면 16개 화소들의 밝기 값을 비교해서 중심 화소 p의 특징점 여부를 최종 판별한다. 특징점일 가능성을 만족하지 않으면 16개의 화소들의 밝기 값을 비교하지 않아도 되기 때문에 특징점 추출의 속도를 크게 증가시킬 수 있다.

위 과정은 영상의 모든 화소들에 대해 수행한다. 따라서 입력된 영상의 크기가 커질수록 계산량이 증가하며 수행시간이 늘어나는 문제가 있다. 이 문제를 해결하고자 FAST 방법에서는 결정 트리 구조를 사용한다. 트리 구조를 만들기 위해 우선 수학식 1과 같이 각각의 화소들의 관계를 4가지 상태로 구분한다.

[수학식 1]

여기서 S_p _-> _xk는 원을 구성하는 16개 화소 중 k번째 화소의 상태를 나타낸다. 중심 화소 p의 밝기 값(I_p)에서 임계값을 뺀 값보다 원에 걸쳐 있는 주변 화소의 밝기 값(I_p->xk)이 작으면 그 화소를 d로, 중심 화소 밝기 값과 임계값을 더한 값보다 크면 그 화소를 b로, 임계값을 뺀 값과 더한 값의 사이 값이면 s로 마지막으로 비교하지 않은 상태일 경우 u로 정의한다.

도 4는 수학식 1을 통해 트리를 구성하여 깊이 탐색 방식(depth first search)으로 전체 화소에서 특징점을 추출하는 과정을 보여준다. 블록 안에 있는 알파벳은 원을 구성하는 16개 화소들의 상태를 나타낸다.

먼저 모든 화소들의 상태를 u로 초기화한다. 이후 중심 화소 p에 대해 수학식 1을 이용하여 16개 화소들의 상태를 결정한다. 깊이 탐색 방식에 의해서 도 3에서 1번에 위치한 화소가 다시 중심 화소 p가 되어 다시 주변 16개의 화소들과 비교하는 과정을 반복한다. 이 과정에서 화소들 간의 상태 비교가 앞선 과정에서 먼저 결정되어 있는 경우에는 수학식 1의 과정을 진행하지 않는다. 위와 같은 상황이 모든 화소에 적용되기 때문에 수학식 1의 과정을 생략하는 상황이 발생하여 수행 시간이 단축될 수 있다.

이 과정을 통해 추출된 특징점들은 주변 화소 밝기 값과의 차이를 이용하여 추출되었기 때문에 SIFT의 DOG 특징점 검출 방법과 비슷한 성능을 보이면서 동시에 처리 속도는 매우 빠르다.

하지만 FAST의 문제점인 SIFT의 DOG나 SURF의 하 웨이블릿(Haar wavelet)과는 다르게 스케일의 변화에 강인하기 위한 과정이 없기 때문에 추출된 특징점들이 군집되어 있는 경우가 많이 발생한다. 군집되어 있는 영역의 특징점은 각기 비슷한 서술자(descriptor)를 갖고 있기 때문에 특징점 정합을 할 경우 오류가 발생할 확률이 높아진다. 이를 해결하고자 NMS(Non Maximum Suppression) 방법을 이용하여 군집되어 있는 특징점 중에서 다음에 정의되는 값이 가장 큰 하나의 특징점을 선택한다. 특징점에 값을 부여하는 과정은 수학식 2와 같다.

[수학식 2]

여기서 I_p _->x와 I_p는 각각 주변 화소의 밝기값과 중심 화소의 밝기 값을 나타낸다. 먼저 수학식 1에 따라 주변 16개의 화소의 상태를 결정한다. 이 후 결정 트리 구조에서 b상태(x∈S_bright)에 해당하는 화소와 d 상태(x∈S_dark)에 해당하는 화소에 대해 수학식 2를 적용하여 더 큰 값을 해당 특징점의 값으로 부여한다. 위의 과정을 인접한 특징점들에 대하여 모두 적용하여 가장 큰 값을 가지는 특징점을 군집 영역의 특징점으로 추출한다.

도 5는 N이 9이고 임계값 t가 20일 때 FAST 방법을 적용하여 특징점을 추출한 영상으로 (a)는 NMS 방법을 적용하지 않은 경우이고 (b)는 NMS 방법을 적용한 경우이다. NMS 방법을 적용했을 때 영상에서 불필요하게 많이 뽑힌 특징점의 개수가 상당수 줄어든 모습을 볼 수 있다.

다음으로, 주곡률(Principal Curvatures)을 이용하여 특징점 추출을 개선한다(S20).

NMS 방법을 적용했음에도 불구하고 FAST 방법은 영상의 에지(edge) 부분을 따라 많은 특징점들이 추출된다는 단점이 있다. 이를 개선하기 위해서 곡면이 각 방향에 따라 굽은 정도를 나타내는 값인 주곡률을 이용한다.

앞에서 추출한 특징점마다 수학식 3과 같이 각의 방향별로 2차 미분값으로 이루어진 2×2 헤시안(Hessian) 행렬을 구한다.

[수학식 3]

여기서 I_xx는 해당 화소의 x방향 2차 미분값, I_yy는 y방향 2차 미분값, I_xy는 x와 y방향으로 각각 미분한 값을 의미한다. 주곡률은 수학식 3의 행렬 H로부터 계산된다. 행렬 H의 고유값(eigenvalue)은 해당 화소의 주곡률과 비례하기 때문에 고유값을 직접 계산하는 것을 피하고 고유값의 비율만을 고려하여 주곡률을 구한다. 이 때, 고유값 중에 큰 값을 α로 작은 값을 β로 하고 수학식 4를 계산한다.

[수학식 4]

여기서 Tr(H)은 행렬 H의 주대각선(main diagonal) 상에 있는 원소들의 합을 의미하고, Det(H)는 행렬 H의 행렬식(determinant)을 의미한다. 이 때 Det(H)값이 음수인 경우와 아래 수학식 5를 만족하지는 못하는 경우에는 해당 화소를 평탄한(flat) 지역이나 에지로 판단하기 때문에[비특허문헌 2], 에지 부분에 많은 특징점이 검출된다는 단점을 개선하기 위해서 이 경우는 특징점에서 제외한다. 이 때 r은 임계값이 된다.

[수학식 5]

도 6은 FAST 방법과 NMS 방법을 적용하여 특징점을 추출한 영상으로 (a)는 NMS 방법만 적용한 경우이고 (b)는 NMS 방법과 주곡률을 모두 적용한 경우이다. (b)영상에서는 (a)영상과는 달리 에지 부분을 따라 존재하는 특징점이 상당수 줄어든 것을 알 수 있다.

다음으로, SIFT 특징점 서술자 생성를 생성하여 특징점을 정합한다(S30).

본 발명에 따른 방법으로 영상에서 특징점을 추출한 후에는 각각의 특징점마다 정보를 포함하는 서술자(descriptor)를 생성한다. 본 발명에서는 시점 변화(viewpoint change)에 강인한 특징점 정합을 위해서 SURF의 서술자보다 특징점에 대해 더 많은 정보를 기술할 수 있는 SIFT의 서술자를 사용하여 각 특징점을 기술한다. 특징점 서술은 도 7과 같이 각 특징점을 중심으로 지역적으로 서술한다.

4×4 크기의 블록 16개를 각각 8개의 방향으로 표현하며 각 화살표의 길이는 방향 히스토그램 값을 의미한다. 이렇게 모든 특징점들은 방향 히스토그램의 값들로 이루어진 벡터의 형태로 형성된다. 도 8은 도 7의 4×4 크기의 16개의 블록 중 하나로 방향 히스토그램의 8방향 성분을 SIFT 서술자 벡터로 표현한 예이다. 이와 같이 각 특징점을 16개 블록에 대해 각각 8개의 방향으로 표현하며 모두 128(4×4×8)차원으로 기술한다. 정합할 두 영상에서 추출된 특징점들 간의 128차원 벡터로 유클리디언 거리를 계산하고 그 거리 값이 임계값보다 작은 경우에 정합쌍으로 선정한다.

다음으로, 호모그래피(homography)를 획득하고(S40), 이를 이용하여 정합된 특징점 쌍을 분류한다(S50).

호모그래피는 왜곡된 영상을 보정하는 방법 중 하나로 서로 대응되는 영상 간의 2차원 사영 사상(projective mapping)을 정의하는 3×3 행렬이다. 시점이 다른 두 영상을 정합하기 위해서는 하나의 카메라 좌표계를 중심으로 호모그래피 변환을 적용해야 한다.

호모그래피 행렬을 구하기 위해서는 정확하게 정합된 특징점 4쌍이 필요하다. 특징점 4쌍을 선택하는 과정에서 이상점(outlier)이 사용될 경우 잘못된 호모그래피 행렬을 구할 수 있다. 호모그래피 행렬을 구하는 과정에서 이상점들을 제거하기 위하여 오류와 잡음이 섞여있는 데이터들로부터 적절한 모델을 예측하여 오차를 최소화하는 RANSAC(RANdom SAmple Consensus) 방법을 사용한다. 시점이 다른 두 영상에서 추출된 특징점들 간의 128차원 벡터 연산과 임계값 비교를 통해 추출된 정합쌍을 가지고 RANSAC 방법을 활용하여 호모그래피 행렬을 구한다.

수학식 6은 호모그래피 좌표 변환 식이다.

[수학식 6]

여기서 (x₁,y₁)은 기준 영상에서 특징점의 좌표이고,

는 호모그래피 변환에 의해 변환된 좌표이며 w₁는 스케일 상수를 의미한다.

시점 변화에 강인한 특징점 정합을 위해서 기준 영상의 특징점들을 수학식 6처럼 호모그래피 변환을 통해 변경된 좌표와 시점이 다른 영상의 특징점 좌표를 이용하여 수학식 7과 같이 두 좌표간의 유클리드 거리 연산과 임계값(T) 비교를 통해 정합쌍을 구한다.

[수학식 7]

도 8은 시점이 다른 두 영상과 호모그래피 변환을 통해 보정된 영상을 보여준다. 도 8(c)의 보정된 영상과 도 8(b)의 시점이 다른 영상과 서로 유사한 형태를 갖는 것을 볼 수 있다.

다음으로, 본 발명의 효과를 실험을 통해 설명한다.

본 발명에서는 Mikolajczyk가 제공하는 database 영상[비특허문헌 10]중에서 시점 변화가 존재하는 800x640 해상도의 Graffiti 영상 4장(정합을 위해 2장씩 선택해서 각각 A,와 B라 칭함), Caltech에서 제공하는 database 영상[비특허문헌 11]중에서 800x600 해상도의 시점 변화가 존재하는 세 종류의 Home Object 영상(A,B,C)을 실험영상으로 사용하였다. 실험 환경은 인텔 i5 쿼드코어 CPU, 8GB 램이며 Microsoft 사의 Visual Studio 2013으로 구현하였고 OpenCV 2.4.9버전을 사용하였다. 본 발명에 따른 방법의 성능을 평가하기 위해 기존의 특징점 정합 방법 중에서 성능이 우수한 SIFT, SURF 등의 방법과 성능 및 수행시간을 측정하여 비교하였다. 도 10부터 도 14까지는 본 발명에 따른 방법과 SIFT, SURF 방법의 정합 결과를 보여준다. 본 발명에 따른 방법이 각 영상에서 동일한 개수의 정합쌍을 추출할 때 기존의 정합 방법들보다 정합이 정확하게 되는 것을 볼 수 있다.

도 15의 표와 도 16의 표는 SIFT, SURF 방법과 본 발명에 따른 방법을 800x640 크기의 영상에 적용하여 각 과정별 수행 시간을 측정한 것이다. 본 발명에 따른 방법은 FAST 방법을 사용하였기 때문에 특징점을 추출하는 과정에서 기존의 추출 방법들보다 수행 시간이 많이 줄어든 것을 볼 수 있다. 특징점을 정합하는 과정에서도 기존의 정합 방법과 달리 본 발명에 따른 방법은 RANSAC을 통한 호모그래피 계산이나 호모그래피 변환을 이용한 정합쌍 분류와 같은 과정이 더 추가되었지만 불필요한 특징점을 제거하였기 때문에 수행 시간이 더 줄어든 것을 볼 수 있다. 전체 수행 시간을 비교해보면 본 발명에 따른 방법이 SURF 방법보다는 수행 속도가 2배 정도 빠르고 SIFT 방법보다는 3.5배 정도 빠른 것을 확인할 수 있다.

도 17의 표는 시점이 변하는 여러 영상에 대해 SIFT, SURF 방법과 본 발명에 따른 방법의 수행 시간을 측정한 결과이다. 각 영상에서 정합 방법마다 동일한 개수의 정합쌍을 추출할 때 본 발명에 따른 방법이 모든 영상에서 기존의 정합 방법보다 수행 시간이 더 적게 걸린 것을 알 수 있다.

본 발명에서는 FAST(Features from Accelerated Segment Test) 특징점 검출기와 SIFT(Scale Invariant Feature Transform) 특징점 서술자를 사용하여 시점 변화에 강인한 특징점 정합 방법을 설명하였다. 기존의 FAST 방법은 영상의 에지 부분에 불필요하게 특징점이 많이 검출되는데 이러한 단점을 주곡률을 이용하여 개선하였다. 추출된 특징점마다 정보를 더 기술하기 위해서 SIFT 특징점 서술자를 이용해서 정합쌍을 구하였다. 시점 변화에 강인한 특징점 정합을 위해서 RANSAC(RANdom SAmple Consensus)을 이용하여 호모그래피(homography) 행렬을 획득한 후 기준 영상의 특징점들을 호모그래피 변환을 통해 변경된 좌표와 시점이 다른 영상의 특징점 좌표간의 유클리디언(Euclidean) 거리를 통해 정합쌍을 분류하였다. 본 발명에 따른 영상 정합 방법은 SIFT나 SURF보다 같은 물체나 장소에 대해 시점이 변화된 여러 영상에서 전체 수행 시간을 비교해보았을 때, 본 발명에 따른 방법이 SURF 방법보다는 수행 속도가 2배 정도 빠르고 SIFT 방법보다는 3.5배 정도 빠른 것을 확인할 수 있고 동일한 개수의 정합쌍을 추출할 때 기존의 정합 방법들보다 정합이 정확하게 되는 것을 볼 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

적어도 2개의 서로 다른 시점의 영상에서 특징점을 추출하는 시점 변화에 강인한 특징점 정합 방법에 있어서,
(a) FAST(Features from Accelerated Segment Test) 방법을 이용하여, 상기 영상에서 특징점을 추출하는 단계;
(b) 추출된 특징점에 대하여 헤시안(Hessian) 행렬을 구하고, 구한 헤시안 행렬의 주대각선 상에 있는 원소들의 합과 행렬식을 이용하여 특징점 추출을 개선하는 단계;
(c) 다수의 프레임을 이용하여 추출한 특징점들을 정합하여, 다수의 특징점 쌍들을 획득하는 단계;
(d) 다수의 특징점 쌍들로부터 호모그래피 행렬을 획득하여, 건물에 필요한 특징점들을 분류하는 단계; 및,
(e) 분류되고 남은 특징점 쌍을 이용하여 호모그래피를 이용한 분류를 반복하는 단계를 포함하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제1항에 있어서,
상기 (a)단계에서, 상기 영상에서 한 화소 p를 중심 화소라고 할 때 이로부터 사전에 정해진 거리의 원을 형성하고, 형성된 원에 걸쳐있는 주변 화소에 대하여, 상기 주변 화소의 밝기를 중심 화소의 밝기값과 대비하여, 사전에 설정된 임계값 이상의 차이가 나는 주변 화소가 N(N은 자연수)개 이상 연속으로 있을 때 상기 중심 화소 p를 특징점으로 판단하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제2항에 있어서,
상기 (a)단계에서, 상기 형성된 원에 걸쳐있는 주변 화소 중 일부만을 중심 화소의 밝기와 대비하여, 사전에 설정된 임계값 이상의 차이가 나는 주변 화소의 개수가 사전에 정해진 비율 이상일 경우, 상기 일부 외의 다른 주변 화소들에 대하여도 모두 비교하여 특징점을 추출하고, 주변 화소의 개수가 사전에 정해진 비율 보다 적을 경우, 해당 중심 화소는 특징점이 아닌 것으로 판별하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제2항에 있어서,
상기 (a)단계에서, 중심 화소와 주변 화소 간의 대비 결과의 상태를 결정 트리 구조로 구성하여, 깊이 탐색 방식으로 전체 화소에서 특징점을 추출하되, 모든 화소들의 상태를 u(unknown)으로 초기화하고, 하나의 중심 화소에 대하여 주변 화소들과 밝기 대비를 하여 그 결과에 따라 주변 화소의 상태를 결정하고, 깊이 탐색 방식에 따라 해당 주변 화소들의 트리에서 첫번째 화소부터 순차적으로 중심 화소로 놓고 다시 주변 화소의 상태를 결정하고, 화소들 간의 상태가 앞선 과정에서 결정되어 있는 경우에는 화소들 간의 밝기 대비를 통한 상태 결정을 수행하지 않는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제4항에 있어서,
상기 (a)단계에서, 화소의 상태는 다음 수식 1과 같이 4가지 상태로 결정되는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
[수식 1]

단, S_p _-> _xk는 원을 구성하는 주변 화소 중 k번째 화소의 상태를 나타내고, I_p 는 중심 화소 p의 밝기 값이고, I_p _-> _xk 는 중심 화소 p의 주변 화소의 밝기 값이고, t는 임계값이고, d는 중심화소 보다 어둡다(dark)는 상태이고, b는 중심화소 보다 밝다(bright)는 상태이고, s는 중심화소 밝기와 유사하다(similar)는 상태이고, u는 결정되지 않는 상태(unknown)를 나타냄.
제5항에 있어서,
상기 (a)단계에서, 상기 수식 1에 따라 주변 화소의 상태를 결정하고, 결정 트리 구조에서 b상태(x∈S_bright)에 해당하는 화소와 d 상태(x∈S_dark)에 해당하는 화소에 대해 다음 수식 2를 적용하여 더 큰 값을 해당 특징점의 값으로 부여하고, 인접한 특징점들에 대하여 모두 특징점의 값을 [수식 2]를 적용하여 부여하여 가장 큰 값을 가지는 특징점을 군집 영역의 특징점으로 추출하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
[수식 2]

단, V는 중심화소 p의 특징점의 값이고, I_p _->x와 I_p는 각각 주변 화소의 밝기값과 중심 화소의 밝기 값을 나타냄.
제1항에 있어서,
상기 (b)단계에서, 상기 (a)단계에서 추출된 특징점에 대하여, 2×2 헤시안(Hessian) 행렬을 구하여, 다음 [수식 3]을 만족하지 못하는 경우에는 해당 특징점을 제외시키는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
[수식 3]

여기서,
.
,

단, I_xx는 해당 특징점 화소의 x방향 2차 미분값, I_yy는 y방향 2차 미분값, I_xy는 x와 y방향으로 각각 미분한 값이고, r은 사전에 정해진 임계값임.
제1항에 있어서,
상기 (c)단계에서, 특징점에 대하여, 4×4 크기의 블록 16개를 각각 8개의 방향으로 표현하되, 각 화살표의 길이는 방향 히스토그램 값을 의미하고, 방향 히스토그램의 값들로 이루어진 벡터의 형태로 서술자를 형성하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제1항에 있어서,
상기 (c)단계에서, 각 특징점에 대하여 16개 블록에 대해 각각 8개의 방향으로 서술자를 표현하여 모두 128(4×4×8)차원으로 기술하고, 정합할 두 영상에서 추출된 특징점들 간의 128차원 벡터로 유클리디언 거리를 계산하고 거리 값이 임계값보다 작은 경우에 정합된 특징점 쌍으로 선정하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제1항에 있어서,
상기 (d)단계에서, 정합된 특징점 쌍의 4쌍을 이용하여 호모그래피 행렬을 구하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제10항에 있어서,
상기 (e)단계에서, 기준 영상의 특징점을 호모그래피 행렬을 통해 변환하고, 변환된 특징점과, 상기 기준 영상의 특징점과 정합되는 특징점 사이의 유클리디언 거리를 구하여 임계값과 비교하여, 임계값 이내인 경우에만 특징점으로 선정하여 분류하는 것을 특징으로 하는 시점 변화에 강인한 특징점 정합 방법.
제1항 내지 제11항 중 어느 한 항의 시점 변화에 강인한 특징점 정합 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.