KR100848034B1

KR100848034B1 - 크기에 불변한 특징점을 이용한 모멘트 기반 지역 서술자생성방법

Info

Publication number: KR100848034B1
Application number: KR1020070028664A
Authority: KR
Inventors: 김회율; 한재선; 이광국
Original assignee: 한양대학교 산학협력단
Priority date: 2007-03-23
Filing date: 2007-03-23
Publication date: 2008-07-23

Abstract

본 발명은 극 좌표계 상에서 정의되는 모멘트인 저니키 모멘트(Zernike moment)와 회전 방사 변환(ART: Angular Radial Transform)을 크기에 불변한 특징 변환(SIFT: Scale Invariant Feature Transform)에 의해서 추출된 특징점과 결합하여 영상의 특징을 기술하는 지역 서술자 생성방법에 관한 것으로, 입력된 영상에 대한 지역 서술자(Local Descriptor) 생성방법에 있어서, 상기 입력된 영상에 대한 특징점을 추출하는 제1 단계; 상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계; 상기 정규화된 특징점의 주변영상으로 저니키 모멘트 또는 ART 계수의 절대 값을 계산하는 제3 단계; 조명에 의한 영상 변화를 해결하기 위해 상기 계산된 절대 값들을 정규화하여 상기 절대 값을 수정하는 제4 단계; 상기 정규화된 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및 상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계를 포함한다.

지역, 서술자, local, descriptor, 영상, MPEG, 생성, SIFT, ART, 모멘트, 특징점

Description

크기에 불변한 특징점을 이용한 모멘트 기반 지역 서술자 생성방법{Moment-based Local Descriptor using Scale Invariant Feature}

도 1은 본 발명에 이용되는 크기에 불변한 특징 변환(SIFT)의 특징점 추출과정을 설명하기 위한 도면,

도 2는 SIFT에 의해 추출된 특징점의 예를 나타낸 도면,

도 3은 저니키 모멘트의 기저함수를 형상화한 예를 나타낸 도면,

도 4는 ART의 기저함수를 형상화한 예를 나타낸 도면,

도 5는 본 발명의 전체적인 과정을 설명하기 위한 도면,

도 6은 본 발명에 따른 지역 서술자 생성방법을 나타낸 흐름도,

도 7은 영상의 크기 변화에 따른 성능의 변화를 보여주는 그래프,

도 8은 영상의 회전의 변화에 따른 성능의 변화를 보여주는 그래프,

도 9는 크기와 회전의 변화를 복합적으로 주거나, 회전 외의 다른 방향으로 시점의 변화에 따른 성능의 변화를 보여주는 그래프이다.

본 발명은 지역 서술자(Local Descriptor) 생성방법에 관한 것으로, 더욱 자세하게는 극 좌표계 상에서 정의되는 모멘트인 저니키 모멘트(Zernike moment)와 회전 방사 변환(ART: Angular Radial Transform)을 크기에 불변한 특징 변환(SIFT: Scale Invariant Feature Transform)에 의해서 추출된 특징점과 결합하여 영상의 특징을 기술하는 지역 서술자 생성방법 및 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

영상의 특징을 기술하는 방법에는 영상의 전체적인 특성을 하나의 벡터를 이용하여 표현하는 전역 서술자(Global Descriptor)와 영상 내에서 다른 부분과 비교하여 두드러지는 특성을 갖고 있는 다수의 지역을 추출하여 각 지역에 대한 다수의 벡터로서 표현하는 지역 서술자(Local Descriptor)가 있다.

지역 서술자는 지역적인 기술에 기반하기 때문에 영상의 기하학적인 변화에도 동일한 영역에 대해 동일한 서술을 생성하는 것이 가능하다. 이에 따라 지역 서술자를 이용할 경우, 영상 분할(segmentation) 등의 전처리를 거치지 않고도 영상 내에 포함되어 있는 객체를 인식하여 추출할 수 있으며, 특히 영상의 일부분이 가려져 있는 경우에도 영상의 특징을 표현함에 있어서 비교적 강인하게 대응할 수 있다.

이런 장점을 이유로 지역서술자는 패턴인식, 컴퓨터 비전, 컴퓨터 그래픽스 분야에서 폭넓게 활용되고 있으며, 그 예로는 객체 인식, 영상 검색, 파노라마 생성 등이 있다.

지역 서술자를 계산하는 과정은 크게 두 단계로 나눌 수 있다. 첫 번째 단계는 주변의 다른 픽셀들과 차별화된 특성을 갖고 있는 점을 특징점으로서 추출하는 과정이며, 두 번째 단계는 이렇게 추출된 특징점과 주변 픽셀 값을 이용하여 서술자를 계산하는 과정이다.

특징점 추출 방법의 우수성은 기하학적 변화 및 광학적 변화가 있는 영상에서 얼마나 안정적으로 동일한 의미를 갖고 있는 위치를 특징점으로 뽑아낼 수 있는가에 의해서 평가되며, 그 방법에 대한 기존 연구 가운데 모서리(corner), T형 접합부(T-junction), 원형 영역(Blob)의 중심점 등을 관심영역으로 추출하기 위한 다양한 방법들이 제안되었다. 또한, 특징점과 주변 픽셀 값에 의해서 계산되는 서술자는 다른 특징점들로부터 계산되는 서술자와 뚜렷하게 구분될 수 있는 특수성을 갖되, 추출된 지역 서술자들 간의 유사도를 계산하는 과정에서 계산량이 너무 증가하지 않도록 적절한 차원의 벡터로서 표현이 가능해야 한다. 서술자를 계산하는 방법으로는 모멘트를 이용하거나, 특징점과 그 주변 픽셀에 의해 형성되는 부분영상의 구배(Gradient)값의 분포, 주성분분석(PCA: Principal Component Analysis) 등을 이용한 방법이 제안된 바 있다.

이상에서 설명한 특징점 추출 방법이나, 서술자 계산 방법이 갖추어야 할 조건을 고려하여 기존의 지역서술자들의 성능을 비교 분석한 연구결과 크기에 불변한 특징 변환(SIFT)이 크기, 회전 및 시점 변화와 같은 기하학적 변화와 광학적 변화가 있는 환경에서 여타의 방법에 비해서 가장 안정된 성능을 보이는 것으로 알려져 있다. 지역 서술자의 성능을 평가하는 구체적인 방법에 대해서는 K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. SZisserman, J. Matas, F. Schaffalitzky, T. Kadir, 및 L. V. Gool에 의한 "A Comparison of Affine Region Detectors, International Journal of Computer Vision vol. 65 pp 43-72, Nov. 2005"와 K. Milolajczyk 및 C. Schmid에 의한 "A Performance Evaluation of Local Descriptors, IEEE Transactions on Pattern Ananlysis and Machine Intelligence, vol 27. pp 1615-1630, Oct. 2005"에 자세히 기술되어 있다.

SIFT의 특징점들은 영상에 크기 변화 또는 회전이 발생하여도 동일한 위치에서 같은 영역을 추출할 수 있는 특징을 가지고 있다. 이 SIFT의 특징점들은 원 영상에 연속적으로 가우시안 커널(Gaussian Kernal)을 적용함으로써, 생성된 크기 공간(Scale Space)상에서 지역 극 값(Local maximum)을 추출하는 방식으로 구하여 진다. 크기 공간에 대한 자세한 설명은 "T. Lindeberg"의 "Scale-space theory: A basic tool for analysing structures at different scales, Journal of Applied Statistics, 21(2): pp 224-270"에 기술되어 있다.

지역 극값을 구하기 위한 과정으로서, 크기 공간(Scale Space)상에 존재하는 가우시안 영상(Gaussian Images)에 라플라시안(Laplacian) 연산을 취해야 하지만(LoG: Laplacian of Gaussian), 계산상에 효율을 높이고 비슷한 효과는 얻을 수 있는 방법으로서 크기 공간 상에서 이웃한 두 가우시안 영상간의 차(DoG: Difference of Gaussian)를 구하여 가우시안 영상의 라플라시안 연산(LoG) 영상을 대신한다. 이런 과정을 거쳐서 연속한 여러 장의 가우시안 영상간의 차(DoG) 영상을 얻게 되며, 가우시안 영상간의 차(DoG) 영상에서 임의의 픽셀이 이웃한 픽셀들 과 비교하여 그 값이 가장 크거나 작은 경우에 이를 지역 극값으로서 선택하게 된다.

이때, 이웃한 픽셀들이란, 비교의 기준이 되는 픽셀을 둘러싸고 있는 8개의 픽셀 및 기준 픽셀을 포함하고 있는 가우시안 영상간의 차(DoG) 영상과 근접한 위, 아래 단계 가우시안 영상간의 차(DoG) 영상에서 동일한 위치에 존재하는 각각 9개의 이웃 픽셀을 포함하여 모두 26개의 픽셀이 된다. 이렇게 추출된 지역극값은 주변 픽셀들에 비해서 그 값이 크게 두드러지지 않거나, 코너, 경계선 위에 위치하는 점들을 제외시킨 후에 특징점으로 결정된다.

SIFT의 서술자는 위와 같은 과정을 거쳐 추출된 특징점과 그 주변픽셀들로부터 계산된다. 특징점의 주변영역의 경계는 특징점이 추출된 가우시안 영상간의 차(DoG) 영상의 분산 값에 의해서 결정된다. 크기 공간상에 모든 가우시안 영상은 동일한 분산 값을 갖고 있는 가우시안 커널을 연속적으로 적용하여 구해진 것이므로, 해당 크기 공간 내의 분산값을 수학적으로 계산할 수 있으며, 가우시안 영상간의 차(DoG) 영상의 분산 값은 계산과정에서 사용되었던 두 장의 가우시안 영상 중 낮은 단계의 가우시안 영상이 갖는 분산 값을 따른다.

이와 같은 과정을 거쳐서 특징점의 주변영역이 결정되기 때문에, SIFT의 서술자는 크기에 불변한 성질을 갖게 되며, 서술자는 정해진 주변영역 내에서 구배(Gradient)값들의 크기 값과 회전치의 분포를 히스토그램의 형태로 재구성하여 구한다.

이때, 회전에 불변한 성질을 얻기 위한 방법으로서, 가장 큰 빈도를 갖고 있 는 구배 값의 회전치를 중심으로 영상 정규화 과정을 거치게 되는데, 이는 모든 특징점과 그 주변영역에 의해서 정의되는 부분영상들이 갖게 되는 서로 다른 주요 회전축을 동일한 방향으로 정렬시키게 되는 효과를 갖는다. SIFT에 대한 보다 자세한 설명은 D. Lowe에 의한 "Distinctive image features from scale invariant keypoints," In International Journal of Computer Vision, vol 60, pp 91-100, 2004에 제시되어 있다.

그런데, SIFT의 서술자를 계산하는 과정에서, 구배 값들의 회전치 분포 가운데 비슷한 빈도를 갖고 있는 다수의 주요 회전치가 존재하는 경우 서술자의 회전에 대한 불변성을 저해할 수 있는 문제가 발생할 수 있다. 이는 SIFT의 특징점 및 서술자의 계산과정에서 여러 단계의 이산화된 연산 및 샘플링 과정을 거치기 때문에, 작은 차이에 의한 위상은 계산 과정에서 발생하는 오차에 의해서 뒤바뀔 수 있는 여지가 있기 때문이다. SIFT는 이에 대응하기 위해서 다수의 주요 회전치가 존재하는 영역에 대해서는 각각의 회전치에 의한 정규화를 거친 다수의 서술자를 생성한다. 이는 SIFT 서술자가 영상의 회전의 변화에 완전하게 대응하지 못할 가능성을 내재하고 있다는 것으로 생각될 수 있다. 또 동일한 위치에 대해서 여러 개의 서술자를 생성함으로써, 각각의 서술이 불가피하게 중복되는 문제가 발생하게 된다.

따라서 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 것으로, 극 좌표계 상에서 정의되는 모멘트인 저니키 모멘트와 회전 방사 변 환(ART)을 크기에 불변한 특징 변환(SIFT)에 의해서 추출된 특징점과 결합하여 영상의 특징을 기술하는 지역 서술자 생성방법 및 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은, 입력된 영상에 대한 지역 서술자(Local Descriptor) 생성방법에 있어서, 상기 입력된 영상에 대한 특징점을 추출하는 제1 단계; 상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계; 상기 정규화된 특징점의 주변영상으로부터 저니키 모멘트의 절대 값을 계산하는 제3 단계; 상기 계산된 저니키 모멘트의 절대 값들을 정규화하여 상기 절대 값을 수정하는 제4 단계; 상기 정규화된 저니키 모멘트의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및 상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 입력된 영상에 대한 지역 서술자(Local Descriptor) 생성방법에 있어서, 상기 입력된 영상에 대한 특징점을 추출 하는 제1 단계; 상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계; 상기 정규화된 특징점의 주변영상으로부터 회전방사변환(ART) 계수의 절대 값을 계산하는 제3 단계; 상기 계산된 회전방사변환 계수의 절대 값을 정규화하여 상기 절대 값을 수정하는 제4 단계; 상기 정규화된 회전방사변환 계수의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및 상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계를 포함한다.

또한, 본 발명은, 입력된 영상에 대한 지역 서술자(Local Descriptor)를 생성하기 위해, 컴퓨터에서, 상기 입력된 영상에 대한 특징점을 추출하는 제1 단계; 상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계; 상기 정규화된 특징점의 주변영상으로부터 저니키 모멘트의 절대 값을 계산하는 제3 단계; 상기 계산된 저니키 모멘트의 절대 값들을 정규화하여 상기 절대 값을 수정하는 제4 단계; 상기 정규화된 저니키 모멘트의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및 상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 입력된 영상에 대한 지역 서술자(Local Descriptor)를 생성하기 위해, 컴퓨터에서, 상기 입력된 영상에 대한 특징점을 추출하는 제1 단계; 상기 추출된 모든 특징점과 상기 특징점들에 의해 정의 되는 주변영상을 동일한 크기로 정규화하는 제2 단계; 상기 정규화된 특징점의 주변영상으로부터 회전방사변환(ART) 계수의 절대 값을 계산하는 제3 단계; 상기 계산된 회전방사변환 계수의 절대 값을 정규화하여 상기 절대 값을 수정하는 제4 단계; 상기 정규화된 회전방사변환 계수의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및 상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

본 발명은 다양한 영상처리 응용분야에 사용될 수 있는 지역 서술자를 제안한다. 이를 위해 지역서술자가 갖추어야 할 첫 번째 특성은 공통된 객체를 포함하고 있는 다양한 영상에서 동일한 의미를 갖고 있는 특징점을 반복적으로 추출하는 것이다. 예를 들어 A라는 객체가 포함되어 있는 한 영상에서, A의 좌 상단에 위치한 특징점을 추출했다면, A가 포함되어 있으며 어둡거나, 다른 배경, 다른 시점에서 촬영된 영상에서도 동일한 위치의 특징점을 추출하는 것이 가능해야 한다. 이와 같이 공통적으로 추출되는 특징점은 그 개수가 많을수록 좋으며, 실험 결과를 통해 가장 좋은 성능을 보이는 SIFT의 특징점 추출과정을 인용하였다.

지역서술자가 갖추어야 할 두 번째 특성은 추출된 특징점에 의해서 정의되는 영상 내의 각각의 지역 영역을 차별적으로 서술하는 것이다. 이와 같은 지역서술자는 크기 및 회전, 시점의 변화가 일어난 경우에도 변함이 없어야만 영상을 비교 분석함에 있어 효율적으로 사용될 수 있다.

SIFT의 서술자의 경우 여타의 지역 서술자에 비하여 영상의 기하학적인 변화에 안정적인 성능을 보이고 있지만, 다수의 주요 회전치를 가지고 있는 영역에 대해서 중복된 서술을 생성하는 등 회전의 변화에 대해서 완전하게 대응할 수 없다. 본 발명은 SIFT를 비롯한 기존의 지역 서술자가 회전에 대해서 완전하게 대응하지 못하는 점을 보완하고자 모멘트를 이용하여 회전에 불변한 서술자를 생성한다. 이에 적합한 모멘트로서 저니키 모멘트와 회전방사변환(ART)이 고려되었다. 각각의 모멘트에 의해서 생성된 두 지역 서술자 모두 회전의 방향 및 크기에 관계없이 일정한 서술을 생성하기 때문에 정규화 과정을 거치지 않더라도 회전의 변화에 완전하게 대응할 수 있다. 따라서 각각의 지역 영역이 다수의 주요 회전치를 가지고 있는 경우에도 중복된 서술이 필요 없을 뿐 아니라, 주요 회전치를 계산하는 과정 자체를 필요로 하지 않는다.

이하에서는 이와 같은 본 발명의 특징에 대해 보다 구체적으로 설명한다.

본 발명은 크게 두 단계로 구분될 수 있다. 그 첫 번째는 특징점을 추출하는 것으로, 본 발명은 이를 위해 SIFT의 특징점 추출까지의 과정을 인용하였다.

도 1은 크기에 불변한 특징 변환(SIFT) 전체 계산 과정 중 본 발명에 인용된 특징점의 추출 과정까지를 나타낸 것이다.

특징점을 추출하기 위한 첫 번째 단계로서, 입력 영상 I(x,y)와 서로 다른 크기의 분산 값을 갖는 가우시안 커널 G의 연속적인 정합 과정의 결과 영상 L로 이루어진 가우시안 크기 공간(Gaussian scale-space)이 생성된다. 가우시안 정합은 다음의 수학식 1과 같이 나타낼 수 있다.

L(x,y,σ)=G(x,y,σ)×I(x,y)

상기 수학식 1에서 G(x,y,σ)는 σ의 분산을 갖는 가우시안 커널을 나타낸다.

이웃한 두 가우시안 영상간의 차이(DoG) 영상은 서로 다른 분산 값(σ, kσ)을 갖는 가우시안 함수에 의해 컨벌루션이 적용된 두 영상 L(x, y, σ)와 L(x, y, kσ)의 차를 이용해서 쉽게 구할 수 있다. 즉, 생성된 가우시안 크기 공간 내에서 서로 연속한 두 장의 영상을 이용하여 DoG 영상 D를 계산할 수 있으며, 가우시안 크기 공간 내의 모든 영상에 대해서 DoG 영상을 취하게 되면 DoG 크기 공간이 생성된다. 다음의 수학식 2는 DoG 연산을 나타낸다.

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)=L(x,y,kσ)-L(x,y,σ)

생성된 DoG 크기 공간 내에서 지역 극값이 특징점으로서 선택된다. 이때, 지역 극값은 비교 대상이 되는 픽셀이 포함되어 있는 영상 내의 8개의 이웃 픽셀들과 DoG 공간상의 한 단계 위 영상과 아래 영상에서 동일한 위치의 각 9개의 이웃 픽셀들을 포함하여 총 26개의 점과 비교했을 때, 가장 크거나 작은 점이 선택된다.

도 2는 이와 같은 과정을 거쳐 추출된 크기에 불변한 특징 변환(SIFT)의 특징점을 벡터의 형식으로 나타낸 것이다.

도 2에서 화살표의 원점은 추출된 특징점의 위치를 나타내며, 특징점에 의해서 정의되는 주변 영역의 크기는 화살표의 길이로 표시된다. 화살표가 향하는 방향은 특징점을 포함한 주변 영역 내의 주요 회전축을 의미한다.

본 발명의 두 번째 단계는 상기와 같은 과정을 통해 추출된 특징점에 대한 서술자를 생성하는 것인데, 이를 위해 저니키 모멘트와 회전방사변환(ART), 두 가지 방법이 고려되었다.

저니키 모멘트는 영상 함수와 극좌표 상에서 정의되는 기저함수의 컨벌루션에 의해 계산된다. 이때, 저니키의 기저함수는 단위원 내에서 정의되는 직교 복소함수이며, 차수(order)가 n이고, 반복수(repetition)가 m인 저니키 기저함수 V_nm(x,y)는 다음의 수학식 3과 같이 나타낼 수 있다.

상기의 수학식 3에서 n은 0 혹은 양의 정수이고, m은 n-|m|이 짝수이고 |m|≤n인 조건을 만족하는 정수이다. ρ은 원점으로부터 점 (x,y)까지의 거리를 의미하며, 0≤ρ≤1인 경우에만 유효하다. 또한, θ는 점 (x,y)와 x축 사이 각도의 크 기 값을 의미한다.

상기 수학식 3에서 R_nm(ρ)은 방사방향으로의 실수부 다항식을 의미하며, 이는 다음의 수학식 4와 같이 나타낼 수 있다.

도 3은 상기 수학식 3과 수학식 4에 의해 정의되는 기저함수를 영상으로 형상화한 예를 나타낸 것이다.

도 3은 실수부와 허수부 그리고 m이 짝수인 경우와 홀수인 경우로 각각 구분되어 도시된 예이다.

극좌표상의 영상 함수 f(ρ,θ)에 대한 저니키 모멘트는 기저함수 V_nm(x,y)로의 투영에 의해서 다음의 수학식 5와 같이 나타낸다.

상기 수학식 5에서

는 기저함수 V_nm의 공액 복소수이다.

회전방사변환(ART)은 극좌표상의 단위원 내에 정의되는 직교 사인곡선 함수(sinusoidal functions)로 구성된 기저함수를 가지고 있다. ART의 계수(coefficient)는 기저함수와 극좌표상의 영상함수 사이의 컨벌루션을 통해 구할 수 있으며, 방사방향(radial)과 원주방향(angular)으로 각각 n과 m의 차수를 갖는 ART계수 F_nm는 다음의 수학식 6과 같이 나타낼 수 있다.

상기 수학식 6에서 f(ρ,θ)은 극좌표상의 영상 함수, V_nm(ρ,θ)는 ART 기저함수를 나타낸다. 기저함수 V_nm(ρ,θ)는 다음의 수학식 7과 같이 방사방향의 함수 R_n(ρ)와 원주방향의 함수 A_m(θ)로 분리되어 정의된다.

도 4는 상기 수학식 7에 의해서 정의되는 ART의 기저함수를 영상으로 형상화하여 보여준 예를 나타낸 것이다. 도 4는 실수부와 허수부로 구분하여 나타낸 것이다.

최종적으로 서술자가 생성되기 위해서는 이 두 가지 방법이 특징점의 추출 알고리즘인 SIFT와 결합되어야 한다. SIFT에 의해서 추출된 특징점은 그 점이 추출된 영상의 가우시안 분산 값을 고려하여 영상의 크기 및 회전에 관계없이 일정한 주변 영역을 정의할 수 있다.

하지만, 특징점은 서로 다른 분산 값을 갖고 있는 다양한 DoG영상으로부터 선택되며, 이를 고려하여 추출된 특징점의 주변 영상 역시 다양한 크기를 갖게 된다. 이 경우, 작은 크기의 영상의 경우에는 이산화 된 연산의 특성에 의해 생기게 되는 작은 오차에도 적지 않은 영향을 받을 수 있다. 또한 거의 모든 특징점에 대해서 서로 다른 크기를 갖는 기저 함수를 생성하게 되면, 저니키 모멘트와 회전방사변환(ART), 두 방법 모두에 있어서 지나치게 많은 계산 량이 요구된다.

따라서 본 발명에서는 모든 특징점과 그것에 의해 정의되는 주변영상을 같은 크기로 정규화한다. 이렇게 함으로써 작은 영역이 갖게 되는 오차의 영향을 줄일 수 있다. 또한 본 발명은 한번 계산해 놓은 기저함수를 저장하여 반복적으로 재사용할 수 있도록 함으로써, 계산상에도 큰 이점이 생긴다.

ART 계수와 저니키 모멘트는 둘 모두 최종 계산결과인 복소수의 절대 값이 회전에 불변한 성질을 갖는다. 따라서 두 서술자 모두 ART계수나 저니키 모멘트의 절대 값으로부터 계산된다.

ART계수와 저니키 모멘트의 절대 값은 모두 SIFT의 특징점과 그 주변영상으로 이루어진 회색조 영상과의 컨벌루션을 통해 계산되었기 때문에 조명에 의한 영상 변화에 쉽게 영향을 받을 수 있다. 조명에 의한 영상 변화는 임의의 상수가 곱해진 효과를 갖는 대비의 변화와 임의의 상수가 더해진 효과를 갖는 평균 밝기 변화, 그리고 그 외의 카메라 조작 등에 의해서 생기게 되는 불규칙한 변화 등이 있다. 이런 변화를 포함하고 있는 영상에서도 사용되기 위해서 ART계수나 저니키 모 멘트의 절대 값 정규화 과정을 거쳐 수정되어야 한다.

이를 위해 본 발명에서는 임의의 상수의 곱에 의해 생기는 영상 대비의 변화에 대해 아래의 수학식 8과 같이 단위 길이(unit-length)로 정규화함으로써, 극복할 수 있도록 한다.

상기 수학식 8은 상수 α가 곱해진 영상으로부터 계산된 ART 계수

가 정규화 과정을 거쳐 상수를 곱하기 전 영상의 계수인

와 같은 값을 유지하게 됨을 보여준다. 같은 방식으로 저니키 모멘트의 절대 값

도 정규화될 수 있다.

ART계수나 저니키 모멘트는 기저함수의 특성상 상대적으로 낮은 차수에서 큰 값들을 생성하게 되며, 이러한 현상은 평균 밝기가 높은 영상에서 더욱 두드러진다. 이는 최종적으로 생성된 서술자 벡터 사이에 차이 값을 이용하여 대응점을 찾는 과정에서, 단순히 밝기만 비슷한 주변영역을 정의하는 특징점을 찾게 되어 잘못된 결과를 야기할 확률이 높아진다. 또한 이러한 경우, 단위 길이로 정규화 과정을 거치더라도 큰 효과를 기대하기 힘들기 때문에 다른 값들에 비해서 큰 비율을 차지하고 있는 계수나 모멘트의 절대 값의 영향을 줄여주어야 한다.

따라서 본 발명에서는 정규화 과정을 거친 후, 그 값이 정해진 경계치를 넘 을 경우, 경계치를 넘는 성분에 대해 일정한 값으로 하향 조정한다. 이때, 서술자 벡터의 전체 성분의 합이 원래 보다 줄어들기 때문에, 다시 단위 길이로 정규화해 주어야 한다. 경계치를 넘는 성분은 전체 서술자 벡터 중 2~3개에 지나지 않는 경우가 대부분이기 때문에, 서술자의 기하학적 변화에 대한 강인함을 크게 해치지 않으면서 조명의 변화에 대해서도 강인한 성질을 갖게 된다.

도 5는 본 발명에 따른 지역서술자의 전반적인 생성과정을 나타낸 것이다.

SIFT를 이용하여 추출된 특징점들은 ART나 저니키 모멘트를 이용한 서술자와 결합하여 각각의 새로운 지역서술자가 된다.

각 특징점에 대한 대응점은 서술자 벡터 간의 거리 값을 이용하여 계산되었으며, 이는 다음의 수학식 9와 같이 표현할 수 있다.

도 6은 본 발명에 따른 지역 서술자 생성방법을 전체적으로 설명하기 위한 흐름도이다.

먼저, 특징점을 추출하기 위해, 입력 영상과 가우시안 커널을 연속적으로 정합하여 가우시안 크기 공간을 생성한다(101). 그런 다음, 생성된 가우시안 크기 공간 내의 모든 영상에 대해 서로 연속한 두 장의 영상을 이용하여 이웃한 두 가우시안 영상간의 차이(DoG) 영상을 계산하여 DoG 크기 공간을 생성한다(102). 이후, 상기 생성된 DoG 크기 공간 내에서 지역 극값을 특징점으로 선택한다(103). 이때, 지 역 극값은 비교 대상이 되는 픽셀이 포함되어 있는 영상 내의 8개의 이웃 픽셀들과 DoG 공간상의 한 단계 위 영상과 아래 영상에서 동일한 위치의 각 9개의 이웃 픽셀들을 포함하여 총 26개의 점과 비교했을 때, 가장 크거나 작은 점이 선택된다.

이와 같이 특징점을 선택한 후, 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화한다(104).

이와 같은 모든 특징점 및 주변 영상을 일정한 크기로 정규화한 후, 저니키 모멘트 또는 회전방사변환(ART)을 적용하여 지역 서술자를 생성한다. 이에 대해 설명하면 다음과 같다.

상기 정규화된 특징점의 주변영상으로부터 ART 기저함수 또는 저니키 기저함수와의 컨벌루션을 통해 ART 계수의 절대 값 또는 저니키 모멘트의 절대 값을 계산한다(105). 이때, 한번 계산한 기저 함수를 저장하여 반복적으로 재사용할 수 있도록 한다.

그리고 조명에 의한 영상 변화 문제를 해결하기 위해 상기 계산된 절대 값을 단위 길이로 정규화하여 절대 값을 수정한다(106).

이후, 단위 길이로 정규화된 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 일정한 값으로 하향 조정하고(107), 서술자 벡터의 전체 성분의 합이 원래 성분의 합보다 줄어들기 때문에 다시 절대 값을 단위 길이로 정규화한다(108).

본 발명에 따른 지역서술자의 성능을 평가하기 위해서 크기, 회전 및 시점의 변화를 포함하는 기하학적인 변화와 영상의 평균밝기 및 대비의 변화를 포함하는 조명변화를 가한 영상에서 실험을 진행하였다.

본 발명에 따른 지역서술자는 SIFT 및 PCA-SIFT와 비교되었으며, 각각의 경우에 대한 성능평가는 총 특징점의 개수와 바르게 찾아진 대응점 사이의 비율을 이용하였다. 이는 다음의 수학식 10에 나타나 있다.

본 발명에 따른 지역 서술자를 다양한 크기, 회전, 시점 및 조명 조건을 갖는 영상에 적용하였을 경우, 동일한 위치에서 특징점을 추출하는 것이 가능하며, 추출된 특징점에 의해서 정의되는 주변영역에 대해서 영상의 변화와 상관없이 유사한 서술이 생성된다.

표 1은 원 영상의 가로와 세로 비율을 0.9에서 0.5까지 변화시키면서 실험한 결과를 나타낸 것이다.

	0.9	0.8	0.7	0.6	0.5
SIFT	75.37	80.04	78.60	80.47	78.88
PCA-SIFT	73.37	76.68	75.33	76.85	75.93
Zernike	75.95	79.10	78.95	79.92	77.91
ART	76.05	79.76	79.53	80.73	78.56

도 7은 영상의 크기변화에 따른 성능 변화를 보여주는 그래프이다. 그래프의 X축은 크기의 변화를 나타내며, Y축은 크기 변화에 따른 성능의 변화를 나타낸다.

표 2는 원 영상을 10°에서 50°까지 회전시키면서 실험한 결과를 보여준다.

	10	20	30	40	50
SIFT	71.63	70.58	70.53	70.88	70.15
PCA-SIFT	73.29	72.21	72.45	72.35	71.52
Zernike	75.72	74.62	74.69	75.24	74.65
ART	76.18	74.80	75.15	76.16	75.87

도 8은 영상의 회전의 정도에 따른 성능 변화를 보여주는 그래프이다. 그래프의 X축은 회전의 변화를 나타내며, Y축은 회전의 변화에 따른 성능의 변화를 나타낸다.

표 3은 회전과 크기의 변화를 함께 주거나, Y축 및 Z축을 중심으로 시점의 변화를 준 경우의 실험결과를 보여준다.

도 9는 영상의 변화 조건에 따른 성능의 변화를 보여주는 그래프이다. X축은 회전의 변화를 나타내며, Y축은 회전의 변화에 따른 성능의 변화를 나타낸다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상술한 바와 같이 본 발명에 따르면, SIFT 알고리즘에 의해 추출된 특징점에 본래의 구배 값의 분산을 이용한 서술자를 대신하여 모멘트 기반의 서술자를 결합하였을 때, 지역서술자의 전반적인 성능을 향상시킬 수 있다.

본 발명에 따른 지역서술자는 회전, 크기, 시점 및 조명의 변화가 있는 영상들 간에 강인한 매칭을 가능하게 하며, 특히 다양한 회전 변화에 대해서 두드러진 성능 향상을 보였다.

또한, 지역서술자의 본연의 특성에 기인하여 영상의 가려짐에 비교적 적은 영향을 받기 때문에, 여러 가지 객체가 겹쳐져 있거나 복잡한 구조를 가지고 있는 영상에 대해서 효과적으로 사용될 수 있다. 이는 패턴인식, 영상처리, 컴퓨터비전 등의 분야에서 유용하게 사용될 수 있으며, 구체적으로는 객체인식, 파노라마 영상의 생성, 삼차원 영상의 구성, 그리고 워터마킹 등에 응용될 수 있다.

Claims

입력된 영상에 대한 지역 서술자(Local Descriptor) 생성방법에 있어서,

상기 입력된 영상에 대한 특징점을 추출하는 제1 단계;

상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계;

상기 정규화된 특징점의 주변영상으로부터 저니키 모멘트의 절대 값을 계산하는 제3 단계;

상기 계산된 저니키 모멘트의 절대 값들을 정규화하여 상기 절대 값을 수정하는 제4 단계;

상기 정규화된 저니키 모멘트의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및

상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계

를 포함하는 지역 서술자 생성방법.
입력된 영상에 대한 지역 서술자(Local Descriptor) 생성방법에 있어서,

상기 입력된 영상에 대한 특징점을 추출하는 제1 단계;

상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계;

상기 정규화된 특징점의 주변영상으로부터 회전방사변환(ART) 계수의 절대 값을 계산하는 제3 단계;

상기 계산된 회전방사변환 계수의 절대 값을 정규화하여 상기 절대 값을 수정하는 제4 단계;

상기 정규화된 회전방사변환 계수의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및

상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계

를 포함하는 지역 서술자 생성방법.
제 1 항 또는 제 2 항에 있어서,

상기 제1 단계에서 상기 특징점은, 크기에 불변한 특징 변환(SIFT)을 이용하여 추출되는 것을 특징으로 하는 지역 서술자 생성방법.
제 3 항에 있어서,

상기 제1 단계는,

상기 입력 영상과 가우시안 커널을 연속적으로 정합하여 가우시안 크기 공간을 생성하는 단계;

상기 생성된 가우시안 크기 공간 내의 모든 영상에 대해 서로 연속한 두 장 의 영상을 이용하여 이웃한 두 가우시안 영상간의 차이(DoG) 영상을 계산하여 DoG 크기 공간을 생성하는 단계; 및

상기 생성된 DoG 크기 공간 내에서 지역 극값을 특징점으로 선택하는 단계

를 포함하는 지역 서술자 생성방법.
제 4 항에 있어서,

상기 생성된 DoG 크기 공간 내에서 지역 극값을 특징점으로 선택하는 단계에서, 상기 지역 극값은, 비교 대상이 되는 픽셀이 포함되어 있는 영상 내의 8개의 이웃 픽셀들과 DoG 크기 공간상의 한 단계 위 영상과 아래 영상에서 동일한 위치의 각 9개의 이웃 픽셀들을 포함하여 총 26개의 점과 비교하였을 때, 가장 크거나 작은 점이 선택되는 것을 특징으로 하는 지역 서술자 생성방법.
제 1 항에 있어서,

상기 제4 단계에서 상기 계산된 저니키 모멘트의 절대 값들을 단위 길이로 정규화하여 상기 절대 값을 수정하고,

상기 제6 단계에서 상기 절대 값들을 다시 단위 길이로 정규화하는 것을 특징으로 하는 지역 서술자 생성방법.
제 2 항에 있어서,

상기 제4 단계에서 상기 계산된 회전방사변환 계수의 절대 값들을 단위 길이로 정규화하여 상기 절대 값을 수정하고,

상기 제6 단계에서 상기 절대 값들을 다시 단위 길이로 정규화하는 것을 특징으로 하는 지역 서술자 생성방법.
제 6 항 또는 제 7 항에 있어서,

상기 제3 단계의 절대 값 계산 과정에서, 한번 계산한 기저함수를 저장하여 모든 영역에 대해 반복적으로 사용하도록 하는 것을 특징으로 하는 지역 서술자 생성방법.
제 8 항에 있어서,

상기 입력된 영상은 회색조(gray)로 표현된 영상인 것을 특징으로 하는 지역 서술자 생성방법.
입력된 영상에 대한 지역 서술자(Local Descriptor)를 생성하기 위해, 컴퓨 터에서,

상기 입력된 영상에 대한 특징점을 추출하는 제1 단계;

상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계;

상기 정규화된 특징점의 주변영상으로부터 저니키 모멘트의 절대 값을 계산하는 제3 단계;

상기 계산된 저니키 모멘트의 절대 값들을 정규화하여 상기 절대 값을 수정하는 제4 단계;

상기 정규화된 저니키 모멘트의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및

상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계

를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
입력된 영상에 대한 지역 서술자(Local Descriptor)를 생성하기 위해, 컴퓨터에서,

상기 입력된 영상에 대한 특징점을 추출하는 제1 단계;

상기 추출된 모든 특징점과 상기 특징점들에 의해 정의되는 주변영상을 동일한 크기로 정규화하는 제2 단계;

상기 정규화된 특징점의 주변영상으로부터 회전방사변환(ART) 계수의 절대 값을 계산하는 제3 단계;

상기 계산된 회전방사변환 계수의 절대 값을 정규화하여 상기 절대 값을 수정하는 제4 단계;

상기 정규화된 회전방사변환 계수의 절대 값이 정해진 경계치 이상을 갖는 성분에 대해 그 절대 값을 일정한 값으로 하향 조정하는 제5 단계; 및

상기 제5 단계 수행 후, 상기 절대 값들을 다시 정규화하는 제6 단계

를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제 10 항 또는 제 11 항에 있어서,

상기 제1 단계에서 상기 특징점은, 크기에 불변한 특징 변환(SIFT)을 이용하여 추출되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.