KR100795570B1

KR100795570B1 - 영상의 특징점 추출방법

Info

Publication number: KR100795570B1
Application number: KR1020060084159A
Authority: KR
Inventors: 김영욱; 박창우; 이종배; 김봉석; 문찬우
Original assignee: 전자부품연구원
Priority date: 2006-09-01
Filing date: 2006-09-01
Publication date: 2008-01-21

Abstract

본 발명은 영상의 특징점 추출 방법에 관한 것으로서, 쓰레드(Thread)로 연결되는 복수개의 웨이블릿 트랜스폼(Wavelet Transform)으로 구성된 웨이블릿 피라미드(Wavelet Pyramid)를 이용하여 복수개의 표본 영상을 동시에 생성하고, 복수개의 표본 영상 중 서로 인접한 두 표본 영상 간의 차영상을 동시에 생성하며, 차영상 내의 특징점들을 추출하는 것을 특징으로 한다.

본 발명에 의하면 하나의 입력 영상으로 동시에 복수개의 표본 영상을 생성할 수 있어 인접한 표본 영상의 차영상을 생성하여 특징점을 추출하는데 걸리는 연산시간을 획기적으로 줄일 수 있다.

특징점, 웨이블릿 변환, 특징 벡터, 도이비쉬 계수, 영상인식

Description

영상의 특징점 추출방법{ Method for extracting feature of image }

도 1은 종래의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 차영상(Subtraction Image)을 생성하는 방법을 나타낸 도면.

도 2는 종래의 가우시안 피라미드 방법으로 생성한 차영상 내의 특징점을 추출하는 방법을 나타낸 도면.

도 3은 본 발명의 영상의 특징점 추출 장치의 실시예를 나타낸 구성도.

도 4는 본 발명의 웨이블릿 피라미드(Wavelet Pyramid)를 이용하여 차영상을 생성하는 방법을 나타낸 도면.

도 5는 본 발명의 웨이블릿 변환에서 얼라인(Align) 문제를 해결하기 위한 방법을 나타낸 그래프.

도 6은 본 발명의 차영상(Subtraction Image) 내의 특징점을 추출하는 방법을 나타낸 도면.

도 7은 본 발명의 영상의 특징점 추출 방법의 실시예를 나타낸 순서도.

* 도면의 주요 부분에 대한 부호의 설명 *

110 : IR LED 모듈 120 : CCD 카메라

130 : 프레임 그래버 140 : 메모리

150 : 마이크로 컴퓨터

본 발명은 영상의 특징점 추출방법에 관한 것이다.

일반적으로 물체 인식이란 물체에 대한 사전 정보를 알고 있을 때, 입력 영상에서 어떤 물체가 어디에 있는지 파악하는 것으로 볼 수 있다. 즉, 물체 인식은 일반적인 특징량(예를 들면, 물체의 크기, 모양, 색깔, 위치, 자세 등)의 정합이라고 정의할 수 있다.

종래 영상 기반 물체 인식에 주로 사용되었던 크기 불변 특징 변환(Scale Invariant Feature Transform : SIFT)의 경우, 가우시안 피라미드(Gaussian Pyramid) 방법을 사용하여 일관된 특성을 가지는 특징점을 추출하고, 이를 기반으로 특징 벡터를 생성한 후, 특징 벡터들의 매칭을 통해 영상 인식을 수행하였다.

도 1은 종래의 가우시안 피라미드(Gaussian Pyramid)를 이용하여 차영상(Subtraction Image)을 생성하는 방법을 나타낸 도면이다.

이에 도시된 바와 같이, 입력 영상을 가우시안 마스크(Gaussian Mask)로 필터링(Filtering)하여 블러링(Blurring)된 제1-1 표본 영상(11)을 생성하고, 상기 제1-1 표본 영상(11)을 가우시안 마스크로 필터링하여 제1-2 표본 영상(12)을 생성하며, 상기 제1-2 표본 영상(12)을 가우시안 마스크로 필터링하여 제1-3 표본 영상(13)을 생성하고, 이와 같은 동작을 반복 수행하여 제1-6 표본 영상(16)까지 생 성한다.

여기서, 제1-1 표본 영상(11)에서 제1-6 표본 영상(16)은 가우시안 피라미드를 구성하는 제1 옥타브(Octave)(10)가 된다.

그리고, 상기 제1 옥타브(10)의 표본 영상 중 어느 하나의 영상을 취하여 다시 상기의 과정을 반복함으로써, 가우시안 피라미드의 제2 옥타브(Octave)(20)를 형성한다.

즉, 제1 옥타브(10)의 표본 영상 중 어느 하나의 영상 예를 들어, 제1-3 표본 영상(13)을 취하여 다운 샘플링(Down Sampling) 한 후, 가우시안 마스크로 필터링하여 제2-1 표본 영상(21)을 생성하고, 상기 제2-1 표본 영상(21)을 가우시안 마스크로 필터링하여 제2-2 표본 영상(22)을 생성하며, 이와 같은 동작을 반복 수행하여 제2-6 표본 영상(26)까지 생성한다.

다음으로, 상기 생성한 다수의 표본 영상을 이용하여 도 1의 우측에 도시된 다수의 차영상(Subtraction Image)을 생성한다.

즉, 인접한 두 표본 영상에 가우시안 차분(Difference of Gaussian)을 수행하여 인접한 두 표본 영상들의 차영상을 생성하는데, 예를 들어 제1-1 표본 영상(11)과 제1-2 표본 영상(12)에 가우시안 차분을 수행하여 차영상(31)을 생성할 수 있고, 제2-1 표본 영상(21)과 제2-2 표본 영상(22)에 가우시안 차분을 수행하여 차영상(41)을 생성할 수 있다.

도 2는 종래의 가우시안 피라미드(Gaussian Pyramid) 방법으로 생성한 차영 상(Subtraction Image) 내의 특징점을 추출하는 방법을 나타낸 도면이다.

이에 도시된 바와 같이, 가우시안 피라미드 방법으로 생성한 다수개의 차영상 중 어느 하나의 차영상(50)을 택한 후, 상기 차영상(50)의 상,하에 위치하는 차영상(60,70)의 픽셀들의 계조값을 비교하여 계조값이 상이한 픽셀을 특징점으로 추출한다.

예를 들어, 상기 차영상(50)의 소정 픽셀(i,j)에 대하여 인접된 8개의 픽셀들의 계조값과, 상기 차영상(50)의 상,하에 위치하는 다른 차영상(60)(70)들에서 상기 픽셀들과 동일한 위치에 속한 픽셀들, 즉 (i-1, j), (i-1, j+1), (i-1, j-1), (i, j+1), (i, j-1), (i+1, j+1), (i+1, j), (i+1, j-1) 위치의 픽셀들의 계조값을 각각 비교하여 그 결과가 최대값(Maximum) 또는 최소값(Minimum)이 될 때, 상기 픽셀을 특징점으로 추출한다.

이와 같이, 종래의 가우시안 피라미드(Gaussian Pyramid)로 영상의 특징점을 추출하는 방법은, 가우시안 피라미드를 이루는 옥타브들을 구성하기 위하여 제1-1 표본 영상으로부터 제1-6 표본 영상까지 순차적으로 가우시안 블러링(Gaussian Blurring)을 수행하여 제1 옥타브를 형성하고, 이를 기반으로 제2-1 표본 영상으로부터 제2-6 표본 영상까지 순차적으로 가우시안 블러링(Gaussian Blurring)을 수행하여 제2 옥타브를 형성하고, 이를 기반으로 또 그 다음의 옥타브를 구성하는 형태로 이루어지고 있다.

상기 가우시안 피라미드 방법은 순차적(Sequential)인 순서를 반드시 지켜야 차영상(Subtraction Image) 기반의 특징점을 추출할 수 있게 되므로, 특징점을 추출하기까지 많은 연산 시간이 소요된다는 문제점이 있다.

따라서, 본 발명의 목적은 영상이 입력되는 경우, 쓰레드(Thread)로 연결된 복수개의 웨이블릿 트랜스폼(Wavelet Transform)으로 구성된 웨이블릿 피라미드(Wavelet Pyramid)를 이용하여 복수개의 표본 영상을 동시에 형성함으로써, 연산시간을 줄일 수 있는 영상의 특징점 추출 방법을 제공하는데 있다.

본 발명의 영상의 특징점 추출 방법의 바람직한 실시예는, 입력되는 영상을 쓰레드(Thread)로 연결된 복수개의 웨이블릿 트랜스폼(Wavelet Transform)으로 구성된 웨이블릿 피라미드(Wavelet Pyramid)를 이용하여 복수개의 표본 영상을 동시에 생성하는 단계와, 상기 복수개의 표본 영상을 입력받아 인접한 두 표본 영상 간의 차영상을 동시에 생성하는 단계와, 상기 생성한 차영상 내의 특징점들을 추출하는 단계와, 상기 추출한 각 특징점에 대한 밝기의 변화량(Gradient)과 밝기의 변화방향(Orientation)을 구한 후, 이를 이용하여 특징 벡터를 추출하는 단계와, 상기 특징 벡터를 이용하여 상기 입력 영상의 특징점과 데이터 베이스 영상의 특징점 사이에 매칭되는 특징점 쌍들을 결정하는 단계와, 상기 매칭되는 특징점 쌍들 중에서 개연성(Probability)이 높은 특징점 쌍들을 구하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

여기서, 상기 복수개의 웨이블릿 트랜스폼(Wavelet Transform)은 서로 다른 도이비쉬 계수(Daubechies Coefficients set)를 가지며, 상기 도이비쉬 계수(Daubechies Coefficients set)는 각각 8 스텝의 간격을 가지는 것을 특징으로 한다.

이하, 도 3 내지 도 7을 참조하여 본 발명의 영상의 특징점 추출 방법을 상세히 설명한다. 본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

도 3은 본 발명의 영상의 특징점 추출 장치의 실시예를 나타낸 구성도이다. 이에 도시된 바와 같이, IR LED(Infrared Luminescent Diode) 모듈(110), CCD 카메라(120), 프레임 그래버(130), 메모리(140), 마이크로 컴퓨터(150)로 이루어진다.

본 발명의 영상의 특징점 추출 장치는 외부의 이미지를 촬영하여 부스팅(Boosting)된 아날로그 영상신호를 출력하는 CCD 카메라(120)와 더불어 IR LED 모듈(110)을 구비하는데, 상기 IR LED 모듈(110)은 CCD 카메라(120)를 둘러싸도록 원형으로 배치되어 방사상으로 넓게 확장된 패턴을 가진다.

프레임 그래버(Frame Grabber)(130)는 IR LED 모듈(110), CCD 카메라(120), 메모리(140) 및 마이크로 컴퓨터(150)와 각각 연결되며, 상기 마이크로 컴퓨터(150)의 제어신호에 따라 활성화되어 상기 CCD 카메라(120)와 IR LED 모듈(110) 에서 출력하는 아날로그 영상신호를 디지타이징(Digitizing)하고 프레임별로 나누어 메모리(140)로 출력한다.

메모리(140)는 상기 프레임 그래버(130)에서 출력하는 영상 정보를 마이크로 컴퓨터(150)의 제어에 따라 지정된 공간에 프레임별로 저장한다.

마이크로 컴퓨터(150)는 외부로부터 입력되는 사용자 명령에 따라 프레임 그래버(130)를 제어하고, 상기 메모리(140)에 저장된 영상 정보를 처리하여 영상의 특징점을 추출한 후, 영상프로세서로 출력한다.

영상프로세서(미도시)는 상기 마이크로 컴퓨터(150)가 추출한 입력 영상의 특징점과 기 저장된 DB 영상의 특징점 사이의 매칭 여부를 결정하고, 그 결과에 따라 입력 영상의 물체를 DB 영상의 물체로 인식한다.

상기 마이크로 컴퓨터(150)는 웨이블릿 변환(Wavelet Transform) 모듈과, SIFT(Scale Invariant Feature Transform) 모듈을 포함하는데, 웨이블릿 변환 모듈은 입력된 영상을 필터링하여 표본 영상을 생성하고, 생성된 표본 영상으로 차영상을 생성하며, SIFT 모듈은 상기 차영상에서 영상의 특징점들을 추출한다.

상기 웨이블릿 변환 모듈은 입력된 영상으로 웨이블릿 피라미드(Wavelet Pyramid)를 구성하는데, 상기 웨이블릿 피라미드는 서로 다른 도이비쉬 계수(Daubechies Coefficients set)를 가지는 웨이블릿 트랜스폼 6개를 병렬로 연결하여 구성한다.

도 4는 본 발명의 웨이블릿 피라미드(Wavelet Pyramid)를 이용하여 차영상을 생성하는 방법을 나타낸 도면이다.

이에 도시된 바와 같이, 본 발명의 웨이블릿 피라미드는 서로 다른 도이비쉬 계수(Daubechies Coefficients set)를 가지는 웨이블릿 트랜스폼 6개를 병렬로 연결하여 구성하였다.

여기서, 제1 웨이블릿 트랜스폼(100)에서 제6 웨이블릿 트랜스폼(600)은 다음과 같은 도이비쉬 계수(Daubechies Coefficients set)를 갖는다.

즉, 제1 웨이블릿 트랜스폼(100)은 DB 2, 제2 웨이블릿 트랜스폼(200)은 DB 10, 제3 웨이블릿 트랜스폼(300)은 DB 18, 제4 웨이블릿 트랜스폼(400)은 DB 26, 제5 웨이블릿 트랜스폼(500)은 DB 34, 제6 웨이블릿 트랜스폼(600)은 DB 42의 도이비쉬 계수를 갖는다.

상기 제1 웨이블릿 트랜스폼(100)에서 제6 웨이블릿 트랜스폼(600) 까지의 도이비쉬 계수의 간격은 8 스텝(Step)으로 구성하였는데, 도이비쉬 계수의 간격을 8 스텝으로 할 때 최적의 결과를 얻을 수 있다.

상기 제1 웨이블릿 트랜스폼(100)에서 제6 웨이블릿 트랜스폼(600)은 Critical Seccion 이라는 일종의 쓰레드(Thread)를 구성하여 6개의 웨이블릿 변환이 동시에 그리고 연속적으로 수행되도록 한다.

즉, 하나의 영상이 입력되면, 각각 다른 도이비쉬 계수를 가지는 6개의 웨이블릿 변환이 동시에 수행되도록 하여 6개의 제1 표본 영상(110)(210)(310)(410)(510)(610)들을 동시에 생성하고, 상기 제1 표본 영상(110)(210)(310)(410)(510)(610)들을 각각 웨이블릿 변환하여 제2 표본 영 상(120)(220)(320)(420)(520)(620)들을 동시에 생성하며, 상기 제2 표본 영상(120)(220)(320)(420)(520)(620)들을 각각 웨이블릿 변환하여 제3 표본 영상(130)(230)(330)(430)(530)(630)들을 동시에 생성한다.

이와 같이, 각기 다른 도이비쉬 계수(Daubechies Coefficients set)를 가지는 웨이블릿 트랜스폼 6개를 병렬로 연결하여 쓰레드(Thread)를 구성하면, 하나의 입력 영상으로 동시에 6개의 표본 영상을 생성할 수 있으므로, 연산시간을 획기적으로 줄일 수 있다.

즉, 기존의 가우시안 피라미드 방법에 의하면 6개의 제1 표본 영상들을 생성하기까지 6번의 필터링을 거쳐야 하고, 제1 표본 영상 중 어느 하나의 표본 영상으로부터 6개의 제2 표본 영상을 얻기까지 또 6번의 필터링을 거쳐야 하는데, 본 발명의 경우 1번의 웨이블릿 변환으로 6개의 제1 표본 영상들을 동시에 생성할 수 있으며, 생성된 각 제1 표본 영상으로부터 1번의 웨이블릿 변환을 통해 6개의 제2 표본 영상들을 동시에 생성할 수 있다.

그리고, 본 발명에 의하면 표본 영상을 생성하는데 있어서 웨이블릿 변환을 이용함으로써, 제1 표본 영상에서 제2 표본 영상을 생성하는데 다운 샘플링 과정을 거칠 필요가 없어 연산시간을 더 단축시킬 수 있다.

본 발명의 경우, 웨이블릿 트랜스폼의 도이비쉬 계수가 짝수 개(DB 2, DB 10, DB 18, DB 26, DB 34, DB 42)로 구성되어 있기 때문에 제1 표본 영상을 웨이블릿 변환하여 제2 표본 영상을 생성할 때, 즉 레벨1(Lv1)으로 레벨2(Lv2)를 구성할 때 얼라인(Align)의 문제가 발생하게 된다.

따라서, 본 발명에서는 제1 표본 영상의 마스크가 위치하는 픽셀 값 중 중간값을 제2 표본 영상의 값으로 함으로써, 레벨1(Lv1)으로 레벨2(Lv2)를 구성할 때 발생하는 얼라인(Align) 문제를 해결하였다.

도 5는 본 발명의 웨이블릿 변환에서 얼라인 문제를 해결하기 위한 방법을 나타낸 그래프이다. 편의상 도이비쉬 계수(Daubechies Coefficients set)로 DB 6을 사용하였다.

이에 도시된 바와 같이, 레벨1(Lv1)에서 마스크가 a의 위치에 있을 때 그 중간값인 2.5를 레벨2(Lv2)의 첫번째 픽셀값으로 지정하고, 레벨1(Lv1)에서 마스크가 b의 위치에 있을 때 그 중간값인 4.5를 레벨2(Lv2)의 두번째 픽셀값으로 지정하며, 레벨1(Lv1)에서 마스크가 c의 위치에 있을 때 그 중간값인 6.5를 레벨2(Lv2)의 첫세번째 픽셀값으로 지정한다.

다음으로, 상기의 웨이블릿 피라미드 방법으로 구한 표본 영상을 이용하여 차영상(Subtraction Image)를 생성하는데, 인접한 두 표본 영상에 웨이블릿 차분(Difference of Wavelet : DoW)을 수행하여 인접한 두 표본 영상들의 차영상을 생성한다.

예를 들어, 레벨1(Lv1)의 인접한 두 개의 제1 표본 영상(110)(210)에 웨이블릿 차분(Difference of Wavelet : DoW)을 수행하여 상기 제1 표본 영상(110)(210)들의 차영상을 생성한다.

본 실시예에서는 도 4에서 취득한 18개의 표본 영상으로 각 레벨 마다 5개의 차영상을 생성할 수 있다. 즉 다음의 표 1에서 보는 바와 같이 총 15개의 차영상을 취득할 수 있다.

Level 3	DoW DB10-DB2	DoW DB18-DB10	DoW DB26-DB18	DoW DB34-DB26	DoW DB42-DB34
Level 2	DoW DB10-DB2	DoW DB18-DB10	DoW DB26-DB18	DoW DB34-DB26	DoW DB42-DB34
Level 1	DoW DB10-DB2	DoW DB18-DB10	DoW DB26-DB18	DoW DB34-DB26	DoW DB42-DB34

이어서, 상기 차영상 내의 특징점을 추출하는데, 도 6은 본 발명의 차영상(Subtraction Image) 내의 특징점을 추출하는 방법을 나타낸 도면이다.

이에 도시된 바와 같이, 웨이블릿 피라미드 방법으로 생성한 다수개의 차영상 중 어느 하나의 차영상(710)을 택한 후, 상기 차영상(710)의 좌,우에 위치하는 차영상(720,730)의 픽셀들의 계조값을 비교하여 계조값이 상이한 픽셀을 특징점으로 추출한다.

본 발명에서는 한 레벨에 속하는 6개의 표본 영상이 동시에 생성되기 때문에, 상기 6개의 표본 영상들의 차영상들도 동시에 생성할 수 있다.

따라서, 생성된 차영상 중 임의의 차영상을 택한 후, 그 좌우에 위치하는 차영상과 픽셀값을 비교하여 특징점을 추출하게 된다.

예를 들어, 상기 차영상(710)의 소정 픽셀(i,j)에 대하여 인접된 8개의 픽셀들의 계조값과, 상기 차영상(710)의 좌,우에 위치하는 다른 차영상(720)(730)들에서 상기 픽셀들과 동일한 위치에 속한 픽셀들, 즉 (i-1, j), (i-1, j+1), (i-1, j-1), (i, j+1), (i, j-1), (i+1, j+1), (i+1, j), (i+1, j-1) 위치의 픽셀들의 계조값을 각각 비교하여 그 결과가 최대값(Maximum) 또는 최소값(Minimum)이 될 때, 상기 픽셀을 특징점으로 추출한다.

다음으로, 상기 추출한 특징점에 특징값을 부여하기 위해 상기 특징점의 위치를 중심으로 8×8 윈도우(Window)를 설정하고, 윈도우 내의 64개 픽셀들의 그래디언트(Gradient) 즉, 특징점에 대한 밝기의 변화량과 오리엔테이션(Orientation) 즉, 특징점에 대한 밝기의 변화 방향을 구한다.

상기 특징점에 대한 밝기의 변화량(Gradient)과, 밝기의 변화 방향(Orientation)은 다음의 수학식 1로 구할 수 있다.

여기서, M_ij는 그래디언트(Gradient)이고, R_i _,j는 오리엔테이션(Orientation)이며, A_ij는 픽셀들의 위치좌표를 나타낸다.

이어서, 각 특징점에 대한 밝기의 변화량과 밝기의 변화 방향을 일정 범위를 가진 다수의 기준되는 방향 벡터로 양자화(Quantization)시켜 특징 벡터를 추출한다.

먼저, 상기 64개의 픽셀들에 대해 구해진 그래디언트와 오리엔테이션 값을 이용하여 Scaled Orientation Vector를 구하고, 64개의 Scaled Orientation Vector들을 각 오리엔테이션별로 합하고 소팅(Sorting)하여 최대값을 결정하며, 이때의 오리엔테이션 값을 캐노니컬 오리엔테이션(Canonical Orientation)으로 설정한다.

그 후, 특징점으로 설정된 픽셀 주위의 64개의 픽셀들에 대해 얻어진 오리엔 테이션 R_ij에서 상기 캐노니컬 오리엔테이션 값을 감산하여 64개의 픽셀들에 대해 새로운 오리엔테이션 MR_ij를 구한다.

다음, 각 픽셀들에 대한 오리엔테이션 값을 8개의 기준이 되는 방향 벡터를 사용하여 8개의 오리엔테이션 값으로 양자화(Quantization)한 후, 64개의 픽셀들에 대해 양자화(Quantization)된 오리엔테이션 MR_ij와, 각 픽셀들에 대한 그래디언트 값 M_ij를 이용하여 Scaled and Quantized Orientation Vector를 구한다.

그리고, 64개의 픽셀들의 8개 방향의 오리엔테이션에 대한 스케일링(Scaling) 값의 합을 구한 후, 각 8개 방향에 대한 스케일링 값의 합을 특징 벡터로 설정한다.

상기의 특징점에 대한 밝기의 변화량과 밝기의 변화 방향을 구하고, 이를 이 용하여 특징 벡터를 추출하는 과정은 각 특징점에 대해 반복적으로 수행되며, 최종적으로 얻어진 특징 벡터의 차원(Dimension)은 특징점 하나당 8-차원(Dimension)을 가지게 된다.

그 결과로 다음과 같이 입력 영상에서 특징점 개수만큼의 특징 벡터의 집합을 비교함으로써 입력 영상과 동일한 데이터 베이스 영상을 찾아낼 수 있다.

x_i= [x_i1, x_i2, ... , x_i8], i = 1, 2, ... , n

y_i = [y_j1, y_j1, ... , y_j8], j = 1, 2, ... , m

여기서,

n : 입력 영상의 특징점 수

m : 데이터 베이스 영상의 특징점 수

벡터 x_i: 입력 영상의 특징점 하나에 대한 특징 벡터

벡터 y_i : 데이터 베이스 영상의 특징점 하나에 대한 특징 벡터

여기서, 입력 영상의 특징점과 데이터 베이스 영상의 특징점의 유사도 비교는 특징 벡터 사이의 거리 값을 이용하며, 가장 작은 거리 값을 가지는 특징 벡터 쌍을 매칭되는 쌍으로 결정한다. 상기 특징 벡터 사이의 거리 값은 다음 수학식 2로 구할 수 있다.

여기서, d_ij는 특징 벡터 사이의 거리 값, x_i는 입력 영상의 특징점 하나에 대한 특징 벡터, y_i는 데이터 베이스 영상의 특징점 하나에 대한 특징 벡터를 나타낸다.

상기 특징 벡터 사이의 거리 값 d_ij이 미리 설정한 기준 값 이하가 될 때, 두 특징점은 매칭된 것으로 본다.

상기의 과정을 거쳐 입력 영상과 데이터 베이스 영상 사이의 매칭된 특징점 쌍들이 구해지면, 상기 매칭된 특징점 쌍들 중에서 유효한 매칭쌍을 구하기 위하여 다음과 같은 필터링 과정을 거친다.

즉, 매칭된 특징점 쌍들 중에서 영상의 어파인 변환(Affine Transform)을 고려하여 실제 매칭의 개연성(Probability)이 높은 매칭쌍을 구한다.

먼저, 매칭된 특징점 쌍 중에서 임의의 3개의 쌍을 선택한 후, 다음 수학식 3에 대입하여 어파인 파라미터(Affine Parameter) a, b, c, d, e, f를 구한다. 여기서, a, b, c, d는 로테이션 각도를 나타내는 파라미터이며, e, f는 선형이동 거리를 나타내는 파라미터이다.

여기서, (x_m1, y_m1)은 데이터 베이스 영상의 매칭된 특징점의 영상 좌표계 위치를 나타내고, (x_m2, y_m2)은 입력 영상의 매칭된 특징점의 영상 좌표계 위치를 나타내며, m은 매칭된 특징점 쌍의 개수를 나타낸다.

상기 수학식 3을 사용하여 상기 어파인 파라미터들을 구한 후, 데이터 베이스 영상의 모든 매칭된 특징점들의 영상 좌표를 상기 수학식 3에 대입하여 입력 영상의 특징점의 영상 좌표값을 구한다.

그리고, 상기 과정에서 구한 입력 영상의 특징점의 영상 좌표값과, 실제 매칭된 입력 영상의 특징점의 영상 좌표값과의 거리 값을 구하고 이를 합한 후, 이 값을 M₁ 이라 한다.

다음으로, 또 다른 임의의 3개의 매칭된 특징점 쌍을 선택하여 위의 과정을 반복하여 구한 거리 값의 합을 M₂ 라고 하고, 이를 반복적으로 수행하여 M_k(k=반복회수)를 구한다.

상기 M₁, M₂, ... , M_k 중에서 가장 작은 값을 가지는 값 M_min을 결정한 후, M_min값을 가지게 하는 어파인 파라미터 a, b, c, d, e, f를 가지고 데이터 베이스 영상의 모든 매칭된 특징점들의 영상 좌표를 상기 수학식 3에 대입하여 입력 영상의 특징점의 영상 좌표값을 구한다.

그리고, 상기 입력 영상의 특징점의 영상 좌표값과, 실제 매칭된 입력 영상의 특징점의 영상 좌표값과의 거리 값을 모든 매칭된 특징점 쌍에 대해 구한 후, 이 값이 미리 설정된 기준 값 이상인 경우는 매칭된 특징점 쌍에서 제외한다.

상기 매칭된 특징점 쌍들의 개수에서 상기 제외된 특징점 쌍을 뺀 개수를 상기 데이터 베이스 영상과의 최종적인 특징점 쌍의 매칭 개수로 하며, 상기 과정을 동일한 입력 영상과 또 다른 데이터 베이스 영상에 적용하여 최종적인 특징점 쌍의 매칭 개수를 구한다.

이와 같이, 모든 데이터 베이스 영상에 대해 상기의 과정을 반복한 후, 가장 많은 매칭된 특징점 쌍의 개수를 가지는 입력 영상 및 데이터 베이스 영상의 쌍을 구하여 상기 데이터 베이스 영상을 입력 영상에 대한 인식 결과로 한다.

도 7은 본 발명의 영상의 특징점 추출 방법의 실시예를 나타낸 순서도이다.

이에 도시된 바와 같이, 먼저 CCD 카메라 및 IR LED 모듈을 통해 외부로부터 영상이 입력되면(단계 S100), 입력된 영상을 웨이블릿 변환하여 표본 영상을 생성한다(단계 S110).

이때, 서로 다른 도이비쉬 계수를 가지는 6개의 웨이블릿 트랜스폼을 병렬로 연결하고 쓰레드(Thread)로 구성하여 동시에 6개의 표본 영상을 생성한다.

다음으로, 단계 S110에서 얻어진 표본 영상 중 서로 인접한 두 표본 영상의 차영상을 생성하는데(단계 S120), 상기 차영상은 인접한 두 표본 영상에 웨이블릿 차분(Difference of Wavelet : DoW)을 수행함으로써 얻게 된다.

이어서, 상기 생성한 복수개의 차영상 중 어느 하나의 차영상을 선택한 후, 상기 선택한 차영상과, 그 좌우에 위치하는 차영상들의 픽셀들의 계조값을 비교하 여 계조값이 상이한 픽셀을 특징점으로 추출한다(단계 S130).

연이어, 상기 추출한 특징점에 특징값을 부여하기 위해 상기 특징점의 위치를 중심으로 8×8 윈도우(Window)를 설정하고, 윈도우 내의 64개 픽셀들의 그래디언트(Gradient) 즉, 특징점에 대한 밝기의 변화량과, 오리엔테이션(Orientation) 즉, 특징점에 대한 밝기의 변화 방향을 구한다(단계 S140).

그 후, 상기 특징점에 대한 밝기의 변화량과 밝기의 변화 방향을 이용하여 특징 벡터를 추출한다(단계 S150).

다음으로, 상기 특징 벡터 사이의 거리 값을 이용하여 입력 영상과 데이터 베이스 영상 사이의 매칭되는 특징점 쌍들을 결정한다(단계 S160). 즉, 특징 벡터 사이의 거리 값 중 가장 작은 거리 값을 가지는 특징 벡터 쌍을 매칭되는 쌍으로 결정한다.

이어서, 상기 매칭되는 특징점 쌍 중에서 유효한 매칭쌍을 결정하여 입력 영상과 데이터 베이스 영상의 최종적인 특징점 쌍의 매칭 개수를 구한다(단계 S170).

연이어, 모든 데이터 베이스 영상에 대해 상기의 과정을 반복한 후, 가장 많은 매칭된 특징점 쌍의 개수를 가지는 입력 영상 및 데이터 베이스 영상의 쌍을 구하여 상기 데이터 베이스 영상을 입력 영상에 대한 인식 결과로 한다(단계 S180).

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해 할 것이다.

그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

이상에서 살펴본 바와 같이, 본 발명에 의하면 각기 다른 도이비쉬 계수(Daubechies Coefficients set)를 가지며, 쓰레드(Thread)로 연결된 웨이블릿 트랜스폼 6개로 구성된 웨이블릿 피라미드를 이용함으로써, 하나의 입력 영상으로 동시에 6개의 표본 영상을 생성할 수 있어 인접한 표본 영상의 차영상을 생성하여 특징점을 추출하는데 걸리는 연산시간을 획기적으로 줄일 수 있다.

Claims

입력 영상으로부터 쓰레드(Thread)로 연결된 복수개의 웨이블릿 트랜스폼(Wavelet Transform)으로 구성된 웨이블릿 피라미드(Wavelet Pyramid)를 이용하여 복수개의 표본 영상을 동시에 생성하는 단계;

상기 복수개의 표본 영상을 입력받아 인접한 두 표본 영상 간의 차영상을 동시에 생성하는 단계; 및

상기 생성한 차영상 내의 특징점들을 추출하는 단계를 포함하여 이루어지는 영상의 특징점 추출 방법.
제1항에 있어서,

상기 특징점을 추출하는 단계 이후에,

상기 추출한 각 특징점에 대한 밝기의 변화량(Gradient)과 밝기의 변화방향(Orientation)을 구한 후, 이를 이용하여 특징 벡터를 추출하는 단계; 및

상기 특징 벡터를 이용하여 상기 입력 영상의 특징점과 데이터 베이스 영상의 특징점 사이에 매칭되는 특징점 쌍들을 결정하는 단계를 더 포함하여 이루어지는 영상의 특징점 추출 방법.
제1항 또는 제2항에 있어서,

상기 복수개의 웨이블릿 트랜스폼(Wavelet Transform)은 서로 다른 도이비쉬 계수(Daubechies Coefficients set)를 가지는 것을 특징으로 하는 영상의 특징점 추출 방법.
제3항에 있어서,

상기 복수개의 웨이블릿 트랜스폼(Wavelet Transform)은 상기 도이비쉬 계수(Daubechies Coefficients set)가 각각 8 스텝의 간격을 가지는 것을 특징으로 하는 영상의 특징점 추출 방법.
제1항 또는 제2항에 있어서,

상기 웨이블릿 피라미드(Wavelet Pyramid)는 6개의 웨이블릿 트랜스폼(Wavelet Transform)으로 구성된 것을 특징으로 하는 영상의 특징점 추출 방법.
제1항 또는 제2항에 있어서,

상기 차영상은 상기 인접한 두 표본 영상 간에 웨이블릿 차분(Difference of Wavelet : DoW)을 수행하여 생성하는 것을 특징으로 하는 영상의 특징점 추출 방법.
제1항 또는 제2항에 있어서,

상기 특징점을 추출하는 단계는,

상기 생성한 차영상 중에서 어느 하나의 차영상을 택한 후, 상기 차영상의 좌,우에 위치하는 차영상의 동일한 좌표를 가지는 픽셀들의 계조값을 비교하여 계조값의 차이가 최대 또는 최소가 되는 픽셀을 특징점으로 추출하는 것을 특징으로 하는 영상의 특징점 추출 방법.
제2항에 있어서,

상기 특징점에 대한 밝기의 변화량과 밝기의 변화방향은 하기의 수학식 1에 따라 산출되는 것을 특징으로 하는 영상의 특징점 추출 방법.

수학식 1

여기서, M_ij는 밝기의 변화량이고, R_i _,j는 밝기의 변화방향이며, A_ij는 픽셀(A)들의 위치좌표를 나타낸다.
제2항에 있어서,

상기 입력 영상의 특징점과 데이터 베이스 영상의 특징점 사이의 매칭 여부는, 상기 특징 벡터 사이의 거리 값이 미리 설정한 기준 값보다 작을 때 상기 입력 영상의 특징점과 데이터 베이스 영상의 특징점이 매칭되는 것으로 하는 것을 특징으로 하는 영상의 특징점 추출 방법.