KR20150075716A

KR20150075716A - 영상인식 알고리즘 기반 특징점 추출기

Info

Publication number: KR20150075716A
Application number: KR1020130163939A
Authority: KR
Inventors: 이광엽; 곽재창; 허훈; 정창민
Original assignee: 서경대학교 산학협력단
Priority date: 2013-12-26
Filing date: 2013-12-26
Publication date: 2015-07-06

Abstract

본 발명은 특징점 추출기의 반복적인 연산을 각 스케일 별로 병렬 처리할 수 있고, 이에 따라 종래 영상인식 및 처리시의 속도 저하 및 메모리 사용률 증가 문제를 개선할 수 있는 영상인식 알고리즘 기반 특징점 추출기에 관한 것이다.
본 발명에 따른 입력영상의 적분 이미지 정보를 저장하는 인테그랄 이미지 메모리(Integral Image Memory), 및 상기 적분 이미지 정보로부터 추출된 특징점 후보군을 저장하는 헤시안 메모리(Hessian Memory)를 포함하는 영상인식 알고리즘 기반 특징점 추출기에 있어서, 상기 인테그랄 이미지 메모리는 상기 입력영상의 각 스케일(Scale) 별로 분할된 병렬 구조로 구성되어, 상기 적분 이미지 정보는 상기 인테그랄 이미지 메모리에 각 스케일(Scale) 별로 분할 저장되도록 구성되는 것을 특징으로 한다.
그리고, 상기 헤시안 메모리는 상기 입력영상의 각 스케일(Scale) 별로 분할된 병렬 구조로 구성되어, 상기 특징점 후보군은 상기 헤시안 메모리에 각 스케일(Scale) 별로 분할 저장되도록 구성되는 것을 특징으로 한다.

Description

영상인식 알고리즘 기반 특징점 추출기{FEATURE POINT EXTRACTOR BASED ON IMAGE RECOGNITION ALGORITHM}

본 발명은 영상인식 알고리즘 기반 특징점 추출기에 관한 것으로서, 보다 상세하게는 영상인식 알고리즘 기반의 하드웨어 가속기 중 특징점 추출시 사용하는 메모리의 구조에 관한 것이다.

영상 처리 분야에서 입력영상에 대하여 인식 및 처리를 하기 위해서는 입력된 영상에서 특징점을 추출하고, 추출된 특징점을 통하여 서술자를 생성하여 다른영상과의 매칭을 통해 객체 인식 및 추적 등을 하게 된다. 이 때 사용되는 대표적인 영상인식 알고리즘으로는 SIFT(Scale-Invariant Feature Transform), SURF (Speeded UP Robust Features), ORB(Oriented BRIEF) 등이 있다.

도 7은 종래 영상인식 알고리즘의 일반적인 흐름을 도시한 블록 순서도이다. 도 7을 참조하면, 먼저 적분 이미지 생성기를 통하여 입력영상에 대해 밝기값을 가진 적분 이미지를 생성한다.

그리고, 특징점 검출기는 생성된 적분 이미지를 이용하여 입력영상에서 특징점이될 만한 특징점 후보군을 필터 사이즈(Filter Size)별로 생성하고, 생성된 특징점 후보를 가지고 비교를 통하여 특징점을 추출하게 된다.

이렇게 생성된 특징점은 서술자 생성기의 방향 설정(Get Orientation) 단계에서 특징점 주변의 영상을 가지고 특징점의 주방향을 설정하게 되고, 디스크립터 생성(Get Descriptor) 단계에서 특징점 별로 생성된 주방향을 한방향으로 회전하여 고정시킨후 그정보를 저장하여 데이터베이스를 만든다. 이때 만들어진 데이터베이스와 다른입력영상에서 추출된 특징점을 비교하여 매칭인지 아닌지를 판별함으로써 인식 또는 추적 등의 작업을 수행하게 된다.

이와 같이 영상인식 알고리즘은 입력영상의 색상정보가 아닌 밝기 값만을 이용하여 크기, 회전, 시점 등의 환경적인 변화에 강인한 특징점 및 서술자를 생성하고, 이를 통해 다른 영상과의 매칭을 하여 인식 및 추적 등의 처리를 하는 특징이 있다.

그런데, 종래 영상인식 알고리즘은 입력영상에 대해 픽셀 단위로 연산하고, 영상의 특징점을 서로 다른 환경에서도 동일하고 반복적으로 검출해야 하므로 많은 연산량과 높은 메모리 사용률을 갖을 수밖에 없다.

이에 따라, 종래 영상인식 알고리즘은 스마트폰이나 태블렛PC, 포터블 기기 등의 임베디드 환경에서 소프트웨어로 구현하기에 적합하지 않고 많은 비용이 들며특히 실시간 구동이 어렵다는 한계가 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 종래 메모리 구조를 라인 별 FIFO 구조를 갖는 라인 메모리 형태로 구성함으로써, 특징점 추출기의 반복적인 연산을 각 스케일 별로 병렬 처리할 수 있고 이에 따라 종래 영상인식 및 처리시의 속도 저하 및 메모리 사용률 증가 문제를 개선할 수 있는 영상인식 알고리즘 기반 특징점 추출기를 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 영상인식 알고리즘 기반 특징점 추출기는, 입력영상의 적분 이미지 정보를 저장하는 인테그랄 이미지 메모리(Integral Image Memory), 및 상기 적분 이미지 정보로부터 추출된 특징점 후보군을 저장하는 헤시안 메모리(Hessian Memory)를 포함하는 영상인식 알고리즘 기반 특징점 추출기에 있어서, 상기 인테그랄 이미지 메모리는 상기 입력영상의 각 스케일(Scale) 별로 분할된 병렬 구조로 구성되어, 상기 적분 이미지 정보는 상기 인테그랄 이미지 메모리에 각 스케일(Scale) 별로 분할 저장되도록 구성되는 것을 특징으로 한다.

그리고, 상기 헤시안 메모리는 상기 입력영상의 각 스케일(Scale) 별로 분할된 병렬 구조로 구성되어, 상기 특징점 후보군은 상기 헤시안 메모리에 각 스케일(Scale) 별로 분할 저장되도록 구성되는 것을 특징으로 한다.

이처럼 메모리를 각 라인 별 FIFO로 구성함으로써 특징점 추출기는 특징점 추출에 필요한 데이터만을 취하여 연산에 사용할 수 있게 된다.

본 발명에 따른 영상인식 알고리즘 기반 특징점 추출기에 의하면, 필요 데이터만을 저장하게 하는 라인 메모리 형태로 구성함으로써 메모리 접근을 병렬로 처리하여 메모리 접근 횟수를 감소시키게 되고, 각 스케일 별로 필요한 적분 영상의 패턴을 분석하여 불필요한 부분의 연산 없이 최소 필요 부분만을 접근하여 연산에 사용하도록 함으로써 영산 인식 및 처리를 위한 연산 속도를 종래 대비 향상시킬 수 있게 되었다.

또한, 메모리를 각 라인 별 FIFO로 구성함으로써 특징점 추출에 필요한 데이터만을 받아 연산에 사용함으로써 메모리 사용률을 대폭 감소시킬 수 있게 되었다.

이에 따라, 본 발명에서 제안하는 영상인식 알고리즘 기반 특징점 추출기는 스마트폰, 태블렛PC, 포터블 기기 등의 임베디드 환경에서 객체 인식 및 영상 처리 어플리케이션의 처리 속도를 향상시켜 인식 알고리즘의 실시간 구동에 많이 활용 될 것으로 기대된다.

도 1은 본 발명에 따른 영상인식 알고리즘 기반 특징점 추출기의 구조를 나타낸 블록 구성도.
도 2는 본 발명의 적분 이미지 생성부에 의해 생성되는 적분 이미지의 일례.
도 3은 본 발명의 적분 이미지 생성부에 의해 생성된 적분 이미지에서 지정된 영역의 밝기 값을 구하는 방법을 나타낸 도면.
도 4는 본 발의 특징점 후보군 검출시 사용되는 근사화된 박스 필터의 일례.
도 5는 본 발명의 특징점 검출부에서 스케일(Scale) "n"의 "x" 값이 특징점으로 추출되는 과정을 나타낸 도면.
도 6은 본 발명에 따른 병렬 구조의 메모리를 적용한 특징점 추출기 구조를 나타낸 블록 구성도.
도 7은 종래 영상인식 알고리즘의 일반적인 흐름을 도시한 블록 순서도.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.

도 1은 본 발명에 따른 영상인식 알고리즘 기반 특징점 추출기의 구조를 나타낸 블록 구성도이다.

도 1을 참조하면, 본 발명의 영상인식 알고리즘 기반 특징점 추출기는 적분 이미지 생성부(Integral Image Generator,10)와, 특징점 검출부(Feature point Detector,20)를 포함하여 구성된다.

그리고, 특징점 검출부(20)는 인테그랄 이미지 메모리(Integral Image Memory,21)와, 헤시안 제너레이터(Hessian Generator,23)와, 헤시안 메모리(Hessian Memory,25)와 특징점 도출부(27)를 포함하여 구성되는데, 특히 본 발명은 인테그랄 이미지 메모리(Integral Image Memory,21)와, 헤시안 메모리(Hessian Memory,25)를 병렬 연산이 가능한 구조로 구성함으로써 메모리 사용률의 크게 감소시키고 이에 따라 연산 속도를 향상시킬 수 있는 것을 특징으로 한다.

한편, 본 발명의 영상인식 알고리즘은 영상 처리 분야에서 영상의 인식 및 처리를 위해 입력 영상의 특징점을 추출하고, 추출된 특징점을 통하여 서술자를 생성하여 다른 영상과의 매칭을 통해 객체인식 및 추적 등을 하게 된다.

이 때 사용될 수 있는 대표적인 알고리즘으로는 SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features), ORB(Oriented BRIEF) 등이 있으며, 본 발명 역시 이들 중에서 선택된 어느 하나를 채용할 수 있다.

본 발명의 적분 이미지 생성부(Integral Image Generator,10)는 입력영상에 대하여 밝기 값을 가진 적분 이미지를 생성하는 기능을 한다.

도 2는 본 발명의 적분 이미지 생성부에 의해 생성되는 적분 이미지의 일례이다. 도 2를 참조하면, 적분 이미지 생성부(10)에 의해 생성되는 적분 이미지는 도 2와 같이 입력 영상의 각 픽셀이 갖는 밝기 값을 다음의 수학식 1을 이용하여 현재 계산할 픽셀의 바로 전 행과 열의 밝기 값을 더한 값이다. 참고로, 수학식 1에서 "II_∑(x,y)"는 적분 이미지를 나타내고, "I(ｉ,ｊ)"는 입력 영상의 밝기 값을 나타낸다.

상기와 같은 연산을 통해 생성되는 적분 이미지는 한번 생성하게 되면 박스 필터(Box Filter)의 크기에 상관없이 지정한 사각형 내의 모든 픽셀의 밝기 값을 구할 수 있다는 장점이 있다.

도 3은 본 발명의 적분 이미지 생성부에 의해 생성된 적분 이미지에서 지정된 영역의 밝기 값을 구하는 방법을 나타낸 도면이다. 전술한 도 2 및 수학식 1의 연산을 통해 생성되는 적분 이미지는 입력 영상 전체 영역에 대한 적분 이미지에 해당한다. 따라서, 영상 인식을 위한 특징점 추출을 위해서는 도 3과 같이 전체 영역에 대한 적분 이미지에서 지정된 영역(바람직하게는 사각형 영역)의 밝기 값을 구하는 과정이 필요하다.

도 3을 참조하면, 점 "A,B,C,D"로 이루어진 사각형 "S"의 밝기 값은 다음의 수학식 2를 이용하여 구할 수 있다.

전술한 바와 같이 본 발명의 적분 이미지 생성부(10)가 적분 이미지를 생성하면, 상기 생성된 적분 이미지로부터 특징점 후보군을 추출하게 된다.

보다 상세히 설명하면, 먼저 특징점 검출부(20)는 헤시안 매트릭스(Hessian Matrix) 연산을 통해 특징점 후보군을 추출하게 되는데, 이러한 헤시안 매트릭스 연산은 헤시안 제너레이터(Hessian Generator,23)에 의해 수행되고, 상기 헤시안 제너레이터(Hessian Generator,23)는 바람직하게는 패스트 헤시안 제너레이터(Fast Hessian Generator)일 수 있다.

그리고, 헤시안 제너레이터(23)에 의한 헤시안 매트릭스 연산을 위한 데이터는 본 발명의 인테그랄 이미지 메모리(Integral Image Memory,21)에 저장된다. 참고로, 인테그랄 이미지 메모리(21)에 저장되는 헤시안 매트릭스 연산을 위한 데이터란 전술한 적분 이미지 생성부(10)를 통해 획득된 적분 이미지의 픽셀 밝기 값을 의미한다.

헤시안 제너레이터(23)는 다음의 수학식 3과 같은 헤시안 매트릭스를 기반으로 하는 알고리즘을 통해 특징점 후보군을 검출하게 된다.

수학식 2에서, "Ｌ xx"는 "x"위치의 입력 이미지 픽셀 밝기 값과 "σ"의 분산을 갖는 가우시안(Gaussian)의 "x" 방향 2차 미분값과의 컨볼루션(Convolution) 값을 의미한다.

그리고, "Ｌ xy" 와 "Ｌ yy"는 각각 "xy" 방향과 "yy" 방향으로 미분된 가우시안 필터(Gaussian Filter)와의 컨볼루션(Convolution) 값을 의미한다.

한편, 본 발명의 영상인식 알고리즘은 SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features), ORB(Oriented BRIEF) 중에서 선택된 어느 하나를 사용할 수 있는데, 만약 SURF 알고리즘을 채용할 경우, SURF 알고리즘에서는 가우시안 2차 미분 박스 필터(Box Filter)를 사용하지 않고, 도 4와 같이 "x,y,xy" 방향으로 근사화된 박스 필터를 사용할 수 있다.

상기 경우, 생성된 적분 이미지와 근사화된 박스 필터를 이용하여 필터 사이즈(Filter Size)에 상관없이 빠른 속도로 헤시안 매트릭스 근사값을 계산할 수 있게 된다. 참고로, 도 4의 박스 필터는 9*9 사이즈의 박스 필터에 해당한다.

전술한 과정을 통해 모집된 특징점 후보군은 헤시안 메모리(Hessian Memory,25)에 저장되게 된다. 그리고, 본 발명의 특징점 검출부(20)는 이와 같이 헤시안 메모리(25)에 저장된 특징점 후보 데이터를 이용하여 NMS(Non Maximum Suppression,29) 연산을 통해 최종적으로 특징점을 추출하게 된다.

NMS(Non Maximum Suppression,29)는 특징점이 아닌 것을 가려내가 위한 방법으로서, 주위의 화소값 중 추측되는 화소값보다 더 큰 화소값이 존재할 경우 이를 특징점이 아닌것으로 간주하여 제거 또는 억제하게 된다.

도 5는 본 발명의 특징점 도출부(27)에서 스케일(Scale) "n"의 "x" 값이 특징점으로 추출되는 과정을 나타낸 도면이다. 도 5를 참조하면, 전술한 특징점 후보군 모집이 완료되면, 검출된 각 스케일(Scale) 별 디터미넌트 (Determinant) 값(박스 필터 사이즈 별로 검출된 근사값)과 문턱값(Threshold)의 비교 수행하게 된다.

상기 비교 결과, 디터미넌트(Determinant) 값이 더 클 경우, 같은 스케일(Scale) 내의 주변 픽셀과 크기 비교를 수행하게 된다. 이 때, 디터미넌트 (Determinant) 값이 더 크면 스케일(Scale) "n-1"의 9개 데이터와 스케일(Scale) "n+1"의 9개의 데이터와의 비교를 수행하여 디터미넌트(Determinant) 값이 가장 클 경우 이를 특징점으로 도출하게 된다.

상기에서 설명 및 도시한 바와 같이, 영상인식 알고리즘의 특징점 추출기는 반복적인 연산과 많은 메모리 접근을 필요로 하게 된다. 즉, 재사용되는 데이터가 많으며 그에 따른 메모리 접근 횟수가 많아져서 속도 저하를 야기할 수 있다.

이와 같은 문제점을 해결하기 위하여, 본 발명의 영상인식 알고리즘 기반 특징점 추출기는 인테그랄 이미지 메모리(21)와 상기 헤시안 메모리(25)를 구성함에 있어서, 입력영상의 각 스케일 별로 분할된 병렬 구조로 구성되는 것을 특징으로 한다.

상기 경우, 특징점 추출기는 전술한 특징점 추출을 위한 연산시 메모리 접근 횟수를 병렬로 처리하여 속도 저하를 개선할 수 있고, 메모리 사용률을 크게 감소시킬 수 있게 된다.

도 6은 본 발명에 따른 병렬 구조의 메모리를 적용한 특징점 추출기 구조를 나타낸 블록 구성도이다. 도 6을 참조하면, 본 발명의 인테그랄 이미지 메모리 (Integral Image Memory,21)와 헤시안 메모리(Hessian Memory,25)는 복수의 라인 별 FIFO (Fisrt-in-First-Out) 구조를 갖도록 구성된다.

즉, 인테그랄 이미지 메모리(Integral Image Memory,21a 내지 21e)를 구성함에 있어서, 각 스케일(Scale) 별로 박스 필터 사이즈(Box Fiter Size) 만큼 FIFO를 라인 별로 구성하여 필요 데이터(즉, 헤시안 매트릭스 연산에 필요한 적분 이미지의 픽셀 밝기 값)만을 저장하고, 헤시안 제너레이터(Hessian Generator,23)에서 이 데이터들을 이용하여 특징점 후보를 검출하도록 구성된다.

그리고, 헤시안 제너레이터(23)가 모집한 특징점 후보군은 헤시안 메모리 (Hessian Memory,25a 내지 25e)에 저장되는데, 여기서 헤시안 메모리(25)는 전술한 인테그랄 이미지 메모리(21a 내지 21e)와 같이 각 스케일(Scale) 별로 박스 필터 사이즈(Box Fiter Size) 만큼 FIFO를 라인 별로 구성한다. 따라서, 헤시안 제너레이터(23)에 의해 검출되는 각 특징점 후보군은 인테그랄 이미지 메모리(21a 내지 21e)의 각 FIFO에 대응하는 헤시안 메모리(25a 내지 25e)의 각 FIFO에 저장된다.

상기와 같이, 특징점 후보군이 FIFO 구조로 구성된 헤시안 메모리(25a 내지 25e)에 병렬 구조로 저장되면, 본 발명의 특징점 도출부(27)는 특징점 추출을 위한 연산(즉, NMS;Non Maximum Suppression)을 상기 각 스케일 별로 병렬 처리하여 최종적으로 특징점을 추출하게 된다.

상기에서 설명 및 도시한 바와 같이, SURF(Speeded UP Robust Features) 영상인식 알고리즘은 물론, ORB(Oriented BRIEF) 또는 SIFT(Scale-Invariant Feature Transform)와 같은 대부분의 영상처리 알고리즘의 특징점 추출기를 하드웨어로 설계할 때, 사용되는 메모리 구조를 병렬 구조의 FIFO 구조로 구성하면 영상인식을 위한 연산 및 처리 속도를 향상시킬 수 있고, 메모리 사이즈를 감소시킬 수 있게 된다.

또한, 상기 경우, 입력 영상의 크기에 따라서 FIFO의 데이터 폭(Width)과 깊이(Depth) 값을 유동적으로 변화하여 적용할 수도 있다.

상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

10: 적분 이미지 생성부
20: 특징점 검출부
21: 인테그랄 이미지 메모리
23: 헤시안 제너레이터
25: 헤시안 메모리
27: 특징점 도출부

Claims

입력영상의 적분 이미지 정보를 저장하는 인테그랄 이미지 메모리(Integral Image Memory); 및 상기 적분 이미지 정보로부터 추출된 특징점 후보군을 저장하는 헤시안 메모리(Hessian Memory)를 포함하는 영상인식 알고리즘 기반 특징점 추출기에 있어서,
상기 인테그랄 이미지 메모리는 상기 입력영상의 각 스케일(Scale) 별로 분할된 병렬 구조로 구성되어,
상기 적분 이미지 정보는 상기 인테그랄 이미지 메모리에 각 스케일(Scale) 별로 분할 저장되도록 구성되는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.
제1 항에 있어서,
상기 헤시안 메모리는 상기 입력영상의 각 스케일(Scale) 별로 분할된 병렬 구조로 구성되어,
상기 특징점 후보군은 상기 헤시안 메모리에 각 스케일(Scale) 별로 분할 저장되도록 구성되는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.
제2 항에 있어서,
상기 특징점 추출기는 상기 헤시안 메모리에 분할 저장되어 있는 특징점 후보군을 이용하여 NMS(Non Maximum Suppression) 연산을 통해 특징점을 추출하도록 구성되는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.
제1 항에 있어서,
상기 인테그랄 이미지 메모리는 FIFO(Fisrt-in-First-Out)가 각 라인 별로 형성되는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.
제2 항에 있어서,
상기 헤시안 메모리는 FIFO(Fisrt-in-First-Out)가 각 라인 별로 형성되는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.
제4 항에 있어서,
상기 인테그랄 이미지 메모리는 각 스케일 별로 박스 필터 사이즈 만큼 상기 FIFO를 각 라인 별로 구성하는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.
제1 항에 있어서,
상기 특징점 추출기는 헤시안 매트릭스(Hessian Matrix) 연산을 통해 상기 특징점 후보군을 추출하도록 구성되는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.
제7 항에 있어서,
상기 특징점 추출기는 상기 영상인식 알고리즘으로서 SURF(Speeded UP Robust Features) 알고리즘을 사용하고, 상기 특징점 후보군 추출은 x,y,xy 방향으로 근사화된 박스 필터를 사용하여 수행되는 것을 특징으로 하는 영상인식 알고리즘 기반 특징점 추출기.