KR20170068774A

KR20170068774A - 적분 영상을 사용하지 않는 surf 특징점 추출 방법 및 장치

Info

Publication number: KR20170068774A
Application number: KR1020150175659A
Authority: KR
Inventors: 이상설; 장성준; 최병호
Original assignee: 전자부품연구원
Priority date: 2015-12-10
Filing date: 2015-12-10
Publication date: 2017-06-20

Abstract

적분 영상을 사용하지 않는 SURF 특징점 추출 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 특징점 추출 장치는, 흑백 영상이 저장되는 메모리, 메모리에 저장된 흑백 영상을 이용하여 헤이시안 계산하는 박스 필터들, 박스 필터들에서의 헤이시안 값들이 저장되는 헤이시안 메모리들 및 헤이시안 메모리들에 저장된 헤이시안 값들을 이용하여 특징점을 추출하는 추출부를 포함한다. 이에 의해, 적분 영상을 사용하지 않고 흑백 영상을 사용하여 SURF 특징점을 추출하여, 픽셀 당 27비트가 아닌 8비트가 필요하므로, 하드웨어 구조에 적합한 형태가 된다.

Description

적분 영상을 사용하지 않는 SURF 특징점 추출 방법 및 장치{SURF Feature Extraction Method without Integral Image and Apparatus using the same}

본 발명은 영상 처리 기술에 관한 것으로, 더욱 상세하게는 객체 추출을 위한 알고리즘인 SURF(Speeded Up Robust의 특징점을 추출하는 방법 및 장치에 관한 것이다.

SURF(Speeded Up Robust Feature) 알고리즘은 사물의 특징점을 추출하는 대표적인 알고리즘 중의 하나이다. SURF 알고리즘은 입력받은 흑백 영상을 토대로 적분 이미지를 재생성하여 객체/장면 인식을 수행한다.

적분 영상은 입력된 8 비트의 흑백 영상으로부터 생성되어 내부 또는 외부 저장 공간에 저장되고, 해당 영상을 불러들여 연산을 수행하는 과정을 거친다.

그러나, 하드웨어의 특성상 특징점 추출을 위하여 일정한 패턴을 가지고 있는 것이 아닌 균일하지 않은 간격으로 다수의 포인트의 영상을 불러들여 특징점 추출을 위한 연산을 수행하게 된다.

이는, 하드웨어로 구현 시에 해당 좌표값의 적분 이미지 메모리를 패칭하는데 있어 매번 메모리 패칭이 필요하게 되어 고속 처리를 할 수 없는 형태가 된다. 이를 해결하기 위해서는, 모든 적분 영상을 불러들이면서 라인 메모리를 사용하여 사전에 데이터를 저장하고 있다가 연산을 수행하는 구조로 되어야 한다.

그러나, VGA 급 영상 기준으로 한 픽셀당 27 비트의 크기가 필요하게 되어 해당 데이터를 저장하는 메모리 공간이 크며, 데이터를 불러 들일 때 Bandwidth가 많이 필요하게 된다. 또한, 연산기의 크기 및 하드웨어의 복잡도가 커지게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, SURF를 이용한 객체의 특징점 추출에서 적분 영상을 사용하지 않고 입력되는 흑백 영상으로 데이터를 처리하여 특징점을 추출하는 방법 및 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 특징점 추출 장치는, 흑백 영상이 저장되는 메모리; 상기 메모리에 저장된 흑백 영상을 이용하여 헤이시안 계산하는 박스 필터들; 상기 박스 필터들에서의 헤이시안 값들이 저장되는 헤이시안 메모리들; 및 상기 헤이시안 메모리들에 저장된 헤이시안 값들을 이용하여 특징점을 추출하는 추출부;를 포함한다.

그리고, 상기 박스 필터들은, 상기 메모리를 공유할 수 있다.

또한, 상기 메모리는, Row 단위로 상기 흑백 영상이 저장될 수 있다.

그리고, 상기 박스 필터들은, 9x9 박스 필터, 15x15 박스 필터, 21x21 박스 필터, 27x27 박스 필터, 39x39 박스 필터 및 51x51 박스 필터 중 적어도 하나를 포함할 수 있다.

또한, 상기 메모리, 상기 박스 필터들, 상기 헤이시안 메모리들 및 상기 추출부는 시스템-온-칩(System-On-Chip)으로 구성할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 특징점 추출 방법은, 흑백 영상을 저장하는 단계; 각기 다른 스케일의 박스 필터들로 저장된 흑백 영상을 이용하여 헤이시안 계산하는 단계; 헤이시안 값들을 저장하는 단계; 및 저장된 헤이시안 값들을 이용하여 특징점을 추출하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 적분 영상을 사용하지 않고 흑백 영상을 사용하여 SURF 특징점을 추출하여, 픽셀 당 27비트가 아닌 8비트가 필요하므로, 하드웨어 구조에 적합한 형태가 된다.

또한, 본 발명의 실시예들에 따르면, 영상의 해상도가 커짐과 상관없이 비트수의 확장이 없는 동일한 구조의 하드웨어 구조를 적용이 가능하므로, 유연한 하드웨어 블럭 설계가 가능해진다.

아울러, 본 발명의 실시예들에 따르면, 픽셀당 필요한 비트수의 감소로 연산기의 규모 감소 및 메모리 패칭 횟수의 감소에 의한 속도 향상을 기대할 수 있다.

도 1은 본 발명의 일 실시예에 따른 SURF 특징점 추출 장치의 블럭도,
도 2는 9x9 박스 필터링 기법을 나타낸 도면,
도 3은 9x9 박스 필터링 접근 포인트 예시도,
도 4는 특징점 추출 예시도,
도 5는 본 발명의 다른 실시예에 따른 SURF 특징점 추출 방법의 설명에 제공되는 흐름도, 그리고,
도 6은 흑백 영상 메모리와 9x9 박스 필터 간의 입/출력 관계를 나타낸 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 SURF 특징점 추출 장치의 블럭도이다. 본 발명의 실시예에 따른 SURF 특징점 추출 장치는, 적분 영상을 사용하지 않고 흑백 영상을 사용한다.

이에, 대용량의 메모리 접근 횟수가 줄어들고, 불필요한 적분 영상 생성 연산을 배제할 수 있어, 적분 영상을 사용하는 방법 보다 처리 속도를 향상(3.37배 고속 처리 가능)시킬 수 있게 된다.

본 발명의 실시예에 따른 SURF 특징점 추출 장치는, 도 1에 도시된 바와 같이, 흑백 영상 메모리(110), 박스 필터(box filter)들(121~126), 헤이시안 메모리들(131~136) 및 특징점 추출부(140)를 포함한다.

흑백 영상 메모리(110), 박스 필터들(121~126), 헤이시안 메모리들(131~136) 및 특징점 추출부(140)는 시스템-온-칩(System-On-Chip)으로 구현될 수 있다.

흑백 영상 메모리(110)에는 흑백 영상이 저장된다. 원 영상이 컬러 영상인 경우에는, 흑백 영상으로 변환되어 흑백 영상 메모리(110)에 저장된다.

본 발명의 실시예에 따른 SURF 특징점 추출 장치는, 6개의 박스 필터들(121~126)을 이용하며, 이들의 크기는 Scale 0(9x9), Scale 1(15x15), Scale 2(21x21), Scale 3(27x27), Scale 4(39x39), Scale 5(51x51)로 구현하였다. 하지만, 박스 필터들(121~126)의 크기는 예시적인 것으로, 이와 다르게 구현할 수 있음은 물론이다.

한편, 박스 필터들(121~126)에서 헤이시안 계산이 동시에 이루어져야 하기 때문에, 가장 큰 Scale 5(51x51) 박스 필터(126)의 연산이 시작될 때까지 버퍼링 가능하도록 흑백 영상 메모리(110)를 52 라인 이상으로 구성하여야 한다.

그리고, 적분 영상을 사용하는 기존 방식의 경우 52 라인 메모리들을 27비트로 구성하여야 하지만, 본 발명의 실시예에 따른 SURF 특징점 추출 장치는 흑백 영상을 사용하므로 흑백 영상 메모리(110)를 8비트의 라인 메모리 52개로 구성할 수 있다.

박스 필터들(121~126)은 흑백 영상 메모리(110)에 저장된 흑백 영상에 대해 박스 필터링을 수행하여, 헤이시안 행렬식을 계산한다. 헤이시안 추출 행렬식은 다음 수학식 1과 같다.

Lxx는 x 위치에서의 흑백 영상 휘도값과 σ의 분산을 갖는 가우시안의 x 방향 2차 미분 값과의 컨볼루션 값을 의미하고, 나머지 Lyy, Lxy는 y 방향으로의 2차 미분, xy 방향으로 미분된 가우시안 필터와의 컨볼루션 값을 의미한다.

Scale 0(9x9) 박스 필터링 기법을 도 2에 제시하였다. 박스 필터링은 가우시안 2차 미분 필터의 근사화시킨 것으로 고속 헤이시안 추출의 핵심 기술이다. 헤이시안 근사값은 수학식 2로 표현할 수 있다.

여기서, Dxx는 x방향으로의 박스필터 컨볼루션 값, Dyy는 y방향으로의 박스필터 컨볼루션 값, Dxy는 xy방향으로의 박스필터 컨볼루션 값, det는 헤이시안 행렬식의 결과값을 의미한다.

한편, Scale 0(9x9)의 박스 필터링(DX/DY/DXY)을 위한 접근 포인트의 예시도는 도 3에 도시된 바와 같다. 박스 필터들(121~126)이 계산한 헤이시안 값들은 각각의 헤이시안 메모리들(131~136)에 저장된다.

특징점 추출부(140)는 헤이시안 메모리들(131~136)에 저장된 박스 필터링 연산 결과를 기반으로 특징점을 추출한다. 이때, 다른 크기의 박스 필터링 연산 결과와 비교하여 헤이시안 값이 최대인 픽셀을 특징점으로 추출한다.

도 4는 특징점 추출 예시도이다. 도 4에 예시된 바와 같이, X 지점의 헤이시안 값을 자신 및 다른 크기의 박스 필터링 연산 결과 2개와 비교하여 수행한다. 결과는 특징점의 좌표 및 특징점의 스케일(인덱스)이 된다.

본 발명의 실시예에서는, Scale 0, Scale 1, Scale 2를 비교하고, Scale 1, Scale 2, Scale 3을 비교하며, Scale 1, Scale 3, Scale 4를 비교하고, Scale 3, Scale 4, Scale 5를 비교하도록, 특징점 추출부(140)를 구성하였다.

도 1에 도시된 SURF 특징점 추출 장치에 의한 특징점 추출 과정이 도 5에 상세히 나타나 있다. 도 5는 본 발명의 다른 실시예에 따른 SURF 특징점 추출 방법의 설명에 제공되는 흐름도이다.

도 5에 도시된 바와 같이, 먼저 흑백 영상이 생성되어 흑백 영상 메모리(110)에 저장된다(S210). 흑백 영상은 흑백 카메라를 이용한 촬영을 통해 또는 컬러 영상을 흑백 변환하여 생성된다.

다음, 흑백 영상 메모리(110)에 흑백 영상의 25 라인이 저장되는지 확인한다(S220). 6개의 박스 필터들(121~126) 중 Scale 5(51x51)의 박스 필터-6(126)이 가장 크며, (0,0)에서의 헤이시안 계산을 하려면 최소 25 라인 이상의 흑백 영상이 저장되어야 하기 때문이다.

흑백 영상 메모리(110)에 흑백 영상의 25 라인이 저장되면(S220), 박스 필터들(121~126)이 흑백 영상 메모리(110)에 액세스하여 흑백 영상을 읽어 들이고(S231~S236), 헤이시안 계산하여 결과를 헤이시안 메모리들(131~136)에 저장한다(S241~S246).

그러면, 특징점 추출부(140)는 S241~S246단계에서 저장된 연산 결과를 기반으로 특징점을 추출한다(S250). S210단계 내지 S250단계는, 흑백 영상의 모든 라인에 대해 수행이 완료될 때까지 반복된다(S260).

한편, 도 2에 제시된 바와 같이, Scale 0(9x9) 박스 필터링 시에 접근해야 할 포인트들(원으로 표시함)은, Dx, Dy, Dxy 총 32개이다. 이를, 흑백 영상 메모리(110)에서 한 개씩 읽어오려면 총 32 cycle이 소요되므로 실시간 동작이 불가능하다.

이를 위해, Row 단위로 흑백 영상 메모리(110)를 독립적으로 구성한다. Row 단위로 흑백 영상 메모리(110)에 공통 Read Address를 줄 경우, 도 6의 구조에서는 총 10 cycle이 소요된다.

도 6은 흑백 영상 메모리(110)와 Scale 0(9x9)의 박스 필터(121) 간의 입/출력 관계를 나타낸 도면이다.

흑백 영상 메모리(110)는 Row 단위로 구성하고, 각 Row 단위 메모리의 Read Address를 별도로 제어할 수 있도록 구성된다.

Read Address의 경우, 맨 처음 위치에서의 좌표를 Initial Address Register에 저장해 두고 현재 수행하고 있는 Row와 Column에 기준으로 Address를 증가시켜 full scan 하도록 한다.

하드웨어의 속도를 만족시키기 위하여 Data와 Address를 레지스터로 파이프라인 한다.

또한, Scale 0(9x9)의 박스 필터(120)의 경우 파이프라인 동작 메모리로 총 36개의 Row 단위 메모리로 구성하고, Data와 Address 또한 36개의 2차원 레지스터 어레이로 구성한다. 각각 얻어진 Data를 가지고 Data Mapper에서 필요 Data를 Remapping 하여 최종적으로 Dx, Dy, Dxy를 출력하도록 한다.

지금까지, 적분 영상을 사용하지 않는 SURF 특징점 추출 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.

데이터의 처리에서 필요한 Dx, Dy, Dxy 데이터의 연산의 수행에서 사전에 필요로 하는 라인 메모리의 데이터를 적분 영상이 아닌 8비트의 흑백 영상을 사용할 경우 합산에 의한 연산기가 27비트의 3번의 덧셈에서 필터의 크기에 따른 모든 비트의 연산으로 8비트 15번의 연산기가 늘어나기는 한다. 하지만, 연산기는 비트수에 비례하여 하드웨어가 커지게 되고, 라인 메모리 및 박스 필터링 용 버퍼 하드웨어도 그에 따라 크기가 더 커지게 된다. 따라서, 적분 영상을 사용하지 않을 경우 하드웨어 복잡도를 낮출 수 있을 뿐만 아니라, 높은 비트수의 데이터를 위한 Mapping 때의 하드웨어 혼잡도는 낮출 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 흑백 영상 메모리
121~126 : 박스 필터
131~136 : 헤이시안 메모리
140 : 특징점 추출부

Claims

흑백 영상이 저장되는 메모리;
상기 메모리에 저장된 흑백 영상을 이용하여 헤이시안 계산하는 박스 필터들;
상기 박스 필터들에서의 헤이시안 값들이 저장되는 헤이시안 메모리들;
상기 헤이시안 메모리들에 저장된 헤이시안 값들을 이용하여 특징점을 추출하는 추출부;를 포함하는 것을 특징으로 하는 특징점 추출 장치.
청구항 1에 있어서,
상기 박스 필터들은,
상기 메모리를 공유하는 것을 특징으로 하는 특징점 추출 장치.
청구항 1에 있어서,
상기 메모리는,
Row 단위로 상기 흑백 영상이 저장되는 것을 특징으로 하는 특징점 추출 장치.
청구항 1에 있어서,
상기 박스 필터들은,
9x9 박스 필터, 15x15 박스 필터, 21x21 박스 필터, 27x27 박스 필터, 39x39 박스 필터 및 51x51 박스 필터 중 적어도 하나를 포함하는 것을 특징으로 하는 특징점 추출 장치.
청구항 1에 있어서,
상기 메모리, 상기 박스 필터들, 상기 헤이시안 메모리들 및 상기 추출부는 시스템-온-칩(System-On-Chip)으로 구성되는 것을 특징으로 하는 특징점 추출 장치.
흑백 영상을 저장하는 단계;
각기 다른 스케일의 박스 필터들로 저장된 흑백 영상을 이용하여 헤이시안 계산하는 단계;
헤이시안 값들을 저장하는 단계; 및
저장된 헤이시안 값들을 이용하여 특징점을 추출하는 단계;를 포함하는 것을 특징으로 하는 특징점 추출 방법.