KR101853468B1 - 모바일 gpu 환경에서 차 영상을 이용한 surf 알고리즘 계산 감소 방법 - Google Patents

Abstract

본 발명은 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법에 관한 것으로; 카메라에서 영상의 현재 프레임을 획득하는 단계; 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전 프레임과 현재 프레임의 달라진 영역과 배경과 같이 변화가 없거나 변화가 적은 영역의 좌표 값을 저장하는 제2단계; 상기 차 영상에서 저장한 좌표 값을 받아 적분영상을 만드는 제3단계; 및 상기 적분영상을 이용하여 헤시안 검출기(Hessian Detector)를 계산하고, 특징점의 방향(orientation) 정보 및 기술자(descriptor) 정보를 저장하는 제4단계;로 구성되는 것을 특징으로 한다.
본 발명에 따르면, 동영상 입력의 SURF알고리즘을 수행시 동영상의 이전 프레임과 현재 프레임의 차 영상을 사용하여 계산을 줄여 주어 영상 처리 속도를 향상시키는 장점이 있다.

Description

모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법 {Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment}

본 발명은 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법에 관한 것으로서, 좀더 상세하게는 모바일 GPU 기반에서 SURF 알고리즘을 수행시 차(difference) 영상을 이용하여 SURF 알고리즘의 계산을 줄여주는 방법에 관한 것이다.

일반적으로 영상 처리 분야에서 입력영상에 대하여 물체의 인식 및 처리를 하기 위해서는 입력된 영상에서 특징점을 추출하고, 추출된 특징점을 통하여 서술자를 생성하여 다른영상과의 매칭을 통해 객체 인식 및 추적 등을 하게 된다. 이때, 사용되는 영상인식 알고리즘으로는 등록특허 제10-1076487호 등에 제안된 SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features) 등이 있다.

이때, 상기 SIFT(Scale Invariant Feature Transform)는 이미지 내에서 특징점을 추출하여 기술자(descriptor)를 생성하는 알고리즘으로, 생성된 기술자(descriptor)를 비교하여 참조이미지(Reference Image)의 물체를 다른 이미지에서 찾는데 사용한다. SURF는 SIFT보다 정확도는 조금 낮지만 처리속도를 개선한 알고리즘이다.

한편, 최근 모바일 환경에서 물체 인식을 비롯한 이미지 및 비디오 처리 기능들이 광범위하게 사용되고 있다. 특히, 모바일 환경은 PC보다 CPU와 GPU 등의 컴퓨팅 성능이 낮기 때문에 계산 복잡도가 높은 이미지 입력을 대상으로 하는 물체 인식 알고리즘을 실시간으로 수행시키는 것이 쉽지 않다.

따라서, 동영상 입력에서 물체를 인식하기 위하여 매 프레임에 대하여 인식 알고리즘을 수행하게 되면 모바일 환경에서는 실시간으로 처리가 어렵게 된다.

이에 모바일 환경에서의 물체 인식의 수행 속도를 빠르게 하기 위하여 동영상의 이전 프레임과 현재 프레임은 비슷한 정보를 많이 가지고 있다는 특징을 적극적으로 이용할 필요가 있다.

참고문헌 1 : 등록특허 제10-1076487호

참고문헌 2 : Herbert Bay, Timme Tuytelaars, Lue Van Gool. "SURF: Speeded UP Robust Features" ECCV 2006, 2006 - Springer

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 모바일 GPU 기반에서 SURF 알고리즘을 수행시 차(difference) 영상을 이용하여 SURF 알고리즘의 계산을 줄여주는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 제공하는데 그 목적이 있다.

특히, 본 발명은 이전 프레임과 현재 프레임을 비교하여 변화가 있는 부분만 SURF 알고리즘을 적용하여 계산을 줄여주는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 제공하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

카메라에서 영상의 현재 프레임을 획득하는 단계; 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전 프레임과 현재 프레임의 달라진 영역과 배경과 같이 변화가 없거나 변화가 적은 영역의 좌표 값을 저장하는 제2단계; 상기 차 영상에서 저장한 좌표 값을 받아 적분영상을 만드는 제3단계; 및 상기 적분영상을 이용하여 헤시안 검출기(Hessian Detector)를 계산하고, 특징점의 방향(orientation) 정보 및 기술자(descriptor) 정보를 저장하는 제4단계;로 구성되는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 제공한다.

이때, 상기 제1단계 이후 제2단계 이전에 상기 현재 프레임을 그레이(Gray)로 바꾸는 제5단계;를 더 포함하는 것을 특징으로 한다.

그리고, 상기 제2단계는 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하며 이전과 현재 프레임의 정보가 변화하지 않았으면 상기 제3단계 및 제4단계를 생략하는 것을 특징으로 한다.

아울러, 상기 제2단계는 현재 프레임과 이전 프레임을 복수의 이미지 구역으로 나누고, 변화 유무를 판단할 수 있는 한계(threshold) 값을 이용해 차 영상을 생성하는 것을 특징으로 한다.

또한, 상기 제3단계는 상기 제2단계에서 현재 프레임의 복수의 이미지 구역에서 변화가 없다고 판단한 구역에서는 이전 프레임에서 계산했던 값을 그대로 사용하고, 변화가 있다고 판단한 구역에 대해 적분영상을 계산하는 것을 특징으로 한다.

본 발명에 따르면, 동영상 입력의 SURF알고리즘을 수행시 동영상의 이전 프레임과 현재 프레임의 차 영상을 사용하여 계산을 줄여 주어 영상 처리 속도를 향상시키는 장점이 있다.

특히, 본 발명은 모바일 GPU 기반에서 동영상 입력의 매 프레임에 대하여 인식 알고리즘을 수행시 비슷한 정보를 많이 가지고 있다는 특징을 적극적으로 이용함으로써 현저하게 계산을 감소시켜 주는 장점이 있다.

도 1은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소를 위한 흐름도이다.
도 2는 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소를 위해 GPU 커널이 처리할 수 있는 묶음으로 구역을 나눈 이미지를 도시한 도면이다.
도 3은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘의 적용 전후의 처리속도를 비교한 표이다.

이하, 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 1을 참고하면, 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법은 모바일 GPU 기반에서 SURF알고리즘을 수행시킬 때 차 영상을 이용하여 계산을 줄이는 방법으로, 이전 프레임과 현재 프레임을 비교하여 변화가 없는 부분은 계산하지 않고 변화가 있는 부분만 SURF 알고리즘을 적용하여 계산을 줄인다.

이와 같은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법은, 카메라에서 영상의 현재 프레임을 획득하는 단계(S1), SURF 알고리즘을 적용하기 위하여 영상을 그레이(Gray)로 바꾸는 단계(S2), 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전 프레임과 현재 프레임의 달라진 영역과 배경과 같이 변화가 없거나 변화가 적은 영역의 좌표 값을 저장하는 단계(S3), 차 영상에서 저장한 좌표 값을 받아 적분영상을 만드는 단계(S4), 적분영상을 이용하여 헤시안 검출기(Hessian Detector)를 계산하는 단계(S5), 특징점의 방향(orientation) 정보 및 기술자(descriptor) 정보를 저장하는 단계(S6)로 구성된다.

이때, 상기 단계(S3)에서 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전과 현재 프레임의 정보가 변화하지 않았다면 상기 단계(S4) 내지 단계(S6)의 적분영상 생성, 헤시안 검출기(Hessian Detector) 계산, 그리고 특징점의 방향(orientation) 및 기술자(descriptor) 정보의 저장과정을 생략할 수 있다.

한편, 상기 단계(S3)를 통해 차 영상을 만들 때 이전 프레임과 현재 프레임의 달라진 영역과 배경이 변화가 없거나 변화가 적은 영역의 좌표 값들을 저장할 때 크게 두 가지 고려사항이 있다.

첫째, 데이터 생성 단위 즉 프레임의 구역을 정해주어야 하며, 둘째, 변화 유무를 판단할 수 있는 한계(threshold) 값이 필요하다.

먼저, 도 2를 참고하면 이미지 프레임(100)은 GPU 커널(GPU kernel)이 한 번에 처리할 수 있는 픽셀(pixel)의 수만큼 이미지의 구역(110)을 나눠준다. 도 2에서 각각의 사각형들이 한 이미지의 나누어진 이미지 구역(110)에 해당한다. 이때, 각각의 이미지 구역(110)에 번호를 정해주고 차 영상을 계산하여 변화가 있는 구역만 표시를 한다.

이를 통해 상기 단계(S4)를 통해 적분영상을 생성시 변화가 없다고 선택된 구역(110)에서는 이전 프레임에서 계산했던 값을 그대로 사용하고, 변화가 있다고 판단하여 선택된 구역에서만 새로 적분영상을 계산한다. 도 2를 참고하면 가장자리의 회색 사각형은 변화가 없는 구역(110a)이다.

즉, 이미지 프레임(100)의 총 25개 이미지 구역(110) 중 13개 이미지 구역(110a)을 제외한 중앙의 12개 이미지 구역(110b)에 대해서만 적분영상 계산을 하면 된다.

이는 이미지 프레임의 전체에 대해 적분영상을 계산한 것보다 더 적은 계산으로 새로운 프레임의 적분영상을 만들 수 있다.

이때, 상기 이미지 구역(110) 영상의 변화 유무를 판단할 수 있는 한계(threshold) 값은 '0'부터 '1' 사이의 소수점으로 저장되어 있는 픽셀의 값을 256개의 구간 값으로 변환하여 미세한 변화는 같은 구간 값을 가질 수 있도록 한다.

그리고, 영상의 특성상 사람이 봤을 때 변화가 없는 것처럼 보이더라도 밝기의 변화 등에 따라 픽셀 값이 조금 달라질 수 있다. 이러한 경우 같은 구간 값을 가지게 된다.

이하, 도 3을 참고로 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법의 실험결과를 설명한다. 이때, 도 3은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘의 적용 전후의 처리속도를 비교한 도면이다.

본 발명에서는 알고리즘 성능 검증을 위하여 LG G3 cat6 디바이스의 GPU를 사용하였고, 획득한 영상의 크기는 1280×720픽셀이며, OpenCL을 사용하여 알고리즘을 구현하고 실험하였다.

특히, 이미지 구역은 64픽셀씩 나누고, 고정된 카메라에서 들어온 영상에서 본 발명에서 제안한 바와 같은 차 영상을 적용한 알고리즘과 적용하지 않은 알고리즘과의 계산이 얼마나 감소하였는지 처리속도를 실험으로 측정하여 비교하였다.

도 3에서 첫 번째 열은 SURF의 알고리즘 과정, 두 번째와 세 번째 열은 차 영상을 적용하기 전과 후의 처리속도를 측정한 값이고 네 번째 열은 차영상 적용전과 후의 처리속도의 차이를 나타낸다.

이에 의하면 실험결과 본 발명에서 제안한 바와 같은 차 영상을 적용한 알고리즘과 적용시 차 영상을 적용하지 않은 알고리즘에 비해 영상 처리속도는 약 39% 빨라졌다.

한편, 차 영상을 적용하더라도 알고리즘에서 각 단계의 연산이 모두 없어지는 것이 아니다. 이는 이전 프레임의 데이터를 사용하여 새로운 정보를 만들기 때문에 추가 계산이 들어가기 때문이다.

본 발명에서 제안한 모바일 GPU 환경에서 차 영상을 이용한 SURF알고리즘 계산 감소 방법은, 자동차의 블랙박스와 같이 고정된 카메라에서 물체를 인식할 때에도 유용한 기술이므로 보다 다양한 상황에서 검증을 하여 성능을 확인하고 폭넓게 적용할 필요가 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 이미지 프레임
110: 이미지 구역

Claims (5)

1. 카메라에서 영상의 현재 프레임을 획득하는 제1단계;
   현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전 프레임과 현재 프레임의 달라진 영역과 배경과 같이 변화가 없거나 변화가 적은 영역의 좌표 값을 저장하는 제2단계;
   상기 차 영상에서 저장한 좌표 값을 받아 적분영상을 만드는 제3단계;
   상기 적분영상을 이용하여 헤시안 검출기(Hessian Detector)를 계산하고, 특징점의 방향(orientation) 정보 및 기술자(descriptor) 정보를 저장하는 제4단계;로 이루어지고,
   상기 제2단계는 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하며 이전과 현재 프레임의 정보가 변화하지 않았으면 상기 제3단계 및 제4단계를 생략하며,
   상기 제2단계는 현재 프레임과 이전 프레임을 복수의 이미지 구역으로 나누되, GPU 커널(GPU kernel)이 한 번에 처리할 수 있는 픽셀(pixel)의 수만큼 이미지의 구역을 설정하고, 변화 유무를 판단할 수 있는 한계(threshold) 값을 이용해 차 영상을 생성하고,
   상기 제3단계는 상기 제2단계에서 현재 프레임의 복수의 이미지 구역에서 변화가 없다고 판단한 구역에서는 이전 프레임에서 계산했던 값을 그대로 사용하고, 변화가 있다고 판단한 구역에 대해 적분영상을 계산하는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법.
   
2. 제 1항에 있어서,
   상기 제1단계 이후 제2단계 이전에 상기 현재 프레임을 그레이(Gray)로 바꾸는 제5단계;를 더 포함하는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법.
   
3. 삭제
4. 삭제
5. 삭제

Images