KR20180039885A - Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment - Google Patents

Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment Download PDF

Info

Publication number
KR20180039885A
KR20180039885A KR1020160131185A KR20160131185A KR20180039885A KR 20180039885 A KR20180039885 A KR 20180039885A KR 1020160131185 A KR1020160131185 A KR 1020160131185A KR 20160131185 A KR20160131185 A KR 20160131185A KR 20180039885 A KR20180039885 A KR 20180039885A
Authority
KR
South Korea
Prior art keywords
image
current frame
difference
frame
surf algorithm
Prior art date
Application number
KR1020160131185A
Other languages
Korean (ko)
Other versions
KR101853468B1 (en
Inventor
이채은
조형래
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020160131185A priority Critical patent/KR101853468B1/en
Publication of KR20180039885A publication Critical patent/KR20180039885A/en
Application granted granted Critical
Publication of KR101853468B1 publication Critical patent/KR101853468B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for reducing a SURF algorithm calculation using a differential image in a mobile GPU environment, comprising: a step which obtains a current frame of an image in a camera; a second step which calculates a difference between the current frame and a previous frame to generate differential image data, and stores coordinate values of a changed area and an area, which has no change or a little change such as a background, of the previous frame and the current frame; a third step which receives the coordinate value stored in the differential image to produce an integral image; and a fourth step which uses the integral image to calculate a Hessian detector, and stores orientation information of feature points and descriptor information. The present invention uses a differential image of the previous and current frames of a video, when performing a SURF algorithm of a video input, to reduce calculations, thereby improving an image processing speed.

Description

모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법 {Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment}[TECHNICAL FIELD] The present invention relates to a method of reducing a computation of a SURF algorithm using a difference image in a mobile GPU environment,

본 발명은 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법에 관한 것으로서, 좀더 상세하게는 모바일 GPU 기반에서 SURF 알고리즘을 수행시 차(difference) 영상을 이용하여 SURF 알고리즘의 계산을 줄여주는 방법에 관한 것이다.The present invention relates to a method of reducing the computation of the SURF algorithm using difference images in a mobile GPU environment, more specifically, a method of reducing the computation of the SURF algorithm using a difference image when performing a SURF algorithm based on a mobile GPU .

일반적으로 영상 처리 분야에서 입력영상에 대하여 물체의 인식 및 처리를 하기 위해서는 입력된 영상에서 특징점을 추출하고, 추출된 특징점을 통하여 서술자를 생성하여 다른영상과의 매칭을 통해 객체 인식 및 추적 등을 하게 된다. 이때, 사용되는 영상인식 알고리즘으로는 등록특허 제10-1076487호 등에 제안된 SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features) 등이 있다. Generally, in the image processing field, in order to recognize and process an object with respect to an input image, a feature point is extracted from the input image, a descriptor is generated through extracted feature points, and the recognition and tracking are performed through matching with other images do. At this time, there are Scale-Invariant Feature Transform (SIFT) and SURF (Speed Up UP Robust Features) proposed by the registered patent No. 10-1076487 and others.

이때, 상기 SIFT(Scale Invariant Feature Transform)는 이미지 내에서 특징점을 추출하여 기술자(descriptor)를 생성하는 알고리즘으로, 생성된 기술자(descriptor)를 비교하여 참조이미지(Reference Image)의 물체를 다른 이미지에서 찾는데 사용한다. SURF는 SIFT보다 정확도는 조금 낮지만 처리속도를 개선한 알고리즘이다. At this time, the Scale Invariant Feature Transform (SIFT) is an algorithm for extracting feature points in an image and generating a descriptor. The generated descriptors are compared to find an object of a reference image in another image use. SURF is an algorithm that improves the processing speed slightly less than SIFT.

한편, 최근 모바일 환경에서 물체 인식을 비롯한 이미지 및 비디오 처리 기능들이 광범위하게 사용되고 있다. 특히, 모바일 환경은 PC보다 CPU와 GPU 등의 컴퓨팅 성능이 낮기 때문에 계산 복잡도가 높은 이미지 입력을 대상으로 하는 물체 인식 알고리즘을 실시간으로 수행시키는 것이 쉽지 않다. On the other hand, image and video processing functions including object recognition are widely used in a mobile environment. Especially, mobile environment has lower computing performance than CPU, CPU, and GPU. Therefore, it is not easy to perform object recognition algorithm for image input with high computational complexity in real time.

따라서, 동영상 입력에서 물체를 인식하기 위하여 매 프레임에 대하여 인식 알고리즘을 수행하게 되면 모바일 환경에서는 실시간으로 처리가 어렵게 된다. Therefore, if recognition algorithm is performed for every frame to recognize an object in moving image input, it becomes difficult to process in real time in mobile environment.

이에 모바일 환경에서의 물체 인식의 수행 속도를 빠르게 하기 위하여 동영상의 이전 프레임과 현재 프레임은 비슷한 정보를 많이 가지고 있다는 특징을 적극적으로 이용할 필요가 있다.Therefore, in order to speed up the object recognition in the mobile environment, it is necessary to actively use the feature that the previous frame of the moving image and the current frame have a lot of similar information.

참고문헌 1 : 등록특허 제10-1076487호Reference 1: Registration No. 10-1076487

참고문헌 2 : Herbert Bay, Timme Tuytelaars, Lue Van Gool. "SURF: Speeded UP Robust Features" ECCV 2006, 2006 - Springer References 2: Herbert Bay, Timme Tuytelaars, Lue Van Gool. "SURF: Speeded UP Robust Features" ECCV 2006, 2006 - Springer

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 모바일 GPU 기반에서 SURF 알고리즘을 수행시 차(difference) 영상을 이용하여 SURF 알고리즘의 계산을 줄여주는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, and it is an object of the present invention to provide a SURF algorithm using a difference image in a mobile GPU environment that reduces the computation of the SURF algorithm using a difference image when performing a SURF algorithm based on a mobile GPU And a method of reducing the calculation.

특히, 본 발명은 이전 프레임과 현재 프레임을 비교하여 변화가 있는 부분만 SURF 알고리즘을 적용하여 계산을 줄여주는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 제공하는데 그 목적이 있다.In particular, it is an object of the present invention to provide a method for reducing the calculation of a SURF algorithm using a difference image in a mobile GPU environment in which a previous frame and a current frame are compared and a calculation is reduced by applying a SURF algorithm only to a changed portion.

이와 같은 기술적 과제를 해결하기 위해 본 발명은; In order to solve such a technical problem,

카메라에서 영상의 현재 프레임을 획득하는 단계; 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전 프레임과 현재 프레임의 달라진 영역과 배경과 같이 변화가 없거나 변화가 적은 영역의 좌표 값을 저장하는 제2단계; 상기 차 영상에서 저장한 좌표 값을 받아 적분영상을 만드는 제3단계; 및 상기 적분영상을 이용하여 헤시안 검출기(Hessian Detector)를 계산하고, 특징점의 방향(orientation) 정보 및 기술자(descriptor) 정보를 저장하는 제4단계;로 구성되는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 제공한다. Obtaining a current frame of the image from the camera; A second step of generating difference image data by calculating a difference between a current frame and a previous frame to store coordinate values of a region having no change or a small change such as a changed region of the previous frame and a current frame and a background; A third step of generating an integral image by receiving coordinate values stored in the difference image; And a fourth step of calculating a Hessian detector using the integral image and storing orientation information and descriptor information of the feature point. In the mobile GPU environment, We propose a method to reduce SURF algorithm calculation using image.

이때, 상기 제1단계 이후 제2단계 이전에 상기 현재 프레임을 그레이(Gray)로 바꾸는 제5단계;를 더 포함하는 것을 특징으로 한다. The method further includes changing the current frame to gray before the second step after the first step.

그리고, 상기 제2단계는 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하며 이전과 현재 프레임의 정보가 변화하지 않았으면 상기 제3단계 및 제4단계를 생략하는 것을 특징으로 한다. The second step generates difference image data by calculating the difference between the current frame and the previous frame and omits the third and fourth steps if the information of the previous frame and the current frame does not change .

아울러, 상기 제2단계는 현재 프레임과 이전 프레임을 복수의 이미지 구역으로 나누고, 변화 유무를 판단할 수 있는 한계(threshold) 값을 이용해 차 영상을 생성하는 것을 특징으로 한다. In the second step, the current frame and the previous frame are divided into a plurality of image regions, and a difference image is generated using a threshold value for determining the presence or absence of a change.

또한, 상기 제3단계는 상기 제2단계에서 현재 프레임의 복수의 이미지 구역에서 변화가 없다고 판단한 구역에서는 이전 프레임에서 계산했던 값을 그대로 사용하고, 변화가 있다고 판단한 구역에 대해 적분영상을 계산하는 것을 특징으로 한다. In the third step, in the second step, in the area determined to have no change in the plurality of image areas of the current frame, the value calculated in the previous frame is used as it is and the integrated image is calculated for the area determined to be changed .

본 발명에 따르면, 동영상 입력의 SURF알고리즘을 수행시 동영상의 이전 프레임과 현재 프레임의 차 영상을 사용하여 계산을 줄여 주어 영상 처리 속도를 향상시키는 장점이 있다.According to the present invention, when the SURF algorithm of moving image input is performed, the calculation is reduced by using the difference image between the previous frame and the current frame of the moving image, thereby improving the image processing speed.

특히, 본 발명은 모바일 GPU 기반에서 동영상 입력의 매 프레임에 대하여 인식 알고리즘을 수행시 비슷한 정보를 많이 가지고 있다는 특징을 적극적으로 이용함으로써 현저하게 계산을 감소시켜 주는 장점이 있다.In particular, the present invention has the advantage of significantly decreasing the computation by positively utilizing the feature of having similar information when performing the recognition algorithm on every frame of the video input based on the mobile GPU.

도 1은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소를 위한 흐름도이다.
도 2는 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소를 위해 GPU 커널이 처리할 수 있는 묶음으로 구역을 나눈 이미지를 도시한 도면이다.
도 3은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘의 적용 전후의 처리속도를 비교한 표이다.
FIG. 1 is a flowchart for reducing a calculation of a SURF algorithm using difference images in a mobile GPU environment according to the present invention.
FIG. 2 is a diagram illustrating an image obtained by dividing a region into bundles that the GPU kernel can process in order to reduce the computation of a SURF algorithm using difference images in a mobile GPU environment according to the present invention.
3 is a table comparing the processing speeds before and after the application of the SURF algorithm using difference images in a mobile GPU environment according to the present invention.

이하, 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다. Hereinafter, a method for reducing the computation of a SURF algorithm using difference images in a mobile GPU environment according to the present invention will be described in detail with reference to the accompanying drawings.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately interpret the concepts of the terms appropriately It should be interpreted in accordance with the meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It should be understood that various equivalents and modifications may be present.

도 1을 참고하면, 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법은 모바일 GPU 기반에서 SURF알고리즘을 수행시킬 때 차 영상을 이용하여 계산을 줄이는 방법으로, 이전 프레임과 현재 프레임을 비교하여 변화가 없는 부분은 계산하지 않고 변화가 있는 부분만 SURF 알고리즘을 적용하여 계산을 줄인다. Referring to FIG. 1, in the mobile GPU environment according to the present invention, a method of reducing the calculation of a SURF algorithm using a difference image is a method of reducing a calculation using a difference image when performing a SURF algorithm based on a mobile GPU. And the calculation is reduced by applying the SURF algorithm only to the part where the change is not calculated.

이와 같은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법은, 카메라에서 영상의 현재 프레임을 획득하는 단계(S1), SURF 알고리즘을 적용하기 위하여 영상을 그레이(Gray)로 바꾸는 단계(S2), 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전 프레임과 현재 프레임의 달라진 영역과 배경과 같이 변화가 없거나 변화가 적은 영역의 좌표 값을 저장하는 단계(S3), 차 영상에서 저장한 좌표 값을 받아 적분영상을 만드는 단계(S4), 적분영상을 이용하여 헤시안 검출기(Hessian Detector)를 계산하는 단계(S5), 특징점의 방향(orientation) 정보 및 기술자(descriptor) 정보를 저장하는 단계(S6)로 구성된다. The method of reducing the computation of the SURF algorithm using the difference image in the mobile GPU environment according to the present invention includes: acquiring a current frame of the image in the camera (S1); converting the image to gray in order to apply the SURF algorithm; (S2), generating difference image data by calculating a difference between a current frame and a previous frame, and storing coordinate values of a region having no change or a small change such as a background and a background of a previous frame and a current frame A step S4 of generating an integral image by receiving coordinate values stored in the difference image, a step S5 of calculating a Hessian detector using the integral image, (S6) of storing descriptor information.

이때, 상기 단계(S3)에서 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전과 현재 프레임의 정보가 변화하지 않았다면 상기 단계(S4) 내지 단계(S6)의 적분영상 생성, 헤시안 검출기(Hessian Detector) 계산, 그리고 특징점의 방향(orientation) 및 기술자(descriptor) 정보의 저장과정을 생략할 수 있다.At this time, in step S3, the difference between the current frame and the previous frame is calculated to generate difference image data. If the information of the previous frame and the current frame is not changed, the integral image of the steps S4 to S6 Generation of the Hessian detector, calculation of the orientation of the minutiae, and storage of the descriptor information may be omitted.

한편, 상기 단계(S3)를 통해 차 영상을 만들 때 이전 프레임과 현재 프레임의 달라진 영역과 배경이 변화가 없거나 변화가 적은 영역의 좌표 값들을 저장할 때 크게 두 가지 고려사항이 있다. Meanwhile, there are two considerations when storing the coordinate values of the region where the difference between the previous frame and the current frame and the region in which the background is unchanged or the change is small, when making the difference image through the step S3.

첫째, 데이터 생성 단위 즉 프레임의 구역을 정해주어야 하며, 둘째, 변화 유무를 판단할 수 있는 한계(threshold) 값이 필요하다. First, the data generation unit, that is, the frame area, must be determined. Secondly, a threshold value for determining whether or not a change occurs is required.

먼저, 도 2를 참고하면 이미지 프레임(100)은 GPU 커널(GPU kernel)이 한 번에 처리할 수 있는 픽셀(pixel)의 수만큼 이미지의 구역(110)을 나눠준다. 도 2에서 각각의 사각형들이 한 이미지의 나누어진 이미지 구역(110)에 해당한다. 이때, 각각의 이미지 구역(110)에 번호를 정해주고 차 영상을 계산하여 변화가 있는 구역만 표시를 한다. Referring first to FIG. 2, an image frame 100 divides a region 110 of an image by the number of pixels that a GPU kernel can process at one time. In FIG. 2, each rectangle corresponds to a divided image region 110 of one image. At this time, each image region 110 is numbered, and a difference image is calculated to display only a region having a change.

이를 통해 상기 단계(S4)를 통해 적분영상을 생성시 변화가 없다고 선택된 구역(110)에서는 이전 프레임에서 계산했던 값을 그대로 사용하고, 변화가 있다고 판단하여 선택된 구역에서만 새로 적분영상을 계산한다. 도 2를 참고하면 가장자리의 회색 사각형은 변화가 없는 구역(110a)이다. Accordingly, in the selected region 110, the value calculated in the previous frame is used as it is during the generation of the integral image through the step S4, and a new integral image is calculated only in the selected region by judging that there is a change. Referring to Fig. 2, the gray squares at the edges are unchanged zones 110a.

즉, 이미지 프레임(100)의 총 25개 이미지 구역(110) 중 13개 이미지 구역(110a)을 제외한 중앙의 12개 이미지 구역(110b)에 대해서만 적분영상 계산을 하면 된다. That is, integral image calculation may be performed only on the middle 12 image regions 110b except the 13 image regions 110a out of the total 25 image regions 110 of the image frame 100. [

이는 이미지 프레임의 전체에 대해 적분영상을 계산한 것보다 더 적은 계산으로 새로운 프레임의 적분영상을 만들 수 있다. This makes it possible to create an integral image of a new frame with fewer computations than the integral image for the entire image frame.

이때, 상기 이미지 구역(110) 영상의 변화 유무를 판단할 수 있는 한계(threshold) 값은 '0'부터 '1' 사이의 소수점으로 저장되어 있는 픽셀의 값을 256개의 구간 값으로 변환하여 미세한 변화는 같은 구간 값을 가질 수 있도록 한다. In this case, the threshold value for determining whether the image of the image region 110 is changed can be obtained by converting a value of a pixel stored as a decimal point between '0' and '1' into 256 interval values, Can have the same interval value.

그리고, 영상의 특성상 사람이 봤을 때 변화가 없는 것처럼 보이더라도 밝기의 변화 등에 따라 픽셀 값이 조금 달라질 수 있다. 이러한 경우 같은 구간 값을 가지게 된다. Also, even though it may appear that there is no change when the person looks at the characteristics of the image, the pixel value may be slightly changed depending on the change of the brightness. In this case, they have the same interval value.

이하, 도 3을 참고로 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법의 실험결과를 설명한다. 이때, 도 3은 본 발명에 따른 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘의 적용 전후의 처리속도를 비교한 도면이다. Hereinafter, an experimental result of the SURF algorithm reduction method using difference images in a mobile GPU environment according to the present invention will be described with reference to FIG. 3 is a graph showing a comparison of the processing speeds before and after the application of the SURF algorithm using difference images in a mobile GPU environment according to the present invention.

본 발명에서는 알고리즘 성능 검증을 위하여 LG G3 cat6 디바이스의 GPU를 사용하였고, 획득한 영상의 크기는 1280×720픽셀이며, OpenCL을 사용하여 알고리즘을 구현하고 실험하였다. In the present invention, the GPU of the LG G3 cat6 device is used to verify the algorithm performance, and the obtained image size is 1280 × 720 pixels, and the algorithm is implemented and tested using OpenCL.

특히, 이미지 구역은 64픽셀씩 나누고, 고정된 카메라에서 들어온 영상에서 본 발명에서 제안한 바와 같은 차 영상을 적용한 알고리즘과 적용하지 않은 알고리즘과의 계산이 얼마나 감소하였는지 처리속도를 실험으로 측정하여 비교하였다. Particularly, the image area is divided by 64 pixels, and the processing speed is experimentally measured by comparing the difference between the algorithm applying the difference image proposed in the present invention and the algorithm not applied in the image input from the fixed camera.

도 3에서 첫 번째 열은 SURF의 알고리즘 과정, 두 번째와 세 번째 열은 차 영상을 적용하기 전과 후의 처리속도를 측정한 값이고 네 번째 열은 차영상 적용전과 후의 처리속도의 차이를 나타낸다. In FIG. 3, the first column shows the algorithm process of the SURF, the second and third columns measure the processing speed before and after applying the difference image, and the fourth column shows the difference between the processing speed before and after the difference image application.

이에 의하면 실험결과 본 발명에서 제안한 바와 같은 차 영상을 적용한 알고리즘과 적용시 차 영상을 적용하지 않은 알고리즘에 비해 영상 처리속도는 약 39% 빨라졌다. According to the experimental results, the image processing speed is improved by about 39% as compared with the algorithm using the difference image proposed in the present invention and the algorithm using no difference image when applied.

한편, 차 영상을 적용하더라도 알고리즘에서 각 단계의 연산이 모두 없어지는 것이 아니다. 이는 이전 프레임의 데이터를 사용하여 새로운 정보를 만들기 때문에 추가 계산이 들어가기 때문이다.On the other hand, even if the difference image is applied, the algorithm does not eliminate all the operations of each step. This is because additional calculations are made because data from the previous frame is used to create new information.

본 발명에서 제안한 모바일 GPU 환경에서 차 영상을 이용한 SURF알고리즘 계산 감소 방법은, 자동차의 블랙박스와 같이 고정된 카메라에서 물체를 인식할 때에도 유용한 기술이므로 보다 다양한 상황에서 검증을 하여 성능을 확인하고 폭넓게 적용할 필요가 있다.In the mobile GPU environment proposed in the present invention, since the SURF algorithm reduction method using the difference image is useful for recognizing an object in a fixed camera such as a car black box, it can be verified in a variety of situations, Needs to be.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The scope of protection of the present invention should be construed under the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100: 이미지 프레임
110: 이미지 구역
100: image frame
110: Image area

Claims (5)

카메라에서 영상의 현재 프레임을 획득하는 단계;
현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하여 이전 프레임과 현재 프레임의 달라진 영역과 배경과 같이 변화가 없거나 변화가 적은 영역의 좌표 값을 저장하는 제2단계;
상기 차 영상에서 저장한 좌표 값을 받아 적분영상을 만드는 제3단계;
상기 적분영상을 이용하여 헤시안 검출기(Hessian Detector)를 계산하고, 특징점의 방향(orientation) 정보 및 기술자(descriptor) 정보를 저장하는 제4단계;로 구성되는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법.
Obtaining a current frame of the image from the camera;
A second step of generating difference image data by calculating a difference between a current frame and a previous frame to store coordinate values of a region having no change or a small change such as a changed region of the previous frame and a current frame and a background;
A third step of generating an integral image by receiving coordinate values stored in the difference image;
And a fourth step of calculating a Hessian detector using the integral image and storing orientation information and descriptor information of a minutiae point in a mobile GPU environment, A Method for Reducing the Computation of SURF Algorithm Using.
제 1항에 있어서,
상기 제1단계 이후 제2단계 이전에 상기 현재 프레임을 그레이(Gray)로 바꾸는 제5단계;를 더 포함하는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법.
The method according to claim 1,
And changing the current frame to gray before the second step after the first step. The method of claim 1, further comprising:
제 1항에 있어서,
상기 제2단계는 현재 프레임과 이전 프레임의 차이를 계산하여 차(difference) 영상 데이터를 생성하며 이전과 현재 프레임의 정보가 변화하지 않았으면 상기 제3단계 및 제4단계를 생략하는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법.
The method according to claim 1,
The second step generates difference image data by calculating the difference between the current frame and the previous frame and omits the third and fourth steps if the information of the previous frame and the current frame does not change A Method for Reducing the Computation of SURF Algorithm Using Difference Images in Mobile GPU Environment.
제 1항에 있어서,
상기 제2단계는 현재 프레임과 이전 프레임을 복수의 이미지 구역으로 나누고, 변화 유무를 판단할 수 있는 한계(threshold) 값을 이용해 차 영상을 생성하는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법.
The method according to claim 1,
The second step is to divide the current frame and the previous frame into a plurality of image regions and generate a difference image using a threshold value for determining whether there is a change. In the mobile GPU environment, Method of reducing algorithm computation.
제 1항에 있어서,
상기 제3단계는 상기 제2단계에서 현재 프레임의 복수의 이미지 구역에서 변화가 없다고 판단한 구역에서는 이전 프레임에서 계산했던 값을 그대로 사용하고, 변화가 있다고 판단한 구역에 대해 적분영상을 계산하는 것을 특징으로 하는 모바일 GPU 환경에서 차 영상을 이용한 SURF 알고리즘 계산 감소 방법.
The method according to claim 1,
The third step is to use the value calculated in the previous frame as it is in the region determined to have no change in the plurality of image regions of the current frame in the second step and to calculate the integral image for the region determined to be changed. A Method for Reducing the Computation of SURF Algorithm Using Difference Image in Mobile GPU Environment.
KR1020160131185A 2016-10-11 2016-10-11 Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment KR101853468B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160131185A KR101853468B1 (en) 2016-10-11 2016-10-11 Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160131185A KR101853468B1 (en) 2016-10-11 2016-10-11 Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment

Publications (2)

Publication Number Publication Date
KR20180039885A true KR20180039885A (en) 2018-04-19
KR101853468B1 KR101853468B1 (en) 2018-04-30

Family

ID=62080845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160131185A KR101853468B1 (en) 2016-10-11 2016-10-11 Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment

Country Status (1)

Country Link
KR (1) KR101853468B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086718A (en) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 Biopsy method, device, computer equipment and storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086718A (en) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 Biopsy method, device, computer equipment and storage medium

Also Published As

Publication number Publication date
KR101853468B1 (en) 2018-04-30

Similar Documents

Publication Publication Date Title
CN108596944B (en) Method and device for extracting moving target and terminal equipment
CN108446694B (en) Target detection method and device
US20150093028A1 (en) Performing a histogram using an array of addressable registers
US20220215557A1 (en) Edge detection method and device, electronic equipment, and computer-readable storage medium
CN109977912B (en) Video human body key point detection method and device, computer equipment and storage medium
WO2017103676A1 (en) Systems and methods for providing an image classifier
WO2018082308A1 (en) Image processing method and terminal
US20170256058A1 (en) Apparatus and method for detecting circle
Chen et al. Fast defocus map estimation
KR20120044484A (en) Apparatus and method for tracking object in image processing system
WO2017070923A1 (en) Human face recognition method and apparatus
JP2017535904A (en) System and method for object detection
CN108960012B (en) Feature point detection method and device and electronic equipment
Huang et al. A fast HOG descriptor using lookup table and integral image
JP6244886B2 (en) Image processing apparatus, image processing method, and image processing program
CN114445825A (en) Character detection method and device, electronic equipment and storage medium
KR101853468B1 (en) Complexity Reduction Method of SURF algorithm based on Frame Difference in the Mobile GPU environment
JP6202938B2 (en) Image recognition apparatus and image recognition method
CN109871779B (en) Palm print identification method and electronic equipment
US20160035106A1 (en) Image processing apparatus, image processing method and medium storing image processing program
CN112348069B (en) Data enhancement method, device, computer readable storage medium and terminal equipment
Zhang et al. Image matching using GPT correlation associated with simplified HOG patterns
CN109272541B (en) Image matching method and device
CN111160358A (en) Image binarization method, device, equipment and medium
Ehsan et al. Exploring integral image word length reduction techniques for SURF detector

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant