KR101627974B1 - 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치 - Google Patents

영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치 Download PDF

Info

Publication number
KR101627974B1
KR101627974B1 KR1020150087511A KR20150087511A KR101627974B1 KR 101627974 B1 KR101627974 B1 KR 101627974B1 KR 1020150087511 A KR1020150087511 A KR 1020150087511A KR 20150087511 A KR20150087511 A KR 20150087511A KR 101627974 B1 KR101627974 B1 KR 101627974B1
Authority
KR
South Korea
Prior art keywords
vector
integral projection
image
feature descriptor
vectors
Prior art date
Application number
KR1020150087511A
Other languages
English (en)
Inventor
박인규
이만희
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020150087511A priority Critical patent/KR101627974B1/ko
Application granted granted Critical
Publication of KR101627974B1 publication Critical patent/KR101627974B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치가 제시된다. 영상 블러에 강인한 영상 특징 기술자 생성 방법은, 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화하는 단계; 정규화된 상기 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성하는 단계; 및 상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하는 단계를 포함한다.

Description

영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치{Method and Apparatus for Producing of Blur Invariant Image Feature Descriptor}
아래의 실시예들은 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치에 관한 것이다. 더욱 상세하게는, 다중 방향으로의 적분 투영을 이용하여 영상 블러에 강인한 영상 특징 기술자를 생성하는 방법 및 장치에 관한 것이다.
특징 추출(extraction)과 기술(description)은 컴퓨터 비전의 다양한 응용 분야에 이용되는 필수 기술요소이다. 대부분의 기존 기법들은 영상 내 물체의 회전이나 크기 변화, 조명 변화에 강인한 특징 기술을 위해 제안되었다. 그러나 카메라의 흔들림이나 물체의 빠른 움직임에 의해 영상에 블러(blur)가 발생하면 잘 동작하지 않는다는 단점을 가지고 있다.
더 구체적으로, 영상에서의 특징 추출과 기술은 컴퓨터비전 분야에서 shape from motion, SLAM, 물체 검출, 물체 인식, 물체 추적, 장면 분류 등 다양한 분야에 활용된다. 이를 위하여 다양한 특징 검출기와 기술자가 제안되어 왔으며, 이들은 회전 변환, 크기 변환, 조명 변화에 강인하도록 개발되었다.
일반적으로 영상피라미드를 이용한 다중해상도 영상구조가 사용되어 영상 내에서 물체의 크기에 무관하게 특징 기술이 되며, 지역적인 영역에서 주요한 에지의 방향 등을 고려하여 물체의 회전에 강인하도록 설계된다. 수년 동안 높은 성능을 가지는 여러 종류의 특징 기술자가 개발되었다. 현재, SIFT 특징 기술자가 가장 보편적으로 사용되고 있으며, SIFT 특징 기술자는 방향성이 있는 영상 그래디언트(gradient)의 히스토그램을 이용하여 회전/크기 변환과 조명 변화에 강인한 특성을 가진다.
Mikolajczyk 등은 원형 샘플링 패턴을 이용하여 SIFT 특징 기술자의 성능을 향상시켰다. SURF 특징 기술자는 SIFT 특징 기술자와 유사한 특성을 가지나, 적분 영상(integral image) 및 이진 근사 필터를 이용한 정수 연산 기반의 고속 처리가 가능하다[비특허문헌 2]. LIOP 특징 기술자도 역시 회전 및 급격한 밝기 변화에 강인한 특성을 지닌다[비특허문헌 3]. Calonder 등은 BRIEF라고 불리는 고속의 이진 기술자를 개발하였다[비특허문헌 4]. BRIEF 특징 기술자는 영상 화소의 패치(patch)로부터 가우시안 샘플링에 기반하여 문자열을 추출하며 해밍 거리(Hamming distance)를 이용하여 기술자간의 거리를 고속으로 계산한다. 또한, 인간의 망막 구조를 모방하여 이진 특징 기술자인 FREAK가 Alahi 등에 의해 개발되었다[비특허문헌 5]. FREAK에서는 망막 샘플링 패턴에 따라 가우시안 차분 함수(difference-of-Gaussian(DoG) function)를 순차적으로 적용하여 강인한 이진 기술자를 구성한다.
그러나 현재까지 중요한 문제가 해결되지 않고 있다. 즉, 영상에서 눈에 띄는 수준의 블러(blur)가 발생할 때 기존 특징 기술자들의 성능은 특징 정합, 추적에서 현저하게 저하되며, 이러한 블러는 카메라 흔들림, 빠르게 움직이는 물체가 존재하는 경우와 같이 흔히 일어날 수 있는 상황이다. 기존의 특징 기술자들은 영상 블러를 고려하고 있지 않기 때문에, 영상 디블러링 알고리즘을 통해 영상을 개선한 후 특징 기술자를 추출하여야 한다. 그러나 이는 수행 시간이 많이 소요되고 또한 영상 디블러링이 일반적인 다양한 환경에서는 완벽하지 않기 때문에 좋은 방법이라고 할 수 없다. 기존의 물체 인식 및 텍스처 분석 알고리즘에서 블러 및 아핀(affine) 변환에 강인한 기법들이 제안되기는 했으나, 이러한 연구는 새로운 특징 기술자를 개발한 것은 아니다.
1. D. G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision 60, 91-110 (2004). 2. H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-up robust features," Computer Vision and Image Understanding 110, 346-359 (2008). 3. Z. Wang, B. Fan, and F. Wu, "Local intensity order pattern for feature description," Proc. of IEEE International Conference on Computer Vision, 603-610 (2011). 4. M. Calonder, V. Lepetit, C. Strecha, and P. Fua, "BRIEF: Binary robust independent elementary features," Proc. of European Conference on Computer Vision, 778-792 (2010). 5. A. Alahi, R. Ortiz, and P. Vandergheynst, "FREAK: Fast retina keypoint," Proc. of IEEE Conference on Computer Vision and Pattern Recognition, 510-517 (2012). 6. L. Xu, C. Lu, Y. Xu, and J. Jia, "Image smoothing via L0 gradient minimization," ACM Trans. on Graphics 30, 174 (2011). 7. L. Xu, S. Zheng, and J. Jia, "Unnatural L0 sparse representation for natural image deblurring," Proc. of IEEE Conference on Computer Vision and Pattern Recognition, 1107-1114 (2013).
실시예들은 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치에 관하여 기술하며, 보다 구체적으로 다중 방향으로의 적분 투영을 이용하여 영상 블러에 강인한 영상 특징 기술자를 생성하는 방법 및 장치에 관한 것이다.
실시예들은 네 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 네 개의 32차원 벡터를 생성하고, 이를 하나의 128차원 벡터로 병합하여 특징을 기술함으로써, 특징 정합 성능이 높은 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 영상 블러에 강인한 영상 특징 기술자 생성 방법은, 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화하는 단계; 정규화된 상기 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성하는 단계; 및 상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하는 단계를 포함한다.
여기서, 상기 지역 패치를 소정 크기로 정규화하는 단계는, 상기 지역 패치를 32x32의 크기로 정규화하는 단계를 포함하고, 상기 적분 투영하여 복수의 벡터를 생성하는 단계는, 0, 45, 90, 135도 방향의 네 방향으로 영상의 화소값들을 상기 적분 투영하여 네 개의 32차원 벡터를 생성하는 단계를 포함하며, 상기 특징 기술자를 생성하는 단계는, 상기 네 개의 32차원 벡터를 하나의 128차원 벡터로 병합하여 특징 기술자를 생성하는 단계를 포함할 수 있다.
그리고, 상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하기 이전에, 상기 복수의 적분 투영 벡터의 각 원소를 상기 적분 투영된 화소의 수로 나누어 정규화하는 단계; 및 밝기 변화에 강인한 상기 특징 기술자를 생성하기 위해 각 상기 복수의 적분 투영 벡터를 차분 벡터로 변환하는 단계를 더 포함할 수 있다.
상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하기 이전에, 상기 복수의 적분 투영 벡터의 각 원소를 절대값의 최대값으로 정규화하는 단계를 더 포함할 수 있다.
상기 특징 기술자를 생성하는 단계는, 회전 변환에 강인하도록, 상기 복수의 적분 투영 벡터 중 그래디언트(gradient)의 크기(magnitude)가 최대인 것을 포함하는 벡터를 시작 벡터로 선택하는 단계; 및 상기 복수의 적분 투영 벡터 중 상기 시작 벡터를 제외한 나머지 벡터를 상기 적분 투영 방향의 순서에 따라 정렬하여 상기 특징 기술자를 생성하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 블러에 강인한 영상 특징 기술자 생성 장치는, 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화하는 지역 패치 정규화부; 정규화된 상기 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성하는 적분 투영부; 및 상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하는 벡터 병합부를 포함하고, 상기 벡터 병합부는 회전 변환에 강인하도록 상기 복수의 적분 투영 벡터 중 그래디언트(gradient)의 크기(magnitude)가 최대인 것을 포함하는 벡터를 시작 벡터로 선택하고, 상기 복수의 적분 투영 벡터 중 상기 시작 벡터를 제외한 나머지 벡터를 상기 적분 투영 방향의 순서에 따라 정렬하여 상기 특징 기술자를 생성할 수 있다.
여기서, 상기 복수의 적분 투영 벡터의 각 원소를 상기 적분 투영된 화소의 수로 나누어 정규화하고, 밝기 변화에 강인한 상기 특징 기술자를 생성하기 위해 각 상기 복수의 적분 투영 벡터를 차분 벡터로 변환하며, 상기 복수의 적분 투영 벡터의 각 원소를 절대값의 최대값으로 정규화하는 벡터 정규화부를 더 포함할 수 있다.
실시예들에 따르면 네 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 네 개의 32차원 벡터를 생성하고, 이를 하나의 128차원 벡터로 병합하여 특징을 기술함으로써, 특징 정합 성능이 높은 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치를 제공할 수 있다.
또한, 실시예들에 따르면 영상 블러뿐 아니라 영상 회전과 밝기 변화에도 강인한 성능을 가지는 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치를 제공할 수 있다.
도 1은 일 실시예에 따른 특징 기술자의 생성 방법을 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 영상 블러에 강인한 영상 특징 기술자 생성 장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 영상 블러에 강인한 영상 특징 기술자 생성 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 특징 기술자의 성능 검증 실험에 사용된 영상의 예를 나타내는 도면이다.
도 5는 일 실시예에 따른 블러를 가지는 영상에 대한 특징 정합의 결과를 비교 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 영상의 회전에 대한 특징 기술자의 정합 성능을 비교 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 다양한 데이터셋과 영상 블러 종류에 대한 정량적 성능 분석 및 비교를 위해 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 실시예에 따르면 영상 블러(blur)에 강인한 새로운 특징 기술자에 관한 것으로, 네 방향(0, 45, 90, 135도)으로 영상의 화소값들을 적분 투영(integral projection)하여 네 개의 32차원 벡터를 생성하고, 이를 하나의 128차원 벡터로 병합하여 특징을 기술함으로써, 특징 정합 성능을 높일 수 있다. 그리고, 차분 벡터로 변환하여 밝기 변화에 강인한 특징 기술자를 생성할 수 있다. 여기서, 적분 투영은 영상에서 얼굴이나 눈의 경계를 찾거나 동영상에서 카메라의 전역적인 움직임을 찾는데 널리 사용된다.
실시예에 따른 특징 기술자는 선형(linear) 움직임 블러에 대해 설계되었지만, 비선형(nonlinear) 움직임 블러나 비초점(defocus) 블러 등 다른 종류의 블러에도 강인하게 동작함을 다양한 실험을 통해서 밝힐 수 있다. 또한 회전 변환에 강인하도록, 네 개의 적분 투영 벡터 중에서 가장 강한 에지 성분을 가지는 것을 첫 번째 시작 벡터로 선택할 수 있다.
아래에서는 다중 방향의 적분 투영을 이용한 블러에 강인한 특징 기술자를 제공하고 다양한 종류의 블러와 실험 영상에 대해 제안하는 특징 기술자가 우수한 성능을 보임을 실험적으로 증명할 수 있다. 또한, 적분 투영이 영상 블러에 무관함을 수학적으로 유도할 수 있다.
도 1은 일 실시예에 따른 특징 기술자의 생성 방법을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 우선 추출된 어떤 특징점을 중심으로 하는 지역 패치를 32×32의 크기로 정규화할 수 있다. 특징점 검출기로는 적절한 스케일 공간이 이용된다면 어떠한 종류의 크기가 불편한 검출기라도 사용이 가능하다.
다음으로는 0, 45, 90, 135도 방향으로 적분 투영을 수행한 후, 4개의 적분 벡터 A, B, C, D를 구성할 수 있다. 각각의 벡터는 정규화된 지역 패치의 크기와 같은 32차원으로 표현할 수 있다. 여기서, 대각선 방향의 적분 투영 벡터(B와 D)는 미리 정해진 샘플링 패턴을 이용해서 효율적으로 얻을 수 있다.
또한, 적분 투영된 화소의 수는 모두 같지 않기 때문에 적분 투영 벡터의 각 원소는 투영된 화소의 수로 나누어 정규화할 수 있다.
그리고 밝기 변화에 강인한 특징 기술자를 생성하기 위해 각 적분 투영 벡터는 자신의 중심 위치(16번째 원소)와의 차분으로 변환할 수 있다.
마지막으로 적분 투영 벡터의 각 원소의 절대값의 최대값으로 모든 원소를 정규화하여 각 원소가 [-1, 1]의 값을 가지도록 할 수 있다.
일 실시예에 따른 특징 기술자는 4개의 32차원 벡터의 조합으로 구성되며 전체적으로 128차원의 크기를 가질 수 있다. 이 때, 4개의 벡터의 순서는 패치 내부에 존재하는 가장 확실한 에지의 방향에 의해 결정될 수 있다. 만약 패치 내부에 뚜렷한 에지가 존재하는 경우, 그 에지와 평행한 방향으로 적분 투영을 한다면 에지가 적분 투영 벡터에 보존될 수 있다.
이에 따라 일 실시예에서는 4개의 후보 투영 벡터 중 그래디언트(gradient)의 크기(magnitude)가 최대인 것을 포함하는 벡터를 시작 벡터로 하고, 나머지 벡터는 투영 방향의 순서에 따라 정렬할 수 있다. 예를 들어, 도 1에서는 D 벡터가 최대 그래디언트 크기 성분을 가지므로, DABC의 순서로 네 개의 32차원 벡터를 연결하여 128차원의 최종 특징 기술자를 생성할 수 있다.
또한, 그래디언트를 구하기 전 L0 그래디언트 최소화 기법[비특허문헌 6]을 이용하여 평활화를 수행함으로써 투영 벡터에 존재할 수 있는 잡음을 억제하는 것도 가능하다. 이와 같이 생성된 특징 기술자는 물체의 회전에 강인한 특성을 가질 수 있다.
아래에서는 다중 적분 투영을 이용한 특징 기술자 생성 방법에 있어서, 움직임 블러 및 적분 투영에 대해 구체적으로 설명하기로 한다.
영상 블러는 블러(blur) 없는 원영상(latent image) f(x, y)와 점확산 함수(point spread function, PSF) h(x, y)의 콘볼루션으로 모델링되어 블러된 영상 g(x, y)를 생성할 수 있다. 디지털 영상에서는 영상과 PSF(point spread function)가 정수 좌표를 가지게 되고, PSF는 m×n의 커널로 표현될 수 있다. 이 때, 블러된 영상은 윈도우 패치 내부에서 신호들의 합으로 계산될 수 있으며, 다음 식과 같이 나타낼 수 있다.
Figure 112015059593427-pat00001
여기서, (nc, mc)는 블러 커널의 중심 좌표를 의미한다.
선형적인 가로방향 모션 블러에 대해서는, PSF가 다음 식과 같이 x축에 평행한 선분의 형태로 표현될 수 있다.
Figure 112015059593427-pat00002
여기서,
Figure 112015059593427-pat00003
와
Figure 112015059593427-pat00004
는 각각 델타 함수와 카메라 노출 시간을 의미한다.
수학식 1과 수학식 2로부터 관찰된 블러 영상은 다음 식과 같이 계산될 수 있다.
Figure 112015059593427-pat00005
한편, (x1, x2) 구간에서의 가로 방향의 적분 투영은 다음 식과 같이 표현할 수 있다.
Figure 112015059593427-pat00006
이산 영상의 경우, 수평 방향의 움직임 블러가 발생한 영상의 적분 투영은 다음 식과 같이 전개될 수 있다.
Figure 112015059593427-pat00007
수학식 5의 마지막 단계는 주변 신호와 평균된 신호의 합은 원래 신호의 합에 근사한다는 성질에 기반할 수 있다. 결과적으로, 블러된 영상의 적분 투영은 원영상의 적분 투영에 근사적으로 같다고 할 수 있다. 이에, 선형 움직임 PSF의 방향으로 적분 투영을 수행한 후 특징 기술자를 생성하면 블러에 강인할 것이라고 생각할 수 있다. 그러나 일반적인 경우 PSF의 방향은 항상 수평방향이 아니고 실제 PSF의 방향을 추정하기 어렵다.
따라서, 다중 방향으로의 적분 투영을 동시에 수행하여 PSF의 방향이 다중 방향 중 하나에 근사할 수 있도록 할 수 있다. 실제 구현 시에는 매 45도 방향의 적분 투영을 고려하지만 적분 투영은 180도 회전에 대칭이므로 실제로는 0, 45, 90, 135도의 네 방향의 적분 투영을 수행함으로써 구현될 수 있다.
도 2는 일 실시예에 따른 영상 블러에 강인한 영상 특징 기술자 생성 장치를 나타내는 블록도이다.
도 2를 참조하면, 영상 블러에 강인한 영상 특징 기술자 생성 장치(200)는 지역 패치 정규화부(210), 적분 투영부(220), 벡터 정규화부(230), 및 벡터 병합부(240)를 포함할 수 있다.
지역 패치 정규화부(210)는 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화할 수 있다. 예를 들어, 추출된 어떤 특징점을 중심으로 하는 지역 패치를 32×32의 크기로 정규화할 수 있다.
적분 투영부(220)는 정규화된 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성할 수 있다.
여기서, 적분 투영부(220)는 0도, 45도, 90도 그리고 135도 네 방향의 적분 투영을 이용하여 특징을 기술할 수 있으며, 이산 영상에서 가로 방향의 적분 투영 함수 수학식 5와 같이 정의될 수 있다. 적분 투영은 수학식 5에 도시된 바와 같이 임의의 범위 x1과 x2 사이의 모든 함수 값 f(x,y)의 합을 의미한다.
한편, 컴퓨터 비전 분야에서 일반적인 블러의 경우 원본 영상과 PSF(point spread function)간의 합성곱으로 표현될 수 있다. 이 때, 선형 움직임에 대한 PSF의 경우 직선으로 모델링 되고, 이러한 PSF에 의해 생성된 블러 영상에서 움직임의 방향과 동일한 방향의 적분 투영은 블러가 없는 영상에서의 적분 투영과 일치할 수 있다. 따라서, 이와 같은 적분 투영을 이용하여 특징을 기술할 경우 선형적인 움직임에 의한 블러에 강인한 특성을 가질 수 있다. 상기의 적분 투영 함수에 대해서는 앞에서 구체적으로 설명하였으므로 생략하기로 한다.
벡터 정규화부(230)는 복수의 적분 투영 벡터의 각 원소를 적분 투영된 화소의 수로 나누어 정규화할 수 있다.
또한, 벡터 정규화부(230)는 각각의 복수의 적분 투영 벡터를 차분 벡터로 변환함으로써, 밝기 변화에 강인한 특징 기술자를 생성할 수 있다. 그리고 복수의 적분 투영 벡터의 각 원소를 절대값의 최대값으로 정규화하는 벡터 정규화할 수 있다.
벡터 병합부(240)는 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성할 수 있다.
여기서, 벡터 병합부(240)는 복수의 적분 투영 벡터 중 그래디언트(gradient)의 크기(magnitude)가 최대인 것을 포함하는 벡터를 시작 벡터로 선택하고, 복수의 적분 투영 벡터 중 시작 벡터를 제외한 나머지 벡터를 적분 투영 방향의 순서에 따라 정렬하여 특징 기술자를 생성함으로써, 회전 변환에 강인한 특징 기술자를 생성할 수 있다.
이와 같이, 일 실시예에 따르면 네 방향(0, 45, 90, 135도)으로 영상의 화소값들을 적분 투영(integral projection)하여 네 개의 32차원 벡터를 생성하고, 이를 하나의 128차원 벡터로 병합하여 특징을 기술할 수 있다.
도 3은 일 실시예에 따른 영상 블러에 강인한 영상 특징 기술자 생성 방법을 나타내는 흐름도이다.
도 3을 참조하면, 도 2에서 설명한 영상 블러에 강인한 영상 특징 기술자 생성 장치(200)를 이용하여 영상 블러에 강인한 영상 특징 기술자 생성 방법을 구체적으로 설명할 수 있다. 이 때, 영상 블러에 강인한 영상 특징 기술자 생성 장치(200)는 지역 패치 정규화부(210), 적분 투영부(220), 벡터 정규화부(230), 및 벡터 병합부(240)를 포함할 수 있다.
단계(310)에서, 지역 패치 정규화부(210)는 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화할 수 있다. 일례로, 추출된 특정 특징점을 중심으로 지역 패치를 32x32의 크기로 정규화할 수 있다.
단계(320)에서, 적분 투영부(220)는 정규화된 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성할 수 있다. 일례로, 0, 45, 90, 135도 방향의 네 방향으로 영상의 화소값들을 적분 투영하여 네 개의 32차원 벡터를 생성할 수 있다.
한편, 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하기 이전에, 복수의 적분 투영 벡터의 각 원소를 적분 투영된 화소의 수로 나누어 정규화를 수행할 수 있다.
또한, 밝기 변화에 강인한 특징 기술자를 생성하기 위해 각 복수의 적분 투영 벡터를 차분 벡터로 변환할 수도 있다.
그리고, 복수의 적분 투영 벡터의 각 원소를 절대값의 최대값으로 정규화를 수행할 수도 있다.
마지막으로 단계(330)에서, 벡터 병합부(240)는 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성할 수 있다. 일례로, 네 개의 32차원 벡터를 연결하여 하나의 128차원 벡터로 병합함으로써 특징 기술자를 생성할 수 있다.
벡터 병합부(240)는 복수의 적분 투영 벡터 중 그래디언트(gradient)의 크기(magnitude)가 최대인 것을 포함하는 벡터를 시작 벡터로 선택할 수 있다. 이후, 복수의 적분 투영 벡터 중 시작 벡터를 제외한 나머지 벡터를 적분 투영 방향의 순서에 따라 정렬하여 특징 기술자를 생성함으로써, 회전 변환에 강인한 특징 기술자를 생성할 수 있다.
위에서 설명한 본 실시예에 따른 특징 기술자는 다양한 테스트 영상에 대해 성능을 검증하였고, 기존에 존재하는 주요 특징 기술자(SIFT[비특허문헌 1], SURF[비특허문헌 2], BRIEF[비특허문헌 3], FREAK[비특허문헌 5], LIOP[비특허문헌 4]와 성능 비교를 수행할 수 있다. 이러한 실험은 16GB의 메모리를 가지는 2.7GHz Intel Core i7 CPU를 이용하여 수행할 수 있다.
도 4는 일 실시예에 따른 특징 기술자의 성능 검증 실험에 사용된 영상의 예를 나타내는 도면이다.
도 4를 참조하면, 특징 기술자의 성능 검증 실험에 사용된 영상의 일부를 나타내는 예로, (a)는 선형 움직임 블러 커널에 의해 블러된 영상이고, (b)는 비선형 블러 커널에 의해 블러된 실험 영상이며, (c)는 비초점(defocus) 블러 커널에 의해 블러된 실험 영상이고, (d)는 밝기 변화가 존재하는 실험 영상을 나타낼 수 있다.
초기 특징점은 SURF 특징 기술자의 특징 추출 기법인 다중 스케일 DoG 검출기법을 이용하여 추출할 수 있다. 또한, LIOP 특징 기술자의 지역 패치 크기는 64×64로 정규화할 수 있다.
특징점 정합에는 문턱치 기반의 단순 매칭을 이용하며, 정밀성(precision)-재호출성(recall) 관계를 이용하여 특징 기술자를 이용한 특징 정합 성능을 정량적으로 측정할 수 있다.
블러 영상은 데이터셋을 이용하여 선형 움직임 블러 커널을 이용하여 합성할 수 있다. 이 때, 블러 커널은 10 화소에서 50 화소의 다양한 길이와 0, 15, 30, 45도의 다양한 방향을 가지도록 할 수 있다.
도 5는 일 실시예에 따른 블러를 가지는 영상에 대한 특징 정합의 결과를 비교 설명하기 위한 도면이다.
도 5를 참조하면 특징 정합 결과를 확인하기 위해, 예를 들어 15도와 30도 방향의 선형 움직임 블러를 가지는 영상에 대한 특징 정합 결과를 비교할 수 있다. 여기서, 도 5의 (a)는 일 실시예에 따른 영상 블러에 강인한 영상 특징 기술자(FAIP)를 나타낸다.
연두색 정합선은 옳은 정합(inlier)을 나타내고, 붉은색 대응선은 잘못된 정합(outlier)를 나타낼 수 있다. 각 특징 기술자의 성능은(정합(inlier)의 개수 / 잘못된 정합(outlier)의 개수)로 표현할 수 있다.
도 6은 일 실시예에 따른 영상의 회전에 대한 특징 기술자의 정합 성능을 비교 설명하기 위한 도면이다.
도 6을 참조하면, 특징 정합 결과를 확인하기 위해, 예를 들어 영상의 회전에 대한 특징 기술자의 정합 성능을 비교(정합(inlier)의 개수 / 잘못된 정합(outlier)의 개수)하여 나타낼 수 있다. 여기서, 도 6의 (a)는 일 실시예에 따른 영상 블러에 강인한 영상 특징 기술자(FAIP)이고, (b)는 SIFT 특징 기술자를 나타낸다.
이와 같이 도 5 및 도 6은 특징 정합의 전형적인 실험 결과로, 일 실시예에 따른 특징 기술자는 다른 특징 기술자에 비해 훨씬 많은 정합(inlier)의 개수와 훨씬 적은 잘못된 정합(outlier)의 개수를 보이는 것을 확인할 수 있다. 여기서, 정합(inlier)과 잘못된 정합(outlier)은 각각 옳은 정합과 옳지 않은 정합을 의미한다.
도 7은 일 실시예에 따른 다양한 데이터셋과 영상 블러 종류에 대한 정량적 성능 분석 및 비교를 위해 나타내는 도면이다.
도 7을 참조하면, 다양한 실험 환경에서의 정량적인 성능 비교를 도표로서 나타내었으며, 각 그래프의 아래에는 데이터셋(dataset)의 이름, PSF의 종류, 그리고 PSF의 길이가 구분 기재되어 있다.
각 도표에서 가로축은 1-정밀성(precision)을, 세로축은 재호출성(recall) 값을 의미한다. 도표에서 높은 값을 가질수록 더 좋은 성능을 가짐을 의미하며, 대부분의 경우 본 실시예에 따른 특징 기술자가 보다 우수한 성능을 가지고 있음이 실험적으로 증명되었다.
블러된 영상에서는 그래디언트의 방향을 정확히 측정하기 어려우므로 SIFT와 SURF 특징 기술자의 성능은 급격히 열화되는 것을 확인할 수 있다. 또한, 영상 블러는 그래디언트 방향 히스토그램의 분별력을 감소시킬 수 있다.
BRIEF 특징 기술자의 경우 도 7의 첫 번째 열에 도시된 바와 같이, PSF의 길이가 10 화소 이내일 경우에는 성능을 유지하지만, 10화소 이상의 경우에는 화소 밝기의 차이가 심하게 바뀌므로 성능이 열화되는 것을 확인할 수 있다.
LIOP 특징 기술자 역시 그래디언트의 방향뿐 아니라 인접 화소간 밝기 차이를 이용하기 때문에 영상에 블러가 발생하는 경우 그 성능이 열화된다.
도 7의 마지막 열은 30 화소 길이의 PSF에 대해 Xu의 디블러링 알고리즘[비특허문헌 7]을 적용하여 영상을 디블러링 한 후 특징 정합 성능을 비교하여 나타낸 것이다. 본 실시예에 따른 특징 기술자는 영상 디블러링을 다른 특징 기술자에 적용시켰을 때에 비해서도 우수한 성능을 보이며, 이는 영상 디블러링이 일반적으로는 완벽한 결과를 제시하지 못하기 때문이다.
도 7의 마지막 행은 비선형 블러 및 비초점 블러가 발생한 경우에도 본 실시예에 따른 특징 기술자가 우수한 성능을 보이고 있음을 나타낸다. 비선형 블러는 boat 영상과 picasso 영상을 이용하여 생성되었으며, 이 때 블러가 없는 원영상이 데이터셋에 존재하지 않으므로, 이는 Xu의 알고리즘[비특허문헌 7]을 이용하여 생성할 수 있다.
표 1은 특징 기술자의 생성 시간을 비교(1000개의 특징점에 대한 정규화)하여 나타낼 수 있다.
Figure 112015059593427-pat00008
표 1을 참조하면, 1000개의 특징점에 대해 본 실시예에 따른 특징 기술자와 기존의 특징 기술자의 생성 시간을 비교할 수 있다. 본 실시예에 따른 특징 기술자는 SIFT, SURF, LIOP 특징 기술자에 비해 보다 빠른 생성 시간을 보이는 것을 확인할 수 있다.
이진 특징 기술자인 BRIEF와 FREAK 특징 기술자의 경우, 본 실시예에 따른 특징 기술자보다 빠른 생성 시간을 보이지만 그 차이가 크지 않으므로 실용적인 관점에서는 큰 차이가 없다고 할 수 있다.
본 실시예는 영상 블러에 강인한 특징 기술자를 제안하는 것으로, 네 가지 다중 방향으로의 적분 투영을 이용하여 128차원의 특징 기술자를 생성할 수 있다. 다양한 영상에 대한 성능 실험 결과, 기존의 특징 기술자에 비해 영상에 블러가 존재하는 경우 현저히 향상된 성능을 보이는 것을 확인할 수 있다. 또한, 영상 블러뿐 아니라 영상 회전과 밝기 변화에도 강인한 성능을 보이는 것을 확인할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 삭제
  2. 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화하는 단계;
    정규화된 상기 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성하는 단계; 및
    상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하는 단계
    를 포함하고,
    상기 지역 패치를 소정 크기로 정규화하는 단계는,
    상기 지역 패치를 32x32의 크기로 정규화하는 단계를 포함하고,
    상기 적분 투영하여 복수의 벡터를 생성하는 단계는,
    0, 45, 90, 135도 방향의 네 방향으로 영상의 화소값들을 상기 적분 투영하여 네 개의 32차원 벡터를 생성하는 단계를 포함하며,
    상기 특징 기술자를 생성하는 단계는,
    상기 네 개의 32차원 벡터를 하나의 128차원 벡터로 병합하여 특징 기술자를 생성하는 단계를 포함하는 영상 블러에 강인한 영상 특징 기술자 생성 방법.
  3. 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화하는 단계;
    정규화된 상기 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성하는 단계;
    상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하기 이전에, 상기 복수의 적분 투영 벡터의 각 원소를 상기 적분 투영된 화소의 수로 나누어 정규화하는 단계;
    밝기 변화에 강인한 상기 특징 기술자를 생성하기 위해 각 상기 복수의 적분 투영 벡터를 차분 벡터로 변환하는 단계; 및
    상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하는 단계
    를 포함하는 영상 블러에 강인한 영상 특징 기술자 생성 방법.
  4. 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화하는 단계;
    정규화된 상기 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성하는 단계;
    상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하기 이전에, 상기 복수의 적분 투영 벡터의 각 원소를 절대값의 최대값으로 정규화하는 단계; 및
    상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하는 단계
    를 포함하는 영상 블러에 강인한 영상 특징 기술자 생성 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 특징 기술자를 생성하는 단계는,
    회전 변환에 강인하도록, 상기 복수의 적분 투영 벡터 중 그래디언트(gradient)의 크기(magnitude)가 최대인 것을 포함하는 벡터를 시작 벡터로 선택하는 단계; 및
    상기 복수의 적분 투영 벡터 중 상기 시작 벡터를 제외한 나머지 벡터를 상기 적분 투영 방향의 순서에 따라 정렬하여 상기 특징 기술자를 생성하는 단계
    를 포함하는 영상 블러에 강인한 영상 특징 기술자 생성 방법.
  6. 삭제
  7. 추출된 특정 특징점을 중심으로 하는 지역 패치를 소정 크기로 정규화하는 지역 패치 정규화부;
    정규화된 상기 지역 패치를 다중 방향으로 영상의 화소값들을 적분 투영(integral projection)하여 복수의 적분 투영 벡터를 생성하는 적분 투영부;
    상기 복수의 적분 투영 벡터의 각 원소를 상기 적분 투영된 화소의 수로 나누어 정규화하고, 밝기 변화에 강인한 특징 기술자를 생성하기 위해 각 상기 복수의 적분 투영 벡터를 차분 벡터로 변환하며, 상기 복수의 적분 투영 벡터의 각 원소를 절대값의 최대값으로 정규화하는 벡터 정규화부; 및
    상기 복수의 적분 투영 벡터를 하나의 벡터로 병합하여 특징 기술자를 생성하는 벡터 병합부
    를 포함하고,
    상기 벡터 병합부는
    회전 변환에 강인하도록 상기 복수의 적분 투영 벡터 중 그래디언트(gradient)의 크기(magnitude)가 최대인 것을 포함하는 벡터를 시작 벡터로 선택하고, 상기 복수의 적분 투영 벡터 중 상기 시작 벡터를 제외한 나머지 벡터를 상기 적분 투영 방향의 순서에 따라 정렬하여 상기 특징 기술자를 생성하는 것
    을 특징으로 하는 영상 블러에 강인한 영상 특징 기술자 생성 장치.
KR1020150087511A 2015-06-19 2015-06-19 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치 KR101627974B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150087511A KR101627974B1 (ko) 2015-06-19 2015-06-19 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150087511A KR101627974B1 (ko) 2015-06-19 2015-06-19 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101627974B1 true KR101627974B1 (ko) 2016-06-14

Family

ID=56191950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150087511A KR101627974B1 (ko) 2015-06-19 2015-06-19 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101627974B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373483B1 (ko) * 2020-11-19 2022-03-11 엘아이지넥스원 주식회사 딥러닝을 이용한 고속 영상 블러 제거 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023678A (ko) * 1999-02-05 2004-03-18 삼성전자주식회사 영상 텍스쳐 추출 방법 및 그 장치
US20090310872A1 (en) * 2006-08-03 2009-12-17 Mitsubishi Denki Kabushiki Kaisha Sparse integral image descriptors with application to motion analysis
US20120200725A1 (en) * 2011-02-03 2012-08-09 Tessera Technologies Ireland Limited Autofocus Method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023678A (ko) * 1999-02-05 2004-03-18 삼성전자주식회사 영상 텍스쳐 추출 방법 및 그 장치
US20090310872A1 (en) * 2006-08-03 2009-12-17 Mitsubishi Denki Kabushiki Kaisha Sparse integral image descriptors with application to motion analysis
US20120200725A1 (en) * 2011-02-03 2012-08-09 Tessera Technologies Ireland Limited Autofocus Method

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
1. D. G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision 60, 91-110 (2004).
2. H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-up robust features," Computer Vision and Image Understanding 110, 346-359 (2008).
3. Z. Wang, B. Fan, and F. Wu, "Local intensity order pattern for feature description," Proc. of IEEE International Conference on Computer Vision, 603-610 (2011).
4. M. Calonder, V. Lepetit, C. Strecha, and P. Fua, "BRIEF: Binary robust independent elementary features," Proc. of European Conference on Computer Vision, 778-792 (2010).
5. A. Alahi, R. Ortiz, and P. Vandergheynst, "FREAK: Fast retina keypoint," Proc. of IEEE Conference on Computer Vision and Pattern Recognition, 510-517 (2012).
6. L. Xu, C. Lu, Y. Xu, and J. Jia, "Image smoothing via L0 gradient minimization," ACM Trans. on Graphics 30, 174 (2011).
7. L. Xu, S. Zheng, and J. Jia, "Unnatural L0 sparse representation for natural image deblurring," Proc. of IEEE Conference on Computer Vision and Pattern Recognition, 1107-1114 (2013).

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373483B1 (ko) * 2020-11-19 2022-03-11 엘아이지넥스원 주식회사 딥러닝을 이용한 고속 영상 블러 제거 방법 및 장치

Similar Documents

Publication Publication Date Title
US10719731B2 (en) Robust feature identification for image-based object recognition
Hannuna et al. DS-KCF: a real-time tracker for RGB-D data
Zheng et al. Fusion of block and keypoints based approaches for effective copy-move image forgery detection
JP4838532B2 (ja) マルチスケールの有向パッチ（ｍｕｌｔｉ−ｓｃａｌｅｏｒｉｅｎｔｅｄｐａｔｃｈｅｓ）を使用したマルチ画像特徴（ｆｅａｔｕｒｅ）のマッチング
CN104978709B (zh) 描述符生成方法及装置
US9773159B2 (en) Method and apparatus for extracting image feature
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
Alcantarilla et al. Gauge-SURF descriptors
US20080317383A1 (en) Adaptive Point-Based Elastic Image Registration
US20140226906A1 (en) Image matching method and apparatus
WO2014087652A1 (ja) 画像処理装置及び画像処理方法
EP2808828B1 (en) Image matching method, image matching device, model template generation method, model template generation device, and program
Oszust No-reference image quality assessment using image statistics and robust feature descriptors
JP6997369B2 (ja) プログラム、測距方法、及び測距装置
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
Al-asadi et al. Object detection and recognition by using enhanced speeded up robust feature
US9342753B2 (en) Image processing apparatus, image processing method, and computer program product
Norouzi et al. A hybrid feature extraction method for SAR image registration
CN114120138A (zh) 一种遥感影像目标检测识别方法、装置、设备及介质
KR102369413B1 (ko) 영상 처리 장치 및 방법
US8891879B2 (en) Image processing apparatus, image processing method, and program
KR101627974B1 (ko) 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치
JP4983539B2 (ja) 情報処理装置および方法、並びにプログラム
Chang et al. A single image deblurring algorithm for nonuniform motion blur using uniform defocus map estimation
KR101853211B1 (ko) 모바일 gpu 환경에서 차영상 정보를 이용한 sift 알고리즘의 복잡도 감소 기법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 4