KR101127793B1 - 이미지 인식 시스템 및 그 제공방법 - Google Patents

이미지 인식 시스템 및 그 제공방법 Download PDF

Info

Publication number
KR101127793B1
KR101127793B1 KR1020110000482A KR20110000482A KR101127793B1 KR 101127793 B1 KR101127793 B1 KR 101127793B1 KR 1020110000482 A KR1020110000482 A KR 1020110000482A KR 20110000482 A KR20110000482 A KR 20110000482A KR 101127793 B1 KR101127793 B1 KR 101127793B1
Authority
KR
South Korea
Prior art keywords
image
descriptor
descriptors
key point
input
Prior art date
Application number
KR1020110000482A
Other languages
English (en)
Inventor
박현근
Original Assignee
위드로봇 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 위드로봇 주식회사 filed Critical 위드로봇 주식회사
Priority to KR1020110000482A priority Critical patent/KR101127793B1/ko
Application granted granted Critical
Publication of KR101127793B1 publication Critical patent/KR101127793B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

이미지 인식 시스템 및 그 제공방법이 개시된다. 상기 이미지 인식 시스템 제공방법은 이미지 인식 시스템이 레퍼런스(reference) 이미지에서 키 포인트를 추출하는 단계, 추출된 상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 방향이 서로 다른 (N - 1) 개의 방향 변환 리즌 이미지를 생성하는 단계, 및 상기 원본 리즌 이미지 및 생성된 (N-1)개의 방향 변환 리즌 이미지 각각에 기초하여 생성된 N 개의 디스크립터(descriptor)를 소정의 디스크립터 DB에 저장하는 단계를 포함하며, 상기 이미지 인식 시스템은 인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터를 생성하고, 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하여 상기 인풋 이미지와 상기 레퍼런스 이미지를 매칭하는 것을 특징으로 한다.

Description

이미지 인식 시스템 및 그 제공방법{System for image recognition and providing method thereof}
본 발명은 이미지 인식 시스템 및 그 제공방법에 관학 것으로, 보다 상세하게는 SIFT(Scale Invariant Feature Transform) 알고리즘을 보다 빠른 시간 내에 수행할 수 있는 방법 및 그 시스템에 관한 것이다.
SIFT(Scale Invariant Feature Transform) 알고리즘이 공지되어 있다. SIFT 알고리즘은 이미지에 포함된 특정 피쳐(feature)를 인식하거나 검색하는 알고리즘으로 컴퓨터 비젼(computer vision) 분야에서는 널리 알려져 있는 알고리즘이다.
SIFT 알고리즘은 1999년에 David Lowe에 의해 제안된 알고리즘으로, 논문 "Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp. 1150-1157. doi:10.1109/ICCV.1999.790410" 및 "Lowe, D. G., “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004" 등에 의해 공지된바 있다. 상기의 논문들은 본 명세서의 레퍼런스로 포함될 수 있다.
상기 논문들에 공지되어 있다시피, SIFT 알고리즘은 소정의 피쳐들을 스케일 및 오리엔테이션에 무관하게 인식할 수 있는 알고리즘이다. SIFT 알고리즘에 대해서는 상기 논문들에 상세히 공지되어 있으므로 간략히만 설명하면 다음과 같다.
도 1은 종래의 SIFT 알고리즘을 개략적으로 설명하기 위한 플로우 챠트를 나타낸다. 또한, 도 2는 종래의 SIFT 알고리즘을 통해 피쳐 또는 오브젝트(object)가 인식되는 결과를 나타내는 도면이다.
도 1 및 도 2를 참조하면, SIFT 알고리즘(또는 이를 수행하는 데이터 프로세싱 장치)은 먼저 레퍼런스 이미지(1)에서 소정의 키 포인트를 추출한다(S10). 상기 키 포인트는 소정의 이미지에서 특징적인 포인트를 나타내며, 스케일에 인배리언트(invariant)한 포인트이다. 즉, 상기 레퍼런스 이미지(1)의 스케일이 커지거나 줄어들더라도 상기 키 포인트는 동일하게 추출될 수 있다. 상기 키 포인트를 추출하는 방법에 대해서는 상기 논문들에 상세히 설명되어 있으므로 본 명세서에서는 상세한 설명은 생략하도록 한다.
또한, 상기 SIFT 알고리즘은 추출된 키 포인트별로 오리엔테이션(orientation)을 결정할 수 있다(S11).
그리고 오리엔테이션이 결정되면, 각각의 키 포인트에 대한 디스크립터(descriptor)를 생성할 수 있다(S13). 상기 디스크립터는 상기 키 포인트를 인식할 수 있는 정보일 수 있다. 이때 종래의 SIFT 알고리즘에서는 상기 디스크립터를 생성하기 위해, 키 포인트를 포함하는 소정의 바운더리(boundary) 즉, 리즌(region) 이미지를 오리엔테이션에 따라 회전시키는 작업을 선행하여야만 한다(S12). 따라서, 레퍼런스 이미지(1) 또는 찾고자 하는 피쳐(2 또는 3)가 소정의 방향으로 회전하더라도 키 포인트는 오리엔테이션에 인배리언트한 특성을 가질 수 있게 된다.
이러한 방식으로 종래의 SIFT 알고리즘은 모든 키 포인트에 대해 디스크립터를 생성하기 전에 각각의 키 포인트에 대한 오리엔테이션을 결정하고, 결정된 오리엔테이션을 이용하여 소정의 리즌 이미지를 회전하는 작업을 수행하여야 한다.
그리고 이를 통해 모든 키 포인트에 대한 디스크립터가 생성되면, 생성된 디스크립터를 소정의 디스크립터 DB에 저장한다(S14).
그 후, 상기 SIFT 알고리즘은 상기 레퍼런스 이미지에서 찾고자 하는 피쳐(2 또는 3, '이하 인풋(input) 이미지')에 대해 동일한 과정을 수행한다. 즉, 인풋 이미지(2 또는 3)의 키 포인트 즉, 인풋 키 포인트를 추출하고(S15), 추출된 인풋 키 포인트의 디스크립터 즉, 인풋 디스크립터를 생성하기 위해(S18), 상기 인풋 키 포인트의 오리엔테이션을 결정하며(S16), 결정된 오리엔테이션에 따라 상기 인풋 키 포인트를 포함하는 리즌 이미지를 회전시켜야 한다(S17).
이러한 과정을 통해 인풋 디스크립터가 생성되면(S18), 상기 SIFT 알고리즘은 디스크립터 DB에 저장된 디스크립터들과 상기 인풋 디스크립터를 매칭하여(S19) 상기 레퍼런스 이미지(1)에 포함된 상기 인풋 이미지 또는 피쳐를 인식할 수 있다. 그 결과는 이미지(4)에 도시된 바와 같을 수 있다.
이와 같이 종래의 SIFT 알고리즘은 소정의 레퍼런스 이미지에서 인풋 이미지에 포함된 소정의 피쳐 또는 오브젝트를 인식하고 검출하는데 뛰어난 성능을 보인다. 하지만, 상기 논문들에 개시된 바와 같이 상기 SIFT 알고리즘은 레퍼런스 이미지 및 인풋 이미지의 모든 키 포인트에 대해 오리엔테이션 결정(orientation assignment)을 수행하여야만 했다.
도 3 내지 도 6은 종래의 SIFT 알고리즘에서 오리엔테이션 결정 과정을 개략적으로 설명하기 위한 도면이다.
도 3 내지 도 6에 도시된 바와 같은 오리엔테이션 결정방식도 상기 논문들에 상세히 개시되어 있으므로 간략히만 설명하면 다음과 같다. 먼저 도 3을 참조하면, SIFT 알고리즘은 소정의 이미지에서 특정 키 포인트가 추출되면, 상기 추출된 키 포인트(예컨대, 11)를 포함하는 소정의 리즌 이미지(10)를 결정할 수 있다. 그러면, 도 4에 도시된 바와 같이, 상기 리즌 이미지(10)는 상기 키 포인트와 가장 가까운 스케일로 표현되는 가우시안 이미지(Gaussian image or Gaussian smoothed image)로 표현될 수 있고, 상기 가우시안 이미지의 각각의 픽셀의 그래디언트 차이에 그래디언트 매그니튜드(gradient magnitude) 및 그래디언트 오리엔테이션(gradient orientation)이 계산될 수 있다. 그러면, 도 5에 도시된 바와 같이 계산된 그래디언트 매그니튜드에 소정의 웨이트(weight)가 적용된 결과와 그래디언트 오리엔테이션을 이용하여 히스토그램(histogram)을 생성하게 된다. 상기 히스토그램은 360도를 36개의 빈(bin)으로 구분하고, 각각의 빈에 해당하는 오리엔테이션 벡터들의 가중 그래디언트 매그니튜드의 합에 따라 그래프를 생성할 수 있다. 그러면 도 6에 도시된 바와 같이 가장 높은 피크를 검색하고, 검색된 피크의 80% 값이 다른 어떤 피크보다 큰 경우 상기 피크에 해당하는 각도를 해당 키 포인트의 오리엔테이션으로 결정하게 된다.
이러한 오리엔테이션 결정은 각 키 포인트에 해당하는 리즌 이미지마다 그래디언트(gradient)를 계산하고, 계산된 그래디언트에 해당하는 벡터를 생성하며, 히스토그램을 생성하는 과정을 수행하여야 한다.
또한, 소정의 피크를 찾고, 찾아진 피크에 따라 해당 키 포인트의 오리엔테이션이 결정되면, 키 포인트의 리즌 이미지를 결정된 오리엔테이션을 참조하여 표준화된 각도(예컨대, 0도)로 회전시키는 작업을 수행하여야 상기 키 포인트의 디스크립터를 생성할 수 있었다. 그리고, 이러한 이미지 회전은 삼각함수들로 이루어진 이차원행렬에 의해 상기 이미지에 포함된 모든 픽셀에 대해 수행되어야 하므로 연산 로드가 매우 큰 작업에 해당한다.
따라서, 종래의 SIFT 알고리즘에서 키 포인트별 오리엔테이션 결정(assignment) 및 이에 따라 키 포인트에 해당하는 리즌 이미지의 회전은 SIFT 알고리즘의 속도와 성능에 지배적인 영향을 미치고, 연산 속도의 저하를 일으키는 주요한 원인 중 하나였다.
따라서, SIFT 알고리즘을 이용하면서도 오리엔테이션 결정과정을 수행하지 않아서 연산의 처리속도를 높일 수 있는 방법 및 시스템이 요구된다.
따라서, 본 발명의 실시 예에 따른 이미지 인식 시스템 및 그 제공방법은 SIFT 알고리즘을 이용하면서도 오리엔테이션 결정과정을 수행하지 않아서 연산의 처리속도를 높일 수 있는 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 이미지 인식 시스템 제공방법은 이미지 인식 시스템이 레퍼런스(reference) 이미지에서 키 포인트를 추출하는 단계, 추출된 상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 방향이 서로 다른 (N - 1) 개의 방향 변환 리즌 이미지를 생성하는 단계, 및 상기 원본 리즌 이미지 및 생성된 (N-1)개의 방향 변환 리즌 이미지 각각에 기초하여 생성된 N 개의 디스크립터(descriptor)를 소정의 디스크립터 DB에 저장하는 단계를 포함하며, 상기 이미지 인식 시스템은 인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터를 생성하고, 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하여 상기 인풋 이미지와 상기 레퍼런스 이미지를 매칭하는 것을 특징으로 한다.
상기 원본 리즌 이미지 및 상기 방향 변환 리즌 이미지 각각은 m × m 서브 리즌을 포함하고, 상기 N 개의 디스크립터 각각은 상기 서브 리즌의 이미지 그래디언트(gradient)를 표현하기 위한 서로 다른 방향을 갖는 D 개의 벡터에 대한 정보를 m × m 개 포함하는 것을 특징으로 할 수 있다.
상기 원본 리즌 이미지 및 상기 (N-1) 개의 방향 변환 리즌 이미지 각각은 서로 (360/N)°만큼 방향이 변환된 이미지인 것을 특징으로 할 수 있다.
상기 N은 상기 D와 동일한 값을 갖는 것을 특징으로 할 수 있으며, 8 일 수 있다.
상기 기술적 과제를 해결하기 위한 이미지 인식 시스템 제공방법은 이미지 인식 시스템이 SIFT 알고리즘을 적용하기 위해 레퍼런스(reference) 이미지의 키 포인트를 추출하는 단계, 상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 상기 키 포인트의 오리엔테이션을 결정하지 않은 상태에서 상기 키 포인트의 원본 디스크립터를 생성하는 단계, 및 생성된 상기 원본 디스크립터에 대해 방향이 (360/N)°만큼 변환된 (N-1)개의 변환 디스크립터를 생성하고, 상기 원본 디스크립터와 상기 (N-1)개의 변환 디스크립터를 소정의 디스크립터 DB에 저장하는 단계를 포함하며, 상기 이미지 인식 시스템은 인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터를 생성하고, 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하여 상기 인풋 이미지와 상기 레퍼런스 이미지를 매칭하는 것을 특징으로 할 수 있다. 상기 이미지 인식 시스템 제공방법은 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
상기 기술적 과제를 해결하기 위한 이미지 인식 시스템은 레퍼런스(reference) 이미지의 키 포인트를 추출하기 위한 키 포인트 추출모듈, 추출된 상기 키 포인트 각각에 대해 N 개의 디스크립터를 생성하기 위한 디스크립터 생성모듈, 상기 디스크립터 생성모듈에 의해 생성된 디스크립터들을 저장하는 디스크립터 DB, 및 인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하기 위한 제어모듈을 포함하며, 상기 디스크립터 생성모듈은 상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 방향이 서로 다른 (N - 1) 개의 방향 변환 리즌 이미지를 생성하고, 상기 원본 리즌 이미지 및 생성된 (N-1)개의 방향 변환 리즌 이미지 각각에 기초하여 상기 N 개의 디스크립터(descriptor)를 생성하는 것을 특징으로 한다.
상기 원본 리즌 이미지 및 상기 방향 변환 리즌 이미지 각각은 m × m 서브 리즌을 포함하고, 상기 N 개의 디스크립터 각각은 상기 서브 리즌의 이미지 그래디언트(gradient)를 표현하기 위한 서로 다른 방향을 갖는 D 개의 벡터에 대한 정보를 m × m 개 포함하는 것을 특징으로 할 수 있다.
상기 N은 상기 D와 동일한 값을 갖는 것을 특징으로 할 수 있다.
상기 기술적 과제를 해결하기 위한 이미지 인식 시스템은 레퍼런스(reference) 이미지의 키 포인트를 추출하기 위한 키 포인트 추출모듈, 추출된 상기 키 포인트 각각에 대해 N 개의 디스크립터를 생성하기 위한 디스크립터 생성모듈, 상기 디스크립터 생성모듈에 의해 생성된 디스크립터들을 저장하는 디스크립터 DB, 및 인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하기 위한 제어모듈을 포함하며, 상기 디스크립터 생성모듈은 상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 오리엔테이션을 결정하지 않은 상태에서 원본 디스크립터를 생성하고, 생성된 상기 원본 디스크립터에 대해 방향이 (360/N)°만큼 변환된 (N-1)개의 변환 디스크립터를 생성하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 인식 시스템 및 그 제공방법은 SIFT 알고리즘을 이용하면서도 모든 키 포인트별로 수행되던 오리엔테이션 결정과정을 수행하지 않아도 되므로 연산속도를 현저히 높일 수 있는 효과가 있다.
또한, 오리엔테이션 결정과정을 수행하는 대신 리즌 이미지별로 N-1 개의 변환 리즌 이미지를 생성하고, 생성된 변환 리즌 이미지에 대한 디스크립터를 생성하는 추가 과정이 수행되어야 하는데, 성능과 속도의 트레이드 오프를 합리적으로 조율할 수 있는 변환 리즌 이미지의 생성 개수를 제공하는 효과가 있다.
또한, 키 포인트의 디스크립터 자체를 이용하여 소정의 각도로 회전된 변환 디스크립터를 생성하고, 이를 통해 이미지를 매칭하는 경우, 이미지 인식 또는 인식 성능은 다소 열화되더라도 훨씬 빠른 연산 속도를 얻을 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 종래의 SIFT 알고리즘을 개략적으로 설명하기 위한 플로우 챠트를 나타낸다.
도 2는 종래의 SIFT 알고리즘을 통해 피쳐 또는 오브젝트(object)가 인식되는 결과를 나타내는 도면이다.
도 3 내지 도 6은 종래의 SIFT 알고리즘에서 오리엔테이션 결정 과정을 개략적으로 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 이미지 인식 시스템의 개략적인 구성을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법을 개략적으로 설명하기 위한 플로우 챠트를 나타낸다.
도 9는 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에서 하나의 키 포인트에 대해 N 개의 디스크립터를 생성하는 방법을 개략적으로 설명하기 위한 플로우 챠트를 나타낸다.
도 10은 본 발명의 다른 실시 예에 따라 N 개의 디스크립터를 생성하는 방법을 개략적으로 설명하기 위한 플로우 챠트를 나타낸다.
도 11은 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의해 키 포인트의 디스크립터를 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의해 방향 변환 리즌 이미지를 생성하는 과정을 설명하기 위한 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다.
반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 7은 본 발명의 실시 예에 따른 이미지 인식 시스템의 개략적인 구성을 나타내는 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 이미지 인식 시스템(100)은 제어모듈(110), 키포인트 추출모듈(120), 디스크립터 생성모듈(130), 및 디스크립터 DB(140)를 포함한다.
상기 이미지 인식 시스템(100)은 본 발명의 기술적 사상에 따른 이미지 인식 시스템 제공방법을 수행할 수 있는 소정의 데이터 프로세싱 장치(예컨대, 컴퓨터, 서버, 또는 모바일 단말기 등)로 구현될 수 있다.
이를 위해 상기 이미지 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 이미지 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 이미지 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
먼저, 상기 키포인트 추출모듈(120)은 소정의 이미지로부터 키포인트(key point)를 추출할 수 있다. 상기 키포인트 추출모듈(120)이 소정의 이미지로부터 키포인트를 추출하는 방식은 종래의 SIFT 알고리즘을 개시하고 있는 상기의 논문들에 상세히 개시되어 있으므로 본 명세서에서는 상세한 설명은 생략하도록 한다. 즉, 상기 키포인트 추출모듈(120)은 상기의 논문들과 같이 스케일 스페이스 익스트리마(scale-space extrema)를 검출하고, 키포인트 로컬라이제이션(keypoint localization)을 통해 소정의 이미지에서 적어도 하나의 키포인트를 추출할 수 있다. 상기 키포인트 추출모듈(120)은 레퍼런스 이미지에서 적어도 하나의 키포인트를 추출할 수 있고, 또한 인풋 이미지에서 적어도 하나의 인풋 키포인트를 추출할 수 있다.
상기 키포인트 추출모듈(120)에 의해 추출된 키포인트는 스케일 인베리언스(scale invariance)를 갖지만, 종래의 SIFT 알고리즘에서와는 달리 오리엔테이션 인베리언스(orientaion invariance)를 가지지 않을 수 있다. 이는 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에서는 키포인트의 오리엔테이션 결정을 수행하지 않기 때문일 수 있다. 이에 대해서는 후술하도록 한다.
상기 디스크립터 생성모듈(130)은 상기 키포인트 추출모듈(120)에 의해 추출된 키포인트 각각에 대해 N 개의 디스크립터를 생성할 수 있다. 즉, 상기 디스크립터 생성모듈(130)은 종래의 SIFT 알고리즘에서 한 개의 키포인트에 대해 하나의 디스크립터를 생성하는 것과는 달리 N 개의 디스크립터를 생성할 수 있다. 상기 N 개의 디스크립터 각각은 서로 다른 그래디언트 오리엔테이션 특성을 가질 수 있는데, 이에 대해서는 후술하도록 한다. 상기 디스크립터 생성모듈(130)은 레퍼런스 이미지에 대해서는 N 개의 디스크립터를 생성하지만, 인풋 이미지에 대해서는 1개의 키포인트에 대해 하나의 디스크립터만을 생성할 수 있다.
상기 디스크립터 DB(140)는 상기 디스크립터 생성모듈(130)에 의해 생성된 디스크립터들을 저장할 수 있다. 본 명세서에서 DB(DataBase)라 함은, 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함하는 의미로 사용될 수도 있다. 또한, 링크드 리스트(linkedlist), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 디스크립터 DB(140)에 저장될 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함하는 의미로 사용될 수 있다. 본 발명의 기술적 사상에 의하면, 상기 디스크립터 DB(140)에는 종래의 SIFT 알고리즘에 의해 저장되는 디스크립터보다 N 배 많은 디스크립터가 저장될 수 있다.
그러면, 상기 제어모듈(110)은 인풋 이미지의 키포인트인 인풋 키포인트와 상기 디스크립터 DB(140)에 저장된 디스크립터들 즉, 레퍼런스 이미지의 디스크립터들과 매칭을 통해 상기 레퍼런스 이미지에 존재하는 상기 인풋 이미지(또는 상기 인풋 이미지에 포함된 피쳐)의 적어도 일부를 인식할 수 있다. 물론, 상기 레퍼런스 이미지에 상기 인풋 이미지의 적어도 일부가 존재하는지 여부를 확인할 수도 있다.
상기 제어모듈(110)은 상기 인풋 키포인트와 상기 디스크립터 DB(140)에 저장된 디스크립터들을 매칭하기 위해 상기 논문들에서 사용하고 있는 바와 같은 BBF(Best-Bin-First) 알고리즘을 이용할 수 있다. 상기 BBF 알고리즘은 k-d 트리 알고리즘을 응용한 알고리즘이고, k-d 트리는 바이너리(binary) 트리이므로 디스크립터 DB(140)에 저장되는 디스크립터들이 N 배 증가하는 경우에도, 매칭에 필요한 시간은 log2N 배만 증가하게 된다. 즉, 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의하면, 레퍼런스 이미지에서 추출되는 키포인트 각각에 대해 생성되는 디스크립터는 종래의 SIFT 알고리즘에 비해 N 배 더 많아질 수 있다. 따라서, 키포인트 매칭에는 log2N 배의 시간이 더 걸릴 수 있다. 하지만, 종래의 SIFT 알고리즘은 전술한 바와 같이 레퍼런스 이미지에서 추출되는 모든 키포인트 각각에 대해 오리엔테이션 결정(orientation assignment)을 수행하고, 그 결과에 따라 키포인트를 포함하는 리즌 이미지에 대해 회전을 수행하여야만 디스크립터를 생성할 수 있다. 하지만, 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의하면, 키포인트 각각에 대해 오리엔테이션 결정을 할 필요가 없고, 따라서 리즌 이미지의 회전도 필요 없게 되므로, 전체 알고리즘의 수행 속도는 본 발명의 기술적 사상에 의한 것이 더 빠를 수 있게 된다.
한편, 상기 디스크립터 생성모듈(130)은 상기 N 개의 디스크립터를 생성하기 위해 특정 키포인트를 포함하는 원본 리즌 이미지를 특정할 수 있다. 상기 원본 리즌 이미지는 종래의 SIFT 알고리즘에서 디스크립터를 생성하기 위해 사용하는 소정의 이미지와 동일할 수 있다. 즉, 상기 키포인트를 둘러싸고 있는 소정 크기의 영역에 대한 이미지(예컨대, 도 3의 10과 같은 이미지)가 상기 원본 리즌 이미지로 특정될 수 있다. 상기 원본 리즌 이미지는 종래의 SIFT 알고리즘에서와 같이 상기 키포인트의 스케일 레벨만큼 가우시안 블러링(bluring)된 이미지일 수 있다. 그리고 종래의 SIFT 알고리즘에 대해 동일한 방식으로 상기 디스크립터 생성모듈(130)은 상기 원본 리즌 이미지에 대한 디스크립터를 생성할 수 있다. 다만, 본 발명의 실시 예에 따른 디스크립터 생성모듈(130)은 종래의 SIFT 알고리즘과는 달리 키포인트의 오리엔테이션에 따른 원본 리즌 이미지 또는 상기 원본 리즌 이미지에 대응되는 이미지 그래디언트의 회전을 수행하지 않고, 바로 디스크립터를 생성할 수 있다.
도 11은 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의해 키 포인트의 디스크립터를 설명하기 위한 도면인데, 도 11을 참조하면, 상기 디스크립터 생성모듈(130)은 원본 리즌 이미지에 대응되는 이미지 그래디언트를 샘플링할 수 있으며 그 결과 도 11의 좌측에 도시된 이미지와 같을 수 있다. 상기 원본 리즌 이미지는 도 11에 도시된 바와 같이 m × m(예컨대, m은 4)개의 서브 리즌(예컨대, 20)으로 구분될 수 있다. 서브 리즌 각각을 구성하는 샘플 포인트는 그래디언트 오리엔테이션과 그래디언트 매그니튜드를 표현할 수 있는 벡터로 표현될 수 있다. 그러면, 상기 디스크립터 생성모듈(130)에 의해 생성되는 디스크립터는 도 11의 우측에 도시된 바와 같이 D(예컨대, 8) 개의 방향을 갖는 m × m 개의 서브 디스크립터를 포함하게 된다. 예컨대, 벡터(31)은 서브 리즌에서 0~45도 사이의 오리엔테이션을 갖는 벡터들의 크기의 합으로 표현될 수 있고, 벡터(32)는 상기 서브 리즌에서 45~90도 사이의 오리엔테이션을 갖는 벡터들의 크기의 합으로 표현될 수 있다. 이와 같은 방식으로 각각의 벡터들(31~38)은 그 크기가 결정될 수 있다. 이러한 과정을 모든 서브 리즌에 대해 수행하면, 도 11의 우측에 도시된 바와 같은 특정 키포인트의 디스크립터가 생성될 수 있으며, 상기 특정 키포인트의 디스크립터는 m × m × D 개의 복잡도를 갖게 된다. 종래의 SIFT 알고리즘에서는 키포인트가 오리엔테이션 인베리언스(orientation invariance)를 갖기 위해 상기 키포인트의 오리엔테이션을 이용하여 상기 이미지 그래디언트를 회전하는 과정 즉, 오리엔테이션을 표준화하는 과정을 수행한 후, 도 11에 도시된 바와 같은 방식으로 디스크립터를 생성하였다. 예컨대, 키포인트의 오리엔테이션이 10도라고 하면, 상기 이미지 그래디언트를 -10도만큼 회전하여 모든 키포인트가 동일한 오리엔테이션을 갖는 상태에서 디스크립터를 생성하게 된다. 하지만, 본 발명의 실시 예에 의하면, 키포인트의 오리엔테이션을 결정하지 않으므로, 원본 리즌 이미지 또는 이에 대응되는 이미지 그래디언트 자체에 대해 도 11에 도시된 바와 같은 방식으로 디스크립터를 생성할 수 있다.
한편, 본 발명의 기술적 사상에 의하면 키포인트의 오리엔테이션을 결정하지 않으므로, 소정의 인풋 이미지(또는 이에 포함된 피쳐)가 소정의 방향으로 회전되어 레퍼런스 이미지에 포함된 경우, 키포인트 매칭에서 동일한 키포인트로 인식하지 못하게 될 수 있다. 이를 방지하기 위해 본 발명의 기술적 사상에 따른 이미지 인식 시스템 제공방법에 의하면, 특정 키포인트의 리즌 이미지 자체를 소정의 각도 만큼 회전시킨 이미지들 즉, 방향변환 리즌 이미지들을 이용해 소정의 방향으로 회전된 키포인트들에 대한 디스크립터들을 미리 생성하는 방식을 사용할 수 있다.
도 12는 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의해 방향 변환 리즌 이미지를 생성하는 과정을 설명하기 위한 도면이다. 도 12를 참조하면, 상기 디스크립터 생성모듈(130)은 소정의 키포인트(41)의 원본 리즌 이미지(40)를 특정할 수 있다. 그리고, 상기 원본 리즌 이미지(40)에 대해 디스크립터를 생성할 수 있다. 이때 상기 디스크립터 생성모듈(130)은 상기 키포인트(41)의 오리엔테이션을 표준화하지 않으므로, 만약, 상기 키포인트(41)를 포함하는 인풋 이미지가 소정의 방향으로 회전되어 레퍼런스 이미지에 포함되어 있는 경우엔 동일한 키포인트(41)임에도 매칭이 되지 않을 수 있다. 따라서, 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의하면 키포인트(41)가 회전되어 있는 경우의 디스크립터들 즉 원본 리즌 이미지(40)가 회전되어 있는 방향 변환 리즌 이미지들(50~56)에 의해 생성되는 디스크립터들을 미리 생성하여 저장해두고, 이들을 이용하여 인풋 키포인트와 레퍼런스 이미지의 키포인트를 매칭하게 된다.
이를 위해 상기 디스크립터 생성모듈(130)은 (N-1) 개의 방향 변환 리즌 이미지를 생성할 수 있다. 예컨대, 도 12에 도시된 바와 같이 상기 디스크립터 생성모듈(130)은 원본 리즌 이미지(40)를 각각 45도씩 회전시켜가면서 7개의 방향 변환 리즌 이미지들(50~56)을 생성할 수 있다. 그리고, 각각의 방향 변환 리즌 이미지들(50~56)에 대해 디스크립터를 생성할 수 있다. 그러면, 상기 디스크립터 생성모듈(130)은 원본 리즌 이미지(40)에 대한 디스크립터와 7개의 방향 변환 리즌 이미지들(50~56) 각각에 대한 7개의 디스크립터를 생성하게 된다. 따라서, 인풋 이미지의 키포인트 또는 인풋 이미지가 회전되어 레퍼런스 이미지에 포함된 경우에도 어느 정도 키포인트 매칭이 가능하게 될 수 있다.
한편, 상기 디스크립터 생성모듈(130)에 의해 생성되는 방향 변환 리즌 이미지들은 가능한 모든 각도에 대해 생성되는 것이 키포인트 매칭의 정확성을 높일 수 있다. 하지만, 360도 모든 각도에 대해 원본 리즌 이미지(40)가 변환된 방향 변환 리즌 이미지들을 생성하는 것은 사실상 불가능할 수 있다. 따라서, 적절한 개수의 방향 변환 리즌 이미지를 생성하고, 이에 대해 디스크립터를 생성하는 것이 키포인트 매칭의 정확성과 전체 알고리즘 속도에 영향을 미칠 수 있다. 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에서는 도 11에서 설명한 서브 디스크립터의 벡터 개수에 따라 방향 변환 리즌 이미지의 개수를 결정할 수 있다. 즉, 도 11에서 설명한 바와 같이 키포인트의 디스크립터는 D 개(예컨대, 8 개)의 오리엔테이션 즉, (360/D)도(예컨대, 45도) 만큼의 오리엔테이션 차이를 갖는 벡터들로 구현되므로, 키포인트의 오리엔테이션이 (360/D)도 내에서 차이가 나는 경우에는 동일한 오리엔테이션으로 인식될 확률이 높을 수 있다. 따라서, 상기 디스크립터 생성모듈(130)이 생성하는 N 개의 디스크립터들도 (360/D)도 만큼의 오리엔테이션 차이를 갖도록 설정될 수 있다. 즉, 상기 디스크립터 생성모듈(130)에 의해 생성되는 특정 키포인트에 대한 디스크립터의 개수 N은 D와 같을 수 있다. 또한, 키포인트 매칭에서는 디스크립터의 값이 모두 일치하는 키포인트를 찾는 것이 아니라 가장 가까운 키포인트 즉, nearest neighbor를 찾게 되므로, 특정 키포인트에 대해 (360/N)도 만큼 오리엔테이션의 차이가 있는 N 개의 디스크립터를 생성하는 경우에도 어느 정도 키포인트 매칭의 정확성이 보장될 수 있다. 실제로 실험을 통해서도 D와 동일한 값을 갖는 N 개의 디스크립터 즉, (360/N)도 만큼 오리엔테이션의 차이가 있는 N 개의 디스크립터를 생성하는 경우, 어느 정도 키포인트 매칭의 정확성이 보장되는 것을 확인할 수 있었다.
한편, 본 발명의 다른 실시 예에 따른 이미지 인식 시스템 제공방법에 의하면, 상기 디스크립터 생성모듈(130)은 N 개의 디스크립터(즉, (360/N)도 만큼 오리엔테이션의 차이가 있는 디스크립터)를 생성하기 위해, 원본 리즌 이미지(40)를 (360/N)도 만큼 회전시켜가면서 N-1 개의 방향 변환 리즌 이미지들(50~56)을 생성하는 것이 아니라, 원본 리즌 이미지(40)를 이용하여 디스크립터를 생성하고, 생성된 디스크립터를 (360/N)도만큼 회전시켜서 N 개의 디스크립터를 생성할 수도 있다. 이때에도 전술한 바와 같이 리즌 이미지 자체를 회전시켜가면서 생성한 N 개의 디스크립터와 유사한 N 개의 디스크립터를 생성할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 8은 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법을 개략적으로 설명하기 위한 플로우 챠트를 나타낸다.
도 8을 참조하면, 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법은 먼저 이미지 인식 시스템(100)이 레퍼런스 이미지의 키포인트를 추출할 수 있다(S100). 그러면, 상기 이미지 인식 시스템(100)은 추출된 키포인트에 대하여 N 개의 디스크립터를 생성할 수 있다(S110). 즉, 키포인트의 오리엔테이션을 결정할 필요가 없이, 해당 키포인트에 대해 방향이 소정 만큼 회전된 키포인트 또는 리즌 이미지에 해당하는 디스크립터를 생성할 수 있다. 여기서 N 개의 디스크립터 각각은 (360/N)도만큼 오리엔테이션의 차이가 나는 리즌 이미지에 의해 생성되거나, 디스크립터 자체가 (360/N)도 만큼의 오리엔테이션 차이를 가질 수 있다.
그러면, 생성된 디스크립터들은 디스크립터 DB(140)에 저장될 수 있다(S120).
그 후, 상기 이미지 인식 시스템(100)으로 소정의 인풋 이미지가 수신되면, 상기 이미지 인식 시스템(100)은 인풋 이미지에서도 키포인트 즉, 인풋 키포인트를 추출할 수 있다(S130). 그리고, 인풋 키포인트에 대한 인풋 디스크립터를 생성할 수 있다(S140). 이때에는 인풋 키포인트의 원본 리즌 이미지를 이용해 1개의 인풋 디스크립터만을 생성해도 된다. 그리고 생성된 인풋 디스크립터와 상기 디스크립터 DB(140)에 저장된 디스크립터들과 매칭을 수행할 수 있다(S150).
도 1과 도 8을 비교하면 알 수 있듯이, 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에 의하면, 생성되는 디스크립터의 개수는 종래의 SIFT 알고리즘에 비해 N 배 많아져서 log2N 오더(order)로 연산량이 많아질 수 있다. 하지만, 모든 키포인트들에 대한 오리엔테이션 결정과정, 그래디언트 오리엔테이션의 회전 과정을 수행할 필요가 없게 되어 전체적인 알고리즘의 속도가 대폭 빨라지는 효과가 있다.
한편, 상기 디스크립터 생성모듈(130)은 전술한 바와 같이 N 개의 리즌 이미지를 이용해 N 개의 디스크립터를 생성할 수도 있고, 원본 리즌 이미지 하나를 이용해 디스크립터를 생성 후, 생성된 디스크립터를 이용하여 N 개의 디스크립터를생성할 수도 있다. 이는 도 9 및 도 10에 도시된다.
도 9는 본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법에서 하나의 키 포인트에 대해 N 개의 디스크립터를 생성하는 방법을 개략적으로 설명하기 위한 플로우 챠트를 나타내고, 도 10은 본 발명의 다른 실시 예에 따라 N 개의 디스크립터를 생성하는 방법을 개략적으로 설명하기 위한 플로우 챠트를 나타낸다. 먼저 도 9을 참조하면, 본 발명의 실시 예에 따른 이미지 인식 시스템(100)은 특정 키포인트에 대한 원본 리즌 이미지를 특정할 수 있다(S111). 그러면, 상기 이미지 인식 시스템(100)은 상기 원본 리즌 이미지를 (360/N)도 만큼 회전시켜가면서 N-1 개의 방향 변환 리즌 이미지들을 생성할 수 있다(S112). 그리고, 각각의 이미지(즉, 원본 리즌 이미지 및 방향 변환 리즌 이미지들)에 대해 디스크립터를 생성할 수 있다(S113).
한편, 도 10을 참조하면, 상기 이미지 인식 시스템(100) 특정 키포인트에 대한 원본 리즌 이미지를 특정할 수 있다(S111). 그러면, 상기 이미지 인식 시스템(100)은 상기 원본 리즌 이미지에 대한 디스크립터 즉, 원본 디스크립터를 생성할 수 있다(S112-1). 그리고, 생성된 원본 디스크립터를 (360/N)도 만큼 회전시켜가면서 N-1 개의 디스크립터들을 더 생성할 수 있다(S113-1).
본 발명의 실시 예에 따른 이미지 인식 시스템 제공방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

  1. 이미지 인식 시스템이 레퍼런스(reference) 이미지에서 키 포인트를 추출하는 단계;
    추출된 상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 방향이 서로 다른 (N - 1) 개의 방향 변환 리즌 이미지를 생성하는 단계; 및
    상기 원본 리즌 이미지 및 생성된 (N-1)개의 방향 변환 리즌 이미지 각각에 기초하여 생성된 N 개의 디스크립터(descriptor)를 소정의 디스크립터 DB에 저장하는 단계를 포함하며,
    상기 이미지 인식 시스템은 인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터를 생성하고, 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하여 상기 인풋 이미지와 상기 레퍼런스 이미지를 매칭하는 것을 특징으로 하는 이미지 인식 시스템 제공방법.
  2. 제 1항에 있어서, 상기 원본 리즌 이미지 및 상기 방향 변환 리즌 이미지 각각은,
    m × m 서브 리즌을 포함하고,
    상기 N 개의 디스크립터 각각은,
    상기 서브 리즌의 이미지 그래디언트(gradient)를 표현하기 위한,
    서로 다른 방향을 갖는 D 개의 벡터에 대한 정보를 m × m 개 포함하는 것을 특징으로 하는 이미지 인식 시스템 제공방법.
  3. 제 2항에 있어서, 상기 원본 리즌 이미지 및 상기 (N-1) 개의 방향 변환 리즌 이미지 각각은,
    서로 (360/N)°만큼 방향이 변환된 이미지인 것을 특징으로 하는 이미지 인식 시스템 제공방법.
  4. 제 3항에 있어서, 상기 N은,
    상기 D와 동일한 값을 갖는 것을 특징으로 하는 이미지 인식 시스템 제공방법.
  5. 제 1항에 있어서, 상기 N은 8인 것을 특징으로 하는 이미지 인식 시스템 제공방법.
  6. 이미지 인식 시스템이 SIFT 알고리즘을 적용하기 위해 레퍼런스(reference) 이미지의 키 포인트를 추출하는 단계;
    상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 상기 키 포인트의 오리엔테이션을 결정하지 않은 상태에서 상기 키 포인트의 원본 디스크립터를 생성하는 단계; 및
    생성된 상기 원본 디스크립터에 대해 방향이 (360/N)°만큼 변환된 (N-1)개의 변환 디스크립터를 생성하고, 상기 원본 디스크립터와 상기 (N-1)개의 변환 디스크립터를 소정의 디스크립터 DB에 저장하는 단계를 포함하며,
    상기 이미지 인식 시스템은 인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터를 생성하고, 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하여 상기 인풋 이미지와 상기 레퍼런스 이미지를 매칭하는 것을 특징으로 하는 이미지 인식 시스템 제공방법.
  7. 제 1항 내지 제 6항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  8. 레퍼런스(reference) 이미지의 키 포인트를 추출하기 위한 키 포인트 추출모듈;
    추출된 상기 키 포인트 각각에 대해 N 개의 디스크립터를 생성하기 위한 디스크립터 생성모듈;
    상기 디스크립터 생성모듈에 의해 생성된 디스크립터들을 저장하는 디스크립터 DB; 및
    인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하기 위한 제어모듈을 포함하며,
    상기 디스크립터 생성모듈은,
    상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 방향이 서로 다른 (N - 1) 개의 방향 변환 리즌 이미지를 생성하고, 상기 원본 리즌 이미지 및 생성된 (N-1)개의 방향 변환 리즌 이미지 각각에 기초하여 상기 N 개의 디스크립터(descriptor)를 생성하는 것을 특징으로 하는 이미지 인식 시스템.
  9. 제 8항에 있어서, 상기 원본 리즌 이미지 및 상기 방향 변환 리즌 이미지 각각은,
    m × m 서브 리즌을 포함하고,
    상기 N 개의 디스크립터 각각은,
    상기 서브 리즌의 이미지 그래디언트(gradient)를 표현하기 위한,
    서로 다른 방향을 갖는 D 개의 벡터에 대한 정보를 m × m 개 포함하는 것을 특징으로 하는 이미지 인식 시스템.
  10. 제 9항에 있어서, 상기 N은 상기 D와 동일한 값을 갖는 것을 특징으로 하는 이미지 인식 시스템.
  11. 레퍼런스(reference) 이미지의 키 포인트를 추출하기 위한 키 포인트 추출모듈;
    추출된 상기 키 포인트 각각에 대해 N 개의 디스크립터를 생성하기 위한 디스크립터 생성모듈;
    상기 디스크립터 생성모듈에 의해 생성된 디스크립터들을 저장하는 디스크립터 DB; 및
    인풋 이미지에 상응하는 적어도 하나의 인풋 키 포인트의 인풋 디스크립터와 상기 디스크립터 DB에 저장된 디스크립터들을 매칭하기 위한 제어모듈을 포함하며,
    상기 디스크립터 생성모듈은,
    상기 키 포인트를 포함하는 소정의 원본 리즌(region) 이미지에 대해 오리엔테이션을 결정하지 않은 상태에서 원본 디스크립터를 생성하고, 생성된 상기 원본 디스크립터에 대해 방향이 (360/N)°만큼 변환된 (N-1)개의 변환 디스크립터를 생성하는 것을 특징으로 하는 이미지 인식 시스템.
KR1020110000482A 2011-01-04 2011-01-04 이미지 인식 시스템 및 그 제공방법 KR101127793B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110000482A KR101127793B1 (ko) 2011-01-04 2011-01-04 이미지 인식 시스템 및 그 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110000482A KR101127793B1 (ko) 2011-01-04 2011-01-04 이미지 인식 시스템 및 그 제공방법

Publications (1)

Publication Number Publication Date
KR101127793B1 true KR101127793B1 (ko) 2012-03-23

Family

ID=46142415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110000482A KR101127793B1 (ko) 2011-01-04 2011-01-04 이미지 인식 시스템 및 그 제공방법

Country Status (1)

Country Link
KR (1) KR101127793B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031333A (ko) * 2012-07-09 2015-03-23 시스벨 테크놀로지 에스.알.엘. 그라디언트 히스토그램에 기초하여 이미지 기술자를 변환하기 위한 방법 및 관련된 이미지 프로세싱 장치
CN111881923A (zh) * 2020-07-28 2020-11-03 民生科技有限责任公司 一种基于特征匹配的票据要素提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020452A (ko) * 2007-08-23 2009-02-26 삼성전자주식회사 디지털 이미지에서 특징점을 추출하는 방법 및 장치
KR20100073749A (ko) * 2008-12-23 2010-07-01 고려대학교 산학협력단 Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템
KR20110103223A (ko) * 2010-03-12 2011-09-20 경북대학교 산학협력단 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020452A (ko) * 2007-08-23 2009-02-26 삼성전자주식회사 디지털 이미지에서 특징점을 추출하는 방법 및 장치
KR20100073749A (ko) * 2008-12-23 2010-07-01 고려대학교 산학협력단 Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템
KR20110103223A (ko) * 2010-03-12 2011-09-20 경북대학교 산학협력단 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031333A (ko) * 2012-07-09 2015-03-23 시스벨 테크놀로지 에스.알.엘. 그라디언트 히스토그램에 기초하여 이미지 기술자를 변환하기 위한 방법 및 관련된 이미지 프로세싱 장치
KR102193177B1 (ko) 2012-07-09 2020-12-21 뉴 럭 글로벌 리미티드 그라디언트 히스토그램에 기초하여 이미지 기술자를 변환하기 위한 방법 및 관련된 이미지 프로세싱 장치
CN111881923A (zh) * 2020-07-28 2020-11-03 民生科技有限责任公司 一种基于特征匹配的票据要素提取方法

Similar Documents

Publication Publication Date Title
US8538164B2 (en) Image patch descriptors
Naeem Detection of malicious activities in internet of things environment based on binary visualization and machine intelligence
US20140079286A1 (en) Method and apparatus of object recognition
Shahbazi et al. Application of locality sensitive hashing to realtime loop closure detection
US9208399B2 (en) Method of extracting visual descriptor using feature selection and system for the same
Hare et al. Content-based image retrieval using a mobile device as a novel interface
KR101836811B1 (ko) 이미지 상호간의 매칭을 판단하는 방법, 장치 및 컴퓨터 프로그램
Kalaiarasi et al. Clustering of near duplicate images using bundled features
Sekhar et al. A study on segmentation-based copy-move forgery detection using DAISY descriptor
CN109697240A (zh) 一种基于特征的图像检索方法及装置
KR101127793B1 (ko) 이미지 인식 시스템 및 그 제공방법
Hong et al. Realtime and robust object matching with a large number of templates
Paul et al. Multiclass object recognition using smart phone and cloud computing for augmented reality and video surveillance applications
Che et al. Image retrieval by information fusion based on scalable vocabulary tree and robust Hausdorff distance
KR101265694B1 (ko) Ｄｂ 효율화를 통한 영상 인식 시스템 및 그 제공방법
Siddiqui et al. Computer vision analysis of BRIEF and ORB feature detection algorithms
Reddy et al. Hash code based image authentication using rotation invariant local phase quantization
Amanatiadis et al. Word spotting as a service for handwritten documents
Konlambigue et al. Performance evaluation of state-of-the-art filtering criteria applied to sift features
Tombe et al. Fusion of LBP and Hu-moments with fisher vectors in remote sensing imagery
Nandagopalan et al. Deep convolutional network based saliency prediction for retrieval of natural images
KR20220057691A (ko) 샴 랜덤 포레스트를 이용한 영상 정합 방법 및 영상 정합 장치
Kathiriya et al. Performance Analysis of Word Spotting Techniques Using HOG and Shape Descriptor on Gujarati Script
Verma et al. Dimensionality reduction technique on sift feature vector for content based image retrival
Jhansi et al. Sketch Based Image Retrieval with Cosine Similarity.

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150310

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160310

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170313

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190312

Year of fee payment: 8