KR101915402B1 - 점진적 그래프 최적화를 통한 특징점 매칭 방법 - Google Patents

점진적 그래프 최적화를 통한 특징점 매칭 방법 Download PDF

Info

Publication number
KR101915402B1
KR101915402B1 KR1020170077681A KR20170077681A KR101915402B1 KR 101915402 B1 KR101915402 B1 KR 101915402B1 KR 1020170077681 A KR1020170077681 A KR 1020170077681A KR 20170077681 A KR20170077681 A KR 20170077681A KR 101915402 B1 KR101915402 B1 KR 101915402B1
Authority
KR
South Korea
Prior art keywords
feature point
feature
point
minutiae
image
Prior art date
Application number
KR1020170077681A
Other languages
English (en)
Inventor
서일홍
이세형
임종우
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020170077681A priority Critical patent/KR101915402B1/ko
Application granted granted Critical
Publication of KR101915402B1 publication Critical patent/KR101915402B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06K9/4609—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

특징점에 대한 기술자뿐만 아니라 특징점들 사이의 지리적 유사도를 이용하여 특징점을 매칭하는 방법이 개시된다. 개시된 특징점 매칭 방법은 제1영상의 특징점 중에서 제1특징점 그룹을 결정하는 단계; 상기 제1특징점 그룹의 특징점을 노드로 하고, 인접한 노드 사이에 에지가 연결되는 그래프를 생성하는 단계; 상기 제1특징점 그룹의 특징점 중 하나인 기준 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여 제2특징점 그룹을 생성하는 단계; 상기 기준 특징점과 상기 에지로 연결되는 인접 특징점과의 유클리드 거리가 작은 순서대로 상기 제2영상의 특징점을 결정하여, 제3특징점 그룹을 생성하는 단계; 상기 기준 특징점 및 인접 특징점과 상기 제2 및 제3특징점 그룹 사이의 지리적 유사도를 계산하는 단계; 및 상기 유클리드 거리 및 상기 지리적 유사도를 이용하여, 상기 제2특징점 그룹의 특징점 중에서 상기 기준 특징점에 대한 매칭점을 결정하는 단계를 포함한다.

Description

점진적 그래프 최적화를 통한 특징점 매칭 방법{METHOD FOR MATCHING FEATURE OF IMAGE BY PROGRESSIVE GRAPH OPTIMIZATION}
본 발명은 특징점이 추출된 영상들 사이에서 매칭되는 특징점을 검출하기 위한 발명으로서, 더욱 상세하게는 특징점에 대한 기술자뿐만 아니라 특징점들 사이의 지리적 유사도를 이용하여 특징점을 매칭하는 방법에 관한 것이다.
다양한 컴퓨터/로봇 비전 어플리케이션 등에서 영상들간의 특징점들을 추출하고 매칭하는 방법이 이용된다. 또한 로봇 네비게이션이나 3D 복원 등의 분야에서도 영상들간의 특징점들을 추출하고 매칭하는 방법이 이용된다. 특징점 매칭을 통해 물체인식이나 장소인식이 이루어질 수 있으며, 따라서 특징점 매칭의 정확도는 시스템의 전체 인식 성능에 큰 영향을 미친다.
일반적으로 특징점을 추출하고 추출된 특징점들 중에서 매칭점을 검출하기 위해 SIFT(Scalar Invariant Feature Transform) 알고리즘이나 SURF(Speeded Up Robust Features) 알고리즘이 이용된다. 이러한 알고리즘은 추출된 특징점에 대한 기술자(descriptor)를 이용하여, 특징점 사이의 유클리드(Euclid) 거리를 계산하고, 유클리드 거리값에 따라 매칭되는 특징점을 검출한다.
이러한 기술자 기반의 특징점 매칭 방법은 영상의 조명, 각도, 배경 등의 변화가 크거나, 영상내에서 비슷한 패턴이 많이 나타날 경우, 매칭 성능이 떨어지는 문제가 있다. 특히, 매칭점의 절대 개수가 줄어들 뿐만 아니라, 잘못된 매칭점의 검출 개수가 늘어날 수 있는 문제가 있다.
관련 선행문헌으로 대한민국 공개특허 제2015-0062880호, 대한민국 등록특허 제10-1404640호가 있다.
본 발명은 특징점에 대한 기술자뿐만 아니라 특징점들 사이의 지리적 유사도를 이용하여 특징점을 매칭하는 방법을 제공하기 위한 것이다.
특히 본 발명은, 영상들에서 추출된 특징점 중에서, 매칭되는 매칭점을 보다 정확하게 검출하고 보다 많이 검출할 수 있는 특징점 매칭 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 제1영상의 특징점 중에서 제1특징점 그룹을 결정하는 단계; 상기 제1특징점 그룹의 특징점을 노드로 하고, 인접한 노드 사이에 에지가 연결되는 그래프를 생성하는 단계; 상기 제1특징점 그룹의 특징점 중 하나인 기준 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여 제2특징점 그룹을 생성하는 단계; 상기 기준 특징점과 상기 에지로 연결되는 인접 특징점과의 유클리드 거리가 작은 순서대로 상기 제2영상의 특징점을 결정하여, 제3특징점 그룹을 생성하는 단계; 상기 기준 특징점 및 인접 특징점과 상기 제2 및 제3특징점 그룹 사이의 지리적 유사도를 계산하는 단계; 및 상기 유클리드 거리 및 상기 지리적 유사도를 이용하여, 상기 제2특징점 그룹의 특징점 중에서 상기 기준 특징점에 대한 매칭점을 결정하는 단계를 포함하는 특징점 매칭 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 제1영상의 특징점 중에서 제1특징점 그룹을 결정하는 단계; 상기 제1특징점 그룹의 특징점 중 기준 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여 제2특징점 그룹을 생성하는 단계; 상기 기준 특징점과 상기 에지로 연결되는 인접 특징점과의 유클리드 거리가 작은 순서대로 상기 제2영상의 특징점을 결정하여, 제3특징점 그룹을 생성하는 단계; 상기 기준 특징점 및 인접 특징점과 상기 제2 및 제3특징점 그룹 사이의 지리적 유사도를 계산하는 단계; 및 상기 유클리드 거리 및 상기 지리적 유사도를 이용하여, 상기 제2특징점 그룹의 특징점 중에서 상기 기준 특징점에 대한 매칭점을 결정하는 단계를 포함하는 특징점 매칭 방법이 제공된다.
본 발명에 따르면, 특징점에 대한 기술자뿐만 아니라 지리적 유사도를 추가적으로 이용함으로써, 매칭점의 정확도를 향상시킬 수 있다.
또한 본 발명에 따르면, 이전에 검출된 매칭점을 기반으로 추가적인 매칭점을 검출함으로써, 높은 정확도로 보다 많은 매칭점이 검출될 수 있다.
도 1은 본 발명의 일실시예에 따른 특징점 매칭 방법을 설명하기 위한 흐름도이다.
도 2는 특징점에 대한 그래프를 도시하는 도면이다.
도 3은 제2 및 제2특징점 그룹을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 지리적 유사도를 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 특징점 매칭 방법을 설명하기 위한 흐름도이다.
도 6은 그래프의 확장을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 특징점 매칭 방법의 매칭 결과를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명은 영상들에서 추출된 특징점 중에서, 매칭되는 매칭점을 보다 정확하게 검출하고 보다 많이 검출할 수 있는 특징점 매칭 방법을 제안한다.
이를 위해 본 발명은, 특징점을 노드로 하고 인접한 노드 사이에 에지가 연결되는 그래프를 이용하며, 인접한 노드 즉, 인접한 특징점 사이에서의 지리적 유사도에 기반하여 매칭되는 특징점을 검출한다. 본 발명은 특징점에 대한 기술자뿐만 아니라 지리적 유사도를 추가적으로 이용함으로써, 매칭점의 정확도를 향상시킬 수 있다.
또한 본 발명은 보다 많은 매칭점을 검출하기 위해, 이전에 검출된 매칭점을 기반으로 그래프를 확장하며, 확장된 그래프의 노드를 이용하여 매칭점을 검출한다. 이전에 검출된 매칭점을 기반으로 추가적인 매칭점을 검출하기 때문에, 높은 정확도로 보다 많은 매칭점이 검출될 수 있다.
전술된 특징점 매칭 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 또는 별도의 특징점 매칭 장치에서 수행될 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 특징점 매칭 방법을 설명하기 위한 흐름도이며, 도 2는 특징점에 대한 그래프를 도시하는 도면이다. 그리고 도 3은 제2 및 제2특징점 그룹을 설명하기 위한 도면이다.
이하에서는 특징점 매칭 장치가, 제1영상의 특징점과 매칭되는 제2영상의 특징점을 검출하는 방법이 일실시예로서 설명된다. 제1영상 및 제2영상의 특징점은 다양한 특징점 추출 알고리즘을 통해 추출될 수 있다.
본 발명에 따른 특징점 매칭 장치는 제1영상의 특징점 중에서, 제1특징점 그룹을 결정(S110)한다. 즉, 제1영상의 수많은 특징점 중에서 일부 특징점이 제1특징점 그룹으로 결정되며, 제1특징점 그룹에 포함되는 특징점의 개수는 미리 설정될 수 있다.
특징점 매칭 장치는 일실시예로서, 특징점 매칭 장치는 제1영상의 특징점 및 제2영상의 특징점 사이의 유클리드 거리를 이용하여 제1특징점 그룹을 결정할 수 있다. 예를 들어, 제1영상의 특징점 중에서 10%의 특징점이 제1특징점 그룹으로 결정되는 경우, 특징점 매칭 장치는 제1 및 제2 영상의 특징점 사이의 유클리드 거리 중에서 거리가 작은 순서대로 상위 10%에 포함되는 제1영상의 특징점을 선택하여 제1특징점 그룹으로 결정할 수 있다. 그리고 유클리드 거리는, 특징점에 대한 기술자의 특징 벡터에 기반하여 계산될 수 있다.
그리고 특징점 매칭 장치는 제1특징점 그룹의 특징점을 노드로 하고, 인접한 노드 사이에 에지가 연결되는 그래프를 생성(S120)한다. 도 2에 도시된 바와 같이, 제1특징점 그룹에 포함되는 특징점의 개수가 7개인 경우, 인접한 특징점 사이가 노드로 연결되는 그래프가 생성될 수 있다. 인접한 노드는 기준 노드로부터 기 설정된 거리 이내의 노드로 정의될 수 있으며, 그래프는 일실시예로서 주변 특징점 사이의 관계를 모델링하는 MRF(Markov Random Field) 그래프일 수 있다.
다시 도 1로 돌아와, 특징점 매칭 장치는 제1특징점 그룹의 특징점 중 하나인 기준 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여 제2특징점 그룹을 생성(S130)한다. 그리고 특징점 매칭 장치는 기준 특징점과 에지로 연결되는 인접 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여, 제3특징점 그룹을 생성(S140)한다.
예컨대, 제2특징점 그룹에 포함되는 특징점의 개수가 5개일 경우, 특징점 매칭 장치는 기준 특징점과 제2영상의 특징점 사이의 유클리드 거리 중에서, 거리가 작은 순서대로 5개의 제2영상의 특징점을 결정하여 제2특징점 그룹을 결정할 수 있다.
도 2 및 도 3을 참조하면, 기준 특징점(210)에 대한 제2특징점 그룹으로서, 5개의 특징점이 제2영상의 특징점 중에서 결정되고, 인접 특징점(220)에 대한 제3특징점 그룹으로서 5개의 특징점이 제2영상의 특징점 중에서 결정된다. 도 3에서 원형의 점으로 표시된 특징점이 제2특징점 그룹에 포함되는 특징점이며, 삼각형의 점으로 표시된 특징점이 제3특징점 그룹에 포함되는 특징점이다.
즉, 특징점 매칭 장치는 기준 특징점에 대한 제2특징점 그룹을 생성하고, 제2특징점 그룹 생성방법과 동일하게 인접 특징점에 대한 제3특징점 그룹을 생성한다. 제2 및 제3특징점 그룹에 포함되는 특징점의 개수는 동일하다.
다시 도 1로 돌아와, 특징점 매칭 장치는 기준 특징점 및 인접 특징점과 제2 및 제3특징점 그룹 사이의 지리적 유사도를 계산(S150)하고, 유클리드 거리 및 지리적 유사도를 이용하여, 제2특징점 그룹의 특징점 중에서 기준 특징점에 대한 매칭점을 결정(S160)한다.
단계 S160에서 특징점 매칭 장치는 제2 및 제3특징점 그룹에 포함된 특징점에 대한 유클리드 거리와 지리적 유사도를 합산하여, 합산 결과가 최소가 되는 제2특징점 그룹의 특징점을 기준 특징점에 대한 매칭점으로 결정할 수 있다. 예를 들어, 제2 및 제3특징점 그룹의 특징점이 5개인 경우, 특징점 매칭 장치는 이러한 5개의 특징점에 대해 지리적 유사도를 계산하며, 제2 및 제3특징점 그룹의 특징점과 기준 특징점 사이의 유클리드 거리는 단계 S140 및 S150에서 계산되었으므로, 지리적 유사도와 유클리드 거리를 합하여 기준 특징점에 대한 매칭점을 결정할 수 있다.
지리적 유사도를 계산하고, 이로부터 매칭점을 결정하는 구체적인 방법은 도 3에서 보다 자세히 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 지리적 유사도를 설명하기 위한 도면이다.
도 4에서는 전술된 기준 특징점(210)과 인접 특징점(220)에 대한 지리적 유사도를 계산하는 방법이 일실시예로 설명되며, 제2 및 제3그룹에 포함된 특징점 중에 기준 특징점과 가장 유클리드 거리가 짧은 특징점(410, 420)에 대한 지리적 유사도 계산 방법이 설명된다. 도 2에 도시된 모든 특징점들이 기준 특징점이 될 수 있으며, 제2 및 제3그룹에 포함된 나머지 특징점에 대해서도 동일한 방법을 지리적 유사도가 계산된다.
본 발명에 따른 특징점 매칭 장치는 기준 특징점(210)과 제2특징점 그룹의 특징점 중 하나(410) 사이의 제1변환 행렬(Transformaion Matrix)에 따라, 인접 특징점(220)을 제2영상(320)에 워핑한다. 특징점에 대한 기술자는 스케일(scale) 및 방향(orientation) 정보를 포함하고 있기 때문에, 변환 행렬은 특징점에 대한 기술자를 통해 도출될 수 있다
그리고 인접 특징점(220)이 제2영상(320)에 워핑된 제1워핑점(421)과 제3특징점 그룹에 포함된 특징점 중 하나(420) 사이의 거리값을 계산한다. 여기서, 거리 값은 전술된 유클리드 거리와는 달리, 제2영상 상에서의 점 사이의 거리를 의미한다.
특징점 매칭 장치는 인접 특징점(220)과 마찬가지로 기준 특징점(210)을 제2영상(320)에 워핑하며, 인접 특징점(220)과 제3특징점 그룹의 특징점 중 하나(420) 사이의 제2변환 행렬에 따라, 기준 특징점(210)을 제2영상(320)에 워핑한다. 그리고 기준 특징점(210)이 제2영상(320)에 워핑된 제2워핑점(411)과 제2특징점 그룹에 포함된 특징점 중 하나(410) 사이의 거리값을 계산한다.
최종적으로 특징점 매칭 장치는 계산된 거리값을 합산하여 지리적 유사도를 계산한다. 즉 합산 결과가 지리적 유사도에 대응된다.
지리적 유사도는 제2 및 제3특징점 그룹의 특징점 개수만큼 도출되며, 제2 및 제3특징점 그룹의 특징점이 5개일 경우, 5개의 지리적 유사도가 계산될 수 있다. 그리고 지리적 유사도는 제2 및 제3특징점 그룹에서 유클리드 거리에 따른 동일 순번의 특징점에 대해 계산된다. 예를 들어, 전술된 바와 같이, 제2 및 제3특징점 그룹에서 가장 유클리드 거리가 작은 특징점 쌍을 이용하여 지리적 유사도가 계산되며, 제2 및 제3특징점 그룹에서 유클리드 거리가 두번째로 큰 특징점 쌍을 이용하여 지리적 유사도가 계산될 수 있다.
그리고 특징점 매칭 장치는 특징점 쌍에 대한 유클리드 거리와 지리적 유사도를 합산하여 합산 결과가 최소가 되는 제2특징점 그룹의 특징점을 기준 특징점에 대한 매칭점으로 결정한다. 예를 들어, 도 4에서 설명된 특징점 쌍에 대한 지리적 유사도의 합과, 기준 특징점 및 인접 특징점과 특징점 쌍에 대한 유클리드 거리의 합이, 다른 특징점 쌍들에 대한 그 합보다 작을 경우, 제2특징점 그룹에 포함된 특징점 중 하나(410)가 기준 특징점(210)에 대한 매칭점으로 결정된다.
한편, 실시예에 따라서, 지리적 유사도는 추가적인 워핑 과정을 거쳐 계산될 수도 있다. 워핑은 제2영상에서 제1영상으로 수행될 수도 있기 때문에, 특징점 매칭 장치는 제2 및 제3특징점 그룹의 특징점을 제1영상으로 워핑시키고 워핑점과 기준 특징점, 인접 특징점 사이의 거리를 계산하여 지리적 유사도를 계산할 수도 있다.
보다 구체적으로 특징점 매칭 장치는 제1변환 행렬에 따라, 제3특징점 그룹에 포함된 특징점 중 하나(420)를 제1영상(310)에 워핑하여 제3워핑점(422)을 결정한다. 그리고 제3워핑점(422)과 인접 특징점(220) 사이의 거리값을 계산한다.
마찬가지로 특징점 매칭 장치는 제2변환 행렬에 따라, 제2특징점 그룹에 포함된 특징점 중 하나(410)를 제1영상(310)에 워핑하여 제4워핑점(412)을 결정한다. 그리고 제4워핑점(412)과 기준 특징점(210) 사이의 거리값을 계산한다.
제1영상에서 제2영상으로의 워핑뿐만 아니라 제2영상에서 제1영상으로의 워핑까지 수행될 경우, 총 4개의 거리값 계산 결과가 도출되며, 4개의 거리값의 합이 지리적 유사도가 된다.
기준 특징점과 인접 특징점 각각의 변환 관계를 통해 워핑을 수행하여 지리적 유사도를 계산하는 것은, 인접하여 위치한 특징점에 대한 제1 및 제2변환 행렬이 유사할 가능성이 높다는 전제하에 이루어지는 것이다. 제1 및 제2변환 행렬이 유사하다면, 기준 특징점은 제2변환 행렬에 의해 제2특징점 그룹의 특징점 부근에 워핑될 것이고, 인접 특징점은 제1변환 행렬에 의해 제3특징점 그룹의 특징점 부근에 워핑될 것이기 때문이다.
즉, 지리적 유사도는 기준 특징점과 제2특징점 그룹의 특징점 사이의 변환 관계, 그리고 인접 특징점과 제3특징점 그룹의 특징점 사이의 변환 관계에 따라 결정되는 파라미터라고 할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 특징점 매칭 방법을 설명하기 위한 흐름도이며, 도 6은 그래프의 확장을 설명하기 위한 도면이다.
도 1에서 설명된 그래프는 확장될 수 있으며, 확장된 그래프의 노드, 즉 특징점에 대해 도 1 내지 도 4에서 설명된 바와 같이 매칭점이 결정됨으로써, 보다 많은 매칭점이 결정될 수 있다.
본 발명에 따른 특징점 매칭 장치는 제1영상의 특징점 중에서, 그래프의 노드에 인접한 특징점을 후보 노드로 결정한다. 예를 들어, 도 6(a)를 참조하면, 특징점 매칭 장치는 기준 특징점에 인접한 특징점(610, 620)을 후보 노드로 결정(S510)한다. 후보 노드는 제1특징점 그룹에 포함되지 않는 제1영상의 특징점으로서, 그래프의 노드와의 거리에 따라 결정된다.
그리고 후보 노드(610, 620)와 유클리드 거리가 작은 순서대로 제2영상의 특징점을 검출하여 제4특징점 그룹을 생성(S520)한다.
특징점 매칭 장치는 후보 노드(610, 620)와 인접한 특징점과 매칭되는 제2영상의 매칭점과, 후보 노드(610, 620)와 인접한 특징점 사이의 제3변환 행렬에 따라, 후보 노드(610, 620)를 제2영상에 워핑(S530)한다. 제1 및 제2후보 노드(610, 620)에 인접한 특징점은 모두 기준 특징점(210)이고, 기준 특징점(210)의 매칭점은 전술된 바와 같이 결정되므로, 제3변환 행렬에 따라 후보 노드(610, 620)가 제2영상에 워핑될 수 있다.
그리고 특징점 매칭 장치는 후보 노드(610, 620)가 제2영상에 워핑된 제5워핑점으로부터 기 설정된 거리 내에 제4특징점 그룹의 특징점이 포함되는지 판단(S540)한다. 판단 결과에 따라 후보 노드를 그래프의 추가 노드로 결정(S550)하며, 구체적으로 제5워핑점으로부터 기 설정된 거리 내에 제4특징점 그룹의 특징점이 포함될 경우, 후보 노드(610, 620)가 그래프의 추가 노드로 결정된다.
예를 들어, 제2후보 노드(620)에 대한 워핑점으로부터 기 설정된 거리 내에 제4특징점 그룹의 특징점이 포함되지 않을 경우, 제2후보 노드는 추가 노드에서 배제되며, 도 6(b)에 도시된 바와 같이, 제1후보 노드(610)만이 그래프의 추가노드로 결정된다.
단계 S520에서 제4특징점 그룹의 특징점 역시 제2 및 제3특징점 그룹의 특징점 개수만큼 결정될 수 있는데, 후보 노드가 추가 노드로 결정된 이후, 추가 노드에 대해 매칭점을 결정할 때에는 제5워핑점으로부터 기 설정된 거리 내에 포함된 특징점에 대해서만 지리적 유사도의 계산이 이루어진다. 다시 말해, 특징점 매칭 장치는 추가 노드를 기준 특징점으로 결정하여 지리적 유사도를 계산할 경우에, 제4특징점 그룹에 포함되는 모든 특징점에 대해 지리적 유사도를 계산하지 않고, 제5워핑점으로부터 기 설정된 거리 내에 포함되는 상기 제4특징점 그룹의 특징점을 이용하여 지리적 유사도를 계산하기 때문에, 확장된 그래프에 대해 매칭점을 결정할 때에는 연산량이 줄어들 수 있다.
도 7은 본 발명에 따른 특징점 매칭 방법의 매칭 결과를 나타내는 도면이다.
도 7(a)는 본 발명에 따른 특징점 매칭 결과를 나타내는 도면이며, 도 7(b)는 유클리드 거리만을 고려하여 특징점 매칭을 수행한 결과를 나타내는 도면이다. 도 7(a) 및 (b)에서 좌측 영상이 기준영상(제1영상)이며 우측 영상이 대상 영상(제2영상)이다. 그리고 기준 영상과 대상 영상을 연결하는 에지들은 기준 영상의 특징점과 매칭되는 대상 영상의 특징점 사이의 연결선을 나타낸다.
도 7에 도시된 바와 같이, 본 발명에 따른 특징점 매칭 방법에 의할 경우 보다 많은 매칭점이 검출될 수 있음을 확인할 수 있다.
한편, 도 1 내지 도 7에서는 특징점에 대해 그래프를 먼저 생성한 후 매칭점을 결정하는 방법이 설명되었으나, 특징점 사이의 인접 관계에 대한 정보가 주어진다면, 그래프 생성없이 매칭점이 결정될 수 있다.
이 경우, 본 발명의 또 다른 실시예에 따른 특징점 매칭 방법은, 제1영상의 특징점 중에서 제1특징점 그룹을 결정하는 단계, 제1특징점 그룹의 특징점 중 기준 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여 제2특징점 그룹을 생성하는 단계, 기준 특징점과 상기 에지로 연결되는 인접 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여, 제3특징점 그룹을 생성하는 단계, 기준 특징점 및 인접 특징점과 제2 및 제3특징점 그룹 사이의 지리적 유사도를 계산하는 단계 및 유클리드 거리 및 지리적 유사도를 이용하여, 제2특징점 그룹의 특징점 중에서 기준 특징점에 대한 매칭점을 결정하는 단계를 포함할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 제1영상의 특징점 중에서 제1특징점 그룹을 결정하는 단계;
    상기 제1특징점 그룹의 특징점을 노드로 하고, 인접한 노드 사이에 에지가 연결되는 그래프를 생성하는 단계;
    상기 제1특징점 그룹의 특징점 중 하나인 기준 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여 제2특징점 그룹을 생성하는 단계;
    상기 기준 특징점과 상기 에지로 연결되는 인접 특징점과의 유클리드 거리가 작은 순서대로 상기 제2영상의 특징점을 결정하여, 제3특징점 그룹을 생성하는 단계;
    상기 기준 특징점 및 인접 특징점과 상기 제2 및 제3특징점 그룹 사이의 지리적 유사도를 계산하는 단계; 및
    상기 유클리드 거리 및 상기 지리적 유사도를 이용하여, 상기 제2특징점 그룹의 특징점 중에서 상기 기준 특징점에 대한 매칭점을 결정하는 단계를 포함하며,
    상기 지리적 유사도를 계산하는 단계는
    상기 기준 특징점과 상기 제2특징점 그룹의 특징점 중 하나 사이의 제1변환 행렬에 따라, 상기 인접 특징점을 상기 제2영상에 워핑하는 단계;
    상기 인접 특징점이 상기 제2영상에 워핑된 제1워핑점과 상기 제3특징점 그룹에 포함된 특징점 중 하나 사이의 거리값을 계산하는 단계;
    상기 인접 특징점과 상기 제3특징점 그룹의 특징점 중 하나 사이의 제2변환 행렬에 따라, 상기 기준 특징점을 상기 제2영상에 워핑하는 단계;
    상기 기준 특징점이 상기 제2영상에 워핑된 제2워핑점과 상기 제2특징점 그룹에 포함된 특징점 중 하나 사이의 거리값을 계산하는 단계; 및
    상기 거리값을 합산하여 상기 지리적 유사도를 계산하는 단계
    를 포함하는 특징점 매칭 방법.
  2. 제 1항에 있어서,
    상기 제1특징점 그룹을 결정하는 단계는
    상기 제1영상의 특징점 및 상기 제2영상의 특징점 사이의 유클리드 거리가 작은 순서대로, 상기 제1영상의 특징점을 선택하여, 상기 제1특징점 그룹을 결정하는
    특징점 매칭 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 지리적 유사도를 계산하는 단계는
    상기 제1변환 행렬에 따라, 상기 제3특징점 그룹에 포함된 특징점 중 하나를 상기 제1영상에 워핑하여 제3워핑점을 결정하는 단계;
    상기 제3워핑점과 상기 인접 특징점 사이의 거리값을 계산하는 단계;
    상기 제2변환 행렬에 따라, 상기 제2특징점 그룹에 포함된 특징점 중 하나를 상기 제1영상에 워핑하여 제4워핑점을 결정하는 단계; 및
    상기 제4워핑점과 상기 기준 특징점 사이의 거리값을 계산하는 단계
    를 더 포함하는 특징점 매칭 방법.
  5. 제 1항에 있어서,
    상기 제2 및 제3특징점 그룹에 포함되는 특징점의 개수는 동일하며,
    상기 제2 및 제3특징점 그룹에 포함된 특징점 중 하나는
    상기 유클리드 거리에 따른 동일 순번의 특징점인
    특징점 매칭 방법.
  6. 제 1항에 있어서,
    상기 기준 특징점에 대한 매칭점을 결정하는 단계는
    상기 제2 및 제3특징점 그룹에 포함된 특징점 중 하나에 대한 유클리드 거리와 상기 지리적 유사도를 합하여, 합산 결과가 최소가 되는 상기 제2특징점 그룹의 특징점을 상기 기준 특징점에 대한 매칭점으로 결정하는
    특징점 매칭 방법.
  7. 제 1항에 있어서,
    상기 제1영상의 특징점 중에서, 상기 그래프의 노드에 인접한 특징점을 후보 노드로 결정하는 단계;
    상기 후보 노드와 유클리드 거리가 작은 순서대로 제2영상의 특징점을 검출하여 제4특징점 그룹을 생성하는 단계;
    상기 후보 노드와 인접한 특징점과 상기 후보 노드와 인접한 특징점과 매칭되는 상기 제2영상의 매칭점 사이의 제3변환 행렬에 따라, 상기 후보 노드를 상기 제2영상에 워핑하는 단계;
    상기 후보 노드가 상기 제2영상에 워핑된 제5워핑점으로부터 기 설정된 거리 내에 상기 제4특징점 그룹의 특징점이 포함되는지 판단하는 단계; 및
    상기 판단 결과에 따라 상기 후보 노드를 상기 그래프의 추가 노드로 결정하는 단계
    를 더 포함하는 특징점 매칭 방법.
  8. 제 7항에 있어서,
    상기 지리적 유사도를 계산하는 단계는
    상기 추가 노드가 상기 기준 특징점인 경우, 상기 제5워핑점으로부터 기 설정된 거리 내에 포함되는 상기 제4특징점 그룹의 특징점을 이용하여, 상기 지리적 유사도를 계산하는
    특징점 매칭 방법.
  9. 제1영상의 특징점 중에서 제1특징점 그룹을 결정하는 단계;
    상기 제1특징점 그룹의 특징점 중 기준 특징점과의 유클리드 거리가 작은 순서대로 제2영상의 특징점을 결정하여 제2특징점 그룹을 생성하는 단계;
    상기 기준 특징점과 에지로 연결되는 인접 특징점과의 유클리드 거리가 작은 순서대로 상기 제2영상의 특징점을 결정하여, 제3특징점 그룹을 생성하는 단계;
    상기 기준 특징점 및 인접 특징점과 상기 제2 및 제3특징점 그룹 사이의 지리적 유사도를 계산하는 단계; 및
    상기 유클리드 거리 및 상기 지리적 유사도를 이용하여, 상기 제2특징점 그룹의 특징점 중에서 상기 기준 특징점에 대한 매칭점을 결정하는 단계를 포함하며,
    상기 지리적 유사도를 계산하는 단계는
    상기 기준 특징점과 상기 제2특징점 그룹의 특징점 중 하나 사이의 제1변환 행렬에 따라, 상기 인접 특징점을 상기 제2영상에 워핑하는 단계;
    상기 인접 특징점이 상기 제2영상에 워핑된 제1워핑점과 상기 제3특징점 그룹에 포함된 특징점 중 하나 사이의 거리값을 계산하는 단계;
    상기 인접 특징점과 상기 제3특징점 그룹의 특징점 중 하나 사이의 제2변환 행렬에 따라, 상기 기준 특징점을 상기 제2영상에 워핑하는 단계;
    상기 기준 특징점이 상기 제2영상에 워핑된 제2워핑점과 상기 제2특징점 그룹에 포함된 특징점 중 하나 사이의 거리값을 계산하는 단계; 및
    상기 거리값을 합산하여 상기 지리적 유사도를 계산하는 단계
    를 포함하는 특징점 매칭 방법.

  10. 삭제
KR1020170077681A 2017-06-20 2017-06-20 점진적 그래프 최적화를 통한 특징점 매칭 방법 KR101915402B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170077681A KR101915402B1 (ko) 2017-06-20 2017-06-20 점진적 그래프 최적화를 통한 특징점 매칭 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170077681A KR101915402B1 (ko) 2017-06-20 2017-06-20 점진적 그래프 최적화를 통한 특징점 매칭 방법

Publications (1)

Publication Number Publication Date
KR101915402B1 true KR101915402B1 (ko) 2018-11-05

Family

ID=64328980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170077681A KR101915402B1 (ko) 2017-06-20 2017-06-20 점진적 그래프 최적화를 통한 특징점 매칭 방법

Country Status (1)

Country Link
KR (1) KR101915402B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461136A (zh) * 2019-01-21 2020-07-28 北京海益同展信息科技有限公司 数据处理方法、装置、系统、计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chuan Yu 외 4인, "PROGRESSIVE FEATURE MATCHING VIA TRIPLET GRAPH", 2015 IEEE International Conference on Image Processing (ICIP), 2015.10, page 1860~1864.*
노진우 외 3인, "원통 모델과 스테레오 카메라를 이용한 포즈 변화에 강인한 얼굴인식", 대한전자공학회, 대한전자공학회 학술대회, 2003.7, 2012-2015 (4 pages).*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461136A (zh) * 2019-01-21 2020-07-28 北京海益同展信息科技有限公司 数据处理方法、装置、系统、计算机可读存储介质
CN111461136B (zh) * 2019-01-21 2023-12-08 京东科技信息技术有限公司 数据处理方法、装置、系统、计算机可读存储介质

Similar Documents

Publication Publication Date Title
KR102225093B1 (ko) 카메라 포즈 추정 장치 및 방법
US9142011B2 (en) Shadow detection method and device
KR101822185B1 (ko) 3d 포인트 클라우드 poi 검출 방법 및 장치
CN109493367B (zh) 一种对目标对象进行跟踪的方法和设备
JP2011008507A (ja) 画像検索方法およびシステム
CN111640089A (zh) 一种基于特征图中心点的缺陷检测方法及装置
CN112669359A (zh) 一种三维点云配准方法、装置、设备及存储介质
CN105069457B (zh) 图像识别方法和装置
JP2006190191A (ja) 情報処理装置および方法、並びにプログラム
WO2020107326A1 (zh) 车道线检测方法、设备、计算机可读存储介质
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
KR101915402B1 (ko) 점진적 그래프 최적화를 통한 특징점 매칭 방법
CN110942077A (zh) 基于权重局部变化度和l1中值优化的特征线提取方法
JP2015007919A (ja) 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
Chen et al. AugTarget data augmentation for infrared small target detection
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN115239776B (zh) 点云的配准方法、装置、设备和介质
JP2005165969A (ja) 画像処理装置、及び方法
Cao et al. Two-pass K nearest neighbor search for feature tracking
KR101235506B1 (ko) 초기 클러스터링을 사용한 병합식 계층적 클러스터링 방법 및 장치
CN115661218A (zh) 一种基于虚拟超点的激光点云配准方法和系统
CN111984812B (zh) 一种特征提取模型生成方法、图像检索方法、装置及设备
JP4133246B2 (ja) 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム
Bhattacharya et al. DT-RANSAC: a delaunay triangulation based scheme for improved RANSAC feature matching

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant