KR101179401B1 - 정합쌍 분류장치 및 방법 - Google Patents

정합쌍 분류장치 및 방법 Download PDF

Info

Publication number
KR101179401B1
KR101179401B1 KR1020100136555A KR20100136555A KR101179401B1 KR 101179401 B1 KR101179401 B1 KR 101179401B1 KR 1020100136555 A KR1020100136555 A KR 1020100136555A KR 20100136555 A KR20100136555 A KR 20100136555A KR 101179401 B1 KR101179401 B1 KR 101179401B1
Authority
KR
South Korea
Prior art keywords
matching
pairs
matched
pair
image
Prior art date
Application number
KR1020100136555A
Other languages
English (en)
Other versions
KR20120074651A (ko
Inventor
문영식
박진욱
김용탁
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020100136555A priority Critical patent/KR101179401B1/ko
Publication of KR20120074651A publication Critical patent/KR20120074651A/ko
Application granted granted Critical
Publication of KR101179401B1 publication Critical patent/KR101179401B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

정합쌍 분류장치 및 방법이 개시된다. 개시된 정합쌍 분류장치는 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성하는 정합부; n개(3이상의 정수임)의 정합쌍에 의해 상기 제1 영상 및 상기 제2 영상 각각에서 형성되는 제1 다각형 및 제2 다각형 사이의 닮음 여부를 판단하는 닮음 판단부; 상기 복수의 정합쌍 중에서 n개의 초기 정합쌍을 선택하는 선택부 - 상기 선택된 n개의 초기 정합쌍에 의해 형성된 다각형들은 서로 닮음; 및
상기 선택된 n개의 초기 정합쌍 중 n-1개의 정합쌍 및 상기 복수의 정합쌍 중 상기 n개의 정합쌍을 제외한 어느 하나의 정합쌍에 의해 형성되는 다각형들이 닮지 않은 경우 상기 어느 하나의 정합쌍을 제거하는 정합쌍 제거부를 포함한다. 본 발명에 따르면, 특징점 정합 시 발생하는 잘못된 정합쌍을 분류할 수 있게 된다.

Description

정합쌍 분류장치 및 방법{DEVICE AND METHOD FOR CALSSIFYING TRUE PAIRS}
본 발명의 실시예들은 정합쌍 분류장치 및 방법에 관한 것으로서, 더욱 상세하게는 잘못된 정합쌍을 제거하는 정합쌍 분류장치 및 방법에 관한 것이다.
카메라로 동일한 객체를 촬영할 때, 카메라 혹은 객체가 움직임으로 인해 입력 영상에서 객체의 위치는 계속해서 변화한다. 따라서 동일한 객체의 특징점이라도 입력된 영상의 위치는 달라질 수 있다. 예를 들어 데이터 베이스에 입력된 지문문과 센서를 통해 입력된 지문을 비교할 때, 두 지문이 동일하더라도 각각의 두 영상에서 동일한 특징점들의 위치는 서로 다를 수 있다. 따라서 특징점을 비교하기 전에 서로 다른 영상에서 동일한 특징점을 정합하는 과정이 요구되며 이 과정을 특징점 정합이라고 한다.
스테레오 비전, 생체인식, 객체추적, 이동 로봇의 자기 위치 추적 그리고 증강현실 등의 분야에서 널리 이용되는 특징점 정합은 일반적으로 특징점 검출, 특징점 기술, 그리고 동일한 특징점 연결의 세 단계로 구분된다.
특징점 검출 단계는 서로 다른 영상에서 특징점 검출 알고리즘을 이용하여 특징점을 검출하는 과정이다. 특징점 기술 단계는 서로 다른 영상에서 검출된 특징점들을 적절한 기술자를 이용하여 해당 특징점의 값을 계산하는 과정이다. 마지막으로 동일한 특징점 연결 단계는 서로 다른 영상에서 기술된 특징점 사이에 값을 비교하여 값이 유사한 특징점들을 연결하고, 잘못 연결된 특징점을 제거하여 올바르게 연결된 동일한 특징점을 분리하는 과정이다.
이 세 단계 중에서 마지막 단계인 특징점 연결 단계가 전체적인 정합의 정확성에 큰 영향을 미친다. 예를 들어, 초기 정합과정에서는 올바른 정합뿐이 아니라 잘못된 정합이 발생할 수 있으며, 잘못된 정합의 분포가 전체 데이터에서 많은 부분을 차지할 경우에는 전체적인 특징점 정합의 정확성에 악영향을 미친다.
따라서, 올바른 정합을 유지하면서 잘못된 정합만을 제거하는 방법을 강인 추정 기법이라고 하며 대표적인 강인 추정 기법으로는 RANSAC(RANdom SAmlpe Consensus) 알고리즘이 있다. RANSAC 알고리즘은 전체 데이터 중에서 모델 인수를 결정하는데 필요한 최소의 데이터를 랜덤하게 샘플링하면서 반복적으로 해를 계산함으로써 최적의 해를 찾는 방법이다. 그러나 RANSAC를 이용하여 특징점 정합을 시도하는 경우, 정합 대상 영상의 크기가 변경되거나 회전이 발생할 경우 올바른 정합 결과가 감소한다는 단점이 있었다.
상기한 바와 같이 종래기술의 문제점을 해결하기 위해, 본 발명에서는 영상의 크기가 변경되거나 회전이 발생하더라도 올바르게 잘못된 정합쌍을 분류하는 장치 및 방법을 제공하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일실시예에 따르면, 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성하는 정합부; n개(3이상의 정수임)의 정합쌍에 의해 상기 제1 영상 및 상기 제2 영상 각각에서 형성되는 제1 다각형 및 제2 다각형 사이의 닮음 여부를 판단하는 닮음 판단부; 상기 복수의 정합쌍 중에서 n개의 초기 정합쌍을 선택하는 선택부 - 상기 선택된 n개의 초기 정합쌍에 의해 형성된 다각형들은 서로 닮음; 및 상기 선택된 n개의 초기 정합쌍 중 n-1개의 정합쌍 및 상기 복수의 정합쌍 중 상기 n개의 정합쌍을 제외한 어느 하나의 정합쌍에 의해 형성되는 다각형들이 닮지 않은 경우 상기 어느 하나의 정합쌍을 제거하는 정합쌍 제거부를 포함하는 것을 특징으로 하는 정합쌍 분류장치를 제공한다.
여기서, 상기 정합부는 상기 제1 영상에 포함된 복수의 특징점의 특징 벡터 및 상기 제2 영상에 포함된 복수의 특징점의 특징 벡터간의 유사도를 이용하여 상기 복수의 정합쌍을 생성하되, 상기 특징 벡터는 특징점의 주변 정보를 포함하는 벡터를 의미하는 것을 특징으로 할 수 있다.
상기 특징 벡터는 상기 제1 영상 또는 상기 제2 영상의 회전 및 주변의 조명 변화에 의해 변하지 않는 것을 특징으로 할 수 있다.
또한, 상기 복수의 정합쌍 각각의 상기 특징 벡터의 차 값을 산출하고, 상기 특징 벡터의 차 값이 낮은 순으로 상기 복수의 정합쌍을 정렬하는 정합쌍 정렬부
를 더 포함할 수 있다.
여기서 상기 선택부는 상기 정합쌍 정렬부에 의해 정렬된 복수의 정합쌍에서 상위부터 n 개의 정합쌍을 선택하고, 상기 n개의 정합쌍에 의해 형성된 다각형들이 서로 닮은 경우 상기 n개의 정합쌍을 상기 초기 정합쌍으로 선택할 수 있다.
또한, 상기 n개의 정합쌍에 의해 형성된 다각형들이 서로 닮지 않은 경우, 상기 n개의 정합쌍 중 특징 벡터의 차 값이 가장 큰 정합쌍을 상기 복수의 정합쌍 중 그 다음으로 특징 벡터의 차 값이 큰 정합쌍으로 교환하여 새로운 n개의 정합쌍을 선택하고, 상기 새로운 n 개의 정합쌍에 의해 형성된 다각형들이 서로 닮을 때까지 상기 교환 과정을 반복 수행하여 상기 초기 정합쌍을 선택할 수 있다.
이어서, 상기 닮음 판단부는 상기 닮음 여부를 상기 3개의 정합쌍에 의해 상기 제1 영상 및 상기 제2 영상 각각에서 형성되는 제1 삼각형 및 제2 삼각형간의 각각 일치하는 변의 비율을 이용하여 판단할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성하는 단계; 상기 복수의 정합쌍 중에서 n개(3이상의 정수임)의 초기 정합쌍을 선택하는 단계 - 상기 선택된 n개의 초기 정합쌍에 의해 형성된 다각형들은 서로 닮음; 및 상기 선택된 n개의 초기 정합쌍 중 n-1개의 정합쌍 및 상기 복수의 정합쌍 중 상기 n개의 정합쌍을 제외한 어느 하나의 정합쌍에 의해 형성되는 다각형들이 닮지 않은 경우 상기 어느 하나의 정합쌍을 제거하는 단계를 포함하는 것을 특징으로 하는 정합쌍 분류방법이 제공된다.
또한, 본 발명의 또 다른 실시예에 따르면, 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성하는 정합부; n개(3이상의 정수임)의 정합쌍에 의해 상기 제1 영상 및 상기 제2 영상 각각에서 형성되는 제1 다각형 및 제2 다각형 사이의 닮음 여부를 판단하는 닮음 판단부; 및
상기 제1 다각형 및 제2 다각형이 서로 닮지 않은 경우, 상기 n개의 정합쌍 중 하나 이상을 제거하는 정합쌍 제거부를 포함하는 것을 특징으로 하는 정합쌍 분류장치가 제공된다.
본 발명에 따르면, 특징점 정합 시 발생하는 잘못된 정합쌍을 분류하는 장치 및 방법이 제공된다.
도 1은 본 발명의 일 실시예에 따른 정합쌍 분류장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 세 개의 정합쌍으로 이루어진 두 개의 삼각형을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 정합쌍 분류방법의 전체적인 흐름을 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 정합쌍 분류와 RANSC 알고리즘을 이용한 정합쌍 분류시의 정확도를 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 정합쌍 분류와 RANSC 알고리즘을 이용한 정합쌍 분류시의 재현율을 나타내는 그래프이다.
도 6은 본 발명의 일 실시예에 따른 정합쌍 분류와 RANSC 알고리즘을 이용한 정합쌍 분류시의 정확성을 나타내는 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 정합쌍 분류장치를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 정합상 분류장치(100)는 정합부(101), 정합쌍 정렬부(103), 닮음 판단부(105), 선택부(107), 정합쌍 제거부(109)를 포함할 수 있다. 이하 각 구성요소 별로 그 기능을 상술하기로 한다.
정합부(101)는 제1영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성한다.
여기서, 제1 영상은 영상 비교를 위해 데이터베이스에 입력된 영상일 수 있으며, 제2 영상은 카메라, CCTV, 센서 등을 통해 전송된 입력 영상일 수 있다.
특징점은 영상 내에서의 모서리에 해당하는 점들을 의미할 수 있으며, 본 발명의 일 실시예에 따르면 영상 내의 특징점을 검출하기 위해 해리스 코너 검출기(Harris Corner Detector)를 이용할 수 있다.
해리스 코너 검출기는 영상의 지역적인 신호 변화를 측정하는 자동 상관성(Auto Correlation)함수에 바탕을 둔다. 자동 상관성 함수는 영상 내의 점(x, y)과 변화량
Figure 112012007240279-pat00049
을 이용하여 하기의 수식 1로 표현할 수 있다.
Figure 112012007240279-pat00050
여기서,
Figure 112012007240279-pat00051
는 밝기,
Figure 112012007240279-pat00052
는 가우시안 윈도우 W 내부의 화소를 의미함.
Figure 112012007240279-pat00053
을 테일러 확장을 이용하여 표현하면 하기의 수식 2와 같이 표현할 수 있다.
삭제
Figure 112012007240279-pat00054
여기서
Figure 112012007240279-pat00055
는 x에 대한 경사도,
Figure 112012007240279-pat00056
는 y에 대한 경사도를 의미한다.
수식 2를 수식 1에 대입하면 하기의 수식 3과 같이 표현할 수 있다.
Figure 112012007240279-pat00057
Figure 112012007240279-pat00058

여기서, M을 이용하여 해리스 코너 검출기는 모서리를 판별하며 수식 3을 하기의 수식 4 및 수식 5와 같이 표현 할 수 있다.
Figure 112012007240279-pat00059
여기서 k는 일반적으로 0.04를 사용할 수 있다.
Figure 112012007240279-pat00060
여기서, 해리스 코너 검출기는 HCM을 이용하여 모서리를 표시한 이진 영상을 통하여
Figure 112012007240279-pat00061
= 1인 지점을 특징점으로 검출한다.
정합부(101)는 제1 영상 및 제2 영상에서 검출된 복수의 특징점들을 서로 정합하기 위해서 특징점의 특징 벡터를 이용하며, 서로 유사한 특징 벡터 값을 가진 특징점들을 서로 정합한다.
여기서, 특징 벡터란 특징점의 주변 정보를 포함하는 벡터를 의미하며, 영상의 회전 및 주변의 조명 변화에 의해 변하지 않는 특성을 지니고 있다.
본 발명의 일 실시예에 따르면 검출된 특징점의 특징 벡터를 기술하기 위해 저니키 모멘트 기술자(Zernike Moment Descriptor)를 이용할 수 있다.
저니키 모멘트는 적은 개수의 모멘트를 이용하여 영상의 특징을 효과적으로 표현할 수 있기 때문에 많은 패턴 인식 시스템에서 사용되며, 저니키 모멘트는 입력 영상을 저니키 기저 함수 위에 투영하여 그 합을 계산함으로써 구해진다.
차수가 n이고 반복수(repetition)가 m인 저니키 모멘트
Figure 112012007240279-pat00062
은 하기의 수식 6과 같이 정의될 수 있다.
Figure 112012007240279-pat00063
여기서,
Figure 112012007240279-pat00064
는 입력 영상의 화소 값,
Figure 112012007240279-pat00065
는 저니키 기저 함수를 의미한다.
저니키 기저함수는 반지름이 1인 원형 안에서 정의되기 때문에 입력 영상은
Figure 112012007240279-pat00066
인 단위 원 크기로 정규화되어 계산에 사용된다. 수식 6에서 차수 n은 0 또는 양의 정수이고, 반복수 m은 n-|m| = (짝수)와 |m|
Figure 112012007240279-pat00019
n을 만족하는 정수이다. 이어서, 저니키 기저 함수는 하기의 수식 7과 같이 정의될 수 있다.
Figure 112012007240279-pat00067
여기서
Figure 112012007240279-pat00068
은 저니키 실수 방사 다항식,
Figure 112012007240279-pat00069
는 원점에서 (x, y)까지의 거리,
Figure 112012007240279-pat00070
는 점(x, y)가 x축과 이루는 각의 크기를 의미한다.
서로 다른 차수 또는 반복 수를 갖는 저니키 기저 함수
Figure 112012007240279-pat00071
는 단위 원 안에서 직교하기 때문에 각각의 모멘트 간에 정보의 중복이 없다. 이러한 특징은 서로 다른 차수 또는 반복수의 저니키 모멘트는 영상의 고유한 특성을 반영함을 나타내고, 적은 개수의 저니키 모멘트로 영상의 특징을 효과적으로 표현할 수 있음을 의미한다.
이어서, 저니키 실수 방사 다항식은 하기의 수식 8과 같이 표현할 수 있다.
Figure 112012007240279-pat00072
여기서, 수식 8은
Figure 112012007240279-pat00073
을 만족한다. 영상에 대하여 저니키 모멘트를 구하기 위해 수식 6을 하기의 수식 9와 같이 근사화할 수 있다.
Figure 112012007240279-pat00074
여기서,
Figure 112012007240279-pat00075
은 실제 계산에서 사용되는 픽셀의 개수를 의미한다.
수식 9를 이용하여 작성되는 지역 서술자는 회전에 대하여 불변하고 잡음과 조명 변화에 강인한 특성을 가지며 하기의 수식 10과 같이 표현할 수 있다.
Figure 112012007240279-pat00076
여기서,
Figure 112012007240279-pat00077
은 지역 서술자로 기술 되는 특징 벡터를 의미한다.
이와 같이 특징점에 대해 기술된 특징벡터를 이용하여 정합부(101)는 제1영상과 제2 영상으로부터 유사한 특징 벡터를 가진 특징점끼리 서로 정합하여 복수의 정합쌍을 생성한다.
정합쌍 정렬부(103)는 복수의 정합쌍 각각의 특징 벡터의 차 값을 산출하고, 상기 특징 벡터의 차 값이 낮은 순 또는 높은 순으로 복수의 정합쌍을 정렬할 수 있다.
닮음 판단부(105)는 n(3 이상의 정수임)개의 정합쌍에 의해 제1 영상 및 제2 영상 각각에서 형성되는 n-1개의 변을 가지는 제1 다각형 및 제2 다각형 사이의 닮음여부를 판단한다.
이하, 본 발명의 상세한 설명에서는 n은 3, 다각형은 삼각형인 것을 전제로 하여 본 발명을 설명하도록 한다. 그러나 본 발명이 이에 한정되는 것은 아니다.
닮음 판단부(105)는 복수의 정합쌍 중 임의로 선택된 3개의 정합쌍에 의해 제1 영상 및 제2 영상 각각에서 형성되는 제1 삼각형 및 제2 삼각형 간의 각각 일치하는 변의 비율을 이용하여 닮음여부를 판단한다.
이하 도 2를 참조하여 삼각형의 닮음여부를 판단하는 방법에 대해 살펴보도록 한다.
도 2는 본 발명의 일 실시예에 따른 세 개의 정합쌍으로 이루어진 두 개의 삼각형을 도시한 도면이다.
도 2를 참조하면, 세 개의 정합쌍 (A, a), (B, b), (C, c)를 이용하여 각각 꼭지점 A와 꼭지점 a, 꼭지점 B와 꼭지점 b, 꼭지점 C와 꼭지점 c로 이루어진 두 개의 삼각형을 형성할 수 있다.
여기서, 삼각형의 한 꼭지점이 마주보는 변을 기준으로 반전되어 계산되는 것을 막기 위해 변을 기준으로 나머지 꼭지점이 좌측에 위치하는지 우측에 위치하는지를 계산함으로써 각 꼭지점이 정확하게 연결되도록 할 수 있다.
두 삼각형의 닮음여부는 두 삼각형에서 각각 일치하는 변(A-B와 a-b, B-C와 b-c, C-A와 c-a)의 비율을 이용하여 판단될 수 있으며 하기의 수식 11을 이용할 수 있다.
Figure 112012007240279-pat00078
여기서, TH는 삼각형의 닮음비 문턱치를 의미한다.
삭제
닮음 판단부(105)는 각 변의 비율이 닮음비 문턱치보다 모두 낮다면 두 삼각형을 닮음으로 판단한다.
선택부(107)는 복수의 정합쌍 중에서 3개의 초기 정합쌍을 선택한다. 여기서, 초기 정합쌍에 의해 형성된 삼각형들은 서로 닮음을 특징으로 할 수 있다.
보다 상세하게, 정합쌍 정렬부(103)에 의해 복수의 정합쌍 들이 특징 벡터의 차 값이 낮은 순으로 정렬되어 있다 가정하는 경우, 선택부(107)는 우선 정렬된 복수의 정합쌍 중 상위 3개의 정합쌍을 선택하고 상위 3개의 정합쌍에 의해 형성된 삼각형들이 닮은 경우 상위 3개의 정합쌍을 초기 정합쌍으로 선택한다.
선택부(107)는 만약 상위 3개의 정합쌍에 의해 형성된 삼각형들이 서로 닮지하지 않은 경우 상위 3개의 정합쌍 중 3번째 정합쌍을 복수의 정합쌍 중 4번째 정렬된 정합쌍으로 교환하여 이에 의해 생성되는 삼각형들의 닮음 여부를 닮음 판단부(105)를 통해 판단한다.
즉 선택부(107)는 3개의 선택된 정합쌍 중 가장 큰 특징 벡터의 차 값을 가진 정합쌍을 그 다음 특징 벡터의 차 값을 가진 정합쌍으로 교환한다.
이어서, 선택부(107)는 교환에 의해 선택된 3개의 정합쌍들에 의해 형성된 삼각형들이 서로 닮음으로 판단될 때까지 다음 정렬된 정합쌍과의 교환과정을 반복 수행하여 초기 정합쌍을 선택한다.
본 발명의 일 실시예에 따르면, 교환 대상이 된 정합쌍은 복수의 정합쌍에서 제거될 수 있다. 예를 들어, 선택부(107)에서 정렬된 복수의 정합쌍 중 3번째 정합쌍과 4번째 정합쌍과의 교환이 이루어지는 경우 3번째 정합쌍이 제거될 수 있다.
정합쌍 제거부(109)는 초기 정합쌍을 이용하여 복수의 정합쌍 중 잘못 정합된 정합쌍을 제거 한다.
보다 상세하게, 정합쌍 제거부(109)는 3개의 초기 정합쌍이 선택된 경우 초기 정합쌍 중 임의의 두 개의 정합쌍과 복수의 정합쌍 중 선택되지 않은 정합쌍을 선택하여 제1 영상 및 제2 영상 각각에 대한 제1 삼각형 제2 삼각형을 형성하고 제1 삼각형 및 제2 삼각형의 닮음 여부를 판단한다.
이어서, 정합쌍 제거부(109)는 제1삼각형과 제2 삼각형이 닮지 않은 경우 초기 정합쌍 외에 추가로 선택된 정합쌍을 잘못 정합된 정합쌍으로 판단하고, 복수의 정합쌍에서 제거한다.
또한, 정합쌍 제거부(109)는 제1 삼각형과 제2 삼각형이 닮았다 판단되는 경우에는 추가로 선택된 정합쌍을 올바른 정합쌍으로 분류한다.
도 3은 본 발명의 일 실시예에 따른 정합쌍 분류방법의 전체적인 흐름을 도시한 순서도이다. 이하 도 3을 참조하여 각 단계별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S300)에서는 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성한다.
본 발명의 일 실시예에 따르면 정합쌍 생성시 특징점의 특징 벡터를 이용하여 복수의 정합쌍을 생성할 수 있다.
이어서, 단계(S305)에서는 복수의 정합쌍을 정렬한다. 여기서 정합쌍을 이루는 특징점의 특징벡터의 차 값이 낮은 순으로 복수의 정합쌍을 정렬할 수 있다.
단계(S310)에서는 정렬된 복수의 정합쌍 중 3개의 정합쌍을 선택한다. 처음에는 상위 3개의 정합쌍을 우선적으로 선택하고, 단계 (S315)에서 상위 3개의 정합쌍에 의해 형성된 제1 영상 및 제2 영상에서 각각 형성된 삼각형들이 서로 닮은 지 판단한다
단계(S310)에서는 삼각형들이 서로 닮지 않은 경우 3개의 정합쌍 중 가장 큰 특징 벡터의 차 값을 가지는 정합쌍을 그 다음 특징 벡터의 차 값을 가지는 정합쌍과 교환한다.
본 발명의 일 실시예에 따르면, 단계(S310)에서는 정합쌍을 교환하며 이전의 정합쌍을 복수의 정합쌍으로부터 제거할 수 있다.
단계(S320)에서는 삼각형이 서로 닮은 경우 단계(S310)에서 선택된 3개의 정합쌍을 초기 정합쌍으로 선택한다.
다음으로, 단계(S325)에서는 초기 정합쌍 중 임의의 두 개의 정합쌍과 선택되지 않고 남은 정합쌍 중 어느 하나의 정합쌍을 이용하여 두 개의 삼각형을 형성한다.
단계(S330)에서는 새롭게 형성한 두 개의 삼각형의 닮음여부를 판단한다. 삼각형들이 닮음으로 판단된 경우 단계(S335)에서 상기 어느 하나의 정합쌍을 올바른 정합쌍으로 분류한다. 삼각형들이 닮지 않음으로 판단된 경우 단계(S340)에서 어느 하나의 정합쌍을 복수의 정합쌍으로부터 제거한다.
단계(S345)에서는 복수의 정합쌍 중 선택되지 않고 남은 정합쌍이 0이 될 때까지 상기 단계(S325) 내지 단계(S340)의 과정을 반복한다.
이하 도4 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 정합쌍 분류와 RANSC 알고리즘을 이용한 정합쌍 분류의 정확도, 재현율, 정확성을 이용한 성능평가를 통해 비교하도록 한다.
도 4는 본 발명의 일 실시예에 따른 정합쌍 분류와 RANSC 알고리즘을 이용한 정합쌍 분류시의 정확도를 나타내는 그래프, 도 5는 본 발명의 일 실시예에 따른 정합쌍 분류와 RANSC 알고리즘을 이용한 정합쌍 분류시의 재현율을 나타내는 그래프, 도 6은 본 발명의 일 실시예에 따른 정합쌍 분류와 RANSC 알고리즘을 이용한 정합쌍 분류시의 정확성을 나타내는 그래프이다.
잘못된 정합쌍을 제거하는 본 발명의 일 실시예에 따른 정합쌍 분류방법과 RANSC 알고리즘을 이용한 정합쌍 분류방법의 성능 평가를 위해 정확도(Precision), 재현율(Recall) 및 정확성(Accuracy)을 이용할 수 있다.
정확도, 재현율 및 정확성의 계산방법은 하기의 수식 12와 같이 표현할 수 있다.
Figure 112012007240279-pat00079
여기서, TP는 올바른 정합쌍을 올바르다고 분류한 개수, FP는 잘못된 정합쌍을 올바르다고 분류한 개수, TN은 잘못된 정합쌍을 잘못되었다고 분류한 개수, FN은 올바른 정합쌍을 잘못되었다고 분류한 개수를 각각 의미한다.
삭제
삭제
올바른 정합쌍은 초기 정합쌍과 정답쌍(Ground Truth Pair)과의 교집합으로 계산할 수 있으며, 정답쌍은 검출된 특징점을 균질 변환 행렬(Homogeneous Translate Matrix)을 이용하여 계산할 수 있다.
여기서, 균질 변환 행렬은 실험에 적용하는 이동, 크기 및 회전 변화 변수를 이용하여 계산된다. 균질 변환 행렬로 계산되는 정답쌍의 위치는 실수로 표현되기 때문에 실제 영상에서 정수로 표현되는 화소 위치와 오차가 발생할 수 있다.
따라서 초기 정합쌍과 정답쌍의 교집합을 계산할 때, 두 정합쌍의 변화된 영상 상에서의 거리가 기 설정된 문턱치 거리보다 가깝다면 두 정합쌍을 일치한다고 계산하고, 정답쌍에 포함시킨다.
도 4내지 도 6을 참조하면, 각각의 그림에서 세로축은 정확도, 재현율 및 정확성의 수치를 가로축은 영상의 개수를 나타낸다. 그래프 선으로 표현된 것은 본 발명의 일 실시예에 따른 정합쌍 분류, 원으로 표현된 것은 RANSA C 알고리즘에 따른 정합쌍 분류를 의미한다.
50개의 영상 중 변화된 영상은 원본 영상과 비교하여 원본 영상의 전체 크기의 가로와 세로 길이대비 각각 12%정도 길이만큼 이동시켰고 20도 회전시켰으며 크기도 90%로 감소시켰다.
도 4내지 도 6에서 볼 수 있듯이 본 발명에 의한 정합쌍 분류방법이 RANSAC 알고리즘에 비해 정확도는 약 105%, 재현율은 약 375%, 정확성은 약 22% 향상되었다.
Measure Method 4% 8% 12% 16% 20%
Precision RANSAC 0.996 0.992 0.990 0.984 0.978
Proposed Method 0.998 0.996 0.997 0.995 0.992
Recall RANSAC 1 1 0.999 1 0.982
Proposed Method 1 1 1 1 1
Accuracy RANSAC 0.996 0.994 0.993 0.992 0.987
Proposed Method 0.999 0.997 0.994 0.995 0.997

표 1은 본 발명의 일실시예에 따른 정합쌍 분류방법과 RANSAC 알고리즘 방법으로 동일한 50개의 이동된 영상에 정합쌍을 분리한 뒤 정확도, 재현율, 정확성을 계산한 결과로서 각 원본 영상의 가로, 세로, 크기에게 각각 4%, 8%, 12%, 16% 및 20%에 해당하는 길이만큼 원본 영상을 이동시켜 변화된 영상으로 이용하였다.
Measure Method 95% 90% 85% 80% 75%
Precision RANSAC 0.811 0.691 0.533 0.417 0.328
Proposed Method 0.984 0.976 0.955 0.868 0.720
Recall RANSAC 0.788 0.665 0.482 0.232 0.091
Proposed Method 0.998 0.997 0.944 0.915 0.762
Accuracy RANSAC 0.730 0.662 0.652 0.753 0.844
Proposed Method 0.987 0.985 0.980 0.958 0.960
표 2는 본 발명의 일실시예에 따른 정합쌍 분류방법과 RANSAC 알고리즘 방법으로 동일한 50개의 크기가 변화된 영상에 정합쌍을 분리한 뒤 정확도, 재현율, 정확성을 계산한 결과로서 원본 영상을 95%, 90%, 85%, 80% 및 70%로 축소시켜 변화된 영상으로 이용하였다.
Measure Method 10o 30o 50o 70o 90o
Precision RANSAC 0.515 0.527 0.444 0.469 0.527
Proposed Method 0.837 0.913 0.932 0.916 0.932
Recall RANSAC 0.566 0.527 0.386 0.400 0.539
Proposed Method 0.998 0.997 0.997 0.996 0.981
Accuracy RANSAC 0.648 0.642 0.676 0.687 0.655
Proposed Method 0.924 0.962 0.977 0.971 0.975
표 3은 본 발명의 일실시예에 따른 정합쌍 분류방법과 RANSAC 알고리즘 방법으로 동일한 50개의 회전된 영상에 정합쌍을 분리한 뒤 정확도, 재현율, 정확성을 계산한 결과로서 원본 영상을
Figure 112012007240279-pat00080
회전시킨 영상을 변화된 영상으로 이용하였다.
표1, 표2, 표3의 결과를 통해 영상의 이동, 크기의 변화, 회전 변화가 적용된 영상에 대해서도 본 발명의 일 실시예에 의한 정합쌍 분류방법이 RANSAC 알고리즘 방법과 비교하여 효과적인 결과를 보여주는 것을 확인할 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 정합쌍 분류장치 101: 정합부
103: 정합쌍 정렬부 105: 닮음 판단부
107: 선택부 109: 정합쌍 제거부

Claims (13)

  1. 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성하는 정합부;
    상기 복수의 정합쌍 중 n개(3이상의 정수임)의 정합쌍에 의해 상기 제1 영상 및 상기 제2 영상 각각에서 형성되는 제1 다각형 및 제2 다각형 사이의 닮음 여부를 판단하는 닮음 판단부;
    상기 복수의 정합쌍 중 임의의 n개의 정합쌍을 선택하고, 상기 임의의 n개의 정합쌍에 의해 형성된 다각형들이 상기 닮은 판단부에 의해 닮음으로 판단되는 경우 상기 임의의 n개의 정합쌍을 n개의 초기 정합쌍으로 선택하는 선택부;
    상기 선택된 n개의 초기 정합쌍 중 n-1개의 초기 정합쌍 및 상기 복수의 정합쌍 중 상기 n개의 초기 정합쌍을 제외한 어느 하나의 정합쌍에 의해 형성되는 다각형들이 닮지 않은 경우 상기 어느 하나의 정합쌍을 제거하는 정합쌍 제거부
    를 포함하는 것을 특징으로 하는 정합쌍 분류 장치.
  2. 제1항에 있어서,
    상기 정합부는
    상기 제1 영상에 포함된 복수의 특징점의 특징 벡터 및 상기 제2 영상에 포함된 복수의 특징점의 특징 벡터간의 유사도를 이용하여 상기 복수의 정합쌍을 생성하되,
    상기 특징 벡터는 특징점의 주변 정보를 포함하는 벡터를 의미하는 것을 특징으로 하는 정합쌍 분류장치.
  3. 제2항에 있어서,
    상기 특징 벡터는 상기 제1 영상 또는 상기 제2 영상의 회전 및 주변의 조명 변화에 의해 변하지 않는 것을 특징으로 하는 정합쌍 분류장치.
  4. 제2항에 있어서,
    상기 복수의 정합쌍 각각의 상기 특징 벡터의 차 값을 산출하고, 상기 특징 벡터의 차 값이 낮은 순으로 상기 복수의 정합쌍을 정렬하는 정합쌍 정렬부
    를 더 포함하는 것을 특징으로 하는 정합쌍 분류장치.
  5. 제4항에 있어서,
    상기 선택부는
    상기 정합쌍 정렬부에 의해 정렬된 복수의 정합쌍에서 상위부터 n 개의 정합쌍을 선택하고,
    상기 n개의 정합쌍에 의해 형성된 다각형들이 서로 닮은 경우 상기 n개의 정합쌍을 상기 초기 정합쌍으로 선택하는 것을 특징으로 하는 정합쌍 분류장치.
  6. 제5항에 있어서,
    상기 n개의 정합쌍에 의해 형성된 다각형들이 서로 닮지 않은 경우,
    상기 n개의 정합쌍 중 특징 벡터의 차 값이 가장 큰 정합쌍을 상기 복수의 정합쌍 중 그 다음으로 특징 벡터의 차 값이 큰 정합쌍으로 교환하여 새로운 n개의 정합쌍을 선택하고,
    상기 새로운 n 개의 정합쌍에 의해 형성된 다각형들이 서로 닮을 때까지 상기 교환 과정을 반복 수행하여 상기 초기 정합쌍을 선택하는 것을 특징으로 하는 정합쌍 분류장치.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 n은 3이고, 상기 다각형은 삼각형인 것을 특징으로 하는 정합쌍 분류장치.
  8. 제7항에 있어서,
    상기 닮음 판단부는
    상기 닮음 여부를 상기 3개의 정합쌍에 의해 상기 제1 영상 및 상기 제2 영상 각각에서 형성되는 제1 삼각형 및 제2 삼각형간의 각각 일치하는 변의 비율을 이용하여 판단하는 것을 특징으로 하는 정합쌍 분류장치.
  9. 제 8항에 있어서,
    상기 닮음 판단부는
    상기 닮음 여부를 하기의 수식에 기초하여 판단하는 것을 특징으로 하는 정합쌍 분류장치.
    Figure 112012007240279-pat00081

    여기서, TH는 닮음비 문턱치,
    Figure 112012007240279-pat00082
    는 정합쌍 (A, a), (B, b), (C, c)로 이루어진 삼각형
    Figure 112012007240279-pat00083
    에서의 각 변의 길이를 의미하며 상기의 수식의 결과 값이 모두 닮음비 문턱치보다 작은 경우 상기 닮음 판단부는 삼각형들이 서로 닮음으로 판단함.
  10. 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성하는 단계;
    상기 복수의 정합쌍 중에서 n개(3이상의 정수임)의 초기 정합쌍을 선택하는 단계 - 상기 선택된 n개의 초기 정합쌍에 의해 형성된 다각형들은 서로 닮음; 및
    상기 선택된 n개의 초기 정합쌍 중 n-1개의 초기 정합쌍 및 상기 복수의 정합쌍 중 상기 n개의 초기 정합쌍을 제외한 어느 하나의 정합쌍에 의해 형성되는 다각형들이 닮지 않은 경우 상기 어느 하나의 정합쌍을 제거하는 단계
    를 포함하는 것을 특징으로 하는 정합쌍 분류 방법.
  11. 제 10항에 있어서,
    상기 복수의 정합쌍 각각의 상기 특징 벡터의 차 값을 산출하고, 상기 특징 벡터의 차 값이 낮은 순으로 상기 복수의 정합쌍을 정렬하는 단계를 더 포함하되,
    상기 특징 벡터는 상기 특징점의 주변 정보를 포함하는 벡터를 의미하는 것을 특징으로 하는 정합쌍 분류방법.
  12. 제11항에 있어서,
    상기 초기 정합쌍을 선택하는 단계는
    상기 정렬된 복수의 정합쌍에서 상위부터 n개의 정합쌍을 선택하는 단계;
    상기 n개의 정합쌍에 의해 형성된 다각형들의 닮음여부를 판단하는 단계;
    상기 다각형들이 닮은 경우 상기 n 개의 정합쌍을 초기 정합쌍으로 선택하는 단계; 및
    상기 다각형들이 닮지 않은 경우 상기 n개의 정합쌍 중 특징 벡터의 차 값이 가장 큰 정합쌍을 그 다음으로 특징 벡터의 차 값이 큰 정합쌍으로 교환하여 새로운 n개의 정합쌍을 선택하며, 상가 새로운 n 개의 정합쌍에 의해 형성된 다각형들이 서로 닮을 때까지 상기 교환과정을 반복 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 정합쌍 분류방법.
  13. 제1 영상 및 제2 영상 각각에 포함된 복수의 특징점을 서로 정합하여 복수의 정합쌍을 생성하는 정합부;
    상기 복수의 정합쌍 중 임의로 선택되는 n개(3이상의 정수임)의 정합쌍에 의해 상기 제1 영상 및 상기 제2 영상 각각에서 형성되는 제1 다각형 및 제2 다각형 사이의 닮음 여부를 판단하는 닮음 판단부; 및
    상기 제1 다각형 및 제2 다각형이 서로 닮지 않은 경우, 상기 n개의 정합쌍 중 하나 이상의 정합쌍을 제거하는 정합쌍 제거부
    를 포함하는 것을 특징으로 하는 정합쌍 분류 장치.
KR1020100136555A 2010-12-28 2010-12-28 정합쌍 분류장치 및 방법 KR101179401B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100136555A KR101179401B1 (ko) 2010-12-28 2010-12-28 정합쌍 분류장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100136555A KR101179401B1 (ko) 2010-12-28 2010-12-28 정합쌍 분류장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120074651A KR20120074651A (ko) 2012-07-06
KR101179401B1 true KR101179401B1 (ko) 2012-09-05

Family

ID=46708740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100136555A KR101179401B1 (ko) 2010-12-28 2010-12-28 정합쌍 분류장치 및 방법

Country Status (1)

Country Link
KR (1) KR101179401B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102259704B1 (ko) * 2018-12-31 2021-06-02 경희대학교 산학협력단 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252162A (ja) 2005-03-10 2006-09-21 Toshiba Corp パターン認識装置及びその方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252162A (ja) 2005-03-10 2006-09-21 Toshiba Corp パターン認識装置及びその方法

Also Published As

Publication number Publication date
KR20120074651A (ko) 2012-07-06

Similar Documents

Publication Publication Date Title
JP7297018B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN105654507B (zh) 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
EP3186780B1 (en) System and method for image scanning
US9552642B2 (en) Apparatus and method for tracking object using feature descriptor, and apparatus and method for removing garbage feature
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
US20070058856A1 (en) Character recoginition in video data
WO2015136714A1 (ja) 画像識別装置、画像センサ、画像識別方法
Klippenstein et al. Quantitative evaluation of feature extractors for visual slam
US10275682B2 (en) Information processing apparatus, information processing method, and storage medium
JP2023120281A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN104574401A (zh) 一种基于平行线匹配的图像配准方法
JP2011113197A (ja) 画像検索方法およびシステム
Benseddik et al. SIFT and SURF Performance evaluation for mobile robot-monocular visual odometry
WO2015136709A1 (ja) 画像処理装置、画像センサ、画像処理方法
Zhang et al. Extension and evaluation of the AGAST feature detector
US12094183B2 (en) Geometric pattern matching method and device for performing the method
US8164633B2 (en) Calibration apparatus and method for imaging devices and computer program
JP2018036770A (ja) 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
CN107480710B (zh) 特征点匹配结果处理方法和装置
US11113522B2 (en) Segment-based pattern matching algorithm
KR101179401B1 (ko) 정합쌍 분류장치 및 방법
CN111753719A (zh) 一种指纹识别方法及装置
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置
CN114399532A (zh) 一种相机位姿确定方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 5