KR102149274B1 - 특징점 매칭을 이용한 영상매칭 방법 - Google Patents

특징점 매칭을 이용한 영상매칭 방법 Download PDF

Info

Publication number
KR102149274B1
KR102149274B1 KR1020130147994A KR20130147994A KR102149274B1 KR 102149274 B1 KR102149274 B1 KR 102149274B1 KR 1020130147994 A KR1020130147994 A KR 1020130147994A KR 20130147994 A KR20130147994 A KR 20130147994A KR 102149274 B1 KR102149274 B1 KR 102149274B1
Authority
KR
South Korea
Prior art keywords
matching
straight line
feature point
image
search area
Prior art date
Application number
KR1020130147994A
Other languages
English (en)
Other versions
KR20150062880A (ko
Inventor
오재윤
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020130147994A priority Critical patent/KR102149274B1/ko
Priority to US14/529,875 priority patent/US9824303B2/en
Priority to CN201410717768.0A priority patent/CN104680514B/zh
Publication of KR20150062880A publication Critical patent/KR20150062880A/ko
Application granted granted Critical
Publication of KR102149274B1 publication Critical patent/KR102149274B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Abstract

본 발명의 바람직한 일 실시예에서는 특징점의 좌표 정보를 기초로 영상매칭을 수행함으로서 불필요한 연산을 줄이고 성능 향상을 높인다.

Description

특징점 매칭을 이용한 영상매칭 방법{Method for image matching using a feature matching of the image}
본 발명은 영상 매칭에 관한 것이다.
의료분야에서는 CT, MRI, PET 등의 상호 보완적인 영상 정보들을 매칭하기 위하여 다중 센서를 이용한 영상 매칭 방법이 이용되어 왔으며, 감시 보안 분야에서는 가시광선 센서와 적외선 센서 등과 같이 서로 다른 파장 대역의 정보를 이용한 영상들을 매칭하여 물체 인식, 물체 추적 등에 이용하고 있다.
현재까지 이용되고 있는 다중 센서를 이용한 영상 매칭 방법은 Visible Image의 특징점들과 Thermal Image의 특징점들 중에서 서로 대응하는 특징점을 찾기 위해서는 다수의 후보 특징점들을 선정해야 한다.
이를 위해서는 Visible Image의 후보특징점들과 Thermal Image의 후보특징점과의 유사성을 측정하기 위한 일정 크기의 Image Patch가 필요하며, 각 Image Patch 간의 유사성을 계산하기 위해서는 복잡하고 많은 계산량이 요구된다. 또한 Image Patch 처리를 위해서 메모리 용량 증가 및 외부 메모리와의 입출력 대역폭 증가 등의 문제가 유발된다.
KR 2011-0068153
본 발명의 바람직한 일 실시예에서는 영상 매칭과정에서 Patch Image를 사용하지 않은채, 특징점의 좌표 정보만을 이용하여 영상 매칭을 수행하여 종래의 문제점을 해결한다.
본 발명의 바람직한 일 실시예로서, 특징점 매칭을 이용한 영상정합 방법은 제 1 센서를 이용하는 영상촬영장치에서 기준영상을 촬영하는 단계, 제 2 센서를 이용하는 영상촬영장치에서 대상영상을 촬영하는 단계, 상기 기준영상 내에서 제 1 상기 대상영상 내에서 상기 제 1 기준검색영역에 대응되는 제 1 매칭후보검색영역을 설정하고, 상기 제 1 매칭후보검색영역 내에서 특징점들을 추출하는 단계, 상기 제 1 기준검색영역 내에서 상기 제 1 특징점과 가장 가까운 제 2 특징점을 선정한 후, 상기 제 1 특징점과 상기 제 2 특징점을 연결하는 제 1직선을 선정하는 단계, 상기 제 1 직선과 길이와 각도가 매칭되는 제 1 매칭직선을 검색하기 위하여 상기 제 1 매칭후보검색영역 내에서 선정된 특징점들 간에 조합가능한 선분을 모두 생성하는 단계 및 상기 제 1 직선과 길이와 각도가 매칭되는 제 1 매칭직선을 파악하는 단계; 를 포함하는 것을 특징으로 한다.
바람직하게, 상기 제 1 매칭직선이 파악되면 상기 제 1 직선을 구성하는 특징점들 중 마지막에 선정된 제 2 특징점을 기준으로 제 2 기준검색영역을 선정하는 단계; 상기 대상영상 내에서 상기 제 2 기준검색영역에 대응되는 제 2 매칭후보검색영역을 설정하고, 상기 제 2 매칭후보검색영역 내에서 특징점들을 추출하는 단계; 상기 제 2 기준검색영역 내에서 상기 제 2 특징점과 가장 가까운 제 3 특징점을 선정한 후, 상기 제 2 특징점과 상기 제 3 특징점을 연결하는 제 2 직선을 선정하는 단계; 및 상기 제 2 매칭후보검색영역 내에서 상기 제 2 직선에 대응하는 제 2 매칭직선을 검색하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 제 2 매칭직선을 검색하는 단계는 상기 제 1 직선과 상기 제 2 직선이 이루는 각도와 상기 제 2 직선의 길이 각각이 상기 제 1 매칭직선과 상기 제 2 매칭직선이 이루는 각도와 상기 제 2 매칭직선의 길이 각각과 동일한 제 2 매칭직선을 검색하는 것을 특징으로 한다.
바람직하게, 상기 제 2 매칭직선을 검색하기 위하여 상기 제 1 매칭직선을 구성하는 특징점 중 마지막에 선정된 특징점과 연결되어 선분을 구성하는 상기 제 2 매칭후보검색영역 내의 특징점들만을 이용하여 조합가능한 선분을 생성하는 것을 특징으로 한다.
바람직하게, 상기 제 1 특징점과 거리가 가장 가까운 제 2 특징점을 선정하는 것을 특징으로 한다.
바람직하게, 제 1 직선의 각도는 제 1 특징점을 지나가는 수평선과 상기 제 1 직선이 이루는 각도인 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 적어도 두 개의 영상들을 정합하는 영상 정합 방법은 기준영상의 특징점들을 추출하는 단계; 상기 기준영상 내의 추출된 특징점들 중 제 1 특징점을 선정하고, 상기 제 1 특징점이 포함된 제 1 기준검색영역을 선정하는 단계; 상기 대상영상 내에서 상기 제 1 기준검색영역에 대응되는 제 1 매칭후보검색영역을 설정하고, 상기 제 1 매칭후보검색영역 내에서 특징점들을 추출하는 단계; 상기 제 1 기준검색영역 내에서 상기 제 1 특징점과 거리가 가장 가까운 제 2 특징점을 선정한 후, 상기 제 1 특징점과 상기 제 2 특징점을 연결하는 제 1직선을 선정하는 단계; 상기 제 1 매칭후보검색영역 내에서 추출된 특징점들로부터 조합가능한 선분을 모두 생성하는 단계; 및 상기 제 1 기준검색영역 내의 상기 제 1 직선과 길이와 각도가 매칭되는 제 1 매칭직선이 상기 제 1 매칭후보검색영역에서 생성한 선분들 중 있는지 파악하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명에서는 영상 매칭과정에서 Patch Image를 사용하지 않으므로, 복잡한 연산과정을 줄일 수 있는 이점이 있다
또한, 본 발명의 바람직한 일 실시예에서는 특징점의 좌표 정보를 기초로 영상매칭을 수행함으로서 불필요한 연산을 줄이고 성능 향상을 높이는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하는 흐름도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상에서 제 1 특징점과 기준검색영역을 선정하는 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 대상영상에서 특징점과 제 1 매칭후보검색영역을 선정하는 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상의 기준검색영역에서 제 2 특징점을 선정하는 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상의 기준검색영역에서 제 1 직선을 선정하는 예를 도시한다.
도 6 내지 7은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준검색영역의 제 1 직선에 대응하는 직선을 제 1 매칭후보검색영역에서 매칭하는 일 예를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상의 기준검색영역에서 제 2 직선을 선정하고, 제 2 직선에 대응하는 직선을 제 1 매칭후보검색영역에서 매칭하는 일 예를 도시한다.
도 9 는 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상의 기준검색영역에서 제 3 직선을 선정하고, 제 3 직선에 대응하는 직선을 제 1 매칭후보검색영역에서 매칭하는 일 예를 도시한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하는 흐름도를 도시한다.
본 발명의 바람직한 일 실시예로서, 영상 매칭은 가시광선 카메라와, 가시광선 카메라에 인접하게 위치한 열상 카메라에서 동일한 대상을 촬영한 경우, 가시광선 카메라에서 촬영한 가시광선 영상과 열상 카메라에서 촬영한 열상 영상간의 특징점의 기하학적 관계를 이용하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위하여, 제 1 센서를 이용하는 영상촬영장치에서 촬영한 기준영상 내의 특징점들을 추출한다(S110). 기준영상 내에서 임의로 제 1 특징점 VP1을 선정하고, 제 1 특징점 VP1이 포함된 제 1 기준검색영역을 선정한다(S112). 이와 관련해서는 도 2와 관련된 설명을 참고한다.
그 후 제 2 센서를 이용하는 영상촬영장치에서 촬영한 대상영상 내에서 제 1 기준검색영역에 대응되는 제 1 매칭후보검색영역을 설정하고, 제 1 매칭후보검색영역 내에서 특징점들을 추출한다(S114, S116). 이와 관련해서는 도 3과 관련된 설명을 참고한다.
제 1 기준검색영역 내에서 제 1 특징점과 가장 가까운 제 2 특징점을 선정한 후, 제 1 특징점과 상기 제 2 특징점을 연결하는 제 1직선을 선정한다(S118). 이와 관련해서는 도 4와 관련된 설명을 참고한다.
그 후 제 1 매칭후보검색영역 내에서 추출된 특징점들 간에 조합가능한 선분을 모두 생성한다(S120). 일 예를 들어, 제 1 매칭후보검색영역 내에서 추출된 특징점의 개수가 N 개 이면, 총 N*(N-1) 개의 선분이 생성된다. 이와 관련해서는 도 7을 참고한다.
이 후, 제 1 매칭후보검색영역 내에 생성된 후보 선분들 중 제 1 직선과 길이와 각도가 매칭되는 제 1 매칭직선을 검색한다(S122).
제 1 매칭직선이 파악되면, 기준영상 내의 제 1 직선을 구성하는 특징점들 중 마지막에 선정된 제 2 특징점을 기준으로 제 2 기준검색영역을 선정한다(S130). 이후 대상영상 내에서 제 2 기준검색영역에 대응되는 제 2 매칭후보검색영역을 설정하고, 제 2 매칭후보검색영역 내에서 특징점들을 추출한다(S132).
제 2 기준검색영역 내에서 제 2 특징점과 가장 가까운 제 3 특징점을 선정한 후, 제 2 특징점과 제 3 특징점을 연결하는 제 2 직선을 선정한다. 그 후, 제 2 매칭후보검색영역 내에서 상기 제 2 직선에 대응하는 제 2 매칭직선을 검색한다(S134, S136). 이와 관련해서는 도 8의 관련설명을 참고한다.
이 후, 제 3 직선, 제 4 직선,...제 n 직선에 대한 매칭직선들을 S130 내지 S136 단계를 반복하여 검색한다. 이와 관련해서는 도 9를 참고한다.
본 발명의 또 다른 바람직한 일 실시예에서는, 동종 또는 이종 센서를 이용하여 동일한 대상을 촬영한 이후, 각 영상 내의 특징점들의 기하학적 관계를 이용하여 매칭을 수행하는 것을 특징으로 한다.
영상 매칭과정을 도 2 내지 도 9를 참고하여 기술하면 아래와 같다.
도 2 는 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상에서 제 1 특징점과 제 1 기준검색영역을 선정하는 예를 도시한다.
본 발명의 바람직한 일 실시예로서, 기준영상은 제 1 센서를 이용하는 영상촬영장치에서 촬영한 영상이고, 대상영상은 제 2 센서를 이용하는 영상촬영장치에서 촬영한 영상으로 정의할 수 있다. 일 실시예로서, 기준영상은 가시광선 영상(Visible Image)(210), 그리고 대상영상은 열상 영상(Thermal Image)(220)이다.
본 발명의 또 다른 바람직한 일 실시예로서 기준영상과 대상영상은 동종 센서를 이용하여 동일한 대상을 촬영한 각각의 영상으로 변형이 가능함을 유의하여야 한다.
본 발명의 바람직한 일 실시예에서는 기준영상(210) 내에서 특징점들(S211, S212, S213, S214, S215, S216)을 추출한다. 이 후, 특징점들(S211, S212, S213, S214, S215, S216) 중 임의의 한 특징점(S211)을 선정한다.
임의의 한 특징점(S211)이 선정되면, 선정된 특징점 VP1(이하, 제 1 특징점)(S211)이 포함된 기준검색 영역 SR1(이하, 제 1 기준검색영역)(S210)을 선정한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 대상영상에서 특징점과 제 1 매칭후보검색영역을 선정하는 예를 도시한다.
기준영상(210) 내에서 제 1 특징점(S211)과 제 1 기준검색영역(S210)이 설정되면, 대상영상(220) 내에서 제 1 기준검색영역(S210)에 대응되는 제 1 매칭후보검색영역(S220)을 설정한다.
제 1 매칭후보검색영역(S220)이 설정되면, 제 1 매칭후보검색영역(S220) 내에서 특징점들 TP1(S221), TP2(S222), TP3(S223), TP4(S224)을 추출한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상의 기준검색영역에서 제 2 특징점을 선정하는 예를 도시한다.
기준영상(210) 내에서 제 1 특징점(S211)과 제 1 기준검색영역(S210)이 설정되고, 대상영상(220)에서 제 1 매칭후보검색영역(S220) 내의 특징점들이 추출되면, 제 1 기준검색영역(S210) 내에서 제 1 특징점(S211)과 가장 가까운 거리에 있는 두번째 특징점(이하, 제 2 특징점)(S212)을 선정한다.
VP2(S212)=MinDistance(VP1)(S211)
도 5 는 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상의 기준검색영역에서 제 1 직선을 선정하는 예를 도시한다.
기준영상(210)의 제 1 기준검색영역(S210) 내에서 제 1 특징점(S211)과 제 2 특징점(S212)이 선정되면, 제 1 특징점(S211)과 제 2 특징점(S212)을 연결하는 제 1 직선 VL12(S510)을 선정한다.
이 후, 대상영상(220)의 제 1 매칭후보검색영역(S220)내에서 추출된 특징점들 TP1(S221), TP2(S222), TP3(S223), TP4(S224)로부터 조합가능한 선분을 모두 생성한다(도 7, 220, 221, 222 및 223 참고).
예를 들어, 제 1 매칭후보검색영역(S220)내에서 추출된 특징점의 개수가 n 개 인 경우 조합 가능한 선분의 개수는 n*(n-1)개이다. 도 5의 제 1 매칭후보검색영역(S220)내에서 추출된 특징점들 TP1(S221), TP2(S222), TP3(S223), TP4(S224)로부터 조합가능한 선분의 개수는 4*3=12개가 된다.
도 6 내지 7은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준검색영역의 제 1 직선에 대응하는 직선을 제 1 매칭후보검색영역에서 매칭하는 일 예를 도시한다.
이후 도 6을 참고하면, 기준영상(210)의 제 1 기준검색영역(S210) 내의 제 1 직선 VL12(S510)에 대응하는 선분이 제 1 매칭후보검색영역(S220)내에서 추출된 특징점들 TP1(S221), TP2(S222), TP3(S223), TP4(S224)로부터 조합가능한 12개의 선분 중에 있는지를 파악한다.
기준영상(210) 내의 제 1 직선(S510)과 매칭되는 직선을 대상영상(220) 내에서 찾기 위해서는 제 1 직선(S510)의 각도와 길이를 이용한다. 제 1 직선(S510)의 각도란 제 1 특징점 VP1(S211)을 지나는 수평선과 제 1 직선 VL12(S510)이 이루는 각을 의미한다.
도 7에 도시된 일 실시예와 같이 제 1 특징점 VP1(S211)에 매칭되는 제 1 매칭직선(S520)을 검색한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 영상 매칭을 수행하기 위해 기준영상의 기준검색영역에서 제 2 직선을 선정하고, 제 2 직선에 대응하는 직선을 제 1 매칭후보검색영역에서 매칭하는 일 예를 도시한다.
도 2 내지 7의 과정을 통해 기준영상(210) 내의 제 1 직선(S510)에 매칭되는 대상영상(220) 내의 직선(S520)을 검색하면, 제 1 직선(S510)을 구성하는 특징점들 VP1(211) 및 VP2(212) 중 마지막에 선정된 제 2 특징점 VP2(212)을 기준으로 새로운 제 2기준검색영역(S810)을 설정한다. 제 2기준검색영역(S810)은 제 1 기준검색영역(S210)과 동일하거나 상이하게 설정될 수 있다.
그 후, 기준영상(210)의 제 2기준검색영역(S810) 내에서 제 2 특징점 VP2(212)에서 가장 거리가 가까운 제 3 특징점 VP3(S213)을 선정한 후, 제 2 특징점 VP2(212)과 제 3 특징점 VP3(S213)을 연결하는 제 2 직선 VL23(S511)을 생성한다.
대상영상(220)에서는 제 2기준검색영역(S810)에 대응되는 제 2 매칭후보검색영역(S820)을 선정하고, 제 2 매칭후보검색영역(S820) 내의 특징점들을 추출한다. 제 2 매칭후보검색영역(S820)은 제 1 매칭후보검색영역(S220)과 동일하거나 상이하게 설정될 수 있다. 제 2 매칭후보검색영역(S820)은 제 1 매칭후보검색영역(S220)과 동일하게 설정되는 경우, 제 2 매칭후보검색영역(S820) 내에서 특징점들을 추출하는 작업은 생략될 수 있다.
이 후, 제 2 매칭후보검색영역(S820)내에서 제 2기준검색영역(S810) 내의 제 2 직선 VL23(S511)에 대응하는 제 2 매칭직선(S521)을 검색한다.
이 경우에는 제 1 매칭직선(S520)을 구할 때와 달리, 제 1 매칭직선(S520)을 구성하는 특징점들 TP1(S221) 및 TP2(S222) 중 마지막에 선정된 특징점 TP2(S222)와 직선을 이룰 수 있는 특징점들만 비교를 수행하게 된다.
도 8을 참고하면, 제 2 직선 VL23(S511)에 대응하는 제 2 매칭직선(S521)의 후보는 TP2(S222)와 TP3(S223)를 연결하는 선분, TP2(S222)와 TP4(S224)를 연결하는 선분 그리고 TP2(S222)와 TP5(S225)를 연결하는 선분이 된다.
즉, 제 2 매칭직선(S521)의 후보는 3개의 선분이 된다.
제 2 직선(S511)에 매칭되는 제 2 매칭직선을 찾기 위하여, 제 1 직선(S510)과 제 2 직선(S511)이 이루는 각도(S812)와 제 2 직선(S511)의 길이가 비교기준이 된다.
일 예를 들면, 제 2 매칭직선의 후보 중 TP2(S222)와 TP3(S223)를 연결하는 선분, TP2(S222)와 TP4(S224)를 연결하는 선분 그리고 TP2(S222)와 TP5(S225)를 연결하는 선분 각각이 제 1 매칭직선(S520)과 이루는 각도를 비교한다.
그리고, 제 2 매칭직선의 후보 중 TP2(S222)와 TP3(S223)를 연결하는 선분, TP2(S222)와 TP4(S224)를 연결하는 선분 그리고 TP2(S222)와 TP5(S225)를 연결하는 선분 각각의 길이와 제 2 직선(S511)의 길이를 비교한다.
그 후, 최종적으로 각도와 길이가 일치하는 제 2매칭직선(S521)을 선정한다.
이후부터는 도 8에 도시된 바와 유사한 방식으로 도 9와 같이 계속하여 매칭을 수행한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (6)

  1. 제 1 센서를 이용하는 영상촬영장치에서 기준영상을 촬영하는 단계;
    제 2 센서를 이용하는 영상촬영장치에서 대상영상을 촬영하는 단계;
    상기 기준영상 내에서 제 1 특징점을 선정하고, 상기 제 1 특징점이 포함된 제 1 기준검색영역을 선정하는 단계;
    상기 대상영상 내에서 상기 제 1 기준검색영역에 대응되는 제 1 매칭후보검색영역을 설정하고, 상기 제 1 매칭후보검색영역 내에서 특징점들을 추출하는 단계;
    상기 제 1 기준검색영역 내에서 상기 제 1 특징점과 가장 가까운 제 2 특징점을 선정한 후, 상기 제 1 특징점과 상기 제 2 특징점을 연결하는 제 1직선을 선정하는 단계;
    상기 제 1 직선과 길이와 각도가 매칭되는 제 1 매칭직선을 검색하기 위하여 상기 제 1 매칭후보검색영역 내에서 추출된 특징점이 N개인 경우, 추출된 N개의 특징점들 간에 조합가능한 N*(N-1)개의 선분을 모두 생성하는 단계;
    상기 제 1 직선과 길이와 각도가 매칭되는 제 1 매칭직선을 파악하는 단계; 를 포함하고,
    상기 제 1 매칭직선이 파악되면
    상기 제 1 직선을 구성하는 특징점들 중 상기 제 2 특징점을 기준으로 제 2 기준검색영역을 선정하는 단계;
    상기 대상영상 내에서 상기 제 2 기준검색영역에 대응되는 제 2 매칭후보검색영역을 설정하고, 상기 제 2 매칭후보검색영역 내에서 특징점들을 추출하는 단계;
    상기 제 2 기준검색영역 내에서 상기 제 2 특징점과 가장 가까운 제 3 특징점을 선정한 후, 상기 제 2 특징점과 상기 제 3 특징점을 연결하는 제 2 직선을 선정하는 단계; 및
    상기 제 2 매칭후보검색영역 내에서 상기 제 2 직선에 대응하는 제 2 매칭직선을 검색하는 단계;를 포함하는 것을 특징으로 하는 특징점 매칭을 이용한 영상정합 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 제 2 매칭직선을 검색하는 단계는
    상기 제 1 직선과 상기 제 2 직선이 이루는 각도와 상기 제 2 직선의 길이 각각이 상기 제 1 매칭직선과 상기 제 2 매칭직선이 이루는 각도와 상기 제 2 매칭직선의 길이 각각과 동일한 제 2 매칭직선을 검색하는 것을 특징으로 하는 특징점 매칭을 이용한 영상정합 방법.
  4. 제 1 항에 있어서, 상기 제 2 매칭직선을 검색하기 위하여
    상기 제 1 매칭직선을 구성하는 특징점 중 마지막에 선정된 특징점과 연결되어 선분을 구성하는 상기 제 2 매칭후보검색영역 내의 특징점들만을 이용하여 조합가능한 선분을 생성하는 것을 특징으로 하는 특징점 매칭을 이용한 영상정합 방법.
  5. 삭제
  6. 삭제
KR1020130147994A 2013-11-29 2013-11-29 특징점 매칭을 이용한 영상매칭 방법 KR102149274B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130147994A KR102149274B1 (ko) 2013-11-29 2013-11-29 특징점 매칭을 이용한 영상매칭 방법
US14/529,875 US9824303B2 (en) 2013-11-29 2014-10-31 Image matching method using feature point matching
CN201410717768.0A CN104680514B (zh) 2013-11-29 2014-12-01 使用特征点匹配的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130147994A KR102149274B1 (ko) 2013-11-29 2013-11-29 특징점 매칭을 이용한 영상매칭 방법

Publications (2)

Publication Number Publication Date
KR20150062880A KR20150062880A (ko) 2015-06-08
KR102149274B1 true KR102149274B1 (ko) 2020-08-28

Family

ID=53265609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130147994A KR102149274B1 (ko) 2013-11-29 2013-11-29 특징점 매칭을 이용한 영상매칭 방법

Country Status (3)

Country Link
US (1) US9824303B2 (ko)
KR (1) KR102149274B1 (ko)
CN (1) CN104680514B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684963B2 (en) * 2014-12-31 2017-06-20 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
CN105160308B (zh) * 2015-08-20 2018-05-29 武汉大学 基于线分类和纹理分类的机场目标自动识别方法
CN106127755A (zh) * 2016-06-21 2016-11-16 奇瑞汽车股份有限公司 基于特征的图像匹配方法和装置
CN106991405A (zh) * 2017-04-10 2017-07-28 广东金杭科技股份有限公司 一种动态人像库建立方法
KR102132527B1 (ko) * 2018-04-25 2020-07-09 한양대학교 산학협력단 Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법
CN109064401B (zh) * 2018-07-26 2023-06-23 南京富士通南大软件技术有限公司 一种超长购物清单的拼接方法
CN110261923B (zh) * 2018-08-02 2024-04-26 浙江大华技术股份有限公司 一种违禁品检测方法及装置
CN109711321B (zh) * 2018-12-24 2020-09-01 西南交通大学 一种结构自适应的宽基线影像视角不变直线特征匹配方法
US11210551B2 (en) * 2019-07-29 2021-12-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Iterative multi-directional image search supporting large template matching
CN113129634B (zh) * 2019-12-31 2022-05-20 中移物联网有限公司 一种停车位的获取方法、系统及通信设备
KR102471205B1 (ko) * 2020-05-15 2022-11-25 한국전자통신연구원 2차원 다시점 영상 보정 방법 및 장치
CN111476231B (zh) * 2020-06-22 2024-01-12 努比亚技术有限公司 一种图像区域识别方法、设备及计算机可读存储介质
CN115830353A (zh) * 2021-09-17 2023-03-21 北京极智嘉科技股份有限公司 一种线段匹配方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250122A (ja) 2000-03-06 2001-09-14 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢決定処理方法およびそのためのプログラム記録媒体
US20100310177A1 (en) 2009-05-06 2010-12-09 University Of New Brunswick Method of interest point matching for images
JP2012098984A (ja) 2010-11-04 2012-05-24 Nomura Research Institute Ltd 帳票データ補正方法および帳票データ補正プログラム
US20140118514A1 (en) 2012-10-26 2014-05-01 Raytheon Company Method and apparatus for image stacking

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084989A (en) * 1996-11-15 2000-07-04 Lockheed Martin Corporation System and method for automatically determining the position of landmarks in digitized images derived from a satellite-based imaging system
US7016539B1 (en) * 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
KR20050063991A (ko) 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
KR100986809B1 (ko) 2008-07-17 2010-10-08 인하대학교 산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
KR101117026B1 (ko) 2009-12-15 2012-03-16 삼성메디슨 주식회사 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법
US9213920B2 (en) * 2010-05-28 2015-12-15 Zazzle.Com, Inc. Using infrared imaging to create digital images for use in product customization
JP5470607B2 (ja) * 2010-09-29 2014-04-16 株式会社日立製作所 計算機システム、及び画像／図表を位置合わせする方法
KR101677561B1 (ko) 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
KR101265694B1 (ko) 2011-08-30 2013-05-21 위드로봇 주식회사 Ｄｂ 효율화를 통한 영상 인식 시스템 및 그 제공방법
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
CN103279955B (zh) * 2013-05-23 2016-03-09 中国科学院深圳先进技术研究院 图像匹配方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250122A (ja) 2000-03-06 2001-09-14 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢決定処理方法およびそのためのプログラム記録媒体
US20100310177A1 (en) 2009-05-06 2010-12-09 University Of New Brunswick Method of interest point matching for images
JP2012098984A (ja) 2010-11-04 2012-05-24 Nomura Research Institute Ltd 帳票データ補正方法および帳票データ補正プログラム
US20140118514A1 (en) 2012-10-26 2014-05-01 Raytheon Company Method and apparatus for image stacking

Also Published As

Publication number Publication date
CN104680514A (zh) 2015-06-03
CN104680514B (zh) 2019-06-18
US9824303B2 (en) 2017-11-21
US20150154470A1 (en) 2015-06-04
KR20150062880A (ko) 2015-06-08

Similar Documents

Publication Publication Date Title
KR102149274B1 (ko) 특징점 매칭을 이용한 영상매칭 방법
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
US10810745B2 (en) Method and apparatus with image segmentation
KR101887002B1 (ko) 이미지-특징-기반 인식을 위한 시스템들 및 방법들
JP7248807B2 (ja) 敵対的攻撃の自動認識及び分類
US9064171B2 (en) Detection device and method for transition area in space
WO2017016516A1 (zh) 一种复杂场景下基于人脸识别的视频人像跟踪方法
Chen et al. Shape-Former: Bridging CNN and Transformer via ShapeConv for multimodal image matching
KR101782589B1 (ko) 이미지에 포함된 텍스트를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록매체
US8660302B2 (en) Apparatus and method for tracking target
Wang et al. Scene text detection and tracking in video with background cues
CN107305693B (zh) 信息处理装置、信息处理方法及存储介质
US20160232428A1 (en) Efficient local feature descriptor filtering
Dogra et al. Smart video summarization using mealy machine-based trajectory modelling for surveillance applications
Naveen Kumar et al. Detection of shot boundaries and extraction of key frames for video retrieval
Kumar et al. Video shot boundary detection and key frame extraction for video retrieval
CN112954455B (zh) 一种字幕跟踪方法、装置及电子设备
JP2010257267A (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN116524377A (zh) 一种基于tir图像的无人机目标跟踪识别方法
US8958651B2 (en) Tree-model-based stereo matching
US11972622B2 (en) Updating of annotated points in a digital image
KR20130080743A (ko) 특징점 집합 비교를 이용한 객체 영역 검색 방법
Sliti et al. Efficient visual tracking via sparse representation and back-projection histogram
Mabrouk et al. Spatiotemporal feature based convolutional neural network for violence detection
Tsai et al. SearchTrack: multiple object tracking with object-customized search and motion-aware features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant