KR20150084574A - 영상 정합을 위한 특징점 샘플링 방법 - Google Patents

영상 정합을 위한 특징점 샘플링 방법 Download PDF

Info

Publication number
KR20150084574A
KR20150084574A KR1020140004711A KR20140004711A KR20150084574A KR 20150084574 A KR20150084574 A KR 20150084574A KR 1020140004711 A KR1020140004711 A KR 1020140004711A KR 20140004711 A KR20140004711 A KR 20140004711A KR 20150084574 A KR20150084574 A KR 20150084574A
Authority
KR
South Korea
Prior art keywords
sampling
image
feature point
distance
feature points
Prior art date
Application number
KR1020140004711A
Other languages
English (en)
Other versions
KR102170689B1 (ko
Inventor
오재윤
이준성
박재우
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140004711A priority Critical patent/KR102170689B1/ko
Priority to US14/583,909 priority patent/US9704063B2/en
Priority to CN201510018840.5A priority patent/CN104778682B/zh
Publication of KR20150084574A publication Critical patent/KR20150084574A/ko
Application granted granted Critical
Publication of KR102170689B1 publication Critical patent/KR102170689B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Abstract

본 발명은 특징점 샘플링 방법 및 이를 이용한 영상 정합 방법을 개시한다.
본 발명의 영상 정합을 위한 특징점 샘플링 방법은, 제1영상을 샘플링 특징점 수만큼의 영역으로 분류하는 단계; 각 영역에서 추출되는 샘플링 특징점들 사이에 특정 거리 이상 이격되는 거리 제한 조건을 만족하도록, 각 영역에서 하나의 샘플링 특징점을 추출하는 단계; 및 상기 추출된 샘플링 특징점들과 상기 제1영상과 정합하는 제2영상의 대응하는 샘플링 특징점들을 기초로 호모그래피를 추정하는 단계;를 포함할 수 있다.

Description

영상 정합을 위한 특징점 샘플링 방법{Method for sampling of feature points for image alignment}
본 발명의 실시예는 특징점 샘플링 방법 및 이를 이용한 영상 정합 방법에 관한 것이다.
최근에 감시 시스템과 의료 영상 등의 분야에서 변화 감지, 움직임 검출, 초해상도 영상 복원 및 물체 인식과 추적 등의 알고리즘의 정확도와 신뢰도를 향상시키기 위해 두 개 이상의 센서를 이용한 상호 보완적인 정보 융합 연구가 활발히 이루어지고 있다.
감시시스템과 의료 영상 등의 분야에서 두 개 이상의 영상을 획득하여 하나의 융합 영상을 생성하는 시스템에서는 영상 정합을 수행하여야 한다.
한국공개특허 제2005-0084448호
본 발명은 영상 정합을 위한 랜덤 샘플링 과정에서 특징점들의 분포가 선형 또는 특정영역에 군집을 이루어 발생하는 문제를 해결하는 랜덤 샘플링 방법 및 이를 이용한 영상 정합 방법을 제공한다.
본 발명의 실시예에 따른 영상 정합을 위한 특징점 샘플링 방법은, 제1영상을 샘플링 특징점 수만큼의 영역으로 분류하는 단계; 각 영역에서 추출되는 샘플링 특징점들 사이에 특정 거리 이상 이격되는 거리 제한 조건을 만족하도록, 각 영역에서 하나의 샘플링 특징점을 추출하는 단계; 및 상기 추출된 샘플링 특징점들과 상기 제1영상과 정합하는 제2영상의 대응하는 샘플링 특징점들을 기초로 호모그래피를 추정하는 단계;를 포함할 수 있다.
상기 샘플링 특징점 추출 단계는, 상기 제1영역 내의 특징점들 중 제1 샘플링 특징점을 추출하는 단계; 상기 제1 샘플링 특징점으로부터 제1거리 이상 이격된 제2영역 내의 특징점들 중 제2 샘플링 특징점을 추출하는 단계; 상기 제2 샘플링 특징점으로부터 제2거리 이상 이격된 제3영역 내의 특징점들 중 제3 샘플링 특징점을 추출하는 단계; 및 상기 제3 샘플링 특징점으로부터 제3거리 이상 이격된 제4영역 내의 특징점들 중 제4 샘플링 특징점을 추출하는 단계;를 포함할 수 있다.
상기 제3 샘플링 특징점 추출 단계는, 상기 제1 샘플링 특징점으로부터 제1거리 이상 이격되고, 상기 제2 샘플링 특징점으로부터 제2거리 이상 이격된 제3영역 내의 특징점들 중 제3 샘플링 특징점을 추출하는 단계;를 포함할 수 있다.
상기 제4 샘플링 특징점 추출 단계는, 상기 제1 샘플링 특징점으로부터 제1거리 이상 이격되고, 상기 제2 샘플링 특징점으로부터 제2거리 이상 이격되고, 상기 제3 샘플링 특징점으로부터 제3거리 이상 이격된 제4영역 내의 특징점들 중 제4 샘플링 특징점을 추출하는 단계;를 포함할 수 있다.
상기 제1거리 내지 제3거리는, 상기 제1 샘플링 특징점 내지 제3 샘플링 특징점 각각으로부터 상기 제1영상의 중심 사이의 거리보다 큰 값일 수 있다.
상기 제1영상 및 제2영상은 동일한 영상센서 또는 상이한 영상센서로부터 획득될 수 있다.
본 실시예에 따른 영상 정합을 위한 랜덤 샘플링 방법은 랜덤 샘플들을 균일하게 획득하고, 랜덤 샘플링 횟수 및 부정확한 호모그래피 추정을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 정합 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 정합 방법을 개략적으로 설명하는 흐름도이다.
도 4a 내지 도 4k는 도 3의 랜덤 샘플링 방법을 설명하는 예시도이다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 영상 융합 시스템(1)은 영상센서(20), 영상 정합 장치(40), 영상 융합 장치(60) 및 디스플레이 장치(80)를 포함할 수 있다.
영상센서(20)는 장면을 촬영하여 영상 정보를 제공하는 카메라일 수 있다. 영상센서(20)는 서로 다른 시점 또는 서로 다른 시간의 영상을 획득하는 하나의 센서일 수 있다. 또는 영상센서(20)는 서로 다른 영상을 획득하는 서로 다른 특성의 둘 이상의 센서를 포함할 수 있다. 예를 들어, 영상센서(20)는 가시광 카메라 및 적외광 카메라(또는 열상 카메라)를 포함할 수 있다.
영상센서(20)는 팬틸트줌(PTZ) 기능을 구비할 수 있다. 영상센서(20)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.
영상 정합 장치(40)는 두 개 이상의 영상들의 위치 관계를 대응시켜 하나의 좌표계로 정렬시키는 영상 정합을 수행한다. 영상 정합 장치(40)는 영상센서(20)로 촬영한 두 개의 제1영상 및 제2영상을 정합한다. 제1영상과 제2영상은 서로 다른 시점, 서로 다른 시간 또는 서로 다른 특성의 센서로부터 획득한 영상일 수 있다.
영상 정합 장치(40)는 제1영상 및 제2영상으로부터 추출된 특징점들을 랜덤 샘플링하여 호모그래피(변환함수)를 추정한다. 호모그래피는 제1영상 및 제2영상 각각의 특징점 간의 대응 관계를 나타내는 행렬이다. 영상 정합 장치(40)는 추정된 호모그래피를 적용하여 제1영상 및 제2영상을 정합한다.
영상 융합 장치(60)는 수신된 영상 신호를 디스플레이 규격에 맞는 신호로 출력하는 신호 처리를 수행한다. 영상 융합 장치(60)는 정합된 제1영상과 제2영상을 융합한다.
영상 융합 장치(60)는 제1영상 및 제2영상에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 융합 장치(60)는 화질 개선을 위한 영상 신호 처리를 하여 융합 영상의 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함할 수 있다.
또한, 영상 융합 장치(60)는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다.
디스플레이 장치(80)는 영상 융합 장치(60)로부터 출력되는 융합 영상을 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(80)는 제1영상과 제2영상이 중첩된 융합 영상을 디스플레이할 수 있다. 디스플레이 장치(80)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(80)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.
도 2는 본 발명의 실시예에 따른 영상 정합 장치를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 본 실시예에 따른 영상 정합 장치(40)는 특징점 추출부(401), 특징점쌍 선별부(403), 및 호모그래피 추정부(405)를 포함할 수 있다.
특징점 추출부(401)는 제1영상 및 제2영상의 특징점을 추출할 수 있다. 특징점 추출부(401)는 순차로 또는 병렬로 제1영상 및 제2영상의 특징점을 검출할 수 있다.
특징점 추출부(401)는 SIFT 알고리즘, HARRIS 코너 알고리즘, SUSAN 알고리즘 등을 이용하여 제1영상 및 제2영상 각각으로부터 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 특징점으로 추출할 수 있다. 본 발명의 실시예에서는 특징점 추출 알고리즘을 특별히 제한하지 않으며, 다양한 특징점 추출 알고리즘을 이용할 수 있다.
특징점쌍 선별부(403)는 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별할 수 있다. 특징점쌍 선별부(403)는 제1영상 및 제2영상 중 하나를 기준영상으로 하고, 기준영상의 특징점 각각에 대해, 나머지 영상에서 유사도가 높은 특징점을 대응 특징점으로 선별할 수 있다.
호모그래피 추정부(405)는 RANSAC(random sample consensus) 또는 LO-RANSAC(Locally Optimized RANSAC) 알고리즘을 이용하여 호모그래피를 추정할 수 있다. 호모그래피는 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보, 및 x, y, z 방향으로 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling) 정보를 포함할 수 있다.
RANSAC 알고리즘은 1쌍의 영상에서 추출하여 매칭한 특징점 쌍들 중에서 호모그래피를 추정하기 위해 랜덤으로 n개의 특징점 쌍을 선택하는 랜덤 샘플링 과정을 포함한다. 이에 따라, 전체 N개의 특징점들 중에서 n개의 특징점들을 샘플링하는 경우, 하기 식(1)과 같이 샘플링 회수가 많아지고, 샘플링 회수가 많아질 경우 전체 알고리즘 처리 속도가 매우 느려지게 된다.
샘플링 회수 = NCn = N! / n!(N-n)! ...(1)
또한 RANSAC 알고리즘의 랜덤 샘플링 과정에서 선택되는 특징점들이 선형을 이루거나 특정영역에 군집을 이루는 경우 정확한 호모그래피를 추정할 수 없고, 잘못 선택된 특징점들로 인해 불필요한 호모그래피를 추정함으로서 RANSAC 알고리즘의 효율성이 저하될 수 있다.
본 실시예에서는 샘플링되는 특징점의 개수(이하, 샘플링 특징점 수(n))를 기초로 샘플링 영역을 분할하고, 샘플링되는 특징점들 간에 거리 제한을 둠으로써, RANSAC 알고리즘의 샘플링 회수를 감소시킬수 있고 랜덤 샘플들을 균일하게 획득할 수 있기 때문에 정합/융합 시스템의 성능을 획기적으로 향상시킬 수 있다.
호모그래피 추정부(405)는 영역 분할부(406), 샘플링 특징점 추출부(407) 및 추정부(408)를 포함할 수 있다.
영역 분할부(406)는 제1영상 및 제2영상 중 기준영상의 특징점들을 샘플링 특징점 수(n) 만큼의 영역으로 분류할 수 있다. 2차원 호모그래피를 추정하기 위해서는 4개의 샘플링 특징점이 필요하므로, 영역 분할부(406)는 기준영상을 4개의 제1영역 내지 제4영역으로 분류할 수 있다.
샘플링 특징점 추출부(407)는 각 영역에서 추출되는 샘플링 특징점들 사이에 특정 거리 이상 이격되는 거리 제한 조건을 만족하도록, 각 영역에서 하나의 샘플링 특징점을 추출할 수 있다. 샘플링 특징점 추출 방법은 추후 설명하겠다.
추정부(408)는 기준영상에서 추출된 샘플링 특징점들과 나머지 영상의 대응하는 샘플링 특징점들을 기초로 호모그래피를 추정할 수 있다.
이하에서는 도 2의 영상 정합 장치의 랜덤 샘플링 방법 및 영상 정합 방법을 설명하겠다.
도 3은 본 발명의 실시예에 따른 영상 정합 방법을 개략적으로 설명하는 흐름도이다. 도 4a 내지 도 4k는 도 3의 랜덤 샘플링 방법을 설명하는 예시도이다.
도 3을 참조하면, 본 실시예에 따른 영상 정합 장치는 제1영상 및 제2영상의 특징점들을 추출할 수 있다(S71). 특징점은 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 포함할 수 있다.
다음으로, 영상 정합 장치는 추출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별할 수 있다(S33). 영상 정합 장치는 유사성 판단을 기초로 제1영상 및 제2영상의 대응 특징점 쌍을 선별할 수 있다(S727). 예를 들어, 영상 정합 장치는 제1영상 및 제2영상 중 기준영상의 특징점과 유사성 정도가 가장 큰 나머지 영상의 특징점을 기준영상 특징점의 대응 특징점으로 선별할 수 있다.
영상 정합 장치는 대응 특징점 쌍으로부터 호모그래피 추정을 위해 랜덤 샘플링을 수행할 수 있다.
영상 정합 장치는 기준영상을 샘플링할 특징점 수만큼의 영역으로 분할할 수 있다(S35). 예를 들어, 영상 정합 장치는 2차원 호모그래피를 추정하기 위해 필요한 4개의 샘플링 특징점 수만큼 기준영상을 4개의 제1영역 내지 제4영역으로 분류할 수 있다.
도 4a를 참조하면, 기준영상은 시계 방향으로 제1영역(A1), 제2영역(A2), 제3영역(A3) 및 제4영역(A4)으로 균등 분할될 수 있다.
영상 정합 장치는 각 영역에서 추출되는 샘플링 특징점들 사이에 특정 거리 이상 이격되는 거리 제한 조건을 만족하도록, 각 영역에서 하나의 샘플링 특징점을 추출할 수 있다(S37).
영상 정합 장치는 기준영상의 제1영역(A1) 내지 제4영역(A4) 중 하나의 영역 내 특징점들 중 제1 샘플링 특징점을 추출할 수 있다. 도 4a를 참조하면, 제1영역(A1)이 제1 샘플링 영역(R1)으로 설정되고, 제1 샘플링 영역(R1)에서 임의의 제1 샘플링 특징점(S1)이 추출된다.
영상 정합 장치는 제1 샘플링 특징점으로부터 제1거리 이상 이격된 제2영역 내의 특징점들 중 제2 샘플링 특징점을 추출할 수 있다. 도 4b를 참조하면, 제1 샘플링 특징점(S1)으로부터 영상의 중심까지의 거리보다 먼 제1거리(D1)가 설정된다. 도 4c를 참조하면, 제1 샘플링 특징점(S1)으로부터 제1거리(D1) 이상의 영역과 제2영역(A2)의 교집합이 제2 샘플링 영역(R2)으로 설정된다. 도 4d를 참조하면, 제2 샘플링 영역(R2)에서 임의의 제2 샘플링 특징점(S2)이 추출된다.
영상 정합 장치는 제2 샘플링 특징점으로부터 제2거리 이상 이격된 제3영역 내의 특징점들 중 제3 샘플링 특징점을 추출할 수 있다. 도 4e를 참조하면, 제2 샘플링 특징점(S2)으로부터 영상의 중심까지의 거리보다 먼 제2거리(D2)가 설정된다. 도 4f를 참조하면, 제2 샘플링 특징점(S2)으로부터 제2거리(D2) 이상의 영역과 제3영역(A3)의 교집합이 제3 샘플링 영역(R3)으로 설정된다. 도 4g를 참조하면, 제3 샘플링 영역(R3)에서 임의의 제3 샘플링 특징점(S3)이 추출된다. 영상 정합 장치는 제1 샘플링 특징점(S1)으로부터 제1거리(D1) 이상의 영역과 제2 샘플링 특징점(S2)으로부터 제2거리(D2) 이상의 영역과 제3영역(A3)의 교집합을 제3 샘플링 영역(R3)으로 설정할 수도 있다.
영상 정합 장치는 제3 샘플링 특징점으로부터 제3거리 이상 이격된 제4영역 내의 특징점들 중 제4 샘플링 특징점을 추출할 수 있다. 도 4h를 참조하면, 제3 샘플링 특징점(S3)으로부터 영상의 중심까지의 거리보다 먼 제3거리(D3)가 설정된다. 도 4i를 참조하면, 제3 샘플링 특징점(S3)으로부터 제3거리(D3) 이상의 영역과 제4영역(A4)의 교집합이 제4 샘플링 영역(R4)으로 설정된다. 도 4j를 참조하면, 제4 샘플링 영역(R4)에서 임의의 제4 샘플링 특징점(S4)이 추출된다. 영상 정합 장치는 제1 샘플링 특징점(S1)으로부터 제1거리(D1) 이상의 영역과 제2 샘플링 특징점(S2)으로부터 제2거리(D2) 이상의 영역과 제3 샘플링 특징점(S3)으로부터 제3거리(D3) 이상의 영역과 제4영역(A4)의 교집합을 제4 샘플링 영역(R4)으로 설정할 수도 있다.
도 4k는 본 실시예에 따라 선택된 4개의 샘플링 특징점들(S1, S2, S3, S4)을 나타낸다. 도 4k를 참조하면, 샘플링 특징점들(S1, S2, S3, S4)은 선형을 이루거나 특정영역에 군집을 이루지 않고 선택되었음을 알 수 있다.
영상 정합 장치는 선별된 대응 특징점 쌍들을 기초로 호모그래피를 추정할 수 있다(S39).
본 실시예에 따른 영상 정합을 위한 랜덤 샘플링 방법은 특징점들의 분포가 선형, 특정영역에 군집을 이루어 발생하는 문제를 해결하고, 랜덤 샘플링 횟수 및 부정확한 호모그래피 추정을 줄일 수 있다. 이에 따라 영상 정합 효율을 향상시킬 수 있다.
본 발명에 따른 랜덤 샘플링 방법 및 영상 정합 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 일 측면들은 첨부된 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (6)

  1. 제1영상을 샘플링 특징점 수만큼의 영역으로 분류하는 단계;
    각 영역에서 추출되는 샘플링 특징점들 사이에 특정 거리 이상 이격되는 거리 제한 조건을 만족하도록, 각 영역에서 하나의 샘플링 특징점을 추출하는 단계; 및
    상기 추출된 샘플링 특징점들과 상기 제1영상과 정합하는 제2영상의 대응하는 샘플링 특징점들을 기초로 호모그래피를 추정하는 단계;를 포함하는, 영상 정합을 위한 특징점 샘플링 방법.
  2. 제1항에 있어서, 상기 샘플링 특징점 추출 단계는,
    상기 제1영역 내의 특징점들 중 제1 샘플링 특징점을 추출하는 단계;
    상기 제1 샘플링 특징점으로부터 제1거리 이상 이격된 제2영역 내의 특징점들 중 제2 샘플링 특징점을 추출하는 단계;
    상기 제2 샘플링 특징점으로부터 제2거리 이상 이격된 제3영역 내의 특징점들 중 제3 샘플링 특징점을 추출하는 단계; 및
    상기 제3 샘플링 특징점으로부터 제3거리 이상 이격된 제4영역 내의 특징점들 중 제4 샘플링 특징점을 추출하는 단계;를 포함하는, 영상 정합을 위한 특징점 샘플링 방법.
  3. 제2항에 있어서, 상기 제3 샘플링 특징점 추출 단계는,
    상기 제1 샘플링 특징점으로부터 제1거리 이상 이격되고, 상기 제2 샘플링 특징점으로부터 제2거리 이상 이격된 제3영역 내의 특징점들 중 제3 샘플링 특징점을 추출하는 단계;를 포함하는, 영상 정합을 위한 특징점 샘플링 방법.
  4. 제2항에 있어서, 상기 제4 샘플링 특징점 추출 단계는,
    상기 제1 샘플링 특징점으로부터 제1거리 이상 이격되고, 상기 제2 샘플링 특징점으로부터 제2거리 이상 이격되고, 상기 제3 샘플링 특징점으로부터 제3거리 이상 이격된 제4영역 내의 특징점들 중 제4 샘플링 특징점을 추출하는 단계;를 포함하는, 영상 정합을 위한 특징점 샘플링 방법.
  5. 제2항에 있어서, 상기 제1거리 내지 제3거리는,
    상기 제1 샘플링 특징점 내지 제3 샘플링 특징점 각각으로부터 상기 제1영상의 중심 사이의 거리보다 큰 값인, 영상 정합 방법.
  6. 제1항에 있어서,
    상기 제1영상 및 제2영상은 동일한 영상센서 또는 상이한 영상센서로부터 획득된, 영상 정합을 위한 특징점 샘플링 방법.
KR1020140004711A 2014-01-14 2014-01-14 영상 정합을 위한 특징점 샘플링 방법 KR102170689B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140004711A KR102170689B1 (ko) 2014-01-14 2014-01-14 영상 정합을 위한 특징점 샘플링 방법
US14/583,909 US9704063B2 (en) 2014-01-14 2014-12-29 Method of sampling feature points, image matching method using the same, and image matching apparatus
CN201510018840.5A CN104778682B (zh) 2014-01-14 2015-01-14 对特征点采样的方法、图像匹配方法和图像匹配设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140004711A KR102170689B1 (ko) 2014-01-14 2014-01-14 영상 정합을 위한 특징점 샘플링 방법

Publications (2)

Publication Number Publication Date
KR20150084574A true KR20150084574A (ko) 2015-07-22
KR102170689B1 KR102170689B1 (ko) 2020-10-27

Family

ID=53521673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140004711A KR102170689B1 (ko) 2014-01-14 2014-01-14 영상 정합을 위한 특징점 샘플링 방법

Country Status (3)

Country Link
US (1) US9704063B2 (ko)
KR (1) KR102170689B1 (ko)
CN (1) CN104778682B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598399B1 (ko) * 2015-10-30 2016-03-02 공간정보기술 주식회사 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
KR20210088436A (ko) * 2019-12-30 2021-07-14 센스타임 인터내셔널 피티이. 리미티드. 이미지 처리 방법, 장치 및 전자 기기
US11100361B1 (en) 2017-08-01 2021-08-24 Goertek Inc. Method and apparatus for processing feature point matching result

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354851B (zh) * 2015-11-20 2018-07-17 中国安全生产科学研究院 对距离自适应的红外与可见光视频融合方法
GB2549074B (en) * 2016-03-24 2019-07-17 Imagination Tech Ltd Learned feature motion detection
CN107527368B (zh) * 2016-06-20 2020-08-11 电子科技大学 基于二维码的三维空间姿态定位方法与装置
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
CN107292872A (zh) * 2017-06-16 2017-10-24 艾松涛 图像处理方法/系统、计算机可读存储介质及电子设备
CN110799991B (zh) 2017-06-28 2023-09-05 奇跃公司 用于使用卷积图像变换执行同时定位和映射的方法和系统
CN108304870B (zh) * 2018-01-30 2021-10-08 河南理工大学 点线特征融合的错误匹配剔除方法
KR20190097640A (ko) * 2018-02-12 2019-08-21 삼성전자주식회사 영상 정합 방법 및 장치
CN108875780A (zh) * 2018-05-07 2018-11-23 广东省电信规划设计院有限公司 基于图像数据的图像间差异对象的获取方法以及装置
CN108876783B (zh) 2018-06-27 2021-02-05 上海联影医疗科技股份有限公司 图像融合方法及系统、医疗设备和图像融合终端
CN109285136B (zh) * 2018-08-31 2021-06-08 清华-伯克利深圳学院筹备办公室 一种图像的多尺度融合方法、装置、存储介质及终端
WO2020107267A1 (zh) * 2018-11-28 2020-06-04 华为技术有限公司 一种图像特征点匹配方法及装置
CN109685839B (zh) * 2018-12-20 2023-04-18 广州华多网络科技有限公司 图像对齐方法、移动终端以及计算机存储介质
CN110782459B (zh) * 2019-01-08 2021-02-19 北京嘀嘀无限科技发展有限公司 一种图像处理方法及装置
CN110503108A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 违章建筑识别方法及装置、存储介质、计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050084448A (ko) 2002-12-20 2005-08-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 조명 불변 얼굴 인식
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990221B2 (en) * 1998-02-07 2006-01-24 Biodiscovery, Inc. Automated DNA array image segmentation and analysis
US7403641B2 (en) * 2004-05-28 2008-07-22 Matsushita Electric Works, Ltd. Object recognition system
US7609887B2 (en) * 2004-06-07 2009-10-27 Siemens Medical Solutions Usa, Inc. System and method for toboggan-based object segmentation using distance transform
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
JP2006309455A (ja) 2005-04-27 2006-11-09 Tokai Rika Co Ltd 特徴点検出装置及び距離測定装置
JP4760801B2 (ja) * 2007-08-07 2011-08-31 ソニー株式会社 画像判定装置、画像判定方法、およびプログラム
JP4636146B2 (ja) * 2008-09-05 2011-02-23 ソニー株式会社 画像処理方法、画像処理装置、プログラム及び画像処理システム
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
CN101771825B (zh) * 2008-12-19 2011-12-21 华为终端有限公司 图像亮色补偿的方法和装置
KR101225626B1 (ko) 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
KR101175097B1 (ko) 2010-08-12 2012-08-21 금오공과대학교 산학협력단 파노라마 영상 생성 방법
CN102270348B (zh) * 2011-08-23 2013-08-07 中国科学院自动化研究所 基于视频流的对变形手势进行跟踪的方法
CN102446356A (zh) * 2011-09-24 2012-05-09 中国测绘科学研究院 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
CN103077527A (zh) * 2013-02-05 2013-05-01 湖北工业大学 一种稳健的多源卫星遥感影像配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050084448A (ko) 2002-12-20 2005-08-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 조명 불변 얼굴 인식
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Quasi-Dense Approach to Surface Reconstruction from Uncalibrated Images, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 27, NO. 3, 2005.03.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598399B1 (ko) * 2015-10-30 2016-03-02 공간정보기술 주식회사 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
US11100361B1 (en) 2017-08-01 2021-08-24 Goertek Inc. Method and apparatus for processing feature point matching result
KR20210088436A (ko) * 2019-12-30 2021-07-14 센스타임 인터내셔널 피티이. 리미티드. 이미지 처리 방법, 장치 및 전자 기기

Also Published As

Publication number Publication date
CN104778682B (zh) 2019-04-19
CN104778682A (zh) 2015-07-15
US20150199585A1 (en) 2015-07-16
US9704063B2 (en) 2017-07-11
KR102170689B1 (ko) 2020-10-27

Similar Documents

Publication Publication Date Title
KR102170689B1 (ko) 영상 정합을 위한 특징점 샘플링 방법
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
KR101524548B1 (ko) 영상 정합 장치 및 방법
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
US10235607B2 (en) Control device, control method, and computer program product
US20160188950A1 (en) Optical fingerprint recognition device
WO2018098862A1 (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
WO2016187412A1 (en) Automatic detection of panoramic gestures
US20130322758A1 (en) Image processing apparatus, image processing method, and program
WO2020027818A1 (en) Determining location of touch on touch sensitive surfaces
CN105554354A (zh) 一种高清摄像头
CN111310605A (zh) 一种图像处理方法、装置、电子设备及存储介质
EP3454254B1 (en) Image processing apparatus, image providing apparatus, control methods thereof, and program
CN113706614A (zh) 一种小目标检测方法、装置、存储介质和电子设备
Gorodnichy et al. Survey of commercial technologies for face recognition in video
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
WO2018210039A1 (zh) 数据处理方法、数据处理装置及存储介质
CN108334811B (zh) 一种人脸图像处理方法及装置
US20160055642A1 (en) Identifying points of interest in an image
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR102235018B1 (ko) 해상도가 다른 영상을 정합하는 장치 및 방법
US11257208B2 (en) Defect inspection system for specimen and defect inspection method for specimen
Deepa et al. Automatic image registration using 2d-discrete wavelet transform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant