KR101618996B1 - 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 - Google Patents

호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 Download PDF

Info

Publication number
KR101618996B1
KR101618996B1 KR1020140195389A KR20140195389A KR101618996B1 KR 101618996 B1 KR101618996 B1 KR 101618996B1 KR 1020140195389 A KR1020140195389 A KR 1020140195389A KR 20140195389 A KR20140195389 A KR 20140195389A KR 101618996 B1 KR101618996 B1 KR 101618996B1
Authority
KR
South Korea
Prior art keywords
feature points
sampling
homography matrix
constraint
input image
Prior art date
Application number
KR1020140195389A
Other languages
English (en)
Inventor
조근식
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020140195389A priority Critical patent/KR101618996B1/ko
Priority to US14/680,969 priority patent/US9626761B2/en
Application granted granted Critical
Publication of KR101618996B1 publication Critical patent/KR101618996B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

호모그래피를 추정하기 위한 샘플링 방법이 개시된다. CS-RANSAC(Constraint Satisfaction-Random Sample Consensus) 알고리즘을 이용하여 복수의 이미지 간의 변환 관계를 나타내는 호모그래피 행렬(Homography matrix)를 추정하기 위한 샘플링 방법은, 상기 복수의 이미지 중 입력 이미지에서 추출된 특징점들을 대상으로, 랜덤 샘플링(random sampling)을 이용하여 호모그래피 행렬을 계산하기 위한 특징점들을 선택하고, 상기 랜덤 샘플링을 통해 선택된 특징점들을 대상으로, 기정의된 제약조건을 만족하는지 여부를 검사하는 샘플링 단계, 및 상기 제약조건을 만족하는 특징점들에 기초하여 호모그래피 행렬을 계산하는 모델 추정을 수행하는 단계를 포함할 수 있다.

Description

호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치{SAMPLING METHOD AND IMAGE PROCESSING APPARATUS FOR ESTIMATING HOMOGRAPHY}
본 발명의 실시예들은 두 이미지 간의 평면 호모그래피(Homography)를 구하기 위한 RANSAC 알고리즘과 CS-RANSAC 알고리즘의 샘플링 방법 및 영상 처리 장치에 관한 것이다.
최근 몇 년 동안 증강 현실(Augmented Reality: AR) 시스템은, 텍스트, 스틸 이미지, 애니메이션, 비디오, 이동 장치의 디스플레이 또는 카메라의 3D 오브젝트로 표현되는 가상 정보를 시각화하는 효과적인 방법으로 주목 받고 있다. 일부에서는 항공기 유지 보수 및 수리 등 매우 복잡하고 정교한 작업을 수행할 수 있도록 하는 증강 현실(AR) 시스템이 연구되고 있다.
증강 현실 시스템에서 카메라 이미지 상에 가상 오브젝트를 정확하게 합성하기 위해서는, 가상 오브젝트의 포즈(pose)가 정확히 추정될 필요가 있다. 이러한 가상 오브젝트의 포즈는, 참조 이미지와 카메라 이미지 간의 호모그래피 행렬(homography matrix)을 계산함에 따라 추정될 수 있다.
호모그래피 행렬은 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 계산되며, 각각의 샘플 세트(sample set)는 랜덤하게 선택된다. 여기서, RANSAC 알고리즘을 이용하여 생성된 호모그래피 행렬의 정확도는, 랜덤하게 선택된 특징점들에 상당히 의존적이다.
일반적인 RANSAC 알고리즘은, 특징점들 간의 위치 관계를 고려하지 않고 특징점들을 선택한다. 이때, 선택된 특징점들의 세트(set)는 선형성을 이루거나, 또는 서로 너무 가깝게 위치하는 경우가 발생하며, 결국, 호모그래피 행렬의 정확도가 저하된다.
도 1 및 도 2는 참조 이미지를 카메라 이미지에 맵핑한 픽셀들을 도시한 도면이다.
도 1에 따르면, 좌측의 참조 이미지에 포함된 픽셀들이 우측의 카메라 이미지에 포함된 픽셀들에 맵핑된다. 픽셀 맵핑은 선택된 4개의 특징점 쌍들(pairs)에 기초하여 계산된 호모그래피 행렬을 이용하여 수행된다. 도 1에서, 특징점 쌍들은 노란색 원형(circle)으로 표시되어 있다. 도 1과 같이, 선택된 특징점들이 선형성을 이루는 경우, 특징점들이 선택된 일부 영역(예를 들어, 도 1의 노란색 직사각형 박스 내부의 영역)에 위치하는 오브젝트에 대해서만 포즈를 정확하게 추정할 수 있을 뿐, 다른 영역(예를 들어, 오렌지색 원형이 나타내는 피치 트리머(pitch trimmer)에 위치하는 오브젝트의 포즈를 정확히 추정하지는 못한다. 도 2와 같이, 선택된 특징점들이 서로 일정 거리 이내에 위치하는 경우, 선형성을 이루는 경우와 마찬가지로 오브젝트의 포즈를 정확히 추정하는데 어려움이 존재한다. 다시 말해, 호모그래피 행렬의 정확도가 저하된다.
일반적인 RANSAC 알고리즘은 가설 및 평가 단계로 구성되며, 가설 단계에서는 특징점들이 랜덤하게 선택되고, 평가 단계에서는 선택된 특징점들 간의 일관성(예를 들어, 참정보(inlier)의 개수)이 검사된다. 상기 두 단계는 데이터 세트(dataset)를 대표하기 위한 보다 좋은 특징점들을 찾는 과정이 실패할 때까지 반복된다. 이처럼, 호모그래피 행렬의 정확도를 높이기 위해 LO-RS 알고리즘, T-RS 알고리즘, MF-RS 알고리즘 등이 존재한다.
그러나, 위해 LO-RS 알고리즘, T-RS 알고리즘, MF-RS 알고리즘을 이용하여 계산된 호모그래피 행렬 역시 의미 없는 샘플들(선형으로 놓여있거나, 특정 영역에 군집을 이루는 특징점)을 포함하고 있어, 이미지 전체 영역에서 오브젝트의 포즈를 정확히 추정하는데 어려움이 존재한다. 다시 말해, 호모그래피 행렬의 정확도가 낮다.
따라서, 강력한 추적 시스템을 요구하는 증강 현실 시스템에서, 두 이미지 간의 평면 호모그래피 행렬 추정 시, 이미지의 특정 영역이 아닌 전체 영역에 대해 정확하게 호모그래피 행렬을 추정할 수 있는 기술이 요구된다.
본 발명은 RANSAC 알고리즘을 이용하여 호모그래피를 추정하고자 할 때, RANSAC 알고리즘의 샘플링 과정에서 의미 없는 샘플(선형으로 놓여있거나, 특정 영역에 군집을 이루는 특징점)이 추출되는 것을 배제하여 정확도가 높은 호모그래피를 추정하기 위한 것이다.
또한, 이미지에 따라 격자 모양의 크기와 제약조건을 동적으로 적용하여 호모그래피 행렬을 추정함에 따라, RANSAC 알고리즘을 효율적으로 처리하기 위한 것이다.
CS-RANSAC(Constraint Satisfaction-Random Sample Consensus) 알고리즘을 이용하여 복수의 이미지 간의 변환 관계를 나타내는 호모그래피 행렬(Homography matrix)를 추정하기 위한 샘플링 방법은, 상기 복수의 이미지 중 입력 이미지에서 추출된 특징점들을 대상으로, 랜덤 샘플링(random sampling)을 이용하여 호모그래피 행렬을 계산하기 위한 특징점들을 선택하고, 상기 랜덤 샘플링을 통해 선택된 특징점들을 대상으로, 기정의된 제약조건을 만족하는지 여부를 검사하는 샘플링 단계, 및 상기 제약조건을 만족하는 특징점들에 기초하여 호모그래피 행렬을 계산하는 모델 추정을 수행하는 단계를 포함할 수 있다.
일측면에 따르면, 상기 샘플링 단계는, 기정의된 복수의 격자 크기들 중 어느 하나를 상기 입력 이미지에서 추출된 특징점들의 분포 패턴에 따라 동적으로 적용할 수 있다.
상기 다른 측면에 따르면, 상기 샘플링 단계는, 상기 랜덤 샘플링을 통해 선택된 특징점들이 제약조건을 만족하지 않음에 따라, 상기 입력 이미지에서 추출된 특징점들을 대상으로, 랜덤 샘플링(random sampling)을 재적용하여 호모그래피 행렬을 계산하기 위한 특징점들을 재선택할 수 있다.
또 다른 측면에 따르면, 상기 샘플링 단계는, 상기 랜덤 샘플링을 통해 선택된 특징점들이 제약조건을 만족하지 않음에 따라, 상기 입력 이미지에서 추출된 특징점들을 대상으로, 추출된 특징점들의 유사도에 기초하여 호모그래피 행렬을 계산하기 위한 특징점들을 재선택할 수 있다.
또 다른 측면에 따르면, 상기 샘플링 단계는, 상기 랜덤 샘플링을 통해 선택된 특징점들이 제약조건을 만족하지 않음에 따라, 기설정된 반복 횟수 및 샘플링 최대 횟수에 기초하여 상기 호모그래피 행렬을 계산하기 위한 특징점들을 재선택할 수 있다.
또 다른 측면에 따르면, 상기 샘플링 단계는, 상기 입력 이미지의 전체 영역에 분포되어 있는 특징점들을 격자 영역에 이산 분류하여 CSP(Constraint Satisfaction Problem)를 적용함에 따라, 상기 호모그래피 행렬을 계산하기 위한 특징점들을 선택할 수 있다.
또 다른 측면에 따르면, 상기 CSP는, 상기 특징점들을 나타내는 변수들(Variables), 상기 특징점들의 위치 관계를 나타내는 도메인(domain), 및 제약조건을 포함할 수 있다.
또 다른 측면에 따르면, 상기 특징점들이 이산 분류된 격자 영역의 크기는, 입력 이미지에서 추출된 특징점들의 분포 패턴에 따라 동적으로 결정될 수 있다.
본 발명에 의하면, RANSAC 알고리즘을 이용하여 호모그래피를 추정하고자 할 때, RANSAC 알고리즘의 샘플링 과정에서 의미 없는 샘플(선형으로 놓여있거나, 특정 영역에 군집을 이루는 특징점)이 추출되는 것을 배제함에 따라, 정확도가 높은 호모그래피를 추정할 수 있다.
또한, 이미지에 따라 격자 모양의 크기와 제약조건을 동적으로 적용하여 호모그래피 행렬을 추정함에 따라, RANSAC 알고리즘을 효율적으로 처리할 수 있다.
도 1은 선형성을 이루는 특징점들을 이용하여 맵핑된 픽셀들을 도시한 도면이다.
도 2는 일정 거리 이내에 위치하는 특징점들을 이용하여 맵핑된 픽셀들을 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, CSP를 RANSAC 알고리즘의 샘플링 과정에 적용하기 위하여 대상 이미지를 격자 영역으로 나누는 과정을 설명하기 위해 제공되는 도면이다.
도 4는 본 발명의 일실시예에 있어서, 의미가 없는 샘플들을 배제하여 이미지 전체 영역에 분포된 특징점들을 선택하는 동작을 설명하기 위해 제공되는 도면이다.
도 5는 본 발명의 일실시예에 있어서, 호모그래피 행렬을 추정하는 영상 처리 장치를 도시한 블록도이다.
도 6은 본 발명의 일실시예에 있어서, 특징점들의 분포를 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 제약조건을 동적으로 적용하는 과정을 설명하기 위해 제공되는 도면이다.
도 8은 본 발명의 일실시예에 있어서, 특징점들의 패턴에 따라 호모그래피를 계산하기 위한 최적의 격자 사이즈 실험 결과를 도시한 도면이다.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예들은 호모그래피 행렬을 보다 정확하게 추정하기 위한 것으로, 특히, CS-RANSAC Constraint Satisfaction-Random Sample Consensus) 알고리즘을 이용하여 호모그래피 행렬을 추정하는 방법 및 영상 처리 장치에 관한 것이다.
도 3은 본 발명의 일실시예에 있어서, CSP를 RANSAC 알고리즘의 샘플링 과정에 적용하기 위하여 대상 이미지를 격자 영역으로 나누는 과정을 설명하기 위해 제공되는 도면이고, 도 4는 본 발명의 일실시예에 있어서, 의미가 없는 샘플들을 배제하여 이미지 전체 영역에 분포된 특징점들을 선택하는 동작을 설명하기 위해 제공되는 도면이고, 도 5는 본 발명의 일실시예에 있어서, 호모그래피 행렬을 추정하는 영상 처리 장치를 도시한 블록도이다.
도 3 및 도 4에서, 대상 이미지를 격자 영역으로 나누는 과정, 및 의미 없는 샘플들을 배제하고 이미지 전체에서 특징점들을 선택하는 동작은 도 5의 영상 처리 장치에 의해 수행될 수 있다. 도 5에서, 영상 처리 장치(500)는 샘플링부(501) 및 모델 추정부(502)를 포함할 수 있다.본 발명은 두 이미지간의 평면 호모그래피를 구하기 위한 RNASAC 알고리즘의 정확도 향상에 관한 것으로, RANSAC 알고리즘의 샘플링 과정에서 호모그래피를 구하기 위한 샘플을 추출할 때 정확하지 않은 호모그래피를 추정하는 샘플들이 선택되는 것을 배제하고 정확도가 높은 호모그래피를 추정하는 샘플들을 추출할 수 있는 CSP(Constraint Satisfaction Problem) 기반의 RANSAC 알고리즘에서의 샘플링 방법(CS-RANSAC)에 관한 것이다.
RANSAC 알고리즘에서는 모든 경우의 수를 고려하는 것이 아니라 랜덤 샘플링을 이용해서 랜덤하게 선택되는 특징점들을 이용해서 호모그래피 행렬을 계산하게 된다. RANSAC 알고리즘을 이용하여 호모그래피 행렬을 계산하는 과정은 다음과 같다. 아래에서, 특징점 선택하여 기정의된 제약조건을 만족하는지 여부를 검사하는 샘플링 단계는 샘플링부(501)에 의해 수행되고, 호모그래피 행렬 계산, 평가, RANSAC 종료 여부를 결정, 및 최종 호모그래피 행렬을 반환하는 동작은 모델 추정부(502)에 의해 수행될 수 있다.
(1) 랜덤하게 특징점을 선택
(2) 선택된 특징점을 이용하여 호모그래피 행렬을 계산
(3) 호모그래피 행렬을 평가
(4) 평가값이 일정 값 이상일 경우 RANSAC 종료, 아닐 경우 (a)번으로 돌아가 같은 과정을 반복
(5) 최종 호모그래피 행렬을 반환
RANSAC 알고리즘의 경우 위의 과정을 수행하여 최종적으로 호모그래피 행렬을 구하게 된다. 하지만, 일반적인 랜덤 샘플링(random sampling)의 경우 추출되는 특징점들에 일관성이 없고 추출된 특징점으로 호모그래피 행렬을 계산하더라도 정확한 호모그래피 행렬을 구할 수가 없는 경우가 발생하기 때문에 전체적인 RANSAC 알고리즘의 효율성이 저하된다.
따라서, 호모그래피 행렬을 구하기 위한 RANSAC 알고리즘의 샘플링 과정에 CSP(Constraint Satisfaction Problem)를 적용하여 호모그래피 행렬을 구하기 위한 RANSAC 알고리즘의 전체적인 효율성을 높이고자 한다. 예를 들어, 특징점을 선택할 때 제약조건을 적용하여 의미가 없는 특징점들이 추출되는 것을 방지하고, 불필요한 계산과정을 줄여 전체적인 RANSAC 알고리즘의 효율성을 높이고, 선형을 이루거나 특정영역에 군집을 이루어 추출이 되는 특징점들을 배제하여 계산되는 호모그래피 행렬의 정확도를 높인다. 이에 따라, 호모그래피 행렬을 계산하기 위해 선택되는 특징점이 이미지 전체 영역에서 잘 분산되어 선택이 되면 보다 정확한 호모그래피 행렬을 얻을 수 있다.
CSP를 RANSAC 알고리즘에 적용하기 위하여 RANSAC 알고리즘이 수행되기 이전 단계에서, 도 3에 도시한 바와 같이, 대상 이미지를 N×N의 격자로 나누고, 각 특징점을 해당 격자영역의 좌표로 분류하는 과정이 먼저 수행될 수 있다.
각 이미지로부터 SURF를 이용하여 추출된 특징점들은 2D 이미지를 하나의 평면으로 했을 때, 좌상단을 원점으로 하는 x, y축을 기준으로 상대 위치를 나타내는 좌표 값을 가지고 있다. 이미지를 N×N의 격자영역으로 나누고 이미지에서 추출된 특징점들의 좌표 값을 기준으로 해당 격자영역 별로 분류한다. 모든 특징 점의 집합을 X(|X|=m)라 하면, 하나의 단위 격자 영역에는 0~m개의 특징점이 포함될 수 있다.
위의 과정을 수행하여 전체 이미지 영역에 분포 되어있는 특징점을 N×N의 격자 영역으로 이산 분류 한다.
CSP 기반 RANSAC
CSP(Constraint Satisfaction Problem)는 주어진 제약조건을 만족시키는 해를 찾는 탐색 방법으로, 제약조건을 만족시키지 않으면 탐색 범위에서 제외되기 때문에 탐색 공간을 줄여 모든 경우를 고려하지 않고도 해를 찾을 수 있는 효율적인 탐색 방법이다.
CSP는 변수(Variables)와 각 변수의 도메인(Domain), 그리고 제약조건(Constraints)으로 구성되며, 각 변수가 가지는 도메인 내에서 제약조건을 만족하는 해를 찾는 문제이다.
대부분의 인공 지능(Artificial Intelligence: AI)은 변수들(Variables)의 집합 X1, X2, ..., Xn과 제약조건(Constraint)의 집합 C1, C2,..., Cm으로 정의되는 CSP에 따라 공식화될 수 있다. 여기서, 변수 Xi는 몇몇 가능한 값들 vi 중 비어있지 않는 도메인(nonempty domain) Di에 해당한다. 이때, 값들이 일부 또는 전체 변수에 할당될 수 있다({Xi=vi, Xj=vj}). 제약조건을 위반하지 않는 경우, 상기 할당은 일관성이 있는 것이고, 모든 변수에 대해 할당이 이루어짐에 따라 할당 동작이 완료될 수 있다.
CSP는 모든 제약 조건을 만족하는 할당을 완료하기 위한 것으로, CSP는 제약 조건의 형태를 대표하고, 추가적인 도메인에 대한 특정 지식이 없더라도 효과적이고 일반적인 추론을 가능하게 하기 위해 이용될 수 있다. 이에 따라, 본 발명에서는 호모그래피 행렬을 계산하는 샘플링 과정에 CSP를 도입한 CS-RANSAC 알고리즘에서의 샘플링 방법에 대해 설명하고자 한다. 특히, 두 이미지 간의 평면 호모그래피 행렬을 구할 때, 의미 없는 샘플들이 포함되지 않도록 배제시킴에 따라, 이미지의 전체 영역에서 오브젝트의 포즈를 정확히 추정할 수 있도록 정확한 호모그래피 행렬을 계산할 수 있다. 다시 말해, 도 4에 도시된 바와 같이, 선형성을 이루거나, 군집된 특징점들을 배제시킴에 따라, 이미지 전체 영역에 분포된 특징점들을 선택하여 호모그래피 행렬을 계산할 수 있다. 이에 따라, 데이터 모델(호모그래피 행렬)을 계산하기 위한 변수(Variable)는 특징점들의 집합으로 정의되고, fk (k∈{1,2, ..., n})로 표현될 수 있다. 여기서, n은 샘플들의 개수를 나타낼 수 있다.
먼저, 두 대상 이미지에 대한 모델 추정 시 각 변수의 값과 도메인을 정의하기 위해, 입력 이미지 Is는 N×N 격자 영역(grid) 형태로 분할될 수 있다. 그리고, 분할된 격자 영역에 포함된 특징점들을 대상으로, CSP를 적용하여 각 특징점 쌍이 제약 조건을 만족하는지 여부를 검사할 수 있다. 여기서, 특징점들은 입력 이미지에서 추출된 특징점들 중 랜덤 샘플링을 통해 랜덤하게 추출된 특징점들을 나타낼 수 있다. 이때, 각 특징점들에 할당 가능한 값은 특징점이 위치하는 해당 셀(cell)의 위치(행과 열로 표현됨)에 따라 결정될 수 있다. 그러면, 동일한 셀에 위치하는 특징점들은 동일한 변수값이 맵핑될 수 있다.
이처럼, 격자 영역을 구성하는 복수의 셀들 중 동일 셀에 위치하는 특징점들에 동일한 값이 맵핑됨에 따라 서로 일정 거리 이내에 너무 가까이 위치하는 샘플들이 배제될 수 있다. 그리고, 각각의 특징값들 fk의 도메인(domain)은 격자 영역 내에서 특징값 각각이 위치하는 해당 셀의 위치를 나타낸다.
모델 추정 단계는, 샘플링 단계를 통과한 샘플들을 대상으로 수행될 수 있다. 예를 들어, 격자 영역을 구성하는 셀들 중 하나의 셀에서 선택된 하나의 샘플들에 대해서만 제약조건이 적용될 수 있다. 이처럼, 하나의 샘플들에 대해서만 제약 조건이 만족하는지 여부가 검사됨에 따라 탐색 범위가 감소될 수 있다.
의미 없는 특징점들을 배제하기 위한 제약조건
샘플링 단계에서 랜덤 샘플링(random sampling)을 통해 선택된 호모그래피 행렬을 계산하기 위한 특징점들을 대상으로, 기정의된 제약조건이 적용될 수 있다. 아래의 표 1은 랜덤하게 선택된 특징점들 간의 관계(relationship)를 나타내고 있다. 본 발명에서는, 선형성 문제 및 특징점들이 군집하는 문제 등과 같이 의미 없는 특징점들이 호모그래피 행렬에서 배제되도록 선형제약조건 및 거리제약조건을 이용할 수 있다.
선형제약조건은, 선형성을 이루는 샘플들이 선택되지 않도록 하는 것이고, 거리제약조건은, 모든 샘플들이 서로 충분히 떨어져 위치하도록 하는 제약조건이다.
f1 f2 f3 ... fn
f1
f2
f3

fn-1
fn 		Cf1f2 Cf1f3 ... Cf1fn
Cf2f3 ... Cf2fn
... Cf3fn
...
Cfn-1fn
위의 표 1에서, Cfifj는 두 특징점 fi와 fj 사이의 제약조건의 집합을 나타낸다.
아래의 표 2는 기정의된 선형제약조건 및 거리제약조건을 나타내고 있다.
Definition 1(Linear Constraints) A set if n features satisfies linear constraints iff:
i,j∈{0,...,n}⇒
<rowi ≠ rowj> is true and
<coli ≠ colj> is true and
<colj ≠ coli ± |rowi - rowj|> is true
Definition 2(Distance Constraints) A set if n features satisfies linear constraints iff:
i,j∈{0,...,n}⇒
[|rowi - rowj|=1] and [|coli - colj|>2] is true and
[|rowi - rowj|=2] and [|coli - colj|>1] is true
위의 표 2에서, rowi와 rowj는 특징점 fi와 fj 각각이 위치하는 해당 셀의 행(row)을 나타내는 인덱스이고, coli와 colj는 특징점 fi와 fj 각각이 위치하는 해당 셀의 열(row)을 나타내는 인덱스이다.
위의 표 2에 따르면, 선형제약조건과 거리제약조건을 모두 만족하는 경우에 Cfifj는 진실(true)로 결정된다.
일례로, 선형제약조건이 적용되는 경우, 같은 행에 위치하는 특징점들 중 하나의 특징점만이 호모그래피 행렬을 계산하기 위한 특징점으로 선택되고, 같은 열에 위치하는 특징점들 중 하나의 특징점만이 호모그래피 행렬을 계산하기 위한 특징점으로 선택되고, 같은 대각선 상에 위치하는 특징점들 중 하나의 특징점만이 호모그래피 행렬을 계산하기 위한 특징점으로 선택될 수 있다. 거리제약조건이 적용되는 경우, 호모그래피 행렬을 계산하기 위해 하나의 특징점이 선택되면, 선택된 특징점과 일정 거리 이내에서는 다른 특징점이 선택되지 않을 수 있다. 다시 말해, 선택된 특징점과 일정 거리 이상 멀리 위치하는 특징점이 다른 특징점으로 선택될 수 있다.
이처럼, 선형제약조건 및 거리제약조건이 적용됨에 따라, 호모그래피 행렬을 계산하기 위해 선택된 특징점들이 선형성을 이루거나 가까이 군집하는 것을 막을 수 있다.
이상에서 설명한 바와 같이, CS-RANSAC 알고리즘은 입력 이미지에서 추출된 특징점들 중 랜덤 샘플링을 통해 호모그래피 행렬 계산을 위한 특징점들을 추출하여 제약조건을 적용하는 샘플링 단계와 제약조건을 만족하는 특징점들에 기초하여 호모그래피 행렬을 계산하는 모델 추정 단계로 구성된다. CS-RANAC 알고리즘은 RANSAC 알고리즘의 샘플링 단계를 수정한 것으로서, 모델 추정 단계 이전에, CSP를 적용하여 의미 없는 샘플들이 호모그래피 행렬 계산을 위한 특징점들로 선택되는 것을 배제하기 위한 것이다. 아래의 표 3에서는 CS-RANAC 알고리즘을 나타내고 있다.
Algorithm 1 CS-RANSAC
Input: Extracted features from the input image, the maximum number of sampling iterations θs,
the error threshold θε.
1: Initialize H = NULL, bestInliers = 0, nIterations = 1, nSimSamplaing =0, i=0.
2: Repeat
3: Initialize f n = NULL, f k = NULL, nInliers = 0, sIterations i = 0, H i = NULL
4: While f n is empty or f n is not consistent with the constraints in Definitions 1 and 2 do
5: If sIterations i < θs do
6: Sample n features f n randomly
7: sIterations i = sIterations i + 1
8: Check the consistency of f n according to constraints in Definitions 1 and 2
9: Else
10: Sample n features f n based on similarity rankings
11: nSimSamplaing = nSimSamplaing +1
12: Exit While
13: End If
14: End While
15: f k = f n
16: Calculate H i based on f k
17: Calculate nInliers according to θε
18: If nInliers > bestInliers do
19: H = H i
20: bestInliers = nInliers
21: End If
22: Calculate nIterations using Eqn. 1
23: i = i + 1
24: Until i = nIterations
Output: H
위의 표 3의 알고리즘 1과 같이, 입력 이미지 Is로부터 추출된 특징점들 중 n개의 특징점들이 랜덤하게 먼저 선택될 수 있다. 그리고, 위의 표 2에서 정의된 제약조건에 따라 상기 선택된 특징점들의 일관성(consistency)이 검사될 수 있다. 다시 말해, 상기 선택된 특징점들이 선형제약조건 및 거리제약조건을 만족하는지 여부가 검사될 수 있다. 이때, 검사를 수행한 특징점들 중 모든 제약조건을 만족하는 경우에만 다음 단계가 수행될 수 있다.
특징점들 중 하나의 쌍(pair)이 모든 제약조건을 만족하지 못하는 경우, CS-RANSAC 알고리즘은 위의 표 3에서 sIterations으로 정의된 샘플링 동작을 반복 수행할 수 있다. 이때, 샘플링 반복횟수(sIterations i )가 기설정된 샘플링 최대횟수(θs)에 기초하여 샘플링 동작을 반복 수행할 수 있다.
일례로, 랜덤 샘플링을 통해 상기 선택된 특징점들 중 특징점들 중 하나의 쌍(pair)이 모든 제약조건을 만족하지 못하는 상태에서, 샘플링 반복횟수(sIterations i )가 샘플링 최대횟수(θs) 미만인 경우, 입력 이미지 Is에서 추출된 샘플들을 대상으로 랜덤 샘플링을 재적용하여 다른 특징점들을 다시 선택할 수 있다.
다른 예로, 랜덤 샘플링을 통해 상기 선택된 특징점들 중 특징점들 중 하나의 쌍(pair)이 모든 제약조건을 만족하지 못하는 상태에서, 샘플링 반복횟수(sIterations i )가 샘플링 최대횟수(θs)보다 큰 경우, 랜덤 샘플링 대신 유사도에 기초하여 다른 특징점들을 재선택할 수 있다. 예를 들어, 입력 이미지에서 추출된 특징점들의 유클리디언 거리(Euclidean distance)에 기초하여 유사도가 높은 순으로 n개의 특징점들을 재선택할 수 있다. 이때, 샘플링 최대횟수(θs)는 무한 루프가 반복되는 것을 방지하도록 100으로 설정될 수 있다.
이처럼, 호모그래피 행렬을 계산하기 위한 특징점들이 재선택되면, 재선택된 특징점들에 기초하여 호모그래피 행렬이 계산될 수 있다. CS-RANSAC 알고리즘에서 특징점들에 기초하여 호모그래피 행렬을 계산하는 동작은 RANSAC 알고리즘과 실질적으로 동일하다. 예를 들어, 데이터 모델(호모그래피 행렬을 계산하기 위해 선택된 특징점들의 집합)은 유사도 또는 CSP 모델 적용을 통한 특징점들의 재선택 과정을 통해 반복적으로 계산 및 업데이트될 수 있다. 여기서, 데이터 모델은, 참정보(inliers)의 개수에 기초하여 평가될 수 있다. 예를 들어, 참정보의 개수는 에러 임계값(θε)에 대응하며, 현재 반복 시 생성된 데이터 모델에 해당하는 특징점들의 개수를 나타낼 수 있다.
이때, CS-RANSAC 알고리즘의 반복 횟수(nIterations)는 아래의 수학식 1과 같이, 각 반복의 마지막에서 업데이트될 수 있다.
Figure 112014128555779-pat00001
수학식 1에서, p는 상기 선택된 특징점들 모두가 참정보(inlier)인 확률로서, 예를 들어, 높은 정확도를 얻기 위해 0.9999로 기설정될 수 있다. e는 선택된 특징점들 중 적어도 하나의 특징점이 거짓정보인 확률로서, 아래의 수학식 2에 따라 계산될 수 있다. 그리고, 수학식 1에서, n은 데이터 모델(호모그래피 행렬)을 계산하기 위해 이용되는 특징점들의 개수를 나타낼 수 있다.
Figure 112014128555779-pat00002
수학식 1 및 2에 따르면, 참정보가 가장 많은 데이터 모델이 호모그래프 행렬 계산을 위한 최적의 데이터 모델로 결정될 수 있다. 예를 들어, 최적의 데이터 모델이 호모그래피 행렬 H가 될 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 호모그래피를 추정하기 위한 CS-RANSAC 알고리즘의 샘플링 과정에 CSP를 적용하여 샘플링 과정에서 선택되는 무의미한 샘플들을 배제하여 RANSAC 알고리즘의 반복횟수를 줄이고 추정되는 호모그래피의 정확도를 향상시킬 수 있다.
또한, 이미지에 따라 제약조건 및 격자 영역의 크기를 동적으로 적용함에 따라, CS-RANSAC 알고리즘을 보다 효율적으로 처리할 수 있다. 예를 들어, CS-RANSAC 알고리즘을 이용하여 에러율과 처리시간은 감소시키고, 참정보인 확률이 높은 호모그래피 행렬을 계산할 수 있다. 도 6 및 도 7을 참조하여 동적으로 제약 조건을 적용하는 동작에 대해 상세히 설명하기로 한다.
도 6은 본 발명의 일실시예에 있어서, 특징점들의 분포를 도시한 도면이고, 도 7은 본 발명의 일실시예에 있어서, 제약조건을 동적으로 적용하는 과정을 설명하기 위해 제공되는 도면이다. 도 6 및 도 7에서, SURF 또는 SHIFT 등을 이용하여 특징점들을 추출하는 동작 및 제약조건을 동적으로 적용하는 동은 도 5의 영상 처리 장치(500)에 의해 수행될 수 있다. 예를 들어, 샘플링부(501) 및 모델 추정부(502)에 의해 수행될 수 있다.
도 6을 참고하면, 입력 이미지에서 SURF 또는 SHIFT 등과 같은 알고리즘을 이용하여 특징점들을 추출하는 경우, 입력 이미지의 내용에 따라 추출되는 특징점들은, 도 6과 같이 5가지 형태의 그룹(G1 내지 G5)으로 분류될 수 있다. 도 6에서, 그룹 1(G1)은, 적은 수의 특징점이 이미지 전체에 분포하는 경우를 나타내며, 그룹 2(G2)는 많은 수의 특징점이 이미지 전체에 분포하는 경우, 그룹 3(G3)은 많은 수의 특징점이 이미지 중앙에 분포하는 경우, 그룹 4(G4)은 적은 수의 특징점이 이미지의 특정한 영역에 분포하는 경우, 그룹 5(G5)는 많은 수의 특징점이 이미지의 특정한 영역에 분포하는 경우를 나타낸다.
본 발명의 CS-RANSAC 알고리즘은, 입력 이미지로부터 특징점을 추출하고, 추출된 특징점들 중에서 호모그래피를 계산하기 위해, 예를 들어, 4개의 특징점을 효과적으로 선택하기 위한 것이다. 이에 따라, 샘플링 장치(500)는 입력 이미지의 형태에 따라 특징점들의 분포가 다양한 패턴을 보이기 때문에, 특징점들의 분포 패턴에 따라 제약조건을 동적으로 적용할 수 있다.
도 7에서, 이미지 1(701) 및 이미지 2(702)는 동일한 이미지를 7x7 격자(701)와 14x14 격자(702)로 각각 표현한 예시이다. 영상 처리 장치(500)는 추출된 특징점들의 분포에 따라, 즉, 패턴에 따라 동적으로 크기를 설정할 수 있다. 이어, 영상 처리 장치(500)는 각 격자에서 최대 한 개의 특징점을 추출하고, 전체 이미지를 대상으로 선택된 총 4개의 특징점들이 거리제약조건과 선형제약조건을 만족하는지 여부를 판단할 수 있다.
도 8은 본 발명의 일실시예에 있어서, 특징점들의 패턴에 따라 호모그래피를 계산하기 위한 최적의 격자 사이즈 실험 결과를 도시한 도면이다.
도 8을 참고하면, 영상 처리 장치(500)는 입력 이미지로부터 추출된 특징점들을 5개의 그룹으로 분류할 수 있다. 그리고, 분류된 각 그룹의 특징점의 수와 분포된 패턴에 따라 호모그래피를 계산하기 위한 최적의 격자 사이를 동적으로 결정할 수 있다. 도 6 및 도 8을 참고하면, 영상 처리 장치(500)는 추출된 특징점들 중 적은 수의 특징점이 이미지 전체에 분포하였는지. 또는 특정 영역에 집중하여 분포하였는지, 많은 수의 특징점이 이미지 전체에 분포하였는지, 또는 특정 영역에 집중적으로 분포하였는지, 또는 중앙에 분포하였는지에 따라 추출된 특징점들을 G1 내지 G5 중 어느 하나의 그룹으로 분류할 수 있다.
일례로, 영상 처리 장치(500)는 입력 이미지에서 특징점들을 추출하고, 추출된 특징점들의 분포가 미리 정해진 5개의 그룹(G1 내지 G5) 중 어떤 그룹과 유사 또는 일치하는 패턴을 가지는지를 분석할 수 있다. 예를 들어, 영상 처리 장치(500)는 K-means Classification 알고리즘을 이용하여 상기 추출된 특징점들의 분포가 기설정된 유사도 오차범위 내에서 상기 그룹들 중 어느 하나와 유사 또는 일치하는지 여부를 결정할 수 있다. 그리고, 영상 처리 장치(500)는 결정된 그룹에 해당하는 최적의 격자 사이즈를 동적으로 입력 이미지에 적용할 수 있다. 예를 들어, 추출된 특징점들의 패턴이 G1에 해당하는 것으로 결정된 경우, 영상 처리 장치(500)는 기저장된 그룹 G1에 해당하는 최적의 격자 사이즈를 입력 이미지에 적용할 수 있다. 이처럼, 영상 처리 장치(500)는 각 그룹에 해 당하는 최적의 격자 사이즈를 적용하여 호모그래피 행렬을 계산함에 따라, 향상된 호모그래피 성능을 보장할 수 있다.
이때, 각 격자 별로 최대 1개의 특징점들이 추출되고, 전체 격자를 대상으로, 최대 4개의 특징점들이 추출될 수 있다. 그러면, 영상 처리 장치(500)는 추출된 4개의 특징점들이 기정의된 거리제약조건과 선형제약조건을 만족하는지 여부를 판단할 수 있다. 그리고, 상기 제약조건을 만족하는 경우, 영상 처리 장치(500)는 호모그래피 행렬을 계산할 수 있다. 그리고, 상기 제약조건을 만족하지 않는 경우, 영상 처리 장치(500)는, 다시 각 격자에서 1개의 특징점을 추출하고, 전체 격자에서 최대 4개의 특징점을 추출하는 과정을 반복 수행할 수 있다. 이처럼, 격자 크기와 제약 조건을 동적으로 적용하여 호모그래피 행렬을 계산함에 따라. 정확도가 높은 호모그래피 행렬을 계산할 수 있을 뿐만 아니라, RANSAC 알고리즘을 효율적으로 처리할 수 있다.
상기한 CS-RANSAC 샘플링 방법은 증강 현실 기반의 영상 처리 장치에 적용될 수 있으며, CS-RANSAC 샘플링 방법에 포함된 각각의 과정은 도 5의 상기 영상 처리 장치에 의해 수행될 수 있다.
CS-RANSAC 샘플링 방법이 수행되는 영상 처리 장치에 대한 도식은 생략하였으나, 프로세스와 메모리를 포함하여 구성될 수 있다. 이때, 메모리는 복수의 이미지간의 변환 관계를 나타내는 호모그래피 행렬을 추정하는 CS-RANSAC 알고리즘에 해당되는 프로그램일 수 있다. 특히, 상기 프로그램은, 복수의 이미지 중 입력 이미지에서 추출된 특징점들을 대상으로, 랜덤 샘플링을 이용하여 호모그래피 행렬을 계산하기 위한 특징점들을 선택하고, 선택된 특징점들에 제약조건을 적용하고, 제약조건을 만족하는 특징점들에 기초하여 호모그래피 행렬을 계산하는 명령어를 포함하는 프로그램이 저장될 수 있다. 그리고, 프로세서는 상기 메모리에 로딩된 명령어에 따라 샘플링 과정 및 모델 추정 과정을 처리하는 장치로서, CPU 등의 마이크로프로세서가 포함될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. CS-RANSAC(Constraint Satisfaction-Random Sample Consensus) 알고리즘을 이용하여 복수의 이미지 간의 변환 관계를 나타내는 호모그래피 행렬(Homography matrix)를 추정하기 위한 샘플링 방법에 있어서,
    상기 복수의 이미지 중 입력 이미지에서 추출된 특징점들을 대상으로, 랜덤 샘플링(random sampling)을 이용하여 호모그래피 행렬을 계산하기 위한 특징점들을 선택하고, 상기 랜덤 샘플링을 통해 선택된 특징점들을 대상으로, 기정의된 제약조건을 만족하는지 여부를 검사하는 샘플링 단계; 및
    상기 제약조건을 만족하는 특징점들에 기초하여 호모그래피 행렬을 계산하는 모델 추정을 수행하는 단계
    를 포함하고,
    상기 샘플링 단계는,
    상기 입력 이미지에 대한 상기 추출된 특징점들의 분포 패턴에 따라, 상기 입력 이미지가 서로 다른 크기로 기설정된 격자 크기를 갖는 복수의 그룹들 중 어느 하나의 그룹에 해당하는지 결정하고,
    결정된 그룹에 해당하는 격자 크기에 따라 상기 입력 이미지를 분할하고, 분할된 격자 영역에 포함된 특징점들을 대상으로 상기 제약조건을 만족하는지 여부를 검사하는 것
    을 특징으로 하는 샘플링 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 샘플링 단계는,
    상기 랜덤 샘플링을 통해 선택된 특징점들이 제약조건을 만족하지 않음에 따라, 상기 입력 이미지에서 추출된 특징점들을 대상으로, 랜덤 샘플링(random sampling)을 재적용하여 호모그래피 행렬을 계산하기 위한 특징점들을 재선택하는 것
    을 특징으로 하는 샘플링 방법.
  4. 제1항에 있어서,
    상기 샘플링 단계는,
    상기 랜덤 샘플링을 통해 선택된 특징점들이 제약조건을 만족하지 않음에 따라, 상기 입력 이미지에서 추출된 특징점들을 대상으로, 추출된 특징점들의 유사도에 기초하여 호모그래피 행렬을 계산하기 위한 특징점들을 재선택하는 것
    을 특징으로 하는 샘플링 방법.
  5. 제1항에 있어서,
    상기 샘플링 단계는,
    상기 랜덤 샘플링을 통해 선택된 특징점들이 제약조건을 만족하지 않음에 따라, 기설정된 반복 횟수 및 샘플링 최대 횟수에 기초하여 상기 호모그래피 행렬을 계산하기 위한 특징점들을 재선택하는 것
    을 특징으로 하는 샘플링 방법.
  6. 제1항에 있어서,
    상기 샘플링 단계는,
    상기 입력 이미지의 전체 영역에 분포되어 있는 특징점들을 격자 영역에 이산 분류하여
    CSP(Constraint Satisfaction Problem)를 적용함에 따라, 상기 호모그래피 행렬을 계산하기 위한 특징점들을 선택하는 것
    을 특징으로 하는 샘플링 방법.
  7. 제6항에 있어서,
    상기 CSP는,
    상기 특징점들을 나타내는 변수들(Variables), 상기 특징점들의 위치 관계를 나타내는 도메인(domain), 및 제약조건을 포함하는 것
    을 특징으로 하는 샘플링 방법.
  8. 삭제
KR1020140195389A 2014-12-31 2014-12-31 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 KR101618996B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140195389A KR101618996B1 (ko) 2014-12-31 2014-12-31 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
US14/680,969 US9626761B2 (en) 2014-12-31 2015-04-07 Sampling method and image processing apparatus of CS-RANSAC for estimating homography

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140195389A KR101618996B1 (ko) 2014-12-31 2014-12-31 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치

Publications (1)

Publication Number Publication Date
KR101618996B1 true KR101618996B1 (ko) 2016-05-09

Family

ID=56020609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140195389A KR101618996B1 (ko) 2014-12-31 2014-12-31 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치

Country Status (2)

Country Link
US (1) US9626761B2 (ko)
KR (1) KR101618996B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167071B1 (ko) 2019-11-29 2020-10-16 한길씨앤씨 주식회사 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570935B (zh) * 2016-09-09 2020-07-07 北京林业大学 植被分布模拟方法及装置
CN112106068A (zh) * 2018-05-15 2020-12-18 上海科技大学 一种快速且确定性的一致集最大化算法
CN109325510B (zh) * 2018-07-27 2021-06-08 华南理工大学 一种基于网格统计的图像特征点匹配方法
AU2020289853B2 (en) * 2020-04-09 2022-02-03 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN112819904B (zh) * 2021-03-15 2022-02-01 亮风台（上海）信息科技有限公司 一种用于标定ptz摄像机的方法与设备
CN112927263B (zh) * 2021-04-25 2022-08-02 南京邮电大学 一种基于互补几何模型与相似度矩阵的运动分割方法
CN113516697B (zh) * 2021-07-19 2024-02-02 北京世纪好未来教育科技有限公司 图像配准的方法、装置、电子设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309782A (ja) 2004-04-21 2005-11-04 Toyota Motor Corp 画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5706177B2 (ja) * 2010-02-09 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 超解像処理装置及び超解像処理方法
US9613258B2 (en) * 2011-02-18 2017-04-04 Iomniscient Pty Ltd Image quality assessment
SG194265A1 (en) * 2012-05-02 2013-11-29 Agency Science Tech & Res A system for learning trail application creation
TWI554976B (zh) * 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309782A (ja) 2004-04-21 2005-11-04 Toyota Motor Corp 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167071B1 (ko) 2019-11-29 2020-10-16 한길씨앤씨 주식회사 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법

Also Published As

Publication number Publication date
US9626761B2 (en) 2017-04-18
US20160189359A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN109447994B (zh) 结合完全残差与特征融合的遥感图像分割方法
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Morris A pyramid CNN for dense-leaves segmentation
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
US20110299787A1 (en) Invariant visual scene and object recognition
US9430711B2 (en) Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
El‐Sayed et al. Plane detection in 3D point cloud using octree‐balanced density down‐sampling and iterative adaptive plane extraction
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
Liang et al. An extraction and classification algorithm for concrete cracks based on machine vision
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN110930413A (zh) 一种基于弱监督多核分类优化合并的图像分割方法
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN110135428B (zh) 图像分割处理方法和装置
CN113096080B (zh) 图像分析方法及系统
Akhyar et al. A beneficial dual transformation approach for deep learning networks used in steel surface defect detection
CN106033613B (zh) 目标跟踪方法及装置
Elashry et al. Feature matching enhancement using the graph neural network (gnn-ransac)
CN114511862B (zh) 表格识别方法、装置及电子设备
CN113657225B (zh) 一种目标检测方法
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
US20230040195A1 (en) Three-dimensional point cloud identification device, learning device, three-dimensional point cloud identification method, learning method and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant