KR20220135760A - 대응점 기반 이미지 정합 장치 및 그 방법 - Google Patents

대응점 기반 이미지 정합 장치 및 그 방법 Download PDF

Info

Publication number
KR20220135760A
KR20220135760A KR1020210041853A KR20210041853A KR20220135760A KR 20220135760 A KR20220135760 A KR 20220135760A KR 1020210041853 A KR1020210041853 A KR 1020210041853A KR 20210041853 A KR20210041853 A KR 20210041853A KR 20220135760 A KR20220135760 A KR 20220135760A
Authority
KR
South Korea
Prior art keywords
image
histogram
point
points
matching
Prior art date
Application number
KR1020210041853A
Other languages
English (en)
Other versions
KR102624308B1 (ko
Inventor
신영길
정승환
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020210041853A priority Critical patent/KR102624308B1/ko
Priority to PCT/KR2021/004778 priority patent/WO2022211174A1/ko
Publication of KR20220135760A publication Critical patent/KR20220135760A/ko
Application granted granted Critical
Publication of KR102624308B1 publication Critical patent/KR102624308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대응점 기반 이미지 정합 장치 및 그 방법에 관한 것으로, 서로 공통된 영역을 포함하는 복수의 이미지에 대해서 각각 설정한 복수의 각 기준점별로 이웃하는 복수의 이웃점을 각각 선택하여 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 각 이미지에서 서로 대응하는 대응점을 탐색함으로써 상기 탐색한 대응점을 기반으로 상기 복수의 이미지를 정밀하게 정합하는 장치 및 그 방법에 관한 것이다.

Description

대응점 기반 이미지 정합 장치 및 그 방법{APPARATUS AND METHOD FOR IMAGE MATCHING BASED ON MATCHING POINT}
본 발명은 대응점 기반 이미지 정합 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 서로 공통된 영역을 포함하는 복수의 이미지에 대해서 각각 설정한 복수의 각 기준점별로 이웃하는 복수의 이웃점을 각각 선택하여 복수의 이웃점에 대한 분포를 산출함으로써 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 통해 상기 각 이미지에서 서로 대응하는 대응점을 탐색하여 상기 복수의 이미지를 정밀하게 정합하는 장치 및 그 방법에 관한 것이다.
이미지 정합이란 서로 다른 이미지가 동일한 영역을 포함하고 있을 때 상기 동일한 영역을 매칭하여 상기 서로 다른 이미지를 통합하여 상기 서로 다른 이미지를 하나의 좌표계로 나타내는 기술이다. 즉, 이미지 정합은 카메라 등을 통해 동일한 영역을 상호 포함하는 특정 대상체에 대한 복수의 이미지를 획득하여 상기 동일한 영역에 대한 정합 과정을 통해 상기 특정 대상체에 대한 하나의 통합된 이미지를 생성하고자 할 때 수행되는 것으로, 지도 제작, 특정 대상체에 대한 파노라마 이미지 생성 등과 같이 다양한 분야에서 활용되고 있다.
이미지 정합을 위해 이용되는 주요 방법으로는 동일한 영역을 상호 포함하는 복수의 이미지에서 설정한 복수의 특정 기준점에 대응하는 또 다른 이미지에 포함된 복수의 특정 기준점인 대응점을 기준으로 상기 복수의 이미지를 정합하는 ICP(iterative closest point) 방법이 대표적이다.
그러나 종래의 ICP 방법은 상기 각 이미지의 좌표계 및 스케일(scale)이 동일해야 되며, 상기 대응점에 대한 정보가 미리 주어져야하는 문제점이 있다.
즉, 종래의 ICP 방법은 동일한 이미지 획득 장치(예: 카메라나 스캐너 등)를 통해 상기 동일한 영역을 포함하는 복수의 이미지를 획득해야 되는 한계가 있으며, 상기 대응점이 사용자에 의해 직접적으로 주어져야만 상기 이미지 정합을 안정적으로 수행할 수 있다.
이에 따라 본 발명에서는 종래의 ICP 방법이 가진 한계나 문제점을 해결하기 위해서 서로 공통된 영역을 포함하고 복수의 기준점을 각각 설정한 복수의 이미지에 대해, 이미지 정합의 기준이 되는 소스 이미지와, 상기 소스 이미지에 정합할 적어도 하나 이상의 타겟 이미지에 설정한 기준점의 분포에 따라 각 기준점과 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 나타내는 히스토그램을 생성하고, 상기 생성한 히스토그램을 이용하여 상기 소스 이미지에 설정한 복수의 기준점과 대응하는 상기 적어도 하나 이상의 타겟 이미지에 설정한 기준점인 대응점을 탐색함으로써 스케일이나 좌표계에 상관없이 상기 각 이미지를 효과적으로 정합할 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
한국등록특허 제0591608호(2006.06.13.)는 영상 정합시 대응점 검색방법에 관한 선행발명으로, 기준 영상과 모델 영상을 코너 검출기에 의해 특징점을 추출하고, 상기 특징점을 추출한 기준 영상에 대해서 상기 특징점 사이의 거리 정보를 가지는 보로노이 평면을 구성한 후, 상기 특징점을 추출한 모델 영상에 대해서 일정 영역 내의 특징점들의 분산값이 가장 큰 모델 영역을 정합 영역으로 선택 한 후, 해당 영역 내의 특징점과 매칭되는 상기 보로노이 평면상의 거리가 최소에 가까운 후보 정합 영역들을 상기 기준 영상에서 추출하고, 상기 추출한 후보 정합 영역들의 컬러 정합도를 계산하여 상기 모델 영역과 오차가 최소가 되는 후보 정합 영역을 최종 목표의 정합 영역으로 결정하는 영상 정합시 대응점 검색 방법에 관한 것이다.
상기 선행발명은 기준 영상의 특징점 사이의 거리 정보를 포함하는 보로노이 평면과 모델 영상의 특징점들의 분산값을 이용하여 기준 영상과 모델 영상을 정합하는 것으로, 본원발명에서 제안하고 있는 동일한 영역을 포함하는 복수의 이미지 각각에 대해 설정한 복수의 기준점에 대해서 상기 각 기준점과 상기 각 기준점에 이웃하는 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하는 것도 아니며, 상기 생성한 히스토그램을 토대로 상기 각 이미지에 대해 대응하는 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 복수의 이미지를 정합하는 방법 또한 전혀 기재되어 있지 않다. 따라서 상기 선행발명과 본 발명은 기술적인 특징에 대한 현저한 차이점이 있다.
또한 한국등록특허 제2196479호(2020.12.23.)는 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템에 관한 선행발명으로, 제1이미지의 제1정합영역 및 제2이미지의 제2정합영역에 대한 특징점을 각각 추출하여 전체 특징점 리스트를 특정하고, 상기 특정한 특징점 리스트에서 상기 제1이미지와 제2이미지를 정합하기 위한 변환정보의 생성에 이용될 기준 특징점들을 선택한 후, 상기 선택한 기준 특징점들에 기초하여 정합을 위한 변환정보를 생성하여 상기 생성한 변환정보에 기초하여 상기 제1이미지와 제2이미지를 정합하는 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템에 관한 것이다.
즉, 상기 선행발명은 단순히 제1이미지와 제2이미지에 설정한 가중치 특징점을 이용하여 상기 제1이미지와 제2이미지를 정합한다고만 기재하고 있을 뿐이다.
반면에 본 발명은 정합의 기준이 되는 소스 이미지와 상기 소스 이미지에 정합할 타겟 이미지에 대해 설정한 복수의 기준점 각각에 대해 해당 기준점과 이웃하는 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에서 상호 대응하는 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 소스 이미지와 타겟 이미지를 정합하는 것으로, 상기 선행발명들은 이러한 본 발명의 기술적 특징을 기재하거나 시사 혹은 그 어떠한 암시도 없다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 공통된 영역을 포함하고, 정합의 기준이 되는 소스 이미지와 상기 소스 이미지에 정합할 타겟 이미지에서 상호 대응하는 복수의 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 복수의 이미지를 정밀하게 정합할 수 있도록 하는 대응점 기반 이미지 정합 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 상기 각 이미지에 각각 설정한 복수의 각 기준점을 중심으로 이웃하는 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 각각 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 정합을 위한 대응점을 효과적으로 탐색하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 상기 각 기준점을 중심으로 상기 선택한 모든 이웃점으로의 벡터를 생성하고 상기 생성한 벡터에서 선택 가능한 모든 벡터의 쌍에 대해 계산한 길이의 비율과 각도가 어느 범위에 속하는지 그 개수에 대한 분포를 생성하여 히스토그램의 빈(bin)의 계수를 계산함으로써, 상기 각 기준점에 대한 히스토그램을 생성하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 소스 이미지에서 선택한 각 기준점에 대한 히스토그램의 행렬에 대한 제곱근과 타겟 이미지에서 선택한 각 기준점에 대해 생성한 히스토그램의 행렬의 전치행렬에 대한 제곱근을 곱한 결과에 따라 상기 소스 이미지에서 선택한 기준점 또는 이웃점과 대응하는 상기 타겟 이미지에서 선택한 기준점 또는 이웃점인 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 소스 이미지와 타겟 이미지를 정합하는 정합과정을 수행하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 상기 정합한 전체 영역에서, 상기 소스 이미지에서 설정한 복수의 기준점에 대해 상기 타겟 이미지의 기준점과 정합되는 정합비율이 사전에 설정한 임계값을 초과하는 경우, 상기 정합을 최종 종료하고 상기 임계값 미만인 경우 해당 임계값을 초과할 때까지 상기 정합과정을 반복적으로 수행하여 상기 정합을 수행하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치는, 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성부 및 상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합부를 포함하는 것을 특징으로 한다.
또한 상기 이미지 정합 장치는, 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택부 및 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성부를 더 포함하는 것을 특징으로 한다.
또한 상기 히스토그램 생성부는, 상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 한다.
또한 상기 히스토그램의 행은, 상기 선택한 기준점의 수만큼 생성되고, 상기 히스토그램의 열은, 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성되며, 상기 생성된 히스토그램의 각 행과 열을 구성하는 각 빈(bin)의 계수는, 상기 계산한 내각의 각도와 상기 하나의 길이비율 및 상기 외각의 각도와 상기 또 다른 길이비율에 따라 상기 설정한 각도의 범위 및 길이비율의 범위에 해당하는 개수를 누적하여 채우는 것을 특징으로 한다.
또한 상기 이미지 정합부는, 상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성부 및 상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 선택한 기준점과 상기 타겟 이미지에서 선택한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색부 및 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택부를 더 포함하며, 상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 한다.
또한 상기 이미지 정합부는, 상기 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 한다.
또한 상기 소스 이미지 및 타겟 이미지를 포함한 이미지는, 모공 이미지인 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 방법은, 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성 단계 및 상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합 단계를 포함하는 것을 특징으로 한다.
또한 상기 이미지 정합 방법은, 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택 단계 및 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 히스토그램 생성 단계는, 상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 한다.
또한 상기 이미지 정합 단계는, 상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성 단계 및 상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 선택한 기준점과 상기 타겟 이미지에서 선택한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색 단계 및 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택 단계를 더 포함하며, 상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 한다.
또한 상기 이미지 정합 단계는, 상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 대응점 기반 이미지 정합 장치 및 그 방법은 공통영역을 포함하는 복수의 이미지 중 정합 기준이 되는 소스 이미지와 상기 소스 이미지와 정합하기 위한 타겟 이미지에 각각 설정한 복수의 기준점의 분포에 따라 상기 각 기준점별로 각 기준점을 중심으로 선택한 상기 복수의 이웃점에 대한 분포도를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 히스토그램을 이용하여 상기 소스 이미지의 기준점과 대응하는 상기 타겟 이미지의 기준점을 탐색함으로써, 상기 소스 이미지와 상기 타겟 이미지를 정밀하게 정합할 수 있도록 하는 효과가 있다.
또한 본 발명은 상기 기준점에 대한 히스토그램을 생성할 때, 상기 각 기준점을 중심으로 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하고, 상기 생성한 벡터에서 선택 가능한 모든 벡터 쌍에 대한, 내각의 각도 및 내각의 각도를 계산하기 위한 방향으로의 상기 벡터 쌍의 길이비율과, 외각의 각도 및 외각의 각도를 계산하기 위한 방향으로의 상기 벡터 쌍의 또 다른 길이비율을 계산하여 상기 각 각도와 각 길이비율에 해당하는 히스토그램의 빈에 대한 계수를 증가시킴으로써, 상기 기준점에 대한 히스토그램을 생성하여 상기 대응점을 간편하게 탐색할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 기준점을 중심으로 이웃점에 대한 분포를 산출하는 방법을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준점에 대한 히스토그램을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 대응점을 탐색하는 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하는 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 정합부의 구성을 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 대응점을 기반으로 이미지를 정합하는 절차를 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 이미지 정합 단계에 대한 세부적인 절차를 나타낸 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 대응점 기반 이미지 정합 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다. 본 발명에서는 데이터는 디지털 정보로 해석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다. 본 발명의 대응점 기반 이미지 정합 장치 및 그 방법에서, 상기 이미지는 모공 이미지에 대하여 적용하는 것이 바람직하나, 다른 이미지에도 당연히 적용 가능하다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 공통영역을 포함하는 복수의 이미지가 입력되면 복수의 이미지에 대해서 정합의 기준이 되는 소스 이미지와 소스 이미지와 정합할 타겟 이미지를 설정한다.
복수의 이미지는 동일한 이미지 획득수단을 통해 획득되어 동일한 좌표계로 입력되거나, 서로 다른 이미지 획득수단을 통해 획득되어 서로 다른 좌표계로 입력될 수 있으며, 동일하거나 서로 다른 스케일을 가질 수 있다.
또한 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에 복수의 기준점을 각각 설정한다.
여기서 기준점은 소스 이미지와 타겟 이미지의 특징점을 의미한다. 예를 들어, 복수의 이미지가 두피를 촬영한 모공 이미지인 경우에는 모공이 상기 기준점으로 설정된다. 다만 이에 한정하지 않으며 이미지의 종류 혹은 이미지에 포함된 대상체의 종류에 따라 상기 각 이미지에 포함된 선의 교차점, 끝점, 곡선의 최대, 최하점, 코너점등도 상기 기준점으로 설정될 수 있다.
또한 기준점은 SIFT(scale invariant feature transform) 등과 같이 특징점을 추출하기 위한 다양한 특징점 추출 알고리즘을 통해 자동으로 설정되거나 사용자에 의해 직접적으로 설정될 수 있다.
또한 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에서 설정한 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하여 상기 선택한 각 기준점에 대한 히스토그램을 생성한다. 이때, 상기 선택한 각 기준점과 복수의 이웃점으로 형성되는 이미지 영역이 선택된다.
즉, 상기 대응점 기반 이미지 정합 장치(100)는 각 기준점에 각각 이웃하는 복수의 이웃점에 대한 분포를 기준점별로 산출하고, 상기 산출한 기준점별 복수의 이웃점에 대한 분포를 이용하여 상기 각 기준점에 대한 히스토그램을 생성하는 것이다. 한편, 각 기준점에 대한 히스토그램을 생성하는 것은 도 2 및 도 3을 참조하여 상세히 설명하도록 한다.
또한 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지를 정합하기 위해 우선적으로, 각 기준점에 대한 히스토그램을 이용하여 상기 소스 이미지와 타겟 이미지에서 설정한 기준점간에 상호 대응하는 대응점을 탐색한다.
또한 대응점 기반 이미지 정합 장치(100)는 대응점으로 탐색한 각 기준점에 각각 이웃하는 복수의 이웃점을 소스 이미지와 타겟 이미지에서 각각 선택하여, 복수의 이웃점 중 상기 산출한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 복수의 이웃점 중 상호 대응하는 적어도 두개 이상의 대응점을 탐색한다.
또한 대응점 기반 이미지 정합 장치(100)는 탐색한 대응점을 포함한 이미지 영역을 소스 이미지와 타겟 이미지에서 각각 선택하여, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합한다. 이때 상기 정합은 두 이미지 사이에서 상호 대응하는 특징점을 기반으로 이미지 정합을 수행하는 ICP(iterative closest point) 방법을 이용하는 것이 바람직 하지만, 본 발명은 이에 한정하지 않으며 두 이미지 사이의 대응점을 이용하여 이미지 정합을 수행하는 다양한 방법을 이용할 수 있다.
이때, 대응점을 탐색하는 것과 상기 정합을 수행하는 과정은 정합한 결과가 사전에 설정한 임계값을 초과할 때 까지 반복적으로 수행된다. 한편 대응점을 탐색하는 것과 정합을 수행하는 과정은 도 4 및 도 5를 참조하여 상세히 설명하도록 한다.
또한 소스 이미지와 타겟 이미지를 정합한 후, 또 다른 타겟 이미지가 존재하면 상기 정합한 결과를 소스 이미지로 설정하여, 상기 대응점을 탐색하고 정합하는 과정을 반복적으로 수행함으로써 상기 입력된 모든 이미지에 대한 정합을 최종적으로 완료하게 된다.
이하에서는 기준점별로 이웃하는 복수의 이웃점에 대한 분포를 산출하는 과정과 상기 산출한 이웃점에 대한 분포를 이용하여 각 기준점에 대한 히스토그램을 생성하는 과정을 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 기준점을 중심으로 이웃점에 대한 분포를 산출하는 방법을 설명하기 위해 나타낸 도면이다. 이하에서는 하나의 기준점에 대해 복수의 이웃점에 대한 분포를 산출하는 과정을 설명하도록 한다. 다만 상기 복수의 이웃점에 대한 분포를 산출하는 것은 각 기준점에 대해서 수행된다.
도 2에 도시한 바와 같이 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 소스 이미지 및 타겟 이미지에 설정한 복수의 기준점에 대한 히스토그램을 생성하기 위해 상기 각 이미지에 설정한 복수의 기준점 각각을 선택하고 상기 선택한 각 기준점에 이웃하는 복수의 이웃점을 선택한다.
이때, 상기 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 경우, 상기 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점으로 형성되는 각 이미지에 대한 이미지 영역이 선택됨은 상술한 바와 같다.
또한 상기 대응점 기반 이미지 정합 장치(100)는 선택한 각 기준점과 상기 각 기준점별로 해당 기준점에 이웃하는 복수의 이웃점에 대한 분포를 우선 산출한다.
이때, 대응점 기반 이미지 정합 장치(100)는 선택한 각 기준점을 중심으로 사전에 설정한 개수만큼 복수의 이웃점을 선택한다. 또한 복수의 이웃점은 상기 기준점을 중심으로 거리가 가장 가까운 순서대로 사전에 설정한 개수만큼 선택된다. 이웃점은 4개를 선택하는 것이 바람직하지만, 3개 내지 5개 혹은 그 이상으로 선택될 수 있다.
또한 대응점 기반 이미지 정합 장치(100)는 각 기준점을 중심으로 선택한 복수의 이웃점에 대한 벡터를 각각 생성한다.
또한 대응점 기반 이미지 정합 장치(100)는 생성한 벡터 각각에서 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수에 따라, 내각의 각도와 상기 각 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 상기 각 벡터 쌍에 대한 또 다른 길이비율을 계산함으로써, 상기 선택한 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 산출한다.
이때, 선택 가능한 모든 벡터 쌍을 이용하여 산출되는 것으로, 실질적으로 선택한 기준점을 중심으로 선택한 복수의 이웃점에서 선택 가능한 모든 이웃점의 쌍에 대한 분포를 의미한다. 한편 이웃점은 또 다른 기준점이 될 수 있으며, 상기 기준점은 또 다른 기준점의 이웃점이 될 수 있다.
또한 내각의 각도는 각 벡터 쌍의 내측에 형성되는 각도를 의미하며 반시계방향(혹은 시계방향)으로 계산된다. 또한 벡터 쌍에 대한 하나의 길이비율은 상기 내각을 계산할 때의 방향으로 계산된다.
예를 들어, 도 2에 도시한 기준점(기준점 #1)을 중심으로 이웃점 #3과 이웃점 #4에 대한 벡터를 각각 생성한 경우, 상기 생성한 벡터 쌍에 대한 하나의 길이비율은 내각을 계산할 때의 반시계방향으로 이웃점 #4에 대한 벡터의 길이의 이웃점 #3에 대한 벡터 길이에 대한 길이비율을 계산한 것이다.
또한 외각의 각도는 각 벡터 쌍의 외측에 형성되는 각도를 의미하며 반시계방향(혹은 시계방향)으로 계산된다. 또한 벡터 쌍에 대한 또 다른 길이비율은 외각을 계산할 때의 방향으로 계산된다. 즉, 도 2에 도시한 기준점을 중심으로 이웃점 #3과 이웃점 #4에 대한 벡터를 각각 생성한 경우, 상기 생성한 벡터 쌍의 길이비율은 외각을 계산할 때의 반시계방향으로 이웃점 #3에 대한 벡터의 길이의 이웃점 #4에 대한 벡터 길이에 대한 길이비율을 계산한 것이다.
또한 도 2에 나타낸 것과 같이, 복수의 이웃점에 대한 분포는 상기 벡터의 쌍마다 내각의 각도 및 하나의 길이비율 및 외각의 각도 및 또 다른 길이비율을 포함하여 각각 두개씩 생성됨을 알 수 있다.
즉, 특정 기준점을 중심으로 총 4개의 이웃점을 선택한 경우 총 6개의 벡터 쌍이 생성되고, 상기 기준점에 이웃하는 이웃점에 대한 분포는 이웃점 쌍별로 2개씩 총 12개가 산출되는 것이다.
도 3은 본 발명의 일 실시예에 따른 기준점에 대한 히스토그램을 나타낸 도면이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지에 설정한 각 기준점에 대한 히스토그램은 상기 기준점과 상기 기준점을 중심으로 선택한 상기 기준점에 이웃하는 복수의 이웃점에 대해 산출한 분포를 이용하여 생성된다.
각 기준점에 대한 히스토그램은 행렬과 같은 형식으로 생성되며, 해당 히스토그램의 행은 소스 이미지 및 타겟 이미지에서 선택한 기준점의 수만큼 생성되고, 해당 히스토그램의 열은 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성된다.
본 발명의 일 실시예에 따르면, 각 빈(bin)에 대해서 사전에 미리 설정한 범위가, 각도의 경우 120도 단위로 설정하면 각도의 범위는 3개의 구간으로 나누어지고, 길이비율을 0~0.5 및 0.5~무한대로 설정하면 2개의 구간으로 나누어지므로, 상기 빈의 열의 수가 총 3x2 = 6개로 구성된다. 그러나 상기 각도의 범위나 길이비율의 범위는 그 크기가 더 작은 값을 사용할 수 있어, 빈(bin)의 수가 더 많아 지는 것이 당연하다. 본 발명의 또 다른 일 실시예에 따라 만약 각도를 30도 단위로 설정하면 각도의 범위는 12개의 구간으로 나누어지고, 길이비율을 0~0.5, 0.5~1.0, 1.0~1.5, 1.5~무한대로 설정하면 4개의 구간으로 나누어지므로, 상기 열의 개수는 총 12x4 = 48개로 구성된다.
결국, 본 발명의 일 실시예에서 열의 개수가 6개인 경우로 설명하지만 실제 열의 개수는 설정하기에 따라 다양하게 구성할 수 있다.
또한 행과 열로 구성되는 히스토그램의 각 빈은 각도의 범위와 벡터의 길이비율에 대한 범위가 각각 사전에 설정된다.
또한 상기 대응점 기반 이미지 정합 장치(100)는 상기 기준점과 상기 이웃점의 분포(즉, 기준점과 이웃점을 중심으로 생성한 벡터의 쌍에 대한 내각의 각도와 내각의 각도를 계산한 방향에 따른 벡터의 길이비율 및 외각의 각도와 외각의 각도를 계산한 방향에 따른 벡터의 또 다른 길이비율)가 산출되면, 상기 산출한 분포에 따라 상기 각 기준점을 위해 구성되고 사전에 설정한 범위에 해당하는 빈의 계수를 누적하여 채움으로써 상기 각 기준점에 대한 히스토그램을 최종 생성한다.
예를 들어, 각 기준점을 위해 구성한 행의 첫 번째 빈의 각도 및 길이비율이 0 ~ 120도 및 0 ~ 0.5로 설정되어 있고, 상기 산출한 분포 중 0 ~ 120도인 각도(내각 혹은 외각) 및 길이비율이 0 ~ 0.5(하나의 길이비율 혹은 또 다른 길이비율)인 개수가 2개이면 상기 개수만큼 해당 빈의 계수를 누적(즉, 2)함으로써 채우는 것이다. 즉, 대응점 기반 이미지 정합 장치(100)는 산출한 기준점에 이웃하는 복수의 이웃점의 분포를 이용하여 상기 각 기준점에 대한 히스토그램을 각각 생성하는 것이다.
도 2에서 산출한 기준점 #1의 대한 이웃점의 분포에 따라 해당 기준점 #1을 위해 구성한 히스토그램의 열에 형성되는 각 빈의 계수는 1, 1, 1, 3, 4, 2가 됨을 알 수 있다.
이하에서는, 대응점을 탐색하여 소스 이미지와 타겟 이미지를 정합하는 방법을 상세히 설명하고자 한다.
도 4는 본 발명의 일 실시예에 따른 대응점을 탐색하는 과정을 설명하기 위해 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하기 위해, 대응점 기반 이미지 정합 장치(100)는 상기 소스 이미지에서 설정한 복수의 각 기준점에 대해 생성한 각 기준점에 대한 히스토그램(도 4의 Histsource)의 제곱근을 계산한다. 즉, 상기 대응점 기반 이미지 정합 장치(100)는 상기 소스 이미지에 설정한 각 기준점에 대해 상기 생성한 히스토그램의 각 빈에 대한 계수에 대한 제곱근을 계산함으로써 상기 기준점에 대한 히스토그램의 제곱근을 계산하는 것이다.
또한 대응점 기반 이미지 정합 장치(100)는 타겟 이미지에서 설정한 각 기준점에 대해 생성한 각 기준점에 대한 히스토그램(도 4의 Histtarget)의 행과 열을 전치시킨 후, 상기 전치시킨 결과에 대한 제곱근을 계산한다. 즉, 대응점 기반 이미지 정합 장치(100)는 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 전치행렬로 변환하고, 상기 전치행렬로 변환한 해당 히스토그램에 대한 제곱근을 계산한다.
또한 대응점 기반 이미지 정합 장치(100)는 계산한 소스 이미지에 설정한 각 기준점에 대한 히스토그램의 제곱근과 계산한 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 전치행렬로 변환한 결과에 대한 제곱근을 곱하여 결과 히스토그램을 생성한다.
이때, 소스 이미지에 설정한 각 기준점과 타겟 이미지에서 설정한 각 기준점은 결과 히스토그램의 빈을 통해 교차되어 매칭된다.
또한 대응점 기반 이미지 정합 장치(100)는 결과 히스토그램의 각 빈에 대한 계수를 확인하여 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 해당 빈을 통해 매칭되는 소스 이미지에서 선택한 기준점과 상기 타겟 이미지에서 선택한 기준점을 대응점으로 검출한다.
즉, 상기 대응점 기반 이미지 정합 장치(100)는 상기 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 통해 매칭되는 소스 이미지에서 설정한 기준점과 상기 타겟 이미지에서 설정한 기준점을 대응점으로 판단함으로써 기준점간에 상호 대응하는 대응점을 탐색하는 것이다.
예를 들어, 도 4에 도시한 것과 같이, 결과 히스토그램의 1행 1열, 2행 4열 및 3행 5열의 빈의 계수가 사전에 설정한 임계값을 초과한다면, 소스 이미지에서 설정한 기준점 #1, 기준점 #2 및 기준점 #3과 타겟 이미지에서 설정한 기준점 #1, 기준점 #4 및 기준점 #5가 상호 대응하며, 기준점간의 대응점으로 각각 탐색되는 것이다.
한편 도 4에는 소스 이미지와 타겟 이미지에서 설정한 기준점의 개수가 5개로 도시되어 있으나, 상기 각 이미지가 모공 이미지인 경우 상기 각 모공에 대해서 상기 기준점이 설정된다. 도 4에 도시된 머리카락 모공점들 중 일부만 기준점으로 사용할 수 있는 것이 아니다. 즉, 하나의 이미지에서 모든 모공점은 기준점이 될 수 있으며 또한 이웃점이 될 수도 있다. 사용자가 설정하기에 따라 일부의 이웃점만 기준점이면서 이웃점으로 설정할 수도 있다. 또한 미리 설정한 이웃점 개수 k(예, k=4)에 따라 각 기준점 별로 가장 가까이 이웃한 k개의 기준점들을 선택하여이웃점으로 표현하고 그 분포를 계산하여 히스토그램을 업데이트할 수도 있다. 따라서 모든 기준점이 다른 기준점의 이웃점이 될 수 있으므로, 기준점이나 이웃점에 대한 제한이나 제약 사항이 없다.
여기서 상기 임계값은 다음의 [수학식 1]에 의해 설정된다.
[수학식 1]
임계값 = (KC2) x (1.0 - (2 x outlier_ratio)) x 2
여기서 K는 각 기준점별로 상기 선택한 이웃점의 개수(예: 4)이며, 상기 outlier_ratio는 소스 이미지와 타겟 이미지를 정합하였을 때, 정합한 전체 영역에 존재하는 복수의 기준점에서 상기 소스 이미지의 기준점과 상기 타겟 이미지의 기준점이 상호 대응하는 대응점이 없는 기준점의 비율을 의미한다.
이때, 정합한 결과 대응점이 없는 기준점의 비율이 높은 경우 제대로 된 정합이 수행된 것이 아닌 것을 의미한다. 따라서 상기 outlier_ratio는 상기 정합한 결과 대응점이 없는 기준점들의 대략적인 비율을 나타내며 사전에 설정된다. 본 발명에서는 상기 outlier_ratio를 0.35로 설정하였다.
한편 결과 히스토그램의 각 빈에 대한 계수를 확인하여 사전에 설정한 임계값을 초과하는 계수를 가지는 빈의 계수는 1(True)로 설정하고, 그 이외의 빈에 대한 계수는 0(False)로 설정하여 상기 결과 히스토그램을 이진화할 수 있으며, 상기 기준점간 대응점을 탐색할 때, 상기 이진화한 결과 히스토그램의 빈을 계수를 참조하여 1(True)로 설정된 빈을 검출함으로써 상기 기준점간의 대응점을 탐색할 수 도 있다.
또한 기준점간의 대응점을 탐색한 후, 대응점 기반 이미지 정합 장치(100)는 대응점으로 탐색된 각 기준점을 선택하고 상기 선택한 각 기준점에 이웃하는 복수의 이웃점을 각각 선택한다.
또한 상기 대응점 기반 이미지 정합 장치(100)는 소스 이미지에서 선택한 복수의 이웃점과 타겟 이미지에서 선택한 복수의 이웃점에 대해 산출한 분포를 상호 비교하여, 상기 비교한 결과 동일한 분포를 가지는 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 이웃점간의 대응점을 탐색한다.
이때, 복수의 이웃점에 대한 분포는 복수의 이웃점에 대해 선택 가능한 이웃점의 쌍에 대해 각각 계산한 것으로, 이웃점간에 상호 대응하는 대응점이 탐색되는 경우 최소 2개(즉, 한 쌍의 이웃점) 이상의 이웃점이 대응점으로 탐색된다.
즉, 대응점 기반 이미지 정합 장치(100)는 소스 이미지 및 타겟 이미지에서 선택한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 이웃점간의 대응점을 탐색하는 것이다.
또한 대응점 기반 이미지 정합 장치(100)는 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 소스 이미지와 타겟 이미지에 대해 각각 선택한다.
또한 대응점 기반 이미지 정합 장치(100)는 선택한 각 이미지 영역에 대해서, 탐색한 대응점을 중심으로 소스 이미지와 타겟 이미지를 정합하게 된다. 정합을 수행하는 과정은 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하는 과정을 설명하기 위해 나타낸 도면이다.
도 5에 도시한 바와 같이 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 결과 히스토그램을 통해 각 기준점에 대한 대응점을 탐색한 결과, 각 기준점에 대한 대응점과 각 기준점에 대해 선택한 복수의 이웃점간에 대응하는 적어도 두개 이상의 대응점이 탐색되면, 상기 대응점으로 탐색한 특정 기준점과 이웃점을 포함하는 이미지 영역을 선택한다.
즉 대응점으로 탐색된 기준점의 개수가 사전에 설정한 개수 이상(임계 대응점 개수)이고, 상기 대응점으로 탐색된 기준점 중 특정 기준점과 대응점으로 탐색된 상기 특정 기준점과 이웃하는 적어도 두개 이상의 이웃점으로 형성되는 이미지 영역을 상기 소스 이미지와 타겟 이미지에서 각각 선택하여 상기 탐색된 대응점을 중심으로 상기 소스 이미지와 타겟 이미지를 정합하는 것이다.
상기 임계 대응점 개수는 다음의 [수학식 2]에 따라 설정된다.
[수학식 2]
임계 대응점 개수 = (K) x (1 - 2 x outlier_ratio)
여기서 상기 K와 상기 outlier_ratio는 상기 [수학식 1]의 K와 outlier_ratio와 동일하다.
예를 들어, 도 5에 도시한 것과 같이 대응점으로 탐색되어 소스 이미지에서 선택한 특정 기준점(기준점 #1), 해당 특정 기준점에 이웃하는 이웃점 #2 및 이웃점 #3이 타겟 이미지에서 선택한 특정 기준점(기준점 #1)과 이웃점 #1 및 이웃점 #2를 포함하는 이미지 영역을 각각 선택하여, 상기 대응점으로 탐색된 상기 소스 이미지의 기준점 #1, 이웃점 #2 및 이웃점 #4와 상기 타겟 이미지의 기준점 #1, 이웃점 #1 및 이웃점 #4를 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것이다.
이때, 대응점 기반 이미지 정합 장치(100)는 선택한 이미지 영역에서 탐색된 대응점 중 어느 하나를 우선 선택하여 정합하고, 나머지 대응점을 순차적으로 정합함으로써 상기 정합을 수행한다. 예를 들어, 대응점 기반 이미지 정합 장치(100)가 ICP 방법을 이용하여 상기 정합을 수행하는 경우 특정 대응점(예: 도 4에서 대응점으로 탐색한 소스 이미지의 이웃점 #2와 타겟 이미지의 이웃점 #1)을 선택하여 초기 예측(initial guess) 정보로 활용하여 우선 정합한 후, 나머지 대응점에 대해 상기 정합을 수행하게 된다.
또한 대응점 기반 이미지 정합 장치(100)는 정합한 결과를 검증한다. 검증은 정합한 결과, 정합된 영역에서, 소스 이미지에서 설정한 전체 기준점에 대해 타겟 이미지에서 설정한 기준점과 정합되는 기준점 수에 대한 정합비율이 사전에 설정한 임계값(임계 정합비율)에 대한 초과여부를 판단함으로써 수행된다.
검증 결과, 정합비율이 임계값을 초과하면 대응점 기반 이미지 정합 장치(100)는 상기 정합을 종료하고 정합결과를 출력한다.
한편, 검증 결과, 정합비율이 임계값 이하이면 대응점 기반 이미지 정합 장치(100)는 상기 임계값을 초과할 때까지, 소스 이미지 및 타겟 이미지에서 대응점으로 탐색된 새로운 기준점과 해당 기준점에 이웃하는 적어도 두개 이상의 이웃점을 선택하여 새로운 이미지 영역을 선택함으로써 정합을 반복적으로 수행한다.
즉, 대응점 기반 이미지 정합 장치(100)는 정합비율이 사전에 설정한 임계값을 초과할 때까지, 대응점으로 탐색된 기준점과 기준점에 이웃하는 이웃점을 새로이 선택함으로써 이미지 영역을 변경하면서 정합을 반복적으로 수행하는 것이다.
도 6은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치의 구성을 나타낸 블록도이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 상호 공통된 영역을 포함하는 복수의 이미지를 입력받는 이미지 입력부(110), 상기 입력받은 복수의 이미지를 소스 이미지와 타겟 이미지로 분류하여 설정하는 이미지 설정부(120), 상기 설정한 소스 이미지와 타겟 이미지에 대한 복수의 기준점을 설정하는 기준점 설정부(130), 상기 각 이미지에 설정한 각 기준점에 대한 복수의 이웃점을 각각 선택하는 이웃점 선택부(140), 상기 각 기준점을 중심으로 상기 선택한 각 이웃점에 대한 벡터를 생성하는 벡터 생성부(150), 상기 생성한 벡터를 이용하여 상기 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성부(160), 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여 상기 소스 이미지에 상기 타겟 이미지를 정합하는 이미지 정합부(170) 및 상기 정합한 결과를 출력하는 출력부(180)를 포함하여 구성된다.
상기 이미지 입력부(110)는 카메라, 스캐너, 초음파 촬영장치 등과 같이 다양한 이미지 획득수단을 통해 공통된 영역을 포함하는 복수의 이미지를 입력받는 기능을 수행한다.
또한 이미지 설정부(120)는 상기 입력받은 복수의 이미지 중 정합의 기준이 되는 소스 이미지와 상기 소스 이미지에 정합하기 위한 타겟 이미지를 각각 설정하는 기능을 수행한다.
또한 기준점 설정부(130)는 소스 이미지와 타겟 이미지에 대한 복수의 기준점을 설정하며, 상기 기준점은 상기 소스 이미지와 타겟 이미지의 특징점을 의미함은 상술한 바와 같다.
또한 이웃점 선택부(140)는 각 기준점에 대한 히스토그램을 생성하기 위한 기초가 되는 수단으로써 소스 이미지와 타겟 이미지에 대해 설정한 복수의 각 기준점에 이웃하는 복수의 이웃점을 선택한다.
이때, 각 기준점과 해당 기준점에 각각 이웃하는 복수의 이웃점으로 형성된 이미지 영역이 각각 선택됨은 상술한 바와 같다.
또한 각 기준점에 이웃하는 복수의 이웃점은 각 기준점으로부터 가장 가까운 이웃점이 선택되며 사전에 설정한 개수만큼 선택된다.
또한 벡터 생성부(150)는 각 기준점을 중심으로 각 기준점에 이웃하는 복수의 이웃점에 대한 벡터를 각각 생성한다.
또한 히스토그램 생성부(160)는 각 기준점과 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하는 기능을 수행한다.
이때, 히스토그램 생성부(160)는 벡터 생성부(150)에서 생성한 벡터 각각에 대해서, 사전에 미리 설정한 범위에 따른 내각의 각도와 하나의 길이비율 및 외각의 각도와 또 다른 길이비율의 범위에 해당하는 개수의 분포를 계산함으로써 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 상기 기준점별로 산출하여 전체 기준점에 대한 히스토그램을 생성한다.
한편, 각 기준점에 대한 히스토그램을 생성하는 것은 도 2 및 도 3을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.
또한 이미지 정합부(170)는 생성한 각 기준점에 대한 히스토그램을 이용하여 소스 이미지와 타겟 이미지간의 대응점을 탐색하고, 상기 탐색한 대응점을 기반으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 기능을 수행하는 것으로, 상기 이미지 정합부(170)의 상세한 구성은 도 7을 참조하여 설명하도록 한다.
또한 출력부(180)는 이미지 정합부(170)에서 최종적으로 정합한 결과를 디스플레이(미도시), 사용자 단말(미도시) 등으로 출력하는 기능을 수행한다.
도 7은 본 발명의 일 실시예에 따른 이미지 정합부의 구성을 나타낸 블록도이다.
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 이미지 정합부(170)는 히스토그램 생성부(160)를 통해 생성한 소스 이미지에서 설정한 각 기준점에 대한 히스토그램과 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 이용하여 결과 히스토그램을 생성하는 결과 히스토그램 생성부(171), 상기 생성한 결과 히스토그램을 이용하여 상기 소스 이미지와 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하는 대응점 탐색부(172), 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 상기 소스 이미지와 타겟 이미지에서 각각 선택하는 영역 선택부(173) 및 상기 선택한 이미지 영역에 포함된 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 정합부(174) 및 상기 정합한 결과를 검증하는 정합결과 검증부(175)를 포함하여 구성된다.
결과 히스토그램 생성부(171)는 히스토그램 생성부(160)에서 생성한 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 상기 소스 이미지 및 타겟 이미지에 설정한 각 기준점이 빈을 통해 상호 매칭되도록 하는 결과 히스토그램을 생성한다. 한편 결과 히스토그램을 생성하는 것은, 도 4를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 대응점 탐색부(172)는 결과 히스토그램 생성부(171)에서 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 소스 이미지에서 설정한 기준점과 타겟 이미지에서 설정한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색한다.
또한 영역 선택부(173)는 대응점으로 탐색한 특정 기준점과 상기 특정 기준점에 이웃하는 적어도 두개 이상의 이웃점으로 형성되는 이미지 영역을 소스 이미지와 타겟 이미지에서 각각 선택한다.
또한 정합부(174)는 선택한 각 이미지 영역에 포함되는 탐색한 대응점을 중심으로 소스 이미지와 타겟 이미지를 상호 정합한다. 한편 정합부(174)는 기준점에 대해 탐색한 대응점의 개수가 사전에 설정한 개수 미만인 경우에는 소스 이미지와 타겟 이미지를 정합할 필요성이 없는 것으로 판단(즉, 공통된 영역이 거의 없거나 아예 없는 것으로 판단)하여 정합을 수행하지 않는다.
또한 정합결과 검증부(175)는 정합한 결과에 따라, 정합된 영역에서 소스 이미지에서 설정한 전체 기준점에 대해서, 타겟 이미지에서 설정한 기준점과 정합되는 정합비율이 사전에 설정한 임계값을 초과하는 경우, 상기 소스 이미지와 타겟 이미지에 대한 정합을 최종 종료하도록 하여 정합한 결과를 출력부(180)를 통해 출력하도록 한다.
한편, 정합한 결과, 정합비율이 사전에 설정한 임계값 이하인 경우, 이미지 정합부(170)는 사전에 설정한 임계값을 초과할 때까지, 대응점으로 탐색된 또 다른 기준점을 각각 선택하여 소스 이미지와 타겟 이미지에 대해 선택한 각 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행한다.
도 8은 본 발명의 일 실시예에 따른 대응점을 기반으로 이미지를 정합하는 절차를 나타낸 흐름도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 대응점을 기반으로 이미지를 정합하는 절차는 우선, 대응점 기반 이미지 정합 장치(100)는 공통된 영역을 포함하는 복수의 이미지를 입력받는 이미지 입력 단계를 수행한다(S110).
복수의 이미지는 사용자로부터 입력되거나, 카메라, 스캐너 등의 이미지 획득수단을 통해 입력될 수 있다.
다음으로 대응점 기반 이미지 정합 장치(100)는 입력받은 복수의 이미지에서 정합할 기준이 되는 소스 이미지와 상기 소스 이미지와 정합할 타겟 이미지를 설정하는 이미지 설정 단계를 수행한다(S120).
다음으로 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에 대한 복수의 기준점을 각각 설정하는 기준점 설정 단계를 수행한다(S130).
복수의 기준점은 이미지로부터 특징점을 설정하기 위한 다양한 알고리즘(예: SIFT 알고리즘)을 이용하여 자동으로 설정되거나 사용자에 의해 설정될 수 있음은 상술한 바와 같으면, 본 발명에서는 기준점을 설정하는 것에는 그 제한을 두지 않는다.
다음으로 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에서 설정한 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점을 각각 선택하여 상기 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성 단계를 수행한다(S130).
각 기준점에 대한 히스토그램은 각 기준점에 이웃하는 복수의 이웃점에 대해 산출한 분포를 이용하여 생성됨은 상술한 바와 같다.
이때, 대응점 기반 이미지 정합 장치(100)는 상기 각 기준점에 대한 히스토그램을 생성하기 위해 각 기준점에 대해 사전에 설정한 개수만큼 이웃하는 복수의 이웃점을 선택하는 이웃점 선택 단계 및 상기 선택한 적어도 하나 이상의 각 기준점을 중심으로 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성 단계를 더 수행한다.
또한 대응점 기반 이미지 정합 장치(100)는 각 기준점에 대한 히스토그램을 이용하여 소스 이미지와 상기 타겟 이미지에서 상호 대응하는 대응점을 탐색하고, 상기 대응점을 탐색한 결과에 따라 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합 단계를 수행한다. 이미지 정합 단계는 도 9를 참조하여 상세히 설명하도록 한다.
한편, 정합한 후, 또 다른 타겟 이미지가 남아 있는 경우, 상기 정합한 결과를 상기 소스 이미지로 설정하여, 상기 또 다른 타겟 이미지를 모두 정합할 때까지 상기 S150 단계를 반복적으로 수행한다.
도 9는 본 발명의 일 실시예에 따른 이미지 정합 단계에 대한 세부적인 절차를 나타낸 흐름도이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하기 위한 세부적인 절차는 우선, 이미지 정합 단계는 소스 이미지에 설정한 각 기준점에 대한 히스토그램과 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 이용하여 결과 히스토그램을 생성하는 결과 히스토그램 생성 단계를 수행한다(S210).
소스 이미지에서 설정한 각 기준점과 타겟 이미지에서 설정한 각 기준점은 결과 히스토그램을 구성하는 각 빈에 의해 상호 매칭되며, 상기 결과 히스토그램을 생성하는 것은 도 4를 참조하여 설명하였으므로 더 이상의 상세한 설명한 생략하도록 한다.
다음으로 이미지 정합 단계는 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하여 상기 검출한 빈을 통해 매칭되는 소스 이미지에서 설정한 기준점과 타겟 이미지에서 설정한 기준점을 대응점으로 검출하는 단계(S220)와 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출하는 대응점 검출 단계를 수행한다(S230).
이때, 이미지 정합 단계는 기준점을 대응점으로 검출한 결과 사전에 설정한 개수를 초과하지 않으면 소스 이미지와 타겟 이미지를 정합하지 않음은 상술한 바와 같다.
다음으로 이미지 정합 단계는 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 선택하는 영역 선택 단계를 수행한다(S240).
즉, 이미지 정합 단계는 상기 대응점으로 탐색한 기준점 중 특정 기준점과 해당 특정 기준점에 이웃하는 적어도 두개 이상의 이웃점으로 형성되는 이미지 영역을 소스 이미지와 타겟 이미지에서 각각 선택하는 것이다.
다음으로 이미지 정합 단계는 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 소스 이미지와 타겟 이미지를 정합하는 정합 단계를 수행한다(S250).
즉, 정합 단계는 선택한 각 이미지 영역에 포함된 적어도 하나 이상의 대응점을 중심으로 소스 이미지와 타겟 이미지를 정합하는 것이다.
다음으로 이미지 정합 단계는 소스 이미지와 타겟 이미지를 정합한 결과를 검증하는 정합결과 검증단계를 수행한 결과, 상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대한 정합비율이 사전에 설정한 임계값을 초과하는 경우(S260), 소스 이미지와 타겟 이미지에 대한 정합을 종료하고 상기 정합한 결과를 출력하는 출력 단계를 수행한다. 한편 상기 정합비율에 대한 것은 도 4 및 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 이미지 정합 단계는 정합결과 검증단계를 수행한 결과, 정합비율이 사전에 설정한 임계값 이하 이면(S260), 상기 이미지 정합 단계는 상기 선택한 각 이미지 영역을 변경하는 단계를 수행(S261)하는 것을 포함하여 상기 정합비율이 상기 사전에 설정한 임계값을 초과할 때 까지 S250 및 S261단계를 반복적으로 수행한다.
이상에서 설명한 바와 같이, 본 발명은 대응점 기반 이미지 정합 장치 및 그 방법은 상호 공통된 영역을 포함하는 복수의 이미지에 설정한 복수의 각 기준점별로 각각 이웃하는 복수의 이웃점에 대한 분포를 산출하여 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 복수의 이미지에서 상호 대응하는 대응점을 탐색함으로써 상기 복수의 이미지를 정밀하게 정할 수 있는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 대응점 기반 이미지 정합 장치 110: 이미지 입력부
120: 이미지 설정부 130: 기준점 설정부
140: 이웃점 선택부 150: 벡터 생성부
160: 히스토그램 생성부 170: 이미지 정합부
171: 결과 히스토그램 생성부 172: 대응점 탐색부
173: 영역 선택부 174: 정합부
175: 정합결과 검증부 180: 출력부

Claims (14)

  1. 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성부; 및
    상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합부;를 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  2. 청구항 1에 있어서,
    상기 이미지 정합 장치는,
    상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택부; 및
    상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성부;를 더 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  3. 청구항 2에 있어서,
    상기 히스토그램 생성부는,
    상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  4. 청구항 3에 있어서,
    상기 히스토그램의 행은, 상기 선택한 기준점의 수만큼 생성되고,
    상기 히스토그램의 열은, 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성되며,
    상기 생성된 히스토그램의 각 행과 열을 구성하는 각 빈(bin)의 계수는, 상기 계산한 내각의 각도와 상기 하나의 길이비율 및 상기 외각의 각도와 상기 또 다른 길이비율에 따라 상기 설정한 각도의 범위 및 길이비율의 범위에 해당하는 개수를 누적하여 채우는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  5. 청구항 3에 있어서,
    상기 이미지 정합부는,
    상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성부;
    상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 설정한 기준점과 상기 타겟 이미지에서 설정한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색부; 및
    상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택부;를 더 포함하며,
    상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  6. 청구항 5에 있어서,
    상기 이미지 정합부는,
    상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  7. 청구항 1 내지 6 중 어느 하나의 항에 있어서,
    상기 소스 이미지 및 타겟 이미지를 포함한 이미지는, 모공 이미지인 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  8. 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성 단계; 및
    상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합 단계;를 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  9. 청구항 8에 있어서,
    상기 이미지 정합 방법은,
    상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택 단계; 및
    상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성 단계;를 더 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  10. 청구항 9에 있어서,
    상기 히스토그램 생성 단계는,
    상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  11. 청구항 10에 있어서,
    상기 히스토그램의 행은, 상기 선택한 기준점의 수만큼 생성되고,
    상기 히스토그램의 열은, 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성되며,
    상기 생성된 히스토그램의 각 행과 열을 구성하는 각 빈(bin)의 계수는, 상기 계산한 내각의 각도와 상기 하나의 길이비율 및 상기 외각의 각도와 상기 또 다른 길이비율에 따라 상기 설정한 각도의 범위 및 길이비율의 범위에 해당하는 개수를 누적하여 채우는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  12. 청구항 10에 있어서,
    상기 이미지 정합 단계는,
    상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성 단계;
    상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 설정한 기준점과 상기 타겟 이미지에서 설정한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색 단계; 및
    상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택 단계;를 더 포함하며,
    상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  13. 청구항 12에 있어서,
    상기 이미지 정합 단계는,
    상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  14. 청구항 8 내지 13 중 어느 하나의 항에 있어서,
    상기 소스 이미지 및 타겟 이미지를 포함한 이미지는, 모공 이미지인 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
KR1020210041853A 2021-03-31 2021-03-31 대응점 기반 이미지 정합 장치 및 그 방법 KR102624308B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210041853A KR102624308B1 (ko) 2021-03-31 2021-03-31 대응점 기반 이미지 정합 장치 및 그 방법
PCT/KR2021/004778 WO2022211174A1 (ko) 2021-03-31 2021-04-16 대응점 기반 이미지 정합 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041853A KR102624308B1 (ko) 2021-03-31 2021-03-31 대응점 기반 이미지 정합 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220135760A true KR20220135760A (ko) 2022-10-07
KR102624308B1 KR102624308B1 (ko) 2024-01-15

Family

ID=83456380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041853A KR102624308B1 (ko) 2021-03-31 2021-03-31 대응점 기반 이미지 정합 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102624308B1 (ko)
WO (1) WO2022211174A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106713A (ja) * 2012-11-27 2014-06-09 Univ Of Tsukuba プログラム、方法、及び情報処理装置
KR20160075509A (ko) * 2013-09-16 2016-06-29 아이베리파이 인크. 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
KR20170088721A (ko) * 2016-01-25 2017-08-02 조선대학교산학협력단 지문인식을 위한 그래프 기반 블록-특징 표현 방법 및 이를 이용한 지문인식 시스템
KR101937859B1 (ko) * 2017-09-06 2019-01-11 단국대학교 산학협력단 360도 이미지에서의 공통 객체 탐색 시스템 및 방법
KR20210024145A (ko) * 2018-07-10 2021-03-04 레이던 컴퍼니 3d 포인트 세트에 이미지 정합

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2507539A (en) * 2012-11-02 2014-05-07 Zwipe As Matching sets of minutiae using local neighbourhoods
US10013764B2 (en) * 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
KR101632912B1 (ko) * 2014-09-26 2016-06-24 창신정보통신(주) 지문 인식을 이용한 사용자 인증 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106713A (ja) * 2012-11-27 2014-06-09 Univ Of Tsukuba プログラム、方法、及び情報処理装置
KR20160075509A (ko) * 2013-09-16 2016-06-29 아이베리파이 인크. 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
KR20170088721A (ko) * 2016-01-25 2017-08-02 조선대학교산학협력단 지문인식을 위한 그래프 기반 블록-특징 표현 방법 및 이를 이용한 지문인식 시스템
KR101937859B1 (ko) * 2017-09-06 2019-01-11 단국대학교 산학협력단 360도 이미지에서의 공통 객체 탐색 시스템 및 방법
KR20210024145A (ko) * 2018-07-10 2021-03-04 레이던 컴퍼니 3d 포인트 세트에 이미지 정합

Also Published As

Publication number Publication date
KR102624308B1 (ko) 2024-01-15
WO2022211174A1 (ko) 2022-10-06

Similar Documents

Publication Publication Date Title
CN111160375B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN107301402B (zh) 一种现实场景关键帧的确定方法、装置、介质及设备
US20170262990A1 (en) Apparatus and method for detecting error in lesion contour, apparatus and method for correcting error in lesion contour, and apparatus for inspecting error in lesion contour
EP2724295B1 (en) System and method for identifying scale invariant features of object outlines on images
KR20140102038A (ko) 영상 정합 장치 및 영상 정합 방법
CN111860695A (zh) 一种数据融合、目标检测方法、装置及设备
US9361692B2 (en) Image registration device and operation method of the same
US9552532B2 (en) System and method for describing image outlines
CN108876723A (zh) 一种灰度目标图像的彩色背景的构建方法
CN111242221A (zh) 基于图匹配的图像匹配方法、系统及存储介质
CN111291768A (zh) 图像特征匹配方法及装置、设备、存储介质
KR20180092197A (ko) 지문 인식을 위한 후보 지문 이미지를 선정하는 장치 및 방법
US8164633B2 (en) Calibration apparatus and method for imaging devices and computer program
Yammine et al. Novel similarity-invariant line descriptor and matching algorithm for global motion estimation
KR20220135760A (ko) 대응점 기반 이미지 정합 장치 및 그 방법
US8655080B2 (en) Method and apparatus for identifying combinations of matching regions in images
CN108629733B (zh) 获取高分辨率图像的方法与装置
JPH0921610A (ja) 画像処理装置及び画像処理方法
JP2007041664A (ja) 領域抽出装置および領域抽出プログラム
CN111797737A (zh) 遥感目标检测方法及装置
Matsui et al. Automatic feature point selection through hybrid metaheauristics based on Tabu search and memetic algorithm for augmented reality
EP1418546A1 (en) Method and apparatus for representing moving objects in a sequence of images
JP7297720B2 (ja) カメラキャリブレーション方法、装置およびプログラム
CN117893413B (zh) 基于图像增强的车载终端人机交互方法
CN109754437B (zh) 一种调整图形采样频率的方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant