KR101988384B1 - 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법 - Google Patents

이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법 Download PDF

Info

Publication number
KR101988384B1
KR101988384B1 KR1020130025190A KR20130025190A KR101988384B1 KR 101988384 B1 KR101988384 B1 KR 101988384B1 KR 1020130025190 A KR1020130025190 A KR 1020130025190A KR 20130025190 A KR20130025190 A KR 20130025190A KR 101988384 B1 KR101988384 B1 KR 101988384B1
Authority
KR
South Korea
Prior art keywords
image
interest
point
input
digital filter
Prior art date
Application number
KR1020130025190A
Other languages
English (en)
Other versions
KR20140110586A (ko
Inventor
홍순혁
이동화
명현
김정욱
니콜라이 블루츠키
신승영
김형진
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020130025190A priority Critical patent/KR101988384B1/ko
Publication of KR20140110586A publication Critical patent/KR20140110586A/ko
Application granted granted Critical
Publication of KR101988384B1 publication Critical patent/KR101988384B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

이미지 매칭 장치를 개시한다. 본 발명의 일 실시 예에 따른 이미지 매칭 장치는, 제1 이미지를 입력하는 입력부와, 입력된 제1 이미지의 픽셀의 깊이(Depth) 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하고, 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하는 검출부와, 설정된 기술자 벡터를 기초로 입력된 제1 이미지의 관심점과 기 입력된 제2 이미지의 관심점을 상호 비교하여 이미지들 사이의 유사성을 판단하는 매칭부를 포함한다.

Description

이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법{IMAGE MATCHING APPARATUS, IMAGE MATCHING SYSTEM AND IMAGE MATCHING MEHOD}
본 발명은 이미지 매칭에 관한 것으로 좀더 상세하게는 입력 영상에서 강인한 관심점(Interest Point=특징점)을 검출하여 검출된 관심점을 비교하여 입력 영상의 타 영상과의 유사성을 판단하는 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법에 관한 것이다.
입력 영상에서 강인한 관심점(Interest Point=특징점)을 검출하여 검출된 관심점을 비교하여 입력 영상의 타 영상과의 유사성을 판단하는 기술이 있다. 이러한 기술은 다양한 컴퓨팅 분야에서 응용되고 있다. 예를 들어, 2D 영상으로부터 3D 영상 생성 기술, 영상 레지스트레이션(registration) 기술, 객체 인식 기술, 파노라마 영상 생성 기술, 가상 현실 기술 등에 적용된다.
관심점을 이용하는 방법으로 Harris Corner 검출기, Scale Invariant Feature Trasnform(SIFT), Speeded Up Robust Feature(SURF)등이 있다.
Harris Corner는 신뢰성 있는 특징을 검출하기 위해 많이 사용된다. Harris Corner는 2차 모멘트 메트릭스의 고유치에 기초한다. 그러나, Harris Corner는 영상의 크기 및 회전에 불변하는 특징을 추출할 수 없는 단점이 지적되었다.
SIFT는 디지털 필터의 크기를 고정한 상태에서 이미지의 크기를 변화시켜 필터링을 수행함으로써 관심점을 검출하는 기법으로 물체의 회전이나 방향 및 크기에 무관하게 동일한 정보를 얻을 수 있는 장점이 있다. 다만 알고리즘 자체에서 상대적으로 연산량이 많으므로 모바일 환경이나 실시간 환경에 부적절한 면이 있다.
SURF는 이미지 크기를 유지하면서 디지털 필터의 크기를 가변시켜 필터링을 수행한다. SIFT에 비해 유사한 성능을 내면서도 연산 속도가 빨라 모바일 환경에서 이미지 유사성 판단 알고리즘으로 근래에 각광받고 있다.
그러나, SURF는 영상에 대해 복수의 디지털 필터를 반복적으로 적용하여 합을 산출하는 기법이므로 기본적으로 모바일 환경에서 무리 없이 사용하기에는 부담스러운 연산량을 갖게 된다. 특히, 근래에 스마트 폰, 디지털 카메라 등의 영상 해상도가 높아지면서 연산량은 자연스럽게 증가할 수 밖에 없으므로 기존의 SURF 방식만으로 관심점을 빠르게 추출하기는 쉽지 않은 일이다. 따라서, 좀더 빠르고 효율적이면서 고성능을 갖는 관심점 추출 방안이 요구된다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 입력된 이미지의 픽셀의 깊이(Depth) 정보를 SURF 알고리즘에 이용함으로써 빠르고 정확하게 관심점을 검출할 수 있는 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법을 제공하기 위함이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 매칭 장치는, 제1 이미지를 입력하는 입력부와, 상기 입력된 제1 이미지의 픽셀의 깊이(Depth) 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하고, 상기 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하는 검출부와, 상기 설정된 기술자 벡터를 기초로 상기 입력된 제1 이미지의 관심점과 기 입력된 제2 이미지의 관심점을 상호 비교하여 이미지들 사이의 유사성을 판단하는 매칭부를 포함한다.
또한, 상기 검출부는, 상기 픽셀의 깊이가 작은 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 픽셀의 깊이가 큰 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용할 수 있다.
또한, 상기 검출부는, 상기 제1 이미지 상의 객체가 근거리 객체인 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 객체가 원거리 객체인 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용할 수 있다.
또한, 상기 검출부는, 상기 입력된 제1 이미지의 픽셀의 깊이 정보에 따라 서로 다른 마스크 사이즈를 갖는 디지털 필터들로 구성된 일련의 디지털 필터 세트를 적용하여 상기 관심점을 검출할 수 있다.
또한, 상기 검출부는, 헤시안 메트릭스의 각 원소에 대응되는 디지털 필터를 상기 제1 이미지에 적용하여 계산된 메트릭스 식의 값이 기 설정된 값 이상인 지점을 관심점으로 검출할 수 있다.
또한, 상기 검출부는, 상기 입력된 제1이미지의 적분 영상을 계산하여 상기 계산된 적분 영상의 깊이(Depth) 정보에 따라 가우시안(Gaussian) 2차 미분 필터를 근사화한 다원 디지털 필터를 적용하여 상기 관심점을 검출할 수 있다.
또한, 상기 검출부는, Haar 웨이블렛 필터를 이용해서 상기 검출된 관심점의 주방향을 계산하고, 상기 계산된 주방향에 기초하여 상기 기술자 백터를 설정할 수 있다.
또한, 상기 매칭부는, 상기 입력된 제1이미지의 관심점을 기술자 벡터 파라미터 공간상의 유클리디안 거리 비교 방법 및 Random Sample Consensus(RANSAC) 알고리즘을 이용해서 상기 제2 이미지의 관심점과 비교할 수 있다.
또한, 상기 이미지 매칭 장치는, 공간 지도 생성 장치일 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 매칭 시스템은, 입력된 제1이미지의 픽셀의 깊이 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하고, 상기 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하여 제2장치로 전송하는 제1 장치와, 상기 기술자 벡터를 수신하여 이를 기초로 상기 입력된 제1이미지의 관심점을 기 수신된 제2이미지의 관심점과 비교하여 이미지들 간의 유사성을 판단하는 제2 장치를 포함한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 매칭 방법은, 제1 이미지를 입력하는 단계와 상기 입력된 제1 이미지의 픽셀의 깊이(Depth) 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하는 단계와, 상기 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하는 단계와, 상기 설정된 기술자 벡터를 기초로 상기 입력된 제1 이미지의 관심점과 기 입력된 제2 이미지의 관심점을 상호 비교하여 이미지들 사이의 유사성을 판단하는 단계를 포함한다.
이때 상기 검출 단계는, 상기 픽셀의 깊이가 작은 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 픽셀의 깊이가 큰 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용할 수 있다.
또한, 상기 검출 단계는, 상기 제1 이미지 상의 객체가 근거리 객체인 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 객체가 원거리 객체인 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용할 수 있다.
또한, 상기 검출 단계는, 상기 입력된 제1 이미지의 픽셀의 깊이 정보에 따라 서로 다른 마스크 사이즈를 갖는 디지털 필터들로 구성된 일련의 디지털 필터 세트를 적용하여 상기 관심점을 검출할 수 있다.
여기서 상기 검출 단계는, 헤시안 메트릭스의 각 원소에 대응되는 디지털 필터를 상기 제 1 이미지에 적용하여 계산된 메트릭스 식의 값이 기 설정된 값 이상인 지점을 관심점으로 검출할 수 있다.
또한, 상기 검출 단계는, 상기 입력된 제1이미지의 적분 영상을 계산하여 상기 계산된 적분 영상의 깊이(Depth) 정보에 따라 가우시안(Gaussian) 2차 미분 필터를 근사화한 다원 디지털 필터를 적용하여 상기 관심점을 검출할 수 있다.
아울러, 전술한 이미지 매칭 방법은, Haar 웨이블렛 필터를 이용해서 상기 검출된 관심점의 주방향을 계산하고, 상기 계산된 주방향에 기초하여 기술자 백터를 설정하는 단계를 더 포함할 수 있다.
또한, 상기 유사성 판단 단계는, 상기 입력된 제1이미지의 관심점을 기술자 벡터 파라미터 공간상의 유클리디안 거리 비교 방법 및 Random Sample Consensus(RANSAC) 알고리즘을 이용해서 상기 제2 이미지의 관심점과 비교할 수 있다.
또한, 본 발명의 다른 실시 예에 따른 이미지 매칭 방법은, 제1 장치가 입력된 제1이미지의 픽셀의 깊이 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하는 단계와, 상기 제1장치가 상기 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하여 제2장치로 전송하는 단계와, 상기 제2 장치가 상기 기술자 벡터를 수신하여 이를 기초로 상기 입력된 제1이미지의 관심점을 기 수신된 제2이미지의 관심점과 비교하여 이미지들 간의 유사성을 판단하는 단계를 포함한다.
또한, 전술한 이미지 매칭 방법은, 상기 판단된 유사성에 기초하여 공간 지도를 생성하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 입력된 이미지의 픽셀의 깊이(Depth) 정보를 SURF 알고리즘에 이용함으로써 빠르고 정확하게 관심점을 검출할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 이미지 매칭 시스템의 구성을 도시한 블록도,
도 2는 적분 영상으로부터 픽셀 값을 합산하는 예를 나타낸 모식도,
도 3은 가우시안 2차 미분 필터를 근사화한 간단한 사각 필터(Box Filter)를 나타낸 도면,
도 4는 스케일을 다르게 하여 헤시안 메트릭스를 적용하는 방법을 도시한 모식도,
도 5는 옥타브에 따른 헤시안 메트릭스의 크기를 나타내는 표를 나타낸 도면,
도 6은 본 발명의 일 실시 예에 따른 관심점 검출 방법을 설명하기 위한 모식도,
도 7은 기술자 검출을 위한 픽셀 주방향 할당을 나타낸 도면,
도 8은 4x4 부분 영역을 도시한 도면, 그리고,
도 9는 본 발명의 일 실시 예에 따른 이미지 매칭 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 매칭 시스템의 구성을 도시한 블록도이고, 도 2는 적분 영상으로부터 픽셀 값을 합산하는 예를 나타낸 모식도이며, 도 3은 가우시안 2차 미분 필터를 근사화한 간단한 사각 필터(Box Filter)를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 매칭 장치(100)는 입력부(110), 검출부(120), 매칭부(130) 를 포함한다.
입력부(110)는 이미지 매칭을 위해 이미지를 입력하는 구성이다. 본 발명의 일 실시 예에서 입력부(110)는 이미지에 대한 깊이 정보를 상기 이미지 매칭 시스템에 입력할 수 있다. 다만, 깊이 정보는 입력부(110)를 통해 입력되지 않고 이미 입력된 이미지로부터 검출될 수도 있을 것이다.
입력부(110)는 외부 장치로부터 이미지를 수신하는 통신 인터페이스 또는 이미지를 캡쳐하는 다양한 수단을 포함할 수 있다.
일 실시 예로 입력부(110)는 다양한 유무선 통신 인터페이스를 포함할 수 있다. 예를 들어 입력부(110)는 HDMI(High Definition Multimedia Interface) 모듈, DVI(Digital Video/Visual Interface) 모듈, MHL(Mobile High-Defintion Link) 모듈 중 적어도 하나를 포함할 수 있다. 또한, 입력부(110)는 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
또한, 입력부(110)는 영상을 촬상하여 이미지 처리하는 구성을 포함할 수 있다. 촬상된 이미지는 사이즈가 조절되어 필요한 전처리가 수행된다.
또한, 입력부(110)는 저장부(미도시)에 연결되어 저장된 이미지를 검출부(120)에 제공할 수 있다.
이처럼 입력부(110)는 외부로부터 이미지를 입력받거나 이미지 매칭 장치에 연결된 저장부(미도시)에 저장된 이미지를 독출하여 검출부(120)에 제공한다. 여기서 이미지는 평면적인 2차원 이미지(2D 이미지)를 나타낸다. 본 명세서에서 특별하게 언급하는 경우를 제외하고 이미지는 2차원 이미지를 나타낸다.
깊이(depth) 정보란 2D 이미지 상의 객체의 원근을 나타내는 정보이다. 즉, 깊이 정보는 입력된 이미지의 각 픽셀이 촬상 지점으로부터의 실제 세계 상의 거리가 얼마나 떨어져 있는지를 상대적으로 나타낸다. 깊이 정보는 깊이 지도로 표현될 수 있다.
깊이 지도란 디스플레이 화면의 각 픽셀 영역별 깊이 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기 설정된 영역으로 정의될 수도 있다. 이때 깊이 정보는, 2D 이미지 프레임의 각 영역 또는 픽셀(pixel)에 대한 깊이 정보일 수 있다. 일 실시 예에서 깊이 지도는 이미지 프레임의 각 픽셀에 대한 깊이를 나타내는 그레이 스케일(grayscale)의 2차원 이미지에 대응될 수 있다. 깊이 지도에서 각 픽셀 또는 기준 영역은 깊이 값으로 설정된다. 예를 들어, 이미지 상의 객체가 촬상 위치에 가까이에 있는 경우 깊이값은 상대적으로 작은 값을 갖는다. 반면, 이미지 상의 객체가 촬상 위치에 멀리 위치하는 경우 깊이값은 상대적으로 큰 값을 갖는다.
후술하는 검출부(120)는 적어도 입력된 이미지와 이에 대응되는 깊이 정보를 입력 정보로 갖는다.
검출부(120)는 전술한 SURF(Speeded Up Robust Features)의 방법을 이용하여 입력 영상에 대해 헤시안 메트릭스(Hessian Matrix)를 적용하여 영상의 관심점(Interest Point)를 검출한다.
우선 검출부(120)는 적분영상을 계산한다. 적분 영상은 원점으로부터 각 픽셀의 위치까지의 사각형 영역의 모든 픽셀값들을 더한 것이다. 수학식 1은 (x,y)픽셀 위치에서 적분 영상 I∑(x,y)을 구하는 과정을 나타낸다. 여기서 I∑(i,j)는 원본 영상에서 i,j 위치의 픽셀값을 나타낸다.
Figure 112013020575973-pat00001
적분 영상을 한번 생성하게 되면 도 2에 도시된 것처럼 어떤 크기의 사각 영역이든 4번의 연산을 통해 지정한 사각형 내의 모든 픽셀 값의 합을 구할 수 있다. 상기 적분 영상이 계산되는 영역은 사각 영역 뿐 아니라 오각 영역 등 다른 다각 형태를 갖을 수 있음은 물론이다.
검출부(120)는 도 3처럼 기존 가우시안 2차 미분 필터를 근사화한 간단한 사각 필터(Box Filter)를 사용할 수 있다. 상기 사각 필터는 콘볼루션 필터(Convolution Filter)일 수 있다. 적분 영상을 사용하는 경우 박스 필터의 크기와 상관없이 동일한 속도로 필터링이 가능하여 계산 속도의 이점이 생긴다.
검출부(120)는 하기의 식 2에서 정의한 헤시안 행렬을 기반으로 관심점을 산출한다. 즉, 입력 이미지 에서 점 x=(x,y)가 주어지면, 스케일 σ에서 x의 헤시안 매트릭스 H(x,σ)는 다음과 같이 정의된다.
Figure 112013020575973-pat00002
여기에서, Lxx(x,σ)는 점 x 등에 디지털 필터를 적용시킨 결과이다. 아래 첨자 xx는 스무딩 필터의 2차 도함수 적용을 의미한다. 아래첨자 xy는, 1차 도함수가 일 방향에 있고 2차 도함수가 다른 방향에 있는 경우의 스무딩 필터의 2차 도함수 적용을 의미한다. 이와 같은 2차 디지털 필터는 이산화된 필터(discretised filter)이며, 크롭드 필터(cropped filter)일 수 있고, 개별 영역별로 정의된 로브(lobe)를 갖을 수 있다. 또한, 이러한 로브는 "톱 햇(top hat)" 또는 "사각파(square pulse)" 형태가 될 수 있다.
식 2에서 Lxx(x,σ)는 점 x에서의 영상 I와 가우시안 2차 도함수의 근사치에 대한 콘볼루션(convolution) 결과를 나타낸다. 유사하게 Lxy(x,σ) 및 Lyy(x,σ)는 각각 점 x에서의 영상 I와 가우시안 2차 도함수의 근사치에 대한 콘볼루션의 결과이다. 식에 나타난 것처럼 4개의 필터링된 영상을 생성하기 위해 3개의 디지털 대역 통과 필터가 필요하다.
박스 필터의 각 영역은 그레이 스케일로 코딩될 수 있다. 즉, 도 3에 도시된 것처럼 디지털 박스 필터는 기 설정된 개수의 화소에 대응되는 단일 포지티브 값 또는 단일 네거티브 값 또는 0을 갖는다. 즉, 도면에서 백색 영역에 대해서 +1이고, 흑색 영역에 대해 -2이며, 회색 영역은 0으로 설정된다. 각 영역은 대응되는 이미지의 화소에 곱해져 이산화되고 곱해진 값이 합산된다. 박스 필터를 구성하는 전체 영역의 값의 합은 언제나 0이므로 픽셀 영역이 동일한 화소값을 갖는 경우 필터를 적용한 결과는 0이 될 것이다. 이처럼 박스 필터는 3원 디지털 필터일 수 있지만, 그 보다 많은 영역 값을 갖는 4원 이상의 다원 디지털 필터일 수도 있다.
박스 필터의 중심은 영상의 중심 화소, 즉 관심 지점에 대응된다. 따라서, 관심 지점을 중심으로 하는 M×M 의 마스크 사이즈를 갖는데, M에 대한 값은 중심 화소를 표현하기 위해 홀수일 수 있다. 예를 들어, M=9, 11, 13, 15, 21, 27, 39, 51, 75, 99 등이 사용될 수 있다. M이 클수록, 마스크와 전체 영상의 콘볼루션을 위한 계산량은 많아질 것이므로 전체 속도는 느려진다. 그러나, 전술한 적분 영상의 사용으로 계산 속도는 향상될 수 있을 것이다.
박스 필터의 서브영역은 정사각형 또는 직사각형의 박스로서 도시되었지만, 다른 형태의 모양을 배제하는 것은 아니다. 즉, 정방형, 정사각형, 육각형, 원형, 삼각형, 등과 같은 다른 형태로 구성될 수 있다.
도 3에 도시된 바와 같이 xy 필터(및 yx 필터)는 중심 화소에서 0 값을 갖는 중심 화소 위치로부터 진행하는 하나의 대각 방향에 하나의 로브를 갖는다. 대각 방향에 따라 2개의 로브만이 존재하고, 그 하나는 일 대각 방향에 존재하고, 다른 하나는 반대 방향에 존재한다. 어느 하나의 대각선을 따라 위치하는 2 개의 로브는 동일한 극성을 갖아 둘 다 포지티브 값이거나 둘 다 네거티브 값을 갖는다. 그리고, 다른 대각선을 따라 위치하는 2 개의 로브는 상기 어느 하나의 대각선을 따라 위치하는 로브와 다른 극성을 갖는다.
이와 달리 x 및 y 필터는, 어느 필터 방향이 관련되는지에 따라 x 또는 y 축에 따라 사이드로 0으로 감쇠하는 단일 로브를 갖는다. 이들 필터는 서로 반대 부호의 2개의 로브를 가지며, 가운데 로브를 기준으로 각 사이드에 하나씩 존재한다. 도 3에서 y 필터는 생략되어 있으나 y필터는 x필터를 90도 회전시킨 형태를 갖는다.
SURF 함수에서 박스 필터를 통해 근사치를 구하면 수학식 3으로 표현할 수 있다.
Figure 112013020575973-pat00003
Dxx, Dyy, 및 Dxy는 각각 Lxx, Lyy, 및 Lxy에 대응된다. 수학식 4를 이용하여 Dxx, Dyy, 및 Dxy를 이용해서 해당점을 관심점으로 활용할지를 결정한다. 수학식 4는 상기 수학식 2의 Hessian 행렬을 이용하여 계수(Determinant)를 계산하는 식이다. 계산된 값 중에서 임계치를 초과하는 점이 후보점에 해당한다.
Figure 112013020575973-pat00004
도 4는 스케일을 다르게 하여 헤시안 메트릭스를 적용하는 방법을 도시한 모식도이다.
검출부(120)는 도 4에 도시된 것처럼 헤시안 메트릭스의 스케일을 증가시키면서 다양한 사이즈의 헤시안 메트릭스를 입력 이미지에 적용하여 관심점을 검출할 수 있다. 즉, 스케일이 다른 박스 필터가 조합되어 입력 이미지에 반복적으로 적용된다. 적분 영상을 사용하게 되므로 동일한 속도로 박스 필터링이 가능하다. 따라서, 연산시간을 좀더 줄이기 위해서는 병렬 프로세서를 이용해서 다양한 크기의 박스 필터링을 동시에 수행할 수 있다. 검출부(120)는 이처럼 입력 이미지의 크기를 변화시키지 않고 크기가 다른 박스 필터를 사용하게 되므로 계산 속도에서 큰 장점을 갖게 된다. 박스 필터링 결과 이미지의 화소는 헤시안 행렬식의 근사값을 갖는 새로운 영상으로 생성될 수 있다.
도 5는 옥타브에 따른 헤시안 메트릭스의 크기를 나타내는 표이다.
도 5에 도시된 것처럼 옥타브에 따라 적용되는 헤시안 메트릭스의 세트를 정의할 수 있다. 옥타브는 여러 스케일의 메트릭스로 구성되며 입력 이미지에 대해 일련의 헤시안 메트릭스 세트가 적용된다. 도 5를 참조하면 각 옥타브 별로 헤시안 메트릭스의 사이즈가 겹치는 부분이 있다. 예를 들어, 옥타브 1과 옥타브 2는 15와 27이, 옥타브 2와 옥타브 3은 27과 51이 겹치게 되어 있는데 이는 각 옥타브 간의 결과가 연속성을 가질 수 있도록 하기 위함이다. 만일 옥타브 1과 옥타브 2 간에 겹치는 부분이 존재하지 않는다면 경계 부분에서의 결과값이 소실되는 영역이 발생할 우려가 있다.
SIFT 알고리즘에서 영상 피라미드로 스케일 공간을 표현하고, 가우시안 필터를 반복적으로 영상에 적용함으로써 다양한 스케일의 영상을 생성하는 것과 달리 SURF 알고리즘에서는 적분 영상을 이용함으로써 원래의 이미지를 변하지 않는 상태로 박스 필터의 크기를 변경하면서 스케일 공간을 생성한다. 이처럼 스케일 공간에서 반복적으로 검출된 후보점이 크기에 불변하는 관심점으로 선정된다.
그런데 상술한 관심점 검출 방법은 입력 이미지의 모든 픽셀에 대해서 헤시안 메트릭스가 일괄적으로 적용되므로 계산량이 많은 문제가 있다. 특히, 각 옥타브 별 다양한 사이즈의 박스 필터 세트가 입력 이미지의 모든 픽셀에 적용되며 모든 옥타브에 대해 필터링이 수행되므로 고성능의 하드웨어가 전제되어야 한다. 따라서, 비교적 낮은 성능의 하드웨어를 탑재하는 모바일 기기나 관심점 검출이 실시간으로 이루어질 필요가 있는 경우 상술한 방법은 실용성이 떨어진다. 이하에서는 비교적 높은 정확성을 갖으면서도 적은 연산량으로 관심점 추출이 가능한 방법을 설명한다.
도 6은 본 발명의 일 실시 예에 따른 관심점 검출 방법을 설명하기 위한 모식도이다.
도 6에 도시된 방법에서 전술한 깊이 정보가 활용된다. 입력된 이미지의 각 픽셀은 촬상 지점으로부터의 실제 세계 상의 거리를 나타내는 깊이 정보로 표현할 수 있다. 그리고, 깊이 정보는 깊이 지도로 구현 가능하다. 깊이 정보는 이미지와 함께 입력부(110)를 통해 입력될 수도 있고 입력된 이미지로부터 추출될 수도 있다.
도 6에 도시된 것처럼 이미지상의 촬상 지점에 가까이에 위치한 객체 즉, 깊이값이 작은 객체의 경우 촬상 지점에서 멀리 위치한 객체에 비해 유사한 픽셀값을 갖는 영역이 더 넓음을 알 수 있다. 반면, 이미지상의 촬상 지점에서 멀리 위치한 객체 즉, 깊이값이 큰 객체는 촬상 지점에 가까이 위치한 객체에 비해 상대적으로 유사한 픽셀값을 갖는 영역이 좁다.
유사한 픽셀값을 갖는 영역이 넓은 경우 작은 스케일의 헤시안 메트릭스는 관심점을 식별하기 어려울 수 있다. 전술한 것처럼 박스 필터를 구성하는 전체 영역의 값의 합은 언제나 0이므로 유사한 픽셀값을 갖는 영역이 넓으면 필터를 적용한 결과는 0이 되기 때문이다. 따라서, 가까이 있는 영상의 경우 상대적으로 크기가 큰 헤시안 매트릭스에 대응되는 관심점이 많이 발생함을 알 수 있다.
마찬가지로 유사한 픽셀값을 갖는 영역이 좁은 경우 상대적으로 큰 스케일의 헤시안 메트릭스를 통해 관심점을 식별하기 어려울 수 있다. 이 경우 하나의 헤시안 매트릭스에 다수의 픽셀값이 대응되게 되게 된다. 따라서, 멀리 있는 영상의 경우 상대적으로 크기가 작은 헤시안 매트릭스에 대응되는 관심점이 많이 발생함을 알 수 있다.
따라서, 각 영상 픽셀에 대응되는 깊이 값에 따라 헤시안 매트릭스 들의 단계를 다르게 적용할 수 있다. 예를 들어, 도 6에 도시된 것처럼 깊이값(거리)이 0.5m 이하이면 네 번째 단계 수준(octave level)을 적용하고, 깊이값(거리)이 0.5m 이상이면 세 번째 단계 수준(octave level) 적용하고, 깊이값(거리)이 1m 이상이면 두 번째 단계 수준(octave level)을 적용하며, 깊이값(거리) 2m 이상이면 첫 번째 단계 수준(octave level)을 적용할 수 있다.
발명자는 실험 결과 이러한 방법을 적용하는 경우 헤시안 매트릭스 적용으로 인한 연산량이 현저히 줄어들 뿐 아니라, 기존의 4 단계의 헤시안 매트릭스를 모두 적용하는 경우와 유사한 정도의 정확성을 갖음을 알게 되었다. 실험조건은 640x480 해상도 이미지를 전제로 Intel i7 CPU와 GPU (nVidia GTX 560)를 사용하였다. 상기 방법에 의한 실험 결과 단일 단계의 헤시안 매트릭스 적용 시 4 단계의 Hessian 매트릭스를 적용 시 보다 55~70% 정도의 연산량만을 사용 (CPU연산+GPU연산: 70%, CPU만 사용시: 55%)하면서도 4 단계의 헤시안 매트릭스를 적용하는 경우와 유사한 정도의 관심점 검출이 가능하였다. 이는 기존 방식에서 두 영상 사이의 거리가 다소 상이할 시 단순히 1 단계의 헤시안 매트릭스를 적용하는 경우 일치점이 현저하게 감소하는 것과 달리 동일한 연산량으로 4 단계의 헤시안 매트릭스 적용과 유사한 일치점을 추출할 수 있는 것이다.
이후 검출부(120)는 관심점을 기준으로 픽셀을 검사하여 방향을 추정하고 추정된 방향에 기초하여 기술자(descriptor)를 설정한다.
도 7은 기술자 검출을 위한 픽셀 주방향 할당을 나타낸 도면이고, 도 8은 4x4 부분 영역을 도시한 도면이다.
도 7을 참조하면, 기술자 추출에 앞서 찾아낸 관심점이 회전에 불변한 특성을 갖기 위한 주방향을 계산한다. 관심점을 중심으로 반경 6 스케일 원안의 픽셀들에 대하여 Harr 웨이브렛 특징(dx)과 y방향의 Harr 웨이브렛 특징(dy)을 계산하고 dx와 dy의 합에 의해 특정 방향을 가리키는 합 벡터를 구한다. 도 8과 같이 슬라이딩 윈도우를 생성하여 검출된 관심점에 대해서 60도 반경 범위 내에서 포함되는 합 벡터를 더해서 그 합이 가장 큰 벡터를 주 방향으로 할당한다. 합 벡터는 x 방향 Haar 웨이브렛 응답과 y 방향 Haar 웨이브렛 응답을 더하여 구한다.
그리고, 주 방향이 결정된 관심점을 중심으로 20 스케일 픽셀 크기의 윈도우를 구성한다. 이때 윈도우는 주 방향을 따라서 위치시킨다. 도 8과 같이 윈도우는 4 x 4 크기의 부분 영역으로 나뉘고 이 부분 영역 마디 다시 5 x 5의 x 방향 및 y 방향 Haar 웨이브렛을 부분 샘플 포인트로 분배되어 웨이브렛 필터를 이용하여 계산한다. Harr 웨이블렛 (dx,dy)를 계산을 통해 벡터 v=(sum(dx), sum(dy), sum(|dx|), sum(|dy|))의 값을 계산함으로서 각 세부 영역마다 4개의 특징 벡터를 만든다. 총 16개 영역에 대해여 4개의 특징값을 계산할 수 있으므로, 총 64차원(4x4x4) 벡터를 기술자로 얻는다. 이때 각 영역에 대해 dy<0 일 때의 dx들에 대한 v1=(sum(dx), sum(|dx|)), dy≥0 일 때의 dx들에 대한 v2=(sum(dx), sum(|dx|)), dx<0 일 때의 dy들에 대한 v3=(sum(dy), sum(|dy|)), dx≥0 일 때의 dy들에 대한 v4=(sum(dy), sum(|dy|))의 계산을 통해 8개의 특징 벡터를 생성하므로 총 128개(4x4x8)의 기술자 벡터를 얻을 수 있다. 64차원 기술자를 사용하는 경우 128 차원 기술자에 비해 상대적으로 수행속도는 빠르지만 관심점 간에 정합 오류를 많이 발생시킬 수 있다. 이와 같은 방법을 통하여 검출한 관심점들은 회전, 크기 변화, 영상의 밝기, 대비에 강한 특징이 있다.
매칭부(130)는 설정된 기술자를 기초로 복수의 이미지의 관심점을 서로 비교하여 복수의 이미지들 사이의 유사성을 판단한다.
두 이미지가 유사하다면 이미지들이 갖고 있는 특징 또한 유사하므로 두 이미지 간의 특징을 정합(Matching)시켜 유사성을 확인할 수 있다.
관심점의 정합은 유클리디안 거리(Euclidean distance) 방법을 사용하여 기술자 벡터 파라미터 공간의 거리를 측정할 수 있다. 이렇게 구한 거리를 이용하여 기준 관심점에서 가장 가까운 관심점의 거리와 두 번째로 가까운 관심점의 거리의 비율(Distance 1/Distance 2)이 특정 비율 이하일 경우에만 정합되는 관심점으로 결정한다. 즉, 가장 가까운 관심점의 거리와 두 번째 가까운 관심점의 거리가 일정 이상 가까우면 의미없는 관심점으로 보고 해당 관심점은 무시된다.
다만, 정합시 헤시안 행렬의 Trace를 통해 얻어지는 라플라시안(Laplacian) 부호의 비교를 통해 별도의 계산 없이 속도를 향상시킬 수 있다. 정합은 SURF 기술자들의 차이로부터 거리를 계산하여 결정한다. 구체적으로 헤시안 행렬의 대각합(Trace)을 통해 라플라시안 부호를 얻는다.
이때 유클리디안 거리 비교 방법으로 구해진 정합된 관심점들에 대해 Random Sample Consensus(이하 'RANSAC'라 함) 알고리즘을 이용해서 인라이어들과 아웃라이어들을 구별해서 아웃라이어들을 제거하고 상기 인라이어들에 해당하는 점들을 관심점으로 사용하여 연관 특징의 정합도를 더욱 향상시킬 수 있다. 일반적으로 사용되는 최소 자승법의 경우 인라이어들과 아웃라이어들을 모두 고려해서 오차가 최소가 되도록 구하는 접근법이다. 그러나 입력되는 데이터에 오차가 많을 경우 추정 결과의 신뢰성에 심각한 저하가 발생한다. 일반적으로 입력되는 영상에 대하여 특징을 추출하면, 영상의 잡음이나 촬영한 대상물의 차이로 인하여 잡음의 역할을 하는 특징들이 다수 검출되므로 최소자승법을 통한 방법은 오차 및 성능의 저하가 발생한다. 반면에 RANSAC 알고리즘은 인라이어들과 아웃라이어들을 구분하여 인라이어들만 선정하여 수학적 모델을 추정할 수 있는 알고리즘으로 사용될 수 있다.
정합 과정은 하나의 옥타브 내의 서로 다른 스케일의 헤시안 매트릭스를 적용한 결과 이미지들 사이에 수행될 수도 있고, 서로 다른 이미지에 대해서 헤시안 매트릭스가 적용된 결과들 사이에서 수행될 수도 있다. 또한, 깊이 정보에 따라 서로 다른 헤시안 매트릭스 셋트가 적용된 이미지들 사이에 수행될 수도 있다. 이러한 경우 서로 다른 이미지의 관심점들 사이의 유사성이 판단된다.
도면에는 도시되지 않았지만, 상기 이미지 매칭 장치(100)는 장치의 동작 전반을 제어하는 제어부를 더 포함한다. 제어부는 구체적으로 전술한 입력부(110), 검출부(120), 매칭부(130)의 동작을 제어한다.
제어부(140)는 CPU, 캐쉬 메모리 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 이미지 매칭 장치(100)의 구성요소 동작을 위한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다.
또한, 본 발명의 일 실시 예에서 이미지 매칭 장치(100)는, 공간 지도 생성 장치일 수 있다. 본 발명에 따른 공간 지도 생성 장치는 전술한 방법에 따라 공간에서의 여러 이미지를 입력하면 여러 이미지의 유사도를 판단하여 공간 지도를 생성한다.
전술한 이미지 매칭 장치(100)는 컴퓨팅 기능을 구비한 가정용 전자장치, 군사용 전자 장치 등으로 구현될 수 있다. 예를 들어, 공간 지도 생성 장치는 로봇 청소기로 구현될 수 있다.
또한, 전술한 이미지 매칭 장치(100)의 각 동작은 클라이언트, 서버 시스템으로 분리되어 네트워크를 통해 실시간 동작으로 수행될 수 있다.
일 실시 예로 클라이언트는 모바일 기기로 카메라를 통해 영상을 촬상하고 영상 크기를 조절하여 적분 영상을 생성한다. 전술한 바와 같이 적분 영상은 원점에서 각 필셀의 위치까지의 사각형 영역의 모든 픽셀 값을 더한 것으로 생성된 적분 영상은 가우시안 2차 미분 필터를 근사화한 간단한 사각 필터(Box Filter)에 적용되어 차후 과정의 연산 속도를 빠르게 할 수 있다.
클라이언트는 헤시안 검출기를 포함하여 헤시안 매트릭스를 통해 관심점을 검출한다.이때 전술한 해시안 매트릭스의 값이 최대인 위치에서 관심점을 검출한다. 관심점은 회전에 불변한 특성을 갖기 위해 주방향을 할당하고 주방향이 할당된 관심점을 중심으로 윈도우를 구성하여 Haar 웨이블렛 계산을 통해 기술자를 생성한다. 기술자 벡터와 헤시안 매트릭스의 Trace를 통해 얻은 라플라시안 부호를 서버로 전송한다.
특히, 클라이언트는 각 영상 픽셀에 대응되는 깊이 값에 따라 헤시안 매트릭스 들의 단계를 다르게 적용할 수 있다. 이러한 방법을 적용하는 경우 헤시안 매트릭스 적용으로 인한 연산량이 현저히 줄어들 뿐 아니라, 기존의 4 단계의 헤시안 매트릭스를 모두 적용하는 경우와 유사한 정도의 정확성을 갖고 관심점 검출이 가능해진다.
서버는 클라이언트에서 전송된 라플라시안 부호와 기술자를 정합하고 정합된 영상의 결과 정보를 다시 클라이언트로 보내준다. 라플라시안 부호는 0과 1로 되어 있고 이 정보는 영상의 관심점이 같은 특성인지 다른 특성인지 구분해주는 기준이 된다. 즉, 라플라시안 부호가 다르면 다른 특성의 관심점으로 간주되어 정합하지 않고 같으면 기술자를 정합한다. 관심점 사이의 기술자 거리 측정은 유클리디안 거리가 사용될 수 있으며, 정합은 관심점 기술자 거리 중 가장 가까운 관심점 기술자와 두 번째로 가까운 관심점 기술자의 비율이 기설정된 값 이하인 경우 이루어질 수 있다. 정합이 완료되면 서버는 정합률이 높은 이미지의 결과 정보를 클라이언트로 전송한다.
이하에서는 본 발명의 일 실시 예에 따른 이미지 매칭 방법을 설명한다.
도 9는 본 발명의 일 실시 예에 따른 이미지 매칭 방법의 흐름도이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 이미지 매칭 방법은, 제1 이미지를 입력하는 단계(S910)와 상기 입력된 제1 이미지의 픽셀의 깊이(Depth) 정보에 따라 헤시안(Hessian) 매트릭스를 적용하여 관심점(Interest Point)을 검출하는 단계(S920)와, 상기 검출된 관심점에 기초하여 기술자 벡터(Descriptor Vector)를 설정하는 단계(S930)와, 상기 설정된 기술자 벡터를 기초로 상기 입력된 제1 이미지의 관심점과 기 입력된 제2 이미지의 관심점을 상호 비교하여 이미지들 사이의 유사성을 판단하는 단계(S940)를 포함한다.
이때 상기 검출 단계(S920)는, 상기 픽셀의 깊이가 작은 경우 상대적으로 사이즈가 큰 해시안 매트릭스를 적용하고 상기 픽셀의 깊이가 큰 경우 상대적으로 사이즈가 작은 해시안 매트릭스를 적용할 수 있다.
또한, 상기 검출 단계(S920)는, 상기 제1 이미지 상의 객체가 근거리 객체인 경우 상대적으로 사이즈가 큰 해시안 매트릭스를 적용하고 상기 객체가 원거리 객체인 경우 상대적으로 사이즈가 작은 해시안 매트릭스를 적용할 수 있다.
또한, 상기 검출 단계(S920)는, 상기 입력된 제1 이미지의 픽셀의 깊이 정보에 따라 서로 다른 일련의 헤시안(Hessian) 매트릭스 세트를 적용하여 관심점을 검출할 수 있다.
여기서 상기 검출 단계(S920)는, 상기 입력된 제1이미지의 픽셀의 깊이 크기에 따라 크기가 각각 9, 15, 21, 27인 일련의 매트릭스 세트, 크기가 각각 15, 27, 39, 51인 일련의 매트릭스 세트 및 크기가 각각 27, 51, 75, 99인 일련의 매트릭스 세트 중 어느 하나를 적용하여 관심점을 검출할 수 있다.
또한, 상기 검출 단계(S920)는, 상기 입력된 제1이미지의 적분 영상을 계산하여 상기 계산된 적분 영상의 깊이(Depth) 정보에 따라 가우시안(Gaussian) 2차 미분 필터를 근사화한 다원 디지털 필터를 적용하여 상기 관심점을 검출할 수 있다.
아울러, 전술한 이미지 매칭 방법은, Haar 웨이블렛 필터를 이용해서 상기 검출된 관심점의 주방향을 계산하고, 상기 계산된 주방향에 기초하여 기술자 백터를 설정하는 단계를 더 포함할 수 있다.
또한, 상기 유사성 판단 단계(S940)는, 상기 입력된 제1이미지의 관심점을 기술자 벡터 파라미터 공간상의 유클리디안 거리 비교 방법 및 Random Sample Consensus(RANSAC) 알고리즘을 이용해서 상기 제2 이미지의 관심점과 비교할 수 있다.
또한, 본 발명의 다른 실시 예에 따른 이미지 매칭 방법은, 제1 장치가 입력된 제1이미지의 픽셀의 깊이 정보에 따라 헤시안(Hessian) 매트릭스를 적용하여 관심점(Interest Point)을 검출하는 단계와, 상기 제1장치가 상기 검출된 관심점에 기초하여 기술자 벡터(Descriptor Vector)를 설정하여 제2장치로 전송하는 단계와, 상기 제2 장치가 상기 기술자 벡터를 수신하여 이를 기초로 상기 입력된 제1이미지의 관심점을 기 수신된 제2이미지의 관심점과 비교하여 이미지들 간의 유사성을 판단하는 단계를 포함한다.
또한, 전술한 이미지 매칭 방법은, 상기 판단된 유사성에 기초하여 공간 지도를 생성하는 단계를 더 포함한다.
한편, 전술한 이미지 매칭 방법은 컴퓨터 상에서 판독 가능한 비일시적 기록 매체에 프로그램의 형태로 저장될 수 있다. 여기서 비일시적 판독 가능 매체란 레지스터, 캐쉬 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장이 가능하며, 전자기기에 의해 판독(reading)이 가능한 매체를 의미한다. 예를 들어, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 전술한 이미지 매칭 방법은 임베디드 소프트웨어 형태로 하드웨어 IC칩에 내장되어 펌웨어 형태로 제공될 수도 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 이미지 매칭 장치
110 : 입력부
120 : 검출부
130 : 매칭부

Claims (20)

  1. 제1 이미지를 입력하는 입력부;
    상기 입력된 제1 이미지의 픽셀의 깊이(Depth) 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하고, 상기 검출된 관심점의 특성 을 나타내는 기술자 벡터(Descriptor Vector)를 설정하는 검출부; 및
    상기 설정된 기술자 벡터를 기초로 상기 입력된 제1 이미지의 관심점과 기 입력된 제2 이미지의 관심점을 상호 비교하여 이미지들 사이의 유사성을 판단하는 매칭부;를 포함하고,
    상기 검출부는,
    상기 입력된 제1 이미지의 적분 영상을 계산하여 상기 계산된 적분 영상의 깊이(Depth) 정보에 따라 가우시안(Gaussian) 2차 미분 필터를 근사화한 다원 디지털 필터를 적용하여 상기 관심점을 검출하는 이미지 매칭 장치.
  2. 제1 항에 있어서,
    상기 검출부는,
    상기 픽셀의 깊이가 작은 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 픽셀의 깊이가 큰 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용하는 것을 특징으로 하는 이미지 매칭 장치.
  3. 제1 항에 있어서,
    상기 검출부는,
    상기 제1 이미지 상의 객체가 근거리 객체인 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 객체가 원거리 객체인 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용하는 것을 특징으로 하는 이미지 매칭 장치.
  4. 제1 항에 있어서,
    상기 검출부는,
    상기 계산된 적분 영상의 픽셀의 깊이 정보에 따라 서로 다른 마스크 사이즈를 갖는 디지털 필터들로 구성된 일련의 디지털 필터 세트를 적용하여 상기 관심점을 검출하는 것을 특징으로 하는 이미지 매칭 장치.
  5. 제1 항에 있어서,
    상기 검출부는,
    헤시안 메트릭스의 각 원소에 대응되는 디지털 필터를 상기 제1 이미지에 적용하여 계산된 메트릭스 식의 값이 기 설정된 값 이상인 지점을 관심점으로 검출하는 것을 특징으로 하는 이미지 매칭 장치.
  6. 삭제
  7. 제1 항에 있어서,
    상기 검출부는,
    Haar 웨이블렛 필터를 이용해서 상기 검출된 관심점의 주방향을 계산하고, 상기 계산된 주방향에 기초하여 상기 기술자 백터를 설정하는 것을 특징으로 하는 이미지 매칭 장치.
  8. 제1 항에 있어서,
    상기 매칭부는,
    상기 입력된 제1이미지의 관심점을 기술자 벡터 파라미터 공간상의 유클리디안 거리 비교 방법 및Random Sample Consensus(RANSAC) 알고리즘을 이용해서 상기 제2 이미지의 관심점과 비교하는 것을 특징으로 하는 이미지 매칭 장치.
  9. 제1 항에 있어서,
    상기 이미지 매칭 장치는,
    공간 지도 생성 장치인 것을 특징으로 하는 이미지 매칭 장치.
  10. 입력된 제1 이미지의 픽셀의 깊이 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하고, 상기 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하여 제2 장치로 전송하는 제1 장치; 및
    상기 기술자 벡터를 수신하여 이를 기초로 상기 입력된 제1이미지의 관심점을 기 수신된 제2 이미지의 관심점과 비교하여 이미지들 간의 유사성을 판단하는 제2 장치;를 포함하고,
    상기 제1 장치는,
    상기 입력된 제1 이미지의 적분 영상을 계산하여 상기 계산된 적분 영상의 깊이(Depth) 정보에 따라 가우시안(Gaussian) 2차 미분 필터를 근사화한 다원 디지털 필터를 적용하여 상기 관심점을 검출하는 이미지 매칭 시스템.
  11. 제1 이미지를 입력하는 단계;
    상기 입력된 제1 이미지의 픽셀의 깊이(Depth) 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하는 단계;
    상기 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하는 단계; 및
    상기 설정된 기술자 벡터를 기초로 상기 입력된 제1 이미지의 관심점과 기 입력된 제2 이미지의 관심점을 상호 비교하여 이미지들 사이의 유사성을 판단하는 단계;를 포함하고,
    상기 검출 단계는,
    상기 입력된 제1 이미지의 적분 영상을 계산하여 상기 계산된 적분 영상의 깊이(Depth) 정보에 따라 가우시안(Gaussian) 2차 미분 필터를 근사화한 다원 디지털 필터를 적용하여 상기 관심점을 검출하는 이미지 매칭 방법.
  12. 제11 항에 있어서,
    상기 검출 단계는,
    상기 픽셀의 깊이가 작은 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 픽셀의 깊이가 큰 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용하는 것을 특징으로 하는 이미지 매칭 방법.
  13. 제11항에 있어서,
    상기 검출 단계는,
    상기 제1 이미지 상의 객체가 근거리 객체인 경우 상대적으로 마스크 사이즈가 큰 디지털 필터를 적용하고 상기 객체가 원거리 객체인 경우 상대적으로 마스크 사이즈가 작은 디지털 필터를 적용하는 것을 특징으로 하는 이미지 매칭 방법.
  14. 제11항에 있어서,
    상기 검출 단계는,
    상기 계산된 적분 영상의 픽셀의 깊이 정보에 따라 서로 다른 마스크 사이즈를 갖는 디지털 필터들로 구성된 일련의 디지털 필터 세트를 적용하여 상기 관심점을 검출하는 것을 특징으로 하는 이미지 매칭 방법.
  15. 제14 항에 있어서,
    상기 검출 단계는,
    헤시안 메트릭스의 각 원소에 대응되는 디지털 필터를 상기 제1 이미지에 적용하여 계산된 메트릭스 식의 값이 기 설정된 값 이상인 지점을 관심점으로 검출하는 것을 특징으로 하는 이미지 매칭 방법.
  16. 삭제
  17. 제11 항에 있어서,
    Haar 웨이블렛 필터를 이용해서 상기 검출된 관심점의 주방향을 계산하고, 상기 계산된 주방향에 기초하여 상기 기술자 백터를 설정하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 매칭 방법.
  18. 제11 항에 있어서,
    상기 유사성 판단 단계는,
    상기 입력된 제1이미지의 관심점을 기술자 벡터 파라미터 공간상의 유클리디안 거리 비교 방법 및Random Sample Consensus(RANSAC) 알고리즘을 이용해서 상기 제2 이미지의 관심점과 비교하는 것을 특징으로 하는 이미지 매칭 방법.
  19. 제1 장치가 입력된 제1 이미지의 픽셀의 깊이 정보에 따라 기 설정된 마스크 사이즈를 갖는 디지털 필터를 적용하여 관심점(Interest Point)을 검출하는 단계;
    상기 제1 장치가 상기 검출된 관심점의 특성을 나타내는 기술자 벡터(Descriptor Vector)를 설정하여 제2장치로 전송하는 단계; 및
    상기 제2 장치가 상기 기술자 벡터를 수신하여 이를 기초로 상기 입력된 제1 이미지의 관심점을 기 수신된 제2이미지의 관심점과 비교하여 이미지들 간의 유사성을 판단하는 단계;를 포함하고,
    상기 관심점을 검출하는 단계는,
    상기 입력된 제1 이미지의 적분 영상을 계산하여 상기 계산된 적분 영상의 깊이(Depth) 정보에 따라 가우시안(Gaussian) 2차 미분 필터를 근사화한 다원 디지털 필터를 적용하여 상기 관심점을 검출하는 이미지 매칭 방법.
  20. 제 19항에 있어서,
    상기 판단된 유사성에 기초하여 공간 지도를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 매칭 방법.
KR1020130025190A 2013-03-08 2013-03-08 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법 KR101988384B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130025190A KR101988384B1 (ko) 2013-03-08 2013-03-08 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130025190A KR101988384B1 (ko) 2013-03-08 2013-03-08 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법

Publications (2)

Publication Number Publication Date
KR20140110586A KR20140110586A (ko) 2014-09-17
KR101988384B1 true KR101988384B1 (ko) 2019-06-12

Family

ID=51756595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130025190A KR101988384B1 (ko) 2013-03-08 2013-03-08 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법

Country Status (1)

Country Link
KR (1) KR101988384B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204577A (zh) * 2016-07-05 2016-12-07 董超超 一种通过斑块特征配准的图像识别装置
CN106204585A (zh) * 2016-07-05 2016-12-07 董超超 一种通过斑块特征配准的图像生成装置
CN106204578A (zh) * 2016-07-05 2016-12-07 董超超 一种通过斑块特征配准的红外图像处理装置
CN106097377A (zh) * 2016-07-05 2016-11-09 董超超 一种对不同视角图像进行合并的装置
CN106204565A (zh) * 2016-07-05 2016-12-07 董超超 一种通过斑块特征配准的图像清晰度检测装置
CN106204584A (zh) * 2016-07-05 2016-12-07 董超超 一种基于斑块特征配准的图像定位装置
CN106204576A (zh) * 2016-07-05 2016-12-07 董超超 一种基于斑块特征描述的图像配准装置
CN106157312A (zh) * 2016-07-05 2016-11-23 董超超 一种通过斑块特征配准的图像显示装置
CN106204582A (zh) * 2016-07-05 2016-12-07 董超超 一种获取有用信息监控装置
CN106204575A (zh) * 2016-07-05 2016-12-07 董超超 一种通过斑块特征配准的图像调整装置
CN106657789A (zh) * 2016-12-29 2017-05-10 核动力运行研究所 一种螺纹全景图像合成方法
KR102092392B1 (ko) * 2018-06-15 2020-03-23 네이버랩스 주식회사 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
KR102601141B1 (ko) 2018-06-22 2023-11-13 삼성전자주식회사 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법
KR102053818B1 (ko) 2019-06-05 2019-12-09 주식회사 시메이션 이미지 매칭 방법 및 장치
US12008740B2 (en) * 2020-08-12 2024-06-11 Niantic, Inc. Feature matching using features extracted from perspective corrected image
KR102473724B1 (ko) * 2020-10-30 2022-12-02 계명대학교 산학협력단 샴 랜덤 포레스트를 이용한 영상 정합 방법 및 영상 정합 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030183A (ja) * 2012-09-28 2013-02-07 Toyota Central R&D Labs Inc 環境認識装置及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1850270B1 (en) * 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
KR101175097B1 (ko) * 2010-08-12 2012-08-21 금오공과대학교 산학협력단 파노라마 영상 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030183A (ja) * 2012-09-28 2013-02-07 Toyota Central R&D Labs Inc 環境認識装置及びプログラム

Also Published As

Publication number Publication date
KR20140110586A (ko) 2014-09-17

Similar Documents

Publication Publication Date Title
KR101988384B1 (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
US10482681B2 (en) Recognition-based object segmentation of a 3-dimensional image
US10198623B2 (en) Three-dimensional facial recognition method and system
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
CN106897648B (zh) 识别二维码位置的方法及其系统
Boyer et al. SHREC 2011: robust feature detection and description benchmark
CN104978709B (zh) 描述符生成方法及装置
KR101303124B1 (ko) 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법
US10062195B2 (en) Method and device for processing a picture
Cinaroglu et al. A direct approach for human detection with catadioptric omnidirectional cameras
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
CN108334876A (zh) 基于图像金字塔局部二进制模式的疲劳表情识别方法
JP6393495B2 (ja) 画像処理装置および物体認識方法
KR101829386B1 (ko) 표적 검출 장치 및 방법
CN115546747A (zh) 一种路沿检测方法、装置、摄像设备以及存储介质
CN108369731B (zh) 模板优化方法、装置、电子设备和计算机程序产品
JP6456571B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Tong et al. A blur-invariant interest point detector based on moment symmetry for motion and Gaussian blurred image matching
JP2013120482A (ja) 画像特徴量抽出装置およびそのプログラム
Stentoumis et al. Precise 3d reconstruction of cultural objects using combined multi-component image matching and active contours segmentation
Medvedev et al. Image key points detection and matching
Teelen Geometric uncertainty models for correspondence problems in digital image processing
CN114548136A (zh) 一种反光二维码图片的解析方法、装置、设备和介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130308

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180122

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130308

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181128

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190501

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190605

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190607

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230316