KR20130098769A - 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법 - Google Patents

확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법 Download PDF

Info

Publication number
KR20130098769A
KR20130098769A KR1020120020556A KR20120020556A KR20130098769A KR 20130098769 A KR20130098769 A KR 20130098769A KR 1020120020556 A KR1020120020556 A KR 1020120020556A KR 20120020556 A KR20120020556 A KR 20120020556A KR 20130098769 A KR20130098769 A KR 20130098769A
Authority
KR
South Korea
Prior art keywords
feature
patch
image
feature descriptor
extracting
Prior art date
Application number
KR1020120020556A
Other languages
English (en)
Other versions
KR101912748B1 (ko
Inventor
이근동
나상일
오원근
제성관
혁 정
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120020556A priority Critical patent/KR101912748B1/ko
Priority to US13/548,098 priority patent/US8805067B2/en
Publication of KR20130098769A publication Critical patent/KR20130098769A/ko
Application granted granted Critical
Publication of KR101912748B1 publication Critical patent/KR101912748B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특징 기술자 추출 장치에서의 특징 기술자 추출 방법으로, 특징 기술자를 추출할 영상을 입력받는 단계와, 상기 영상의 화소 통계값의 변화량이 큰 점을 특징점으로 추출하며, 상기 특징점을 중심으로 패치를 추출하는 단계와, 상기 패치를 블록화하여, 각 패치 블록의 통계값을 계산하는 단계와, 상기 블록화된 패치의 통계값들을 이용하여 모폴로지컬 그래디언트를 계산하는 단계와, 요구되는 특징 기술자의 복잡도를 고려하여 상기 모폴로지컬 그래디언트를 이용하여 특징 기술자를 추출하는 단계를 포함한다.

Description

확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법{Scalable Feature Descriptor Extraction and Matching method and system}
본 발명은 특징 기반 영상 처리 기술에 관한 것으로, 특히 영상으로부터 특징 기술자(feature descriptor)를 효과적으로 추출하는 장치 및 방법을 제공한다.
영상으로부터 추출된 특징점을 기반으로 특징 기술자(feature descriptor)를 생성하고, 이를 이용하여 다른 특징 기술자와 정합하는 기술은 내용 기반 영상 검색(Content Based Image Retrieval), 객체 인식 및 검출, 비디오 트랙킹(Video Tracking) 등 다양한 컴퓨터 비전 분야에 적용되며, 이에 대한 많은 연구가 진행되고 있다.
최근 스마트폰의 등장으로 유통되는 멀티미디어 콘텐츠의 양이 폭발적으로 증가하였으며, 이를 효과적으로 검색하고 소비하기 위해 상기 언급한 컴퓨터 비전 관련 기술의 수요가 늘어나고 있다. 특히 문자 입력이 불편한 스마트폰의 특성으로 인해 이미지를 입력으로 하여 검색을 하는 내용 기반 영상 검색 기술의 필요성이 증대되고 있으며, 기존의 특징 기반 영상 처리 기술을 이용한 검색 어플리케이션이 활발히 제작되고 있다.
기존의 특징 기반 영상처리 기술에는 전역특징을 이용한 기술과 특징점을 이용한 지역 특징 기반 영상처리 기술이 있다. 이 중 특징점을 이용한 지역 특징 기반 영상 처리 기술이 높은 정확도로 인해 각광받고 있다.
특징점을 이용한 지역 특징 기반 영상 처리 기술에는 대표적으로 SIFT, SURF 등이 있다. 이 기술들은 공통적으로 스케일 공간(scale-space)에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점으로 추출하고, 이 점과 주변 영역의 관계를 이용하여 특징 서술자를 추출한다. 이러한 기술은 특징 기술자 추출 과정과 정합과정에서 많은 연산량과 메모리 소비량을 요구하기 때문에, 모바일 스마트폰 환경에 적합하지 않다.
또한 적용 기술 분야의 목적(특정 카테고리 내에서의 내용 기반 영상 검색 혹은 객체 검출 등) 및 환경(모바일 환경 혹은 고성능 PC 환경 등)에 따라 간단한 특징 기술자가 필요할 때에도 높은 연산량을 필요로 하는 단일 특징 기술자를 추출하는 문제점이 있다.
본 발명은 특징 기술자 추출 기술이 적용될 환경과 목적에 따라 확장성을 갖는 스케일러블 특징 기술자(scalable feature descriptor)를 추출 및 정합 장치 및 방법을 제공한다.
본 발명은 특징 기술자 추출 장치에서의 특징 기술자 추출 방법으로, 특징 기술자를 추출할 영상을 입력받는 단계와, 상기 영상의 화소 통계값의 변화량이 큰 점을 특징점으로 추출하며, 상기 특징점을 중심으로 패치를 추출하는 단계와, 상기 패치를 블록화하여, 각 패치 블록의 통계값을 계산하는 단계와, 상기 블록화된 패치의 통계값들을 이용하여 모폴로지컬 그래디언트를 계산하는 단계와, 요구되는 특징 기술자의 복잡도를 고려하여 상기 모폴로지컬 그래디언트를 이용하여 특징 기술자를 추출하는 단계를 포함한다.
본 발명은 특징 기술자를 추출할 영상을 입력받는 영상 입력부와, 상기 영상의 화소 통계값의 변화량이 큰 점을 특징점으로 추출하며, 상기 특징점을 중심으로 패치를 추출하는 특징점 및 패치 추출부와, 상기 패치를 블록화하여, 각 패치 블록의 통계값을 계산하는 특징점 패치 통계 계산부와, 상기 블록화된 패치의 통계값들을 이용하여 모폴로지컬 그래디언트를 계산하는 모폴로지컬 그래디언트 계산부와, 요구되는 특징 기술자의 복잡도를 고려하여 상기 모폴로지컬 그래디언트를 이용하여 특징 기술자를 추출하는 특징 기술자 추출부를 포함한다.
본 발명은 정합할 특징 기술자가 입력되는 단계와, 특징 기술자의 복잡도에 따른 유사도를 비교하는 단계와, 유사도들이 사전 정의된 임계치 및 기타 조건들을 만족한다면, 두 특징 기술자는 정합되었다고 판단하는 단계와, 특징 기술자의 유사도 비교를 모두 수행하고 나면 이 결과를 바탕으로 영상 단위의 정합을 수행하는 단계를 포함한다.
본 발명은 특징 기술자 추출 기술이 적용될 환경과 목적에 따라 확장성을 갖는 스케일러블 특징 기술자(scalable feature descriptor)를 생성하여 모바일 환경 혹은 고성능 PC 환경에 알맞은 다양한 특징 기술자를 제공할 수 있다. 또한 특징 기술자의 추출 및 정합 연산량이 높지 않아야 하거나, 높은 성능을 요구하는 경우에 따라 복잡도를 달리하여 특징 기술자를 추출할 수 있기 때문에, 이와 같은 스케일러블 특징 기술자는 추출과 정합의 효율성을 증가시킬 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 특징 기술자 추출 장치의 구성도이다.
도 2는 본 발명의 일실시예에 따라 특징점 및 패치 추출을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시 예에 따른 특징 기술자 추출 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일실시예에 따른 특징점 패치 통계 계산부의 동작을 설명하기 위한 순서도이다.
도 5는 패치 멀티 스케일(Multi-Scale) 블록화의 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 패치 블록 통계값 계산을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 모폴로지컬 그래디언트 및 l, θ를 계산을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 morphological gradient(dilation residue gradient와 erosion residue gradient) 및
Figure pat00001
, 삼각형의 넓이를 계산하는 것을 도시하고 있다.
도 9는 본 발명의 일 실시 예에 따른 특징 기술자 생성 동작을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시 예에 따른 특징 기술자 정합 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시 예에 따른 특징 기술자 추출 장치의 구성도이다.
도 1을 참조하면, 특징 기술자 추출 장치는 영상 입력부(110), 영상 전처리부(120), 특징점 및 패치 추출부(130), 통계 계산부(140), 모폴로지컬 그래디언트(Morphological Gradient) 계산부(150) 및 특징 기술자 추출부(160)를 포함한다.
영상 입력부(110)는 특징 기술자를 추출할 영상을 입력받는다. 예컨대, 영상 입력부(110)는 실사 영상을 촬영하는 카메라 또는 통신부를 통해 데이터베이스로부터 영상을 획득할 수도 있다.
영상 전처리부(120)는 입력받은 영상을 흑백 영상으로 변환하고, 영상의 크기를 입력 영상의 비율을 고려하여 고정된 MXN의 사이즈로 정규화하는 기능을 수행한다.
특징점 및 패치 추출부(130)는 영상 전처리부(120)에 의해 정규화된 흑백 입력 영상의 스케일 공간(scale-space)에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점으로 추출하며, 해당 점의 스케일을 계산한다.
도 2는 본 발명의 일실시예에 따라 특징점 및 패치 추출을 설명하기 위한 도면이다.
도 2를 참조하면, 특징점 및 패치 추출부(130)는 영상에서 추출된 특징점(210)의 스케일에 따라 특징점(210)을 중심으로 한 패치 영역(220)을 추출한다. 그리고, 패치(220)가 크기(scale) 변화와 회전(orientation) 변형에 강인하도록 패치의 크기와 회전각도를 계산한다.
패치(220)의 크기는 특징점(210)의 스케일에 의해 결정된다. 특징점 및 패치를 추출하고, 크기와 회전각도를 계산하는 방법은 본 발명의 일 실시 예에 따라 고속 헤시안 검출자(Fast-Hessian detector)를 사용할 수도 있다.
다시 도 1을 참조하면, 특징점 패치 통계 계산부(140)는 특징점 및 패치 추출부(130)로부터 출력된 패치를 블록화하여, 각 패치 블록의 평균값, 표준편차를 포함하는 통계값을 계산한다. 이에 대해서는 도 4를 참조하여 후술하기로 한다.
특징점 패치 통계 계산부(140)는 상기 패치를 블록화하여, 각 패치 블록의 통계값을 계산한다. 이에 대한 상세한 설명은 후술하기로 한다.
모폴로지컬 그래디언트 계산부(150)는 상기 특징점 패치 통계 계산부(140)에 의해 계산된 패치 블록의 통계값을 이용하여 모폴로지컬 그래디언트 및 그에 관련된 값을 계산한다. 이에 대한 상세한 설명은 후술하기로 한다.
특징 기술자 추출부(160)는 특징 요구되는 특징 기술자의 복잡도를 고려하여 상기 모폴로지컬 그래디언트를 이용하여 특징 기술자를 추출한다.
도 3은 본 발명의 일실시 예에 따른 특징 기술자 추출 방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 특징 기술자 추출 장치의 영상 입력부(110)는 310 단계에서 특징 기술자를 추출할 영상을 입력받는다. 그러면, 영상 전처리부(120)는 320 단계에서 입력받은 영상을 흑백 영상으로 변환하고, 영상의 크기를 입력 영상의 비율을 고려하여 고정된 MXN의 사이즈로 정규화하는 영상 전처리 기능을 수행한다.
특징점 및 패치 추출부(130)는 330 단계에서 정규화된 흑백 입력 영상의 스케일 공간(scale-space)에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점으로 추출하며, 해당 점의 스케일을 계산한다.
특징점 패치 통계 계산부(140)는 340 단계에서 상기 패치를 블록화하여, 각 패치 블록의 평균값, 표준편차를 포함하는 통계값을 계산한다. 이에 대해서는 도 4를 참조하여 상세히 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 특징점 패치 통계 계산부의 동작을 설명하기 위한 순서도이다.
도 4를 참조하면, 특징점 및 패치 추출부(130)는 341 단계에서 패치 추출부(130)로부터 추출된 패치를 입력받는다. 그리고, 342 단계에서 패치를 멀티 스케일(Multi-Scale) 블록화한다.
도 5는 패치 멀티 스케일(Multi-Scale) 블록화의 일 예를 도시한 도면이다.
도 5를 참조하면, 16 X 16 크기의 입력 패치를 블록의 개수가 각각 8 X 8, 4 X 4, 2 X 2가 되도록 3가지 스케일로 블록화한다. 본 발명의 다른 실시 예에 따라, 입력된 패치를 4가지 이상의 스케일로 블록화할 수도 있다.
다시 도 4를 참조하면, 특징점 및 패치 추출부(130)는 343 단계에서 블록화된 패치에 패치 블록 평균을 계산한다. 그리고, 344 단계에서 표준편차를 계산한다. 그리고, 345 단계에서 고차원 통계값을 계산한다.
도 6은 본 발명의 일 실시 예에 따른 패치 블록 통계값 계산을 설명하기 위한 도면이다.
도 6을 참조하면, 블록화된 패치의 n번째 블록에 해당하는 입력 패치 영역의 통계값(평균, 표준편차, skewness, kurtosis 등의 고차원 통계값) 또는 대칭도 등을 계산하여, 해당 n번째 블록의 통계값 S(n)으로 할당한다.
특징점 및 패치 추출부(130)는 이와 같은 통계값 계산을 고속화하기 위해서 적분 영상(Integral image) 등을 이용할 수 있다. 또한, 이와 같은 통계값 계산 과정을 멀티 스케일(Multi-Scale) 블록 패치에 대해 모두 동일하게 수행한다.
다시 도 3을 참조하면, 모폴로지컬 그래디언트 계산부(150)는 350 단계에서 특징점 패치 통계 계산부(140)에서 계산한 블록화된 패치의 통계값들을 이용하여 모폴로지컬 그래디언트 및 l, θ를 계산한다.
도 7은 본 발명의 일 실시 예에 따른 모폴로지컬 그래디언트 및 l, θ를 계산을 설명하기 위한 도면이다. 도 7을 참조하면, 모폴로지컬 그래디언트는 블록들의 통계값 중 최대 통계값을 갖는 블록(610)의 값과 최소 통계값을 갖는 블록(620)의 값의 차이이고, l는 최대 통계값을 갖는 블록과 최소 통계값을 갖는 블록 간의 거리이고, θ는 최대 통계값을 갖는 블록과 최소 통계값을 갖는 블록이 이루는 선분이 수평선과 이루는 각도를 의미한다. 이에 대해 상세히 후술하기로 한다.
흑백 영상에서 모폴로지컬 그래디언트(Morphological gradient)는 하기의 <수학식 1>과 같이 정의될 수 있다.
<수학식 1>
Figure pat00002
상기 <수학식 1>에서 f는 흑백 영상의 밝기값이고, g는 대부분 대칭(symmetric)한 특성을 갖는 구조 요소(structuring element)이다.
Figure pat00003
는 dilation residue gradient,
Figure pat00004
는 erosion residue gradient로, 하기의 <수학식 2> 및 <수학식 3>과 같이 정의할 수 있다.
<수학식 2>
Figure pat00005
<수학식 3>
Figure pat00006
상기 <수학식 2> 및 <수학식 3>을 이용하여 상기 <수학식 1>을 <수학식 4>와 같이 고쳐쓸 수 있다.
<수학식 4>
Figure pat00007
즉, 모폴로지컬 그래디언트(morphological gradient)는 구조 요소(structuring element) g 내부의 가장 큰 밝기값 차이로 정의될 수 있다.
본 발명에서는 모폴로지컬 그래디언트(morphological gradient)를 특징점 패치 통계값 계산부(140)에서 계산한 블록화된 패치의 통계값에 적용한다. 즉, 멀티 스케일(multi-scale)로 블록화된 패치에서 각각의 블록화된 패치 전체를 구조 요소(structuring element) g로 하여 이 내부의 최대 통계값을 갖는 블록을 M, 최소 통계값을 갖는 블록을 m이라 했을 때 통계값 차이의 최대값 S(M)-S(m)을 모폴로지컬 그래디언트로 정의한다.
또한 두 블록 M과 m의 거리 l과 두 블록이 이루는 선분이 수평선과 이루는 각도 θ를 계산한다. NXN개의 블록으로 구성된 패치에서 좌측 상단 블록의 인덱스가 (0,0), 우측 하단 블록의 인덱스가 (N-1,N-1)이라 하고, 블록 M의 인덱스가
Figure pat00008
, 블록 m의 인덱스가
Figure pat00009
이라 하면 l, θ는 <수학식 5> 및 <수학식 6>과 같이 정의할 수 있다.
<수학식 5>
Figure pat00010
<수학식 6>
Figure pat00011
특징점 패치 통계 계산부(140)에서 M개의 멀티 스케일(Multi-Scale) 블록화 패치를 생성하였고, 각각의 블록화된 패치에서 N가지 통계값을 계산하였다면, M개의 블록화된 패치에서 각각 N가지, 즉 총 MXN 개의 모폴로지컬 그래디언트(Morphological Gradient) 및 l, θ를 계산할 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 morphological gradient(dilation residue gradient와 erosion residue gradient) 및
Figure pat00012
, 삼각형의 넓이를 계산하는 것을 도시하고 있다.
도 8을 참조하면, 블록화된 패치 내부의 최대 통계값을 갖는 블록 M(710), 최소 통계값을 갖는 블록 m(720), 특징점이 속한 블록 x(730)가 도시되어 있다.
그리고, dilation residue gradient 및 erosion residue gradient와 M블록과 x블록 간의 거리
Figure pat00013
, x블록과 m블록 간의 거리
Figure pat00014
, M블록과 x블록을 잇는 선분과 m블록과 x블록을 잇는 선분이 이루는 각
Figure pat00015
를 계산하고, 세 블록이 이루는 삼각형의 넓이
Figure pat00016
를 계산한다.
Figure pat00017
= 180인 경우, 세 블록이 이루는 도형은 직선이 되고 넓이는 0이 된다.
본 발명의 바람직한 실시 예에 따르면, 모폴로지컬 그래디언트(morphological gradient) 및 관련값들을 계산할 때 최대 통계값 S(M)과 최소 통계값 S(m)의 차이가 사전 정의된 임계치 이하이거나 복수의 최대 통계값 및 최소 통계값이 존재하는 경우, 또는 최대 통계값과 2번째로 큰 통계값의 차이가 사전 정의된 임계치 이하인 경우와 최소 통계값과 2번째로 작은 통계값의 차이가 사전 정의된 임계치 이하인 경우라면 l, θ, dilation residue gradient, erosion residue gradient),
Figure pat00018
, 삼각형의 넓이 표면(Surface)값들을 계산하지 않고, 특징 기술자 추출부에서 특징 기술자를 추출하지 않는다.
도 9는 본 발명의 일 실시 예에 따른 특징 기술자 생성 동작을 설명하기 위한 순서도이다.
도 9를 참조하면, 특징 기술자 추출부(160)는 Morphological Gradient 계산부(150)에서 각 M개의 블록화 패치에서 N개의 통계값으로 계산한 morphological gradient, l, θ, dilation residue gradient, erosion residue gradient),
Figure pat00019
, 삼각형의 넓이 Surface 등 9가지의 값을 입력받아 특징 기술자를 생성한다.
이를 위해 특징 기술자 추출부(160)는 362 단계에서 요구되는 특징 기술자의 복잡도를 입력받는다. 전술한 바와 같이 본 발명의 목적은 특징 기술자 추출 기술이 적용될 환경과 목적에 따라 확장성을 갖는 스케일러블 특징 기술자를 추출하고 정합하는데 그 목적이 있다. 모바일 환경에 적합한 단순화된 특징 기술자를 추출할 수도 있고, 높은 성능을 위해 고도화된 특징 기술자를 추출할 수도 있다.
특징점 및 패치 추출부(130)에서 M개의 블록화 패치를 추출하였고, 특징점 패치 통계 계산부(140)에서 N개의 통계값이 계산되었다면, Morphological gradient 계산부에서 각각의 M개의 블록화 패치의 N개의 통계값에 대하여 9가지의 값을 계산하였으므로, 복잡도가 가장 높은 특징 기술자는 MXNX9 개의 값으로 구성될 수 있다.
이와 같은 기술자는 높은 성능을 위해 고도화된 특징 기술자로 적합하다. 한편, 특징 기술자가 적용될 어플리케이션이 모바일 환경에서 동작해야 한다거나, 높은 성능 대신 빠른 연산 시간을 필요로 한다면, 보다 낮은 복잡도의 특징 기술자를 구성할 수 있다.
본 발명의 일 실시 예에 따르면 M개의 블록화 패치 중 일부 블록화 패치(예를 들면 2개의 블록화 패치)에서 N개의 통계값 중 일부(예를 들면 평균과 분산 2개의 값)값을 이용하여 계산한 모폴로지컬 그래디언트(Morphological gradient) 관련값을 특징 기술자 구성에 이용할 수 있다.
또한 모폴로지컬 그래디언트(Morphological gradient) 관련값도 9개 중 일부의 값만을 사용할 수 있으므로, 요구되는 특징 기술자의 특성과 성능에 맞도록 다양한 종류의 특징 기술자를 생성할 수 있다. 따라서, 특징 기술자 추출부(160)는 입력받은 특징 기술자의 복잡도에 따라 363 단계에서 특징 기술자를 구성할, 블록화 패치, 통계값, 모폴로지컬 그래디언트(morphological gradient) 관련 계산값을 선택한다.
다음으로, 특징 기술자 추출부(160)는 364 단계에서 특징 기술자의 데이터 크기를 줄이기 위해 모폴로지컬 그래디언트관련 계산값을 압축한다. 압축 전의 l, θ, surface 값은 실수값을 갖지만, 사전 정의된 블록화 패치에서 l, θ, surface가 가질 수 있는 값의 종류는 한정적이므로, 이를 낮은 비트로 압축할 수 있다.
마지막으로 365 단계에서 압축된 값들을 이용하여 특징 기술자를 구성한다.
도 10은 본 발명의 실시 예에 따른 특징 기술자 정합 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 우선 1010 단계에서 DB 및 정합할 특징 기술자가 입력된다. 그리고, 1020 단계에서 특징 기술자의 복잡도에 따른 유사도를 비교한다. 본 발명의 일실시 예에 따르면 추출된 특징 기술자에 모폴로지컬 그래디언트(Morphological gradient) 또는 dilation residue gradient, erosion residue gradient)가 포함되어 있고 각각의 모폴로지컬 그래디언트(Morphological gradient) 값을
Figure pat00020
라 한다면, 두 특징 기술자의 유사도
Figure pat00021
은 <수학식 7>과 같이 정의될 수 있다. 이 유사도는 값이 작을수록 두 특징 기술자가 더 유사하다.
<수학식 7>
Figure pat00022
본 발명의 바람직한 실시 예에 따르면 특징 기술자에 l, θ값이 포함되어 있고, 정합할 두 특징 기술자의 l, θ값을 각각
Figure pat00023
라 한다면, 두 특징 기술자의 유사도
Figure pat00024
는 <수학식 8>과 같이 정의될 수 있다. 이 유사도는 값이 클수록 두 특징 기술자가 더 유사하다.
<수학식 8>
Figure pat00025
본 발명의 바람직한 실시 예에 따르면 특징 기술자에 삼각형의 넓이 Surface 값이 포함되어 있고, 정합할 두 특징 기술자의 표면값을 각각
Figure pat00026
라 한다면, 유사도
Figure pat00027
는 <수학식 9>와 같이 정의될 수 있다. 이 유사도는 값이 작을수록 두 특징 기술자가 더 유사하다.
<수학식 9>
Figure pat00028
유사도들이 사전 정의된 임계치 및 기타 조건들을 만족한다면, 두 특징 기술자는 정합되었다고 판단한다.
이와 같은 유사도들은 특징 기술자에 포함된 블록화 패치의 수, 통계값에 따라 복수 개가 존재하므로, 다양한 조합의 유사도를 기준으로 하여 효율적인 정합을 수행할 수 있다.
특징 기술자의 유사도 비교를 모두 수행하고 나면 이 결과를 바탕으로 1030 단계에서 영상 단위의 정합을 수행한다. 본 발명의 바람직한 실시 예에 따르면, 영상 별로 정합된 특징 기술자의 수를 세어 영상을 정합할 수 있다.

Claims (12)

  1. 특징 기술자 추출 장치에서의 특징 기술자 추출 방법에 있어서,
    특징 기술자를 추출할 영상을 입력받는 단계와,
    상기 영상의 화소 통계값의 변화량이 큰 점을 특징점으로 추출하며, 상기 특징점을 중심으로 패치를 추출하는 단계와,
    상기 패치를 블록화하여, 각 패치 블록의 통계값을 계산하는 단계와,
    상기 블록화된 패치의 통계값들을 이용하여 모폴로지컬 그래디언트를 계산하는 단계와,
    요구되는 특징 기술자의 복잡도를 고려하여 상기 모폴로지컬 그래디언트를 이용하여 특징 기술자를 추출하는 단계를 포함함을 특징으로 하는 특징 기술자 추출 방법.
  2. 제 1항에 있어서,
    입력받은 영상을 흑백 영상으로 변환 영상의 크기를 입력 영상의 비율을 고려하여 고정된 사이즈로 정규화하는 단계를 더 포함함을 특징으로 하는 특징 기술자 추출 방법.
  3. 제 1항에 있어서, 상기 통계값은
    상기 패치 블록의 평균값, 표준 편차 및 고차원 통계값을 포함함을 특징으로 하는 특징 기술자 추출 방법.
  4. 제 1항에 있어서, 상기 통계값을 계산하는 단계는
    상기 추출된 패치를 블록화하는 단계와,
    상기 패치의 블록들 각각의 평균을 계산하는 단계와,
    상기 패치의 블록들 각각의 표준편차를 계산하는 단계와,
    고차원 통계값을 계산하는 단계를 포함함을 특징으로 하는 특징 기술자 추출 방법.
  5. 제 4항에 있어서, 상기 블록화하는 단계는
    소정 크기의 입력 패치를 멀티 스케일로 블록화함을 특징으로 하는 특징 기술자 추출 방법.
  6. 제 4항에 있어서, 상기 블록화하는 단계는
    적분 영상을 이용함을 특징으로 하는 특징 기술자 추출 방법.
  7. 제 1항에 있어서, 상기 특징 기술자를 추출하는 단계는
    모폴로지컬 그래디언트를 포함하는 값을 입력받는 단계와,
    요구되는 특징 기술자의 복잡도를 입력받는 단계와,
    요구되는 특징 기술자의 복잡도에 따라 특징 기술자를 구성할 블록화 패치, 통계값, 모폴로지컬 그래디언트 계산값을 선택하는 단계와,
    상기 선택된 값들을 이용하여 특징 기술자를 구성하는 단계를 포함함을 특징으로 하는 특징 기술자 추출 방법.
  8. 제 7항에 있어서,
    모폴로지컬 그래디언트 계산값을 압축하는 단계를 더 포함함을 특징으로 하는 특징 기술자 추출 방법.
  9. 특징 기술자를 추출할 영상을 입력받는 영상 입력부와,
    상기 영상의 화소 통계값의 변화량이 큰 점을 특징점으로 추출하며, 상기 특징점을 중심으로 패치를 추출하는 특징점 및 패치 추출부와,
    상기 패치를 블록화하여, 각 패치 블록의 통계값을 계산하는 특징점 패치 통계 계산부와,
    상기 블록화된 패치의 통계값들을 이용하여 모폴로지컬 그래디언트를 계산하는 모폴로지컬 그래디언트 계산부와,
    요구되는 특징 기술자의 복잡도를 고려하여 상기 모폴로지컬 그래디언트를 이용하여 특징 기술자를 추출하는 특징 기술자 추출부를 포함함을 특징으로 하는 특징 기술자 추출 장치.
  10. 제 9항에 있어서,
    입력받은 영상을 흑백 영상으로 변환 영상의 크기를 입력 영상의 비율을 고려하여 고정된 사이즈로 정규화하는 영상 전처리부를 더 포함함을 특징으로 하는 특징 기술자 추출 장치.
  11. 제 9항에 있어서, 상기 특징 기술자를 추출부는
    요구되는 특징 기술자의 복잡도에 따라 특징 기술자를 구성할 블록화 패치, 통계값, 모폴로지컬 그래디언트 계산값을 선택하고, 상기 선택된 값들을 이용하여 특징 기술자를 구성함을 특징으로 하는 특징 기술자 추출 장치.
  12. 정합할 특징 기술자가 입력되는 단계와,
    특징 기술자의 복잡도에 따른 유사도를 비교하는 단계와,
    유사도들이 사전 정의된 임계치 및 기타 조건들을 만족한다면, 두 특징 기술자는 정합되었다고 판단하는 단계와,
    특징 기술자의 유사도 비교를 모두 수행하고 나면 이 결과를 바탕으로 영상 단위의 정합을 수행하는 단계를 포함함을 특징으로 하는 특징 기술자를 이용한 정합 방법.
KR1020120020556A 2012-02-28 2012-02-28 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법 KR101912748B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120020556A KR101912748B1 (ko) 2012-02-28 2012-02-28 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법
US13/548,098 US8805067B2 (en) 2012-02-28 2012-07-12 Scalable feature descriptor extraction and matching method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020556A KR101912748B1 (ko) 2012-02-28 2012-02-28 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130098769A true KR20130098769A (ko) 2013-09-05
KR101912748B1 KR101912748B1 (ko) 2018-10-30

Family

ID=49002940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020556A KR101912748B1 (ko) 2012-02-28 2012-02-28 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법

Country Status (2)

Country Link
US (1) US8805067B2 (ko)
KR (1) KR101912748B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619733B2 (en) 2014-03-26 2017-04-11 Postech Academy—Industry Foundation Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
US10235410B2 (en) 2015-02-11 2019-03-19 Electronics And Telecommunications Research Institute Query input apparatus and method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962937B2 (ja) * 2012-04-20 2016-08-03 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像処理方法
US20150294189A1 (en) * 2012-07-23 2015-10-15 Selim BenHimane Method of providing image feature descriptors
KR20160106113A (ko) 2014-01-10 2016-09-09 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 형태학적 스케일 스페이스들을 이용하여 평면 곡선들을 기술하는 방법
US9875301B2 (en) 2014-04-30 2018-01-23 Microsoft Technology Licensing, Llc Learning multimedia semantics from large-scale unstructured data
US9785866B2 (en) 2015-01-22 2017-10-10 Microsoft Technology Licensing, Llc Optimizing multi-class multimedia data classification using negative data
US10013637B2 (en) 2015-01-22 2018-07-03 Microsoft Technology Licensing, Llc Optimizing multi-class image classification using patch features
KR102528453B1 (ko) 2018-10-18 2023-05-02 삼성전자주식회사 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법
CN109829853B (zh) * 2019-01-18 2022-12-23 电子科技大学 一种无人机航拍图像拼接方法
CN116824183B (zh) * 2023-07-10 2024-03-12 北京大学 基于多重特征描述符的图像特征匹配方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060047552A (ko) * 2004-04-27 2006-05-18 마이크로소프트 코포레이션 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭
JP2010097462A (ja) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> 顔検出装置、顔検出方法および顔検出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184155B2 (en) * 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
KR101323439B1 (ko) 2008-11-12 2013-10-29 보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티 특징 디스크립터를 표현하고 식별하는 방법, 장치 및 컴퓨터 판독가능 저장 매체
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
US8385732B2 (en) * 2011-07-29 2013-02-26 Hewlett-Packard Development Company, L.P. Image stabilization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060047552A (ko) * 2004-04-27 2006-05-18 마이크로소프트 코포레이션 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭
JP2010097462A (ja) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> 顔検出装置、顔検出方法および顔検出プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619733B2 (en) 2014-03-26 2017-04-11 Postech Academy—Industry Foundation Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
US10235410B2 (en) 2015-02-11 2019-03-19 Electronics And Telecommunications Research Institute Query input apparatus and method

Also Published As

Publication number Publication date
US8805067B2 (en) 2014-08-12
US20130223730A1 (en) 2013-08-29
KR101912748B1 (ko) 2018-10-30

Similar Documents

Publication Publication Date Title
KR20130098769A (ko) 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법
Salahat et al. Recent advances in features extraction and description algorithms: A comprehensive survey
Wang et al. MARCH: Multiscale-arch-height description for mobile retrieval of leaf images
Bagri et al. A comparative study on feature extraction using texture and shape for content based image retrieval
US9727775B2 (en) Method and system of curved object recognition using image matching for image processing
Uijlings et al. Video classification with densely extracted hog/hof/mbh features: an evaluation of the accuracy/computational efficiency trade-off
US10585937B2 (en) Method for visual search, corresponding system, apparatus and computer program product
Xiaofeng et al. Discriminatively trained sparse code gradients for contour detection
CN105069424B (zh) 面部快速识别系统和方法
CN104991954B (zh) 基于图像搜索的购物搜索系统及其实现方法
US9576218B2 (en) Selecting features from image data
JP2012527705A (ja) 物体認識用のヒストグラム方法及びシステム
CN107223242B (zh) 用于在多个已存储图像中搜索相似图像的方法
CN105069144A (zh) 一种搜索相似图片的方法
WO2015036581A1 (en) Image processing
KR20130098771A (ko) 변형 가능한 압축 지역 서술자를 이용한 영상 인식 장치 및 방법
CN110909817B (zh) 分布式聚类方法及系统、处理器、电子设备及存储介质
CN112069875A (zh) 人脸图像的分类方法、装置、电子设备和存储介质
CN106557526B (zh) 处理图像的装置和方法
Paul et al. Multiclass object recognition using smart phone and cloud computing for augmented reality and video surveillance applications
Pansare et al. Real time static hand gesture recognition system in complex background that uses number system of Indian sign language
Zhong et al. Background modelling using discriminative motion representation
Islam et al. Texture feature based image retrieval algorithms
Mikolajczyk et al. Local Image Features.
Gibson et al. Hazy image modeling using color ellipsoids

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant