KR20230090822A - 템플릿 매칭을 이용한 객체 검출 방법 및 장치 - Google Patents

템플릿 매칭을 이용한 객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR20230090822A
KR20230090822A KR1020210179910A KR20210179910A KR20230090822A KR 20230090822 A KR20230090822 A KR 20230090822A KR 1020210179910 A KR1020210179910 A KR 1020210179910A KR 20210179910 A KR20210179910 A KR 20210179910A KR 20230090822 A KR20230090822 A KR 20230090822A
Authority
KR
South Korea
Prior art keywords
image
template
descriptor
input image
generating
Prior art date
Application number
KR1020210179910A
Other languages
English (en)
Inventor
전재욱
김정록
이한성
권용현
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210179910A priority Critical patent/KR20230090822A/ko
Priority to US18/081,952 priority patent/US20230186595A1/en
Publication of KR20230090822A publication Critical patent/KR20230090822A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법은, 입력 영상에서 검출하려는 객체의 템플릿 이미지를 특정하고 상기 특정된 템플릿 이미지의 서술자를 생성하는 단계; 상기 입력 영상의 스케일을 변환하여 이미지 패치들을 생성하는 이미지 피라미드 생성 단계; 상기 입력 영상의 회전 각도를 판단하는 단계; 상기 판단된 회전 각도에 기반하여 상기 생성된 이미지 패치들의 서술자를 생성하는 단계; 및 상기 특정된 템플릿 이미지의 서술자 및 상기 생성된 이미지 패치들의 서술자를 매칭시켜 상기 검출하려는 객체를 검출하는 단계를 포함하는 것을 특징으로 한다. 이에 따라, 본 발명의 일 실시 예에서는, 검출하려는 객체의 크기, 위치한 각도, 종류 등에 제한 받지 않고 실시간으로 객체를 검출할 수 있다.

Description

템플릿 매칭을 이용한 객체 검출 방법 및 장치{Object detection method and device using template matching}
본 발명은 템플릿 매칭을 이용한 객체 검출 방법 및 장치에 관한 것으로, 보다 구체적으로는 원본 이미지에 있는 물체와 템플릿 이미지에 있는 물체의 크기와 회전 각도가 달라도 실시간으로 정확하게 물체를 검출할 수 있는 템플릿 매칭을 이용한 객체 검출 방법 및 장치에 관한 것이다.
영상 분석 기술 중에서 객체 검출 또는 객체 추적은 비디오 혹은 연속적인 영상에서 소정 객체의 위치를 매 프레임 탐지하는 기술로서, 컴퓨터 비전, 교통, 보안 등 다양한 분야에서 활용된다. 최근 객체 추적에서 주로 사용되는 방법은 템플릿 매칭(Template Matching) 방법으로서, 영상에서 추적하고자 하는 객체의 견본, 템플릿과 가장 유사한 객체를 찾는 방법이다.
현재 카메라를 통해 획득한 영상을 바탕으로 템플릿 매칭 방법을 사용하여 객체를 검출, 추적하는 방법은 표지판 검출, 차량 추적 등에 활용되며, 공장 컨베이어 벨트 위에 놓여진 물체를 검출하는 용도로도 이용되고 있다. 이 경우, 기존의 방법으로 컨베이어 벨트 위를 지나가는 물체를 검출하기 위해서는 정해진 각도로 물체를 정렬시켜야 하며, 일정한 크기의 물체에 대해서만 검출이 가능하다.
이러한 문제를 해결하기 위해 딥러닝 알고리즘이 도입되어 활용되고 있으나 객체 검출이 신속하게 이루어지지 않으며 딥러닝 모델 구현을 위한 데이터 양을 충족시키기 어려운 경우가 많다. 또한, 고사양의 컴퓨터 하드웨어가 요구되는 점도 부담으로 작용한다. 이에 따라, 템플릿 매칭을 이용한 객체 검출 방법에 있어서 딥러닝 알고리즘을 사용하지 않으면서도 객체의 크기, 위치한 각도, 종류 등에 제한 받지 않고 실시간으로 객체를 검출할 수 있는 방법이 필요하다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 컴퓨터 비전 분야의 사용자가 효율적으로 객체를 검출 및 추적할 수 있도록 입력 영상의 이미지 피라미드 생성 및 판단된 회전 각도에 기반하여 이미지 패치를 특정하여 서술자를 통해 템플릿 매칭을 실행하는 템플릿 매칭을 이용한 객체 검출 방법 및 장치를 제공하는 것이다.
본 발명의 제1 특징에 따른 템플릿 매칭을 이용한 객체 검출 방법은, 입력 영상에서 검출하려는 객체의 템플릿 이미지를 특정하고 상기 특정된 템플릿 이미지의 서술자를 생성하는 단계; 상기 입력 영상의 스케일을 변환하여 상기 특정된 템플릿 이미지와 동일한 크기의 이미지 패치들을 생성하는 이미지 피라미드 생성 단계; 상기 입력 영상의 회전 각도를 판단하는 단계; 상기 판단된 회전 각도에 기반하여 상기 생성된 이미지 패치들의 서술자를 생성하는 단계; 및 상기 특정된 템플릿 이미지의 서술자 및 상기 생성된 이미지 패치들의 서술자를 매칭시켜 상기 검출하려는 객체를 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 제2 특징에 따른 템플릿 매칭을 이용한 객체 검출 장치는, 입력 영상에서 검출하려는 객체의 템플릿 이미지 및 윈도우를 특정하는 이미지 설정부; 상기 입력 영상의 스케일을 변환하여 상기 특정된 템플릿 이미지와 동일한 크기의 이미지 패치들을 생성하는 가우시안 피라미드부; 상기 입력 영상의 회전 각도를 판단하는 이미지 모멘트 연산부; 상기 템플릿 이미지의 서술자 및 상기 판단된 회전 각도에 기반하여 상기 생성된 이미지 패치들의 서술자를 생성하는 서술자 생성부; 및 상기 템플릿 이미지의 서술자 및 상기 이미지 패치들의 서술자를 매칭시키는 해밍 디스턴스 매칭부를 포함하는 것을 특징으로 한다.
본 발명의 제3 특징에 따른 템플릿 매칭을 이용한 객체 검출을 제공하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체는, 본 발명의 제1 특징에 따른 템플릿 매칭을 이용한 객체 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 것을 특징으로 한다.
본 발명의 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법 및 장치는 다음과 같은 효과를 제공한다.
검출하려는 객체의 크기, 위치한 각도, 종류 등에 제한 받지 않고 실시간으로 객체를 검출할 수 있다.
딥러닝 알고리즘을 사용하지 않으면서도 객체를 검출 가능하여 딥러닝 모델 구현을 위한 물리적, 시간적 제약 없이 신속한 객체의 검출이 가능하다.
템플릿 이미지의 추가 시에 템플릿 이미지 전체의 저장이 아닌 템플릿 이미지에 대응되는 서술자만을 저장하면 되므로 저장되는 데이터의 양 측면에서 효율적이다.
도 1은 본 발명의 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법의 플로우차트를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 예시적인 입력 영상 및 템플릿 이미지를 나타낸 도면이다.
도 4는 본 발명의 특수한 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법의 보다 구체적인 흐름을 도시한 도면이다.
도 5는 본 발명의 특수한 일 실시 예에 따른 입력 영상의 스케일 변환에 따라 생성된 이미지 피라미드에 관한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 특정한 윈도우를 통해 입력 영상의 회전 각도를 판단하는 방법을 예시적으로 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 하나의 입력 이미지에 대하여 서로 다른 두 템플릿 이미지로 테스트를 진행하여 결과를 정리한 표를 도시한 도면이다.
이하, 본 발명에 대해서 실시예 및 도면을 참조하여 구체적으로 설명한다. 그러나, 이하의 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법의 플로우차트를 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 장치의 블록도이며, 도 3은 본 발명의 일 실시 예에 따른 예시적인 입력 영상 및 템플릿 이미지를 나타낸 도면이다.
도 1 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법(100)은, 입력 영상에서 검출하려는 객체의 템플릿 이미지를 특정하고 상기 특정된 템플릿 이미지의 서술자를 생성하는 단계(110); 상기 입력 영상의 스케일을 변환하여 상기 특정된 템플릿 이미지와 동일한 크기의 이미지 패치들을 생성하는 이미지 피라미드 생성 단계(120); 상기 입력 영상의 회전 각도를 판단하는 단계(130); 상기 판단된 회전 각도에 기반하여 상기 생성된 이미지 패치들의 서술자를 생성하는 단계(140); 및 상기 특정된 템플릿 이미지의 서술자 및 상기 생성된 이미지 패치들의 서술자를 매칭시켜 상기 검출하려는 객체를 검출하는 단계(150)를 포함하는 것을 특징으로 한다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 장치(200)는, 입력 영상에서 검출하려는 객체의 템플릿 이미지 및 윈도우를 특정하는 이미지 설정부(210); 상기 입력 영상의 스케일을 변환하여 상기 특정된 템플릿 이미지와 동일한 크기의 이미지 패치들을 생성하는 가우시안 피라미드부(220); 상기 입력 영상의 회전 각도를 판단하는 이미지 모멘트 연산부(230); 상기 템플릿 이미지의 서술자 및 상기 판단된 회전 각도에 기반하여 상기 생성된 이미지 패치들의 서술자를 생성하는 서술자 생성부(240); 및 상기 템플릿 이미지의 서술자 및 상기 이미지 패치들의 서술자를 매칭시키는 해밍 디스턴스 매칭부(250)를 포함하는 것을 특징으로 한다.
우선 템플릿 매칭을 이용한 객체 검출 장치(200)의 이미지 설정부(210)는 입력 영상(300)에서 검출하려는 객체(310)의 템플릿 이미지(350)를 특정하고, 서술자 생성부(240)에서 상기 특정된 템플릿 이미지(350)의 서술자를 생성(110)하여 블록 메모리(Block Memory, 미도시)에 저장한다. 이후 가우시안 피라미드부(220)는 상기 입력 영상(300)의 스케일을 변환하여 상기 특정된 템플릿 이미지와 동일한 크기의 이미지 패치들(미도시)을 생성(120)한다.
본 발명의 일 실시 예에 있어서, 하나의 템플릿 이미지를 다양한 크기로 변환한 입력 영상들과 매칭시키면 템플릿 이미지 상의 객체와 입력 영상에 위치한 객체의 크기가 서로 다르더라도 검출이 가능하게 되며, 상기 다양한 크기로 변환한 입력 영상들은 이미지 피라미드에 해당할 수 있다.
본 발명의 일 실시 예에 있어서, 이미지 피라미드의 생성(120)은 입력 영상(300)의 스케일을 확대하여 배율이 두 배가 되는 지점에서 해상도를 절반으로 줄임으로써 연속적인 스케일을 가지는 이미지를 생성할 수 있으며, 이렇게 생성된 입력 영상(300)의 이미지들 각각에서 이미지 패치들을 생성할 수 있다.
가우시안 피라미드부(220)는 가우시안 블러부(222) 및 이미지 리사이징부(224)를 포함하고, 가우시안 블러부(222)는 배율이 2배가 되는 지점까지 입력 영상의 스케일을 확대하는 동작을 수행하며, 이미지 리사이징부(224)는 해상도를 절반으로 줄이는 동작을 수행하게 된다.
본 발명의 일 실시 예에 있어서, 입력 영상(300)의 스케일 확대는 상기 입력 영상과 가우시안 커널을 컨볼루션하는 방식의 가우시안 피라미드 기법을 사용하여 이루어질 수 있으며, 이 경우 사용되는 수식들은 다음과 같다.
Figure pat00001
Figure pat00002
상기 수학식1 및 수학식2를 사용하여 영상과 가우시안 커널을 컨볼루션하면 원본 영상에 대해 σ 배율만큼 영상의 스케일이 확대되며, 배율이 2배가 되는 지점인 σ값이 2가 되는 지점에서 해상도를 절반으로 줄이면서 연속적으로 여러 스케일을 가진 이미지를 생성할 수 있다.
도 5는 본 발명의 특수한 일 실시 예에 따른 입력 영상의 스케일 변환에 따라 생성된 이미지 피라미드에 관한 도면으로서, 영상의 크기에 따라 각각 3종류의 배율 값을 적용한 경우이다.
다시 도 1을 참조하면, 본 발명의 일 실시 예에 따른 입력 영상의 회전 각도를 판단하는 단계(130)는, 상기 입력 영상에서 상기 특정된 템플릿 이미지와 동일한 크기의 윈도우를 특정하는 단계(132); 상기 특정된 윈도우의 1차 모멘트 값을 획득하는 단계(134); 상기 획득한 1차 모멘트 값을 기반으로 상기 특정된 윈도우의 중심점을 산출하는 단계(136); 및 상기 특정된 윈도우의 상대각도를 산출하는 단계(138)를 포함하는 것을 특징으로 한다.
이미지 설정부(210)는 입력 영상(300)에서 특정된 템플릿 이미지(350)와 동일한 크기의 윈도우(미도시)를 특정하고, 이미지 모멘트 연산부(230)는 상기 특정된 윈도우의 1차 모멘트 값을 획득하여, 획득한 1차 모멘트 값을 기반으로 상기 특정된 윈도우의 중심점을 산출하고, 상기 산출된 중심점을 기반으로 상기 특정된 윈도우의 상대각도를 산출한다.
본 발명의 일 실시 예에 있어서, 입력 영상(300)의 각도를 검출하기 위해서 입력 영상에서 기 특정된 템플릿 이미지(350)의 크기와 동일한 크기를 갖도록 윈도우를 특정하여 상기 특정된 윈도우의 각도를 검출하는 방법을 수행할 수 있다.
보다 구체적으로, Intensity Centroid 방법을 이용하여 특정된 윈도우의 중심점을 구함에 있어서,
Figure pat00003
상기 수학식3을 이용하여 특정된 윈도우의 1차 모멘트를 산출한다. 이 경우, 입력 영상 전체에 대한 1차 모멘트를 산출하는 것이 아님에 유의하여야 한다.
산출된 1차 모멘트 값을 기반으로 하기 수학식4를 이용하여 특정된 윈도우에 대한 중심점을 산출한다. 참고로, 도 6의 하단 도면은 특정된 윈도우에서 1차 모멘트를 이용하여 산출된 중심점을 표시한 도면이다.
Figure pat00004
산출된 중심점에 atan2를 적용하여 -180~180도 사이의 상대각도 값을 측정하여 최종적으로 입력 영상(300)의 회전 각도를 판단할 수 있다.
본 발명의 일 실시 예에 있어서, 서술자의 생성(140)은 서술자 생성부(240)가 판단된 회전 각도에 기반하여 생성된 이미지 패치들의 서술자를 생성하는 것으로 이루어질 수 있으며, 보다 상세하게는 다음과 같다.
Figure pat00005
Figure pat00006
상기 수학식5 및 수학식6을 사용하여 데이터 사이즈가
Figure pat00007
의 비트 수를 갖는 서술자를 생성한다. 본 발명의 일 실시 예에 있어서
Figure pat00008
값은 256일 수 있으나, 이에 제한되지는 않음에 유의하여야 한다. 수학식5를 사용하여
Figure pat00009
비트의 서술자를 생성하기 위해서는
Figure pat00010
쌍의 x,y 좌표가 필요하며, 이진 테스트의 x,y 좌표쌍은 등방성 가우시안(0,
Figure pat00011
)에 따라 추출한다. 참고로, 도 6의 상단 도면은 서술자 생성 시 x,y 좌표쌍이 특정된 윈도우에 표시된 것을 나타낸 도면이다.
이미지 패치의 방향(즉, 입력 영상의 방향)에 관계없이 템플릿 이미지를 통해 객체를 검출하기 위해서, 상술한 1차 모멘트를 통해 판단된 입력 영상(300)의 회전 각도를 기반으로 상기 x,y 좌표쌍을 회전시켜 서술자를 생성하며, 이는 하기의 수학식7에 의해 산출된다.
Figure pat00012
객체의 검출(150)은, 상술한 바와 같이 서술자 생성부(240)에서 생성되어 블록 메모리(Block Memory, 미도시)에 저장된 특정된 템플릿 이미지(350)의 서술자 및 이미지 피라미드에서 생성된 이미지 패치들의 서술자들을 매칭시킴으로써 수행되고, 이는 해밍 디스턴스 매칭부(250)에서 이루어진다.
본 발명의 일 실시 예에 있어서, 보다 상세하게는, 입력 영상이 다양한 크기로 변환된 이미지 피라미드에서 각 크기에 대한 윈도우의 서술자들이 생성되고, 이렇게 생성된 서술자들을 블록 메모리에 저장되어 있는 템플릿 이미지의 서술자와 매칭시키며, 구체적으로는 해밍 디스턴스 연산을 통해 일정 임계값 이상이면 매칭시킨다. 매칭된 좌표들을 실시간으로 출력하여 객체를 검출 및 추적하게 된다.
도 4는 본 발명의 특수한 일 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법의 보다 구체적인 흐름을 도시한 도면으로서, 본 발명의 일 실시 예에 있어서, 입력 영상은 640x480의 크기일 수 있고, 도 4와 같은 과정을 거쳐서 객체가 검출될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 하나의 입력 이미지에 대하여 서로 다른 두 템플릿 이미지로 테스트를 진행하여 결과를 정리한 표를 도시한 도면이다.
도 7을 참조하면, 각 템플릿 이미지를 각각 0도, 90도, 180도, 270도로 회전시켜 매칭시킨 결과이며, FPGA 처리결과 및 정답 좌표는 정확히 일치하였기에 그에 대한 정확도는 100%를 얻었다. 서술자들을 해밍 디스턴스 연산 방법을 사용하여 매칭한 경우 서술자 매칭 정확도는 평균 90%를 얻었다.
지금까지 살펴본 바와 같이, 본 발명의 실시 예에 따른 템플릿 매칭을 이용한 객체 검출 방법 및 장치는 입력 영상의 이미지 피라미드 생성 및 판단된 회전 각도에 기반하여 이미지 패치를 특정하여 서술자를 통해 템플릿 매칭을 실행하는 템플릿 매칭을 이용하여, 검출하려는 객체의 크기, 위치한 각도, 종류 등에 제한 받지 않고 실시간으로 객체를 검출할 수 있고, 딥러닝 알고리즘을 사용하지 않으면서도 객체를 검출 가능하여 딥러닝 모델 구현을 위한 물리적, 시간적 제약 없이 신속한 객체의 검출이 가능하며, 템플릿 이미지의 추가 시에 템플릿 이미지 전체의 저장이 아닌 템플릿 이미지에 대응되는 서술자만을 저장하면 되므로 저장되는 데이터의 양 측면에서 효율적인 효과를 제공한다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
다양한 변형예가 본 발명의 범위를 벗어남이 없이 본 명세서에 기술되고 예시된 구성 및 방법으로 만들어질 수 있으므로, 상기 상세한 설명에 포함되거나 첨부 도면에 도시된 모든 사항은 예시적인 것으로 본 발명을 제한하기 위한 것이 아니다. 따라서, 본 발명의 범위는 상술한 예시적인 실시예에 의해 제한되지 않으며, 이하의 청구 범위 및 그 균등물에 따라서만 정해져야 한다.
210: 이미지 설정부 220: 가우시안 피라미드부
222: 가우시안 블러부 224: 이미지 리사이징부
230: 이미지 모멘트 연산부 240: 서술자 생성부
250: 해밍 디스턴스 매칭부 300: 입력 영상
310: 검출하려는 객체 350: 템플릿 이미지

Claims (13)

  1. 템플릿 매칭을 이용한 객체 검출 방법에 있어서,
    입력 영상에서 검출하려는 객체의 템플릿 이미지를 특정하고 상기 특정된 템플릿 이미지의 서술자를 생성하는 단계;
    상기 입력 영상의 스케일을 변환하여 상기 특정된 템플릿 이미지와 동일한 크기의 이미지 패치들을 생성하는 이미지 피라미드 생성 단계;
    상기 입력 영상의 회전 각도를 판단하는 단계;
    상기 판단된 회전 각도에 기반하여 상기 생성된 이미지 패치들의 서술자를 생성하는 단계; 및
    상기 특정된 템플릿 이미지의 서술자 및 상기 생성된 이미지 패치들의 서술자를 매칭시켜 상기 검출하려는 객체를 검출하는 단계를 포함하는, 템플릿 매칭을 이용한 객체 검출 방법.
  2. 제1항에 있어서,
    상기 이미지 피라미드 생성 단계는 상기 입력 영상의 스케일을 확대하여 배율이 두 배가 되는 지점에서 해상도를 절반으로 줄임으로써 연속적인 스케일을 가지는 이미지를 생성하여 상기 이미지 패치들을 생성하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 방법.
  3. 제2항에 있어서,
    상기 입력 영상의 스케일 확대는 상기 입력 영상과 가우시안 커널을 컨볼루션하는 방식의 가우시안 피라미드 기법을 사용하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 방법.
  4. 제1항에 있어서,
    상기 입력 영상의 회전 각도를 판단하는 단계는,
    상기 입력 영상에서 상기 특정된 템플릿 이미지와 동일한 크기의 윈도우를 특정하는 단계;
    상기 특정된 윈도우의 1차 모멘트 값을 획득하는 단계;
    상기 획득한 1차 모멘트 값을 기반으로 상기 특정된 윈도우의 중심점을 산출하는 단계; 및
    상기 산출된 중심점을 기반으로 상기 특정된 윈도우의 상대각도를 산출하는 단계를 포함하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 방법.
  5. 제1항에 있어서,
    상기 서술자를 생성하는 단계는 상기 판단된 회전 각도를 이용하여 상기 생성된 이미지 패치들의 좌표쌍을 회전시킴으로써 서술자를 생성하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 방법.
  6. 제1항에 있어서,
    상기 서술자들의 데이터 사이즈는 256비트(bit)인 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 방법.
  7. 템플릿 매칭을 이용한 객체 검출 장치에 있어서,
    입력 영상에서 검출하려는 객체의 템플릿 이미지 및 윈도우를 특정하는 이미지 설정부;
    상기 입력 영상의 스케일을 변환하여 상기 특정된 템플릿 이미지와 동일한 크기의 이미지 패치들을 생성하는 가우시안 피라미드부;
    상기 입력 영상의 회전 각도를 판단하는 이미지 모멘트 연산부;
    상기 템플릿 이미지의 서술자 및 상기 판단된 회전 각도에 기반하여 상기 생성된 이미지 패치들의 서술자를 생성하는 서술자 생성부; 및
    상기 템플릿 이미지의 서술자 및 상기 이미지 패치들의 서술자를 매칭시키는 해밍 디스턴스 매칭부를 포함하는, 템플릿 매칭을 이용한 객체 검출 장치.
  8. 제7항에 있어서,
    상기 가우시안 피라미드부는 가우시안 블러부 및 이미지 리사이징부를 포함하고,
    상기 가우시안 블러부가 상기 입력 영상의 스케일을 확대하여 배율이 두 배가 되는 지점에서 상기 이미지 리사이징부가 해상도를 절반으로 줄임으로써 연속적인 스케일을 가지는 이미지를 생성하여 상기 이미지 패치들을 생성하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 장치.
  9. 제8항에 있어서,
    상기 가우시안 블러부의 상기 입력 영상의 스케일 확대는 상기 입력 영상과 가우시안 커널을 컨볼루션하는 방식의 가우시안 피라미드 기법을 사용하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 장치.
  10. 제7항에 있어서,
    상기 입력 영상의 회전 각도의 판단은,
    상기 이미지 설정부가 상기 입력 영상에서 상기 특정된 템플릿 이미지와 동일한 크기의 윈도우를 특정하고,
    상기 이미지 모멘트 연산부가 상기 특정된 윈도우의 1차 모멘트 값을 획득하며, 상기 획득한 1차 모멘트 값을 기반으로 상기 특정된 윈도우의 중심점을 산출하고, 상기 산출된 중심점을 기반으로 상기 특정된 윈도우의 상대각도를 산출하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 장치.
  11. 제7항에 있어서,
    상기 서술자 생성부는 상기 생성된 이미지 패치들의 서술자를 생성할 시 상기 판단된 회전 각도를 이용하여 상기 생성된 이미지 패치들의 좌표쌍을 회전시킴으로써 서술자를 생성하는 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 장치.
  12. 제7항에 있어서,
    상기 서술자들의 데이터 사이즈는 256비트(bit)인 것을 특징으로 하는 템플릿 매칭을 이용한 객체 검출 장치.
  13. 템플릿 매칭을 이용한 객체 검출을 제공하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
    제1항 내지 제6항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020210179910A 2021-12-15 2021-12-15 템플릿 매칭을 이용한 객체 검출 방법 및 장치 KR20230090822A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210179910A KR20230090822A (ko) 2021-12-15 2021-12-15 템플릿 매칭을 이용한 객체 검출 방법 및 장치
US18/081,952 US20230186595A1 (en) 2021-12-15 2022-12-15 Object detection method and device using template matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210179910A KR20230090822A (ko) 2021-12-15 2021-12-15 템플릿 매칭을 이용한 객체 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230090822A true KR20230090822A (ko) 2023-06-22

Family

ID=86694733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210179910A KR20230090822A (ko) 2021-12-15 2021-12-15 템플릿 매칭을 이용한 객체 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US20230186595A1 (ko)
KR (1) KR20230090822A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197507B (zh) * 2023-11-07 2024-02-09 北京闪马智建科技有限公司 图像块的确定方法及装置、存储介质及电子装置

Also Published As

Publication number Publication date
US20230186595A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
JP6588053B2 (ja) 点群データにアノテーションを付与する方法および装置
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
US10963041B2 (en) Gesture recognition using multi-sensory data
EP2064652B1 (en) Method of image processing
US10204423B2 (en) Visual odometry using object priors
Holte et al. View-invariant gesture recognition using 3D optical flow and harmonic motion context
US9305240B2 (en) Motion aligned distance calculations for image comparisons
US10891473B2 (en) Method and device for use in hand gesture recognition
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN110555908B (zh) 基于室内移动目标背景修复的三维重建方法
Santos et al. Orthogonal variant moments features in image analysis
CN107516322B (zh) 一种基于对数极空间的图像物体大小和旋转估计计算方法
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
Liu et al. 3D Human motion tracking by exemplar-based conditional particle filter
Masood et al. Recognition and tracking of objects in a clustered remote scene environment
Rice et al. Cantag: an open source software toolkit for designing and deploying marker-based vision systems
Zhang et al. Superellipse fitting to partial data
KR20230090822A (ko) 템플릿 매칭을 이용한 객체 검출 방법 및 장치
JP6244886B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Rice et al. Analysing fundamental properties of marker-based vision system designs
JP2015507736A (ja) ターゲットサイズを見積もるためのシステム及び方法
CN116402867A (zh) 融合sift和ransac的三维重建图像对齐的方法
Freeman et al. A method for predicting marker tracking error
Al-Shatnawi A Novel Baseline Estimation Method for Arabic Handwritten Text Based on Exploited Components of Voronoi Diagrams.
Hui et al. Determining shape and motion from monocular camera: A direct approach using normal flows

Legal Events

Date Code Title Description
E902 Notification of reason for refusal