KR102548722B1 - 템플릿 매칭 방법 및 그 장치 - Google Patents

Abstract

템플릿 매칭(template matching) 방법이 제공된다. 템플릿 매칭 장치에서 수행되는 본 발명의 일 실시예에 따른 템플릿 매칭 방법은 있어서, 타깃 이미지(target image)를 획득하는 단계, 상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 단계 및 상기 제2 시작점에서, 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 단계를 포함할 수 있다.

Description

템플릿 매칭 방법 및 그 장치{METHOD FOR MATCHING TEMPLATE AND APPARATUS THEREOF}

본 발명은 템플릿 매칭 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 주어진 이미지에서 고속으로 템플릿 매칭을 수행하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.

템플릿 매칭(template matching) 기법은 타깃 이미지에서 템플릿 이미지에 매칭되는 특정 영역을 찾는 기법으로, 객체 검출, 객체 인식, 객체 추적, 움직임 벡터(motion vector) 검출 등 다양한 분야에서 활용된다.

타깃 이미지에서 템플릿 이미지에 매칭되는 특정 영역을 찾기 위해, 일반적으로 전역 탐색 알고리즘(full search algorithm)이 이용된다. 전역 탐색 알고리즘은 타깃 이미지의 모든 후보 영역을 탐색하며 주어진 템플릿 이미지와 유사도 연산을 수행하고, 매칭이 가장 잘되는 후보 영역을 선택하는 방법이다.

전역 탐색 알고리즘은 타깃 이미지에서 템플릿 이미지에 매칭되는 영역을 정확하게 찾을 수 있다는 장점이 있으나, 소모되는 컴퓨팅 비용이 높기 때문에 고속으로 템플릿 매칭이 수행될 수 없다는 단점이 있다. 가령, 도 1에 도시된 바와 같이, 타깃 이미지(1)의 크기가 K x L이고 템플릿 이미지(5)의 크기가 N x M인 경우, 전체 템플릿 매칭의 시간 복잡도는 무려 O(K x L x N x M)가 된다. 따라서, 다수의 이미지 프레임에 대한 실시간 분석이 요구되는 환경에서는 전역 탐색에 기반한 템플릿 매칭 기법을 이용하기 어렵다.

위와 같은 문제를 해결하기 위해, 타깃 이미지의 일부 지점에서 희소 탐색(sparse search)을 수행하는 방법이 제안된 바 있다. 그러나, 제안된 방법은 지역적 최소점(local minima)에 빠짐으로써 템플릿 매칭 결과의 신뢰도 및 정확도가 크게 떨어지는 문제를 야기한다.

따라서, 템플릿 매칭 결과의 정확도를 보장함과 동시에 고속으로 템플릿 매칭을 수행하는 방법이 요구된다.

한국공개특허 제10-2017-0138842 (2017.12.18일 공개)

본 발명이 해결하고자 하는 기술적 과제는, 고속으로 템플릿 매칭을 수행하는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 지역적 최소점에 빠지는 것을 방지함으로써 템플릿 매칭 결과의 정확도를 향상시킬 수 있는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 템플릿 매칭 방법은, 템플릿 매칭 장치에서 수행되는 템플릿 매칭(template matching) 방법에 있어서, 타깃 이미지(target image)를 획득하는 단계, 상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 단계 및 상기 제2 시작점에서, 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제2 시작점을 결정하는 단계는, 상기 탐색 윈도우에 배치된 탐색점에서 제1 템플릿 유사도 연산을 수행하는 단계, 상기 탐색 윈도우의 크기를 확장하는 단계, 상기 확장된 탐색 윈도우에 배치된 탐색점에서 제2 템플릿 유사도 연산을 수행하는 단계 및 상기 제2 템플릿 유사도 연산의 결과에 기초하여 상기 제2 시작점을 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제2 시작점을 결정하는 단계는, 상기 탐색 윈도우에 배치된 탐색점에서 템플릿 유사도 연산을 수행하는 단계 및 상기 템플릿 유사도 연산의 결과가 소정의 조건을 만족하지 않는다는 판정에 응답하여, 상기 탐색 윈도우를 이동시키는 단계를 포함할 수 있다. 이때, 상기 템플릿 유사도 연산의 결과가 소정의 조건을 만족한다는 판정에 응답하여, 상기 탐색 윈도우의 크기가 확장될 수 있다.

일 실시예에서, 상기 탐색점은 기준 탐색점에 대응되는 제1 탐색점과 상기 기준 탐색점에 대응되지 않는 제2 탐색점을 포함하고, 상기 탐색 윈도우의 위치를 이동시키는 단계는, 상기 제2 탐색점에서의 제2 템플릿 유사도 값이 상기 제1 탐색점에서의 제1 템플릿 유사도 값보다 큰지 여부를 판정하는 단계 및 상기 제2 템플릿 유사도 값이 더 크다는 판정에 응답하여, 상기 제1 탐색점에서 상기 제2 탐색점 방향으로 상기 탐색 윈도우를 이동시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 제2 템플릿 매칭을 수행하는 단계는, 상기 탐색 윈도우에 배치된 탐색점에서 제1 템플릿 유사도 연산을 수행하는 단계, 상기 탐색 윈도우의 크기를 축소하는 단계 및 상기 축소된 탐색 윈도우에 배치된 탐색점에서 제2 템플릿 유사도 연산을 수행하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제2 템플릿 매칭을 수행하는 단계는, 상기 탐색 윈도우에 배치된 탐색점에서 제1 템플릿 유사도 연산을 수행하는 단계 및 상기 제1 템플릿 유사도 연산의 결과가 소정의 조건을 만족하지 않는다는 판정에 응답하여, 상기 탐색 윈도우를 이동시키는 단계를 포함할 수 있다. 이때, 상기 제1 템플릿 유사도 연산의 결과가 소정의 조건을 만족한다는 판정에 응답하여, 상기 탐색 윈도우의 크기가 축소될 수 있다.

일 실시예에서, 상기 탐색점은 기준 탐색점에 대응되는 제1 탐색점과 상기 기준 탐색점에 대응되지 않는 제2 탐색점을 포함하고, 상기 탐색 윈도우의 위치를 이동시키는 단계는, 상기 제2 탐색점에서의 제2 템플릿 유사도 값이 상기 제1 탐색점에서의 제1 템플릿 유사도 값보다 큰지 여부를 판정하는 단계, 상기 제2 템플릿 유사도 값이 더 크다는 판정에 응답하여, 상기 제1 탐색점에서 상기 제2 탐색점 방향으로 상기 탐색 윈도우를 이동시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 시작점은 상기 타깃 이미지의 이전 프레임에서 검출된 객체의 위치에 기초하여 결정될 수 있다.

일 실시예에서, 상기 제2 템플릿 매칭이 수행되는 탐색점의 개수는 상기 제1 템플릿 매칭이 수행되는 탐색점의 개수보다 많을 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 템플릿 매칭 장치는, 프로세서 및 상기 프로세서에 의해 실행되는 적어도 하나의 프로그램을 저장하는 메모리를 포함하되, 상기 적어도 하나의 프로그램은, 타깃 이미지(target image)를 획득하는 동작, 상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 동작 및 상기 제2 시작점에서, 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 동작을 수행하도록 하는 인스트럭션들(instructions)을 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 타깃 이미지(target image)를 획득하는 단계, 상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 단계 및 상기 제2 시작점에서, 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 단계를 실행시키기 위하여, 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.

도 1은 전역 탐색 기반의 템플릿 매칭 방법의 문제점을 설명하기 위한 도면이다.
도 2는 본 발명의 몇몇 실시예들이 적용될 수 있는 예시적인 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 템플릿 매칭 장치를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 템플릿 매칭 장치를 나타내는 하드웨어 구성도이다.
도 5는 본 발명의 일 실시예에 따른 템플릿 매칭 방법을 나타내는 흐름도이다.
도 6 및 도 7은 본 발명의 몇몇 실시예에서 참조될 수 있는 탐색 패턴을 보여주는 예시도이다.
도 8은 도 6에 도시된 탐색 패턴에 따라 탐색 윈도우가 확장되는 과정을 보여주는 예시도이다.
도 9는 도 7에 도시된 탐색 패턴에 따라 탐색 윈도우가 확장되는 과정을 보여주는 예시도이다.
도 10은 본 발명의 제1 실시예에 따른 확장 탐색 방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에서 탐색 윈도우의 크기 확장에 따라 탐색점의 개수를 변경하는 과정을 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시예에서 탐색 윈도우의 이동 방향의 변화 정도에 따라 탐색점의 개수를 변경하는 과정을 설명하기 위한 예시도이다.
도 13은 본 발명의 제2 실시예에 따른 확장 탐색 방법을 나타내는 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 축소 탐색 방법을 나타내는 흐름도이다.
도 15는 본 발명의 일 실시예에서 탐색 윈도우의 이동 방향을 기초로 템플릿 유사도 연산이 수행되는 탐색점의 개수를 제한하는 방법을 설명하기 위한 예시도이다.
도 16은 전역 탐색 기반의 템플릿 매칭 방법과 본 발명의 실시예에 따른 템플릿 매칭 방법의 비교 실험 결과를 도시한다.
도 17은 본 발명의 제1 활용예에 따른 단일 객체 추적 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 제2 활용예에 따른 단일 객체 추적 방법을 설명하기 위한 도면이다.
도 19는 본 발명의 제3 활용예에 따른 다중 객체 추적 방법을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 2은 본 발명의 몇몇 실시예들이 적용될 수 있는 예시적인 시스템을 도시한다.

도 2를 참조하면, 상기 예시적인 시스템은 이미지 분석 장치(100) 및 이미지 촬영 장치(200)를 포함하도록 구성될 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 2에 도시된 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 가령, 이미지 분석 장치(100)와 이미지 촬영 장치(200)가 하나의 물리적인 장치로 구현될 수도 있다. 이하, 상기 예시적인 시스템의 구성 요소에 대하여 설명한다.

상기 예시적인 시스템에서, 이미지 분석 장치(100)는 템플릿 매칭에 기반하여 이미지 분석을 수행하는 컴퓨팅 장치이다. 예를 들어, 이미지 분석 장치(100)는 템플릿 매칭을 통해 객체 검출, 객체 인식, 객체 추적 등의 지능형 이미지 분석을 수행할 수 있다.

상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 다만, 실시간 이미지 분석이 요구되는 환경이라면, 이미지 분석 장치(100)는 고성능의 서버 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다.

본 발명의 실시예에 따르면, 이미지 분석 장치(100)는 두 단계의 탐색 과정을 통해 템플릿 매칭을 수행할 수 있다. 구체적으로, 이미지 분석 장치(100)는 탐색 윈도우(search window)를 점차 확장해가며 템플릿 유사도 연산을 수행하는 확장 탐색 과정과 탐색 윈도우를 점차 축소해가며 템플릿 유사도 연산을 수행하는 축소 탐색 과정을 통해 템플릿 매칭을 수행할 수 있다. 상기 템플릿 유사도 연산은, 최적의 템플릿 매칭을 찾기 위해 참조되는 값을 연산하는 것으로 이해될 수 있을 것이다.

상기 확장 탐색 과정은 타깃 이미지(target image)의 전반적인 영역을 탐색하여 전역적 최소점(global minima)을 찾는 과정으로 이해될 수 있다. 또한, 상기 축소 탐색 과정은 전역적 최소점 부근을 보다 정밀하게 탐색하는 과정으로 이해될 수 있다. 이와 같은 실시예에 한하여, 이미지 분석 장치(100)는 "템플릿 매칭 장치"로 명명될 수 있다. 본 실시예에 따르면, 확장 탐색을 통해 지역적 최소점에 빠지는 문제가 해소되는 바, 템플릿 매칭 결과의 정확도가 향상될 수 있다. 뿐만 아니라, 전역 탐색 기법이 이용되지 않는 바, 템플릿 매칭의 속도 또한 향상될 수 있다. 본 실시예에 대한 자세한 설명은 도 3 이하의 도면을 참조하여 상세하게 설명하도록 한다.

상기 예시적인 시스템에서, 이미지 촬영 장치(200)는 분석 대상 이미지를 제공하는 장치이다. 특히, 도 2는 복수의 이미지 촬영 장치(200)가 상기 예시적인 시스템에 포함된 경우를 예로써 도시하고 있다.

이미지 촬영 장치(200)는 지정된 영역을 촬영하여 분석 대상 이미지를 생성하고, 상기 분석 대상 이미지를 실시간 또는 비실시간으로 이미지 분석 장치(100)에게 제공할 수 있다. 분석 대상 이미지를 제공할 수 있다면, 이미지 촬영 장치(200)는 어떠한 장치로 구현되더라도 무방하다.

상기 예시적인 시스템에서, 이미지 분석 장치(100)와 이미지 촬영 장치(200)는 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

지금까지 도 2를 참조하여 본 발명의 몇몇 실시예들이 적용될 수 있는 예시적인 시스템에 대하여 설명하였다. 이하에서는, 본 발명의 실시예에 따른 템플릿 매칭 장치(100)의 구성 및 동작에 대하여 도 3 및 도 4를 참조하여 설명한다.

도 3은 본 발명의 일 실시예에 따른 템플릿 매칭 장치(100)를 나타내는 블록도이다.

도 3을 참조하면, 템플릿 매칭 장치(100)는 이미지 획득부(110), 템플릿 매칭부(130)를 포함하도록 구성될 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 또한, 도 3에 도시된 템플릿 매칭 장치(100)의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다.

각 구성 요소를 살펴보면, 이미지 획득부(110)는 템플릿 매칭이 수행될 타깃 이미지를 획득한다. 예를 들어, 이미지 획득부(110)는 이미지 촬영 장치(200)로부터 실시간으로 타깃 이미지를 획득할 수 있다. 그러나, 이미지 획득부(110)가 타깃 이미지를 획득하는 방식은 어떠한 방식이 되더라도 무방하다.

다음으로, 템플릿 매칭부(130)는 획득된 타깃 이미지 상에서 템플릿 매칭을 수행한다. 이때, 템플릿 이미지의 종류는 어떠한 것이 되더라도 무방한다.

템플릿 매칭부(130)는 확장 탐색부(131) 및 축소 탐색부(133)를 포함하도록 구성될 수 있다.

확장 탐색부(131)는 탐색 윈도우를 확장해가며 템플릿 유사도 연산을 수행하는 확장 탐색 과정을 수행한다. 중복된 설명을 배제하기 위해, 확장 탐색부(131)의 동작에 대한 자세한 설명은 도 10 내지 도 13을 참조하여 후술하도록 한다.

축소 탐색부(133)는 탐색 윈도우를 축소해가며 템플릿 유사도 연산을 수행하는 축소 탐색 과정을 수행한다. 중복된 설명을 배제하기 위해, 축소 탐색부(133)의 동작에 대한 자세한 설명은 도 14 및 도 15를 참조하여 후술하도록 한다.

템플릿 매칭부(130)의 동작에 대한 설명은 도 5 내지 도 9의 설명 부분을 더 참조하도록 한다.

도 3에 도시된 템플릿 매칭 장치(100)의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.

다음으로, 도 4는 본 발명의 일 실시예에 따른 템플릿 매칭 장치(100)를 나타내는 하드웨어 구성도이다. 특히, 도 4는 템플릿 매칭 장치(100)가 프로세서(101) 및 메모리(103)를 구비한 컴퓨팅 장치로 구현된 것을 예로써 도시하고 있다.

도 4를 참조하면, 템플릿 매칭 장치(100)는 하나 이상의 프로세서(101), 버스(105), 네트워크 인터페이스(107), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 템플릿 매칭 소프트웨어(109a)를 저장하는 스토리지(109)를 포함할 수 있다. 다만, 도 4에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 4에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(101)는 템플릿 매칭 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 템플릿 매칭 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 템플릿 매칭 방법을 실행하기 위하여 스토리지(109)로부터 하나 이상의 프로그램(109a)을 로드할 수 있다. 도 4에서 메모리(103)의 예시로 RAM이 도시되었다.

메모리(103)에 프로그램(109a)이 로드되면, 도 3에 도시된 모듈(110, 130)이 메모리(103) 상에 로직(logic)의 형태로 구현될 수 있다.

버스(105)는 템플릿 매칭 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(105)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

네트워크 인터페이스(107)는 템플릿 매칭 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(107)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(107)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

스토리지(109)는 하나 이상의 프로그램(109a)을 비임시적으로 저장할 수 있다. 도 4에서 하나 이상의 프로그램(109a)의 예시로 템플릿 매칭 소프트웨어(109a)가 도시되었다.

스토리지(109)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

템플릿 매칭 소프트웨어(109a)는 메모리(103)에 로드될 때, 프로세서(101)로 하여금 본 발명의 실시예들에 따른 템플릿 매칭 방법을 수행하도록 하는 인스트럭션들(instructions)을 포함할 수 있다. 이때, 상기 인스트럭션은 기능을 기준으로 묶인 일련의 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.

예를 들어, 템플릿 매칭 소프트웨어(109a)는 타깃 이미지를 획득하는 동작, 상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 동작 및 상기 제2 시작점에서, 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 동작을 수행하도록 하는 인스트럭션들을 포함할 수 있다.

지금까지 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 템플릿 매칭 장치(100)의 구성 및 동작에 대하여 설명하였다. 이하에서는, 도 5 내지 도 15를 참조하여 본 발명의 실시예에 따른 템플릿 매칭 방법에 대하여 상세하게 설명한다.

이하, 본 발명의 실시예에 따른 템플릿 매칭 방법의 각 단계는, 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 템플릿 매칭 장치(100)일 수 있다. 이하에서는, 템플릿 매칭 장치(100)에 의해 상기 템플릿 매칭 방법이 수행되는 것을 가정하여 설명을 이어가도록 한다. 다만, 설명의 편의를 위해, 상기 템플릿 매칭 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다. 또한, 상기 템플릿 매칭 방법의 각 단계는 프로세서에 의해 실행되는 컴퓨터 프로그램의 인스트럭션들로 구현될 수 있다.

도 5는 본 발명의 일 실시예에 따른 템플릿 매칭 방법을 나타내는 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 5를 참조하면, 상기 템플릿 매칭 방법은 템플릿 매칭 장치(100)가 타깃 이미지를 획득하는 단계(S110)에서 시작된다.

단계(S130)에서, 템플릿 매칭 장치(100)는, 정확하게는 확장 탐색부(131)는, 탐색 윈도우를 확장하면서 템플릿 매칭을 수행한다. 본 단계(S130)는 확장 탐색을 통해 지역적 최소점에 빠지는 것을 방지하고, 전역적 최소점에 대응되는 최적의 탐색 위치를 찾아가는 과정으로 이해될 수 있다. 본 단계(S130)에서, 템플릿 매칭 장치(100)는 주어진 시작점에서부터 탐색 윈도우를 점차 확장해가며 템플릿 유사도 연산을 반복적으로 수행할 수 있다.

상기 템플릿 유사도 연산은 탐색 윈도우 내에 배치된 적어도 하나의 탐색점에서 수행될 수 있다. 이때, 상기 탐색점의 개수 및/또는 배치 위치는 미리 정의된 탐색 패턴에 따라 결정될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 즉, 탐색점의 개수 및/또는 배치 위치는 실시예에 따라 얼마든지 변형될 수 있다. 이하에서는, 이해의 편의를 제공하기 위해, 탐색점의 개수 및 배치 위치가 미리 정의된 탐색 패턴에 따라 결정되는 것을 가정하여 설명을 이어가도록 한다.

탐색 패턴에 따라 탐색점이 배치된 예는 도 6 및 도 7에 도시되어 있다. 구체적으로, 도 6은 다이아몬드 탐색 패턴에 따라 탐색점이 배치된 경우를 도시하고, 도 7은 사각형 탐색 패턴에 따라 탐색점이 배치된 경우를 도시하고 있다. 도 6 및 도 7에 도시된 바와 같이, 탐색 윈도우(10, 20) 내에 배치된 탐색점은 중심에 배치된 기준 탐색점(11, 21)과 외곽에 배치된 탐색점(13, 23)을 포함할 수 있다. 여기서, 탐색점을 탐색 윈도우의 외곽에 배치하는 이유는 이와 같은 배치가 지역적 최소점에 빠지는 것을 방지하는데 효과적이기 때문이다. 도 6 및 도 7에 도시된 탐색 패턴은 당해 기술 분야의 당업자라면 자명하게 이해할 수 있는 사항이므로 더 이상의 설명은 생략하도록 한다. 또한, 도 6 및 도 7에 도시된 탐색 패턴에 따라 탐색 윈도우의 크기가 확장되는 예는 각각 도 8 및 도 9를 참조하도록 한다.

본 단계(S130)에서 수행되는 확장 탐색 과정에 대한 자세한 설명은 도 10 내지 도 13을 참조하여 후술하도록 한다.

다시 도 5를 참조하면, 단계(S160)에서, 템플릿 매칭 장치(100)는, 정확하게는 축소 탐색부(133)는, 탐색 윈도우를 축소하면서 템플릿 매칭을 수행한다. 본 단계(S160)는 축소 탐색을 통해 보다 정밀하게 템플릿 이미지에 매칭되는 영역을 찾아가는 과정으로 이해될 수 있다. 본 단계(S160)에서, 템플릿 매칭 장치(100)는 이전 단계(S130)의 결과로 주어진 시작점에서부터 탐색 윈도우의 크기를 점차 축소해가며 템플릿 유사도 연산을 반복적으로 수행할 수 있다.

본 발명의 실시예에 따르면, 확장 탐색 단계(S130)에 이용되는 제1 탐색 윈도우보다 축소 탐색 단계(S160)에 이용되는 제2 탐색 윈도우에 더 많은 탐색점이 배치될 수 있다. 또는, 상기 제1 탐색 윈도우와 상기 제2 탐색 윈도우에 서로 다른 탐색 패턴이 적용될 수 있다. 예를 들어, 상기 제1 탐색 윈도우에는 다이아몬드 탐색 패턴이 적용되고, 상기 제2 탐색 윈도우에는 사각형 탐색 패턴이 적용될 수 있다. 본 실시예에 따르면, 축소 탐색 시에 탐색 패턴 및/또는 탐색점의 개수를 변경시킴으로써 보다 정밀하게 탐색이 수행되는 효과가 달성될 수 있다.

본 단계(S160)에서 수행되는 축소 탐색 과정에 대한 자세한 설명은 도 14 및 도 15를 참조하여 후술하도록 한다.

지금까지 도 5 내지 9를 참조하여 본 발명의 일 실시예에 따른 템플릿 매칭 방법에 대하여 개략적으로 설명하였다. 상술한 방법에 따르면, 확장 탐색을 통해 지역적 최소점에 빠지는 문제가 해소되고, 축소 탐색을 통해 템플릿 이미지에 매칭되는 영역이 정확하게 결정되는 바, 템플릿 매칭의 정확도가 크게 향상될 수 있다. 또한, 전역 탐색에 비해 템플릿 매칭에 소요되는 컴퓨팅 비용 및 시간 비용이 크게 절감될 수 있다.

이하에서는, 도 10 내지 도 13을 참조하여 본 발명의 몇몇 실시예들에 따른 확장 탐색 방법에 대하여 설명하도록 한다.

도 10은 본 발명의 제1 실시예에 따른 확장 탐색 방법을 나타내는 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 10을 참조하면, 상기 확장 탐색 방법은 템플릿 매칭 장치(100)가, 정확하게는 확장 탐색부(131)가, 파라미터(parameter)의 초기 값을 설정하는 단계(S210)에서 시작된다. 여기서, 상기 파라미터는 예를 들어 탐색 시작점, 탐색 윈도우의 초기 크기, 탐색 윈도우의 최대 크기, 탐색 윈도우의 확장 배수, 탐색 윈도우의 이동 간격(stride), 탐색 윈도우의 모양, 탐색점의 개수 및 배치 위치 등과 같이 설정가능한 모든 종류의 파라미터를 포함할 수 있다.

단계(S220)에서, 템플릿 매칭 장치(100)는 탐색 윈도우에 배치된 탐색점에서 템플릿 유사도 연산을 수행한다. 구체적으로, 템플릿 매칭 장치(100)는 각 탐색점 별로 타깃 이미지 영역과 템플릿 이미지 간의 템플릿 유사도 값을 산출한다. 상기 템플릿 유사도 값은, 최적의 템플릿 매칭을 찾기 위해 참조되는 값으로 이해될 수 있을 것이다. 상기 템플릿 유사도 값은, 예를 들어 상관 관계(correlation), SAD(sum of absolute differences), SSD(sum of squared differences) 등 다양한 비용 함수에 기초하여 산출될 수 있다. 다만, 본 발명의 범위가 이에 한정되는 것은 아니다. 이하에서는, 이해의 편의를 제공하기 위해, 상기 타깃 이미지 영역과 상기 템플릿 이미지가 유사할수록 상기 템플릿 유사도 값이 높은 값으로 산출된다고 가정하여 설명을 이어가도록 한다.

단계(S230)에서, 템플릿 매칭 장치(100)는 산출된 템플릿 유사도 값이 소정의 조건을 만족하는지 판정한다. 상기 소정의 조건은 예를 들어 기준 탐색점에서의 제1 템플릿 유사도 값이 다른 탐색점에서의 제2 템플릿 유사도 값보다 더 큰 경우를 의미할 수 있다. 다만, 본 발명의 범위가 이에 한정되는 것은 아니다. 상기 소정의 조건이 만족된다는 판정에 응답하여, 단계(S240)가 수행된다. 반대의 경우, 단계(S260)가 수행된다.

단계(S240)에서, 상기 소정의 조건이 만족되었다는 판정에 응답하여, 템플릿 매칭 장치(100)는 현재 탐색 윈도우의 크기가 최대 크기에 해당하는지 여부를 판정한다. 현재 탐색 윈도우의 크기가 최대 크기에 해당한다는 판정에 응답하여, 확장 탐색 과정은 종료될 수 있다.

다만, 실시예에 따라, 템플릿 매칭 장치(100)는 템플릿 유사도 값이 소정의 임계치 이상인 경우에 상기 확장 탐색 과정을 종료할 수도 있다. 즉, 현재 탐색 지점이 전역적 최소점에 해당할 확률이 높다고 판정된 경우, 템플릿 매칭 장치(100)는 상기 확장 탐색 과정을 종료할 수 있다.

상기 최대 크기는 미리 설정된 고정 값 또는 상황에 따라 변동되는 변동 값일 수 있다. 예를 들어, 상기 최대 크기는 타깃 이미지 및/또는 템플릿 이미지의 크기에 따라 변동되는 변동 값일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

단계(S250)에서, 현재 탐색 윈도우의 크기가 상기 최대 크기에 해당하지 않는다는 판정에 응답하여, 템플릿 매칭 장치(100)는 탐색 윈도우의 크기를 확장한다. 예를 들어, 템플릿 매칭 장치(100)는 탐색 윈도우의 확장 배수를 가리키는 파라미터 값에 기초하여 탐색 윈도우의 크기를 확장할 수 있다. 탐색 윈도우의 크기가 2배씩 확장되는 예는 도 8 및 도 9를 참조하도록 한다.

본 발명의 실시예에 따르면, 템플릿 매칭 장치(100)는 탐색 윈도우의 크기 변화에 따라 탐색점의 개수를 변경할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 탐색 윈도우(31)의 크기가 탐색 윈도우(32)로 확장된 경우, 템플릿 매칭 장치(100)는 탐색 윈도우(32)에 배치된 탐색점의 개수 증가시킬 수 있다. 특히, 도 11은 4개의 탐색점(33 내지 36)이 추가로 배치된 것을 예로써 도시하고 있다. 본 실시예에 따르면, 탐색 윈도우의 크기 확장에 따라 탐색점의 개수를 증가시킴으로써, 보다 정확하게 전역적 최소점에 대한 탐색이 이루어질 수 있다.

단계(S260)에서, 상기 소정의 조건이 만족되지 않았다는 판정에 응답하여, 템플릿 매칭 장치(100)는 탐색 윈도우를 이동시킨다. 자세하게는, 템플릿 매칭 장치(100)는 기준 탐색점에서 최대 유사도 값이 산출된 탐색점 방향으로 탐색 윈도우를 이동시킨다.

본 단계(S260)에서, 템플릿 매칭 장치(100)는 최대 유사도 값을 갖는 탐색점이 탐색 윈도우의 중심이 되도록 탐색 윈도우를 이동시킬 수 있다. 다만, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 템플릿 매칭 장치(100)는 고정된 이동 간격만큼 탐색 윈도우를 이동시킬 수도 있으며, 이는 실시예에 따라 얼마든지 달라질 수 있다.

본 발명의 실시예에 따르면, 템플릿 매칭 장치(100)는 탐색 윈도우의 이동 방향의 변화 정도에 기초하여 탐색 윈도우에 배치된 탐색점의 개수를 변경시킬 수 있다. 예를 들어, 탐색 윈도우의 이동 방향이 일정 횟수 이상 변경되거나, 일정 각도 이상 이동 방향이 변경되는 경우, 템플릿 매칭 장치(100)는 탐색 윈도우에 배치된 탐색점의 개수를 증가시킬 수 있다. 이에 대한 일 예시는 도 12에 도시되어 있다. 도 12에 도시된 바와 같이, 탐색 윈도우(41)의 이동 방향이 오른쪽 방향(43)에서 아래쪽 방향(45)으로 변경되는 경우, 탐색 윈도우(41)에서 더 많은 탐색점이 배치된 탐색 윈도우(47)로 변경될 수 있다. 탐색점이 많이 배치될수록 더욱 정확하게 탐색 윈도우의 이동 방향이 결정될 수 있기 때문이다. 다른 예를 들어, 탐색 윈도우의 이동 방향이 일정한 경우, 템플릿 매칭 장치(100)는 탐색 윈도우에 배치된 탐색점의 개수를 감소시킬 수도 있다. 본 실시예에 따르면, 탐색 윈도우의 이동 방향이 일정하지 않은 경우, 탐색점의 개수를 증가시킴으로써 탐색 윈도우를 정확한 방향으로 유도하는 효과가 달성될 수 있다. 이에 따라, 보다 빠르고 정확하게 전역적 최소점이 탐색될 수 있다.

전술한 실시예는 축소 탐색 과정에서도 적용될 수 있다. 이하에서도, 다른 언급이 없는 한, 확장 탐색 과정에서 언급되는 실시예들이 축소 탐색 과정에서 동일하게 적용될 수도 있다.

이외에도, 템플릿 매칭 장치(100)는 탐색 윈도우를 이동시킬 때 탐색 윈도우의 크기를 확장하거나, 탐색 윈도우 내에 배치된 탐색점의 개수 및/또는 배치를 랜덤하게 변경하거나, 탐색 윈도우의 모양을 변경하는 등의 동작을 수행할 수도 있다.

지금까지 도 10 내지 도 12를 참조하여 본 발명의 제1 실시예에 따른 확장 탐색 방법에 대하여 설명하였다. 이하에서는 도 13을 참조하여 본 발명의 제2 실시예에 따른 확장 탐색 방법에 대하여 설명하도록 한다.

도 13은 본 발명의 제2 실시예에 따른 확장 탐색 방법을 나타내는 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 중복된 설명을 배제하기 위해, 전술한 실시예와의 차이점을 중심으로 설명하도록 한다.

도 13에 도시된 바와 같이, 상기 제2 실시예에 따른 확장 탐색 방법의 전반적인 과정은 전술한 제1 실시예와 유사하다. 다만, 전술한 제1 실시예와는 달리 상기 제2 실시예에서는 이동 횟수에 기반한 판정 단계(S270)가 더 수행된다.

단계(S270)에서, 템플릿 매칭 장치(100)는 탐색 윈도우의 이동 횟수가 소정의 임계치 이상인지 여부를 판정한다. 상기 이동 횟수가 임계치 이상이라는 판정에 응답하여, 템플릿 매칭 장치(100)는 단계(S240, S260)를 수행한다. 이때, 상기 이동 횟수는 탐색 윈도우가 이동될 때마다 카운트되고, 탐색 윈도우가 확장될 때 초기화될 수 있다.

즉, 상기 제2 실시예에서, 템플릿 매칭 장치(100)는 탐색 윈도우의 이동이 일정 수 이상 반복되는 경우, 탐색 윈도우의 위치 이동을 보류하고 탐색 윈도우의 크기를 확장할 수 있다. 이를 통해, 보다 효과적으로 확장 탐색이 이루어질 수 있다.

상기 임계치는 기 설정된 고정 값 또는 상황에 따라 변동되는 변동 값일 수 있다. 예를 들어, 상기 임계치는 타깃 이미지의 크기, 템플릿 매칭 장치(100)의 성능, 실시간 요구사항의 정도 등에 기초하여 변동되는 변동 값일 수 있다.

지금까지 도 10 내지 도 13을 참조하여 본 발명의 몇몇 실시예들에 따른 확장 탐색 방법에 대하여 설명하였다. 상술한 방법에 따르면, 템플릿 유사도 연산을 수행하며 탐색 윈도우의 확장 및 이동을 반복하여 수행함으로써, 지역적 최소점에 빠지는 것을 방지하고, 전역적 최소점이 빠르고 정확하게 탐색될 수 있다.

이하에서는, 도 14를 참조하여 본 발명의 일 실시예에 따른 축소 탐색 방법에 대하여 설명하도록 한다.

도 14는 본 발명의 일 실시예에 따른 축소 탐색 방법을 나타내는 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 14를 참조하면, 상기 축소 탐색 방법은 템플릿 매칭 장치(100)가, 정확하게는 축소 탐색부(133)가, 파라미터의 초기 값을 설정하는 단계(S310)에서 시작된다. 여기서, 상기 파라미터는 예를 들어 탐색 시작점, 탐색 윈도우의 초기 크기, 탐색 윈도우의 최소 크기, 탐색 윈도우의 축소 배수, 탐색 윈도우의 이동 간격, 탐색 윈도우의 모양, 탐색점의 개수 및 배치 위치 등과 같이 설정가능한 모든 종류의 파라미터를 포함할 수 있다.

확장 탐색에 이어서 축소 탐색이 수행되는 경우, 상기 탐색 시작점은 상기 확장 탐색의 종료 지점으로 설정될 수 있고, 탐색 윈도우의 초기 크기는 상기 확장 탐색이 종료되는 시점의 탐색 윈도우 크기에 기초하여 결정될 수 있다.

단계(S320)에서, 템플릿 매칭 장치(100)는 탐색 윈도우에 배치된 탐색점에서 템플릿 유사도 연산을 수행한다. 구체적으로, 템플릿 매칭 장치(100)는 각 탐색점 별로 타깃 이미지 영역과 템플릿 이미지 간의 템플릿 유사도 값을 산출한다.

본 발명의 실시예에 따르면, 템플릿 매칭 장치(100)는 복수의 탐색점 중 탐색 윈도우의 이동 방향을 기초로 결정된 일부 탐색점에서만 템플릿 유사도 연산을 수행할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 탐색 윈도우(51)가 오른쪽 방향으로 이동되는 경우, 템플릿 매칭 장치(100)는 반대쪽 방향에 배치된 일부 탐색점(53, 55)을 비활성화하고, 활성화된 탐색점에서 템플릿 유사도 연산을 수행할 수 있다. 다른 예를 들어, 템플릿 매칭 장치(100)는 탐색 윈도우의 이동 방향을 중심으로 특정 각도 이내에 배치된 일부 탐색점에서 템플릿 유사도 연산을 수행할 수 있다. 본 실시예에 따르면, 탐색 윈도우의 이동 방향을 힌트로 이용하여 템플릿 유사도 값이 높을 것으로 예측되는 일부 탐색점에서만 템플릿 유사도 연산이 수행될 수 있다. 이에 따라, 탐색 속도가 향상되는 바, 고속으로 템플릿 매칭이 수행되는 효과가 달성될 수 있다. 본 실시예에 내포된 기술적 사상은 확장 탐색 과정에서 적용될 수도 있음은 물론이다.

또한, 본 발명의 실시예에 따르면, 템플릿 매칭 장치(100)는 탐색 윈도우의 이동 방향의 변화 정도에 기초하여 템플릿 유사도 연산이 수행되는 탐색점의 개수를 변경할 수 있다. 예를 들어, 탐색 윈도우가 일정한 방향으로 이동될수록 템플릿 매칭 장치(100)는 비활성화 상태에 있는 탐색점의 개수를 점진적으로 증가시킬 수 있다. 다른 예를 들어, 탐색 윈도우의 이동 방향이 빈번하게 변경되는 경우, 템플릿 매칭 장치(100)는 활성화 상태에 있는 탐색점의 개수를 점진적으로 증가시킬 수 있다. 본 실시예에 따르면, 탐색 윈도우의 이동 방향을 힌트로 이용하여 템플릿 유사도 연산의 수행 횟수가 최소화되는 바, 더욱 빠르게 템플릿 매칭이 수행될 수 있다.

단계(S330)에서, 템플릿 매칭 장치(100)는 산출된 템플릿 유사도 값이 소정의 조건을 만족하는지 판정한다. 이때, 상기 소정의 조건은 기준 탐색점에서의 템플릿 유사도 값이 다른 탐색점에서의 템플릿 유사도 값보다 큰 경우를 가리키는 조건일 수 있다. 다만, 본 발명의 범위가 이에 한정되는 것은 아니다. 상기 소정의 조건이 만족된다는 판정에 응답하여, 단계(S340)가 수행된다. 반대의 경우, 단계(S360)가 수행된다.

단계(S340)에서, 상기 소정의 조건이 만족되었다는 판정에 응답하여, 템플릿 매칭 장치(100)는 현재 탐색 윈도우의 크기가 최소 크기에 해당하는지 여부를 판정한다. 현재 탐색 윈도우의 크기가 최소 크기에 해당한다는 판정에 응답하여, 축소 탐색은 종료될 수 있다.

다만, 실시예에 따라, 템플릿 매칭 장치(100)는 템플릿 유사도 값이 소정의 임계치 이상인 경우에 상기 축소 탐색 과정을 종료할 수도 있다. 즉, 현재 탐색 지점이 최적의 템플릿 매칭 지점에 해당할 확률이 높다고 판정된 경우, 템플릿 매칭 장치(100)는 상기 축소 탐색 과정을 종료할 수 있다.

상기 최소 크기는 미리 설정된 고정 값 또는 상황에 따라 변동되는 변동 값일 수 있다. 예를 들어, 상기 최소 크기는 타깃 이미지 및/또는 템플릿 이미지의 크기에 따라 변동되는 변동 값일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

단계(S350)에서, 현재 탐색 윈도우의 크기가 상기 최소 크기에 해당하지 않는다는 판정에 응답하여, 템플릿 매칭 장치(100)는 탐색 윈도우의 크기를 축소한다. 예를 들어, 템플릿 매칭 장치(100)는 탐색 윈도우의 축소 배수를 가리키는 파라미터 값에 기초하여 탐색 윈도우의 크기를 축소할 수 있다.

단계(S360)에서, 상기 소정의 조건이 만족되지 않았다는 판정에 응답하여, 템플릿 매칭 장치(100)는 탐색 윈도우를 이동시킨다. 자세하게는, 템플릿 매칭 장치(100)는 기준 탐색점에서 최대 유사도 값이 산출된 탐색점 방향으로 탐색 윈도우를 이동시킨다.

전술한 바와 같이, 템플릿 매칭 장치(100)는 최대 유사도 값을 갖는 탐색점이 탐색 윈도우의 중심이 되도록 탐색 윈도우를 이동시킬 수 있다. 다만, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 템플릿 매칭 장치(100)는 고정된 이동 간격만큼 탐색 윈도우를 이동시킬 수도 있으며, 이는 실시예에 따라 얼마든지 달라질 수 있다.

한편, 템플릿 매칭 장치(100)는 탐색 윈도우를 이동시킬 때 탐색 윈도우의 크기를 축소하거나, 탐색 윈도우 내에 배치된 탐색점의 개수 및/또는 배치를 랜덤하게 변경하거나, 탐색 윈도우의 모양을 변경하는 등의 동작을 수행할 수도 있다.

지금까지 도 14 및 도 15를 참조하여 본 발명의 실시예에 따른 축소 탐색 방법에 대하여 설명하였다. 상술한 방법에 따르면, 탐색 윈도우를 축소해가며 정밀한 탐색이 수행되는 바, 템플릿 매칭의 정확도가 크게 향상될 수 있다.

지금까지 도 5 내지 도 15를 참조하여 본 발명의 실시예에 따른 템플릿 매칭 방법에 대하여 설명하였다. 이하에서는 도 16을 참조하여 상기 템플릿 매칭 방법과 전역 탐색 기반의 템플릿 매칭 방법에 대한 비교 실험 결과를 간략하게 소개하도록 한다. 설명의 편의를 위해, 본 발명의 실시예에 따른 템플릿 매칭 방법을 "제안된 기법"으로 명명하고, 전역 탐색 기반의 템플릿 매칭 방법을 "종래 기법"으로 명명하도록 한다.

도 16에 도시된 바와 같이, 제안된 기법은 종래 기법과 비교하여 훨씬 빠른 속도로 수행되는 것을 확인할 수 있다. 특히, 타깃 이미지의 크기가 1920 x 1080이고 템플릿 이미지의 크기가 280 x 280인 경우, 종래 기법의 수행 시간은 무려 45.87 ms인 것을 확인할 수 있다. 이에 반해, 동일한 크기의 타깃 이미지와 템플릿 이미지에 대하여 제안된 기법의 수행 시간은 5.35 ms에 불과한 것을 확인할 수 있다. 이와 같이, 제안된 기법을 이용하는 경우 종래의 기법에 비해 훨씬 빠르게 템플릿 매칭이 수행될 수 있다.

이하에서는, 보다 이해의 편의를 제공하기 위해, 도 17 내지 도 19를 참조하여 본 발명의 몇몇 활용예에 따른 객체 추적 방법에 대하여 설명하도록 한다.

구체적으로, 도 17 및 도 18은 본 발명의 실시예에 따른 템플릿 매칭부(130)를 활용하여 복수의 이미지 프레임에서 단일 객체를 추적하는 과정을 도시하고 있고, 도 19는 템플릿 매칭부(130)를 활용하여 복수의 이미지 프레임에서 다중 객체를 추적하는 과정을 도시하고 있다.

먼저, 도 17을 참조하여 본 발명의 제1 활용예에 따른 객체 추적 방법에 대하여 설명하도록 한다.

도 17을 참조하면, 템플릿 매칭부(130)는 추적 대상 객체에 대한 템플릿 이미지와 이전 프레임(t-1)에서 추적 대상 객체가 검출된 위치를 객체 검출 모듈(120)로부터 제공받는다. 상기 템플릿 이미지는 예를 들어 객체 검출 모듈(120)이 이전 프레임(t-1)에서 검출한 객체 이미지일 수 있다.

그러면, 템플릿 매칭부(130)가 상기 템플릿 이미지 및 상기 객체 검출 위치를 이용하여 현재 프레임(t)에서 상기 추적 대상 객체를 검출할 수 있다. 이때, 템플릿 매칭부(130)는 이전 프레임(t-1)에서 추적 대상 객체가 검출된 위치를 현재 프레임(t)의 탐색 시작점으로 이용할 수 있다. 템플릿 매칭부(130)는 이후의 프레임(t+1, t+2 등)에 대해 지속적으로 상기 추적 대상 객체를 검출함으로써 주어진 복수의 프레임에서 특정 객체를 추적하는데 활용될 수 있다.

객체 검출 모듈(120)은 주어진 이미지에서 객체를 검출하는 모듈로써, 객체 검출 모듈(120)이 객체를 검출하는 방법은 어떠한 방식이 되더라도 무방하다. 예를 들어, 객체 검출 모듈(120)은 당해 기술 분야에서 널리 알려진 적어도 하나의 컴퓨터 비전(computer vision) 알고리즘을 이용할 수 있다. 추적 대상 객체에 대한 템플릿이 미리 정해진 경우라면, 객체 검출 모듈(120)은 본 발명의 실시예에 따른 템플릿 매칭 방법을 이용하여 객체 검출을 수행할 수도 있다.

지금까지 도 17을 참조하여 본 발명의 제1 활용예에 따른 객체 추적 방법에 대하여 설명하였다. 다음으로, 도 18을 참조하여 본 발명의 제2 활용예에 따른 객체 추적 방법에 대하여 설명하도록 한다.

도 18을 참조하면, 상기 제1 활용예와 동일하게, 템플릿 매칭부(130)는 추적 대상 객체에 대한 템플릿 이미지와 이전 프레임(t-1)에서 상기 추적 대상 객체가 검출된 결과를 객체 검출 모듈(120)로부터 제공받고, 현재 프레임(t)에서 상기 추적 대상 객체를 검출할 수 있다. 이때, 템플릿 매칭부(130)는 이전 프레임(t-1)에서 상기 추적 대상 객체가 검출된 위치를 현재 프레임(t)의 탐색 시작점으로 이용할 수 있다.

상기 제1 활용예와는 달리, 템플릿 매칭 영역(즉, t 프레임에서 템플릿 매칭을 통해 검출된 영역)과 상기 템플릿 이미지 간의 유사도가 산출되고, 산출된 유사도와 소정의 임계치 이상인지 여부에 대한 비교 과정(121)이 더 수행될 수 있다. 비교 과정(121)은 템플릿 매칭부(130)에 의해 수행될 수 있고, 다른 모듈에서 수행될 수도 있다. 상기 유사도는 어떠한 방식으로 산출되더라도 무방하다.

산출된 유사도가 상기 임계치 이상이라는 판정에 응답하여, 프레임(t)에서의 객체 위치는 상기 템플릿 매칭 영역에 기초하여 결정될 수 있다.

산출된 유사도가 상기 임계치 미만인 경우, 템플릿 매칭부(130)는 템플릿 DB(123)에서 추적 대상 객체에 대한 다른 템플릿 이미지를 이용하여 다시 템플릿 매칭을 수행할 수 있다. 구체적으로, 템플릿 매칭부(130)는 유사 템플릿 이미지(#1 내지 #4) 각각을 이용하여 템플릿 매칭을 수행하고, 템플릿 매칭 영역에 기초하여 현재 프레임(t)에서 추적 대상 객체의 위치를 결정할 수 있다. 예를 들어, 템플릿 매칭부(130)는 유사 템플릿 이미지(#1 내지 #4)에 대한 복수의 템플릿 매칭 영역 중에서 템플릿 유사도 값이 가장 높은 템플릿 매칭 영역을 선택하고, 선택된 템플릿 매칭 영역을 기초로 상기 추적 대상 객체의 위치를 결정할 수 있다. 다른 예를 들어, 템플릿 매칭부(130)는 상기 복수의 템플릿 매칭 영역 중에서 템플릿 매칭 영역과 템플릿 이미지 간의 유사도가 가장 높은 템플릿 매칭 영역을 선택하고, 선택된 템플릿 매칭 영역을 기초로 상기 추적 대상 객체의 위치를 결정할 수 있다.

여기서, 유사 템플릿 이미지(#1 내지 #4)는 예를 들어 다른 각도에서 촬영된 추적 대상 객체의 이미지, 형태 또는 색상 등이 일부 변형된 이미지 등이 될 수 있다.

지금까지 도 18을 참조하여 본 발명의 제2 활용예에 따른 객체 추적 방법에 대하여 설명하였다. 마지막으로, 도 19를 참조하여 본 발명의 제3 활용예에 따른 객체 추적 방법에 대하여 설명하도록 한다.

전술한 바와 같이, 상기 제3 활용예에 따른 객체 추적 방법에서, 다수의 프레임에서 다수의 객체를 정확하게 추적하기 위해 템플릿 매칭부(130)가 활용된다. 이하, 도 19를 참조하여 설명한다.

도 19를 참조하면, 객체 검출 모듈(120)이 두 프레임(t-1, t) 각각에 대한 객체 검출 결과를 제공하면, 이전 프레임(t-1)에서 검출된 추적 대상 객체(#1 내지 #n)와 현재 프레임(t)에서 검출된 추적 대상 객체(#1 내지 #m) 간의 매칭 과정(141)이 수행된다. 매칭 과정(141)은 템플릿 매칭부(130)에 의해 수행될 수 있고, 다른 모듈에 의해 수행될 수도 있다.

서로 다른 프레임에서 검출된 두 객체가 매칭되는 경우, 현재 프레임(t)에서 해당 객체에 대한 추적 과정은 완료될 수 있다. 반대의 경우, 현재 프레임(t)에서 검출된 객체가 이전에 검출되지 않은 새로운 객체에 해당하는지 여부에 대한 판정 과정(143)이 더 수행된다. 자세히 말하면, 두 객체가 매칭되지 않는 경우는 특정 객체가 이전 프레임(t-1)에서만 검출된 경우 또는 특정 객체가 현재 프레임(t)에서 처음으로 검출된 경우이다. 여기서, 첫 번째 경우는 이전 프레임(t-1)에서 검출된 특정 객체가 더 이상 존재하지 않는 경우 또는 객체 검출 모듈(120)이 현재 프레임(t)에서 상기 특정 객체를 검출하지 못한 경우이다. 판정 과정(143)은 매칭되지 않은 객체가 두 번째 경우에 해당하는지 여부를 판정하는 과정으로 이해될 수 있다.

매칭되지 않은 객체가 새로운 객체가 아닌 경우, 객체 검출 모듈(120)이 해당 객체를 검출하지 못했을 가능성이 있다. 따라서, 템플릿 매칭부(130)가 해당 객체에 대한 템플릿 이미지 이용하여 현재 프레임(t)에서 템플릿 매칭을 수행할 수 있다. 프레임(t)에서 템플릿 매칭 영역이 검출되는 경우, 템플릿 매칭부(130)는 상기 템플릿 매칭 영역을 기초로 현재 프레임(t)에서의 객체 위치를 결정할 수 있다.

지금까지 도 17 내지 도 19를 참조하여 본 발명의 몇몇 활용예에 대하여 설명하였다. 이외에도, 본 발명의 실시예에 따른 템플릿 매칭부(130) 또는 템플릿 매칭부(130)에 의해 수행되는 템플릿 매칭 방법은 다양한 분야에 활용될 수 있다.

지금까지 도 2 내지 도 19를 참조하여 본 발명의 몇몇 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

지금까지 도 2 내지 도 19를 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (17)

1. 템플릿 매칭 장치에서 수행되는 템플릿 매칭(template matching) 방법에 있어서,
   타깃 이미지(target image)를 획득하는 단계;
   상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 상기 탐색 윈도우에 배치된 탐색점에서 상기 타깃 이미지의 영역과 템플릿 이미지 간의 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 단계; 및
   상기 제2 시작점에서, 상기 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 단계를 포함하는,
   템플릿 매칭 방법.
2. 제1 항에 있어서,
   상기 제2 시작점을 결정하는 단계는,
   상기 탐색 윈도우에 배치된 탐색점에서 제1 템플릿 유사도 연산을 수행하는 단계;
   상기 탐색 윈도우의 크기를 확장하는 단계;
   상기 확장된 탐색 윈도우에 배치된 탐색점에서 제2 템플릿 유사도 연산을 수행하는 단계; 및
   상기 제2 템플릿 유사도 연산의 결과에 기초하여 상기 제2 시작점을 결정하는 단계를 포함하는 것을 특징으로 하는,
   템플릿 매칭 방법.
3. 제2 항에 있어서,
   상기 탐색 윈도우의 크기를 확장하는 단계는,
   상기 탐색 윈도우에 배치된 탐색점의 개수를 증가시키는 단계를 포함하는 것을 특징으로 하는,
   템플릿 매칭 방법.
4. 제1 항에 있어서,
   상기 제2 시작점을 결정하는 단계는,
   상기 탐색 윈도우에 배치된 탐색점에서 템플릿 유사도 연산을 수행하는 단계; 및
   상기 템플릿 유사도 연산의 결과가 소정의 조건을 만족하지 않는다는 판정에 응답하여, 상기 탐색 윈도우를 이동시키는 단계를 포함하되,
   상기 템플릿 유사도 연산의 결과가 소정의 조건을 만족한다는 판정에 응답하여, 상기 탐색 윈도우의 크기가 확장되는 것을 특징으로 하는,
   템플릿 매칭 방법.
5. 제4 항에 있어서,
   상기 탐색점은 기준 탐색점에 대응되는 제1 탐색점과 상기 기준 탐색점에 대응되지 않는 제2 탐색점을 포함하되,
   상기 소정의 조건은 상기 제1 탐색점에서의 템플릿 유사도 값과 상기 제2 탐색점에서의 템플릿 유사도 값과의 비교 결과에 기초한 조건인 것을 특징으로 하는,
   템플릿 매칭 방법.
6. 제5 항에 있어서,
   상기 제2 탐색점은 상기 탐색 윈도우의 외곽에 배치되는 것을 특징으로 하는,
   템플릿 매칭 방법.
7. 제4 항에 있어서,
   상기 탐색점은 기준 탐색점에 대응되는 제1 탐색점과 상기 기준 탐색점에 대응되지 않는 제2 탐색점을 포함하고,
   상기 탐색 윈도우의 위치를 이동시키는 단계는,
   상기 제2 탐색점에서의 제2 템플릿 유사도 값이 상기 제1 탐색점에서의 제1 템플릿 유사도 값보다 큰지 여부를 판정하는 단계; 및
   상기 제2 템플릿 유사도 값이 더 크다는 판정에 응답하여, 상기 제1 탐색점에서 상기 제2 탐색점 방향으로 상기 탐색 윈도우를 이동시키는 단계를 포함하는 것을 특징으로 하는,
   템플릿 매칭 방법.
8. 제4 항에 있어서,
   상기 제2 시작점을 결정하는 단계는,
   상기 탐색 윈도우의 이동 방향의 변화 정도를 기초로 상기 탐색 윈도우에 배치된 탐색점의 개수를 변경하는 단계를 더 포함하는 것을 특징으로 하는,
   템플릿 매칭 방법.
9. 제4 항에 있어서,
   상기 제2 시작점을 결정하는 단계는,
   상기 탐색 윈도우의 이동 횟수가 임계치 이상이라는 판정에 응답하여, 상기 탐색 윈도우의 크기를 확장하는 단계를 더 포함하는 것을 특징으로 하는,
   템플릿 매칭 방법.
10. 제1 항에 있어서,
    상기 제2 템플릿 매칭을 수행하는 단계는,
    상기 탐색 윈도우에 배치된 탐색점에서 제1 템플릿 유사도 연산을 수행하는 단계;
    상기 탐색 윈도우의 크기를 축소하는 단계; 및
    상기 축소된 탐색 윈도우에 배치된 탐색점에서 제2 템플릿 유사도 연산을 수행하는 단계를 포함하는 것을 특징으로 하는,
    템플릿 매칭 방법.
11. 제1 항에 있어서,
    상기 제2 템플릿 매칭을 수행하는 단계는,
    상기 탐색 윈도우에 배치된 탐색점에서 제1 템플릿 유사도 연산을 수행하는 단계; 및
    상기 제1 템플릿 유사도 연산의 결과가 소정의 조건을 만족하지 않는다는 판정에 응답하여, 상기 탐색 윈도우를 이동시키는 단계를 포함하되,
    상기 제1 템플릿 유사도 연산의 결과가 소정의 조건을 만족한다는 판정에 응답하여, 상기 탐색 윈도우의 크기가 축소되는 것을 특징으로 하는,
    템플릿 매칭 방법.
12. 제11 항에 있어서,
    상기 탐색점은 기준 탐색점에 대응되는 제1 탐색점과 상기 기준 탐색점에 대응되지 않는 제2 탐색점을 포함하고,
    상기 탐색 윈도우의 위치를 이동시키는 단계는,
    상기 제2 탐색점에서의 제2 템플릿 유사도 값이 상기 제1 탐색점에서의 제1 템플릿 유사도 값보다 큰지 여부를 판정하는 단계;
    상기 제2 템플릿 유사도 값이 더 크다는 판정에 응답하여, 상기 제1 탐색점에서 상기 제2 탐색점 방향으로 상기 탐색 윈도우를 이동시키는 단계를 포함하는 것을 특징으로 하는,
    템플릿 매칭 방법.
13. 제11 항에 있어서,
    상기 제2 템플릿 매칭을 수행하는 단계는,
    상기 이동된 탐색 윈도우에 배치된 복수의 탐색점에서 제2 템플릿 유사도 연산을 수행하는 단계를 더 포함하되,
    상기 제2 템플릿 유사도 연산은 상기 복수의 탐색점 중 일부 탐색점에서 수행되고,
    상기 일부 탐색점은 상기 탐색 윈도우의 이동 방향을 기초로 결정되는 것을 특징으로 하는,
    템플릿 매칭 방법.
14. 제1 항에 있어서,
    상기 제1 시작점은 상기 타깃 이미지의 이전 프레임에서 검출된 객체의 위치에 기초하여 결정되는 것을 특징으로 하는,
    템플릿 매칭 방법.
15. 제1 항에 있어서,
    상기 제2 템플릿 매칭이 수행되는 탐색점의 개수는 상기 제1 템플릿 매칭이 수행되는 탐색점의 개수보다 많은 것을 특징으로 하는,
    템플릿 매칭 방법.
16. 프로세서; 및
    상기 프로세서에 의해 실행되는 적어도 하나의 프로그램을 저장하는 메모리를 포함하되,
    상기 적어도 하나의 프로그램은,
    타깃 이미지(target image)를 획득하는 동작,
    상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 상기 탐색 윈도우에 배치된 탐색점에서 상기 타깃 이미지의 영역과 템플릿 이미지 간의 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 동작 및
    상기 제2 시작점에서, 상기 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 동작을 수행하도록 하는 인스트럭션들(instructions)을 포함하는,
    템플릿 매칭 장치.
17. 컴퓨팅 장치와 결합하여,
    타깃 이미지(target image)를 획득하는 단계;
    상기 타깃 이미지 상의 제1 시작점에서, 탐색 윈도우를 확장하며 상기 탐색 윈도우에 배치된 탐색점에서 상기 타깃 이미지의 영역과 템플릿 이미지 간의 제1 템플릿 매칭을 수행하여 상기 타깃 이미지 상의 제2 시작점을 결정하는 단계; 및
    상기 제2 시작점에서, 상기 탐색 윈도우를 축소하며 제2 템플릿 매칭을 수행하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터 프로그램.

Images