KR20130025944A

KR20130025944A - 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품

Info

Publication number: KR20130025944A
Application number: KR1020137001565A
Authority: KR
Inventors: 리신 판
Original assignee: 노키아 코포레이션
Priority date: 2010-06-22
Filing date: 2011-06-09
Publication date: 2013-03-12
Also published as: US8718324B2; CN103026385B; KR101457313B1; WO2011161579A1; CN103026385A; EP2591460A1; US20110311100A1

Abstract

컴퓨터 비전, 멀티미디어 콘텐츠 분석 및 검색, 증강 현실, 인간 컴퓨터 상호 작용 및 영역 기반 이미지 처리와 관련하여, 디바이스가 향상된 오브젝트 추적을 위해 제공할 수 있게 하는 방법, 장치 및 컴퓨터 프로그램 제품이 제공된다. 이와 관련하여, 방법은 템플릿 크기에 매칭되도록 대상 오브젝트를 갖는 입력 프레임의 부분의 파라미터를 조정하는 단계, 및 입력 프레임의 부분과 활성 템플릿과 적어도 하나의 선택된 비활성 템플릿 사이의 특징 기반 이미지 등록을 수행하는 단계를 포함한다. 또한, 이 방법은 입력 프레임의 부분과 선택된 비활성 템플릿 사이의 매칭 점수에 적어도 기초하여, 선택된 비활성 템플릿을 후속 프레임을 위해 활성 템플릿으로의 스위칭을 인에이블시키는 단계, 및 활성 템플릿 또는 선택된 비활성 템플릿 중 하나에 기초하여 입력 프레임에서 대상 오브젝트의 위치를 결정하는 단계를 포함한다.

Description

템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품{METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR PROVIDING OBJECT TRACKING USING TEMPLATE SWITCHING AND FEATURE ADAPTATION}

본 발명의 실시예들은 일반적으로 컴퓨터 비전(computer vision)에 관한 것이며, 보다 구체적으로는, 온라인 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 가능하게 하는 장치, 방법 및 컴퓨터 프로그램 제품에 관한 것이다.

현대 세계에서 전자 컴퓨팅 디바이스는 점점 유비쿼터스화되고 있다. 비즈니스, 엔터테인먼트, 통신, 보안에 활용되던지 여러 다른 목적에 활용되던지간에, 이러한 디바이스의 능력은 확장되고 있다. 처리 능력, 렌더링 기술, 메모리, 전력 소모 및 기타 측면에서 이루어진 개선과 함께, 다양한 애플리케이션들 또한 컴퓨팅 디바이스의 확장된 능력을 이용하도록 개발되었다. 그러나, 이러한 디바이스에 대한 능력의 확장은 추가 향상이 모색되고 새로운 애플리케이션이 개발됨에 따라, 새로운 과제들도 가져왔다.

전자 컴퓨팅 디바이스의 이용이 새로운 과제를 제시한 하나의 분야는 컴퓨터 비전에 관한 것이다. 컴퓨터 비전은 기계의 보기를 이용하는 것이다. 따라서, 예를 들면, 컴퓨터 비전은 비디오 시퀀스 등의 이미지 데이터, 다수의 카메라로부터의 뷰 또는 스캔 디바이스로부터의 다차원 데이터로부터의 정보를 얻을 수 있는 시스템을 구축하는데, 카메라 및 기타 요소를 종종 채용하고 있다. 컴퓨터 비전은, 프로세스 또는 디바이스의 움직임 제어와, 이벤트, 오브젝트, 패턴 또는 사람의 검출 및/또는 인식과, 정보의 조직화 등의 많은 동작에 유용할 수 있다. 따라서, 컴퓨터 비전은 다양한 디바이스 및 애플리케이션의 조합으로 구현될 수 있는 인공 비전 시스템으로 고려될 수 있다.

일련의 비디오 프레임 내에서 관심 오브젝트 및/또는 영역의 추적은 컴퓨터 비전 시나리오에서 오랜 문제이다. 특히, 변화(예를 들면, 조명 변화, 포즈 또는 방향 변화, 오클루전(occlusion) 등)가 현저할 수 있는 관심 오브젝트 또는 영역에 대해 강건한(robust) 추적 능력을 제공하기 어려웠다. 오브젝트 추적을 위해 과거에 이미지 패치(image patch) 기반 및 특징 기반(feature-based) 방법이 제안되었다. 이미지 패치 기반 추적은, 포즈 변화가 현저할 수 있는 정형(rigid) 및 비정형 오브젝트를 추적하는데 어느 정도 적합하다고 생각되었다. 그러나, 전통적인 이미지 패치 기반 방법은 드리프팅(drifting) 템플릿 문제(예를 들면, 템플릿 업데이트에서의 누적 오차가 추적 실패로 이어짐)를 겪는 경향이 있고 부분적인 오클루전에 민감할 수 있다. 특징 기반 방법은 어느 정도 부분적인 오클루전에 민감하다고 생각되었지만, 전통적으로 포즈 변화가 큰 오브젝트를 추적하는데 유용성이 떨어진다고 입증되었다. 따라서, 오브젝트 추적 분야에서의 향상이 요구될 수 있다.

따라서, 디바이스가 향상된 오브젝트 추적을 제공하게 할 수 있는 방법, 장치 및 컴퓨터 프로그램 제품이 제공된다. 특히, 본 발명의 일부 실시예들은, 예를 들면 컴퓨터 비전, 멀티미디어 콘텐츠 분석 및 검색, 증강 현실(augmented reality), 인간 컴퓨터 상호 작용 및 영역 기반 이미지 처리와 관련한 이용을 위해 향상된 시각적 추적을 제공할 수 있다.

이와 같이 본 발명을 대략적으로 기술하였고, 이하에서는 첨부 도면의 참조가 이루어지며, 첨부 도면에서 축척이 반드시 이루어진 것은 아니다.
도 1은 본 발명의 예시적인 실시예에 따른 컴퓨터 비전 시스템의 개략적 블록도이다.
도 2는 본 발명의 예시적인 실시예에 따른 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 장치의 개략적 블록도이다.
도 3은 도 3(a), 도 3(b) 및 도 3(c)를 포함하며, 본 발명의 하나의 예시적인 실시예의 동작을 나타내는 도면이다.
도 4는 본 발명의 예시적인 실시예에 따른 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법에 따른 순서도이다.
도 5는 본 발명의 예시적인 실시예가 구현될 수 있는 칩 세트나 칩을 나타내는 도면이다.

이하, 본 발명의 몇몇 실시예를 첨부 도면을 참조하여 더 구체적으로 설명하지만, 일부에 있어서, 본 발명의 모든 실시예를 나타내는 것은 아니다. 실제, 본 발명의 다양한 실시예는 다양한 형태로 구현될 수 있으며 본원에서 명시된 실시예로 한정되는 것으로 해석되어서는 안 되며, 오히려 이 개시가 적용 가능한 규정 요건을 만족하도록 이러한 실시예가 제공된다. 동일한 도면 부호는 전체에 걸쳐 동일한 요소를 언급하는 것이다. 본원에서 사용되는 용어 "데이터", "콘텐츠", "정보" 및 유사 용어는, 본 발명의 실시예에 따라 전송, 수신 및/또는 저장될 수 있는 데이터를 언급하는데 상호 변환 가능하게 이용될 수 있다. 따라서, 이러한 용어의 이용은 본 발명의 실시예의 사상 및 범위를 제한하는데 취해져서는 안 된다.

또한, 본원에 이용되는 용어 '회로'는, (a) 하드웨어 전용 회로 구현(예를 들면, 아날로그 회로 및/또는 디지털 회로에서의 구현), (b) 협업하여, 장치가 본원에서 설명하는 하나 이상의 기능을 수행하게 하는 하나 이상의 컴퓨터 판독 가능한 메모리에 저장된 소프트웨어 및/또는 펌웨어 명령을 포함하는 컴퓨터 프로그램 제품(들)과 회로의 조합, 및 (c) 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않을 경우에도 동작을 위해 소프트웨어 또는 펌웨어를 필요로 하는, 예를 들면 마이크로프로세서(들) 또는 마이크로프로세서(들)의 부분 등의 회로를 말하는 것이다. 이러한 '회로'의 정의는 특허청구범위를 포함하여 본원에서의 이 용어의 모든 사용에 적용된다. 더 예를 들면, 본원에서 사용되는 용어 '회로'는 또한 하나 이상의 프로세서 및/또는 그 부분(들)을 포함하며 소프트웨어 및/또는 펌웨어를 수반하는 구현을 포함한다. 또 다른 예로서, 본원에서 사용되는 용어 '회로'는 또한, 예를 들면 모바일 폰용 기저 대역 집적 회로 또는 애플리케이션 프로세서 집적 회로, 또는 서버, 셀룰러 네트워크 디바이스, 다른 네트워크 디바이스 및/또는 다른 컴퓨팅 디바이스에서의 유사한 집적 회로를 포함한다.

비일시적인, 물리적 저장 매체(예를 들면, 휘발성 또는 비휘발성 메모리 디바이스)를 말하는 본원에서 정의되는 "컴퓨터 판독 가능한 저장 매체"는 전자기 신호를 말하는 "컴퓨터 판독 가능한 전송 매체"와 차별화될 수 있다.

일부 실시예는 비정형 오브젝트와 포즈 변화가 현저한 오브젝트로 확장될 수 있는 강건한 특징 기반의 접근 방식을 제공할 수 있다. 일부 실시예들에서, 대표 오브젝트 외형이 추적 동안 후보 템플릿으로서 저장될 수 있고, 다음 프레임의 매칭을 위해 특정 템플릿(예를 들면, 최상의(best) 템플릿)이 선택될 수 있다. 추적되는 오브젝트와 추적에 채용되는 템플릿간의 업데이트되는 관계를 유지하기 위해, 템플릿은 추적 프로세스 동안에 추가 및 스위칭될 수 있다. 따라서, 예시적인 실시예는 부정합(misaligned) 템플릿에 대해 회복될 수 있고 드리프팅 문제를 완화할 수 있다.

예시적인 실시예는 고정 또는 모바일 플랫폼 중 어느 하나를 포함하는 컴퓨터 또는 컴퓨팅 디바이스의 능력에 적용될 수 있다. 따라서, 예를 들면, 이미지 캡처링 디바이스(예를 들면, 카메라 폰) 및 기타 모바일 디바이스를 포함하는 모바일 단말기가 (예를 들면, 오브젝트가 추적되고 컴퓨터 그래픽이 추적 오브젝트 위에 겹쳐있는 증강 현실 시나리오에 대해) 오브젝트를 추적하도록 인간-디바이스 상호 작용에서의 이용으로 인간의 얼굴을 추적하고, 저레벨 화상 처리 등에 이용될 수 있다. 그러나, 예시적인 실시예는 네트워크(예를 들면, 인터넷) 제공 서비스(예를 들면, 콘텐츠 공유 또는 관리 서비스)와 관련하여 이용될 수도 있다. 이런 점에서, 예를 들면, 업로드된 비디오에서의 관심 오브젝트를 자동으로 분석하고 추적함으로써, 관심 오브젝트를 포함하는 콘텐츠를 검색 및 공유함으로써 인상적인 사용자 경험을 제공하는 서비스가 가능해질 수 있다. 따라서, 예를 들면, 사용자가 관심있다고 정의된 오브젝트를 포함하는 다른 비디오 클립을 자동으로 검출하고, 추적하고 사용자에게 알려주는 서비스가 제공될 수 있다.

상술한 바와 같이, 본 발명의 실시예는 컴퓨터 비전 시스템이라는 맥락에서 실시될 수 있다. 따라서, 이하 예시적 실시예는 도 1을 참조하여 설명될 것이며, 컴퓨터 비전 시스템을 채용하는 시스템의 기본 블록도를 나타낸다. 그러나, 본 발명의 실시예가 여러 다른 환경에서 실시될 수 있으며 컴퓨터 비전 시스템과 관련한 적용에 한정되지 않음을 이해할 것이다. 또한, 컴퓨터 비전 시스템과 관련해서도, 도 1은 이러한 시스템 중 하나의 기본적인 예시일 뿐이며 한정으로는 전혀 볼 수 없음을 이해할 것이다.

이하 도 1을 참조하면, 컴퓨터 비전 시스템(10)은 이미지 캡처링 모듈(20) 및 컴퓨팅 디바이스(30)를 포함할 수 있다. 이미지 캡처링 모듈(20)은 이미지 데이터를 캡처하도록 구성된 하나 이상의 카메라 또는 다른 이미지 캡처링 센서를 포함할 수 있다. 이미지 데이터는, 예를 들면 하나 이상의 각각의 카메라 또는 센서로부터의 비디오 시퀀스 또는 하나 이상의 이미지의 형태로 있을 수 있다. 컴퓨팅 디바이스(30)는 컴퓨터(예를 들면, 개인용 컴퓨터, 노트북, 서버 등), 휴대 전화, GPS(global positioning system) 디바이스, PDA(personal digital assistant), 호출기, 모바일 텔레비전, 게이밍 디바이스, 카메라, 오디오/비디오 플레이어, 라디오, 또는 이들의 임의의 조합 및 다양한 하드웨어 및/또는 소프트웨어 프로세스를 실행하기 위한 프로세서 및/또는 메모리를 포함할 수 있는 다른 형태의 전자 디바이스일 수 있다. 컴퓨팅 디바이스(30)는 도 2의 설명과 관련하여 하기에 구체적으로 기술하는 바와 같이 본 발명의 실시예에 따른 처리를 채용하도록 구성될 수 있다.

이미지 캡처링 모듈(20)과 컴퓨팅 디바이스(30) 사이의 통신도 유선 또는 무선 전송 메커니즘을 통해 실시간 또는 실시간에 가까울 수 있다. 일부 경우에는, 이미지 캡처링 모듈(20)과 컴퓨팅 디바이스(30) 사이의 통신이 단속적이거나 지연될 수 있다. 또한, 어떤 상황에서, 이미지 캡처링 모듈(20)은 이미지 데이터를 저장할 수 있으며, 이 이미지 데이터는 나중에 (직접 또는 중간 디바이스를 통해) 컴퓨팅 디바이스(30)에 전달될 수 있다.

일부 실시예에서, 이미지 캡처링 모듈(20) 및 컴퓨팅 디바이스(30)는 단일 디바이스(예를 들면, 카메라 내장 휴대 단말기 또는 전화)의 일부일 수 있다. 일부 경우에, 네트워크 연결이 필요하지 않지만 컴퓨팅 디바이스(30)는 네트워크(40)를 통해 다른 디바이스와 통신할 수 있다. 또한, 일부 경우에, 컴퓨팅 디바이스(30)는 네트워크(40)를 통해 이미지 캡처링 모듈(20)과 통신할 수 있다. 예를 들면, 일부 상황에서, 이미지 캡처링 모듈(20)은 카메라, 비전 시스템 또는 심지어 네트워크(40)를 통해 서비스 플랫폼에 이미지 데이터를 제공하는 모바일 디바이스의 일부일 수 있다. 따라서, 서비스 플랫폼(컴퓨터, 또는 서버 또는 서버 뱅크의 일부일 수 있음)은 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 가능하게 하는 장치의 인스턴스를 호스팅할 수 있는 컴퓨팅 디바이스(30)로서 구현될 수 있다.

네트워크(40)는 해당 유선 및/또는 무선 인터페이스를 통해 서로 통신할 수 있는 다양한 상이한 노드, 디바이스 또는 기능부의 집합을 포함할 수 있다. 따라서, 도 1의 도시는 시스템의 넓은 관점에서의 특정 요소의 예로써 이해되어야 하고 모두 포함하거나 시스템 또는 네트워크(40)의 세부 관점에서 이해되어서는 안 된다. 모바일 단말기 또는 고정 컴퓨터 단말기와 같은 하나 이상의 통신 노드(예를 들면, 컴퓨팅 디바이스(30))가 네트워크(40)를 통해 서로 통신할 수 있으며 각각은 베이스 사이트(예를 들면, 액세스 포인트)에 대해 신호를 송신 및 신호를 수신하기 위한 일 안테나 또는 안테나들을 포함할 수 있으며, 이 베이스 사이트는 예를 들면, LAN(local area network), MAN(metropolitan area network), 및/또는 인터넷 등의 WAN(wide area network)과 같은 데이터 네트워크에 연결될 수 있는 하나 이상의 셀룰러 또는 모바일 네트워크의 일부 또는 액세스 포인트인 기지국일 수 있다. 결과적으로, 처리 요소 등의 다른 디바이스(예를 들면, 개인용 컴퓨터, 서버 컴퓨터 등)가 통신 노드에 연결될 수 있다. 일부 실시예에서, 네트워크(40)는, W-CDMA(wideband code division multiple access), CDMA2000, GSM(global system for mobile communication), GPRS(general packet radio service), LTE(long term evolution) 등이 지원될 수 있는 하나 이상의 모바일 액세스 메커니즘을 채용할 수 있다.

이하 도 2를 참조하면, 본 발명의 예시적인 실시예에 따른 온라인 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 장치(50)의 개략적 블록도가 제공된다. 장치(50)는 프로세서(70), 사용자 인터페이스(72), 통신 인터페이스(74) 및 메모리 디바이스(76)를 포함하거나 그들과 통신할 수 있다. 그러나, 장치(50)는 상세하게는 후술하는 바와 같이 추가적인 요소를 더 포함할 수 있다. 이 점에서, 도 2의 예시적인 실시예는 단지 예시적 목적으로 제공되는 것이며 따라서 장치(50)에 대해 다른 구성 요소도 가능함을 이해해야 한다. 또한, 도 2에 나타낸 특정 요소들이 다수의 디바이스간(예를 들면, 클라이언트/서버 관계에서의 동작)으로 나눠질 수 있거나 모두 동일한 디바이스에서 구현될 수 있다.

메모리 디바이스(76)는, 예를 들면 하나 이상의 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 즉, 예를 들면, 메모리 디바이스(76)는 기계(예를 들면, 컴퓨팅 디바이스)에 의해 검색될 수 있는 데이터(예를 들면, 비트)를 저장하도록 구성된 게이트를 포함하는 전자 저장 디바이스(예를 들면, 컴퓨터 판독 가능한 저장 매체) 또는 기타 구조 정의 메모리 셀일 수 있다. 메모리 디바이스(76)는, 본 발명의 예시적인 실시예에 따라 장치가 다양한 기능을 수행할 수 있게 하기 위해 정보, 데이터, 애플리케이션, 명령 등을 저장하도록 구성될 수 있다. 예를 들면, 메모리 디바이스(76)는 프로세서(70)에 의한 처리를 위해 입력 데이터를 버퍼링하도록 구성될 수 있다. 추가적으로 또는 택일적으로, 메모리 디바이스(76)는 프로세서(70)에 의한 실행을 위한 명령을 저장하도록 구성될 수 있다.

프로세서(70)는 다른 여러 가지 방법으로 구현될 수 있다. 예를 들면, 프로세서(70)는, 코프로세서(coprocessor), 마이크로프로세서, 컨트롤러, DSP(digital signal processor), 병행(accompanying) DSP를 갖거나 갖지 않는 처리 요소, 또는, 예를 들면 ASIC(application specific integrated circuit), FPGA(field programmable gate array), MCU(microcontroller unit), 하드웨어 가속기, 특수 목적 컴퓨터 칩, 처리 회로 등의 집적 회로를 포함하는 다양한 다른 처리 디바이스 등의 하나 이상의 다양한 처리 수단으로서 구현될 수 있다. 예시적인 실시예에서, 프로세서(70)는 메모리 디바이스(76)에 저장된 명령 또는 프로세서(70)가 액세스 가능한 명령을 실행하도록 구성될 수 있다. 택일적으로 또는 추가적으로, 프로세서(70)는 하드 코딩된 기능을 실행하도록 구성될 수 있다. 따라서, 하드웨어나 소프트웨어 방법으로 구성되던지 그 조합에 의해 구성되던지간에, 프로세서(70)는 본 발명의 실시예에 따른 동작을 수행하며 그에 따라 구성될 수 있는 엔티티(예를 들면, 회로에서 물리적으로 구현된 것)를 나타낼 수 있다. 따라서, 예를 들면, 프로세서(70)가 ASIC, FPGA 등으로서 구현될 경우, 프로세서(70)는 본원에서 설명된 동작을 수행하기 위한 특정 구성의 하드웨어일 수 있다. 또한, 또 다른 예로서, 프로세서(70)가 소프트웨어 명령의 실행기로서 구현될 경우, 명령이 실행될 때 본원에서 설명하는 알고리즘 및/또는 동작을 수행하도록 프로세서(70)를 특별히 구성할 수 있다. 그러나, 일부 경우에, 프로세서(70)는, 본원에서 설명하는 알고리즘 및/또는 동작을 수행하는 명령에 의해 프로세서(70)의 추가 구성에 의해 본 발명의 실시예를 채용하는데 적합한 특정 디바이스(예를 들면, 모바일 단말기 또는 네트워크 디바이스)의 프로세서일 수 있다. 프로세서(70)에 제공되거나 프로세서(70)의 구성과 연관된 명령 또는 프로그래밍을 실행함으로써, 프로세서(70)는 해당 기능이 수행되게 할 수 있다. 프로세서(70)는, 여러 가지 중에서, 프로세서(70)의 동작을 지원하도록 구성된 클록, ALU(arithmetic logic unit)와 로직 게이트를 포함할 수 있다.

한편, 통신 인터페이스(74)는 장치(50)와 통신하여 네트워크 및/또는 임의의 다른 디바이스 또는 모듈에 대해 데이터를 송수신하도록 구성된 하드웨어, 또는 하드웨어와 소프트웨어의 조합의 어느 하나로 구현되는 디바이스 또는 회로 등의 임의의 수단일 수 있다. 이러한 점에서, 통신 인터페이스(74)는, 예를 들면 무선 통신 네트워크와 통신을 가능하게 하는 일 안테나(또는 다수의 안테나)와 지원 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 일부 환경에서, 통신 인터페이스(74)는 택일적으로 또는 추가로 유선 통신을 지원할 수 있다. 따라서 예를 들면, 통신 인터페이스(74)는 케이블, DSL(digital subscriber line), USB(universal serial bus) 또는 다른 메커니즘을 통해 통신을 지원하는 통신 모뎀 및/또는 다른 하드웨어/소프트웨어를 포함할 수 있다.

사용자 인터페이스(72)는 프로세서(70)와 통신하여, 사용자 인터페이스(72)에서의 사용자 입력의 지시를 수신하거나, 사용자에게 음성, 비디오, 기계적 또는 기타 출력을 제공할 수 있다. 따라서, 사용자 인터페이스(72)는, 예를 들면, 키보드, 마우스, 조이스틱, 디스플레이, 터치 스크린, 소프트 키, 마이크로폰, 스피커 또는 다른 입력/출력 메커니즘을 포함할 수 있다. 장치(50)가 서버 또는 다른 네트워크 디바이스에서 구현되어 있는 예시적인 실시예에 있어서, 사용자 인터페이스(72)는 제한되거나, 원격 위치되거나 제거될 수 있다. 그러나, 장치(50)가 통신 디바이스(예를 들면, 모바일 단말기)에서 구현되는 실시예에서, 사용자 인터페이스(72)는 여러 디바이스 또는 요소 중에서, 스피커, 마이크로폰, 디스플레이 및 키보드 등 중에서 일부 또는 전부를 포함할 수 있다. 이런 점에서, 예를 들면, 프로세서(70)는, 예를 들면 스피커, 링거(ringer), 마이크로폰, 디스플레이 등의 사용자 인터페이스의 하나 이상의 요소의 적어도 일부 기능을 제어하도록 구성된 사용자 인터페이스 회로를 포함할 수 있다. 프로세서(70) 및/또는 프로세서(70)를 포함하는 사용자 인터페이스 회로는 프로세서(70)가 액세스 가능한 메모리(예를 들면, 메모리 디바이스(76) 등)에 저장된 컴퓨터 프로그램 명령어(예를 들면, 소프트웨어 및/또는 펌웨어)를 통해 사용자 인터페이스의 하나 이상의 구성 요소 중 하나 이상 기능을 제어하도록 구성될 수 있다.

일부 실시예에서, 장치(50)는 컨트롤러(20)와 통신하는 카메라, 비디오 및/또는 오디오 모듈 등의 미디어 캡처링 모듈(예를 들면, 이미지 캡처링 모듈(20))을 포함하거나 그와 통신할 수 있다. 미디어 캡처링 모듈은 저장, 디스플레이 또는 전송을 위한 이미지, 비디오 및/또는 오디오를 캡처링하기 위한 임의의 수단일 수 있다. 예를 들면, 미디어 캡처링 모듈이 카메라 모듈(78)인 예시적 실시예에서, 카메라 모듈(78)은 캡처링된 이미지로부터 디지털 이미지 파일을 형성하거나 일련의 이미지 프레임으로부터 비디오 콘텐츠 파일을 형성할 수 있는 디지털 카메라를 포함할 수 있다. 따라서, 카메라 모듈(78)은 렌즈 또는 기타 광학 디바이스 등의 하드웨어, 및 캡처링한 이미지로부터 디지털 이미지 파일을 만드는데 필요한 소프트웨어 모두를 포함할 수 있다. 또한, 카메라 모듈(78)은 이미지를 보는데 필요한 하드웨어만을 포함할 수 있으며, 장치(50)의 메모리 디바이스는 캡처링된 이미지로부터 디지털 이미지 파일을 만드는데 필요한 소프트웨어의 형태로 프로세서(70)에 의한 실행 명령을 저장할 수 있다. 예시적인 실시예에서, 카메라 모듈(78)은, 이미지 데이터의 처리 시에 프로세서(70)를 보조하는 코프로세서 등의 처리 디바이스 및 이미지 데이터를 압축 및/또는 압축을 푸는 인코더 및/또는 디코더를 더 포함할 수 있다. 인코더 및/또는 디코더는 JPEG 표준 형식이나 다른 형식에 따라 인코딩 및/또는 디코딩할 수 있다.

예시적인 실시예에서, 프로세서(70)는, 특징 적응 및 템플릿 스위칭 매니저(80)로서 구현되거나, 그것을 포함하거나, 그것을 제어하도록 구현될 수 있다. 따라서, 일부 실시예에서, 본원에서 기술하는 바와 같이, 프로세서(70)는 특징 적응 및 템플릿 스위칭 매니저(80)에 귀속되는 다양한 기능을 실행 또는 발생을 일으키거나, 안내하거나 제어한다고 할 수 있다. 특징 적응 및 템플릿 스위칭 매니저(80)는 소프트웨어에 따라 동작하거나 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 구현되는 디바이스 또는 회로 등의 임의의 수단일 수 있고(예를 들면, 소프트웨어 제어 하에서 동작하며, 본원에서 설명하는 동작을 수행하도록 특별히 구성된 ASIC 또는 FPGA, 또는 그 조합으로서 구현되는 프로세서(70)), 이에 의해 디바이스 또는 회로가 본원에서 설명하는 특징 적응 및 템플릿 스위칭 매니저(80)의 해당 기능을 수행하게 구성될 수 있다. 따라서, 소프트웨어가 채용되는 예에서, 소프트웨어를 실행하는 디바이스 또는 회로(예를 들면, 일 예에서 프로세서(70))는 이러한 수단과 연관된 구조를 형성한다.

특징 적응 및 템플릿 스위칭 매니저(80)는 본원에서 설명하는 특징 적응을 행하고 또한 템플릿 스위칭을 행해 오브젝트 추적 성능을 향상시키도록 구성될 수 있다. 따라서, 특징 적응 및 템플릿 스위칭 매니저(80)는 추적 동안에 대표 오브젝트 외형을 후보 템블릿으로서 저장하게 하도록 구성될 수 있다. 특징 적응 및 템플릿 스위칭 매니저(80)는 이후 프레임에서 매칭되는 "최상의 템플릿"으로서 선택된 탬플릿을 채용하도록 후보 탬플릿 중에서 템플릿을 선택하도록 더 구성될 수 있다. 따라서, 특징 적응 및 템플릿 스위칭 매니저(80)는 새로운 오브젝트 외형에 대해 업데이트가 유지되게 하기 위해, 탬플릿의 온라인 추가 및 스위칭을 관리할 수 있다.

특징 적응 및 템플릿 스위칭 매니저(80)는, 원하는 경우 비교적 장기간에 걸쳐, 제 1 비디오 프레임에 초기화된 템플릿에 대한 오브젝트 추적을 수행하여 후속 프레임에서의 템플릿 오브젝트의 추적을 가능하게 할 수 있는 비교적 간단한 메커니즘을 제공할 수 있다. 또한, 특징 적응 및 템플릿 스위칭 매니저(80)는 포즈 변화, 조명 변화, 변형, 오클루전 등 현저한 변화가 존재할 때, 상대적으로 강건한 오브젝트 추적을 제공하도록 구성될 수 있다. 강건한 추적을 달성하기 위해, 특징 적응 및 템플릿 스위칭 매니저(80)는 새로운 오브젝트의 외형이 매칭 동작에 적절하게 통합될 수 있게 초기 템플릿의 업데이트를 가능하도록 구성될 수 있다. 예시적인 실시예에 따르면, 대표 오브젝트 외형이 다음 프레임에서의 이미지 매칭을 위해 후보 템플릿으로서 이용될 수 있도록, 대표 오브젝트 외형이 추적 동안에 저장될 수 있다. 따라서, 특징 기반 이미지 등록 방법은 해당 이미지 영역에 대해 후보 템플릿을 매칭시키는데 이용될 수 있다. 고속 하르-라이크(Haar-like) 특징은 키 포인트(key point)를 추적하는데 이용될 수 있고 실시간 추적 속도를 여전히 달성하면서 모든 프레임에 대해 다수의 템플릿 매칭 동작을 수행하는 것이 가능해질 수 있다. 가장 높은 또는 최상의 매칭 점수를 제공하는 템플릿은 대상 오브젝트의 위치를 결정하는데 선택될 수 있다. 따라서, 특징 적응 및 템플릿 스위칭 매니저(80)가 템플릿 추가 및 스위칭을 제어하는데 이용되어서, 변형, 포즈 변화 등에 의한 새로운 오브젝트 외형에 대해 특징 적응 및 템플릿 스위칭 매니저(80)가 갱신되게 유지될 수 있다. 또한, 특징 적응 및 템플릿 스위칭 매니저(80)는 부정합 템플릿에 대해 회복될 수 있고, 따라서 전통적인 메커니즘에서 일어날 수 있는 드리프팅 문제를 완화할 수 있다.

하르 라이크 특징 기반 이미지 매칭은 오브젝트 검출 및 이미지 매칭 동작에서의 상대적으로 빠른 계산으로 인해 일부 실시예에 따른 특징 적응 및 템플릿 스위칭 매니저(80)에 의해 채용될 수 있다. 특징 적응 및 템플릿 스위칭 매니저(80)에 의해 채용될 수 있는 전체적인 하르 라이크 특징 매칭의 예는 미국 특허출원 제2007/0009159호 공보에 기재되어 있으며, 이는 그 전문이 참조로서 본원에 통합된다. 예시적인 실시예에서, 특징 적응 및 템플릿 스위칭 매니저(80)는 키 포인트를 중심으로 미리 결정된 크기의 격자로부터 추출된 하르 라이크 특징을 이용하도록 구성될 수 있다. 하르 라이크 특징 성분이 샘플 포인트마다 계산될 수 있으며, 여기에서 각각의 성분은 상이한 방향(예를 들면, 수평, 수직 및 좌/우 대각선 방향)으로 정렬되는 인접한 블록간의 인텐서티(intensity)의 차이를 나타낸다. 따라서, 키 포인트 각각은 키 포인트 추적에 대한 변별력을 제공하는 간단한 메커니즘을 제공하는 다차원 하르 라이크 특징 벡터에 이를 수 있다. 키 포인트 각각은 하르 라이크 특징이 추출되는 X-Y 이미지 픽셀 위치를 포함할 수 있다. 따라서, 템플릿

는, 하르 라이크 특징 h 및 동반되는 위치 벡터 p=(x,y)^T의 세트로서 나타날 수 있다.

특징 포인트의 두 세트간의 최적 대응(correspondence)은 가중 인접 행렬의 요소가 2개의 하르 라이크 특징 벡터

간의 유클리드 거리(Euclidean distance)에 의해 주어질 수 있는 선형 할당 문제(linear assignment problem)로 공식화될 수 있다. 일부 실시예에서, 인접 행렬에서 열 및 행 최소 요소에 대해 특징 적응 및 템플릿 스위칭 매니저(80)에 의해 결정이 이루어질 수 있다.

따라서, 특징 적응 및 템플릿 스위칭 매니저(80)는 아래의 알고리즘 1에서 나타나는 가장 최상의 매칭 전략을 채택하도록 구성되어, 인접 행렬의 평가의 계산적 비용을 절감할 수 있다. 특징 벡터 거리가 이미 해당 행 또는 열을 따라 지금까지의 최소 거리를 넘을 경우, 특징 벡터 거리의 모든 요소를 합할 필요가 없으므로, 비용 절약을 실현할 수 있다. 입력 이미지가 특정 템플릿과 유사한 경우, 특징 포인트의 총 수와 관련하여 가장 최상의 매칭 포인트의 수가 상대적으로 높은 것(예를 들면, >0.5)으로 기대될 수 있다. 따라서, 이 비율은 추적 품질을 평가하는 데 이용될 수 있다.

템플릿 키 포인트

과 입력 이미지 키 포인트

사이의 대응을 고려할 때, 기하학적 모델 적합(fitting) 및 아웃라이어 제거의 목적은 식 (1)로 나타낸 바와 같이, 재투영 오차의 평균을 최소화하도록 템플릿의 기하학적 변환을 유도하는 것일 수 있다.

여기에서,

는 유사 변환(similarity transformation)의 파라미터이고,

및

는 재투영 오차이다.

식 (1)에서의 LMS(Least Median of Squares) 추정은 아웃라이어에 대해 강인하고, 약 50% 브레이크다운 포인트를 갖는다. 그러나, 높은 브레이크다운 포인트를 달성하는 LMS 알고리즘은 종종 계산이 지나치게 요구될 수 있다. 따라서, 솔루션을 추정하기 위해 반복적 절차가 채택될 수 있다. 중간값 오차 미만의 재투영 오차를 갖는 인라이어 대응은 새로운 변환 파라미터 μ를 추정하는데 이용될 수 있다. 따라서, μ 및 인라이어 대응은 연속 반복의 미리 결정된 수(예를 들면, 10)에서 추가 향상이 달성되지 않을 때까지(또는 현저하지 않을 때까지), 반복적으로 재추정될 수 있다. 이어서, 최적의 변환

은 템플릿 바운딩 박스에 적용될 수 있다. 상술한 재추정은 변환 공간에서 기본적으로 힐크라임(hill-climbing)을 행할 수 있고, 대상 오브젝트가 적어도 부분적으로 눈에 보이는 상태로 유지되는 한 비교적 빠른 속도로 극솟점(local minimum)으로 수렴한다.

예시적인 실시예에서, 특징 적응 및 템플릿 스위칭 매니저(80)는 고정된 크기의 입력 이미지 패치를 만들어내기 위해, 입력 프레임의 추적된 이미지 영역을 처음에 자르기, 회전 및 크기 조정을 적절히 행함으로써 오브젝트가 추적되는 각각의 새로운 비디오 프레임을 시험하는 추적 알고리즘을 채용할 수 있다. 이미지 패치는 상술한 바와 같이 특징 기반 이미지 등록을 이용하여 동일한 크기의 후보 템플릿에 대해 매칭될 수 있다. 이어서, 최적의 기하학적 변환이 다음 프레임에서 추적 이미지 영역에 적용될 수 있다. 따라서, 특징 적응 및 템플릿 스위칭 매니저(80)는 하르 라이크 특징 적응 및 템플릿 스위칭을 인에이블시키며, 또한 추적 동안 안정적 특징의 선택을 위해 제공함으로써 이미지 변화에 적응되는 추적 방법을 채용할 수 있다.

특징 적응 및 템플릿 스위칭 매니저(80)에 의한 추적 알고리즘의 채용 동안, 추적 품질은 이미징 매칭 품질을 나타낼 수 있는 다양한 파라미터의 모니터링에 의해 평가될 수 있다. 모니터링되는 파라미터는 템플릿 키 포인트의 총 수에 대한 가장 최상의 매칭 포인트의 수의 비율(r)을 포함할 수 있다. 비율(r)의 값은 추적 품질의 상대적으로 강인한 지표일 수 있다. 모니터링될 수 있는 또 다른 파라미터는 두 이미지 사이의 텍스처 차이를 양자화할 수 있는, 가장 최상의 매칭되는 하르 라이크 특징 벡터 사이의 평균 유클리드 거리(f)를 포함할 수 있다. 또 다른 파라미터, 기하학적 적합 동안의 재투영 오차의 평균값(d)은 두 이미지 사이의 구조적 변화를 포착할 수 있다.

추적 품질이 양호하다고 보일 경우(예를 들면, 일부 예에서 r이 약 0.45보다 큰 경우), 하르 라이크 특징 벡터는 작은 이미지 변화에 적응될 수 있다. 적응은 해당 매칭되는 템플릿 키 포인트의 하르 라이크 특징 벡터를 입력 이미지로부터 추출된 대응하는 하르 라이크 특징 벡터로 대체함으로써 달성될 수 있다. 이 적응은 템플릿 스위칭이 수행되지 않을 경우에도 고품질 추적을 유지하는데 유용할 수 있다. 그러나, 특징 레벨 적응은 일부 경우에는 단지 일시적일 수 있으며, 따라서 템플릿이 스위칭 오프될 때, 원래의 특징 벡터가 유지될 수 있다. 또한, 키 포인트의 위치는 템플릿 오브젝트의 기하학적 구조가 유지될 수 있도록 변경되지 않고 유지될 수 있다.

현저한 변화(예를 들면, 포즈, 조명, 오클루전 상태 등의 변화)가 일어나면, 특징 적응은 품질 추적을 제공하기에 충분하지 않을 수 있다(예를 들면, 일부 경우에 r이 0.45 아래로 떨어질 경우). 일부 예에 따르면, 이러한 상태 하에서 오브젝트 추적을 더 향상시키기 위해 템플릿 스위칭이 수행될 수 있다. 추적 품질이 떨어지거나 현저한 변화의 다른 징후가 있을 경우, 현재의 입력 이미지는 "새로운 템플릿 예정(new-template-to-be)"으로서 정의될 수 있고 새로운 템플릿으로서 추가될 수 있다. 자동으로 새로운 템플릿을 추가함으로써, 특징 적응 및 템플릿 스위칭 매니저(80)는 상대적으로 큰 이미지 변화를 경험할 경우 추적에 대해 자신을 업데이트하도록 구성될 수 있다.

각각의 새로운 프레임에서, 특징 적응 및 템플릿 스위칭 매니저(80)는 활성 템플릿 및 적어도 하나의 비활성 템플릿(예를 들면, 선택된 비활성 템플릿)을 포함하는 적어도 두 개의 템플릿에 대해 입력 이미지 영역 또는 추적 영역을 테스트하도록 구성될 수 있다. 활성 템플릿은 적어도 이전 프레임에 의거하여 스위칭된 템플릿일 수 있다. 선택된 비활성 템플릿은 특징 적응 및 템플릿 스위칭 매니저(80)의 업데이트 성능을 향상하도록, 새로운 프레임에 대한 비교를 위해 저장(예를 들면, 메모리 디바이스(76)에 저장)되어 있는 복수의 비활성 템플릿 중 하나일 수 있다. 예시적인 실시예에서, 선택된 비활성 템플릿은 품질 측정(예를 들면, 누적 r 값)에 의거하여 복수의 비활성 템플릿으로부터 선택될 수 있다. 예를 들면, 후보 템플릿(비활성 템플릿을 포함)은 누적 r 값 또는 다른 품질 측정 관련 값을 가질 수 있고 이 값들은 각각의 후보 템플릿과 연관되어 저장될 수 있다. 후보 템플릿은 품질 측정(예를 들면, 누적 r 값)에 의거하여 순위가 결정될 수 있고 톱 랭크의 템플릿은 "가장 안정적인 템플릿"으로서 식별될 수 있다. 저품질 측정(예를 들면, 낮은 누적 r 값)을 갖는 비활성 템플릿들은 일반적으로 부정합 또는 현재 이미지에 대해 거짓일 수 있으므로 추적에 이용되지 않을 수 있다.

예시적인 실시예에서, 특징 적응 및 템플릿 스위칭 매니저(80)는 활성 템플릿 및 선택된 비활성 템플릿 모두에 새 프레임을 비교하도록 구성될 수 있다. 선택된 비활성 템플릿이 활성 템플릿보다 양호하게 새로운 프레임과 매칭되면, 선택된 비활성 템플릿이 스위칭 온될 수 있고, 다음 프레임에 대해 활성 템플릿이 될 수 있다. 임의의 주어진 시간에 하나의 활성 템플릿만이 있을 수 있다. 일부 경우에는 템플릿이 스위칭 온되어 추적에 이용될 때마다, 템플릿에 대해 해당 r 값이 상술한 순위 결정을 위해 저장 및 누적될 수 있다.

일부 실시예에서, 가장 안정적인 템플릿이 새로운 템플릿 예정을 확인하고 부정합을 정정하는데 사용될 수 있다. 이 확인은 가장 안정적인 템플릿과 새로운 템플릿 예정 사이의 기하학적 적합과 추정 매칭을 포함할 수 있다. 일부 경우에, r, f 및 d의 값이 특정 값을 갖고 특정 기준(예를 들면, 특정 임계값을 초과하지 않음)을 충족할 경우, 확인이 허용될 수 있다. 따라서, 특징 적응 및 템플릿 스위칭 매니저(80)는, 템플릿 스위칭과 함께 부정합 템플릿에 대한 복구를 제공하고 드리프팅 문제를 완화할 수 있는 기하학적 정정을 제공할 수 있다.

노이즈나 배경 클러터(clutter)로 인해, 템플릿 특징은 추적에 항상 양호하지만은 않을 수 있다. 학습 기반 방법이 오브젝트와 배경 특징간을 구분하는데 이용될 수 있으며, 일부 실시예는 기하학적으로 확인된 인라이어 특징을 추적에 대해 신뢰할 수 있는 특징으로서 간주할 수 있다. 따라서, 일부 예에서, 특징 포인트가 기하학적 적합 작업에서 얼마나 많은 횟수(c)로 확인되었는지에 대해, 간단한 카운트(c)가 행해질 수 있다.

식 (2)에 나타낸 바와 같이, 추적 동안에, 카운트(c)가 높은 특징은, 인접 행렬 요소에 부가항을 추가함으로써 매칭 작업에서 선호될 수 있다.

여기에서

는 하르 라이크 특징 사이의 유클리드 거리이며, β는 사용자 지정 파라미터이고, c(i)는 해당하는 안정적 특징 카운트이고,

는 모든 템플릿 특징 카운트의 평균이다. 이러한 매칭 전략을 이용함으로써, 특징 적응 및 템플릿 스위칭 매니저(80)의 추적 강건성(robustness)이 향상될 수 있다.

예시적인 실시예에서, 특징 적응 및 템플릿 스위칭을 향한 노력에도 불구하고, 추적은 완전한 오브젝트 오클루전이나 빠른 카메라나 오브젝트의 이동에 대해 여전히 곤란할 수 있다. 이러한 경우, 추적의 재초기화를 돕기 위해 전체 검색 오브젝트 검출 프로세스를 불러올 수 있다. 일부 경우에는, 전체 검색 오브젝트 검출 프로세스는 새로운 입력 비디오 프레임에 대해, 전체 이미지 프레임에 배치되는 격자의 메쉬 포인트로부터 하르 라이크 특징 벡터의 추출을 포함하는 적어도 3가지 동작을 포함할 수 있다. 이어서, 템플릿은 전체 프레임에 걸쳐 (예를 들면, 메쉬 포인트 사이의 간격과 일치하는 간격으로) 스캔할 수 있다. 이어서, 각 템플릿 하르 라이크 특징 벡터는 이미지 프레임에서 가장 근접한 메쉬 포인트로부터 추출된 하르 라이크 특징 벡터에 대해 비교될 수 있다. 벡터 성분마다, 템플릿과 이미지 특징 사이의 차이가 주어진 임계값보다 작을 경우, 한 표(vote)가 카운트될 수 있다. 가장 높은 표를 갖는 위치, 즉 V_max가 검출될 수 있고, 또한 적어도 V_max(예를 들면, 0.95*V_max)의 소정의 비율을 갖는 모든 위치가 검출될 수 있다. 모든 검출된 위치 중에서, 이전의 추적 위치에 가장 가까운 위치가 추적기를 초기화하는데 이용될 수 있다.

따라서, 본 발명의 일부 실시예는 상대적으로 높은 추적 강건성을 제공할 수 있다. 추적이 실패로부터 더 이상 복구되지 않는 프레임의 수에 표시될 수 있는 추적 강건성은, 조명 변화, 포즈 변화, 부분적인 오클루전 등을 포함하는 다양한 상태에 대해 상대적으로 높을 수 있다. 또한, 어떤 이유로 추적을 잃은 상황에서 재초기화가 실시될 수 있다. 따라서, 더 양호한 정합 템플릿의 추가 및 스위칭에 의해 템플릿 드리프팅의 정정을 위해 제공함과 함께 식 (2)와 관련하여 상술한 안정한 특징 매칭 전략을 이용하여, 본 발명의 일부 예시적인 실시예는 다양한 상태에 대해 합리적인 양의 계산적 복잡성으로 오브젝트 추적에 대해 양호한 정밀도를 제공할 수 있다. 이러한 추적을 제공하는 계산적 비용은 추적되는 특징 포인트의 수에 비례할 수 있지만, 대부분의 적용에 대해 실시간에 가까운 추적이 구현될 수 있다.

도 3(a), 도 3(b) 및 도 3(c)를 포함하는 도 3은 하나의 예시적인 실시예의 동작을 나타낸다. 도 3(a)에 지시된 바와 같이, 입력 이미지 프레임(100)이 분석을 위해 제공될 수 있다. 솔리드 박스(102)는 추적 중인 오브젝트(예를 들면, 개인의 얼굴)에 대응할 수 있는 프레임에 대한 추적 결과를 나타낼 수 있다. 한편, 점선 박스(104)는 이전 프레임에서의 추적 결과를 나타낼 수 있다. 이전 프레임에서의 추적 결과에 대응하는 이미지의 부분은 도 3(b)에 나타낸 이미지로 잘리고, 회전되고 크기 조정이 이루어질 수 있다. 이어서, 이전 프레임에서의 추적 결과에 대응하는 이미지의 부분은 도 3(c)에 나타낸 활성 템플릿 이미지와 매칭될 수 있다. 도 3(b)에 나타낸 라인 세크먼트는 추정의 매칭 출력을 나타낼 수 있다. 아웃라이어 대응(예, 배경 클러터에서)은 기하학적 적합에 의해 거부될 수 있다.

따라서, 이미지 패치 기반 추적과는 대조적으로, 본 발명의 예시적인 실시예를 이용하는 특징 기반 매칭 방법은 부분적인 오클루드 오브젝트에 대해서도 강건한 추적을 제공하도록 구현될 수 있다. 따라서, 특징 기반 추적은 포즈 변화나 추적 중인 오브젝트에 영향을 줄 수 있는 다른 요소를 처리하기 위해, 템플릿 세트간의 스위칭에 의해 비평면 오브젝트를 추적하는데 적용될 수 있다.

도 4는 본 발명의 예시적인 실시예에 따른 시스템, 방법 및 프로그램 제품의 순서도이다. 순서도의 각 블록, 및 순서도의 블록의 조합은 하드웨어, 펌웨어, 프로세서, 회로 및/또는 하나 이상의 컴퓨터 프로그램 명령어를 포함하는 소프트웨어의 실행과 연관된 다른 디바이스 등의 다양한 수단에 의해 구현될 수 있음을 이해할 것이다. 예를 들면, 상술한 하나 이상의 절차가 컴퓨터 프로그램 명령어에 의해 구현될 수 있다. 이 점에서, 상술한 절차를 구현하는 컴퓨터 프로그램 명령어는 본 발명의 실시예를 채용하는 장치의 메모리 디바이스에 의해 저장되고 장치의 프로세서에 의해 실행될 수 있다. 이해할 수 있는 바와 같이, 그러한 컴퓨터 프로그램 명령어가, 기계를 이루는 컴퓨터 또는 다른 프로그래머블 장치(예를 들면, 하드웨어)에 로드되어, 결과 컴퓨터 또는 다른 프로그래머블 장치가 순서도 블록(들)에서 특정된 기능을 구현할 수 있다. 또한, 이 컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그래머블 장치를 특정 방식으로 기능을 지향하게 할 수 있는 컴퓨터 판독 가능한 메모리에 저장되어서, 컴퓨터 판독 가능한 메모리에 저장된 명령이 순서도 블록(들)에서 특정된 기능을 구현하는 실행을 제조 제품이 하게 할 수 있다. 또한, 컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그래머블 장치에 로드되어 일련의 동작이 컴퓨터 또는 다른 프로그래머블 장치에서 수행되게 해서, 컴퓨터 또는 다른 프로그램 장치에서 실행되는 명령이 순서도 블록(들)에서 특정된 기능을 실행하게 하는 동작을 제공하도록 컴퓨터 구현 프로세스를 만들어 낼 수 있다.

따라서, 순서도의 블록들은 지정된 기능을 수행하는 수단들의 조합, 지정된 기능들을 수행하는 동작의 조합 및 지정된 기능들을 수행하는 프로그램 명령어 수단이 제공된다. 또한, 순서도의 하나 이상의 블록, 및 순서도의 블록들의 조합은, 지정된 기능을 수행하는 특수 목적 하드웨어 기반 컴퓨터 시스템, 또는 특수 목적의 하드웨어와 컴퓨터 명령의 조합에 의해 실시될 수 있음이 이해된다.

이 점에서, 도 4에 나타낸 바와 같이, 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 가능하게 하는 방법의 일 실시예는, 동작 200에서, 템플릿 크기에 매칭되도록 내부에 대상 오브젝트를 갖는 입력 프레임의 부분의 파라미터 조정을 포함한다. 상기 방법은 동작 210에서, 입력 프레임의 부분과 활성 템플릿과 적어도 하나 이상의 선택된 비활성 템플릿 사이에서 특징 기반 이미지 등록을 수행하는 것을 더 포함할 수 있다. 상기 방법은 동작 220에서, 입력 프레임의 부분과 선택된 비활성 템플릿 사이의 적어도 매칭 점수에 의거하여 후속 프레임을 위해 선택된 비활성 템플릿을 활성 템플릿이 되도록 스위칭하는 것과, 동작 230에서, 활성 탬플릿 또는 선택된 비활성 탬플릿 중 하나에 의거하여 입력 프레임에서의 대상 오브젝트의 위치를 결정하는 것을 가능하게 하는 것을 더 포함할 수 있다.

일부 실시예에서, 상기 동작의 특정 것들은 후술하는 바와 같이, 변형되거나 더 확장될 수 있다. 또한, 일부 실시예에서, 추가 선택적 동작이 포함될 수 있으며, 그 예를 도 4의 점선에 나타낸다. 상기 동작의 변형, 추가 또는 확장은 임의의 순서 및 임의의 조합으로 수행될 수 있다. 이 점에서, 예를 들면, 상기 방법은 동작 240에서, 입력 프레임의 부분을 후보 템플릿으로서 추가하는 것을 더 포함할 수 있다. 예시적인 실시예에서, 대상 오브젝트의 위치를 결정하는 것은 활성 템플릿, 또는 입력 프레임의 부분과 더 많은 매칭을 나타내는 매칭 점수를 제공하는 선택된 비활성 템플릿 중 하나를 이용하여 위치를 결정하는 것을 포함할 수 있다. 일부 실시예에서, 입력 프레임의 부분의 파라미터의 조정은 입력 프레임의 부분의 자르기, 회전 및 크기 조정을 포함할 수 있다. 예시적인 실시예에서, 선택된 비활성 템플릿은 템플릿 키 포인트의 총 수에 대한 가장 최상의 매칭 포인트의 수의 비율과 관련하여 점수가 매겨진 복수의 후보 템플릿 중 가장 높은 순위의 비활성 템플릿일 수 있다. 일부 경우에는, 비율은 후보 템플릿마다 저장되고 누적될 수 있다.

예시적인 실시예에서, 상기 도 4의 방법을 수행하는 장치는 상술한 일부 또는 동작들(200-240) 각각을 수행하도록 구성된 프로세서(예를 들면, 프로세서(70))를 포함할 수 있다. 프로세서는, 예를 들면 하드웨어 구현 논리적 기능을 수행하거나, 저장된 명령을 실행하거나, 각각의 동작(200-240)을 수행하기 위한 알고리즘을 실행하도록 구성될 수 있다. 또한, 상기 장치는 상술한 각각의 동작을 수행하기 위한 수단을 포함할 수 있다. 이 점에서, 예시적 실시예에 따르면, 동작들(200-240)을 수행하기 위한 수단의 예는, 예를 들면 프로세서(70), 특징 적응 및 템플릿 스위칭 매니저(80), 및/또는 상술한 정보 처리를 위한 알고리즘을 실행하거나 명령을 실행하는 디바이스 또는 회로를 포함할 수 있다.

일부 경우에는, 예시적 실시예는 칩이나 칩 세트에서 구현될 수 있다. 도 5는 본 발명의 실시예가 구현될 수 있는 칩 세트 또는 칩(300)을 나타낸다. 칩 세트(300)는 본원에서 설명하는 바와 같이 오브젝트를 추적하도록 프로그래밍되고, 예를 들면 도 2와 관련하여 나타낸 바와 같이 하나 이상의 물리적 패키지(예를 들면, 칩)에 통합된 프로세서 및 메모리 컴포넌트를 포함한다. 예를 들면, 물리적 패키지는 구조적 조립체(예를 들면, 베이스보드) 상의 하나 이상의 재료, 컴포넌트, 및/또는 와이어의 배치를 포함하여, 물리적 강도, 크기 보존, 및/또는 전기 상호 작용의 제한 등의 하나 이상의 특성을 제공한다. 특정 실시예에서 칩 세트(300)는 단일 칩으로 구현될 수 있음을 고려한다. 또한, 특정 실시예에서 칩 세트 또는 칩(300)은 단일 "시스템 온 칩"으로 구현될 수 있음을 고려한다. 또한, 특정 실시예에서, 예를 들면 별도의 ASIC를 사용하지 않고 본원에서 기술하는 모든 관련 기능을 일 프로세서 또는 프로세서들에 의해 수행함을 고려한다. 칩 세트 또는 칩(300), 또는 그 일부는, 오브젝트 추적 서비스의 하나 이상의 단계를 수행하는 수단을 구성한다. 칩 세트 또는 칩(300), 또는 그 부분은 오브젝트 추적의 하나 이상의 단계를 수행하기 위한 수단을 구성한다.

일 실시예에서, 칩 세트 또는 칩(300)은 칩 세트(300)의 구성 요소들 사이에서 정보를 전달하는 버스(310)와 같은 통신 메커니즘을 포함한다. 프로세서(303)는 버스(301)에의 연결성을 가져서, 예를 들면, 메모리(305)에 저장된 명령 및 프로세스 정보를 실행한다. 프로세서(303)는 각각 코어가 독립적으로 수행하도록 구성되는 하나 이상의 처리 코어들을 포함할 수 있다. 멀티 코어 프로세서는 하나의 물리적 패키지 내에서 멀티 처리를 할 수 있다. 멀티 코어 프로세서의 예는 2, 4, 8, 또는 그 이상의 처리 코어를 포함한다. 대안적으로 또는 추가적으로, 프로세서(303)는 버스(301)를 통해 직렬로 구성되는 하나 이상의 마이크로프로세서를 포함해서, 명령, 파이프 라인 및 멀티 스레딩의 독립적인 실행을 할 수 있다. 또한, 프로세서(303)는 하나 이상의 특수화된 컴포넌트를 동반해서, DSP(digital signal processor)(307), 또는 ASIC(application-specific integrated circuit)(309)와 같이 특정 처리 기능 및 작업을 수행할 수 있다. DSP(307)는 일반적으로 프로세서(303)와 독립해서 실시간으로 실제 신호(예를 들면, 사운드, 비디오)를 처리하도록 구성되어 있다. 마찬가지로, ASIC(309)는 더욱 범용 프로세서에 의해 쉽게 수행되지 않는 전문 기능을 수행하도록 구성될 수 있다. 본원에서 설명된 본 발명의 기능을 수행하는데 도움이 되는 다른 전문 컴포넌트는 하나 이상의 FPGA(field programmable gate arrays)(도시 생략), 하나 이상의 컨트롤러(도시 생략), 또는 하나 이상의 다른 특수 목적 컴퓨터 칩을 포함할 수 있다.

일 실시예에서, 칩 세트 또는 칩(300)은 단지 하나 또는 그 이상의 프로세서 및 하나 이상의 프로세서에 대해 지원 및/또는 관련되는 일부 소프트웨어 및/또는 펌웨어를 포함한다.

프로세서(303) 및 동반되는 컴포넌트는 버스(301)를 통해 메모리(305)에 연결되어 있다. 메모리(305)는 동적 메모리(예를 들면, RAM, 자기 디스크, 쓰기 가능한 광학 디스크 등)와 실행 시 본원에서 설명된 본 발명의 단계들을 수행하여 계정을 가지고 식별자를 등록하는 정적 메모리(예를 들면, ROM, CD-ROM 등)를 포함한다. 또한, 메모리(305)는 본 발명의 단계들의 실행과 연관되거나 그에 의해 생성된 데이터를 저장한다.

일부 경우에, 임의의 변형과 함께, 상술한 동작들(200-240)은 적어도 하나의 네트워크를 통해 적어도 하나의 서비스에 액세스 허용하는 적어도 하나의 인터페이스에의 액세스를 용이하게 하는 것을 수반하는 방법으로 구현될 수 있다. 이 경우에, 적어도 하나의 서비스가 적어도 동작들(200-240)을 수행할 수 있다.

예시적 실시예에 따른 장치의 예는 적어도 하나의 프로세서와 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함할 수 있다. 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 적어도 하나의 프로세서로 장치가, 동작들(200-240)을 (임의의 조합에서 상술한 변형 및 확장을 갖거나 갖지 않고) 수행하게 구성될 수 있다.

예시적 실시예에 따른 컴퓨터 프로그램 제품의 예는 컴퓨터 실행 가능한 프로그램 코드 부분이 내부에 저장되는 적어도 하나 이상의 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다. 컴퓨터 실행 가능한 프로그램 코드 부분은 동작들(200-240)을 수행하기 위한 프로그램 코드 명령을 (임의의 조합으로 상술한 변형 및 확장을 갖거나 갖지 않고) 포함할 수 있다.

여기에서 제시되는 본 발명의 많은 변형과 다른 실시예는 이들 발명이 속하고 전술한 설명 및 연관된 도면에서 나타난 기술의 혜택을 받는 당업자에게 기억될 것이다. 따라서, 본 발명은, 공개된 특정 실시예로 한정되는 것은 아니고 변형 및 다른 실시예가 첨부된 특허청구범위 내에 포함되도록 의도되고 있음을 이해해야 한다. 또한, 전술한 설명 및 연관된 도면이 구성 요소 및/또는 기능의 특정 예시적 조합의 맥락에서 예시적 실시예를 설명하지만, 구성 요소 및/또는 기능의 다른 조합이 첨부된 특허청구범위의 범위에서 벗어나지 않고 대안적인 실시예에 의해 제공될 수 있음을 이해해야 한다. 이 점에서, 예를 들면, 상기에서 명시적으로 설명한 구성 요소 및/또는 기능의 다른 조합도 첨부된 청구 범위의 일부에서 제시될 수 있는 것으로서 고려된다. 본원에서는 특정 용어가 채용되었지만, 그것들은 일반적이고 설명적인 의미로만 사용되는 것이며 한정을 위함은 아니다.

Claims

템플릿 크기에 매칭되도록 내부에 대상 오브젝트를 갖는 입력 프레임의 부분의 파라미터를 조정하는 단계와,
상기 입력 프레임의 부분과 활성 템플릿과 적어도 하나의 선택된 비활성 템플릿 사이에 특징 기반 이미지 등록(feature-based image registration)을 수행하는 단계와,
상기 입력 프레임의 부분과 상기 선택된 비활성 템플릿 사이의 매칭 점수에 적어도 기초하여, 후속 프레임을 위한 활성 템플릿이 되도록 상기 선택된 비활성 템플릿을 스위칭하는 것을 인에이블시키는 단계와,
상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나에 기초하여 상기 입력 프레임에서의 대상 오브젝트의 위치를 결정하는 단계를 포함하는
방법.
제 1 항에 있어서,
상기 입력 프레임의 부분을 후보 템플릿으로서 추가하는 단계를 더 포함하는
방법.
제 1 항 또는 제 2 항에 있어서,
상기 대상 오브젝트의 위치를 결정하는 단계는, 상기 입력 프레임의 부분과의 매칭을 더 많이 나타내는 매칭 점수를 제공하는 상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나를 이용하여 위치를 결정하는 것을 포함하는
방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 입력 프레임의 부분의 파라미터를 조정하는 단계는 상기 입력 프레임의 부분의 자르기(cropping), 회전(rotating) 및 크기 조정(resizing)을 포함하는
방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 선택된 비활성 템플릿은, 템플릿 키 포인트의 총 수에 대한 가장 최상의 매칭 포인트의 수의 비율과 관련하여 점수가 매겨진 복수의 후보 템플릿 중 가장 높은 순위의 비활성 템플릿을 포함하는
방법.
제 5 항에 있어서,
상기 후보 템플릿마다의 상기 비율을 누적(accumulation)하는 단계를 더 포함하는
방법.
컴퓨터 프로그램 코드를 저장하는 적어도 하나의 메모리, 및 적어도 하나의 프로세서를 포함하는 장치로서,
상기 적어도 하나의 메모리 및 저장되는 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께 상기 장치로 하여금 적어도,
템플릿 크기에 매칭되도록 내부에 대상 오브젝트를 갖는 입력 프레임의 부분의 파라미터를 조정하게 하고,
상기 입력 프레임의 부분과 활성 템플릿과 적어도 하나의 선택된 비활성 템플릿 사이의 특징 기반 이미지 등록을 수행하게 하고,
상기 입력 프레임의 부분과 상기 선택된 비활성 템플릿 사이의 매칭 점수에 적어도 기초하여, 후속 프레임을 위한 활성 템플릿이 되도록 상기 선택된 비활성 템플릿을 스위칭하는 것을 인에이블시키게 하고,
상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나에 기초하여 상기 입력 프레임에서의 대상 오브젝트의 위치를 결정하게 하도록 구성되는
장치.
제 7 항에 있어서,
상기 적어도 하나의 메모리 및 저장되는 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께 상기 장치로 하여금 상기 입력 프레임의 부분을 후보 템플릿으로서 추가하게 하도록 더 구성되는
장치.
제 7 항 또는 제 8 항에 있어서,
상기 적어도 하나의 메모리 및 저장되는 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께 상기 장치로 하여금, 상기 입력 프레임의 부분과의 매칭을 더 많이 나타내는 매칭 점수를 제공하는 상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나를 이용하여 위치를 결정함으로써 상기 대상 오브젝트의 위치를 결정하게 하도록 구성되는
장치.
제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 적어도 하나의 메모리 및 저장되는 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께 상기 장치로 하여금, 상기 입력 프레임의 부분을 자르기, 회전 및 크기 조정을 행함으로써 상기 입력 프레임의 부분의 파라미터를 조정하게 하도록 구성되는
장치.
제 7 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 선택된 비활성 템플릿은, 템플릿 키 포인트의 총 수에 대한 가장 최상의 매칭 포인트의 수의 비율과 관련하여 점수가 매겨진 복수의 후보 템플릿 중 가장 높은 순위의 비활성 템플릿을 포함하는
장치.
제 11 항에 있어서,
상기 적어도 하나의 메모리 및 저장되는 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께 상기 장치로 하여금, 상기 후보 템플릿마다의 상기 비율을 누적하게 하도록 더 구성되는
장치.
제 7 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 장치는 모바일 단말기를 포함하거나 상기 모바일 단말기 상에 구현되는
장치.
제 13 항에 있어서,
상기 모바일 단말기는 또한, 유저 인터페이스 및 상기 유저 인터페이스의 적어도 일부 기능을 제어하도록 구성된 유저 인터페이스 회로를 포함하는
장치.
컴퓨터 판독 가능한 프로그램 명령어를 내부에 저장하는 적어도 하나의 비일시적인 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 판독 가능한 프로그램 명령어는,
템플릿 크기에 매칭되도록 내부에 대상 오브젝트를 갖는 입력 프레임의 부분의 파라미터를 조정하도록 구성된 프로그램 명령어와,
상기 입력 프레임의 부분과 활성 템플릿과 적어도 하나의 선택된 비활성 템플릿 사이의 특징 기반 이미지 등록을 수행하도록 구성된 프로그램 명령어와,
상기 입력 프레임의 부분과 상기 선택된 비활성 템플릿 사이의 매칭 점수에 적어도 기초하여, 후속 프레임을 위한 활성 템플릿이 되도록 상기 선택된 비활성 템플릿을 스위칭하는 것을 인에이블시키도록 구성된 프로그램 명령어와,
상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나에 기초하여 상기 입력 프레임에서의 대상 오브젝트의 위치를 결정하도록 구성된 프로그램 명령어를 포함하는
컴퓨터 프로그램 제품.
제 15 항에 있어서,
상기 입력 프레임의 부분을 후보 템플릿으로서 추가하도록 구성된 프로그램 명령어를 더 포함하는
컴퓨터 프로그램 제품.
제 15 항 또는 제 16 항에 있어서,
상기 대상 오프젝트의 위치를 결정하도록 구성된 프로그램 명령어는
상기 입력 프레임의 부분과의 매칭을 더 많이 나타내는 매칭 점수를 제공하는 상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나를 이용하여 위치를 결정하도록 구성되는 프로그램 명령어를 포함하는
컴퓨터 프로그램 제품.
제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 입력 프레임의 부분의 파라미터를 조정하도록 구성된 프로그램 명령어는 상기 입력 프레임의 부분의 자르기, 회전 및 크기 조정을 하도록 구성된 프로그램 명령어를 포함하는
컴퓨터 프로그램 제품.
제 15 항 내지 제 18 항 중 어느 한 항에 있어서,
상기 선택된 비활성 템플릿은, 템플릿 키 포인트의 총 수에 대한 가장 최상의 매칭 포인트의 수의 비율과 관련하여 점수가 매겨진 복수의 후보 템플릿 중 가장 높은 순위의 비활성 템플릿을 포함하는
컴퓨터 프로그램 제품.
제 19 항에 있어서,
상기 후보 템플릿마다의 상기 비율을 누적하도록 구성되는 프로그램 명령어를 더 포함하는
컴퓨터 프로그램 제품.
템플릿 크기에 매칭되도록 내부에 대상 오브젝트를 갖는 입력 프레임의 부분의 파라미터를 조정하는 수단과,
상기 입력 프레임의 부분과 활성 템플릿과 적어도 하나의 선택된 비활성 템플릿 사이의 특징 기반 이미지 등록을 수행하는 수단과,
상기 입력 프레임의 부분과 상기 선택된 비활성 템플릿 사이의 매칭 점수에 적어도 기초하여, 후속 프레임을 위한 활성 템플릿이 되도록 상기 선택된 비활성 템플릿을 스위칭하는 것을 인에이블시키는 수단과,
상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나에 기초하여 상기 입력 프레임에서 대상 오브젝트의 위치를 결정하는 수단을 포함하는
장치.
제 21 항에 있어서,
상기 입력 프레임의 부분을 후보 템플릿으로서 추가하는 수단을 더 포함하는
장치.
제 21 항 또는 제 22 항에 있어서,
상기 대상 오브젝트의 위치를 결정하는 수단은 상기 입력 프레임의 부분과의 매칭을 더 많이 나타내는 매칭 점수를 제공하는 상기 활성 템플릿 또는 상기 선택된 비활성 템플릿 중 하나를 이용하여 위치를 결정하는 수단을 포함하는
장치.
제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 입력 프레임의 부분의 파라미터를 조정하는 수단은 상기 입력 프레임의 부분의 자르기, 회전 및 크기 조정을 행하는 수단을 포함하는
장치.
제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
상기 선택된 비활성 템플릿은, 템플릿 키 포인트의 총 수에 대한 가장 최상의 매칭 포인트의 수의 비율과 관련하여 점수가 매겨진 복수의 후보 템플릿 중 가장 높은 순위의 비활성 템플릿을 포함하는
장치.
제 25 항에 있어서,
상기 후보 템플릿마다의 상기 비율을 누적하는 수단을 더 포함하는
장치.