KR101173802B1

KR101173802B1 - 대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램이 기록된 기록 매체

Info

Publication number: KR101173802B1
Application number: KR1020110003821A
Authority: KR
Inventors: 타카요시 야마시타
Original assignee: 오므론 가부시키가이샤
Priority date: 2010-03-15
Filing date: 2011-01-14
Publication date: 2012-08-16
Also published as: JP5488076B2; EP2372654B1; KR20110103842A; US20110221890A1; EP2372654A1; CN102194236A; JP2011192092A; CN102194236B; US8570371B2

Abstract

과제
대상물의 주위에 대상물의 유사물이 존재하는 경우에도, 대상물을 정확히 추적할 수 있는 대상물 추적 장치를 실현한다.
해결 수단
본 발명에 관한 물체 추적 장치는, 현 프레임의 전 프레임에서의, 대상물과, 대상물과 같은 특징을 갖는 유사물과의 위치 관계로부터 추적 상태를 판정하는 상태 판정부(31)와, 현 프레임에서의 대상물의 위치를 특정하는 대상물 탐색부(33)와, 대상물의 주변의 소정의 영역인 주변 영역에 유사물이 존재하는 경우, 현 프레임에서의 유사물의 위치를 특정하는 주변 탐색부(37)를 구비하고, 추적 상태가 「겹침」인 경우, 대상물 예측부(41)는, 전 프레임에서의, 대상물의 위치와 대상물의 운동 상태에 의거하여, 현 프레임에서의 대상물의 위치를 예측하여 대상물의 위치를 특정하고, 추적 상태가 「겹침」이 아닌 경우, 대상물 탐색부(33)는, 현 프레임의 화상으로부터 대상물을 탐색하여 대상물의 위치를 특정한다.

Description

대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램이 기록된 기록 매체{OBJECT TRACKING APPARATUS, OBJECT TRACKING METHOD, AND RECORDING MEDIUM FOR CONTROL PROGRAM}

본 발명은, 동화상중의 대상물을 추적하는 기술에 관한 것이다.

종래로부터, 동화상중의 인물 또는 물(物) 등의 물체의 움직임을 추적하는 기술이 이용되고 있다. 예를 들면, 디지털 카메라, 디지털 비디오 카메라, 또는 휴대 전화 등의 동화 촬영에서, 한번 대상물에 초점을 맞추면, 그 대상물을 추적하여 그 대상물에 초점을 계속 맞추는 기술이 있다.

물체 추적은, 어느 프레임의 화상으로부터 추적하는 물체를 결정하기 위한 초기화 처리, 및, 초기화 처리에서 결정한 추적 대상물과 유사한 물체(영역)를, 다음 프레임 이후의 화상으로부터 탐색하는 탐색 처리로 이루어진다. 초기화 처리에서는, 터치 패널로 화상중의 영역을 지정하는, 또는, 주지의 얼굴?인물 검출 등을 이용함에 의해, 화상의 일부의 영역을 추적 대상물로서 지정할 수 있다. 또한, 초기화 처리에서는, 지정한 추적 대상물의 특징을 나타내는 템플릿의 작성이 행하여진다. 탐색 처리에서는, 템플릿과의 유사도를 이용하여, 다음 프레임의 화상에서의 추적 대상물을 탐색한다. 또한, 탐색 처리에서는, 다음 프레임의 화상에서의 추적 대상물에 응하여, 템플릿을 갱신한다.

템플릿의 작성 방법으로서는, 추적 대상물의 색 분포 또는 에지 분포 등을, 화상의 추적 대상물의 영역으로부터 얻는 방법(특허 문헌 1), 또는, 추적 대상물과 그 주위의 영역을 구별하기 위해 유효한 정보를, 화상의 추적 대상물의 영역 및 그 주위의 영역으로부터 얻는 방법(비특허 문헌 1) 등이 있다.

특허 문헌 1에는, 과거의 화상중의 추적 대상물의 색의 분포를 템플릿으로서 기억하여 두고, 현재의 화상에서의 템플릿과 유사한 영역을 구배법을 이용하여 탐색하는 기술이 개시되어 있다.

또한, 비특허 문헌 1에는, 추적 대상물과 그 주위의 영역을 구별하기 위해, 화상으로부터 추적 대상물과 주위의 영역과의 차를 나타내는 정보(예를 들면, 배경의 색의 정보)를 얻고, 추적 대상물의 식별기로서 학습하고, 추적 대상물을 추적하는 기술이 개시되어 있다.

[특허 문헌]

특허 문헌 1 : 미국특허 제6,590,999호 명세서(2003년 7월 8일 등록)

[비특허 문헌]

비특허 문헌 1 : H. Grabneret. al., "On-line Boosting and Vision", IEEE. Conf. on Computer Vision and Pattern Recognition, pp. 260-267, 2006

그러나, 상기 종래의 구성에서는, 추적 대상물의 근처에 추적 대상물에 유사한 물체(유사물)가 존재하는 경우, 추적 대상물 대신에 잘못하여 유사물을 추적하여 버리는 일이 있다는 문제가 생긴다.

특허 문헌 1에 기재된 기술으로는, 템플릿은 추적 대상물로부터 얻어진 색 또는 에지의 분포의 정보로 되고, 템플릿과의 유사도에 의해 유사물을 검출하고 얻는다. 그 때문에, 유사물이 추적 대상물의 근처에 존재하는 경우, 잘못하여 유사물을 추적해 버리는 것이 있다.

비특허 문헌 1에 기재된 기술에서는, 추적 대상물에 매우 닮은 유사물이 추적 대상물의 근처에 존재하는 경우, 추적 대상물과 그 주변 영역(유사물을 포함한다)을 구별하기 위해 유효한 정보를 추출할 수가 없어서, 추적 대상물을 추적할 수가 없다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것으로, 그 목적은, 추적 대상물의 주위에 추적 대상물의 유사물이 존재하는 경우에도, 추적 대상물을 정확히 추적할 수 있는 대상물 추적 장치 또는 대상물 추적 방법을 실현하는 것에 있다.

본 발명에 관한 대상물 추적 장치는, 복수의 프레임으로 이루어지는 시계열 화상중의 대상물을 추적하는 대상물 추적 장치로서, 상기한 과제를 해결하기 위해, 현(現) 프레임 전(前)의 프레임에서의, 상기 대상물과, 상기 대상물과 같은 특징을 갖는 유사물과의 위치 관계를 판정하는 위치 관계 판정부와, 현 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정부와, 상기 대상물의 주변의 소정의 영역인 주변 영역에 상기 유사물이 존재하는 경우, 현 프레임에서의 상기 유사물의 위치를 특정하는 유사물 위치 특정부를 구비하고, 상기 위치 관계가 제 1 상태인 경우, 상기 대상물 위치 특정부는, 전 프레임에서의, 상기 대상물의 위치와 상기 대상물의 운동 상태에 의거하여, 현 프레임에서의 상기 대상물의 위치를 예측하여 상기 대상물의 위치를 특정하고, 상기 위치 관계가 제 1 상태가 아닌 경우, 상기 대상물 위치 특정부는, 현 프레임의 화상으로부터 상기 대상물을 탐색하여 상기 대상물의 위치를 특정(特定)하는 것을 특징으로 하고 있다.

본 발명에 관한 대상물 추적 방법은, 복수의 프레임으로 이루어지는 시계열 화상중의 대상물을 추적하는 대상물 추적 방법으로서, 상기한 과제를 해결하기 위해, 현 프레임의 전 프레임에서의, 상기 대상물과, 상기 대상물과 같은 특징을 갖는 유사물과의 위치 관계를 판정하는 위치 관계 판정 스텝과, 현 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝과, 상기 대상물의 주변의 소정의 영역인 주변 영역에 상기 유사물이 존재하는 경우, 현 프레임에서의 상기 유사물의 위치를 특정하는 유사물 위치 특정 스텝을 포함하고, 상기 대상물 위치 특정 스텝에서는, 상기 위치 관계가 제 1 상태인 경우, 전 프레임에서의, 상기 대상물의 위치와 상기 대상물의 운동 상태에 의거하여, 현 프레임에서의 상기 대상물의 위치를 예측하여 상기 대상물의 위치를 특정하고, 상기 위치 관계가 제 1 상태가 아닌 경우, 현 프레임의 화상으로부터 상기 대상물을 탐색하여 상기 대상물의 위치를 특정하는 것을 특징으로 하고 있다.

상기한 구성에 의하면, 대상물과 유사물과의 위치 관계에 응하여, 대상물 위치 특정부의 처리를 전환한다. 그 때문에, 대상물과 유사물과의 위치 관계 탓으로, 대상물을 정확히 추적하는 것이 곤란한 경우에, 대상물의 위치와 대상물의 운동 상태에 의거하여, 현 프레임에서의 대상물의 위치를 예측함에 의해, 대상물의 위치를 특정할 수 있다. 따라서, 대상물의 주위에 유사물이 존재하는 경우에도, 추적의 바꿔탐(乘移)을 막아, 대상물을 정확히 추적할 수 있다.

또한, 상기 위치 관계 판정부는, 상기 유사물이 상기 대상물의 부근의 제 1 범위 내에 존재하는 경우, 상기 위치 관계가 제 1 상태라고 판정하는 구성이라도 좋다.

상기한 구성에 의하면, 대상물의 부근에 유사물이 존재하는 경우에, 대상물 위치 특정부는, 대상물의 위치와 대상물의 운동 상태에 의거하여, 현 프레임에서의 대상물의 위치를 예측한다. 따라서, 대상물의 부근에 유사물이 존재하여, 추적 처리를 행하면 추적의 바꿔탐이 발생하기 쉬운 경우라도, 대상물의 운동 상태 등으로부터 대상물의 위치를 예측함에 의해, 추적의 바꿔탐을 막아, 대상물을 정확히 추적할 수 있다.

또한, 상기 유사물 위치 특정부는, 현 프레임의 화상으로부터 상기 유사물을 탐색하여 상기 유사물의 위치를 특정하여도 좋다.

또한, 유사물 운동 상태 특정부를 구비하고, 상기 위치 관계 판정부는, 상기 유사물이 제 1 범위보다 외측의 제 2 범위 내에 존재하는 경우, 상기 위치 관계가 제 2 상태라고 판정하고, 상기 유사물 운동 상태 특정부는, 상기 위치 관계가 제 2 상태인 경우, 상기 유사물의 운동 상태를 특정하고, 상기 유사물 위치 특정부는, 상기 위치 관계가 제 1 상태인 경우, 전 프레임에서의, 상기 유사물의 위치와 상기 유사물의 운동 상태에 의거하여, 현 프레임에서의 상기 유사물의 위치를 예측하여 상기 유사물의 위치를 특정하고, 상기 위치 관계가 제 2 상태인 경우, 현 프레임의 화상으로부터 상기 유사물을 탐색하여 상기 유사물의 위치를 특정하는 구성이라도 좋다.

상기한 구성에 의하면, 대상물과 유사물이 어느 정도 떨어저 있고 추적의 바꿔탐이 발생하기 어렵다고 생각되는 제 2 상태에서, 유사물 운동 상태 특정부가 유사물의 운동 상태를 특정하고, 대상물과 유사물이 접근하여 추적의 바꿔탐이 발생하기 쉽다고 생각되는 제 1 상태에서, 유사물 위치 특정부는, 유사물의 위치와 유사물의 운동 상태에 의거하여, 현 프레임에서의 유사물의 위치를 예측한다. 따라서, 대상물의 부근에 유사물이 존재하고, 유사물을 정확히 탐색할 수가 없는 경우라도, 유사물의 운동 상태 등으로부터 유사물의 위치를 예측할 수 있다.

또한, 상기 위치 관계 판정부는, 상기 유사물이 제 1 범위 내에도 제 2 범위 내에도 존재하지 않는 경우, 상기 위치 관계가 제 3 상태라고 판정하고, 상기 유사물 위치 특정부는, 상기 위치 관계가 제 3 상태인 경우, 현 프레임의 화상으로부터 상기 유사물을 탐색하여 상기 유사물의 위치를 특정하는 구성이라도 좋다.

또한, 상기 대상물의 운동 상태를 특정하는 대상물 운동 상태 특정부를 구비하는 구성이라도 좋다.

상기한 구성에 의하면, 대상물 운동 상태 특정부가 대상물의 운동 상태를 특정하기 때문에, 대상물 위치 특정부는, 대상물의 위치와 대상물의 운동 상태에 의거하여, 현 프레임에서의 대상물의 위치를 예측할 수 있다.

또한, 상기 위치 관계 판정부는, 상기 대상물과 상기 유사물과의 거리에 응하여, 상기 위치 관계를 판정하는 구성이라도 좋다.

상기한 구성에 의하면, 대상물과 유사물과의 거리에 응하여, 대상물 위치 특정부의 처리를 전환할 수 있다.

또한, 상기 운동 상태는, 속도를 나타내는 것이라도 좋다.

상기한 구성에 의하면, 대상물 위치 특정부는, 대상물을 정확히 추적하는 것이 곤란한 경우에, 대상물의 위치와 대상물의 속도에 의거하여, 현 프레임에서의 대상물의 위치를 예측함에 의해, 대상물의 위치를 특정할 수 있다.

본 발명에 관한 대상물 추적 장치는, 복수의 프레임으로 이루어지는 시계열 화상중의 대상물을 추적하는 대상물 추적 장치로서, 상기한 과제를 해결하기 위해, 현 프레임의 화상으로부터 상기 대상물을 탐색하여, 현 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정부와, 현 프레임의 화상으로부터 상기 대상물과 같은 특징을 갖는 유사물을 탐색하여, 상기 대상물의 주변의 소정의 영역인 주변 영역에 상기 유사물이 존재하는 경우, 현 프레임에서의 상기 유사물의 위치를 특정하는 유사물 위치 특정부를 구비하는 것을 특징으로 하고 있다.

본 발명에 관한 대상물 추적 방법은, 복수의 프레임으로 이루어지는 시계열 화상중의 대상물을 추적하는 대상물 추적 방법으로서, 상기한 과제를 해결하기 위해, 현 프레임의 화상으로부터 상기 대상물을 탐색하여, 현 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝과, 현 프레임의 화상으로부터 상기 대상물과 같은 특징을 갖는 유사물을 탐색하여, 상기 대상물의 주변의 소정의 영역인 주변 영역에 상기 유사물이 존재하는 경우, 현 프레임에서의 상기 유사물의 위치를 특정하는 유사물 위치 특정 스텝을 포함하는 것을 특징으로 하고 있다.

상기한 구성에 의하면, 대상물이라고 잘못 인식하기 쉬운 유사물을 미리 검출하고, 그 위치를 특정한다. 그 때문에, 어느 프레임에서 검출한 대상물의 후보가 유사물건인지의 여부를, 그 전 프레임에서의 유사물의 위치의 정보를 이용하여 판단할 수 있다. 그 때문에, 추적의 바꿔탐을 막아, 대상물을 정확히 추적할 수 있다. 예를 들면, 대상물 위치 특정부는, 어느 프레임에서의 대상물의 후보에 관해, 하나 전 프레임의 유사물로부터의 거리(및 하나 전 프레임의 대상물로부터의 거리)에 응하여, 해당 후보가 대상물인 것의 우도(尤度;likelihood)를 산출하고, 해당 우도에 의거하여 해당 후보가 대상물인지의 여부를 판단하여도 좋다.

또한, 현 프레임의 화상으로부터 상기 대상물을 특징지우는 정보를 추출하고, 추출한 상기 대상물을 특징지우는 정보를 이용하여, 상기 대상물을 특징지우는 대상물 특징량을 생성하는 대상물 특징량 생성부를 구비하고, 상기 대상물 위치 특정부는, 전 프레임에서의 상기 대상물 특징량을 이용하여, 현 프레임의 화상으로부터 상기 대상물을 탐색하여, 현 프레임에서의 상기 대상물의 위치를 특정하고, 상기 유사물 위치 특정부는, 상기 대상물 특징량을 이용하여, 현 프레임의 화상으로부터 상기 유사물을 탐색하여, 현 프레임에서의 상기 유사물의 위치를 특정하는 구성이라도 좋다.

상기한 구성에 의하면, 대상물의 탐색에 이용하는 것과 같은 대상물 특징량을 이용하여, 유사물의 탐색을 행한다. 따라서, 대상물과 같은 특징을 가지며 대상물이라고 오인식하기 쉬운 유사물만을, 보다 정확히 탐색할 수 있다. 또한, 이미 생성한 대상물 특징량을 이용하여 유사물의 탐색을 행할 수가 있기 때문에, 유사물의 탐색에 필요로 하는 처리시간을 단축할 수 있다.

또한, 상기 대상물 추적 장치는, 일부를 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 부분으로서 동작시킴에 의해 상기 대상물 추적 장치를 컴퓨터에 실현시키는 제어 프로그램, 및 상기 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.

이상과 같이, 본 발명에 의하면, 대상물이라고 잘못 인식하기 쉬운 유사물을 미리 검출하고, 그 위치를 특정한다. 그 때문에, 어느 프레임에서 검출한 대상물의 후보가 유사물인지의 여부를, 그 전 프레임에서의 유사물의 위치의 정보를 이용하여 판단할 수 있다. 그 때문에, 추적의 바꿔탐을 막아, 대상물을 정확히 추적할 수 있다.

또한, 본 발명에 의하면, 대상물과 유사물과의 위치 관계에 응하여, 대상물 위치 특정부의 처리를 전환한다. 그 때문에, 대상물과 유사물과의 위치 관계 탓으로, 대상물을 정확히 추적하는 것이 곤란한 경우에, 대상물의 위치와 대상물의 운동 상태에 의거하여, 현 프레임에서의 대상물의 위치를 예측함에 의해, 대상물의 위치를 특정할 수 있다. 따라서, 대상물의 주위에 유사물이 존재하는 경우에도, 추적의 바꿔탐을 막아, 대상물을 정확히 추적할 수 있다.

도 1은 본 발명의 한 실시의 형태에 관한 물체 추적 시스템의 개략 구성을 도시하는 블록도.
도 2는 상기 물체 추적 시스템의 추적부의 구성을 도시하는 블록도.
도 3의 (a)는, 어느 프레임의 화상에 관한 추적 처리의 예를 도시하는 도면, (b)는, 그 다음 프레임의 화상에 관한 추적 처리의 예를 도시하는 도면.
도 4는 물체 추적 장치에서의 대상물의 추적 처리의 흐름의 개요를 도시하는 플로우 차트.
도 5는 초기화부에서의 초기화 처리의 흐름을 도시하는 플로우 차트.
도 6은 추적부에서의 추적 처리의 흐름을 도시하는 플로우 차트.
도 7은 추적부에서의 추적 처리의 흐름을 도시하는 플로우 차트.
도 8은 대상물과 유사물과의 위치 관계의 예를 도시하는 도면으로, (a)는, 추적 상태가 「안전」인 위치 관계를 도시하는 예, (b)는, 추적 상태가 「근접」인 위치 관계를 도시하는 예, (c)는, 추적 상태가 「겹침」인 위치 관계를 도시하는 예.
도 9는 주변 영역의 예를 도시하는 도면.

본 실시의 형태에서는, 디지털 비디오 카메라에 탑재되고, 촬상된 동화상중의 대상물을 추적하여 대상물에 초점을 계속 맞추는 물체 추적 시스템에 관해 설명하지만, 본 발명은 이것으로 한정되는 것이 아니다. 이하, 본 실시의 형태에 관해, 도 1 내지 9를 참조하여 상세히 설명한다.

<물체 추적 시스템의 구성>

도 1은, 본 실시의 형태에 관한 물체 추적 시스템(1)의 개략 구성을 도시하는 블록도이다. 물체 추적 시스템(1)은, 촬상 장치(2), 초점 제어 장치(3), 및 물체 추적 장치(대상물 추적 장치)(10)를 구비한다.

촬상 장치(2)는, 동화상을 촬상하는 것이다. 촬상 장치(2)는, 예를 들면, CCD(charge coupled device) 또는 CMOS(complementary metal oxidesemi conductor) 촬상 소자 등의 촬상 소자에 의해 구성된다. 본 실시의 형태에서는, 촬상 장치(2)는, 1초간에 30프레임의 화상을 촬상한다. 촬상 장치(2)는, 촬상한 동화상을 복수의 프레임으로 이루어지는 시계열로 나열한 화상으로서 물체 추적 장치(10)에 출력한다.

물체 추적 장치(10)는, 시계열의 화상으로부터 추적 대상인 대상물을 추적하고, 화상중에서의 대상물의 위치를, 초점 제어 장치(3)에 출력한다. 물체 추적 장치(10)의 상세한 구성은 후술한다.

초점 제어 장치(3)는, 물체 추적 장치(10)로부터 입력된 화상중에서 대상물의 위치에 의거하여, 촬상 장치(2)의 초점을 조절한다.

다음에, 물체 추적 장치(10)의 상세 구성에 관해 설명한다. 물체 추적 장치(10)는, 화상 취득부(11), 기억부(12), 초기화부(13), 및 추적부(14)를 구비한다. 초기화부(13)는, 추적 대상이 되는 화상중의 대상물을 특정하는 것이고, 추적부(14)는, 시계열의 화상중의 대상물을 추적하는 것이다.

화상 취득부(11)는, 촬상 장치(2)로부터 시계열의 화상(화상 데이터)을 순번대로 취득하여, 시계열의 화상을 기억부(12)에 기억시킨다.

기억부(12)는, 각종의 정보를 기억한 것이고, 예를 들면 HDD(Hard Disk Drive), 플래시 메모리 등의 기억 디바이스에 의해 구성된다. 기억부(12)는, 화상 취득부(11)가 취득한 복수의 프레임의 화상을 기억한다. 또한, 기억부(12)는, 초기화부(13) 및 추적부(14)가 출력하는 각종의 정보를 기억한다.

<초기화부의 구성>

초기화부(13)는, 대상물 지정부(21), 초기 대상물 탐색부(대상물 위치 특정부)(22), 초기 대상물 템플릿 생성부(대상물 특징량 생성부)(23), 초기 주변 영역 결정부(24), 초기 주변 탐색부(유사물 위치 특정부)(25), 및 초기 유사물 템플릿 생성부(유사물 특징량 생성부)(26)를 구비한다.

대상물 지정부(21)는, 화상중의 추적 대상이 되는 대상물을 특정하는 것이다. 대상물 지정부(21)는, 예를 들면, 화상중의 어느 위치에 추적 대상이 되는 대상물이 존재하는지를 나타내는 정보의 입력을 접수한다. 예를 들면, 디지털 비디오 카메라는 터치 패널이 구비된 표시 장치에 의해 촬상하고 있는 화상을 이용자에게 제시하고, 이용자는, 터치 패널에 의해 추적 대상이 되는 대상물이 존재하는 위치를 지정한다. 대상물 지정부(21)는, 지정된 위치의 정보를 초기 대상물 탐색부(22)에 출력한다.

또한, 대상물 지정부(21)는, 대상물이 존재하는 영역을 나타내는 정보를 접수하여도 좋다.

초기 대상물 탐색부(22)는, 대상물 지정부(21)에서 지정된 위치에 의거하여, 화상으로부터 대상물을 탐색함에 의해, 대상물이 존재하는 위치(또는 대상물이 존재하는 영역)를 특정한다. 구체적으로는, 초기 대상물 탐색부(22)는, 기억부(12)로부터 어느 시점(예를 들면 최신)의 프레임의 화상을 취득한다. 초기화부(13)에서의 이하의 처리는, 해당 프레임의 화상에 관해 행하여진다. 초기 대상물 탐색부(22)는, 지정된 위치를 포함하는 소정의 영역, 예를 들면 지정된 위치를 중심으로 하는 100×100픽셀의 영역에 관해, 얼굴 검출을 행한다. 이 얼굴 검출에 관해서는 주지의 기술을 이용할 수 있다. 초기 대상물 탐색부(22)는, 검출된 얼굴이 포함되는 사각형의 영역을 대상물이 존재하는 대상물 영역으로 하고, 대상물 영역의 중심의 좌표를 대상물의 위치로 한다. 예를 들면 검출된 얼굴의 상(像)이 크면, 대상물 영역은 보다 크게 설정된다. 초기 대상물 탐색부(22)는, 대상물의 위치 및 대상물 영역(의 폭과 높이)의 정보를 초기 대상물 템플릿 생성부(23) 및 초기 주변 영역 결정부(24)에 출력한다. 또한, 초기 대상물 탐색부(22)는, 대상물의 위치 및 대상물 영역의 정보를, 해당 프레임과 대응시켜서 기억부(12)에 기억시킨다.

또한, 초기 대상물 탐색부(22)는, 얼굴 검출 대신에 인물 검출을 행하여도 좋고, 다른 특징점을 추출하는 처리를 행하여도 좋다. 또한, 대상물 영역은, 원형(圓形) 등의 다른 형상의 영역이라도 좋고, 소정의 크기의 영역이라도 좋다.

또한, 대상물 지정부(21)는, 특정한 조건의 입력을 접수하고, 초기 대상물 탐색부(22)는, 그 조건에 의거하여 대상물을 검출하여도 좋다. 예를 들면, 대상물 지정부(21)가 「얼굴을 대상물로 한다」는 조건의 입력을 접수한 경우, 초기 대상물 탐색부(22)는, 화상 전체에 걸쳐서 얼굴 검출을 행하고, 검출된 얼굴의 어느 하나를 대상물로 한다. 대상물 지정부(21)가 「네모진 물체를 대상물로 한다」는 조건의 입력을 접수한 경우, 마찬가지로, 초기 대상물 탐색부(22)는, 화상으로부터 검출된 네모진 물체의 어느 하나를 대상물로 한다.

초기 대상물 템플릿 생성부(23)는, 대상물을 특징지우는 특징량을 추출하여, 대상물을 특징지우는 템플릿을 생성한다. 구체적으로는, 초기 대상물 템플릿 생성부(23)는, 대상물 영역에 포함되는 화상으로부터 템플릿을 생성한다. 템플릿은, 예를 들면 색의 분포 또는 에지의 분포 등의, 대상물에 특징적인 특징량을 포함한다. 이 템플릿을 이용하여 구배법 등의 추적 처리를 행함으로써, 다음 프레임의 화상에서의 대상물을 추적할 수 있다. 또한, 템플릿의 생성에 관해서는, 주지의 기술을 이용할 수 있다. 초기 대상물 템플릿 생성부(23)는, 생성한 대상물의 템플릿을, 해당 프레임과 대응시켜서 기억부(12)에 기억시킨다.

초기 주변 영역 결정부(24)는, 대상물에 유사한 유사물을 탐색하는 영역을 결정한다. 구체적으로는, 초기 주변 영역 결정부(24)는, 대상물 영역의 주위의 소정의 영역을 유사물을 탐색하는 영역(주변 영역)으로서 결정한다. 초기 주변 영역 결정부(24)는, 주변 영역의 정보를 초기 주변 탐색부(25)에 출력한다.

초기 주변 탐색부(25)는, 주변 영역을 탐색함에 의해, 대상물의 주위에 대상물에 유사한 유사물이 존재하는지의 여부를 조사한다. 예를 들면, 초기 주변 탐색부(25)는, 초기 대상물 템플릿 생성부(23)가 생성한 대상물의 템플릿을 이용하여, 주변 영역에서 템플릿과 유사한 영역을 탐색함에 의해, 주변 영역에서 유사물의 탐색을 행한다. 초기 주변 탐색부(25)는, 검출한 유사물의 위치 및 유사물이 존재하는 영역(유사물 영역)을 특정하고, 유사물의 위치 및 유사물 영역의 정보를, 해당 프레임과 대응시켜서 기억부(12)에 기억시킨다. 또한, 주변 영역에서 복수의 유사물을 검출한 경우, 초기 주변 탐색부(25)는, 복수의 유사물의 모든 위치 및 유사물 영역의 정보를 기억부(12)에 기억시킨다. 또한, 초기 주변 탐색부(25)는, 유사물의 위치 및 유사물 영역의 정보를 초기 유사물 템플릿 생성부(26)에 출력한다.

또한, 초기 주변 탐색부(25)는, 초기 대상물 탐색부(22)가 행하는 검출 방법(얼굴 검출)과 같은 방법(같은 특징을 검출하는 방법)을 이용함에 의해, 대상물에 유사한(대상물과 같은 특징을 갖는) 유사물의 검출을 행할 수가 있다. 예를 들면, 초기 주변 탐색부(25)는, 주변 영역에서 얼굴 검출을 행함에 의해, 대상물의 주위의 주변 영역에 존재하는 대상물과는 다른 얼굴의 상을 검출하여도 좋다.

또한, 초기 주변 영역 결정부(24)가, 화상 전체를, 유사물을 탐색하는 주변 영역으로서 결정하고, 초기 주변 탐색부(25)가, 화상 전체로부터 대상물 이외의 유사물을 탐색하여도 좋다.

초기 유사물 템플릿 생성부(26)는, 검출된각 유사물에 관한 템플릿을 생성한다. 템플릿의 생성 처리에 관해서는 초기 대상물 템플릿 생성부(23)와 같은 방법을 이용할 수 있다. 초기 유사물 템플릿 생성부(26)는, 생성한 유사물의 템플릿을 해당 프레임과 대응시켜서 기억부(12)에 기억시킨다.

이상에 의해, 어느 프레임의 화상에서의, 대상물의 위치, 대상물 영역, 대상물의 템플릿, 유사물의 위치, 유사물 영역, 및 유사물의 템플릿의 정보가, 초기화부(13)에 의해 기억부(12)에 기억된다. 이들의 정보를 기초로, 추적부(14)는, 다음 프레임 이후에서 대상물의 추적을 행한다.

<추적부의 구성>

도 2는, 추적부(14)의 구성을 도시하는 블록도이다. 추적부(14)는, 상태 판정부(위치 관계 판정부)(31), 탐색 영역 결정부(32), 대상물 탐색부(대상물 위치 특정부)(33), 대상물 운동 정보 생성부(대상물 운동 상태 특정부)(34), 대상물 템플릿 생성부(대상물 특징량 생성부)(35), 주변 영역 결정부(36), 주변 탐색부(유사물 위치 특정부)(37), 유사물 템플릿 생성부(유사물 특징량 생성부)(39), 출력부(40), 및 대상물 예측부(대상물 위치 특정부)(41)를 구비한다.

화상 취득부(11)는, 초기화부(13)에서 추적 대상이 되는 대상물을 특정한 화상의 다음 프레임의 화상을, 촬상 장치(2)로부터 취득하여 기억부(12)에 기억시킨다. 추적부(14)는, 이 화상중의 대상물을 추적한다. 이후에서는, 추적부(14)에서 추적 처리를 행하는 처리 대상의 프레임을 현 프레임이라고 칭하고, 현 프레임의 화상을 처리 대상 화상이라고 칭한다.

상태 판정부(31)는, 현 프레임의 하나 전 프레임에서의 대상물의 위치, 대상물 영역, 유사물의 위치, 및 유사물 영역에서, 대상물과, 그 주위에 존재하는 유사물과의 위치 관계를 판정한다.

현 프레임의 하나 전 프레임에서, 대상물의 주변 영역에 유사물이 검출되지 않은 경우, 추적 대상을 잘못하여 유사물을 추적해 버리는 「추적의 바꿔탐」이 일어나기 쉬운 물체가 대상물의 근처에 존재하지 않았다고 생각된다. 통상, 1프레임 또는 수프레임에서의 화상중의 물체의 이동량은 크지 않다고 상정되기 때문에, 현 프레임의 하나 전 프레임에서의, 대상물의 주변 영역에 유사물이 검출되지 않은 경우는, 통상의 추적 처리를 행함에 의해 대상물을 추적할 수 있다. 현 프레임의 하나 전 프레임에서의, 대상물의 주변 영역에 유사물이 검출되지 않은 경우, 상태 판정부(31)는, 대상물과 유사물과의 위치 관계를 나타내는 추적 상태를 「안전」으로 판정한다. 추적 상태 「안전」은, 통상의 추적 처리를 행하여도 추적의 바꿔탐이 일어날 우려가 없는(일어날 가능성이 낮은) 상태를 나타낸다.

또한, 대상물과 유사물이 소정의 거리보다 떨어져 있는 경우도, 통상의 추적 처리를 행하여도 추적의 바꿔탐이 일어날 가능성이 낮다. 그 때문에, 대상물과 유사물이 소정의 거리보다 떨어져 있는 경우, 상태 판정부(31)는, 대상물과 유사물과의 위치 관계를 나타내는 추적 상태를 「안전」으로 판정한다.

대상물과 유사물이 소정의 거리 이내에 근접하여 있는(유사물이 대상물의 주위의 소정의 범위 내에 존재하는) 경우, 즉 대상물과 유사물이 근접하여 있는 경우, 상태 판정부(31)는, 대상물과 유사물과의 위치 관계를 나타내는 추적 상태를 「근접」으로 판정한다. 추적 상태 「근접」은, 통상의 추적 처리를 행한고 대상물을 추적할 수 있는 것이지만, 추적 처리에 의해 추적의 바꿔탐이 일어날 수 있는 유사물이 대상물의 근처에 존재하는 상태를 나타낸다.

대상물과 유사물이 겹쳐저 있는(유사물이 대상물의 부근의 소정의 범위 내에 존재하다) 경우, 상태 판정부(31)는, 대상물과 유사물과의 위치 관계를 나타내는 추적 상태를 「겹침」으로 판정한다. 추적 상태 「겹침」은, 통상의 추적 처리를 행하면 대상물로부터 유사물에 추적의 바꿔탐이 일어날 수 있는 상태를 나타낸다.

또한, 대상물과 유사물과의 위치 관계에 관해, 대상물을 포함하는 대상물의 부근의 소정의 범위(제 1 범위) 내에 유사물이 존재하는 경우에 「겹침」으로 판정하고, 제 1 범위의 외측의 소정의 범위(제 2 범위) 내에 유사물이 존재하는 경우에 「근접」으로 판정하고, 제 1 범위에도 제 2 범위에도 유사물이 존재하지 않는 경우에 「안전」으로 판정하여도 좋다. 또한, 대상물과 유사물과의 위치 관계는, 예를 들면, 대상물 영역의 중심의 위치와 유사물 영역의 중심의 위치의 거리에 의해 판정하여도 좋고, 대상물 영역과 유사물 영역의 간격(간극)에 의해 판정하여도 좋고, 대상물 영역과 유사물 영역이 겹쳐지는 면적에 의해 판정하여도 좋다. 추적 상태의 판정의 상세한 처리는 후술한다.

추적 상태가 「안전」 또는 「근접」인 경우, 상태 판정부(31)는, 추적 상태의 정보를 탐색 영역 결정부(32)에 출력하고, 추적부(14)는, 추적 처리를 행하여 현 프레임에서의 대상물 및 유사물의 추적을 행한다.

추적 상태가 「겹침」인 경우, 상태 판정부(31)는, 추적 상태의 정보를 대상물 예측부(41)에 출력하고, 추적부(14)는, 통상의 추적 처리를 행하지 않고, 과거의 프레임에서의 대상물의 움직임으로부터 현 프레임에서의 대상물의 위치를 예측한다. 또한, 추적부(14)는, 유사물에 관해, 예측한 대상물의 위치의 주변에 존재하는 유사물을 탐색하는, 또는, 과거의 프레임에서의 유사물의 움직임으로부터 현 프레임에서의 유사물의 위치를 예측함에 의해, 유사물의 위치를 특정한다.

추적 상태가 「안전」 또는 「근접」인 경우, 탐색 영역 결정부(32)는, 처리 대상 화상에서의 대상물의 탐색을 행하는 영역을 결정한다. 예를 들면, 탐색 영역 결정부(32)는, 하나 전 프레임에서의 대상물의 위치를 중심으로 한 하나 전 프레임에서의 대상물 영역의 종횡 2배(면적은 4배)의 사각형의 영역을, 대상물 탐색 영역으로서 결정한다. 탐색 영역 결정부(32)는, 대상물 탐색 영역의 정보를 대상물 탐색부(33)에 출력한다.

대상물 탐색부(33)는, 대상물 탐색 영역에 관해, 하나 전 프레임에서의 대상물의 템플릿을 이용하여, 구배법에 의해 현 프레임에서의 대상물의 위치 및 대상물이 존재하는 대상물 영역을 특정한다. 추적 상태가 「안전」 또는 「근접」이면, 대상물과 유사물은 어느 정도 떨어저 있다. 그 때문에, 대상물 탐색 영역에 유사물이 존재하는 경우에도, 구배법에 의해 특정된 물체(대상물의 후보)의, 하나 전 프레임에서의 대상물의 위치에서의 거리 등에 응하여 스코어(대상물인 것의 우도(尤度))를 산출하고, 스코어에 응하여 대상물을 결정하여 추적할 수 있다. 또한, 대상물의 후보의, 하나 전 프레임에서의 유사물의 위치에서의 거리 등에 응하여 스코어(유사물건인 것의 우도)를 산출하고, 대상물에 관한 스코어와 유사물에 관한 스코어에 응하여 대상물을 결정하여도 좋다. 스코어의 산출에 관해서는, 주지의 기술을 이용할 수 있다. 또한, 대상물 탐색부(33)는, 복수의 템플릿을 이용하여 템플릿마다 대상물의 탐색을 행하고, 스코어 등에 응하여 대상물의 위치를 특정하여도 좋다. 복수의 템플릿이란, 예를 들면, 기억부(12)가 기억하는 과거의 복수의 프레임에서의 대상물의 템플릿이다. 또한, 대상물 탐색부(33)의 추적 처리에서는, 파티클 필터 등의, 다른 일반적인 물체 추적의 방법을 이용할 수 있다. 여기서는, 대상물 탐색부(33)는, 대상물을 포함하는 사각형의 영역을 대상물 영역으로서 특정하지만, 초기 대상물 탐색부(22)와 마찬가지로, 대상물 영역의 형상은 이것으로 한하지 않는다. 대상물 탐색부(33)는, 특정하는 현 프레임에서의 대상물의 위치 및 대상물 영역의 정보를, 현 프레임과 대응시켜서 기억부(12)에 기억시킨다. 또한, 대상물 탐색부(33)는, 현 프레임에서의 대상물의 위치 및 대상물 영역의 정보를, 대상물 운동 정보 생성부(34), 대상물 템플릿 생성부(35), 주변 영역 결정부(36), 및 출력부(40)에 출력한다.

대상물 운동 정보 생성부(34)는, 현 프레임의 처리 대상 화상 및 현 프레임보다 전 프레임에서의 화상으로부터 얻은 대상물의 위치에 의거하여, 대상물의 움직임(운동 상태)을 특정하고, 운동 상태의 정보를 생성한다. 구체적으로는, 대상물 운동 정보 생성부(34)는, 현 프레임에서의 대상물의 위치와, 현 프레임 전의 복수의 프레임에서의 대상물의 위치로부터, 복수 프레임의 사이의 대상물의 화상 중에서의 평균 속도를 구한다. 대상물 운동 정보 생성부(34)는, 구한 평균 속도를 대상물의 운동 상태로서 기억부(12)에 기억시킨다.

또한, 대상물 운동 정보 생성부(34)는, 다른 방법에 의해 대상물의 속도를 나타내는 양을 구하여도 좋고, 운동 상태로서 대상물의 속도와 평균 가속도를 구하여도 좋다.

대상물 템플릿 생성부(35)는, 현 프레임의 처리 대상 화상에서의 대상물을 특징지우는 특징량을 추출하여, 대상물을 특징지우는 템플릿을 생성한다. 대상물 템플릿 생성부(35)의 템플릿의 생성은, 초기 대상물 템플릿 생성부(23)와 같은 방법으로 행할 수 있다. 대상물 템플릿 생성부(35)는, 생성한 대상물의 템플릿을 현 프레임과 대응시켜서 기억부(12)에 기억시키고, 생성한 대상물의 템플릿을 주변 탐색부(37)에 출력한다.

또한, 대상물의 템플릿은, 처리 대상 화상으로부터 얻어진 특징량과 과거 프레임의 화상으로부터 얻어진 특징량을 혼합하여(예를 들면 평균하여) 생성하여도 좋다.

주변 영역 결정부(36)는, 대상물에 유사한 유사물을 탐색하는 영역을 결정한다. 주변 영역 결정부(36)는, 초기 주변 영역 결정부(24)와 마찬가지로, 현 프레임에서의 대상물 영역의 주위의 소정의 영역을 유사물을 탐색하는 영역(주변 영역)으로서 결정한다. 주변 영역은, 대상물 탐색 영역과 겹쳐저 있어도 좋고, 또한 복수의 영역으로 나뉘여 있어도 좋다. 주변 영역 결정부(36)는, 현 프레임에서의 주변 영역, 대상물의 위치, 및 대상물 영역의 정보를 주변 탐색부(37)에 출력한다.

주변 탐색부(37)는, 주변 영역을 탐색함에 의해, 대상물의 주위에 유사물이 존재하는지의 여부를 조사한다. 추적 상태가 「근접」인 경우, 주변 탐색부(37)는, 기억부(12)에 기억되고 있는 하나 전 프레임에서의 유사물의 위치에 의거하여, 하나 전 프레임의 유사물의 템플릿을 이용하여 구배법 등의 추적 처리를 행함에 의해 유사물을 추적한다. 유사물의 추적에 실패한 경우(예를 들면 유사물이 주변 영역의 밖으로 이동한 경우 등)는, 그 유사물의 추적을 종료하다. 또한, 유사물의 추적은, 대상물의 템플릿을 이용하여 행하여도 좋다. 또한, 새로운 유사물이 대상물에 접근하여 있지 않은지를 조사하기 위해, 추적 상태가 「근접」 또는 「안전」인 경우, 주변 탐색부(37)는, 대상물의 템플릿을 이용하여 주변 영역을 탐색함에 의해, 주변 영역에 존재하는 유사물을 검출한다. 주변 탐색부(37)는, 검출한(또는 추적한) 유사물의 위치 및 유사물이 존재하는 영역(유사물 영역)을 특정하고, 유사물의 위치 및 유사물 영역의 정보를, 현 프레임과 대응시켜서 기억부(12)에 기억시킨다. 또한, 주변 영역에서 복수의 유사물을 검출한 경우, 주변 탐색부(37)는, 복수의 유사물의 모든 위치 및 유사물 영역의 정보를 기억부(12)에 기억시킨다. 또한, 주변 탐색부(37)는, 유사물의 위치 및 유사물 영역의 정보를 유사물 템플릿 생성부(39)에 출력한다.

또한, 주변 탐색부(37)의 유사물의 탐색은, 초기 주변 탐색부(25)와 같은 방법으로 행하여도 좋다. 또한, 유사물의 템플릿을 이용하지 않고, 주변 탐색부(37)가 대상물의 템플릿을 이용하여 유사물의 추적?탐색을 행하여도 좋고, 이 경우, 유사물의 템플릿의 생성(유사물 템플릿 생성부(39))이 필요 없게 되기 때문에, 추적부(14)의 처리가 빨라진다.

유사물 템플릿 생성부(39)는, 현 프레임의 처리 대상 화상에서의 유사물을 특징지우는 특징량을 추출하여, 각 유사물을 특징지우는 템플릿을 생성한다. 유사물 템플릿 생성부(39)의 템플릿의 생성은, 초기 유사물 템플릿 생성부(26)와 같은 방법으로 행할 수 있다. 유사물 템플릿 생성부(39)는, 생성한 유사물의 템플릿을 현 프레임과 대응시켜서 기억부(12)에 기억시킨다.

출력부(40)는, 현 프레임에서의 대상물의 위치 및 대상물 영역의 정보를, 초점 제어 장치(3)에 출력한다.

추적 상태가 「겹침」인 경우, 대상물 예측부(41)는, 기억부(12)가 기억한 대상물의 운동 상태로부터, 현 프레임에서의 대상물의 위치 및 대상물 영역을 추정한다. 예를 들면, 하나 전 프레임에서의 대상물의 위치와, 대상물의 속도로부터, 현 프레임의 처리 대상 화상에서의 대상물의 위치를 예측한다. 또한, 대상물 예측부(41)는, 대상물 영역의 크기에 관해서는, 하나 전 프레임에서의 대상물 영역의 크기인 채라고 예측한다. 또한, 대상물 예측부(41)는, 대상물 영역의 크기를, 과거의 복수의 프레임에서의 대상물 영역의 크기의 변화의 이력으로부터, 현 프레임에서의 대상물 영역의 크기를 예측하여도 좋다. 대상물 예측부(41)는, 추정한 대상물의 위치 및 대상물 영역의 정보를, 현 프레임과 대응시켜서 기억부(12)에 기억시킨다. 또한, 대상물 예측부(41)는, 추정한 대상물의 위치 및 대상물 영역의 정보를, 출력부(40), 및 주변 영역 결정부(36)에 출력한다.

추적 상태가 「겹침」인 경우, 주변 영역 결정부(36)는, 추정된 대상물의 위치 및 대상물 영역에 응하여 주변 영역을 결정하고, 주변 탐색부(37)는, 주변 영역의 유사물을 탐색한다. 주변 탐색부(37)는, 검출된 물체(유사물)에 관해, 그 위치 및 유사물 영역의 정보를 기억부(12)에 기억시키고, 유사물 템플릿 생성부(39)에 출력한다. 이 때, 추정된 대상물의 위치를 포함하는 소정의 범위 내에서 검출된 물체에 관해서는, 대상물일 가능성이 있다. 그러나, 대상물 예측부(41)가, 대상물의 위치를 과거의 대상물의 운동 상태로부터 예측하여 특정하기 때문에, 유사물에의 추적 대상의 바꿔탐을 막을 수 있다. 또한, 추적 상태가 「겹침」인 동안에 새롭게 대상물에 근접한 유사물을 검출할 수 있고, 다른 유사물에의 추적 대상의 바꿔탐도 막을 수 있다.

또한, 추적 상태가 「겹침」인 경우, 주변 탐색부(37)는, 과거의 유사물의 운동 상태로부터, 현 프레임에서의 유사물의 위치 및 유사물 영역을 추정하여도 좋다. 예를 들면, 대상물 예측부(41)와 마찬가지로, 하나 전 프레임에서의 유사물의 위치와, 유사물의 속도로부터, 현 프레임의 처리 대상 화상에서의 유사물의 위치를 예측한다. 주변 탐색부(37)는, 추정한 유사물의 위치 및 유사물 영역의 정보를, 현 프레임과 대응시켜서 기억부(12)에 기억시킨다. 이 경우, 추적부(14)는, 유사물의 운동 상태의 정보를 생성하는 유사물 운동 정보 생성부(유사물 운동 상태 특정부)를 구비하여도 좋다. 유사물 운동 정보 생성부는, 대상물 운동 정보 생성부(34)와 같은 방법을 이용하여, 현 프레임의 처리 대상 화상 및 현 프레임보다 전 프레임에서의 화상으로부터 얻은 유사물의 위치에 의거하여, 유사물의 움직임(운동 상태)의 정보를 생성한다. 또한, 전 프레임에서 유사물이 검출되지 않은 경우, 유사물 운동 정보 생성부는, 유사물의 운동 상태의 정보를 생성하지 않는다. 또한, 현 프레임 및 전 프레임에서의 복수의 유사물이 검출되어 있는 경우, 유사물 운동 정보 생성부는, 각 유사물의 특징 또는 위치 등에 의해 현 프레임의 유사물과 전 프레임의 유사물을 대응시키고, 각 유사물의 운동 상태(속도, 가속도 등)를 구한다. 유사물 운동 정보 생성부는, 유사물의 운동 상태를 기억부(12)에 기억시킨다.

출력부(40)는, 현 프레임에서의 추정된 대상물의 위치 및 대상물 영역의 정보를, 초점 제어 장치(3)에 출력한다.

다음 이후의 프레임에서, 상태 판정부(31)는, 추정된 대상물 및 유사물의 위치 등에 의거하여, 추적 상태를 판정한다. 그리고, 추정된 대상물의 위치로 추정된 유사물의 위치가 충분히 떨어진 경우, 상태 판정부(31)는, 추적 상태를 「근접」 또는 「안전」으로 판정하고, 추적부(14)는, 대상물의 추적을 재개한다.

본 실시의 형태에서는, 대상물과 유사물과의 위치 관계로부터 추적 상태를 판정하고, 추적 상태에 응하여 추적 처리를 동적으로 전환한다. 추적 상태가「안전」 또는 「근접」인 경우, 대상물의 추적을 행하고, 추적 상태가 「겹침」인 경우, 대상물의 추적을 행하지 않고, 과거의 프레임에서의 대상물의 운동 상태로부터 대상물의 위치를 예측한다. 그 때문에, 대상물의 근처에 유사물이 존재하는(예를 들면 대상물에 유사물의 일부가 겹치는) 경우에도, 추적 대상의 바꿔탐을 막아, 대상물을 정확히 계속 추적할 수 있다. 따라서, 종래에는 대상물의 추적을 계속할 수가 없었던 상황(예를 들면 대상물인 인물과 유사물인 다른 인물이 화상중에서 교차하여 지나가는 상황)에서도, 본 실시의 형태의 물체 추적 장치(10)는, 대상물의 추적을 계속할 수 있다.

또한, 추적부(14)는, 대상물의 탐색에 관한 처리(탐색 영역 결정부(32), 대상물 탐색부(33), 대상물 운동 정보 생성부(34), 및 대상물 템플릿 생성부(35)의 처리)와, 유사물의 탐색에 관한 처리(주변 영역 결정부(36), 주변 탐색부(37), 및 유사물 템플릿 생성부(39)의 처리)를, 병행하여 행하여도 좋다. 이 경우, 주변 영역 결정부(36), 주변 탐색부(37), 및 유사물 템플릿 생성부(39)는, 하나 전 프레임에서의 대상물의 정보(대상물의 위치, 대상물 영역, 및 대상물의 템플릿 등)에 의거하여 처리를 행할 수가 있다. 이것은, 1프레임의 사이에서는, 대상물의 위치 등은, 크게 변화하지 않는다고 생각되기 때문이다.

<추적 처리 플로우>

다음에, 물체 추적 장치(10)의 대상물의 추적 처리의 플로우에 관해 설명한다. 도 3(a)는, 어느 프레임의 화상에 관한 추적 처리의 예를 도시하는 도면이고, 도 3(b)는, 그 다음 프레임의 화상에 관한 추적 처리의 예를 도시하는 도면이다. 도 3(a)에 도시하는 어느 프레임의 화상(50a)에서, 화상(50a)의 중심에 인물(51)이 비치고 있고, 그 왼편에 인물(52)이 비치고 있고, 인물(52)의 좌상에 인물(53)이 비치고 있다. 이하에서는 인물(51)을 추적하는 예에 관해 설명한다.

도 4는, 물체 추적 장치(10)에서의 대상물의 추적 처리의 흐름의 개요를 도시하는 플로우 차트이다.

화상 취득부(11)는, 촬상 장치(2)로부터 촬상된 화상(50a)을 취득한다(S1). 화상 취득부(11)는, 취득한 화상(50a)을 기억부(12)에 기억시킨다.

초기화부(13)는, 어느 프레임의 화상(50a)을 기억부(12)로부터 취득하고, 추적 대상이 되는 화상(50a)중의 대상물을 특정한다(S2).

화상 취득부(11)는, 다음 프레임의 화상(50b)을 처리 대상 화상으로서 촬상 장치(2)로부터 취득한다(S3). 화상 취득부(11)는, 취득한 화상(50b)을 기억부(12)에 기억시킨다.

추적부(14)는, 현 프레임의 화상(50b)중의 대상물을 추적하고, 현 프레임의 처리 대상 화상(50b)에서의 대상물의 위치 및 대상물 영역의 정보를 초점 제어 장치(3)에 출력한다(S4).

이후, S3 및 S4의 처리를, 프레임마다 반복한다.

<초기화 처리 플로우>

다음에, 초기화부(13)의 상세한 처리의 플로우에 관해 설명한다. 도 5는, 초기화부(13)에서의 초기화 처리의 흐름을 도시하는 플로우 차트이다.

대상물 지정부(21)는, 이용자로부터, 추적 대상이 되는 대상물이 존재하는 화상중의 위치의 입력을 접수한다(S11). 여기서는, 이용자가 터치 패널에 의해 인물(51)의 얼굴의 위치를 지정한다.

초기 대상물 탐색부(22)는, 지정된 위치를 포함하는 소정의 영역에 관해, 얼굴 검출을 행하고, 대상물(인물(51)의 얼굴)의 위치 및 대상물 영역(54)을 특정한다(S12). 대상물 영역(54)은, 대상물을 포함하는 사각형의 영역으로서 설정된다. 또한, 대상물의 위치는, 대상물 영역이 중심으로 한다. 또한, 대상물의 위치와 대상물 영역을, 사각형의 대상물 영역의 좌상과 우하의 좌표에 의해 지정하여도 좋다.

초기 대상물 템플릿 생성부(23)는, 대상물 영역(54)에 포함되는 화상의 색 분포 등의 특징량을 추출하여, 대상물을 특징지우는 대상물 템플릿을 생성한다(S13).

초기 주변 영역 결정부(24)는, 대상물 영역(54)의 주위의 소정의 영역을 유사물을 탐색하는 영역(주변 영역)(55)으로서 결정한다(S14). 주변 영역(55)은, 대상물 영역(54)의 주위의, 내외의 2개의 파선으로 둘러싸여진 영역이고, 여기서는, 주변 영역(55)과 대상물 영역(54)은 소정의 거리만큼 떨어저 있다.

초기 주변 탐색부(25)는, 주변 영역(55)에 대해 대상물 템플릿을 이용하여 대상물에 유사한 유사물(인물(52)의 얼굴)을 검출한다. 주변 영역(55)에 유사물이 검출되지 않은 경우(S15에서 No), 초기화부(13)는 처리를 종료한다. 주변 영역(55)에 유사물이 검출된 경우(S15에서 Yes), 초기 주변 탐색부(25)는, 검출한 유사물의 위치 및 유사물이 존재하는 영역(유사물 영역)(56)을 특정한다(S16). 유사물 영역(56)은, 유사물을 포함하는 사각형의 영역으로서 설정된다. 또한, 유사물의 위치는, 유사물 영역의 중심으로 한다.

S16의 후, 초기 유사물 템플릿 생성부(26)는, 유사물 영역(56)에 포함되는 화상의 색 분포 등의 특징량을 추출하여, 유사물을 특징지우는 유사물 템플릿을 생성한다(S17). 그 후, 초기화부(13)는 처리를 종료한다.

<추적 처리 플로우>

다음에, 추적부(14)의 상세한 처리의 플로우에 관해 설명한다. 도 6 및 도 7은, 추적부(14)에서의 추적 처리의 흐름을 도시하는 플로우 차트이다.

상태 판정부(31)는, 현 프레임의 하나 전 프레임의 화상(50a)에서의, 대상물과, 그 주위에 존재하는 유사물과의 위치 관계를 판정한다. 도 8(a) 내지 도 8(c)는, 대상물과 유사물과의 위치 관계의 예를 도시하는 도면이다. 하나 전 프레임의 화상(50a)에서 유사물이 복수 검출된 경우, 각 유사물에 관해, 추적 상태의 판정을 행한다.

도 8(a)에 도시하는 바와 같이, 대상물의 위치와 유사물의 위치와의 거리(x)가 임계치(TH1)보다 큰 경우 또는 유사물이 존재하지 않은 경우(S21에서 Yes), 상태 판정부(31)는, 추적 상태를 「안전」으로 판정한다(S22). 단, 하나 전 프레임의 화상(50a)에서 유사물이 복수 검출된 경우, 대상물의 위치와 유사물의 위치와의 거리(x)가 임계치(TH1) 이하(S21에서 No)인 유사물이 하나라도 있으면, 다음 S23으로 진행한다.

도 8(b)에 도시하는 바와 같이, 대상물의 위치와 유사물의 위치와의 거리(x)가 임계치(TH1) 이하이고, 또한 임계치(TH2)보다 큰 경우(S21에서 No, S23에서 Yes), 상태 판정부(31)는, 추적 상태를 「근접」으로 판정한다(S24). 단, 하나 전 프레임의 화상(50a)에서 유사물이 복수 검출된 경우, 대상물의 위치와 유사물의 위치와의 거리(x)가 임계치(TH2) 이하(S23에서 No)인 유사물이 하나라도 있으면, 다음 S25로 진행한다.

도 8(c)에 도시하는 바와 같이, 대상물의 위치와 유사물의 위치와의 거리(x)가 임계치(TH2) 이하인 경우(S23에서 No), 상태 판정부(31)는, 추적 상태를 「겹침」으로 판정한다(S25). 여기서는, 임계치(TH1?TH2)는, 대상물 영역의 크기와 각 유사물 영역의 크기에 의해, 상태 판정부(31)에 의해 결정된다. 대상물 영역 또는 유사물 영역이 큰 경우, 그것에 응하여 임계치(TH1?TH2)도 커진다. 예를 들면, 임계치(TH2)는, 대상물 영역의 폭의 반분과 유사물 영역의 폭의 반분과의 합이라도 좋다.

추적 상태가 「안전」으로 판정된 경우(S22의 후), 또는 추적 상태가 「근접」으로 판정된 경우(S24의 후), 탐색 영역 결정부(32)는, 하나 전 프레임에서의 대상물의 위치를 중심으로 한 하나 전 프레임에서의 대상물 영역(54)(도 3(b))의 종횡 2배(면적은 4배)의 사각형의 영역을, 대상물 탐색 영역(57)으로서 결정한다(S26).

대상물 탐색부(33)는, 대상물 탐색 영역(57)에 관해, 하나 전 프레임에서의 대상물의 템플릿을 이용하여, 구배법 등의 추적 처리에 의해 현 프레임에서의 대상물의 위치 및 대상물이 존재하는 대상물 영역(58)을 특정한다(S27). 대상물의 위치는 대상물 영역(58)의 중심으로 한다.

대상물 운동 정보 생성부(34)는, 현 프레임에서의 대상물의 위치와, 현 프레임 전의 복수의 프레임에서의 대상물의 위치로부터, 복수 프레임의 사이의 화상중에서의 대상물의 평균 속도를 구한다(S28).

대상물 템플릿 생성부(35)는, S13과 마찬가지로 하여. 현 프레임의 처리 대상 화상(50b)의 대상물 영역(58)에 포함되는 화상의 색 분포 등의 특징량을 추출하여, 대상물을 특징지우는 템플릿을 생성한다(S29).

또한, 추적 상태가 「겹침」으로 판정된 경우(S25의 후), 대상물 예측부(41)는, 하나 전 프레임에서의 대상물의 위치와, 대상물의 속도로부터, 현 프레임의 처리 대상 화상(50b)에서 대상물의 위치 및 대상물 영역을 예측한다(S37).

S29 또는 S37의 후, 주변 영역 결정부(36)는, S14와 마찬가지로 하여. 대상물 영역의 주위의 소정의 영역을, 유사물을 탐색하는 영역(주변 영역)(59)으로서 결정한다(S30).

S30의 후, 추적 상태가 「근접」으로 판정되고 있는 경우(S31에서 Yes), 주변 탐색부(37)는, 하나 전 프레임에서의 유사물의 위치에 의거하여, 하나 전 프레임의 유사물의 템플릿을 이용하여 구배법 등의 추적 처리를 행함에 의해 유사물(예를 들면 인물(52)의 얼굴)을 추적한다. 추적한 유사물의 위치 및 유사물 영역(60)을 특정한다(S32).

추적 상태가 「안전」 또는 「겹침」으로 판정되고 있는 경우(S31에서 No), 또는 S32의 후, 주변 탐색부(37)는, 대상물의 템플릿을 이용하여 주변 영역(59)을 탐색함에 의해, 주변 영역에 존재하는 유사물(예를 들면 인물(52)의 얼굴)을 검출한다.

주변 영역(59)에 유사물이 검출되지 않은 (또한, 유사물을 추적할 수가 없는) 경우(S33에서 No), 출력부(40)는, 현 프레임의 처리 대상 화상(50b)에서의 대상물의 위치 및 대상물 영역(58)의 정보를 초점 제어 장치(3)에 출력한다(S36).

주변 영역(59)에 유사물이 검출된, 또는 유사물을 추적할 수 있은 경우(S33에서 Yes), 주변 탐색부(37)는, 검출?추적한 각 유사물의 위치 및 각 유사물이 존재하는 영역(유사물 영역)(60)을 특정한다(S34). 유사물 영역(60)은, 유사물을 포함하는 사각형의 영역으로서 설정된다. 또한, 유사물의 위치는, 유사물 영역의 중심으로 한다.

유사물 템플릿 생성부(39)는, 현 프레임의 처리 대상 화상(50b)의 유사물 영역(60)에 포함되는 화상의 색 분포 등의 특징량을 추출하여, 각 유사물을 특징지우는 템플릿을 생성한다(S35).

출력부(40)는, 현 프레임의 처리 대상 화상(50b)에서의 대상물의 위치 및 대상물 영역(58)의 정보를 초점 제어 장치(3)에 출력한다(S36). 그 후, 추적부(14)는, 현 프레임에서의 추적 처리를 종료한다.

또한, S26의 대상물 탐색 영역(57)의 결정에서, 하나 전 프레임에서의 추적 상태가 「겹침」이고, 현 프레임에서 「안전」 또는 「근접」으로 판정되고 있는 경우, 보다 넓은 영역을 대상물 탐색 영역(57)으로서 결정하여도 좋다. 예를 들면, 하나 전 프레임에서의 대상물 영역(54)(도 3(b))의 종횡 3배(면적은 9배)의 사각형의 영역을, 대상물 탐색 영역(57)으로서 결정하여도 좋다.

또한, S37에서, 대상물 예측부(41)는, 배경의 화상의 움직임으로부터 대상물의 위치를 예측하여도 좋다.

또한, S21에서, 임계치(TH1)을 마련하지 않고, 하나 전 프레임에서의 유사물이 검출되지 않으면, 추적 상태를 「안전」으로 판정하고, 유사물이 검출되어 있으면 추적 상태를 「근접」 또는 「겹침」으로 판정하여도 좋다.

또한, S30에서, 주변 영역 결정부(36)는, 대상물 영역의 주위의 복수로 나누어진 영역을 주변 영역으로서 결정하여도 좋다. 예를 들면 도 9에 도시하는 바와 같이, 대상물 영역(58)의 사방에 위치하는 4개의 사각형의 주변 영역(59)을 설정하여도 좋다. 또한, 대상물 영역(58)과 주변 영역(59)은, 접하여 있어도 좋다.

또한, 본 실시의 형태에서는, 촬영한 동화상으로부터 인물의 얼굴화상을 검출하여 추적하고 있다. 그러나, 물체 추적 장치(10)는, 애니메이션 그 밖의 동화상에도 적용 가능하다. 또한, 인물의 상반신이나 전신의 화상을 검출하여도 좋고, 볼, 차량, 운반되는 하물, 그 밖의 움직이는 물체의 화상을 검출하여도 좋다. 또한, 정지한 물체라도, 촬상 장치(2)를 움직이면, 촬영한 화상중에서는 이동하는 것이 되기 때문에, 적용 가능하다. 즉, 본 발명은, 취득한 시계열의 화상중에서 이동하는 대상물의 추적에 적용 가능하다.

최후로, 물체 추적 장치(10)의 각 블록, 특히 대상물 지정부(21), 초기 대상물 탐색부(22), 초기 대상물 템플릿 생성부(23), 초기 주변 영역 결정부(24), 초기 주변 탐색부(25), 초기 유사물 템플릿 생성부(26), 상태 판정부(31), 탐색 영역 결정부(32), 대상물 탐색부(33), 대상물 운동 정보 생성부(34), 대상물 템플릿 생성부(35), 주변 영역 결정부(36), 주변 탐색부(37), 유사물 템플릿 생성부(39), 출력부(40), 및 대상물 예측부(41)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU(central processing unit)를 이용하여 소프트웨어에 의해 실현하여도 좋다.

즉, 물체 추적 장치(10)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 물체 추적 장치(10)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 판독 가능하게 기록한 기록 매체를, 상기 물체 추적 장치(10)에 공급하고, 그 컴퓨터(또는 CPU나 MPU(microprocessor unit))가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD-R(CD Recordable) 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함)/광카드 등의 카드계, 또는 마스크 ROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 물체 추적 장치(10)을 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN(local area network), ISDN(integrated services digital network), VAN(value-added network), CATV(community antenna television) 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE(instituteof electricaland electronic engineers)1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(asynchronous digital subscriber loop) 회선 등의 유선이라도, IrDA(infra red data association)나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR(high data rate), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태라도 실현될 수 있다.

본 발명은 상술한 실시의 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시의 형태에 대해서도 본 발명의 기술적 범위에 포함된다.

산업상의 이용 가능성

본 발명은, 동화상중의 대상물을 추적하는 디지털 카메라, 디지털 비디오 카메라, 또는 카메라 부착 휴대 전화 등의 기기에 이용할 수 있다.

1 : 물체 추적 시스템
2 : 촬상 장치
3 : 초점 제어 장치
10 : 물체 추적 장치(대상물 추적 장치)
11 : 화상 취득부
12 : 기억부
13 : 초기화부
14 : 추적부
21 : 대상물 지정부
22 : 초기 대상물 탐색부(대상물 위치 특정부)
23 : 초기 대상물 템플릿 생성부(대상물 특징량 생성부)
24 : 초기 주변 영역 결정부
25 : 초기 주변 탐색부(유사물 위치 특정부)
26 : 초기 유사물 템플릿 생성부(유사물 특징량 생성부)
31 : 상태 판정부(위치 관계 판정부)
32 : 탐색 영역 결정부
33 : 대상물 탐색부(대상물 위치 특정부)
34 : 대상물 운동 정보 생성부(대상물 운동 상태 특정부)
35 : 대상물 템플릿 생성부(대상물 특징량 생성부)
36 : 주변 영역 결정부
37 : 주변 탐색부(유사물 위치 특정부)
39 : 유사물 템플릿 생성부(유사물 특징량 생성부)
40 : 출력부
41 : 대상물 예측부(대상물 위치 특정부)
50a, 50b : 화상
54, 58 : 대상물 영역
55, 59 : 주변 영역
56, 60 : 유사물 영역
57 : 대상물 탐색 영역

Claims

복수의 프레임으로 이루어지는 시계열 화상중의 대상물을 추적하는 대상물 추적 장치로서,
현 프레임의 전 프레임에서의, 상기 대상물과, 상기 대상물과 같은 특징을 갖는 유사물과의 위치 관계를 판정하는 위치 관계 판정부와,
현 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정부와,
상기 대상물의 주변의 소정의 영역인 주변 영역에 상기 유사물이 존재하는 경우, 현 프레임에서의 상기 유사물의 위치를 특정하는 유사물 위치 특정부를 구비하고,
상기 위치 관계가 제 1 상태인 경우, 상기 대상물 위치 특정부는, 전 프레임에서의, 상기 대상물의 위치와 상기 대상물의 운동 상태에 의거하여, 현 프레임에서의 상기 대상물의 위치를 예측하여 상기 대상물의 위치를 특정하고, 상기 위치 관계가 제 1 상태가 아닌 경우, 상기 대상물 위치 특정부는, 현 프레임의 화상으로부터 상기 대상물을 탐색하여 상기 대상물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 장치.
제 1항에 있어서,
상기 위치 관계 판정부는, 상기 유사물이 상기 대상물의 부근의 제 1 범위 내에 존재하는 경우, 상기 위치 관계가 제 1 상태라고 판정하는 것을 특징으로 하는 대상물 추적 장치.
제 1항 또는 제 2항에 있어서,
상기 유사물 위치 특정부는, 현 프레임의 화상으로부터 상기 유사물을 탐색하여 상기 유사물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 장치.
제 2항에 있어서,
유사물 운동 상태 특정부를 구비하고,
상기 위치 관계 판정부는, 상기 유사물이 제 1 범위보다 외측의 제 2 범위 내에 존재하는 경우, 상기 위치 관계가 제 2 상태라고 판정하고,
상기 유사물 운동 상태 특정부는, 상기 위치 관계가 제 2 상태인 경우, 상기 유사물의 운동 상태를 특정하고,
상기 유사물 위치 특정부는, 상기 위치 관계가 제 1 상태인 경우, 전 프레임에서의, 상기 유사물의 위치와 상기 유사물의 운동 상태에 의거하여, 현 프레임에서의 상기 유사물의 위치를 예측하여 상기 유사물의 위치를 특정하고, 상기 위치 관계가 제 2 상태인 경우, 현 프레임의 화상으로부터 상기 유사물을 탐색하여 상기 유사물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 장치.
제 4항에 있어서,
상기 위치 관계 판정부는, 상기 유사물이 제 1 범위 내에도 제 2 범위 내에도 존재하지 않는 경우, 상기 위치 관계가 제 3 상태라고 판정하고,
상기 유사물 위치 특정부는, 상기 위치 관계가 제 3 상태인 경우, 현 프레임의 화상으로부터 상기 유사물을 탐색하여 상기 유사물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 장치.
제 1항에 있어서,
상기 대상물의 운동 상태를 특정하는 대상물 운동 상태 특정부를 구비하는 것을 특징으로 하는 대상물 추적 장치.
제 1항에 있어서,
상기 위치 관계 판정부는, 상기 대상물과 상기 유사물과의 거리에 응하여, 상기 위치 관계를 판정하는 것을 특징으로 하는 대상물 추적 장치.
제 1항에 있어서,
상기 운동 상태는, 속도를 나타내는 것을 특징으로 하는 대상물 추적 장치.
삭제
제 1항 또는 제 2항에 있어서,
현 프레임의 화상으로부터 상기 대상물을 특징지우는 정보를 추출하고, 추출한 상기 대상물을 특징지우는 정보를 이용하여, 상기 대상물을 특징지우는 대상물 특징량을 생성하는 대상물 특징량 생성부를 구비하고,
상기 대상물 위치 특정부는, 전 프레임에서의 상기 대상물 특징량을 이용하여, 현 프레임의 화상으로부터 상기 대상물을 탐색하여, 현 프레임에서의 상기 대상물의 위치를 특정하고,
상기 유사물 위치 특정부는, 상기 대상물 특징량을 이용하여, 현 프레임의 화상으로부터 상기 유사물을 탐색하여, 현 프레임에서의 상기 유사물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 장치.
복수의 프레임으로 이루어지는 시계열 화상중의 대상물을 추적하는 대상물 추적 방법으로서,
현 프레임의 전 프레임에서의, 상기 대상물과, 상기 대상물과 같은 특징을 갖는 유사물과의 위치 관계를 판정하는 위치 관계 판정 스텝과,
현 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝과,
상기 대상물의 주변의 소정의 영역인 주변 영역에 상기 유사물이 존재하는 경우, 현 프레임에서의 상기 유사물의 위치를 특정하는 유사물 위치 특정 스텝을 포함하고,
상기 대상물 위치 특정 스텝에서는, 상기 위치 관계가 제 1 상태인 경우, 전 프레임에서의, 상기 대상물의 위치와 상기 대상물의 운동 상태에 의거하여, 현 프레임에서의 상기 대상물의 위치를 예측하여 상기 대상물의 위치를 특정하고, 상기 위치 관계가 제 1 상태가 아닌 경우, 현 프레임의 화상으로부터 상기 대상물을 탐색하여 상기 대상물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 방법.
삭제
복수의 프레임으로 이루어지는 시계열 화상의 현 프레임의 전 프레임에서의, 추적 대상인 대상물과, 상기 대상물과 같은 특징을 갖는 유사물과의 위치 관계를 판정하는 위치 관계 판정 스텝과,
현 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝과,
상기 대상물의 주변의 소정의 영역인 주변 영역에 상기 유사물이 존재하는 경우, 현 프레임에서의 상기 유사물의 위치를 특정하는 유사물 위치 특정 스텝을 컴퓨터에 실행시키고,
상기 대상물 위치 특정 스텝에서는, 상기 위치 관계가 제 1 상태인 경우, 전 프레임에서의, 상기 대상물의 위치와 상기 대상물의 운동 상태에 의거하여, 현 프레임에서의 상기 대상물의 위치를 예측하여 상기 대상물의 위치를 특정하고, 상기 위치 관계가 제 1 상태가 아닌 경우, 현 프레임의 화상으로부터 상기 대상물을 탐색하여 상기 대상물의 위치를 특정하는 것을 특징으로 하는 제어 프로그램이 기록된 기록 매체.
삭제