KR20130094862A

KR20130094862A - 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램

Info

Publication number: KR20130094862A
Application number: KR1020137020535A
Authority: KR
Inventors: 타카요시 야마시타
Original assignee: 오므론 가부시키가이샤
Priority date: 2011-03-10
Filing date: 2011-03-17
Publication date: 2013-08-26
Also published as: CN103403764B; JP2012190289A; WO2012120696A1; JP4784709B1; EP2685425B1; CN103403764A; KR101468351B1; EP2685425A1; EP2685425A4; US9020195B2; US20140010409A1

Abstract

추적 대상의 추종성과 처리 속도의 고속화를 양립할 수 있는 대상물 추적 장치를 실현한다. 이 물체 추적 장치는, 제1 프레임에서 대상물의 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성부(30)와, 제2 프레임에서 복수의 탐색 위치를 설정하는 탐색 위치 설정부(31)와, 상기 복수의 탐색 위치의 각각에서 상기 상세 윤곽 모델로부터 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성부(32)와, 상기 러프 윤곽 모델의 상기 상세 윤곽 모델에 대한 우도를 판정하는 우도 판정부(33)와, 상기 우도 판정부(33)에 의해 판정된 우도에 의거하여, 상기 복수의 탐색 위치 중에서 탐색 위치를 교입하는 탐색 위치 교입부(34)와, 상기 탐색 위치 교입부에 의해 교입된 탐색 위치 중에서, 상기 제2 프레임에서의 상기 대상물의 위치를 특정하는 대상물 위치 특정부(36)를 구비한다.

Description

대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램{OBJECT TRACKING DEVICE, OBJECT TRACKING METHOD, AND CONTROL PROGRAM}

본 발명은, 동화상 중의 대상물을 추적하는 기술에 관한 것이다.

종래로부터, 동화상 중의 물체의 움직임을 추적하는 기술이 이용되고 있다.

종래의 물체 추적 기술에는, 색을 기초로 한 추적 기술이 있다(비특허 문헌 1). 이 기술에서는, 동화상의 각 프레임에서 색이 유사한 영역을 동일 대상물로 간주하고, 각 프레임에 걸쳐서 그 색이 유사한 영역을 추적함으로써, 대상물의 위치를 추적하고 있다.

또한, 윤곽을 기초로 한 추적 기술도 있다(비특허 문헌 2). 이 기술에서는, 최초에 추적 대상물의 윤곽 모델을 작성하고, 그 윤곽 모델을 조금씩 이동시켜서, 그 윤곽 모델에 유사한 윤곽을 탐색함으로써, 추적 대상물의 위치를 추적하고 있다. 이 기술에서는, 시각(時刻) 사이에서 추적 대상물이 크게 이동하지 않는 것을 전제로 하고 있다.

또한, 윤곽을 기초로 한 다른 추적 기술로서, 파티클 필터에 의해 윤곽 형상을 추적하는 추적 기술이 있다(특허 문헌 1). 이 기술에서는, 추적 대상물과 동일 형상을 갖는 후보의 윤곽선을 하나의 파티클로 나타내고, 추적 후보로서 복수의 파티클를 도입하고, 운동 모델에 의거하여 각 파티클을 천이시켜서, 천이 후의 파티클이 정한 후보 윤곽선의 우도(尤度)를 관측함으로써, 추적 대상물의 위치를 추적하고 있다.

특허 문헌 1 : 일본국 공개특허공보 「특개2009-224924호 공보(2009년 10월 1일 공개)」

비특허 문헌 1 : Katja Nummiaro et al., "An adaptive color-based particle filter", Image and Vision Computing, Vol. 21, Issue. 1, pp. 99-110, 2003 비특허 문헌 2 : Nikos Paragios and Rachid Deriche, "Geodesic active contours and level sets for the detection and tracking of moving objects", IEEE Trans. PAMI, Vo. 22, Issue. 3, pp. 266-280,

상기 비특허 문헌 1의 기술에서는, 색이 유사한 영역을 동일 대상물로 간주하기 때문에, 추적 대상이 본래의 대상물로부터 본래의 대상물과 색이 유사한 배경에 틀리게 갈아타기 쉬운, 즉 추적 대상물의 추종성이 나쁘다는 문제점이 있다.

또한, 상기 비특허 문헌 2의 기술에서는, 시각사이로 추적 대상물이 크게 이동하지 않는 일을 전제로 하고 있기 때문에, 디지털 카메라로 사람을 촬영하는 경우와 같이 카메라와 사람이 심하게 움직이는 경우나, 추적 대상물의 윤곽이 복잡한 경우는, 처리시간이 걸리는, 즉 처리 속도가 느리다는 문제점이 있다.

또한, 상기 특허 문헌 1의 기술에서는, 추적 대상물의 추종성을 올리기 위해 파티클의 수를 늘리면, 처리량이 증대하여 처리 속도가 늦어지고, 역으로, 처리 속도를 올리기 위해 파티클의 수를 줄이면, 추적 대상물의 형상 변화에 대한 추종성이 나빠진다는 문제점이 있다.

이와 같이, 종래의 물체 추적 기술에서는, 추적 대상물의 추종성과 처리 속도의 고속화를 양립할 수 있는 기술은 없었다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것이고, 그 목적은, 추적 대상물의 추종성과 처리 속도의 고속화를 양립할 수 있는 대상물 추적 장치 및 대상물 추적 방법을 실현하는 것에 있다.

본 발명에 관한 대상물 추적 장치는, 복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 장치로서, 제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득부와, 상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성부와, 상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정부와, 상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성부와, 상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도(尤度)를 판정하는 우도 판정부와, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정부를 구비하는 것을 특징으로 하고 있다.

또한, 본 발명에 관한 대상물 추적 방법은, 복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 방법으로서, 제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득 스텝과, 상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성 스텝과, 상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정 스텝과, 상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성 스텝과, 상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정 스텝과, 상기 우도 판정 스텝에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝을 구비하는 것을 특징으로 하고 있다.

여기서, 화상 특징량이란, 예를 들면, 대응점 또는 윤곽점에 관련하는(대응하는) 화소의 화소치로부터 얻어지는 휘도 차, 또는 에지 강도 등의 특징량을 나타낸다.

상기한 구성에 의하면, 각 탐색 위치에 관해, 상세 윤곽 모델을 구성하는 윤곽점의 삭 미만의 수의 제2 대응점으로 이루어지는 러프 윤곽 모델이 생성되고, 그 러프 윤곽 모델을 이용하여 대상물의 위치가 추적되다. 따라서, 각 탐색 위치에서 상세 윤곽 모델을 생성하는 경우(예를 들면 특허 문헌 1 및 비특허 문헌 2)와 비교하여, 대상물의 추적으로 필요로 하는 처리(예를 들면 러프 윤곽 모델의 생성부 및 우도 판정부의 각 처리)를 고속화할 수 있다.

또한, 러프 윤곽 모델을 이용함으로써, 시간 경과에 수반하여 대상물의 형상이 변화하여도, 그 형상 변화한 대상물과 러프 윤곽 모델의 형상이 합치하기 쉽게 되기 때문에, 대상물의 추종성을 향상할 수 있다.

또한, 러프 윤곽 모델을 이용함으로써, 각 탐색 위치에서의 처리량이 저감할 수 있기 때문에, 그 만큼, 탐색 위치의 수를 늘릴 수 있고, 이에 의해서도, 대상물의 추종성을 향상할 수 있다.

따라서, 대상물의 추종성과 처리의 고속화를 양립할 수 있다.

이상과 같이, 본 발명에 관한 대상물 추적 장치는, 복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 장치로서, 제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득부와, 상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성부와, 상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정부와, 상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성부와, 상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정부와, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정부를 구비하고 있다.

또한, 본 발명에 관한 대상물 추적 방법은, 복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 방법으로서, 제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득 스텝과, 상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성 스텝과, 상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정 스텝과, 상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성 스텝과, 상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정 스텝과, 상기 우도 판정 스텝에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝을 구비하고 있다.

도 1은 본 발명의 한 실시의 형태에 관한 물체 추적 시스템의 개략 구성을 도시하는 블록도.
도 2는 상기 물체 추적 시스템의 추적부의 구성을 도시하는 블록도.
도 3의 (a)는, 어느 프레임의 화상에 관한 추적 처리의 예를 도시하는 도면, (b)는, 그 다음의 프레임의 화상에 관한 추적 처리의 예를 도시하는 도면.
도 4는 상세 윤곽 모델을 설명하는 도면.
도 5는 러프 윤곽 모델을 설명하는 도면.
도 6은 탐색 위치(S1·S2·S3)에서의 러프 윤곽 모델의 한 예를 도시한 도면.
도 7은 탐색 위치가 2개로 교입된 경우의 한 예를 도시한 도면.
도 8은 물체 추적 장치에서의 대상물의 추적 처리의 흐름의 개요를 도시하는 플로 차트.
도 9는 초기화부에서의 초기화 처리의 흐름을 도시하는 플로 차트.
도 10은 추적부에서의 추적 처리의 흐름을 도시하는 플로 차트.

본 실시의 형태에서는, 디지털 비디오 카메라에 탑재되고, 촬상된 동화상 중의 대상물을 추적하여 대상물에 초점을 계속 맞추는 물체 추적 시스템에 관해 설명하지만, 본 발명은 이것으로 한정되는 것이 아니다. 이하, 본 실시의 형태에 관해, 도 1 내지 10을 참조하여 상세히 설명한다.

<물체 추적 시스템의 구성>

도 1은, 본 실시의 형태에 관한 물체 추적 시스템(1)의 개략 구성을 도시하는 블록도이다. 물체 추적 시스템(1)은, 촬상 장치(2)와, 초점 제어 장치(3), 및, 물체 추적 장치(대상물 추적 장치)(10)를 구비한다.

촬상 장치(2)는, 동화상을 촬상하는 것이다. 촬상 장치(2)는, 예를 들면, CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 촬상 소자 등의 촬상 소자에 의해 구성된다. 본 실시의 형태에서는, 촬상 장치(2)는, 1초간에 30프레임의 화상을 촬상한다. 촬상 장치(2)는, 촬상한 동화상을 복수의 프레임으로 이루어지는 시계열로 나열하는 화상으로서 물체 추적 장치(10)에 출력한다.

물체 추적 장치(10)는, 시계열의 화상으로부터 추적 대상인 대상물을 추적하고, 화상 중에서 대상물의 위치를 초점 제어 장치(3)에 출력한다. 물체 추적 장치(10)의 상세한 구성은 후술한다.

초점 제어 장치(3)는, 물체 추적 장치(10)로부터 입력된 화상 중에서의 대상물의 위치에 의거하여, 촬상 장치(2)의 초점을 조절한다.

다음에, 물체 추적 장치(10)의 상세 구성에 관해 설명한다. 물체 추적 장치(10)는, 화상 취득부(11), 기억부(12), 초기화부(13), 및, 추적부(14)를 구비한다.

화상 취득부(11)는, 촬상 장치(2)로부터 시계열의 화상을 순번대로 취득하여, 시계열의 화상을 기억부(12)에 기억시킨다.

기억부(12)는, 각종의 정보를 기억하는 것이고, 예를 들면 HDD(Hard Disk Drive), 플래시 메모리 등의 기억 디바이스에 의해 구성된다. 기억부(12)는, 화상 취득부(11)가 취득한 시계열의 화상을 기억한다. 또한, 기억부(12)는, 초기화부(13) 및 추적부(14)가 출력하는 각종의 정보를 기억한다.

초기화부(13)는, 화상 중의 추적 대상이 되는 대상물을 특정하는 것이고, 추적부(14)는, 시계열의 화상 중의 상기 대상물을 추적하는 것이다.

<초기화부의 구성>

초기화부(13)는, 대상물 지정부(21), 및, 대상물 위치 특정부(22)(위치 정보 취득부)를 구비한다.

대상물 지정부(21)는, 도 3의 (a)와 같이, 어느 프레임의 화상(G1) 중의 추적 대상이 되는 대상물(T)을 특정하는 것이다. 대상물 지정부(21)는, 예를 들면, 화상(G1) 중의 어느 위치에 추적 대상이 되는 대상물(T)이 존재하는지를 나타내는 정보의 입력을 접수한다. 예를 들면, 디지털 비디오 카메라는, 터치 패널이 구비된 표시 장치에 의해 촬상 화상을 이용자에게 제시하고, 이용자는, 터치 패널에 의해 추적 대상이 되는 대상물(T)이 존재하는 위치(예를 들면 위치(P))를 지정한다. 대상물 지정부(21)는, 지정된 위치(P)의 정보를 대상물 위치 특정부(22)에 출력한다.

또한, 대상물 지정부(21)는, 대상물(T)이 존재하는 영역을 나타내는 정보를 접수하여도 좋다.

대상물 위치 특정부(22)는, 대상물 지정부(21)에서 지정된 위치(P)에 의거하여, 화상(G1)으로부터 대상물(T)을 탐색함에 의해, 대상물(T)이 존재하는 위치(Q)를 특정한다.

구체적으로는, 대상물 위치 특정부(22)는, 기억부(12)로부터 어느 시점(예를 들면 최신)의 프레임(제1 프레임)의 화상(G1)을 취득한다. 대상물 위치 특정부(22)는, 도 3의 (a)와 같이, 화상(G1)에서, 지정된 위치(P)를 포함하는 소정의 영역 사이즈의 영역(예를 들면 위치(P)를 중심으로 하는 예를 들면 100×100화소의 영역)(R)에 관해, 대상물(T)의 검출을 행한다. 이 대상물(T)의 검출에서는, 색 검출 또는 에지 검출 등의 주지의 기술을 이용할 수 있다.

대상물 위치 특정부(22)는, 검출된 대상물(T)이 포함되는 사각형의 영역(W)을 대상물(T)이 존재하는 위치(Q)로 한다. 또한, 검출된 대상물(T)이 크면, 영역(W)의 사이즈는 보다 크게 설정된다. 여기서는, 대상물(T)의 위치(Q)를 대상물(T)이 존재하는 영역(W)을 이용하여 규정하였지만, 영역(W) 중심을 대상물(T)의 위치(Q)로 규정하여도 좋다. 또한, 영역(W)은, 원형 등의 다른 형상의 영역이라도 좋고, 소정의 크기의 영역이라도 좋다.

또한, 대상물 위치 특정부(22)는, 대상물(T)의 위치(Q)의 정보를, 당해 프레임의 화상(G1)과 대응되어서 기억부(12)에 기억시킨다.

또한, 대상물 지정부(21)는, 특정한 조건의 입력을 접수하고, 대상물 위치 특정부(22)는, 그 조건에 의거하여 대상물(T)의 위치(Q)를 검출하여도 좋다. 예를 들면, 대상물 지정부(21)가 「얼굴을 대상물로 한다」라는 조건의 입력을 접수한 경우, 대상물 위치 특정부(22)는, 화상 전체에 걸쳐서 얼굴 검출을 행하고, 검출된 얼굴의 어느 하나를 대상물로 하여, 그 위치(Q)를 검출한다. 대상물 지정부(21)가 「네모진 물체를 대상물로 한다」라는 조건의 입력을 접수한 경우, 마찬가지로, 대상물 위치 특정부(22)는, 화상으로부터 검출된 네모진 물체의 어느 하나를 대상물로 하여, 그 위치(Q)를 검출한다.

이상에 의해, 어느 프레임(제1 프레임)의 화상(G1)에서의 대상물(T)의 위치(Q)가 특정되고, 그 정보가 초기화부(13)에 의해 기억부(12)에 기억된다. 이 정보를 기초로, 추적부(14)는, 제1 프레임보다 뒤의 어느 하나의 프레임(제2 프레임)을 이용하여 대상물(T)의 추적을 위한 정보를 취득하고, 대상물(T)의 추적을 행한다. 이하에서는, 설명의 편의상, 제2 프레임은, 제1 프레임의 다음의 프레임으로 하지만, 제1 프레임으로부터 수 프레임 뒤의 프레임이라도 좋다.

<추적부의 구성>

도 2는, 추적부(14)의 구성을 도시하는 블록도이다. 추적부(14)는, 윤곽 추출부(29), 상세 윤곽 모델 생성부(30), 탐색 위치 설정부(31), 러프(rough) 윤곽 모델 생성부(32), 우도 판정부(33), 탐색 위치 교입부(narrow)(34), 판정부(35)(탐색 위치 수 판정부), 대상물 위치 특정부(36)(위치 정보 취득부), 및, 추적 결과 출력부(38)를 구비한다.

화상 취득부(11)는, 초기화부(13)에서 추적 대상인 대상물(T)의 위치(Q)를 특정한 화상(G1)의 다음 프레임의 화상(G2)(도 3의 (b)참조)을, 촬상 장치(2)로부터 취득하여 기억부(12)에 기억시킨다. 추적부(14)는, 기억부(12)에 기억된 화상(G1)을 이용하여 대상물(T)의 상세 윤곽 모델을 생성한다. 또한, 추적부(14)는, 기억부(12)에 기억된 화상(G2)을 이용하여 상기 상세 윤곽 모델에 의거하여 추적 대상의 후보가 되는 복수의 러프 윤곽 모델을 동적으로 생성하고, 그들 각 러프 윤곽 모델을 서서히 상세화하여 상기 각 후보를 교입(narrow)함으로써, 화상(G2) 중의 대상물(T)을 추적한다. 이후에는, 추적부(14)에서 추적 처리를 행하는 처리 대상의 프레임을 현(現) 프레임이라고 칭하고, 현 프레임의 화상을 처리 대상 화상이라고 칭한다.

윤곽 추출부(29)는, 기억부(12)에 기억된 화상(G1)을 이용하여, 초기화부(13)의 대상물 위치 특정부(22)가 특정한 대상물(T)의 위치(Q)에 의거하여, 대상물(T)의 윤곽을 추출한다. 구체적으로는, 윤곽 추출부(29)는, 도 4와 같이, 대상물 위치 특정부(22)가 특정한 대상물(T)의 위치(Q)에 대해, 예를 들면 Level Set, Snake 또는 B-spline 등의 주지의 윤곽 추출법을 이용하여 윤곽 추출 처리를 행하여, 대상물(T)의 윤곽(101)을 추출한다.

상세 윤곽 모델 생성부(30)는, 윤곽 추출부(29)가 추출한 윤곽(101)에 의거하여 대상물(T)의 상세 윤곽 모델을 생성한다. 구체적으로는, 상세 윤곽 모델 생성부(30)는, 도 4와 같이, 화상(G1)에서, 윤곽 추출부(29)가 추출한 윤곽(101)에 따라 복수(n개)의 윤곽점(X1 내지 Xn)을 추출하고, 그 복수의 윤곽점(X1 내지 Xn)으로 이루어지는 상세 윤곽 모델을 생성한다.

이 상세 윤곽 모델은, 화상(G1)에서의 대상물(T)의 윤곽(101)을 복수의 윤곽점(X1 내지 Xn)의 집합으로 재현한 것이다. 또한, 각 윤곽점(X1 내지 Xn)은, 윤곽(101)상의 점으로 한정되지 않고, 윤곽(101) 부근의 점이라도 좋다.

또한, 각 윤곽점(X1 내지 Xn)에는, 윤곽(101)에 따라 식별 번호가 부여되어 있고, 윤곽에 따르고 이웃하는 윤곽점이 특정 가능하게 되어 있다.

또한, 상세 윤곽 모델 생성부(30)는, 각 윤곽점(X1 내지 Xn)에서의 우도(尤度) 판정용의 특징량(제1의 화상 특징량)을 구하고, 그 우도 판정용의 특징량을 기록한 템플릿을 생성한다. 구체적으로는, 도 4와 같이, 각 윤곽점(X1 내지 Xn)에는 각각, 그 윤곽점을 포함하는 소정의 영역 사이즈(예를 들면 5×5픽셀)의 우도 판정용의 영역(R2)이 대응하고 있다. 그리고, 상세 윤곽 모델 생성부(30)는, 각 윤곽점(X1 내지 Xn)에서의 우도 판정용의 특징량으로서, 그 윤곽점에 대응하는 우도 판정용의 영역(R2)의 화소치로부터 얻어지는 특징량을 이용한다.

이 특징량으로서는, 예를 들면, 휘도, 색, 에지 강도, 또는, 구배 각도(에지의 각도) 등을 이용할 수 있다. 이 우도 판정용의 특징량으로서, 예를 들면 휘도 및 에지 강도 등을 조합하여 이용하여도 좋다. 여기서는, 이 우도 판정용의 특징량으로서, 우도 판정용의 영역(R2)의 휘도 분포가 이용된다. 또한, 도 4에서는, 한 예로서, 윤곽점(X3)에 대응하는 5×5픽셀의 우도 판정용의 영역(R2)의 휘도 분포가 도시되어 있다.

또한, 상세 윤곽 모델 생성부(30)는, 생성한 상세 윤곽 모델 및 템플릿을 당해 프레임의 화상(G1)과 대응되어 기억부(12)에 기억시킨다.

탐색 위치 설정부(31)는, 도 3의 (b)와 같이, 현 프레임의 처리 대상 화상(G2)에서의 대상물(T)의 탐색을 행하는 복수(m개)의 다른 탐색 위치(S1 내지 Sm)를 설정한다. 여기서는, 각 탐색 위치(S1 내지 Sm)는, 대상물(T)의 위치(Q)와 마찬가지로 영역에 의해 규정되어 있고, 대상물(T)의 위치(Q)와 같은 형상 및 같은 영역 사이즈로 설정되어 있다. 또한, 대상물(T)의 위치(Q)가 점(예를 들면 영역(W)의 중심점)으로서 규정되어 있는 경우는, 탐색 위치(S1 내지 Sm)도 점으로서 규정된다.

구체적으로는, 탐색 위치 설정부(31)는, 도 3의 (b)와 같이, 처리 대상 화상(G2)에서, 하나 전의 프레임의 화상(G1)에서의 대상물(T)의 위치(Q)의 주변에 복수의 탐색 위치(S1 내지 Sm)를 설정한다. 또한, 탐색 위치(S1 내지 Sm)의 설정의 방법으로서는, 예를 들면, 파티클 필터, 또는, 부분 영역 탐색의 기술을 이용할 수 있다. 탐색 위치 설정부(31)는, 탐색 위치(S1 내지 Sm)의 정보를 러프 윤곽 모델 생성부(32)에 출력한다.

러프 윤곽 모델 생성부(32)는, 탐색 위치 설정부(31)에 의해 설정된 각 탐색 위치(S1 내지 Sm)에서, 상기 상세 윤곽 모델에 의거하여 러프 윤곽 모델을 생성한다.

구체적으로는, 러프 윤곽 모델 생성부(32)는, 도 5와 같이, 각 탐색 위치(S1 내지 Sm)에서, 대상물(T)의 위치(Q)를 당해 탐색 위치(Si)(i=1 내지 m)에 겹친 경우(즉, 상세 윤곽 모델을 당해 탐색 위치(Si)에 맞춘 경우)의, 상세 윤곽 모델의 복수의 윤곽점(X1 내지 Xn)의 위치에 대응하는 복수의 대응점(Y1 내지 Yn)(제1 대응점)을 특정한다. 또한, 복수의 대응점(Y1 내지 Yn)에는 각각, 그것에 대응하는 윤곽점(X1 내지 Xn)과 같은 식별 번호가 부여되어 있다.

그리고, 러프 윤곽 모델 생성부(32)는, 각 탐색 위치(S1 내지 Sm)에 대해, 상기한 바와 같이 특정한 복수의 대응점(Y1 내지 Yn) 중에서 제1의 소정 수(예를 들면 u개)의 대응점(제2 대응점)(Ya1 내지 Yau)을 선택하고, 그 제1의 소정 수의 대응점(Ya1 내지 Yau)으로 이루어지는 러프 윤곽 모델을 생성한다. 또한, 상기 제1의 소정 수는, 복수의 대응점(Y1 내지 Yn)보다도 적은 수이다.

또한, 이 러프 윤곽 모델은, 화상(G1)에서의 대상물(T)의 윤곽(101)을 상기 상세 윤곽 모델의 복수의 윤곽점(X1 내지 Xn)보다도 적은 개수의 대응점(Ya1 내지 Yau)의 집합으로 재현한 것이다. 즉, 이 러프 윤곽 모델은, 대상물(T)의 윤곽(101)을 단순화하여(즉 러프하게) 나타낸 것이다. 이 러프 윤곽 모델은, 대응점(Ya1 내지 Yau)의 개수가 적을수록, 러프한 정도(단순화 정도)가 높아진다.

더욱 구체적으로는, 러프 윤곽 모델 생성부(32)는, 우선 이하와 같이 하여, 처리 대상 화상(G2)에서, 각 대응점(Yj)(j=1 내지 n)에서의 대응점 선택용의 특징량(제3의 화상 특징량)을 구한다. 즉, 러프 윤곽 모델 생성부(32)는, 처리 대상 화상(G2)에서, 도 5와 같이, 대응점(Yj)(주목 대응점)에 대응하는 대응점 선택용의 영역(제1의 영역)의 화소치(예를 들면 휘도)와, 그 대응점(Yj)의 주위의 특정 위치에 있는 하나 이상의 참고 점(예를 들면 Yj-1·Yj+1·Yout·Yin)의 각각에 대응하는 대응점 선택용의 영역의 화소치(예를 들면 휘도)에 의거하여, 대응점(Yj)에서의 상기한 대응점 선택용의 특징량을 구한다.

또한, 각 점(Yj·Yj-1·Yj+1·Yout·Yin)에 대응하는 상기한 대응점 선택용의 영역은 각각, 그 대응하는 점(Yj·Yj-1·Yj+1·Yout·Yin)을 예를 들면 중심에 포함하는 소정의 영역이다.

여기서는, 대응점(Yj)에 대한 상기 참고 점으로서, 도 5와 같이, 윤곽(102)에 따라 대응점(Yj)에 이웃하는 2개의 대응점(Yj+1·Yj-1)과, 대응점(Yj)의 부근으로서 윤곽(102)의 내측의 1점(Yin) 및 외측의 1점(Yout)을 사용하고 있다. 대응점(Yj+1·Yj-1)은 각각, 대응점(Yj)의 하나 후 및 하나 전의 식별 번호를 갖는 대응점이다. 화상(G2)상의 윤곽(102)은, 대상물(T)의 위치(Q)를 당해 탐색 위치(Si)에 겹친 경우의, 대상물(T)의 윤곽(101)에 대응하는 화상(G2)상의 윤곽이다.

또한, 각 참고 점(Yin·Yout)과 대응점(Yj)과의 거리에 관해서는, 대응점(Yj)과 각 참고 점(Yj+1, Yj-1)과의 각 거리의 평균치를 채용하여도 좋다. 또한, 각 참고 점(Yin·Yout)의 대응점(Yj)으로부터의 방위에 관해서는, 예를 들면, 각도(角度)(Yout·Yj·Yj-1)와 각도(Yout·Yj·Yj+1)가 동등하게 되고, 각도(Yin·Yj·Yj-1)와 각도(Yin·Yj·Yj+1)가 동등하게 되는 방위를 채용하여도 좋다. 또한, 복수의 대응점(Y1 내지 Yn)을 연결하여 윤곽을 구하고, 그 윤곽에서의 대응점(Yj)에서의 접선에 대한 법선의 방향에, 각 참고 점(Yin·Yout)을 배치하여도 좋고, 그 때, 점(Yj)부터 점(Yin)까지의 거리를, 각 점(Yj+1·Yj) 사이, 각 (Yj-1·Yj) 사이의 거리의 평균으로 하여도 좋다. 또한, 상기 윤곽으로서, 복수의 대응점(Y1 내지 Yn)을 연결한 것을 사용하는 대신에, 복수의 대응점(Y1 내지 Yn)에 대응하는 복수의 윤곽점(X1 내지 Xn)의 기초가 된 윤곽(즉, 윤곽 추출부(29)가 추출한 윤곽)(101)을 이용하여도 좋다.

또한, 대응점(Yj)에서의 상기한 대응점 선택용의 특징량으로서는, 예를 들면, 처리 대상 화상(G2)에서의 대응점(Yj)과 각 참고 점(Yin·Yj-1·Yj+1)과의 사이의 각 휘도차 중의 그 휘도차가 가장 큰 것과, 대응점(Yj)과 참고 점(Yout)과의 사이의 휘도차와의 차가 이용된다. 여기서는, 대응점(Yj)의 상기한 대응점 선택용의 특징량으로서, 이와 같은 휘도차의 차가 이용되지만, 이와 같이 한정되는 것이 아니고, 예를 들면, 각 점(Yj-1·Yj·Yj+1)에 따른 윤곽 부분에서의 에지 강도의 크기를 채용하여도 좋다. 또한, 휘도차와 에지 강도를 조합하여 이용하여도 좋다. 또한, 대응점(Yj)의 주변 화소의 휘도차(예를 들면 대응점(Yj)과 참고 점(Yout)의 휘도차)를 이용하여도 좋다.

또한, 대응점(Yj)과 각 참고 점(Yj-1·Yj+1·Yout·Yin)과의 사이의 상기 각 휘도차는, 하기한 바와 같이 구하여진다. 각 점(Yj·Yj-1·Yj+1·Yout·Yin)에 대응하는 상기 대응점 선택용의 영역은, 화상(G2)의 영역이고, 서로 같은 영역 사이즈의 영역(예를 들면 5×5픽셀)이다. 그리고, 각 점(Yj·Yj-1) 사이의 상기휘도차(제3 화소치 차)를 구하는 경우는, 각 점(Yj·Yj-1)에 대응하는 상기 대응점 선택용의 각 영역에서 같은 배열 위치에 있는 화소 사이의 휘도차를 구하고, 그들 각 휘도차(또는 각 휘도차의 절대치)를 상기 대응점 선택용의 영역에 걸쳐서 합산한 것을 각 점(Yj·Yj-1) 사이의 휘도차로 한다. 대응점(Yj)과 다른 참고 점(Yj+1·Yout·Yin)과의 사이의 상기 각 휘도차(제3 화소치 차, 제2 화소치 차, 제 1화소치 차)에 대해서도 마찬가지이다. 또한, 이 휘도차의 계산 방법은 한 예이고, 이와 같이 한정되지 않는다. 이와 같이 대응점(Yj)에서의 상기한 대응점 선택용의 특징량이 구하여진다.

또한, 여기서는, 대응점(Yj)의 참고 점으로서, 각 점(Yj-1·Yj+1·Yout·Yin)을 이용하였지만, 각 점(Yout·Yin)만을 이용하여도 좋다.

그리고, 러프 윤곽 모델 생성부(32)는, 각 탐색 위치(Si)에 관해, 복수의 대응점(Y1 내지 Yn) 중, 화상(G2)에서, 윤곽을 나타내고 있는 정도가 보다 높은 몇 개의 대응점(Ya1 내지 Yau)을 선택하고, 대응점(Ya1 내지 Yau)으로 이루어지는 그 탐색 위치(Si)의 러프 윤곽 모델을 생성한다.

만약 현 프레임에서 어느 탐색 위치(Si)로 대상물(T)이 이동하고 있으면, 그 탐색 위치(Si)의 각 대응점(Y1 내지 Yn)에 대상물(T)의 윤곽이 위치하고 있을 가능성이 높고, 각 대응점(Y1 내지 Yn)은 윤곽을 나타내는 것이다. 단, 대상물(T)의 윤곽이 변형하면서 대상물(T)이 이동하고 있는 경우, 현 프레임에서 대상물(T)이 탐색 위치(Si)로 이동하고 있어도, 그 탐색 위치(Si)의 각 대응점(Y1 내지 Yn) 중에는 윤곽을 나타내지 않는 점도 있다. 그 때문에, 현 프레임의 화상(G2)에서 보다 윤곽을 나타내고 있는 정도가 보다 높은 몇 개의 대응점(Ya1 내지 Yau)을 러프 윤곽 모델을 구성하는 점으로서 선택(선발)한다. 화상(G2)에서 윤곽을 나타내고 있는 정도가 높은 대응점(Ya1 내지 Yau)으로 이루어지는 러프 윤곽 모델은, 그 탐색 위치(Si)로 대상물(T)이 이동하고 있는지의 여부를 판정하기 위한, 우수하면서 단순한 윤곽 모델이라고 생각할 수 있다.

대응점(Yj)이 윤곽을 나타내고 있는 정도는, 예를 들면, 화상(G2)에서의 대응점(Yj)에 대응하는 위치의 에지 강도로 나타낼 수 있다. 또한, 예를 들면, 대응점(Yj)이 윤곽을 나타내고 있는 정도는, 화상(G2)에서의 대응점(Yj)에 대응하는 윤곽(102)의 내측과 외측과의 휘도차로 나타낼 수 있다.

구체적으로는, 러프 윤곽 모델 생성부(32)는, 이와 같이 상기한 대응점 선택용의 특징량을 구한 복수의 대응점(Y1 내지 Yn) 중, 소정의 사전 지식을 충족시키는 것을 선택하고, 그 중에서 상기한 대응점 선택용의 특징량의 크기가 상위 제1의 소정 수(예를 들면 상위 u개)에 (즉, 최대의 것부터 제1의 소정 수의 순위까지에) 포함되는 것을 선택하여, 그 제1의 소정 수의 대응점(Ya1 내지 Yau)으로 이루어지는 러프 윤곽 모델을 생성한다.

상기 소정의 사전 지식으로서는, 예를 들면, 대응점(Yj)에 주목한 경우, 대응점(Yj)과 참고 점(Yout)과의 사이의 휘도차는, 대응점(Yj)과 참고 점(Yin)과의 사이의 휘도차, 대응점(Yj)과 참고 점(Yj-1)과의 사이의 휘도차, 및, 대응점(Yj)과 참고 점(Yj+1)과의 사이의 휘도차보다도 크다라는 사전 지식을 이용할 수 있다.

상기한 대응점(Yj)에서의 대응점 선택용의 특징량(제3의 화상 특징량)은, 이 사전 지식에 입각한 것이고, 대응점(Yj)이 대상물(T)의 윤곽을 나타내고 있는 윤곽 정도를 나타내고 있다. 즉, 현 프레임에서 그 탐색 위치(Si)로 대상물(T)이 이동하고 있으면, 복수의 대응점(Y1 내지 Yn)을 연결한 윤곽(102)의 내측과 외측에서 휘도차가 크다고 추측할 수 있다. 그 때문에, 상기 사전 지식에 입각한 상기한 대응점 선택용의 특징량은, 각 대응점(Y1 내지 Yn)이 대상물(T)의 윤곽을 나타내고 있는 윤곽 정도를 나타내는 지표가 된다. 그리고, 상기한 대응점 선택용의 특징량이 클수록, 상기한 윤곽 정도는 높은 것이다. 본 발명은, 상기한 윤곽 정도에 의거하여, 복수의 대응점(Y1 내지 Yn)을 보다 유효한 몇 개의 대응점(Ya1 내지 Yau)으로 교입하고, 그것들 각 대응점(Ya1 내지 Yau)으로 러프 윤곽 모델을 작성하기 때문에, 이 러프 윤곽 모델은, 적은 정보(대응점)로 유효한 모델이 되어 있다.

이와 같이, 복수의 대응점(Y1 내지 Yn) 중 상기한 대응점 선택용의 특징량이 상위 제1의 소정 수에 포함되는 것이기 때문에, 러프 윤곽 모델이 생성된다. 따라서, 각 탐색 위치(S1 내지 Sm)의 러프 윤곽 모델은 각각, 적은 정보(대응점)로, 그 탐색 위치(Si)로 대상물(T)이 이동하고 있는지의 여부를 판정하는 우수한 윤곽 모델로 되어 있다.

또한, 에지 강도를 대응점 선택용의 특징량으로 하는 경우는, 에지 강도의 크기가 상위 제1의 소정 수에 포함되는 대응점을 선택한다.

각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)은 각각, 그 탐색 위치에서의 화상(G2)에 의거하여 생성되기 때문에, 예를 들면 도 6과 같이, 개수(u개)는 같아도, 조합은 다르다. 또한, 도 6에서는, 제도 편의상, 각 탐색 위치(S1·S2·S3)에서의 러프 윤곽 모델만이 도시되어 있다.

또한, 러프 윤곽 모델 생성부(32)는, 각 탐색 위치(S1 내지 Sm)의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)에 대응하는 우도 판정용의 영역의 화소치에 의거하여, 각 탐색 위치(S1 내지 Sm)의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)의 우도 판정용의 특징량(제2의 화상 특징량)을 구한다. 이 우도 판정용의 특징량은, 후술하는 우도 판정부(33)의 우도의 판정에서 사용되는 것이다. 또한, 각 대응점(Ya1 내지 Yau)에 대응하는 상기한 우도 판정용의 영역은 각각, 그 대응하는 대응점(Ya1 내지 Yau)을 예를 들면 중심에 포함하는 영역이다.

이 우도 판정용의 특징량은, 상세 윤곽 모델의 각 윤곽점(X1 내지 Xn)에 대응하는 상기한 우도 판정용의 영역의 화소치로부터 구하여진 상기 우도 판정용의 특징량(여기서는 휘도 분포 : 제1의 화상 특징량)과 같은 종류의 특징량(여기서는 휘도 분포)이다.

또한, 각 대응점(Ya1 내지 Yau)에 대응하는 상기한 우도 판정용의 영역의 영역 사이즈는, 상세 윤곽 모델의 각 윤곽점(X1 내지 Xn)에 대응하는 상기한 우도 판정용의 영역과 같은 영역 사이즈(예를 들면 5×5픽셀의 사이즈)이지만, 각 대응점(Y1 내지 Yn)에 대응하는 상기한 대응점 선택용의 영역의 영역 사이즈와 같은 영역 사이즈일 필요는 없다.

즉, 각 대응점(Y1 내지 Yn)에는, 상기한 대응점 선택용의 영역이 대응하고, 각 대응점(Y1 내지 Yn) 중의 각 Ya1 내지 Yau에는, 또한, 상기한 우도 판정용의 영역이 대응한다. 또한, 상기한 우도 판정용의 영역은, 상세 윤곽 모델의 각 윤곽점(X1 내지 Xn)에 대응하는 상기 우도 판정용의 영역과 같은 영역 사이즈로 고정되지만, 상기한 대응점 선택용의 영역은, 후술하는 바와 같이, 판정부(35)로부터의 후술하는 지시 신호에 따라, 영역 사이즈가 변경된다.

또한 러프 윤곽 모델 생성부(32)는, 상기한 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 정보(즉, 각 대응점(Ya1 내지 Yau)의 정보, 및, 각 대응점(Ya1 내지 Yau)에서의 우도 판정용의 특징량의 정보)를 우도 판정부(33)에 출력한다.

또한, 러프 윤곽 모델 생성부(32)는, 후술하는 바와 같이, 판정부(35)로부터 지시 신호(즉, 러프한 정도를 1단계 내려서 러프 윤곽 모델을 다시 생성시키는 취지의 지시 신호)를 취득한 경우는, 후술하는 바와 같이 탐색 위치 교입부(34)에 의해 교입된 각 탐색 위치에 대해서만, 그들의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)의 개수(u개)를 소정 수 늘려서, 러프 윤곽 모델을 다시 생성한다.

또한, 상기 소정 수로서, 예를 들면, 미리 설정된 고정수, 또는, 그 시점에서의 각 대응점(Ya1 내지 Yau)의 개수에 대해 일정 비율 늘린 수를 채용할 수 있다. 또한, 대응점(Ya1 내지 Yau)의 개수를 늘리는 방식으로서, 대응점(Ya1 내지 Yau)의 개수를, 상기 지시 신호에 따라, 윤곽점(X1 내지 Xn)의 개수의 20%로부터 50%까지 단계적으로 늘려도 좋다.

또한, 대응점(Ya1 내지 Yau)의 개수를 소정 수 늘리는 것에 더하여, 또는 그 대신에, 각 대응점(Y1 내지 Yn)에 대응하는 상기한 대응점 선택용의 영역의 영역 사이즈를 소정 사이즈 증대시키고, 그 소정 사이즈 증대시킨 대응점 선택용의 영역에 의거하여, 상술한 바와 마찬가지로, 상기한 대응점 선택용의 특징량을 구하여도 좋다.

또한, 대응점 선택용의 영역의 영역 사이즈를 소정 사이즈 증대시키는 경우는, 영역 사이즈로서, 예를 들면 1픽셀로부터 5×5픽셀까지 단계적으로 준비하고, 러프 정도가 가장 높은 경우의 영역 사이즈로서 초기적으로 1픽셀을 설정하여 두고, 러프 윤곽 모델 생성부(32)에서의 상기 지시 신호를 취득할 때마다(러프 정도가 낮아징 때마다), 대응점 선택용의 영역의 영역 사이즈를, 종횡 함께 1픽셀씩 증대시켜도 좋다.

또한, 러프 윤곽 모델 생성부(32)는, 이 다시 생성한 러프 정도가 낮은(즉 보다 상세한) 러프 윤곽 모델에 대해, 상술한 바와 마찬가지로, 우도 판정용의 특징량을 구한다. 또한, 그 때, 각 대응점(Ya1 내지 Yau)에 대응하는 우도 판정용의 영역은, 상술한 대응점 선택용의 특징량의 경우와 달리, 변경되지 않는다.

그리고, 러프 윤곽 모델 생성부(32)는, 다시 생성한 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 정보(각 대응점(Ya1 내지 Yau)의 정보, 및, 각 대응점(Ya1 내지 Yau)에서의 우도 판정용의 특징량의 정보)을 우도 판정부(33)에 출력한다.

우도 판정부(33)는, 상기한 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 정보를 수신하면, 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 상세 윤곽 모델에 대한 우도(L)(즉 현 프레임의 화상(G2)에서의 각 탐색 위치(Si)가 대상물(T)의 위치인 것의 우도)를 판정한다.

구체적으로는, 우도 판정부(33)는, 러프 윤곽 모델 생성부(32)로부터 상기한 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 정보(즉각 대응점(Ya1 내지 Yau)의 정보, 및, 각 대응점(Ya1 내지 Yau)에서의 우도 판정용의 특징량(예를 들면 휘도 분포)의 정보)을 취득함과 함께, 기억부(12)로부터 상기한 상세 윤곽 모델의 템플릿(즉 각 윤곽점(X1 내지 Xn)에서의 우도 판정용의 특징량(예를 들면 휘도 분포)의 정보)을 판독한다.

그리고, 우도 판정부(33)는, 우선, 화상(G2)에서의 탐색 위치(Si)(i=1 내지 m)에서의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)과, 화상(G1)에서의 상세 윤곽 모델의 각 윤곽점(X1 내지 Xn) 중의 상기 각 대응점(Ya1 내지 Yau)에 대응하는 각 윤곽점(Xa1 내지 Xau)과의 사이에서, 상기한 우도 판정용의 특징량의 차를 구함으로써, 각 대응점(Yaj)의 윤곽점(Xaj)에 대한 우도(Lj)를 구한다.

여기서는, 우도 판정부(33)는, 대응하는 각 점(Xaj·Yaj)(j=1 내지 u)에 대응하는 상기 각 영역(5×5픽셀의 우도 판정용의 영역)에서의 동일한 배열 위치에 있는 픽셀 사이의 휘도차를 구하고, 그것들 각 휘도차(또는 각 휘도차의 절대치)를 합산한 것을 이용하여, 대응점(Yaj)의 윤곽점(Xaj)에 대한 우도(Lj)를 구하다. 또한, 각 점(Xaj)에 대응하는 상기한 우도 판정용의 영역은, 화상(G1)의 영역이고, 각 점(Yaj)에 대응하는 상기 우도 판정용의 영역은, 화상(G2)의 영역이다. 여기서는, 우도(Lj)는, 예를 들면 Lj=exp(-|휘도차의 합산치|)라고 정의된다.

그리고, 우도 판정부(33)는, 각 대응점(Yaj)(j=1 내지 u)에 걸쳐서 각 대응점(Yaj)의 우도(Lj)를 합산한 것을 이용하여, 탐색 위치(Si)에서의 러프 윤곽 모델의 상세 윤곽 모델에 대한 우도(L)(예를 들면 L=(L1+L2+…+Lu)/u)를 구한다. 이 경우, 우도(L)의 최대치는 1이 된다. 도 7에서는, 한 예로서, 각 탐색 위치(S1·S2·S3)에서의 윤곽 모델의 우도(L)가 각각 0.5, 0.9, 0.3인 경우가 도시되어 있다.

또한, 우도(L)의 정의는 상기한 바와 같이 한정되지 않는다. 또한, 상기한 바와 같이 정의된 우도(L)는, 러프 윤곽 모델이 상세 윤곽 모델에 유사할수록 커지지만, 러프 윤곽 모델이 상세 윤곽 모델에 유사할수록 작아지도록 정의하여도 좋다.

또한, 우도 판정부(33)는, 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 우도(L)의 정보를 탐색 위치 교입부(34)에 출력한다. 또한, 우도 판정부(33)는, 러프 윤곽 모델 생성부(32)에 의해 다시 생성된 러프 윤곽 모델의 정보를 수신한 경우는, 그 다시 생성된 러프 윤곽 모델의 우도(L)를 상술과 마찬가지로 판정하고, 그 우도(L)의 정보를 탐색 위치 교입부(34)에 출력한다.

탐색 위치 교입부(34)는, 상기한 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 우도(L)의 정보를 수신하면, 그 우도(L)에 의거하여, 복수의 탐색 위치(S1 내지 Sm) 중에서 탐색 위치를 교입한다. 여기서는, 탐색 위치 교입부(34)는, 복수의 탐색 위치(S1 내지 Sm) 중, 그 러프 윤곽 모델의 우도(L)가 소정치 이상인 탐색 위치만 남겨 둔다.

이에 의해, 복수의 탐색 위치(S1 내지 Sm) 중, 그 러프 윤곽 모델이 상세 윤곽 모델에 일정 이상 유사하고 있는 것만 남겨진다. 즉, 복수의 탐색 위치(S1 내지 Sm) 중, 화상(G2)에서의 대상물(T)의 위치인 것의 우도가 높은 것만이 남겨진다.

또한, 탐색 위치 교입부(34)는, 러프 윤곽 모델 생성부(32)에 의해 다시 생성된 러프 윤곽 모델의 우도(L)의 정보를 수신한 경우는, 당해 우도(L)에 의거하여, 그 교입한 각 탐색 위치를 상술과 마찬가지로 다시 교입한다. 즉, 탐색 위치 교입부(34)는, 그 교입한 각 탐색 위치에서 다시 생성된 러프 윤곽 모델의 우도(L)를 이용하여, 상술한 바와 마찬가지로, 그 교입한 각 탐색 위치를 다시 교입한다.

그리고, 탐색 위치 교입부(34)는, 교입한 탐색 위치의 정보를 판정부(35)에 출력한다.

판정부(35)는, 탐색 위치 교입부(34)에 의해 교입된 탐색 위치의 수가 제2의 소정 수(예를 들면 3개) 이하인지의 여부를 판정한다.

또한, 판정부(35)는, 그 판정 결과가, 교입된 탐색 위치의 수가 상기 제2의 소정 수 이하인 경우는, 교입된 탐색 위치의 정보를 대상물 위치 특정부(36)에 출력한다. 한편, 판정부(35)는, 그 판정 결과가, 교입된 탐색 위치가 상기 제2의 소정 수보다 큰 경우는, 러프 윤곽 모델의 러프한 정도를 1단계 내려서 러프 윤곽 모델을 다시 생성시키는 취지의 상기한 지시 신호를, 러프 윤곽 모델 생성부(32)에 출력한다.

대상물 위치 특정부(36)는, 탐색 위치 교입부(34)에 의해 교입된 탐색 위치가 1개인 경우는, 그 탐색 위치를 현 프레임의 처리 대상 화상(G2)에서의 추적 대상인 대상물(T)의 위치(Q2)로 특정한다.

또한, 대상물 위치 특정부(36)는, 탐색 위치 교입부(34)에 의해 교입된 탐색 위치가 2개 이상이면서 상기 제2의 소정 수 이하인 경우는, 그 교입된 각 탐색 위치를 예를 들면 색정보를 이용하여 1개로 교입한다. 색정보를 이용한 교입 기술로서는, 예를 들면 색 히스토그램, 구배 히스토그램, 또는, 가보르(gabor) 특징 등의 주지의 기술을 이용할 수 있다.

구체적으로는, 대상물 위치 특정부(36)는, 탐색 위치 교입부(34)에 의해 교입된 각 탐색 위치에서의 복수의 대응점(Y1 내지 Yn)으로 둘러싸여진 영역(즉 추적 대상의 후보)의 색정보와, 하나 전의 필드의 화상(G1)에서의 대상물(T)의 색정보를 비교한다. 그리고, 대상물 위치 특정부(36)는, 탐색 위치 교입부(34)에 의해 교입된 각 탐색 위치 중, 그 색정보가 대상물(T)의 색정보에 가장 근사하는 것을, 처리 대상 화상(G2)에서의 추적 대상인 대상물(T)의 위치(Q2)로 특정한다.

또한, 대상물 위치 특정부(36)는, 탐색 위치 교입부(34)에 의해 교입된 각 탐색 위치를, 그들 각 탐색 위치 전체의 에지의 정보를 이용하여 1개로 교입하여도 좋다.

또한, 대상물 위치 특정부(36)는, 상기한 바와 같이 특정한 대상물(T)의 위치(Q2)의 정보를 윤곽 추출부(29)에 출력한다. 그리고, 윤곽 추출부(29)는, 대상물 위치 특정부(36)에 의해 특정된 위치(Q2)에 의거하여, 상술한 바와 마찬가지로, 처리 대상 화상(G2)으로부터 대상물(T)의 윤곽을 추출한다. 또한, 대상물 위치 특정부(36)는, 상기한 바와 같이 특정한 대상물(T)의 위치(Q2)의 정보를 처리 대상 화상(G2)과 대응되어 기억부(12)에 기억시킨다.

이와 같이, 현 프레임의 처리 대상 화상(G2)에서 추출된 대상물(T)의 윤곽은, 처리 대상 화상(G2)에서의 상세 윤곽 모델에 이용되고, 현 프레임의 다음 프레임의 화상에서 생성되는 러프 윤곽 모델의 기초가 된다. 즉, 추적부(14)는, 현 프레임의 처리 대상 화상(G2)에서의 대상물(T)의 상기 윤곽을 이용하여, 상술한 바와 마찬가지로, 이 처리 대상 화상(G2)에서의 상세 윤곽 모델 및 템플릿을 생성하고, 그 상세 윤곽 모델 및 템플릿을 이용하여, 현 프레임의 다음 프레임의 화상에서의 대상물(T)의 위치를 특정한다. 이것이 반복됨으로써, 화상 중의 대상물(T)이 추적된다.

또한, 이 실시의 형태에서는, 대상물 위치 특정부(36)와 탐색 위치 교입부(34)를 별도 구성으로 설명하였지만, 탐색 위치 교입부(34)의 기능을 대상물 위치 특정부(36)에 포함하여 탐색 위치 교입부(34)를 생략하여도 좋다.

또한, 이 실시의 형태에서는, 대상물 위치 특정부(22)와 대상물 위치 특정부(36)를 별개 구성으로 하였지만, 그것들을 통합하여 하나의 대상물 위치 특정부로 하여도 좋다.

또한, 윤곽 추출부(29)는, 화상(G2)에서의 대상물(T)의 윤곽의 정보를, 처리 대상 화상(G2)과 대응되어 기억부(12)에 기억시킨다. 또한, 윤곽 추출부(29)는, 처리 대상 화상(G2)에서의 대상물(T)의 윤곽의 정보를 추적 결과 출력부(38)에 출력한다.

추적 결과 출력부(38)는, 처리 대상 화상(G2)에서의 대상물(T)의 위치(Q2)의 정보를 초점 제어 장치(3)에 출력한다.

<동작 설명>

다음에, 물체 추적 장치(10)의 동작을 설명한다. 도 3의 (a)는, 어느 프레임의 화상(G1)에 관한 추적 처리의 예를 도시하는 도면이고, 도 3의 (b)는, 그 다음의 프레임의 화상(G2)에 관한 추적 처리의 예를 도시하는 도면이다. 도 3의 (a)에 도시하는 어느 프레임의 화상(G1)에서, 화상(G1)에 대상물(T)이 비치고 있다. 이하에서는, 대상물(T)을 추적하는 예에 관해 설명한다. 도 8은, 물체 추적 장치(10)에서의 대상물(T)의 추적 처리의 흐름의 개요를 도시하는 플로 차트이다.

스텝 S1에서는, 화상 취득부(11)에 의해, 촬상 장치(2)로부터 촬상된 화상(G1)이 취득되고, 그 취득된 화상(G1)이 기억부(12)에 기억된다.

스텝 S2에서는, 초기화부(13)에 의해, 어느 프레임의 화상(G1)이 기억부(12)로부터 취득되고, 그 추적 대상이 되는 화상(G1) 중의 대상물(T)이 특정된다.

스텝 S3에서는, 화상 취득부(11)에 의해, 다음 프레임의 화상(G2)이 처리 대상 화상으로서 촬상 장치(2)로부터 취득되고, 그 취득된 화상(G2)이 기억부(12)에 기억된다.

스텝 S4에서는, 추적부(14)에 의해, 현 프레임의 화상(G2) 중의 대상물(T)의 위치(Q2)가 특정된다. 이후, 스텝 S3 및 S4의 처리가 프레임마다 반복됨으로써, 화상 중의 대상물(T)이 추적된다.

<초기화 처리 플로>

다음에, 초기화부(13)의 상세한 처리의 플로에 관해 설명한다. 도 9는, 초기화부(13)에서의 초기화 처리의 흐름을 도시하는 플로 차트이다.

스텝 S11에서는, 대상물 지정부(21)에 의해, 이용자로부터, 추적 대상이 되는 대상물(T)이 존재하는 화상(G1) 중의 위치(P)(도 3의 (a)참조)의 입력이 접수된다. 여기서는, 이용자가 터치 패널에 의해 대상물(T)의 위치(P)를 지정한다.

스텝 S12에서는, 대상물 위치 특정부(22)에 의해, 지정된 위치(P)를 포함하는 소정의 영역(R)에 관해, 대상물(T)의 검출이 행하여지고, 대상물(T)의 위치(Q)가 특정된다. 여기서는, 대상물(T)의 위치(Q)는, 대상물(T)을 포함하는 사각형의 영역으로서 설정된다. 또한, 대상물(T)의 위치(Q)를, 대상물(T)을 포함하는 사각형의 영역의 예를 들면 중심으로 하여 설정하여도 좋다. 그리고, 초기화부(13)의 처리가 종료된다.

<추적 처리 플로>

다음에, 추적부(14)의 상세한 처리의 흐름에 관해 설명한다. 도 5는, 다음 프레임의 화상(G2)로 설정된 각 탐색 위치(Si)(i=1 내지 m)에서 생성되는 러프 윤곽 모델을 설명하는 도면이다. 도 10은, 추적부(14)에서의 추적 처리의 흐름을 도시하는 플로 차트이다.

스텝 S18에서는, 윤곽 추출부(29)에 의해, 기억부(12)에 기억된 화상(G1)에서, 대상물 지정부(21)에 의해 특정된 대상물(T)의 윤곽(101)(도 4 참조)이 추출된다.

스텝 S19에서는, 상세 윤곽 모델 생성부(30)에 의해, 화상(G1)에서, 윤곽 추출부(29)에 의해 추출된 윤곽(101)에 따라 복수(n개)의 윤곽점(X1 내지 Xn)이 추출되고, 그 복수의 윤곽점(X1 내지 Xn)으로 이루어지는 상세 윤곽 모델이 생성된다. 그리고, 이 상세 윤곽 모델의 정보는, 화상(G1)에 대응되어 기억부(12)에 기억된다.

스텝 S20에서는, 상세 윤곽 모델 생성부(30)에 의해, 각 윤곽점(X1 내지 Xn)에 대응하는 우도 판정용의 영역의 화소치로부터 우도 판정용의 특징량(예를 들면 휘도, 에지 강도, 또는, 구배 각도)이 구하여지고, 그 특징량이 기록된 템플릿이 생성된다. 그리고, 이 템플릿의 정보는, 화상(G1)에 대응되어서 기억부(12)에 기억된다.

스텝 S21에서는, 탐색 위치 설정부(31)에 의해, 처리 대상 화상(G2)에서, 대상물(T)의 탐색이 행하여지는 복수(m개)의 다른 탐색 위치(S1 내지 Sm)가 설정된다. 구체적으로는, 탐색 위치 설정부(31)에 의해, 도 3의 (b)와 같이, 처리 대상 화상(G2)에서, 하나 전의 프레임의 화상(G1)에서의 대상물(T)의 위치(Q)의 주변에 복수의 탐색 위치(S1 내지 Sm)가 설정된다.

스텝 S22에서는, 러프 윤곽 모델 생성부(32)에 의해, 탐색 위치 설정부(31)에 의해 설정된 각 탐색 위치(S1 내지 Sm)에서, 스텝 S19에서 생성된 상세 윤곽 모델에 의거하여 러프 윤곽 모델이 생성된다.

구체적으로는, 도 5와 같이, 우선, 각 탐색 위치(Si)(i=1 내지 m)에서, 대상물(T)의 위치(Q)를 당해 탐색 위치(Si)에 겹친 경우(즉, 상세 윤곽 모델을 당해 탐색 위치(Si)에 맞춘 경우)의, 상세 윤곽 모델의 복수의 윤곽점(X1 내지 Xn)의 위치에 대응하는 복수의 대응점(제1 대응점)(Y1 내지 Yn)이 특정된다. 그리고, 각 탐색 위치(S1 내지 Sm)에 대해, 이와 같이 특정된 복수의 대응점(Y1 내지 Yn) 중에서 제1의 소정 수(예를 들면 u개)의 대응점(제2 대응점)(Ya1 내지 Yau)이 선택되고, 그 제1의 소정 수의 대응점(Ya1 내지 Yau)으로 이루어지는 러프 윤곽 모델이 생성된다.

구체적으로는, 우선, 복수의 대응점(Y1 내지 Yn)에서의 대응점 선택용의 특징량(예를 들면 휘도 분포)이 구하여진다. 즉, 대응점(Yj)(j=1 내지 n)에 대응하는 대응점 선택용의 영역의 화소치와, 그 대응점(Yj)의 주위의 특정 위치에 있는 하나 이상의 참고 점(예를 들면 Yj-1·Yj+1·Yout·Yin)의 각각에 대응하는 대응점 선택용의 영역의 화소치에 의거하여, 대응점(Yj)에서의 상기한 대응점 선택용의 특징량이 구하여진다.

그리고, 이와 같이 대응점 선택용의 특징량이 구하여진 복수의 대응점(Y1 내지 Yn) 중, 소정의 사전 지식을 충족시키고, 또한 상기한 대응점 선택용의 특징량의 크기가 상위 제1의 소정 수(예를 들면 u개)에 포함되는 것이 선택되고, 그 제1의 소정 수의 대응점(Ya1 내지 Yau)으로부터 러프 윤곽 모델이 생성된다.

스텝 S23에서는, 러프 윤곽 모델 생성부(32)에 의해, 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)에 대응하는 우도 판정용의 영역의 화소치에 의거하여, 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)에서의 우도 판정용의 특징량(예를 들면 휘도 분포)이 구하여진다.

스텝 S24에서는, 우도 판정부(33)에 의해, 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 상세 윤곽 모델에 대한 우도(L)(즉 현 프레임의 화상(G2)에서의 각 탐색 위치(Si)가 대상물(T)의 위치인 것의 우도)가 판정된다.

구체적으로는, 우선, 스텝 S23에서 구하여진, 각 탐색 위치(S1 내지 Sm)에서의 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)에서의 우도 판정용의 특징량(예를 들면 휘도 분포)과, 스텝 S20에서 구하여진, 상세 윤곽 모델의 각 윤곽점(X1 내지 Xn)중 각 대응점(Ya1 내지 Yau)에 대응하는 각 윤곽점(Xa1 내지 Xau)에서의 우도 판정용의 특징량(예를 들면 휘도 분포)과의 사이에서, 그들 특징량의 차가 구하여짐으로써, 각 대응점(Yaj)의 윤곽점(Xaj)에 대한 우도(Lj)가 구하여진다. 또한, 각 점(Xaj)에 대응하는 상기한 우도 판정용의 영역은, 화상(G1)의 영역이고, 각 점(Yaj)에 대응하는 상기한 우도 판정용의 영역은, 화상(G2)의 영역이다.

여기서는, 대응하는 각 점(Xaj·Yaj)(j=1 내지 u)에 대응하는 우도 판정용의 영역에서 같은 배열 위치에 있는 화소 사이의 휘도차가 구하여지고, 그것들 각 휘도차(또는 각 휘도차의 절대치)가 합산되고, 그 합산치를 이용하여, 대응점(Yaj)의 윤곽점(Xaj)에 대한 우도(Lj)(예를 들면 Lj=exp(-|휘도차의 합산치|))가 구하여진다.

그리고, 각 대응점(Yaj)(j=1 내지 u)의 우도(Lj)가 합산되고, 탐색 위치(Si)에서의 러프 윤곽 모델의 상세 윤곽 모델에 대한 우도(L)(예를 들면 L=(L1+L2+…+Lu)/u)가 구하여진다.

스텝 S25에서는, 탐색 위치 교입부(34)에 의해, 우도 판정부(33)에 의해 판정된 우도(L)에 의거하여, 복수의 탐색 위치(S1 내지 Sm) 중에서 탐색 위치가 교입된다. 여기서는, 복수의 탐색 위치(S1 내지 Sm) 중, 그 러프 윤곽 모델의 우도(L)가 소정치 이상인 탐색 위치만 남겨진다.

스텝 S26에서는, 판정부(35)에 의해, 탐색 위치 교입부(34)에 의해 교입된 탐색 위치의 수가 제2의 소정 수(예를 들면 3개) 이하인지의 여부가 판정된다. 그리고 스텝 S27에서, 그 판정 결과가 제2의 소정 수보다 큰 경우는, 처리가 스텝 S28으로 이행한다.

스텝 S28에서는, 판정부(35)로부터 러프 윤곽 모델 생성부(32)에 지시 신호(즉, 러프 윤곽 모델의 러프한 정도를 1단계 내려서 러프 윤곽 모델을 다시 생성시키는 취지의 지시 신호)가 출력된다. 그리고, 러프 윤곽 모델 생성부(32)에 의해, 판정부(35)로부터의 상기 지시 신호가 수신되면, 러프 윤곽 모델 생성부(32)에 의해, 스텝 S25에서 교입된 각 탐색 위치에 대해서만, 러프 윤곽 모델의 러프한 정도가 1단계 내려진다.

즉, 러프 윤곽 모델 생성부(32)에 의해, 스텝 S25에서 교입된 각 탐색 위치에 대해서만, 각 대응점(Y1 내지 Yn)에 대응하는 대응점 선택용의 영역의 영역 사이즈가 소정 사이즈 증대되고, 또한 러프 윤곽 모델을 구성하기 위한 대응점(Ya1 내지 Yau)의 개수(u개)가 소정 수 늘려진다.

그리고, 처리가 스텝 S22로 되돌아와, 스텝 S25에서 교입된 각 탐색 위치에서만, 상기한 바와 같이 러프한 정도가 1단계 내려진 조건하에서, 러프 윤곽 모델이 다시 생성된다. 그리고, 스텝 S23에서, 스텝 S22에서 다시 생성된 러프 윤곽 모델의 각 대응점(Ya1 내지 Yau)에서의 우도 판정용의 특징량이 전회와 마찬가지로 구하여지고, 스텝 S24에서, 스텝 S22에서 다시 생성된 러프 윤곽 모델의 우도(L)가 전회와 마찬가지로 구하여지고, 스텝 S25에서, 전회의 스텝 S25에서 교입된 각 탐색 위치가 전회와 마찬가지로 다시 교입되고, 스텝 S26에서, 다시 교입된 각 탐색 위치의 수가 제2의 소정 수 이하인지의 여부가 전회와 마찬가지로 판정된다. 그리고 스텝 S27에서, 그 판정 결과가 제2의 소정 수 이하가 될 때 까지, 스텝 S28→S22→S23→S24→S25→S26→S27의 처리가 반복된다.

그리고 스텝 S27에서, 판정부(35)의 판정 결과가 제2의 소정 수 이하인 경우는, 처리가 스텝 S29로 이행한다. 예를 들면, 제2의 소정 수가 3개인 경우에 있어서, 도 7과 같이, 교입된 각 탐색 위치가 S1 및 S2의 2개인 경우는, 처리가 스텝 S29로 이행한다.

스텝 S29에서는, 탐색 위치 교입부(34)에 의해 교입된 탐색 위치가 1개인 경우는, 처리가 스텝 S31로 이행하고, 대상물 위치 특정부(36)에 의해, 그 탐색 위치가 처리 대상 화상(G2)에서의 추적 대상인 대상물(T)의 위치(Q2)로 특정된다. 또한, 대상물 위치 특정부(36)에 의해 특정된 위치(Q2)(즉, 현 프레임의 화상(G2)에서의 대상물(T)의 위치(Q2))에 의거하여, 현 프레임의 다음 프레임의 화상에서의 당해 대상물(T)의 위치가 추적되게 된다.

또한 스텝 S29에서, 탐색 위치 교입부(34)에 의해 교입된 탐색 위치가 1개가 아닌 경우(즉, 2개 이상이면서 제2의 소정 수 이하인 경우)는, 처리가 스텝 S30으로 이행하고, 대상물 위치 특정부(36)에 의해, 그 교입된 각 탐색 위치가 예를 들면 색정보(예를 들면 색 히스토그램, 구배 히스토그램, 또는, 가보르 특징 등)를 이용하여 1개로 교입된다.

구체적으로는, 현 프레임의 처리 대상 화상(G2)에서의 탐색 위치 교입부(34)에 의해 교입된 각 탐색 위치에서의 복수의 대응점(Y1 내지 Yn)으로 둘러싸여진 영역(즉 추적 대상의 후보)의 색정보와, 하나 전의 필드의 화상(G1)에서의 대상물(T)의 색정보가 비교된다. 그리고, 탐색 위치 교입부(34)에 의해 교입된 각 탐색 위치 중에서, 색정보가 대상물(T)의 색정보에 가장 근사하는 것만으로 교입된다. 그리고 처리가 스텝 S31로 이행하고, 대상물 위치 특정부(36)에 의해, 그 교입된 탐색 위치가 처리 대상 화상(G2)에서의 추적 대상인 대상물(T)의 위치(Q2)로 특정된다.

예를 들면 도 7에서, 각 탐색 위치(S1·S2) 중, 탐색 위치(S1)의 색정보의 쪽이 대상물(T)의 색정보에 가까운 경우는, 탐색 위치는 S1로 교입되고, 그 탐색 위치(S1)가 처리 대상 화상(G2)에서의 대상물(T)의 위치(Q2)로 특정된다.

스텝 S32에서는, 윤곽 추출부(29)에 의해, 스텝 S31에서 특정된 위치(Q2)에 의거하여 처리 대상 화상(G2)으로부터 대상물(T)이 검출되고, 그 대상물(T)의 윤곽이 추출된다. 이 화상(G2)에서의 대상물(T)의 윤곽은, 현 프레임의 화상(G2)에서의 상세 윤곽 모델로 이용되고, 다음 프레임의 화상으로 생성되는 러프 윤곽 모델의 기초가 된다.

스텝 S33에서는, 추적 결과 출력부(38)에 의해, 처리 대상 화상(G2)에서의 대상물(T)의 위치(Q2)의 정보가 초점 제어 장치(3)에 출력된다.

또한, 이 <추적 처리 플로>의 설명에서는, 스텝 S28에서, 러프한 정도를 일정 단계 내리는 경우에, (a) 각 대응점(Y1 내지 Yn)에 대응하는 대응점 선택용의 영역의 영역 사이즈를 소정 사이즈 증대하고, 또한 (b) 러프 윤곽 모델을 구성하기 위한 대응점(Ya1 내지 Yau)의 개수(u개)를 소정 수 늘렸지만, 상기 (a)만, 또는, 상기 (b)만이라도 상관없다.

또한, 본 실시의 형태에서는, 촬영한 동화상으로부터 대상물을 검출하여 추적하고 있다. 그렇지만, 물체 추적 장치(10)는, 애니메이션 그 밖의 동화상에도 적용 가능하다. 또한, 대상물로서, 인물의 상반신이나 전신의 화상을 검출하여도 좋고, 볼, 차량, 운반되는 짐, 그 밖이 움직이는 물체의 화상을 검출하여도 좋다. 또한, 정지한 물체라도, 촬상 장치(2)를 움직이면, 촬영한 화상 중에서는 이동하는 것이 되기 때문에, 적용 가능하다. 즉, 본 발명은, 취득한 시계열의 화상 중에서 이동하는 대상물의 추적에 적용 가능하다.

[다른 변형예]

본 발명에 관한 대상물 추적 장치는, 복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 장치로서, 제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득부와, 상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성부와, 상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정부와, 상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성부와, 상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정부와, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정부를 구비한다.

또한, 본 발명에 관한 대상물 추적 방법은, 복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 방법으로서, 제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득 스텝과, 상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성 스텝과, 상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정 스텝과, 상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성 스텝과, 상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정 스텝과, 상기 우도 판정 스텝에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝을 구비한다.

여기서, 화상 특징량이란, 예를 들면, 대응점 또는 윤곽점에 관련하는(대응하는) 화소의 화소치로부터 얻어지는 휘도차, 또는 에지 강도 등의 특징량을 나타낸다.

상기한 구성에 의하면, 각 탐색 위치에 관해, 상세 윤곽 모델을 구성하는 윤곽점의 수 미만의 수의 제2 대응점으로 이루어지는 러프 윤곽 모델이 생성되고, 그 러프 윤곽 모델을 이용하여 대상물의 위치가 추적된다. 따라서, 각 탐색 위치에서 상세 윤곽 모델을 생성하는 경우(예를 들면 특허 문헌 1 및 비특허 문헌 2)와 비교하여, 대상물의 추적에 필요로 하는 처리(예를 들면 러프 윤곽 모델의 생성부 및 우도 판정부의 각 처리)를 고속화할 수 있다.

또한, 러프 윤곽 모델을 이용함으로써, 각 탐색 위치에서의 처리량이 저감될 수 있기 때문에, 그 만큼, 탐색 위치의 수를 늘릴 수 있고, 이에 의해서도, 대상물의 추종성을 향상할 수 있다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 러프 윤곽 모델 생성부는, 상기 각 탐색 위치에 관해, 상기 각 제1 대응점에 관해, 상기 제2 프레임에서의 당해 제1 대응점에 관한 제2의 화상 특징량에 의거하여, 당해 제1 대응점이 윤곽을 나타내고 있는 윤곽 정도를 구하고, 상기 복수의 제1 대응점 중, 상기 윤곽 정도의 크기가 최대의 것부터 상기 제1의 소정 수의 순위까지 포함되는 것을 상기 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 것이 바람직하다.

상기한 구성에 의하면, 각 탐색 위치에 관해, 상세 윤곽 모델의 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 각 제1 대응점에 관해, 제2 프레임에서의 당해 제1 대응점에 관한 제2의 화상 특징량에 의거하여, 당해 제1 대응점이 윤곽을 나타내고 있는 윤곽 정도를 구한다. 그리고, 복수의 제1 대응점 중, 상기 윤곽 정도의 크기가 최대의 것부터 상기 제1의 소정 수의 순위까지 포함되는 것을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성한다.

따라서, 러프 윤곽 모델은, 복수의 제1 대응점 중, 윤곽을 나타내고 있는 정도가 높은 것에 의해 구성되기 때문에, 적은 정보(대응점)로 유효한 모델이 되어 있다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 러프 윤곽 모델 생성부는, 상기 제2 프레임에서의, 상기 제1 대응점에 대응하는 에지 강도에 따르고, 또는, 상기 제1 대응점에 대응하는 복수의 화소치의 차에 따라, 상기 윤곽 정도를 구하는 것이 바람직하다.

상기한 구성에 의하면, 윤곽 정도는, 제2 프레임에서의 제1 대응점에 대응하는 에지 강도에 따라, 또는, 상기 제1 대응점에 대응하는 복수의 화소치의 차에 따라, 구하여지기 때문에, 제2 프레임의 화상에서 유용한 윤곽 정도를 생성할 수 있다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 러프 윤곽 모델 생성부는, 상기 각 제1 대응점에 관해, 상기 제2 프레임에서의 상기 복수의 제1 대응점에 의해 표시되는 윤곽의 내측의 점의 화소치와 당해 제1 대응점에 대응하는 화소치와의 차인 제 1화소치 차와, 그 윤곽의 외측의 점의 화소치와 당해 제1 대응점에 대응하는 화소치와의 차인 제2 화소치 차와의 차에 따라, 상기 윤곽 정도를 구하는 것이 바람직하다.

상기한 구성에 의하면, 윤곽 정도는, 각 제1 대응점에 관해, 제2 프레임에서의 복수의 제1 대응점에 의해 표시되는 윤곽의 내측의 점의 화소치와 당해 제1 대응점에 대응하는 화소치와의 차인 제 1화소치 차와, 그 윤곽의 외측의 점의 화소치와 당해 제1 대응점에 대응하는 화소치와의 차인 제2 화소치 차와의 차에 따라, 구하여지기 때문에, 제2 프레임의 화상에서 유용한 윤곽 정도를 생성할 수 있다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 러프 윤곽 모델 생성부는, 상기 각 제1 대응점에 관해, 상기 제2 프레임에서의 상기 복수의 제1 대응점에 의해 표시되는 윤곽에서, 당해 제1 대응점과 그것에 인접하는 상기 제1 대응점과의 사이의 화소치의 차인 제3 화소치 차와, 상기 제 1화소치 차 및 상기 제2 화소치 차에 따라, 상기 윤곽 정도를 구하는 것이 바람직하다.

상기한 구성에 의하면, 윤곽 정도는, 각 제1 대응점에 관해, 제2 프레임에서의 복수의 제1 대응점에 의해 표시되는 윤곽에서, 당해 제1 대응점과 그것에 인접하는 제1 대응점과의 사이의 화소치의 차인 제3 화소치 차와, 상기 제 1화소치 차 및 상기 제2 화소치 차에 따라, 구하여지기 때문에, 윤곽 정도의 정밀도를 향상시킬 수 있다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 러프 윤곽 모델 생성부는, 상기 복수의 제1 대응점의 각각에 대해, 당해 제1 대응점 및 그 주위의 특정 위치에 있는 하나 이상의 참고 점의 각각에 대응하는 제1의 영역의 화소치에 의거하여, 당해 제1 대응점이 윤곽을 나타내고 있는 윤곽 정도를 구함으로써, 상기 복수의 제1 대응점의 각각의 상기 윤곽 정도를 구하고, 상기 복수의 제1 대응점 중, 상기 윤곽 정도의 크기가 상위 제1의 소정 수에 포함되는 것을 상기 제2 대응점으로서 선택하여, 상기 제2 대응점으로 이루어지는 상기 러프 윤곽 모델을 생성하는 것이 바람직하다.

상기한 구성에 의하면, 복수의 제1 대응점의 각각에 대해, 당해 제1 대응점 및 그 주위의 특정 위치에 있는 하나 이상의 참고 점의 각각에 대응하는 제1의 영역의 화소치에 의거하여, 당해 제1 대응점이 윤곽을 나타내고 있는 윤곽 정도를 구함으로써, 상기 복수의 제1 대응점의 각각의 상기 윤곽 정도를 구한다. 또한, 당해 제1 대응점의 참고 점으로서는, 윤곽에 따라 당해 제1 대응점에 이웃하는 2개의 제1 대응점과, 당해 제1 대응점의 부근으로서 상기 윤곽의 내측의 1점 및 외측의 1점을 사용할 수 있다.

따라서, 당해 제1 대응점으로의 윤곽 정도를 당해 제1 대응점과 그 주위의 참고 점을 이용하여 구하기 때문에, 당해 제1 대응점만을 이용하여 윤곽 정도를 구하는 것보다도, 보다 적절하게 윤곽 정도를 구할 수 있다.

또한, 복수의 제1 대응점 중, 윤곽 정도의 크기가 상위 제1의 소정 수에 포함되는 것이 선택되어, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델이 생성된다. 따라서, 러프 윤곽 모델은, 복수의 제1 대응점 중, 윤곽을 나타내고 있는 정도가 높은 것에 의해 구성되기 때문에, 적은 정보(대응점)로 유효한 모델이 되어 있다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 탐색 위치를 교입하는 탐색 위치 교입부와, 상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치의 수가 제2의 소정 수 이하인지의 여부를 판정하는 탐색 위치 수 판정부를 또한 구비하고, 상기 러프 윤곽 모델 생성부는, 상기 러프 윤곽 모델의 생성 후, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수보다 큰 경우는, 상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치에 대해, 상기 복수의 제1 대응점 및 그들의 상기 참고 점의 각각에 대응하는 상기 제1의 영역의 영역 사이즈를 소정 사이즈 증대하고, 증대한 상기 제1의 영역의 화소치에 의거하여 상기 복수의 제1 대응점의 각각의 상기 윤곽 정도를 구함으로써, 상기 러프 윤곽 모델을 다시 생성하고, 상기 우도 판정부는, 상기 러프 윤곽 모델 생성부에 의해 다시 생성된 상기 러프 윤곽 모델에 대해 상기 우도를 판정하고, 상기 탐색 위치 교입부는, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 탐색 위치 교입부가 교입한 상기 탐색 위치 중에서 다시 탐색 위치를 교입하고, 상기 탐색 위치 수 판정부는, 상기 탐색 위치 교입부에 의해 다시 교입된 상기 탐색 위치의 수가 상기 제2의 소정 수 이하인지의 여부를 판정하고, 상기 대상물 위치 특정부는, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수 이하인 경우, 상기 탐색 위치 교입부에 의해 교입된 탐색 위치 중에서, 상기 제2 프레임에서의 상기 대상물의 위치를 특정하는 것이 바람직하다.

상기한 구성에 의하면, 탐색 위치 교입부에 의해 교입된 탐색 위치의 수가 제2의 소정 수보다 큰 경우는, 탐색 위치 교입부에 의해 교입된 탐색 위치에 대해, 복수의 제1 대응점 및 그러한 참고 점의 각각에 대응하는 제1의 영역의 영역 사이즈가 소정 사이즈 증대되고, 그 증대된 제1의 영역의 화소치에 의거하여 복수의 제1 대응점의 각각의 윤곽 정도가 구하여짐으로써, 러프 윤곽 모델이 다시 생성된다.

이와 같이, 제1의 영역의 영역 사이즈가 소정 사이즈 증대되면, 그 만큼, 각 제1 대응점의 윤곽 정도가 보다 정확하게 구하여지기 때문에, 같은 수의 대응점이라도, 보다 정확한 윤곽 정도에 의거하여 러프 윤곽 모델이 생성된다. 따라서, 대상물의 탐색의 정밀도가 향상한다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 탐색 위치를 교입하는 탐색 위치 교입부와, 상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치의 수가 제2의 소정 수 이하인지의 여부를 판정하는 탐색 위치 수 판정부를 구비하고, 상기 러프 윤곽 모델 생성부는, 상기 러프 윤곽 모델의 생성 후, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수보다 큰 경우는, 상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치에 대해, 상기 제1의 소정 수를 소정 수 늘려서, 상기 러프 윤곽 모델을 다시 생성하고, 상기 우도 판정부는, 상기 러프 윤곽 모델 생성부에 의해 다시 생성된 상기 러프 윤곽 모델에 대해 상기 우도를 판정하고, 상기 탐색 위치 교입부는, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 탐색 위치 교입부가 교입한 상기 탐색 위치 중에서 다시 탐색 위치를 교입하고, 상기 탐색 위치 수 판정부는, 상기 탐색 위치 교입부에 의해 다시 교입된 상기 탐색 위치의 수가 상기 제2의 소정 수 이하인지의 여부를 판정하고, 상기 대상물 위치 특정부는, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수 이하인 경우, 상기 탐색 위치 교입부에 의해 다시 교입된 탐색 위치 중에서, 상기 제2 프레임에서의 상기 대상물의 위치를 특정하는 것이 바람직하다.

상기한 구성에 의하면, 탐색 위치 교입부에 의해 교입된 탐색 위치의 수가 제2의 소정 수보다 큰 경우는, 탐색 위치 교입부에 의해 교입된 탐색 위치에 대해, 제1의 소정 수(즉, 러프 윤곽 모델을 구성하는 대응점의 수)가 소정 수 늘려져서, 러프 윤곽 모델이 다시 생성된다. 이와 같이, 제1의 소정 수가 소정 수 늘려지면, 그 만큼, 러프 윤곽 모델의 러프한 정도가 1단계 저하되기 때문에, 러프한 정도가 1단계 내려져서 (환언하면, 조금 상세화 되어) 러프 윤곽 모델이 다시 생성된다.

이에 의해, 처음에는, 러프한 정도가 큰 러프 윤곽 모델을 이용하여 광범위를 대략적으로 빨리 탐색하고, 탐색 위치의 수를 교입하면서, 러프한 정도를 서서히 내려서 상세히 탐색할 수 있다. 고로, 화상 중으로부터 대상물을 효율 좋게(즉, 재빠르게) 검출할 수 있다.

또한, 본 발명에 관한 대상물 추적 장치는, 상기 위치 정보 취득부는, 상기 대상물 위치 특정부에 의해 상기 제2 프레임에서 상기 대상물의 위치가 특정된 경우에, 상기 대상물 위치 특정부에 의해 특정된 그 제2 프레임에서의 상기 대상물의 위치 정보를 취득하고, 그 제2 프레임을 상기 제1 프레임으로서 취급하는 것이 바람직하다.

상기한 구성에 의하면, 위치 정보 취득부는, 대상물 위치 특정부에 의해 제2 프레임에서 대상물의 위치가 특정된 경우에, 대상물 위치 특정부에 의해 특정된 그 제2 프레임에서의 상기 대상물의 위치 정보를 취득하고, 그 제2 프레임을 제1 프레임으로서 취급한다. 이에 의해, 그 제2 프레임에서 특정된 대상물의 위치에 의거하여, 각 처리부(상세 윤곽 모델 생성부, 탐색 위치 설정부, 러프 윤곽 모델 생성부, 우도 판정부, 대상물 위치 특정부)에서 같은 처리가 반복되어, 그 제2 프레임보다 뒤의 어느 하나의 프레임에서 당해 대상물의 위치가 특정된다. 이에 의해, 어떤 프레임에서 최초에 특정된 대상물을 자동적으로 추적할 수 있다.

특히, 상세 윤곽 모델 생성부에서는, 제2 프레임에서 특정된 대상물의 윤곽에 의거하여 상세 윤곽 모델이 생성되기 때문에, 대상물의 형상이 변화하는 경우에도, 그 형상 변화를 고려하여 대상물을 추적할 수 있다.

(프로그램 및 기록 매체)

또한, 상기 대상물 추적 장치는, 일부를 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 부로서 동작시킴에 의해 상기 대상물 추적 장치를 컴퓨터에 실현시키는 제어 프로그램, 및 상기 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.

물체 추적 장치(10)의 각 블록, 특히 대상물 지정부(21), 대상물 위치 특정부(22), 윤곽 추출부(29), 상세 윤곽 모델 생성부(30), 탐색 위치 설정부(31), 러프 윤곽 모델 생성부(32), 우도 판정부(33), 탐색 위치 교입부(34), 판정부(35), 대상물 위치 특정부(36), 및, 추적 결과 출력부(38)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU(central processing unit)를 이용하여 소프트웨어에 의해 실현하여도 좋다.

즉, 물체 추적 장치(10)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 물체 추적 장치(10)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 판독 가능하게 기록한 기록 매체를, 상기 물체 추적 장치(10)에 공급하고, 그 컴퓨터(또는 CPU나 MPU(microprocessor unit))가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD-R(CD Recordable) 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 물체 추적 장치(10)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN(local area network), ISDN(integrated services digital network), VAN(value-added network), CATV(community antenna television) 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE(institute of electrical and electronic engineers)1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(asynchronous digital subscriber loop) 회선 등의 유선이라도, IrDA(infrared data association)나 리모컨과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR(high data rate), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다.

본 발명은 상술한 실시의 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시의 형태에 대해서도 본 발명의 기술적 범위에 포함된다.

[산업상의 이용 가능성]

본 발명은, 동화상 중의 대상물을 추적하는 디지털 카메라, 디지털 비디오 카메라, 또는 카메라 부착 휴대 전화 등의 기기에 이용할 수 있다.

1 : 물체 추적 시스템
2 : 촬상 장치
3 : 초점 제어 장치
10 : 물체 추적 장치(대상물 추적 장치)
11 : 화상 취득부
12 : 기억부
13 : 초기화부
14 : 추적부
21 : 대상물 지정부
22 : 대상물 위치 특정부(위치 정보 취득부)
29 : 윤곽 추출부
30 : 상세 윤곽 모델 생성부
31 : 탐색 위치 설정부
32 : 러프 윤곽 모델 생성부
33 : 우도 판정부
34 : 탐색 위치 교입부
35 : 판정부(탐색 위치 수 판정부)
36 : 대상물 위치 특정부(위치 정보 취득부)
38 : 추적 결과 출력부
G1·G2 : 화상
S1 내지 Sm : 탐색 위치
T : 대상물
Q·Q2 : 대상물의 위치
X1 내지 Xn : 윤곽점
Y1 내지 Yn : 제1 대응점
Ya1 내지 Yau : 제2 대응점

Claims

복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 장치로서,
제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득부와,
상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성부와,
상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정부와,
상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성부와,
상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정부와,
상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정부를 구비하는 것을 특징으로 하는 대상물 추적 장치.
제 1항에 있어서,
상기 러프 윤곽 모델 생성부는, 상기 각 탐색 위치에 관해,
상기 각 제1 대응점에 관해, 상기 제2 프레임에서의 당해 제1 대응점에 관한 제3의 화상 특징량에 의거하여, 당해 제1 대응점이 윤곽을 나타내고 있는 윤곽 정도를 구하고,
상기 복수의 제1 대응점 중, 상기 윤곽 정도의 크기가 최대의 것부터 상기 제1의 소정 수의 순위까지 포함되는 것을 상기 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 것을 특징으로 하는 대상물 추적 장치.
제 2항에 있어서,
상기 러프 윤곽 모델 생성부는, 상기 제2 프레임에서의, 상기 제1 대응점에 대응하는 에지 강도에 따라, 또는, 상기 제1 대응점에 대응하는 복수의 화소치의 차에 따라, 상기 윤곽 정도를 구하는 것을 특징으로 하는 대상물 추적 장치.
제 2항에 있어서,
상기 러프 윤곽 모델 생성부는, 상기 각 제1 대응점에 관해, 상기 제2 프레임에서의 상기 복수의 제1 대응점에 의해 표시되는 윤곽의 내측의 점의 화소치와 당해 제1 대응점에 대응하는 화소치와의 차인 제 1화소치 차와, 그 윤곽의 외측의 점의 화소치와 당해 제1 대응점에 대응하는 화소치와의 차인 제2 화소치 차와의 차에 따라, 상기 윤곽 정도를 구하는 것을 특징으로 하는 대상물 추적 장치.
제 4항에 있어서,
상기 러프 윤곽 모델 생성부는, 상기 각 제1 대응점에 관해, 상기 제2 프레임에서의 상기 복수의 제1 대응점에 의해 표시되는 윤곽에서, 당해 제1 대응점과 그것에 인접하는 상기 제1 대응점과의 사이의 화소치의 차인 제3 화소치 차와, 상기 제 1화소치 차 및 상기 제2 화소치 차에 따라, 상기 윤곽 정도를 구하는 것을 특징으로 하는 대상물 추적 장치.
제 1항 또는 제 2항에 있어서,
상기 러프 윤곽 모델 생성부는, 상기 복수의 제1 대응점의 각각에 대해, 당해 제1 대응점 및 그 주위의 특정 위치에 있는 하나 이상의 참고 점의 각각에 대응하는 제1의 영역의 화소치에 의거하여, 당해 제1 대응점이 윤곽을 나타내고 있는 윤곽 정도를 구함으로써, 상기 복수의 제1 대응점의 각각의 상기 윤곽 정도를 구하고, 상기 복수의 제1 대응점 중, 상기 윤곽 정도의 크기가 상위 제1의 소정 수에 포함되는 것을 상기 제2 대응점으로서 선택하여, 상기 제2 대응점으로 이루어지는 상기 러프 윤곽 모델을 생성하는 것을 특징으로 하는 대상물 추적 장치.
제 6항에 있어서,
상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 탐색 위치를 교입(narrow)하는 탐색 위치 교입부와,
상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치의 수가 제2의 소정 수 이하인지의 여부를 판정하는 탐색 위치 수 판정부를 더 구비하고,
상기 러프 윤곽 모델 생성부는, 상기 러프 윤곽 모델의 생성 후, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수보다 큰 경우는, 상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치에 대해, 상기 복수의 제1 대응점 및 그들의 상기 참고 점의 각각에 대응하는 상기 제1의 영역의 영역 사이즈를 소정 사이즈 증대하고, 증대한 상기 제1의 영역의 화소치에 의거하여 상기 복수의 제1 대응점의 각각의 상기 윤곽 정도를 구함으로써, 상기 러프 윤곽 모델을 다시 생성하고,
상기 우도 판정부는, 상기 러프 윤곽 모델 생성부에 의해 다시 생성된 상기 러프 윤곽 모델에 대해 상기 우도를 판정하고,
상기 탐색 위치 교입부는, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 탐색 위치 교입부가 교입한 상기 탐색 위치 중에서 다시 탐색 위치를 교입하고,
상기 탐색 위치 수 판정부는, 상기 탐색 위치 교입부에 의해 다시 교입된 상기 탐색 위치의 수가 상기 제2의 소정 수 이하인지의 여부를 판정하고,
상기 대상물 위치 특정부는, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수 이하인 경우, 상기 탐색 위치 교입부에 의해 교입된 탐색 위치 중에서, 상기 제2 프레임에서의 상기 대상물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 장치.
제 1항 내지 제 7항 중 어느 한 항에 있어서,
상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 탐색 위치를 교입하는 탐색 위치 교입부와,
상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치의 수가 제2의 소정 수 이하인지의 여부를 판정하는 탐색 위치 수 판정부를 구비하고,
상기 러프 윤곽 모델 생성부는, 상기 러프 윤곽 모델의 생성 후, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수보다 큰 경우는, 상기 탐색 위치 교입부에 의해 교입된 상기 탐색 위치에 대해, 상기 제1의 소정 수를 소정 수 늘려서, 상기 러프 윤곽 모델을 다시 생성하고,
상기 우도 판정부는, 상기 러프 윤곽 모델 생성부에 의해 다시 생성된 상기 러프 윤곽 모델에 대해 상기 우도를 판정하고,
상기 탐색 위치 교입부는, 상기 우도 판정부에 의해 판정된 상기 우도에 의거하여, 상기 탐색 위치 교입부가 교입한 상기 탐색 위치 중에서 다시 탐색 위치를 교입하고,
상기 탐색 위치 수 판정부는, 상기 탐색 위치 교입부에 의해 다시 교입된 상기 탐색 위치의 수가 상기 제2의 소정 수 이하인지의 여부를 판정하고,
상기 대상물 위치 특정부는, 상기 탐색 위치 수 판정부의 판정 결과가 상기 제2의 소정 수 이하인 경우, 상기 탐색 위치 교입부에 의해 다시 교입된 탐색 위치 중에서, 상기 제2 프레임에서의 상기 대상물의 위치를 특정하는 것을 특징으로 하는 대상물 추적 장치.
제 1항 내지 제 8항 중 어느 한 항에 있어서,
상기 위치 정보 취득부는, 상기 대상물 위치 특정부에 의해 상기 제2 프레임에서의 상기 대상물의 위치가 특정된 경우에, 상기 대상물 위치 특정부에 의해 특정된 그 제2 프레임에서의 상기 대상물의 위치 정보를 취득하고, 그 제2 프레임을 상기 제1 프레임으로서 취급하는 것을 특징으로 하는 대상물 추적 장치.
복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 대상물 추적 방법으로서,
제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득 스텝과,
상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성 스텝과,
상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정 스텝과,
상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성 스텝과,
상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정 스텝과,
상기 우도 판정 스텝에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝을 구비하는 것을 특징으로 하는 대상물 추적 방법.
복수의 프레임으로 이루어지는 시계열 화상 중의 대상물을 추적하는 처리를 컴퓨터에 실행시키는 제어 프로그램으로서,
제1 프레임에서의 추적 대상이 되는 대상물의 위치 정보를 취득하는 위치 정보 취득 스텝과,
상기 제1 프레임에서, 상기 위치 정보에 의거하여, 상기 대상물의 윤곽을 나타내는 복수의 윤곽점으로 이루어지는 상세 윤곽 모델을 생성하는 상세 윤곽 모델 생성 스텝과,
상기 제1 프레임보다 뒤의 어느 하나의 제2 프레임에서 복수의 다른 탐색 위치를 설정하는 탐색 위치 설정 스텝과,
상기 제2 프레임에서, 상기 각 탐색 위치에 대해, 상기 상세 윤곽 모델을 당해 탐색 위치에 맞춘 경우의, 상기 복수의 윤곽점의 위치에 대응하는 복수의 제1 대응점을 특정하고, 상기 복수의 제1 대응점 중에서, 상기 복수의 제1 대응점보다도 적은 제1의 소정 수의 점을 제2 대응점으로서 선택하고, 상기 제2 대응점으로 이루어지는 러프 윤곽 모델을 생성하는 러프 윤곽 모델 생성 스텝과,
상기 각 탐색 위치에 관해, 상기 제2 프레임의 화상에서의 상기 러프 윤곽 모델의 상기 각 제2 대응점에 관한 제2의 화상 특징량과, 상기 제1 프레임의 화상에서의 상기 상세 윤곽 모델의 상기 각 윤곽점 중 당해 각 제2 대응점에 대응하는 윤곽점에 관한 제1의 화상 특징량을 비교함으로써, 상기 제2 프레임에서 상기 각 탐색 위치가 상기 대상물의 위치인 것의 우도를 판정하는 우도 판정 스텝과,
상기 우도 판정 스텝에 의해 판정된 상기 우도에 의거하여, 상기 복수의 탐색 위치 중에서 상기 대상물의 위치를 특정하는 대상물 위치 특정 스텝을 컴퓨터에 실행시키는 제어 프로그램.