KR20130025346A

KR20130025346A - 오브젝트 추적 장치

Info

Publication number: KR20130025346A
Application number: KR1020120096227A
Authority: KR
Inventors: 준이찌 스기오
Original assignee: 르네사스 일렉트로닉스 가부시키가이샤
Priority date: 2011-09-01
Filing date: 2012-08-31
Publication date: 2013-03-11
Also published as: US20140328514A1; US9208579B2; CN103179335B; US20130058525A1; JP5746937B2; JP2013054429A; US8811669B2; CN103179335A

Abstract

본 발명의 과제는, 줌 처리에 의해 대상 오브젝트의 사이즈가 변화해도, 고속 또한 고정밀도로 대상 오브젝트를 추적할 수 있는 오브젝트 추적 장치를 제공하는 것이다.
탐색 영역 설정부(9)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 다른 경우에는, 전 시점의 프레임 화상에 있어서의 오브젝트 영역, 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역을 설정한다. 정규화부(10)는, 현 시점의 프레임 화상에 포함되는 오브젝트의 탐색 영역의 화상을 고정 사이즈로 정규화한다. 매칭부(11)는, 정규화된 탐색 영역의 화상 중에서, 템플릿 화상과 유사한 오브젝트 영역을 검색한다.

Description

오브젝트 추적 장치{OBJECT TRACKING DEVICE}

본 발명은, 오브젝트 추적 장치에 관한 것이다.

최근의 광학 카메라가 구비된 기기에서는, 미리 등록된 얼굴 화상 등의 오브젝트를 추적 처리하고, 그 위치 정보를 출력함으로써, 오토 포커스 등의 용도에 이용되고 있다.

카메라의 줌의 변화에 의해 오브젝트의 사이즈가 변화된 경우에, 오브젝트의 추적 처리를 가능하게 하는 기술이 특허 문헌 1(일본 특허 출원 공개 제2008－287648호 공보) 및 특허 문헌 2(일본 특허 출원 공개 제2001－243476호 공보)에 개시되어 있다.

특허 문헌 1에서는, 사이즈가 변화하는 오브젝트를 추적하기 위해, 기본이 되는 템플릿 화상을 확대·축소하여 배율을 변경한 복수개의 템플릿 화상과, 촬영 화상의 매칭을 행한다.

특허 문헌 2에서는, 기본이 되는 템플릿 화상을 확대·축소한 복수개의 템플릿 화상으로부터 줌 배율에 따른 템플릿 화상을 선택하여, 촬영 화상과의 매칭을 행한다.

일본 특허 출원 공개 제2008－287648호 공보 일본 특허 출원 공개 제2001－243476호 공보

그러나 특허 문헌 1에서는, 사이즈가 변화하는 오브젝트 추적에 대응하기 위해, 복수개의 템플릿 화상과의 매칭이 필요해져, 처리 부하가 커진다고 하는 문제점이 있다.

특허 문헌 2에서는, 줌 배율에 따른 1개의 템플릿 화상으로 카메라 화상과의 매칭을 행하므로, 특허 문헌 1보다도 고속화가 가능하지만, 복수개의 배율의 템플릿 화상을 작성하여 기억해둘 필요가 있다. 또한, 줌에 의해 촬영 화상이 확대된 경우에, 화소수가 증가한 템플릿 화상을 이용하여 매칭을 행하므로, 매칭에 시간을 요하게 된다.

그로 인해, 본 발명의 목적은, 줌 처리에 의해 대상 오브젝트의 사이즈가 변화해도, 고속 또한 고정밀도로 대상 오브젝트를 추적할 수 있는 오브젝트 추적 장치를 제공하는 것이다.

본 발명의 일 실시 형태의 오브젝트 추적 장치는, 프레임 화상에 포함되는 오브젝트를 추적하는 오브젝트 추적 장치로서, 추적 대상의 오브젝트의 템플릿 화상을 기억하는 기억부와, 프레임 화상이 시계열로 입력되는 화상 입력부와, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 다른 경우에는, 전 시점의 프레임 화상에 있어서의 오브젝트 영역, 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역을 설정하는 탐색 영역 설정부와, 현 시점의 프레임 화상에 포함되는 오브젝트의 탐색 영역의 화상을 고정 사이즈로 정규화하는 정규화부와, 정규화된 탐색 영역의 화상 중에서, 템플릿 화상과 유사한 오브젝트 영역을 검색하는 매칭부를 구비한다.

본 발명의 일 실시 형태에 따르면, 줌 처리에 의해 대상 오브젝트의 사이즈가 변화해도, 고속 또한 고정밀도로 대상 오브젝트를 추적할 수 있다.

도 1은 본 발명의 실시 형태에 있어서의 디지털 카메라의 구성예를 나타내는 블록도.
도 2는 제1 실시 형태의 오브젝트 추적 장치의 구성을 나타내는 도면.
도 3은 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 동일한 경우의 현 시점의 프레임 화상의 탐색 영역을 설명하기 위한 도면.
도 4는 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 다른 경우의 현 시점의 프레임 화상의 탐색 영역을 설명하기 위한 도면.
도 5는 정규화의 예를 설명하기 위한 도면.
도 6은 제1 실시 형태의 오브젝트 추적 처리의 동작 수순을 나타내는 흐름도.
도 7은 제2 실시 형태의 오브젝트 추적 장치의 구성을 나타내는 도면.
도 8의 (a)는 제i번째의 프레임 화상을 나타내는 도면. (b)는 제(i＋1)번째의 프레임 화상을 나타내는 도면.
도 9의 (a)는 제(i＋1)번째의 프레임 화상을 나타내는 도면. (b)는 제(i＋2)번째의 프레임 화상을 나타내는 도면.
도 10은 제2 실시 형태의 오브젝트 추적 처리의 동작 수순을 나타내는 흐름도.
도 11은 도 10의 스텝 S402의 복귀 처리의 수순을 나타내는 흐름도.

이하, 본 발명의 실시 형태에 대해 도면을 참조하여 설명한다.

[제1 실시 형태]

(디지털 스틸 카메라)

도 1은 본 발명의 실시 형태에 있어서의 디지털 카메라의 구성예를 나타내는 블록도이다. 본 발명의 실시 형태에서는, 검출 및 추적 대상의 오브젝트로서 얼굴을 예로 하여 설명하지만, 본 발명의 실시 형태의 방법은, 얼굴에 한정되는 것은 아니고, 그 밖의 오브젝트의 검출 및 추적에도 이용할 수 있다.

도 1을 참조하여, 이 디지털 카메라는 반도체 장치를 갖고, 반도체 장치는, 카메라 I/F(Interface)(1001)와, CPU(Central Processing Unit)(1002)와, SDRAM(Synchronous Dynamic Random Access Memory)(1003)과, ROM(Read Only Memory)(1004)과, 유저 조작부 I/F(1005)와, LCD I/F(1007)와, 카드 I/F(1008)와, 오브젝트 검출 장치(1006), 오브젝트 추적 장치(1009)를 포함하고, 이들이 버스(1010)를 개재하여 접속되어 있다. 오브젝트 검출 장치(1006), 오브젝트 추적 장치(1009)는 화상 처리 장치(1011)를 구성한다.

카메라 I/F(1001)는, 카메라 센서에 접속되어 있고, 카메라 센서에 의해 촬상된 화상을 받고, SDRAM(1003)이나 카드 I/F(1008)를 개재하여 접속되는 도시하지 않은 SD 메모리 카드 등에 그 화상을 기입한다.

CPU(1002)는, SDRAM(1003)이나 ROM(1004)에 기억되는 프로그램을 실행함으로써, 시스템 전체의 제어를 행한다. CPU(1002)는, SDRAM(1003)에 저장된 얼굴(오브젝트)의 위치를 나타내는 정보를 초점을 맞추기 위해 카메라 I/F(1001)를 통해 카메라의 촬상계에 보낸다. 또한, CPU(1002)는, 오브젝트 검출 장치(1006) 및 오브젝트 추적 장치(1009)로부터 보내지는 얼굴(오브젝트)의 위치를 나타내는 정보로부터 얼굴의 위치를 나타내는 도형(사각형 등)을 LCD I/F(1007)에 보낸다.

ROM(1004)은, 오브젝트의 검출, 오브젝트의 추적에 이용되는 데이터를 기억한다.

유저 조작부 I/F(1005)는, 도시하지 않은 셔터 버튼 등에 접속되고, 셔터 버튼이 눌러졌을 때에, 인터럽트 등에 의해 그 취지를 CPU(1002)에 통지한다. CPU(1002)는, 인터럽트 요구를 받으면, 카메라 I/F(1001)를 제어하여 카메라 센서에 의해 촬상된 화상을 SDRAM(1003) 등에 저장한다. 또한, 유저가 도시하지 않은 줌 스위치 등을 조작하여, 줌 배율을 변경한 경우, 유저 조작부 I/F(1005)를 개재하여 줌 배율은, CPU(1002)에 보내진다.

LCD I/F(1007)는, 도시하지 않은 LCD 패널에 접속되고, LCD의 표시의 제어 등을 행한다. 카메라 센서에 의해 촬영된 화상을 프리뷰로서 LCD에 표시한다. 또한, LCD I/F(1007)는, CPU(1002)로부터 보내진 얼굴(오브젝트)의 위치를 나타내는 도형을 촬영된 화상 상에 중첩 표시한다.

카드 I/F(1008)는, SD 메모리 카드 등의 외부의 기록 매체에 접속되고, 기록 매체에 대한 데이터의 판독이나 기입을 행한다.

오브젝트 검출 장치(1006)는, 카메라 센서에 의해 촬영되어 카메라 I/F(1001)로부터 입력되는 화상으로부터 얼굴(오브젝트)의 검출 처리를 행하여, 얼굴(오브젝트)의 위치를 나타내는 정보를 SDRAM(1003)에 저장한다. 오브젝트 검출 장치(1006)는, 검출한 오브젝트의 영역을 템플릿으로서 등록한다.

오브젝트 추적 장치(1009)는, 카메라 센서에 의해 촬영되어 카메라 I/F(1001)로부터 입력되는 화상에 있어서 오브젝트 검출 장치(1006)에서 검출된 얼굴(오브젝트)의 추적 처리를 행하여, 얼굴(오브젝트)의 위치를 나타내는 정보를 SDRAM(1003)에 저장한다. 오브젝트 추적 장치(1009)는, 촬영된 화상으로부터, 오브젝트 검출 장치에서 얻어진 템플릿과 유사한 영역을 검색함으로써, 오브젝트의 추적을 행한다. 오브젝트 추적 장치(1009)는, CPU(1002)로부터 보내지는 탐색 범위 배율 K, 줌 배율, 줌의 중심 좌표를 받는다. 오브젝트 추적 장치(1009)는, 오브젝트 검출 장치(1006)로부터 추적 대상의 오브젝트의 템플릿 화상, 오브젝트 영역을 받는다.

(구성)

도 2는 제1 실시 형태의 오브젝트 추적 장치의 구성을 나타내는 도면이다.

도 2를 참조하여, 이 오브젝트 추적 장치(1009)는, 화상 입력부(2)와, 파라미터 입력부(3)와, 오브젝트 영역 입력부(4)와, 오브젝트 영역 설정부(6)와, 템플릿 입력부(5)와, 템플릿 등록부(7)와, 템플릿 기억부(8)와, 탐색 영역 설정부(9)와, 정규화부(10)와, 매칭부(11)를 구비한다.

화상 입력부(2)는, 카메라 I/F로부터 추적 대상으로 되는 오브젝트를 탐색하기 위한 프레임 화상을 소정의 프레임 레이트로 받는다. 유저에 의해 피사체가 줌(확대 또는 축소)된 경우에는, 화상 입력부(2)는, 줌된 프레임 화상을 받는다.

파라미터 입력부(3)는, CPU(1002)로부터 탐색 범위 배율 K의 입력을 받는다. 또한, 파라미터 입력부(3)는, 유저에 의해 피사체가 줌되어, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율로부터 변화된 경우에는, CPU(1002)로부터 줌 배율과, 줌의 중심 좌표를 받는다.

템플릿 입력부(5)는, 오브젝트 검출 장치로부터 출력되는 추적 대상의 오브젝트의 템플릿 화상을 받는다.

템플릿 기억부(8)는, 추적 대상의 오브젝트의 템플릿 화상을 기억한다. 템플릿 등록부(7)는, 템플릿 입력부(5)에 입력된 템플릿 화상을 초기 템플릿으로서 템플릿 기억부(8)에 기억한다. 템플릿 등록부(7)는, 매칭부(11)에 의해 특정된 오브젝트 영역의 화상으로 템플릿 기억부(8) 내의 템플릿 화상을 갱신한다.

오브젝트 영역 입력부(4)는, 오브젝트 검출 장치로부터 추적 대상으로 하는 오브젝트 영역을 나타내는 정보를 받는다.

오브젝트 영역 설정부(6)는, 오브젝트 영역 입력부(4)에 입력된 오브젝트 영역을 초기의 오브젝트 영역으로 설정한다. 오브젝트 영역 설정부(6)는, 매칭부(11)에 의해 템플릿 화상과 유사한 것으로서 검색된 오브젝트 영역을 새로운 오브젝트 영역으로 설정한다.

탐색 영역 설정부(9)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 동일한 경우에는, 전 시점의 프레임 화상에 있어서의 오브젝트 영역을 포함하고, 그 오브젝트 영역보다도 탐색 범위 배율 K만큼 큰 영역(기준 영역)을, 현 시점의 프레임 화상에 있어서의 오브젝트 영역으로 설정한다.

탐색 영역 설정부(9)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 다른 경우에는, 상술한 기준 영역을 구하고, 이 기준 영역을 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 줌(확대 또는 축소)한 영역을 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역으로 설정한다.

정규화부(10)는, 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역의 화상을 고정 사이즈로 정규화하여 정규화 탐색 화상을 생성한다.

매칭부(11)는, 정규화 탐색 화상 중에서, 템플릿 기억부(8)에 기억되어 있는 템플릿 화상과 유사한 영역을 검색하여, 유사도가 소정값 이상으로 되는 부분을 발견한 경우에, 그 부분을 현 프레임의 오브젝트 영역으로서 특정하고, 그 영역을 나타내는 정보를 CPU(1002)에 출력한다. 여기서, 유사도라 함은, 예를 들면, 2개의 화상의 화소값의 절대차의 역수나 상호 상관을 이용할 수 있다.

매칭부(11)는, 유사도가 소정값 이상으로 되는 부분을 발견할 수 없었던 경우에, 오브젝트 검출 장치에 대하여 오브젝트를 다시 검출하도록 지시한다.

(탐색 영역의 예)

도 3은 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 동일한 경우의 현 시점의 프레임 화상의 탐색 영역을 설명하기 위한 도면이다.

도 3의 (a)는 전 시점의 프레임 화상을 나타내는 도면이다. 프레임 화상(201)에 있어서, 좌측 상방의 좌표를 O(0, 0), 우측 상방의 좌표를 A(DX, 0), 좌측 하방의 좌표를 B(0, DY), 우측 하방의 좌표를 C(DX, DY)로 한다.

전 시점의 프레임에서 검출된 오브젝트 영역(202)의 위치를 이하로 한다. 중심 좌표를 M(X1, Y1), 좌측 상방의 좌표를 D(X1－ax, Y1－ay), 우측 상방의 좌표를 E(X1＋ax, Y1－ay), 좌측 하방의 좌표를 F(X1－ax, Y1＋ay), 우측 하방의 좌표를 G(X1＋ax, Y1＋ay)로 한다.

도 3의 (b)는 현 시점의 프레임 화상을 나타내는 도면이다. 프레임 화상(203)에 있어서, 전 시점과 마찬가지로, 좌측 상방의 좌표가 O(0, 0), 우측 상방의 좌표가 A(DX, 0), 좌측 하방의 좌표가 B(0, DY), 우측 하방의 좌표가 C(DX, DY)이다. 현 시점의 프레임 화상에 있어서의 탐색 영역(204)의 위치는, 이하로 된다.

중심 좌표는 M(X1, Y1)이며, 좌측 상방의 좌표를 H(X1－ax′, Y1－ay′), 우측 상방의 좌표를 I(X1＋ax′, Y1－ay′), 좌측 하방의 좌표를 J(X1－ax′, Y1＋ay′), 우측 하방의 좌표를 K(X1＋ax′, Y1＋ay′)로 한다. 여기서, ax′＝K×ax, ay′＝K×ay이다. K는 탐색 범위 배율이다.

따라서, 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 동일한 경우에는, 현 시점의 프레임의 탐색 영역은, H, I, J, K를 정점으로 한 사각형 영역(기준 영역)(204)으로 설정되게 된다. 이 사각형 영역(204)은, 전 시점의 프레임 화상에 있어서의 오브젝트 영역(202)을 포함하고, 그 오브젝트 영역보다도 K배만큼 큰 영역이다.

도 4는 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 다른 경우의 현 시점의 프레임 화상의 탐색 영역을 설명하기 위한 도면이다.

도 4의 (a)는 전 시점의 프레임 화상을 나타내는 도면이다. 프레임 화상(201)에 있어서, 좌측 상방의 좌표를 O(0, 0), 우측 상방의 좌표를 A(DX, 0), 좌측 하방의 좌표를 B(0, DY), 우측 하방의 좌표를 C(DX, DY)로 한다.

여기서, 위치 L(X0, Y0)을 줌의 중심 좌표로 하고, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비를 ZR로 하여, 카메라가 줌된 결과, 전 시점의 프레임 화상에 있어서의 P, Q, R, S를 정점으로 한 사각형 영역(205)이 확대되어 현 시점의 프레임 화상의 전체 영역으로 되었다고 한다. 여기서, P의 위치는 (X0－EX/2, Y0－EY/2), Q의 위치는 (X0＋EX/2, Y0－EY/2), R의 위치는 (X0－EX/2, Y0＋EY/2), S의 위치는 (X0＋EX/2, Y0＋EY/2)이다. 줌 배율의 비 ZR＝DX/EX＝DY/EY이다. 예를 들면, 전 시점의 카메라의 줌 배율이 2이며, 현 시점의 카메라의 줌 배율이 4인 경우에는, 줌 배율의 비 ZR은 2(＝4/2)로 된다. 줌 배율이 증가한, 즉 확대된 경우에는, 줌 배율의 비 ZR은 1보다도 커지고, 줌 배율이 감소한, 즉 축소된 경우에는, 줌 배율의 비 ZR은 1보다도 작아진다.

도 4의 (b)는 현 시점의 프레임 화상을 나타내는 도면이다. 프레임 화상(206)에 있어서, 전 시점과 마찬가지로, 좌측 상방의 좌표가 O(0, 0), 우측 상방의 좌표가 A(DX, 0), 좌측 하방의 좌표가 B(0, DY), 우측 하방의 좌표가 C(DX, DY)이다.

또한, 전 시점에서의 줌의 중심 L이, 프레임 화상(206)의 중심의 카메라 화상의 중심을 나타내는 위치 L′로 이동한다.

전 시점의 프레임에서 검출된 오브젝트 영역(202)은, 중심이 M′이고, D′, E′, F′, G′를 정점으로 한 사각형 영역(207)으로 이동 및 줌된다. 여기서, M′의 위치는 (XP, YP)이다. 단, XP＝DX/2＋ZR×(X1－X0), YP＝DY/2＋ZR×(Y1－Y0)이다. D′의 위치는 (XP－ax×ZR, YP－ay×ZR), E′의 위치는 (XP＋ax×ZR, YP－ay×ZR), F′의 위치는 (XP－ax×ZR, YP＋ay×ZR), G′의 위치는 (XP＋ax×ZR, YP＋ay×ZR)이다.

탐색 영역(208)의 위치는, 중심이 M′이고, H′, I′, J′, K′를 정점으로 한 사각형 영역(208)으로 설정된다.

여기서, M′의 위치는 (XP, YP)이며, H′의 위치는 (XP－ax′×ZR, YP－ay′×ZR)이며, I′의 위치는 (XP＋ax′×ZR, YP－ay′×ZR)이며, J′의 위치는 (XP－ax′×ZR, YP＋ay′×ZR)이며, K′의 위치는 (XP＋ax′×ZR, YP＋ay′×ZR)이다. 여기서, ax′＝K×ax, ay′＝K×ay이다. K는 탐색 범위 배율이다.

따라서, 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 상이한 경우에는, 현 시점의 프레임의 탐색 영역은, H′, I′, J′, K′를 정점으로 한 사각형 영역(208)으로 설정되게 된다.

이 사각형 영역(208)은, 전 시점의 프레임 화상에 있어서의 오브젝트 영역(202)을 줌한 영역(207)을 포함하고, 그 오브젝트 영역(207)보다도 K배만큼 큰 영역이다. 또한, 이 사각형 영역(208)은, 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 동일한 경우의 현 시점의 프레임 화상의 탐색 영역[도 3의 (b)의 영역(204)]을 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표 L, 줌 배율의 비 ZR에 기초하여, 줌(확대 또는 축소)한 영역이다.

(정규화의 예)

도 5는 정규화의 예를 설명하기 위한 도면이다.

도 5에서, 정규화부(10)는, 프레임 화상으로부터 탐색 영역(303)의 화상을 추출한다. 도 4의 (b)와 같이, 현 시점의 프레임 화상이 전 시점의 프레임 화상과 줌 배율이 다른 경우에는 추출된 화상의 횡방향의 화소수가 2×ax′×ZR이며, 종방향의 화소수가 2×ay′×ZR이다.

정규화부(10)는, 추출한 화상을 고정 사이즈로 확대 또는 축소하여 정규화 탐색 화상(304)을 생성한다. 도 5에 도시하는 바와 같이, 고정 사이즈는, 횡방향의 화소수가 XS이고, 종방향의 화소수를 YS로 한다. 정규화부(10)는, 확대하는 경우에는, 예를 들면 보간 등의 처리를 행하고, 축소하는 경우에는, 예를 들면 씨닝 등의 처리를 행한다.

(동작)

도 6은 제1 실시 형태의 오브젝트 추적 처리의 동작 수순을 나타내는 흐름도이다.

도 6을 참조하여, 우선, 오브젝트 영역 입력부(4)는, 오브젝트 검출 장치로부터 추적 대상으로 하는 오브젝트 영역을 나타내는 정보를 받는다. 오브젝트 영역 설정부(6)는, 오브젝트 검출 장치로부터 출력되는 오브젝트 영역을 초기의 오브젝트 영역으로 설정한다(스텝 S101).

다음으로, 템플릿 등록부(7)는, 오브젝트 검출 장치로부터 출력되는 대상 오브젝트의 화상을 초기 템플릿으로서 템플릿 기억부(8)에 기억한다(스텝 S102).

다음으로, 화상 입력부(2)는, 카메라 I/F로부터 현 시점의 프레임 화상을 받는다(스텝 S103).

다음으로, 파라미터 입력부(3)가, CPU(1002)로부터 줌 배율과 줌의 중심 좌표를 받은 경우에는(스텝 S104에서 예), 탐색 영역 설정부(9)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 상이하므로, 전 시점의 프레임 화상에 있어서의 오브젝트 영역을 포함하고, 그 오브젝트 영역보다도 소정 배수만큼 큰 영역(기준 영역)을 구하고, 또한 그 기준 영역을, 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 줌(확대 또는 축소)한 영역을 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역으로 설정한다(스텝 S105).

한편, 파라미터 입력부(3)가, CPU(1002)로부터 줌 배율과 줌의 중심 좌표를 받지 못한 경우에는(스텝 S104에서 아니오), 탐색 영역 설정부(9)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 동일하므로, 전 시점의 프레임 화상에 있어서의 오브젝트 영역을 포함하고, 그 오브젝트 영역보다도 소정 배수만큼 큰 기준 영역을, 현 시점의 프레임 화상에 있어서의 오브젝트 영역으로 설정한다(스텝 S106).

다음으로, 정규화부(10)는, 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역의 화상을 고정 사이즈로 정규화하여 정규화 탐색 화상을 생성한다(스텝 S107).

다음으로, 매칭부(11)는, 정규화 탐색 화상 중에서, 템플릿 기억부(8)에 기억되어 있는 템플릿 화상과 유사한 영역을 검색하여, 유사도가 소정값 이상으로 되는 부분을 찾는다.

매칭부(11)가, 유사도가 소정값 이상으로 되는 부분을 발견한 경우, 즉 매칭이 성공한 경우에는(스텝 S108에서 예), 매칭부(11)는, 그 발견한 부분을 현 프레임의 오브젝트 영역으로서 특정하고, 그 영역을 나타내는 정보를 CPU(1002)에 출력한다(스텝 S109).

오브젝트 영역 설정부(6)는, 매칭부(11)에 의해 특정된 오브젝트 영역을 새로운 오브젝트 영역으로 설정한다(스텝 S110).

템플릿 등록부(7)는, 매칭부(11)에 의해 특정된 오브젝트 영역의 화상으로 템플릿 기억부(8) 내의 템플릿 화상을 갱신한다(스텝 S111).

그 후, 스텝 S103으로 되돌아가, 다음 프레임 화상의 입력으로부터의 처리가 반복된다.

매칭부(11)가, 유사도가 소정값 이상으로 되는 부분을 발견하지 못한 경우, 즉 매칭이 실패한 경우에는(스텝 S108에서 아니오), 매칭부(11)는, 오브젝트 검출 장치에 대하여 오브젝트를 다시 검출하도록 지시한다(스텝 S112).

(효과)

이상과 같이, 본 실시 형태에서는, 줌 배율과 줌의 중심 좌표를 이용하여, 줌 처리에서 입력되는 프레임 화상의 배율이 변해도, 대상 오브젝트의 크기와 위치의 변화를 고려한 탐색 영역을 설정할 수 있다. 이에 의해, 복수개의 템플릿 화상과의 매칭이 불필요해진다.

또한, 본 실시 형태에서는, 탐색 영역의 화상을 일정한 크기의 정규화 화상으로 축소하여, 템플릿 매칭을 행하므로, 종래와 같이, 템플릿 화상을 확대하여 매칭 처리함으로써, 처리 시간이 길어지는 것을 방지할 수 있다.

[제2 실시 형태]

대상 오브젝트를 추적 중에, 확대에 의해, 추적 대상의 오브젝트가 프레임 화상의 밖으로 프레임 아웃하는 경우가 있다. 종래는, 일단, 프레임 아웃된 대상 오브젝트는 프레임 화상 내에 존재하지 않으므로, 그 위치 정보는 보존되지 않는다. 그 후, 대상 오브젝트가 다시 프레임 화상 안으로 프레임 인한 경우라도, 추적 처리를 개시하는 기준으로 되는 위치(즉, 탐색 영역의 중앙의 오브젝트 검출 영역)의 정보가 없으므로, 오브젝트를 추적할 수 없다. 그로 인해, 종래에서는, 추적 대상의 오브젝트가 프레임 아웃된 경우에, 추적 처리를 정지하고, 다시 오브젝트의 검출 처리를 하는 수밖에 없었다.

도 7은 제2 실시 형태의 오브젝트 추적 장치의 구성을 나타내는 도면이다. 도 7의 오브젝트 추적 장치(51)가, 도 2의 오브젝트 추적 장치(1009)와 상이한 점은 이하와 같다.

유지부(28)는, 탐색 영역 설정부(29)에 의해 설정된 오브젝트의 탐색 영역의 일부 또는 전부가, 현 시점의 프레임 화상에 포함되지 않는 경우에, 설정된 오브젝트의 탐색 영역을 유지한다.

도 8의 (a)가, 제i번째의 프레임 화상을 나타내는 도면이다. 도 8의 (b)가 제(i＋1)번째의 프레임 화상을 나타내는 도면이다.

제i번째의 프레임 화상(601)에 있어서, 줌 중심을 L1으로 하고, 줌 배율의 비를 ZR1으로 하여 확대된 화상이, 제(i＋1)번째의 프레임 화상(603)이라고 한다. 여기서, ZR1＞1이다.

도 8의 (b)에 도시하는 바와 같이, M′을 중심으로 하고, H′, I′, J′, K′를 정점으로 한 탐색 영역(605)이 프레임 화상(603)의 외부로 밀려나온 경우에, 유지부(28)는, M′, H′, I′, J′, K′의 좌표를 유지한다. M′의 위치는 (XP, YP)이며, H′의 위치는 (XP－ax′×ZR1, YP－ay′×ZR1)이며, I′의 위치는 (XP＋ax′×ZR1, YP－ay′×ZR1)이며, J′의 위치는 (XP－ax′×ZR1, YP＋ay′×ZR1)이며, K′의 위치는 (XP＋ax′×ZR1, YP＋ay′×ZR1)이다. 단, XP＝DX/2＋ZR1×(X1－X0), YP＝DY/2＋ZR1×(Y1－Y0)이다.

탐색 영역 설정부(29)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 상이한 경우에는, 유지부(28)에서 전 시점의 프레임 화상에 있어서의 오브젝트 탐색 영역이 유지되어 있으면, 그 유지되어 있는 오브젝트의 탐색 영역과, 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 줌(확대 또는 축소)한 영역을 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역으로 설정한다.

도 9의 (a)가, 제(i＋1)번째의 프레임 화상을 나타내는 도면이다. 도 9의 (b)가 제(i＋2)번째의 프레임 화상을 나타내는 도면이다.

제i＋1번째의 프레임 화상(603)에 있어서, 줌 중심을 L2로 하고, 줌 배율의 비를 ZR2로 하여 축소된 화상이, 제(i＋2)번째의 프레임 화상(610)이라고 한다. 여기서, ZR2＜1이다.

탐색 영역 설정부(29)는, 유지부(28)에서 유지되어 있는 M′, H′, I′, J′, K′의 위치와, 줌의 중심 좌표 L2(X0′, Y0′), 줌 배율의 비 ZR2를 이용하여, M″을 중심으로 하고, H″, I″, J″, K″를 정점으로 한 오브젝트의 탐색 영역(612)을 구한다.

M″의 위치는 (XP′, YP′)이며, H″의 위치는 (XP′－ax′×ZR1×ZR2, YP′－ay′×ZR1×ZR2)이며, I″의 위치는 (XP′＋ax′×ZR1×ZR2, YP′－ay′×ZR1×ZR2)이며, J″의 위치는 (XP′－ax′×ZR1×ZR2, YP′＋ay′×ZR1×ZR2)이며, K″의 위치는 (XP′＋ax′×ZR1×ZR2, YP′＋ay′×ZR1×ZR2)이다. 단, XP′＝DX/2＋ZR2×(XP－X0′), YP′＝DY/2＋ZR2×(YP－Y0′)이다.

(동작)

도 10은 제2 실시 형태의 오브젝트 추적 처리의 동작 수순을 나타내는 흐름도이다.

도 10을 참조하여, 우선, 오브젝트 영역 입력부(4)는, 오브젝트 검출 장치로부터 추적 대상으로 하는 오브젝트 영역을 나타내는 정보를 받는다. 오브젝트 영역 설정부(6)는, 오브젝트 검출 장치로부터 출력되는 오브젝트 영역을 초기의 오브젝트 영역으로 설정한다(스텝 S101).

다음으로, 파라미터 입력부(3)가, CPU(1002)로부터 줌 배율과 줌의 중심 좌표를 받은 경우에는(스텝 S104에서 예), 탐색 영역 설정부(29)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 상이하므로, 전 시점의 프레임 화상에 있어서의 오브젝트 영역을 포함하고, 그 오브젝트 영역보다도 소정 배수만큼 큰 영역(기준 영역)을 구하고, 또한 그 기준 영역을, 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 줌(확대 또는 축소)한 영역을 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역으로 설정한다(스텝 S105).

설정된 탐색 영역의 일부 또는 전부가 현 시점의 프레임 화상의 밖으로 밀려난 경우에는(스텝 S401에서 예), 후술하는 복귀 처리가 행해진다(스텝 S402).

한편, 파라미터 입력부(3)가, CPU(1002)로부터 줌 배율과 줌의 중심 좌표를 받지 못한 경우에는(스텝 S104에서 아니오), 탐색 영역 설정부(29)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 동일하므로, 전 시점의 프레임 화상에 있어서의 오브젝트 영역을 포함하고, 그 오브젝트 영역보다도 소정 배수만큼 큰 기준 영역을, 현 시점의 프레임 화상에 있어서의 오브젝트 영역으로 설정한다(스텝 S106).

(복귀 처리)

도 11은 도 10의 스텝 S402의 복귀 처리의 수순을 나타내는 흐름도이다.

우선, 유지부(28)는, 설정된 탐색 영역을 나타내는 정보를 유지한다(스텝 S501).

화상 입력부(2)는, 카메라 I/F로부터 다음 시점의 프레임 화상을 받는다(스텝 S502).

파라미터 입력부(3)가, CPU(1002)로부터 줌 배율과 줌의 중심 좌표를 받은 경우에는(스텝 S503에서 예), 탐색 영역 설정부(29)는, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 상이하므로, 보존하고 있는 전 시점의 프레임 화상에 있어서의 오브젝트 탐색 영역과, 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 줌(확대 또는 축소)한 영역을 현 시점의 프레임 화상에 있어서의 오브젝트의 탐색 영역으로 설정한다(스텝 S504).

설정된 탐색 영역의 일부 또는 전부가 현 시점의 프레임 화상의 밖으로 밀려난 경우에는(스텝 S505에서 예), 스텝 S501로부터의 처리를 반복한다.

(효과)

이상과 같이, 제2 실시 형태에 따르면, 확대에 의해, 추적 대상의 오브젝트가 프레임 화상의 밖으로 프레임 아웃되었다고 해도, 프레임 아웃된 오브젝트의 탐색 영역을 유지하여, 다음 프레임에 있어서의 탐색 영역의 설정에 이용하므로, 오브젝트의 추적을 계속할 수 있다.

또한, 본 실시 형태의 도 11의 스텝 S505에서 예인 경우, 항상, 스텝 S501로 되돌아가는 것으로 하였지만, 도 11의 복귀 처리가 소정 시간 이상 계속된 경우, 또는, 스텝 S501 내지 S505의 루프가 소정 횟수 이상 계속된 경우에, 복귀 처리를 종료하여 오브젝트 검출부에 대하여 다시 오브젝트 검출 처리를 시키는 것으로 해도 된다.

금회 개시된 실시 형태는 모든 점에서 예시로서, 제한적인 것은 아니라고 생각되어야 한다. 본 발명의 범위는 상기한 설명이 아니라 특허 청구 범위에 의해 개시되고, 특허 청구 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

2 : 화상 입력부
3 : 파라미터 입력부
4 : 오브젝트 영역 입력부
5 : 템플릿 입력부
6 : 오브젝트 영역 설정부
7 : 템플릿 등록부
8 : 템플릿 기억부
9, 29 : 탐색 영역 설정부
10 : 정규화부
11 : 매칭부
28 : 유지부
1000 : 디지털 카메라
1001 : 카메라 I/F
1002 : CPU
1003 : SDRAM
1004 : ROM
1005 : 유저 조작부 I/F
1006 : 오브젝트 검출 장치
1007 : LCD I/F
1008 : 카드 I/F
51, 1009 : 오브젝트 추적 장치
1011 : 화상 처리 장치

Claims

프레임 화상에 포함되는 오브젝트를 추적하는 오브젝트 추적 장치로서,
추적 대상의 오브젝트의 템플릿 화상을 기억하는 기억부와,
프레임 화상이 시계열로 입력되는 화상 입력부와,
현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 다른 경우에는, 전 시점의 프레임 화상에 있어서의 오브젝트 영역, 전 시점의 프레임 화상에 있어서의 줌의 중심 좌표, 전 시점의 프레임 화상의 줌 배율과 현 시점의 프레임 화상의 줌 배율의 비에 기초하여, 현 시점의 프레임 화상에 있어서의 상기 오브젝트의 탐색 영역을 설정하는 탐색 영역 설정부와,
상기 현 시점의 프레임 화상에 포함되는 오브젝트의 탐색 영역의 화상을 고정 사이즈로 정규화하는 정규화부와,
상기 정규화된 탐색 영역의 화상 중에서, 상기 템플릿 화상과 유사한 상기 오브젝트 영역을 검색하는 매칭부
를 구비한 오브젝트 추적 장치.
제1항에 있어서,
상기 탐색 영역 설정부는, 상기 전 시점의 프레임 화상에 있어서의 오브젝트 영역을 포함하고, 또한 상기 오브젝트 영역보다도 소정 배수만큼 큰 기준 영역을, 상기 줌의 중심 좌표 및 상기 줌 배율의 비를 따라 줌한 영역을 상기 현 시점의 프레임 화상에 있어서의 상기 오브젝트의 탐색 영역으로 설정하는 오브젝트 추적 장치.
제1항에 있어서,
상기 탐색 영역 설정부에 의해 설정된 상기 오브젝트의 탐색 영역의 일부 또는 전부가, 상기 현 시점의 프레임 화상에 포함되지 않는 경우에, 상기 설정된 오브젝트의 탐색 영역을 유지하는 유지부를 구비하고,
상기 탐색 영역 설정부는, 1시점이 경과한 후, 현 시점의 프레임 화상의 줌 배율이 전 시점의 프레임 화상의 줌 배율과 다른 경우에는, 상기 유지부에서 유지한 오브젝트의 탐색 영역을 이용하여, 현 시점의 프레임 화상에 있어서의 상기 오브젝트의 탐색 영역을 설정하는 오브젝트 추적 장치.
제1항에 있어서,
프레임 화상으로부터 대상 오브젝트를 검출하는 오브젝트 검출 장치로부터 출력되는 대상 오브젝트의 화상을 상기 템플릿 화상으로서 상기 기억부에 기억하는 등록부를 더 구비하는 오브젝트 추적 장치.
제4항에 있어서,
상기 등록부는, 상기 매칭부에 의해 상기 템플릿 화상과 유사한 것으로서 검색된 상기 현 시점의 오브젝트 영역의 화상으로 상기 기억부 내의 템플릿 화상을 갱신하는 오브젝트 추적 장치.
제1항에 있어서,
상기 매칭부는, 유사한 영역을 검색할 수 없었던 경우에, 상기 오브젝트 검출 장치에 대하여 상기 오브젝트를 검출하도록 지시하는 오브젝트 추적 장치.