JPH05197809A - 物体追跡処理装置 - Google Patents

物体追跡処理装置

Info

Publication number
JPH05197809A
JPH05197809A JP4007390A JP739092A JPH05197809A JP H05197809 A JPH05197809 A JP H05197809A JP 4007390 A JP4007390 A JP 4007390A JP 739092 A JP739092 A JP 739092A JP H05197809 A JPH05197809 A JP H05197809A
Authority
JP
Japan
Prior art keywords
unit
model
frame image
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4007390A
Other languages
English (en)
Inventor
Satoshi Shimada
聡 嶌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP4007390A priority Critical patent/JPH05197809A/ja
Publication of JPH05197809A publication Critical patent/JPH05197809A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】本発明は,物体追跡を行うに当って,n−1番
目フレームからn番目フレームへの間に物体の大きさや
傾きが変化しても正しく追跡できるようにすることを目
的としている。 【構成】物体記憶部に格納されているn−1番目のフレ
ームから物体領域の内部に複数のブロックを設け,n−
1番目のフレームからn番目のフレームへの間での各ブ
ロックについての移動ベクトル検出手段20と,n番目
のフレーム画像における物体領域の形状に適合するよう
に変換するモデル変換手段30とをもうけ,領域間の相
関手段40にて物体の移動を追跡する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,ビデオカメラ等の画像
入力装置により取り込んだ各フレーム画像における物体
領域を追跡する物体追跡処理装置に関するものである。
【0002】
【従来の技術】画像における物体領域を追跡する従来の
装置の構成図を図10に示す。画像入力部101で取り
込んだフレーム画像において,1番目のフレーム画像に
おける物体領域を物体初期検出部102で検出し,検出
した領域を1番目のフレーム画像における物体領域とし
て出力するとともに,物体記憶部103に格納する。
【0003】n(n≧2)番目のフレーム画像に対して
は,マッチング部104で以下の処理を行い,物体領域
を検出する。物体記憶部103に格納されている領域を
適当に移動させ,移動後の領域とn番目のフレーム画像
との相関をとり,相関が最も強くなる位置を求め,求め
た位置に移動した領域をn番目のフレーム画像における
物体領域とする。領域間の相関は,動画像の符号化にお
ける動き補償で用いられている方法等で求められる。物
体領域を検出した後は,n+1番目のフレーム画像にお
ける物体領域を検出するときに,n番目のフレーム画像
における物体領域を用いることができるように,更新部
105では,物体記憶部103に格納する領域をマッチ
ング部104で求めた物体領域に更新する。
【0004】以上の処理により,各フレーム画像におけ
る物体を追跡する方式であった。
【0005】
【発明が解決しようとする課題】従来の方式において
は,n−1番目のフレーム画像における物体領域をn番
目のフレーム画像との相関が最も強い位置に移動した領
域をn番目のフレーム画像における物体領域としている
ので,n−1番目のフレーム画像からn番目のフレーム
画像において物体の大きさや傾きが変化する場合には,
物体領域を正しく検出できない問題があった。また,領
域間の相関を求めるときに,物体領域を構成する全ての
画素を用いて算出しているので,膨大な演算量となり物
体領域の検出に時間がかかる問題があった。
【0006】本発明は,物体追跡を行うに当って,n−
1番目フレームからn番目フレームへの間に物体の大き
さや傾きが変化しても正しく追跡できるようにすること
を目的としている。
【0007】
【課題を解決するための手段】図1は本発明の原理構成
図を示す。図中の符号11はn−1番目のフレーム画
像,12はn番目のフレーム画像,20は移動ベクトル
検出手段,30はモデル変換手段,40は領域間の相関
手段を表わす。
【0008】本発明では,物体記憶部に格納されている
n−1番目のフレーム画像における物体領域の内部に複
数のブロックB1 ,B2 ,…を設け,各ブロックのn−
1番目のフレーム画像からn番目のフレーム画像までの
各ブロック毎の移動ベクトルを求める移動ベクトル検出
手段20と,物体記憶部に格納されている領域の形状モ
デルを作成し,作成したモデルをn番目のフレーム画像
における物体領域の形状に適合するように変換するモデ
ル変換手段30を設けた。そして,その上で領域間の相
関手段40にて相関をとって物体の移動を追跡する。
【0009】
【作用】n−1番目のフレーム画像における物体領域に
設けた複数のブロックのn番目のフレーム画像までの移
動ベクトルを移動ベクトル検出手段20で求め,求めた
移動ベクトルからn番目のフレーム画像における物体領
域の形状モデルをモデル変換手段30により求めること
により,n−1番目のフレーム画像での物体領域からn
番目のフレーム画像における物体領域を検出しているの
で,n−1番目のフレーム画像からn番目のフレーム画
像において物体の大きさや傾きが変化する場合にも,物
体領域を正しく検出することができる。また,領域間の
相関を求めるときに,物体領域を構成する全ての画素を
用いずに,領域内に設けた複数のブロックについてのみ
相関を求めればよいので,演算量を削減することがで
き,高速に物体領域の検出を行うことができる。
【0010】
【実施例】本発明の実施例を図面に基づいて詳細に説明
する。本発明の実施例構成を図2に示す。図2におい
て,101は画像入力部,102は物体初期検出部,1
03は物体記憶部,105は更新部,201はモデル作
成部,202はブロック作成部,203は移動ベクトル
検出部,204はモデル変換部,205は物体検出部で
ある。
【0011】画像入力部101は,移動物体をビデオカ
メラ等で撮影し,取り込んだ一連のフレーム画像の内,
1番目のフレーム画像を物体初期検出部102に出力す
る。移動ベクトル検出部203からフレーム画像を出力
する制御信号を受けたときに,2番目以降のフレーム画
像を移動ベクトル検出部203と物体検出部205に出
力する。
【0012】物体初期検出部102は,画像入力部10
1より入力された1番目のフレーム画像における物体領
域を検出し,検出した物体領域を物体記憶部103に出
力する。物体領域は,例えば,物体が映っていない背景
画像との差分から検出することできる。
【0013】物体記憶部103は,物体初期検出部10
2及び更新部105から入力された物体領域を記憶し,
記憶している物体領域をモデル作成部201に出力す
る。更新部105は,物体検出部205より出力された
物体領域を物体記憶部103に出力し,物体記憶部10
3に記憶する領域を更新する。
【0014】モデル作成部201は,物体記憶部103
より入力された物体領域の形状モデルを作成し,作成し
たモデルと物体記憶部103より入力された物体領域と
をブロック作成部202に出力する。また,モデル変換
部204から形状モデルを要求する制御信号を受けたと
きに,作成したモデルをモデル変換部204に出力す
る。形状モデルの作成は,物体領域の輪郭線をベクトル
化したり,物体が楕円等の特定の形状であることが分か
っている場合には物体領域の輪郭を楕円等で近似したり
することにより求めることができる。
【0015】ブロック作成部202は,モデル作成部2
01より入力された物体の形状モデルの内部に複数のブ
ロックを作成し,モデル作成部201より入力された物
体領域において,各ブロック内の領域を切り出し,切り
出した領域を移動ベクトル検出部203に出力する。本
実施例では,図3に示すように物体領域の中心から上下
・左右に対称となるように4つのブロックBi (i=
1,2,3,4)を作成する。
【0016】移動ベクトル検出部203は,画像入力部
101に次のフレーム画像を要求する制御信号を出力
し,画像入力部101よりフレーム画像を受ける。画像
入力部101から入力されたフレーム画像において,ブ
ロック作成部202より入力されるブロック内の領域と
最も相関が強い位置を求め,各ブロックの移動ベクトル
を検出し,検出した各ブロックの移動ベクトルをモデル
変換部204に出力する。n−1番目のフレーム画像で
の物体領域に作成した各ブロックのn番目のフレーム画
像への移動ベクトルを検出した例を図4に示す。
【0017】モデル変換部204は,モデル作成部20
1に形状モデルを要求する制御信号を出力し,モデル作
成部201から形状モデルを受ける。形状モデルが入力
されると,入力されたモデルを画像入力部101から移
動ベクトル検出部203に入力されたフレーム画像にお
ける物体領域に適合するように,移動ベクトル検出部2
03から入力された各ブロックの移動ベクトルを用いて
変換し,変換したモデルを物体検出部205に出力す
る。
【0018】モデルの変換方法を以下に述べる。各ブロ
ックBi の中心を(xi ,yi ),移動ベクトルを(v
ix,viy)とすると,次式が成り立つように,拡大・縮
小,回転,及び,移動の処理をモデルに施せばよい。式
の導出では,図3に示すように4つのブロックを作成し
た場合は,xj =0,yk =0(j=1,3;k=2,
4)であることを用いた。
【0019】
【数1】
【0020】ここで,(x0 ,y0 )はモデルの中心,
αはモデルの水平方向の拡大率,βは垂直方向の拡大
率,θはモデルの回転角,(a,b)はモデルの移動量
である。
【0021】式(1)より
【0022】
【数2】
【0023】が導出でき,式(2)より
【0024】
【数3】
【0025】が得られる。式(3)と式(4)とを用い
て,移動量,回転角と拡大率を算出し,モデルの変換を
行う。
【0026】物体検出部205は,画像入力部101か
ら入力されたフレーム画像において,モデル変換部20
4から入力された物体の形状モデルの内部を物体領域と
して切り出し,切り出した物体領域を更新部105に出
力する。
【0027】次に,図5に示すフレーム画像F1 ,F2
における物体の様に,物体領域の形状を楕円とみなせる
物体を追跡する場合を例に図2の各部の動作について説
明する。
【0028】画像入力部101は,フレーム画像F1
物体初期検出部102に出力する。物体初期検出部10
2はF1 における物体領域O1 を検出し,検出したO1
を物体記憶部103に出力する。物体領域O1 を図6に
示す。物体記憶部103は物体領域O1 を記憶し,記憶
しているO1 をモデル作成部201に出力する。モデル
作成部201は,物体領域O1 の輪郭を表す楕円を求
め,求めた楕円を形状モデルとする。求めたモデルと物
体領域O1 をブロック作成部202に出力する。ブロッ
ク作成部202は,O1 の形状モデルの内部に4つのブ
ロックを作成して,物体領域O1 における4つのブロッ
ク内の領域を切り出し,切り出した領域を,移動ベクト
ル検出部203に出力する。
【0029】本実施例では,モデルの中心からブロック
の中心までの距離が半径の2分の1になるように作成す
る。本実施例で作成したブロックにより切り出した領域
を図7に示す。移動ベクトル検出部203は,画像入力
部101にF2 の出力を要求する制御信号を出す。画像
入力部101は,移動ベクトル検出部203からの制御
信号を受けて,移動ベクトル検出部203と物体検出部
205とにフレーム画像F2 を出力する。移動ベクトル
検出部203は,ブロック作成部202から入力された
4つのブロック内の領域のF2 での位置を検出し,F1
からF2 への各ブロックの移動ベクトルを求める。求め
た各移動ベクトルをモデル変換部204に出力する。モ
デル変換部204は,モデル作成部201に形状モデル
を要求する制御信号を出力する。モデル作成部201
は,モデル変換部204からの要求を受けて形状モデル
をモデル変換部204に出力する。モデル変換部204
は,移動ベクトル検出部203から入力された各ブロッ
クの移動ベクトルを用いて,物体領域O1 の形状モデル
を変換し,変換したモデルを物体検出部205に出力す
る。変換後のモデルを図8に示す。物体検出部205
は,画像入力部101から入力されたフレーム画像F2
において,モデル変換部204から入力された物体の形
状モデルの内部を物体領域O2 として切り出し,切り出
した物体領域O2 を更新部105に出力する。物体領域
2 を図9に示す。更新部105は,物体記憶部103
で記憶する物体領域を更新するために,物体検出部20
5より入力された物体領域O2 を物体記憶部103に出
力する。物体記憶部103は,物体領域O2 を記憶す
る。
【0030】以上説明したように,本発明によれば,n
−1番目のフレーム画像からn番目のフレーム画像にお
いて抽出する物体の大きさや傾きが変化する場合にも,
物体領域を正しく検出することができる。また,領域間
の相関を求めるときに,物体領域を構成する全ての画素
を用いずに,領域内に設けた4つのブロックについての
み相関を求めればよいので,高速に物体領域を検出する
ことができる。
【0031】
【発明の効果】以上説明したように,本発明によれば,
物体記憶部に格納しているn−1番目のフレーム画像に
おける物体領域の内部に複数のブロックを設け,各ブロ
ックのn番目のフレーム画像における位置への移動ベク
トルを求める手段と,物体記憶部に格納されている物体
領域の形状モデルを作成し,作成したモデルをn番目の
フレーム画像における物体領域の形状に適合するように
変換する手段とを有するため,n−1番目のフレーム画
像からn番目のフレーム画像において物体の大きさや傾
きが変化する場合にも,物体領域を正しく検出すること
ができる。また,領域間の相関を求めるときに,物体領
域を構成する全ての画素を用いずに,物体領域内に設け
た複数のブロックについてのみ相関を求めればよいの
で,演算量を削減することができ,高速に物体領域の検
出を行うことができる。
【図面の簡単な説明】
【図1】本発明の原理構成図を示す。
【図2】本発明の一実施例の構成を示す。
【図3】実施例の説明に用いる図である。
【図4】実施例の説明に用いる図である。
【図5】実施例の説明に用いる図である。
【図6】実施例の説明に用いる図である。
【図7】実施例の説明に用いる図である。
【図8】実施例の説明に用いる図である。
【図9】実施例の説明に用いる図である。
【図10】従来の構成を示す。
【符号の説明】
101 画像入力部 102 物体初期検出部 103 物体記憶部 104 マッチング部 105 更新部 201 モデル作成部 202 ブロック作成部 203 移動ベクトル検出部 204 モデル変換部 205 物体検出部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 移動する物体を画像入力装置で撮影し
    て,一連のフレーム画像を取り込む画像入力部と, 1番目のフレーム画像に対して物体領域を検出する物体
    初期検出部と, 物体初期検出部で検出した領域を格納する物体記憶部
    と, n(n≧2)番目のフレーム画像に対しては,物体記憶
    部に格納された領域を用いてn番目のフレーム画像にお
    ける物体領域を検出し,検出した領域を出力するマッチ
    ング部と, 前記物体記憶部に格納されている領域を前記マッチング
    部から出力される領域に更新する更新部とから構成され
    る物体追跡処理装置であって, 前記マッチング部は, 前記物体記憶部に格納されている領域の形状モデルを作
    成するモデル作成部と, 前記物体記憶部に格納されている領域の内部に複数のブ
    ロックを設けるブロック作成部と, 前記ブロック作成部で作成したブロック内の領域のn番
    目のフレーム画像での位置を検出し,検出した位置まで
    の移動ベクトルを各ブロックについて求める移動ベクト
    ル検出部と, 各ブロックの移動ベクトルから前記モデル作成部で作成
    したモデルをn番目のフレーム画像における物体領域の
    形状に適合するように変換するモデル変換部と, モデル変換部で変換したモデルを用いて,n番目のフレ
    ーム画像における物体領域を検出する物体検出部とから
    構成されたことを特徴とする物体追跡処理装置。
JP4007390A 1992-01-20 1992-01-20 物体追跡処理装置 Pending JPH05197809A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4007390A JPH05197809A (ja) 1992-01-20 1992-01-20 物体追跡処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4007390A JPH05197809A (ja) 1992-01-20 1992-01-20 物体追跡処理装置

Publications (1)

Publication Number Publication Date
JPH05197809A true JPH05197809A (ja) 1993-08-06

Family

ID=11664600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4007390A Pending JPH05197809A (ja) 1992-01-20 1992-01-20 物体追跡処理装置

Country Status (1)

Country Link
JP (1) JPH05197809A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542639B2 (en) 1997-08-22 2003-04-01 Fujitsu Limited Region extraction apparatus, region extraction method and computer readable recording medium
US6993157B1 (en) 1999-05-18 2006-01-31 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542639B2 (en) 1997-08-22 2003-04-01 Fujitsu Limited Region extraction apparatus, region extraction method and computer readable recording medium
US6993157B1 (en) 1999-05-18 2006-01-31 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium

Similar Documents

Publication Publication Date Title
JP2915894B2 (ja) ターゲット追跡方法及び装置
US20010046309A1 (en) Method and system for tracking a fast moving object
KR960035351A (ko) 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법
JP2003304561A (ja) ステレオ画像処理装置
JPH1185993A (ja) 領域検出装置
JP2003510910A (ja) 全体的動き推定方法
KR101664733B1 (ko) 전 방향 고해상도 추적 녹화 장치 및 방법
JPH05197809A (ja) 物体追跡処理装置
CN108347577A (zh) 一种成像系统和方法
US6650362B1 (en) Movement detecting apparatus with feature point extractor based on luminance gradient in current frame
JPH10269365A (ja) 特徴抽出方法およびその方法を用いた物体認識装置
CN106454066B (zh) 图像处理设备及其控制方法
JPH0875454A (ja) 測距装置
JPH0850696A (ja) 走行車両のナンバー認識装置
JPH05236452A (ja) 動ベクトル検出方法及び検出装置
JP2003099784A (ja) 移動物体の認識方法
JPH06168331A (ja) パターンマッチング方法
JPH0981790A (ja) 三次元形状復元装置および方法
JPH096947A (ja) 物体追跡装置
JP3487045B2 (ja) 自動追尾装置
JPH0998424A (ja) アフィン変換パラメータ抽出方法及び装置
JP3615970B2 (ja) 移動体の検知方法
JP3074292B2 (ja) テンプレートマッチング処理方法
CN115222771B (zh) 一种目标跟踪方法及装置
JP3020299B2 (ja) 動きベクトル検出装置