JPH09265538A

JPH09265538A - 自動追尾装置

Info

Publication number: JPH09265538A
Application number: JP8075998A
Authority: JP
Inventors: Kenichi Hagio; 健一萩尾
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1996-03-29
Filing date: 1996-03-29
Publication date: 1997-10-07

Abstract

(57)【要約】【課題】追尾性能の向上が図れる自動追尾装置の構造
を提供する。【解決手段】画像データ記憶手段２、対象指定枠内の
画像を画像データ記憶手段２から読み出す読み出し制御
手段５、読み出した画像データをテンプレートとして記
憶するテンプレート記憶手段６、切り出し枠で画像デー
タ記憶手段２の画像データの所定部分を取り出す探索手
段７、切り出し枠内の画像とテンプレートの画像との類
似性を計算する類似度演算手段８、その結果により追尾
対象位置を求め、対象指定枠の位置を更新する対象位置
検出手段９、類似度の高い探索点の分散の程度を算出す
る特徴算出手段１１、その結果によりテンプレートの更
新可否を判定するテンプレート更新判定手段１２とを備
えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像した画像デー
タを利用して、操作者が、操作画面上で指定した追尾対
象を自動的に追尾する自動追尾装置に関するものであ
る。

【０００２】

【従来の技術】近年、その利便性から、追尾対象及びそ
の周辺の範囲を撮像した画像を利用する自動追尾装置が
多くの分野で利用されるようになってきている。この画
像を利用する自動追尾の方法として、従来からテンプレ
ートマッチング法が利用されている。テンプレートマッ
チング法は、テンプレートと呼ばれる所定の大きさに切
り出した画像データを入力した画像上で順次移動させ、
移動させたそれぞれの位置での画像データとの相関演算
を行い、最も相関の高い位置を探し出して、その位置を
追尾対象の新たな位置として追尾対象を追尾する方法で
ある。

【０００３】ところで、自動追尾では、追尾対象を捉え
た画像データ（初期のテンプレートとなる画像データ）
を得るために、まず、追尾対象範囲の画像を表示したモ
ニター画面上で、対象指定枠等の、対象を指定するため
の表示を追尾対象に移動させて追尾対象を指定し、その
対象指定枠内の画像データをテンプレートとして記憶す
る。ついで、刻々と入力される追尾対象範囲の画像に対
してテンプレートマッチングを施し、最も相関の高い位
置を求めることにより自動追尾を実現している。

【０００４】しかし、このテンプレートマッチング法で
は、追尾対象の移動などにより入力画像上の追尾対象の
形状または大きさが変化するため、テンプレートと入力
画像との間の相関が崩れてしまい、追尾できなくなる場
合がある。そこで、相関を維持するために、テンプレー
トを時々刻々と更新していく方法が提案されている。こ
のようなテンプレートを時々刻々と更新していく方法に
は、相関の最も高い位置の値が所定の相関値よりも高け
れば、追尾対象を正しく追尾できていると判断してテン
プレートを更新するといった、追尾状態を判定した上
で、テンプレートの更新を制御する方法もある。

【０００５】

【発明が解決しようとする課題】上述したような、テン
プレートを逐次更新する方法では、例えば、背景などに
テンプレートと類似した類似物体が存在した場合、類似
物体の影響を大きく受けることになる。図９に基づいて
この点を具体的に説明する。図９は、所定方向の位置ｘ
と、各位置での、テンプレートの画像データと入力画像
の画像データとの差の指標となるσの値との関係を示し
た線図である（σについては後述する）。つまり、図９
では、σの値が小さい方が、テンプレートの画像データ
と、入力画像の画像データとの相関が高くなる（類似度
が高くなる）。図９で、状況によっては、（ａ）に示す
ように、類似物体の方が追尾対象の位置よりも相関が高
い場合がある。このとき、テンプレートを逐次更新する
方法では、常にテンプレートを更新するため、類似物体
の方を、新たなテンプレートとしてしまい、以後、追尾
対象を追尾できなくなってしまうという問題点がある。

【０００６】また、相関の最も高い位置の相関値により
テンプレート更新を制御する方法では、相関値が、照明
状態または追尾対象の見え方の変化などで変動するた
め、例えば、（ｂ）に示すように、正しい位置を検出し
ても、更新条件を満たさずテンプレートを更新できない
事態に陥り、正しく追尾を継続するのが困難になるとい
う問題点がある。

【０００７】本発明は、上記問題点に鑑みなされたもの
で、その目的とするところは、追尾性能の向上が図れる
自動追尾装置の構造を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の自動追尾装置は、初期設定時に、追
尾範囲の画像を表示した画面上で対象指定枠を操作者の
操作により前記追尾対象の所定位置に合わせて前記対象
指定枠の位置を設定するための対象指定枠設定手段と、
前記対象指定枠の位置を記憶する対象指定枠記憶手段
と、画像データを入力するための画像入力手段と、その
画像データを記憶する画像データ記憶手段と、前記対象
指定枠内の画像を前記画像データ記憶手段から読み出す
読み出し制御手段と、その読み出し制御手段が読み出し
た画像データをテンプレートとして記憶するテンプレー
ト記憶手段と、前記画像データ記憶手段に記憶した画像
データの探索領域から所定領域の画像を取り出すための
切り出し枠を順次移動させて切り出し枠内の画像を取り
出す探索手段と、前記切り出し枠内の画像と、前記テン
プレートの画像との類似度を計算する類似度演算手段
と、その類似度演算手段の演算結果により追尾対象の位
置を求め、その位置に対応する位置に前記対象指定枠の
位置を更新する対象位置検出手段と、前記類似度演算手
段が出力する各探索点での類似度を所定の値で二値化す
る二値化手段と、その二値化手段により得られた、類似
度の高い探索点の分散の程度を算出する特徴算出手段
と、その特徴算出手段の算出結果により前記テンプレー
トの更新を行うかどうかを判定するテンプレート更新判
定手段とを備えたことを特徴とするものである。

【０００９】請求項２記載の自動追尾装置は、初期設定
時に、追尾範囲の画像を表示した画面上で対象指定枠を
操作者の操作により前記追尾対象の所定位置に合わせて
前記対象指定枠の位置を設定するための対象指定枠設定
手段と、前記対象指定枠の位置を記憶する対象指定枠記
憶手段と、画像データを入力するための画像入力手段
と、その画像データを記憶する画像データ記憶手段と、
前記対象指定枠内の画像を前記画像データ記憶手段から
読み出す読み出し制御手段と、その読み出し制御手段が
読み出した画像データをテンプレートとして記憶するテ
ンプレート記憶手段と、前記画像データ記憶手段に記憶
した画像データの探索領域から所定領域の画像を取り出
すための切り出し枠を順次移動させて切り出し枠内の画
像を取り出す探索手段と、前記切り出し枠内の画像と、
前記テンプレートの画像との類似度を計算する類似度演
算手段と、その類似度演算手段が出力する各探索点での
類似度を所定の値で二値化する二値化手段と、その二値
化手段により得られた、類似度の高い探索点の分散の程
度を算出する特徴算出手段と、前記追尾対象の移動位置
を予測する予測位置算出手段と、前記特徴算出手段より
得た、類似度の高い探索点の分散の程度に基づいて、前
記類似度演算手段が出力する位置と、前記予測位置算出
手段が出力する位置のいずれかを選択し、選択した方の
位置を前記追尾対象の新たな位置として、前記対象指定
枠の位置を、新たな位置に対応する位置に更新する対象
位置検出手段とを備えたことを特徴とするものである。

【００１０】

【発明の実施の形態】図１乃至図６に基づいて本発明の
自動追尾装置の一実施形態について説明する。図１は自
動追尾装置のブロック図、図２は追尾対象の指定方法を
説明するための画像図、図３は探索手段の動作を説明す
るための画像図、図４は類似度演算手段の動作を説明す
るための画像図、図５は二値化手段のしきい値設定を説
明するための線図、図６はテンプレート更新判定手段の
動作を説明するための説明図である。

【００１１】図１に示すように、自動追尾装置は、画像
入力手段１と、画像データ記憶手段２と、対象指定枠設
定手段３と、対象指定枠記憶手段４と、読み出し制御手
段５と、テンプレート記憶手段６と、探索手段７と、類
似度演算手段８と、対象位置検出手段９と、二値化手段
１０と、特徴算出手段１１と、テンプレート更新判定手
段１２とを備えている。

【００１２】画像入力手段１は、ＣＣＤカメラ等にて構
成され、画像データ記憶手段２は、画像メモリ等で構成
されて、画像入力手段１から入力される画像データを記
憶するように構成されている。対象指定枠設定手段３
は、追尾範囲を撮像した画像を表示する画面を備えたコ
ンソール等で構成されたもので、初期設定時に、その画
面上に表示された対象指定枠を操作者の操作により追尾
対象の所定位置に合わせて対象指定枠の位置を設定する
ための構成である。また、対象指定枠記憶手段４は、対
象指定枠の座標を記憶するメモリで構成されている。

【００１３】読み出し制御手段５は、対象指定枠内の画
像データを画像データ記憶手段２から読み出し、テンプ
レート記憶手段６は、画像データ記憶手段２から読み出
した画像データをテンプレートとして記憶するように構
成されている。探索手段７は、対象指定枠の周囲の所定
の探索領域内で切り出し枠を順次移動させ、それぞれの
移動位置で、切り出し枠内の画像データを画像データ記
憶手段２から類似度演算手段８へ出力させ、類似度演算
手段８は、探索手段７が画像データ記憶手段２から出力
させた画像データと、テンプレート記憶手段６の記憶す
る画像データに基づいて相関演算を行う。対象位置検出
手段９は、類似度演算手段８が算出した結果をもとにし
て、最も相関の高い位置を求め、その位置を追尾対象の
位置として出力するように構成されている。

【００１４】また、二値化手段１０は、類似度演算手段
８が算出した探索領域内の各位置における相関値を入力
し、その相関値を所定のしきい値で二値化する。特徴算
出手段１１は、二値化手段１０によって二値化された相
関値を入力し、相関の高い位置の散らばりの程度（以
下、散らばり度とする）を算出する。テンプレート更新
判定１２は、特徴算出手段１１で求めた散らばり度が所
定の値よりも小さければ、テンプレートを更新する旨の
信号を読み出し制御手段６に出力し、そうでなければ、
テンプレートを更新しない旨の信号を読み出し制御手段
６に出力する。

【００１５】図１に示す自動追尾装置は次のように動作
する。すなわち、まず、操作者は、自動追尾を開始する
前に、初期設定として、対象指定枠設定手段３を用いて
追尾対象の初期位置を指定する。画像入力手段１により
撮像される画像は、対象指定枠設定手段３が備えるモニ
ター画面上で、例えば、図２に示すように表示され、操
作者は、対象指定枠設定手段３を操作してモニター画面
上に表示された対象指定枠Ｇを移動させ、追尾対象Ｐが
対象指定枠Ｇに入るようにする。自動追尾装置は、追尾
対象Ｐの指定操作がなされると、対象指定枠Ｇの位置を
対象指定枠記憶手段４に記憶する。また、読み出し制御
手段６は、対象指定枠記憶手段４にその位置が記憶され
た対象指定枠Ｇ内の画像データを、画像データ記憶手段
２から読み出してテンプレート記憶手段５に記憶する。

【００１６】このようにして初期設定が終了すると、自
動追尾装置は自動追尾を開始する。まず、画像入力手段
１は、所定の時間間隔で所定の撮像領域を撮像し、撮像
した映像を画像データとして画像データ記憶手段２に出
力する。これにより、画像データ記憶手段２には、画像
入力手段１が入力する画像データが逐次記憶され、所定
の時間間隔で更新されることになる。

【００１７】対象指定枠Ｇの位置が設定されることによ
り、対象指定枠Ｇの位置と所定の関係（図３に示す関
係）にある探索領域Ｒという領域が設定される。図３
で、Ｇ（ｉ，ｊ），Ｇ（１，１），Ｇ（Ｉ，１），Ｇ
（１，Ｊ），Ｇ（Ｉ，Ｊ）は、対象指定枠Ｇと、同形状
かつ同サイズの切り出し枠であり、探索領域Ｒは、その
中心を対象指定枠Ｇの位置とし、左上隅の位置、右上隅
の位置、左下隅の位置、右下隅の位置を、それぞれ、Ｇ
（１，１）、Ｇ（Ｉ，１）、Ｇ（１，Ｊ）、Ｇ（Ｉ，
Ｊ）と定義した領域である。探索手段７は、切り出し枠
を、まず、探索領域Ｒの左上隅の位置であるＧ（１，
１）に移動させ、切り出し枠Ｇ（１，１）内に対応する
位置の画像データを、画像データ記憶手段２から読み出
し類似度演算手段８に出力する。

【００１８】類似度演算手段８は、下記の（１）式に基
づく演算を行う。 σ（ｉ，ｊ）＝ΣＳｘΣＳｙ・｜Ｑ（ｘ，ｙ）−ｑ（ｘ，ｙ）｜・・・（１）以下、（１）式及び類似度演算手段８の動作について説
明する。類似度演算手段８は、（１）式により、画像デ
ータ記憶手段２に記憶された画像データの、切り出し枠
内の位置の画素値と、それに対応する位置の、テンプレ
ート記憶手段５に記憶された画素値との、それぞれの差
分の絶対値の総和σ（ｉ，ｊ）を求める。つまり、総和
σ（ｉ，ｊ）は不整合の指標となる値である。従って、
切り出し枠内の個々の画素は、それらの画素に対応す
る、テンプレート記憶手段５に記憶された画素に対し
て、総和σ（ｉ，ｊ）が小さいほど類似しており、相関
が高く似ていることになる。なお、画素値としては、明
暗値または色相値などを用いる。

【００１９】なお、（１）式において、総和σ（ｉ，
ｊ）の座標（ｉ，ｊ）は次のことを表す。すなわち、探
索手段７は、対象指定枠Ｇの周囲の探索領域内におい
て、切り出し枠を順次移動させ、それぞれの移動した位
置で、（１）式の演算を行うが、（ｉ，ｊ）はこの時
の、それぞれの切り出し枠に対応して付される識別子で
あり、対象指定枠Ｇの位置を基準とする相対的位置（相
対座標）を表したものである。すなわち、図３に示すよ
うに、切り出し枠は、探索領域Ｒ内で、水平方向にＩだ
け移動すると共に、垂直方向にＪだけ移動して、探索領
域Ｒ内の全領域に渡る探索を実行する。また、（１）式
において、（ｘ，ｙ）は、図４に示すように、切り出し
枠または対象指定枠の左上隅の位置を基準とした相対座
標である。Ｑ（ｘ，ｙ）は、画像データ記憶手段２に記
憶された、相対座標（ｘ，ｙ）の画素値を表したもの
で、ｑ（ｘ，ｙ）はテンプレート記憶手段６に記憶され
た、相対座標（ｘ，ｙ）の画素値を表したものである。
さらに、Ｓｘ，Ｓｙは、それぞれ、テンプレートの、ｘ
方向とｙ方向のサイズを表したものである。

【００２０】次に、対象位置検出手段９は、類似度演算
手段８の結果に基づいて追尾対象の位置を算出する。す
なわち、対象位置検出手段９は、上述した所定の探索領
域Ｒ内の全行列に渡る探索の結果得られた、Ｉ×Ｊ個の
総和σ（ｉ，ｊ）の中で、最も小さな値であるσｍｉｎ
（ｉｍｉｎ，ｊｍｉｎ）を探し出し、その相対座標（ｉ
ｍｉｎ，ｊｍｉｎ）に基づき、画像データ記憶手段２に
記憶された画像上の追尾対象の位置（Ｐｘ，Ｐｙ）を求
める。この結果は、対象指定枠記憶手段４に記憶され
る。

【００２１】また、二値化手段１０は、類似度演算手段
８の結果に基づいて、上述した総和σ（ｉ，ｊ）を、以
下の（２）式及び（３）式に基づいて、所定のしきい値
Ｔｈｎで二値化し、その結果ｂ（ｉ，ｊ）を特徴算出手
段１１に出力する。ｂ（ｉ，ｊ）＝１（σ（ｉ，ｊ）≦Ｔｈｎの場合）・・・（２）ｂ（ｉ，ｊ）＝０（σ（ｉ，ｊ）＞Ｔｈｎの場合）・・・（３）ｂ（ｉ，ｊ）＝１である座標（ｉ，ｊ）は、総和σ
（ｉ，ｊ）が所定のしきい値Ｔｈｎよりも小さいので、
類似度が高い位置であることを表し、ｂ（ｉ，ｊ）＝０
である座標（ｉ，ｊ）は、総和σ（ｉ，ｊ）が所定のし
きい値Ｔｈｎよりも大きいので、類似度が低い位置であ
ることを表している。ここで、しきい値Ｔｈｎは以下の
（４）式に基づいて決定する。Ｔｈｎ＝（１−α）×（ｍａｘ（σ（ｉ，ｊ））＋α×ｍｉｎ（σ（ｉ，ｊ））・・・（４）但し、０≦α≦１である。

【００２２】すなわち、図５の、（ａ）及び（ｂ）に示
すように、総和σ（ｉ，ｊ）の最大値または最小値が変
化しても、類似度が高い位置（総和σ（ｉ，ｊ）が小さ
い位置）を検出できるように、しきい値を可変とするわ
けである。ここで、αはしきい値を決定するパラメータ
で、例えば、０．９に設定する。

【００２３】特徴算出手段１１は、二値化手段１０が出
力するｂ（ｉ，ｊ）を入力し、類似度が高いことを意味
する、ｂ（ｉ，ｊ）＝１である位置（座標（ｉ，ｊ））
の散らばりの程度（散らばり度）を算出する。散らばり
度ｖは下記の（５）式に基づいて計算する。

【００２４】

【数１】

【００２５】すなわち、特徴算出手段１１は、ｂ（ｉ，
ｊ）＝１である位置の分散を計算し、その計算結果であ
る散らばり度ｖを、テンプレート更新判定手段１２に出
力する。ここで、ｉ，ｊは、σ（ｉ，ｊ）＝１の位置
を、ｇｘ，ｇｙは、σ（ｉ，ｊ）＝１である座標（ｉ，
ｊ）の重心位置を、Ｓはσ（ｉ，ｊ）＝１である座標
（ｉ，ｊ）の数を表している。ｖは分散であり、散らば
りが大きいとｖは大きな値になり散らばりが小さいとｖ
は小さな値になる。

【００２６】テンプレート更新判定手段１２は特徴算出
手段１１から散らばり度ｖを入力し、ｖの値によりテン
プレートを更新するかを判定し、その結果を読み出し制
御手段６へ出力する。更新の判定は以下の（６）式及び
（７）式に基づいて行う。ｖ≦Ｔｈｖ（更新する場合）・・・・（６）ｖ＞Ｔｈｖ（更新しない場合）・・・（７）ここで、Ｔｈｖは所定のしきい値であり、例えば、Ｔｈ
ｖ＝５．０に設定する。ｖは上述したように、類似度が
高い位置の散らばりが小さいときに小さい値となる。散
らばりが小さいということは、図６（ｂ）に示すよう
に、類似度の高い位置がかたまって存在することを意味
するので、相関演算により検出した追尾対象の位置の信
頼性が高いと判断できる。一方、散らばりが大きいと、
図６（ａ）に示すように、類似度の高い位置が離れて存
在することを意味し、相関演算により検出した追尾対象
の位置は誤っている可能性が高いので、散らばりが大き
い場合は、テンプレートを更新しないようにする。なぜ
なら、誤った位置でテンプレートを更新すると、再び正
しい追尾対象を追尾することが困難になるからである。
つまり、テンプレート更新判定手段１２は、追尾対象を
記憶したテンプレートとの類似度が高い位置の、探索領
域Ｒ内での散らばり度を判定することにより、検出した
追尾対象の位置情報の信頼性が高い場合は、テンプレー
トを更新し、そうでない場合はテンプレートを更新しな
いように制御するのである。

【００２７】次に、テンプレート更新判定手段１２の出
力に基づいて、読み出し制御手段６は、テンプレート更
新判定手段１２がテンプレートを更新すべきであると判
定した場合は、画像データ記憶手段２に記憶された画像
データと、対象指定枠記憶手段４に記憶された追尾対象
の位置に基づいて、テンプレート記憶手段６に画像デー
タを記憶することによりテンプレートを更新する。ま
た、更新しない場合は、前回使用したテンプレートを使
用するので、テンプレート記憶手段５の内容を変更しな
い。図１に示す自動追尾装置は、以上の動作を繰り返す
ことにより追尾対象Ｐの自動追尾を行う。

【００２８】次に、図７及び図８に基づいて本発明の自
動追尾装置の異なる実施形態について説明する。図７は
自動追尾装置を示すブロック図、図８は予測位置算出手
段の動作を説明するための画像図である。なお、図１に
示した自動追尾装置の構成と同等構成については同符号
を付すこととする。

【００２９】図７に示す自動追尾装置は、画像入力手段
１と、画像データ記憶手段２と、対象指定枠設定手段３
と、対象指定枠記憶手段４と、読み出し制御手段５と、
テンプレート記憶手段６と、探索手段７と、類似度演算
手段８と、対象位置検出手段９と、二値化手段１０と、
特徴算出手段１１と、予測位置算出手段１３とを備えて
いる。

【００３０】画像入力手段１は、ＣＣＤカメラ等にて構
成され、画像データ記憶手段２は、画像メモリ等で構成
されて、画像入力手段１から入力される画像データを記
憶するように構成されている。対象指定枠設定手段３
は、追尾範囲を撮像した画像を表示する画面を備えたコ
ンソール等で構成されたもので、初期設定時に、その画
面上に表示された対象指定枠を操作者の操作により追尾
対象の所定位置に合わせて対象指定枠の位置を設定する
ための構成である。また、対象指定枠記憶手段４は、対
象指定枠の座標を記憶するメモリで構成されている。

【００３１】読み出し制御手段５は、対象指定枠内の画
像データを画像データ記憶手段２から読み出し、テンプ
レート記憶手段６は、画像データ記憶手段２から読み出
した画像データをテンプレートとして記憶するように構
成されている。探索手段７は、対象指定枠Ｇの周囲の所
定の探索領域内で切り出し枠を順次移動させ、それぞれ
の移動位置で、切り出し枠内の画像データを画像データ
記憶手段２から類似度演算手段８へ出力させ、類似度演
算手段８は、探索手段７が画像データ記憶手段２から出
力させた画像データと、テンプレート記憶手段６の記憶
する画像データに基づいて相関演算を行う。

【００３２】二値化手段１０は、類似度演算手段８が算
出した探索領域内の各位置における相関値を入力し、所
定のしきい値で二値化する。特徴算出手段１１は、二値
化手段１０によって二値化された相関値を入力し、相関
の高い位置の散らばりの程度（以下、散らばり度）を算
出する。予測位置検出手段１３は、過去の追尾対象の移
動結果を利用して位置を予測する。対象位置検出手段９
は、特徴算出手段１１が出力する相関の高い位置の散ら
ばり度から、類似度演算手段８が算出した結果と、予測
位置算出手段１３が算出した結果のどちらかを選択し、
選択された位置を対象の位置として追尾するように構成
されている。

【００３３】上述の自動追尾装置は次のように動作す
る。すなわち、まず、操作者は、自動追尾を開始する前
に、初期設定として、対象指定枠設定手段３を用いて追
尾対象の初期位置を指定する。画像入力手段１により撮
像される画像は、例えば、図２に示すように表示され、
操作者は、対象指定枠設定手段３を操作してモニター画
面上に表示された対象指定枠Ｇを移動させ、追尾対象Ｐ
が対象指定枠Ｇに入るようにする。自動追尾装置は、追
尾対象の指定操作がなされると、対象指定枠Ｇの位置を
対象指定枠記憶手段４に記憶する。また、読み出し制御
手段６は、対象指定枠記憶手段４にその位置が記憶され
た対象指定枠Ｇ内の画像データを、画像データ記憶手段
２から読み出してテンプレート記憶手段５に記憶する。

【００３４】このようにして初期設定が終了すると、自
動追尾装置は自動追尾を開始する。まず、画像入力手段
１は、所定の時間間隔で所定の撮像領域を撮像し、撮像
した映像を画像データとして画像データ記憶手段２に出
力する。これにより、画像データ記憶手段２には、画像
入力手段１が入力する画像データが逐次記憶され、所定
の時間間隔で更新されることになる。

【００３５】図１に示した自動追尾装置と同様に、対象
指定枠Ｇの位置が設定されることにより、対象指定枠Ｇ
の位置と、図３に示す関係にある探索領域Ｒという領域
が設定され、探索手段７は、切り出し枠を、まず、探索
領域Ｒの左上隅の位置であるＧ（１，１）に移動させ、
切り出し枠Ｇ（１，１）内に対応する位置の画像データ
を、画像データ記憶手段２から読み出し類似度演算手段
８に出力する。

【００３６】類似度演算手段８は、図１に示した自動追
尾装置と同様に、（１）式に基づく演算を行う。すなわ
ち、類似度演算手段８は、（１）式により、画像データ
記憶手段２に記憶された画像データの、切り出し枠内の
位置の画素値と、それに対応する位置の、テンプレート
記憶手段５に記憶された画素値との、それぞれの差分の
絶対値の総和σ（ｉ，ｊ）を求める。

【００３７】二値化手段１０は、類似度演算手段８の結
果に基づいて、上述した総和σ（ｉ，ｊ）を、（２）式
及び（３）式に基づいて、所定のしきい値Ｔｈｎで二値
化し、その結果ｂ（ｉ，ｊ）を特徴算出手段１１に出力
する。

【００３８】特徴算出手段１１は、二値化手段１０が出
力するｂ（ｉ，ｊ）を入力し、図１に示した自動追尾装
置と同様にして類似度の高い位置の散らばり度ｖを算出
する。予測位置算出手段１３は、過去の追尾結果に基
づいて追尾対象Ｐの位置を予測する。例えば、図８に示
すように、前回の追尾対象Ｐの移動ベクトルを記憶して
おき、対象指定枠記憶手段４に記憶している現在の追尾
対象Ｐの位置に、その移動ベクトルを加えた位置を予測
位置として対象位置検出手段９に出力する。

【００３９】対象位置検出手段９は、次のようにして追
尾対象の位置を算出する。まず、特徴算出手段１１から
入力された散らばり度ｖを利用して、次の（８）式及び
（９）式により、相関の最も高い位置または予測位置か
のいずれかの位置を選択する。ｖ≦Ｔｈｖ（相関の最も高い位置を選択する場合）・・・・（８）ｖ＞Ｔｈｖ（予測位置を選択する場合）・・・・・・・・・（９）ここで、Ｔｈｖは所定のしきい値であり、例えば、Ｔｈ
ｖ＝５．０に設定する。ｖは類似度が高い位置の散らば
りが小さいときに小さい値となる。散らばりが小さいと
いうことは、図６（ｂ）に示すように、類似度の高い位
置がかたまって存在することを意味するので、相関演算
により検出した追尾対象の位置の信頼性が高いと判断で
きるので相関の最も高い位置の方を選択する。一方、散
らばりが大きいと、図６（ａ）に示すように、類似度の
高い位置が離れて存在することを意味し、相関演算によ
り検出した追尾対象の位置は誤っている可能性が高いの
で、予測位置の方を追尾対象の位置として選択する。

【００４０】以上のようにして選択された位置に基づ
き、画像データ記憶手段２の記憶する画像上の追尾対象
の位置の座標（Ｐｘ，Ｐｙ）が求められ、この結果は、
対象指定枠記憶手段４に記憶される。図７に示す自動追
尾装置は、以上の動作を繰り返すことにより追尾対象Ｐ
の自動追尾を行うことができる。

【００４１】

【発明の効果】請求項１及び請求項２記載の自動追尾装
置によれば、探索領域内での、追尾対象を記憶したテン
プレートとの類似性の高い位置の散らばりの程度により
テンプレートの更新を制御しているので、類似物体や背
景の影響が少ない、信頼性の高い自動追尾装置を実現す
ることができる。

【図面の簡単な説明】

【図１】本発明の自動追尾装置の一実施形態を示すブロ
ック図である。

【図２】追尾対象の指定方法を説明するための画像図で
ある。

【図３】探索手段の動作を説明するための画像図であ
る。

【図４】類似度演算手段の動作を説明するための画像図
である。

【図５】二値化手段のしきい値設定を説明するための線
図である。

【図６】テンプレート更新判定手段の動作を説明するた
めの説明図である。

【図７】本発明の自動追尾装置の異なる実施形態を示す
ブロック図である。

【図８】予測位置算出手段の動作を説明するための画像
図である。

【図９】従来の自動追尾装置の問題点を説明するための
説明図である。

【符号の説明】

Ｇ対象指定枠Ｐ追尾対象Ｒ探索領域１画像入力手段２画像データ記憶手段３対象指定枠設定手段４対象指定枠記憶手段５読み出し制御手段６テンプレート記憶手段７探索手段８類似度演算手段９対象位置検出手段１０二値化手段１１特徴算出手段１２テンプレート更新判定手段１３予測位置算出手段

Claims

【特許請求の範囲】

【請求項１】初期設定時に、追尾範囲の画像を表示し
た画面上で対象指定枠を操作者の操作により前記追尾対
象の所定位置に合わせて前記対象指定枠の位置を設定す
るための対象指定枠設定手段と、前記対象指定枠の位置
を記憶する対象指定枠記憶手段と、画像データを入力す
るための画像入力手段と、その画像データを記憶する画
像データ記憶手段と、前記対象指定枠内の画像を前記画
像データ記憶手段から読み出す読み出し制御手段と、そ
の読み出し制御手段が読み出した画像データをテンプレ
ートとして記憶するテンプレート記憶手段と、前記画像
データ記憶手段に記憶した画像データの探索領域から所
定領域の画像を取り出すための切り出し枠を順次移動さ
せて切り出し枠内の画像を取り出す探索手段と、前記切
り出し枠内の画像と、前記テンプレートの画像との類似
度を計算する類似度演算手段と、その類似度演算手段の
演算結果により追尾対象の位置を求め、その位置に対応
する位置に前記対象指定枠の位置を更新する対象位置検
出手段と、前記類似度演算手段が出力する各探索点での
類似度を所定の値で二値化する二値化手段と、その二値
化手段により得られた、類似度の高い探索点の分散の程
度を算出する特徴算出手段と、その特徴算出手段の算出
結果により前記テンプレートの更新を行うかどうかを判
定するテンプレート更新判定手段とを備えたことを特徴
とする自動追尾装置。
【請求項２】初期設定時に、追尾範囲の画像を表示し
た画面上で対象指定枠を操作者の操作により前記追尾対
象の所定位置に合わせて前記対象指定枠の位置を設定す
るための対象指定枠設定手段と、前記対象指定枠の位置
を記憶する対象指定枠記憶手段と、画像データを入力す
るための画像入力手段と、その画像データを記憶する画
像データ記憶手段と、前記対象指定枠内の画像を前記画
像データ記憶手段から読み出す読み出し制御手段と、そ
の読み出し制御手段が読み出した画像データをテンプレ
ートとして記憶するテンプレート記憶手段と、前記画像
データ記憶手段に記憶した画像データの探索領域から所
定領域の画像を取り出すための切り出し枠を順次移動さ
せて切り出し枠内の画像を取り出す探索手段と、前記切
り出し枠内の画像と、前記テンプレートの画像との類似
度を計算する類似度演算手段と、その類似度演算手段が
出力する各探索点での類似度を所定の値で二値化する二
値化手段と、その二値化手段により得られた、類似度の
高い探索点の分散の程度を算出する特徴算出手段と、前
記追尾対象の移動位置を予測する予測位置算出手段と、
前記特徴算出手段より得た、類似度の高い探索点の分散
の程度に基づいて、前記類似度演算手段が出力する位置
と、前記予測位置算出手段が出力する位置のいずれかを
選択し、選択した方の位置を前記追尾対象の新たな位置
として、前記対象指定枠の位置を、新たな位置に対応す
る位置に更新する対象位置検出手段とを備えたことを特
徴とする自動追尾装置。