JPH09130784A

JPH09130784A - 自動追尾方法及びその装置

Info

Publication number: JPH09130784A
Application number: JP7278994A
Authority: JP
Inventors: Kenichi Hagio; 健一萩尾; Satoshi Furukawa; 聡古川
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1995-08-25
Filing date: 1995-10-26
Publication date: 1997-05-16

Abstract

(57)【要約】【課題】対象物の移動などにより画面上での形状等が
変化しても自動追尾できる自動追尾方法及びその装置を
提供する。【解決手段】対象指定枠内の画像をテンプレートとし
て記憶し、画像入力手段からの画像データ上で切り出し
枠を順次移動させて枠内画像を出力し、枠内画像とテン
プレートとの類似度を計算し、演算結果より追尾対象の
位置を決定する自動追尾装置において、枠内画像とテン
プレートとの第一の類似度を計算し、枠内の所定領域画
像とテンプレートの所定領域画像との第二の類似度を計
算し、第一の類似度と第二の類似度との類似度の低い方
を探索位置における代表類似度として出力する類似演算
手段７と、各探索位置における代表類似度を逐次記憶し
て、探索領域の全ての探索位置における代表類似度の中
から最も類似度の高い代表類似度を選択て追尾対象の位
置とする対象位置決定手段８とを設けた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を利用して、
指定した対象を自動的に追尾する自動追尾方法及びその
装置に関する。

【０００２】

【従来の技術】従来、画像を利用した自動追尾装置に
は、テンプレートマッチング手法が利用されている。こ
の手法は、テンプレートと呼ばれる所定の大きさの画像
データと、入力画像上を移動させる所定の大きさの切り
出し枠内の画像データとで類似演算を行ない、最も類似
度の高い切り出し枠の位置を捜すものである。

【０００３】自動追尾では、まず追尾対象を画面上で対
象指定枠などを用いて指定し、その対象指定枠内の画像
データをテンプレートとして記憶する。そして次々と入
力される画像に対してテンプレートマッチングを施し最
も類似度の高い位置を次々と求めることにより自動追尾
を実現する。

【０００４】ところで、この手法では追尾対象の移動な
どにより画面上の追尾対象の形状や大きさが変化する
と、テンプレートと入力画像の間の相関関係が崩れてし
まい、自動追尾ができない。

【０００５】そこで、第一に、類似度を維持するため
に、切り出し枠内の画像データを新たなテンプレートと
して、テンプレートを刻々と更新していく手法、第二
に、対象指定枠内の対象に特有の色を記憶し、その色を
入力画面内で探索することで追尾する手法、第三に、テ
ンプレートを複数用意して複数のテンプレート用メモリ
に対象を記憶し、それぞれのテンプレートに対してパタ
ーンマッチング処理をする方法などを用いた自動追尾装
置が提案された。

【０００６】

【発明が解決しようとする課題】しかしながら、上述の
ような自動追尾装置にあっては、以下のような問題点が
あった。第一の類似度を維持するためにテンプレートを
刻々と更新していく手法を用いた自動追尾装置にあって
は、対象物が切り出し枠に比べてかなり小さい場合、対
象物がテンプレートと切り出し枠内画像との類似度に与
える影響は小さくなり、反対に背景が該類似度に与える
影響が大きくなる。従って、対象物が移動しても、テン
プレートと前回位置の切り出し枠内の画像との類似度は
ほとんど変わらず、よって切り出し位置は対象物に沿っ
て移動せず、適切に追尾できない場合があるという問題
点があった。また、対象物よりも大きな障害物が切り出
し枠内画像に入った場合、以降の類似演算において対象
物よりも障害物の方が類似度に与える影響が大きくなる
ので、誤って障害物を追尾してしまう恐れがあるという
問題点もあった。

【０００７】第二の対象指定枠内の対象に特有の色を記
憶し、その色を入力画面内で探索することで追尾する手
法を用いた自動追尾装置にあっては、色相を利用してい
るので、色鮮やかな対象物は良好に追尾できるが、ウエ
ディングドレスを着た新婦のように白色や淡い色の対象
物の追尾が困難であるという問題点があった。

【０００８】第三のテンプレートを複数用意して複数の
テンプレート用メモリに対象を記憶し、それぞれのテン
プレートに対してパターンマッチング処理をする方法を
用いた自動追尾装置にあっては、テンプレートを複数記
憶するためのメモリが必要となり、またテンプレートマ
ッチングを複数回行う必要があるので処理に時間を要す
るという問題点があった。

【０００９】本発明は、上記問題点を改善するために成
されたもので、その目的とするところは、対象物が色鮮
やかな特徴色を持たなくとも、また対象物の移動などに
より、画面上での形状や大きさなどが変化をしても自動
追尾できる自動追尾方法及びその装置を提供することに
ある。

【００１０】

【課題を解決するための手段】本発明は上記の問題を解
決するために、請求項１記載の発明にあっては、初期設
定時に追尾対象を追尾するための対象指定枠の位置を操
作者の操作により移動させて設定し、対象指定枠内の画
像をテンプレートとして記憶し、所定領域を撮像して画
像データを獲得して記憶し、該画像データの探索領域か
ら所定領域の画像を取り出す切り出し枠を順次移動させ
て切り出し枠内の画像を切り出し、該切り出した画像と
テンプレートの画像との類似度を計算し、該演算結果よ
り追尾対象の位置である新たな対象指定枠の位置を求め
る自動追尾方法において、前記類似度の計算は、切り出
し枠内の画像とテンプレートの画像との第一の類似度を
計算し、切り出し枠内の所定領域の画像とテンプレート
の所定領域の画像との第二の類似度を計算し、第一の類
似度と第二の類似度との類似度の低い方を探索位置にお
ける代表類似度として出力するものとし、前記対象指定
枠の位置の決定は、各探索位置における代表類似度を逐
次記憶して、探索領域の全ての探索位置における代表類
似度を記憶した後に、該記憶した代表類似度の中から最
も類似度の高い代表類似度を選択し、該代表類似度の探
索位置を追尾対象の位置である新たな対象指定枠の位置
とすることを特徴とする方法である。

【００１１】請求項２記載の発明にあっては、切り出し
枠内の画像とテンプレートの画像との類似度が最も高く
なる切り出し枠の位置における切り出し枠内の画像を新
たなテンプレートとして記憶内容を更新することを特徴
とする方法である。

【００１２】請求項３記載の発明にあっては、切り出し
枠内の画像とテンプレートの画像との類似度が最も高く
なる切り出し枠の位置における該類似度と既定のしきい
値とを比較して、該類似度がしきい値以上であれば、テ
ンプレートの更新を許可し、該類似度がしきい値以下で
あれば、テンプレートの更新を禁止することを特徴とす
る方法である。

【００１３】請求項４記載の発明にあっては、対象指定
枠を演算結果に基づき移動させる自動モードと対象指定
枠を操作者の操作により移動させる手動モードとを切り
換え、自動モードにあっては類似度より計算した位置を
追尾対象の位置とし、手動モードにあっては操作者の操
作により指示される位置を追尾対象の位置とし、手動モ
ードにおいて切り出し枠内の画像とテンプレートの画像
との類似度が最も高くなる切り出し枠の位置における類
似度と既定のしきい値とを比較して、該類似度がしきい
値以上であれば、自動モードに切り換えることを特徴と
する方法である。

【００１４】請求項５記載の発明にあっては、前記第二
の類似度を計算する領域を、第一の類似度を計算する領
域の内側であって、上方に偏心していることを特徴とす
る方法である。

【００１５】請求項６記載の発明にあっては、初期設定
時に、追尾対象を追尾するための対象指定枠の位置を操
作者の操作により移動させて設定する対象指定枠設定手
段と、対象指定枠内の画像をテンプレートとして記憶す
る対象記憶手段と、所定領域を撮像して画像データを出
力する画像入力手段と、該画像データを記憶する画像デ
ータ記憶手段と、該画像データの探索領域から所定領域
の画像を取り出す切り出し枠を順次移動させて切り出し
枠内の画像を出力する探索手段と、該切り出し枠内の画
像とテンプレートの画像との類似度を計算する類似演算
手段と、該類似演算手段の演算結果より追尾対象の位置
である新たな対象指定枠の位置とする対象位置決定手段
とを有する自動追尾装置において、前記類似演算手段
は、切り出し枠内の画像とテンプレートの画像との第一
の類似度を計算し、切り出し枠内の所定領域の画像とテ
ンプレートの所定領域の画像との第二の類似度を計算
し、第一の類似度と第二の類似度との類似度の低い方を
探索位置における代表類似度として出力し、前記対象位
置決定手段は、類似演算手段の出力する各探索位置にお
ける代表類似度を逐次記憶して、探索領域の全ての探索
位置における代表類似度を記憶した後に、該記憶した代
表類似度の中から最も類似度の高い代表類似度を選択
し、該代表類似度の探索位置を追尾対象の位置である新
たな対象指定枠の位置とすることを特徴とするものであ
る。

【００１６】請求項７記載の発明にあっては、前記対象
記憶手段は、前記対象位置決定手段の計算した切り出し
枠内の画像とテンプレートの画像との類似度が最も高く
なる切り出し枠の位置における切り出し枠内の画像を新
たなテンプレートとして記憶内容を更新することを特徴
とするものである。

【００１７】請求項８記載の発明にあっては、前記対象
位置決定手段の計算した切り出し枠内の画像とテンプレ
ートの画像との類似度が最も高くなる切り出し枠の位置
における該類似度と既定のしきい値とを比較して、該類
似度がしきい値以上であれば、前記対象記憶手段に対し
てテンプレートの更新を許可し、該類似度がしきい値以
下であれば、前記対象記憶手段に対してテンプレートの
更新を禁止する記憶対象更新判定手段を設けたことを特
徴とするものである。

【００１８】請求項９記載の発明にあっては、対象指定
枠を自動追尾装置が移動させる自動モードと対象指定枠
を操作者の操作により移動させる手動モードとを切り換
える自動追尾設定／解除手段と、自動モードにあっては
前記対象位置決定手段の計算した位置を追尾対象の位置
とし、手動モードにあっては操作者の操作により前記対
象指定枠設定手段の出力する位置を追尾対象の位置とす
る対象指定枠位置選択手段と、手動モードにおいて前記
対象位置決定手段の計算した切り出し枠内の画像とテン
プレートの画像との類似度が最も高くなる切り出し枠の
位置における該類似度と既定のしきい値とを比較して、
該類似度がしきい値以上であれば、自動モードに切り換
える自動追尾可否判定手段とを有することを特徴とする
ものである。

【００１９】請求項１０記載の発明にあっては、前記第
二の類似演算部の類似度を計算する領域を、第一の類似
演算部の類似度を計算する領域の内側であって、上方に
偏心していることを特徴とするものである。

【００２０】

【発明の実施の形態】本発明にかかる自動追尾方法及び
その装置の第一実施の形態を図１〜図１０に基づいて、
第二実施の形態を図１１〜図１５に基づいて、第三実施
の形態を図１６、図１７に基づいて説明する。

【００２１】〔第一実施の形態〕図１は自動追尾装置の
構成を示すブロック図である。図２は、対象指定枠と切
り出し枠との説明図である。図３は比較エリアの説明図
である。図４はあるシーンを記憶したテンプレートの画
像データＤ１を示すイメージ図である。図５は画像デー
タのイメージ図である。図６は切り出し枠Ｆ２を移動さ
せたときの画像データのイメージ図である。図７は他の
シーンを記憶したテンプレートの画像データＤ１を示す
イメージ図である。図８は画像データのイメージ図であ
る。図９は切り出し枠Ｆ２を移動させたときの画像デー
タのイメージ図である。図１０は自動追尾装置の動作を
説明するフローチャートである。

【００２２】図１において、１は画像入力手段を表す。
画像入力手段１は、一定時間間隔で所定の撮像領域を撮
像して、撮像映像を画像データＤ０として画像データ記
憶手段２と対象記憶手段５とに出力する。

【００２３】画像データ記憶手段２は、画像入力手段１
から画像データＤ０を受け取って記憶する。

【００２４】対象指定枠設定手段３は、操作者がモニタ
等に表示された画像データＤ０を見ながら、モニタ上に
表示された対象指定枠Ｆ１を移動させて、追尾対象を枠
で囲うことにより対象指定枠Ｆ１を設定するものであ
り、対象指定枠Ｆ１の対角の２つの頂点の座標（ｘ０，
ｙ０）（ｘ１，ｙ１）を対象指定枠記憶手段４に出力す
る。

【００２５】対象指定枠記憶手段４は、対象指定枠設定
手段３の出力する対象指定枠Ｆ１の２つの頂点の座標を
記憶するものである。

【００２６】対象記憶手段５は、画像入力手段１から画
像データＤ０を受け取って、画像データＤ０のうち対象
指定枠記憶手段４の記憶する対象指定枠Ｆ１の２つの頂
点により囲まれる画像データＤ１をテンプレートとして
記憶する。

【００２７】探索手段６は、対象指定枠記憶手段４の記
憶する対象指定枠Ｆ１の位置を中心とした探索領域を設
定し、画像の切り出し枠Ｆ２（対象指定枠Ｆ１と同じ
幅、同じ高さである）を設定して、画像データ記憶手段
２の記憶する画像データ内の該切り出し枠Ｆ２に囲まれ
た画像データＤ２を類似演算手段７に出力する。切り出
し枠Ｆ２の決定は、図２に示すように、対象指定枠Ｆ１
の左上の座標（ｘ０，ｙ０）から所定のオフセット値
（ｘ２，ｙ２）を引いて（ｘ３，ｙ３）とし、右下の座
標（ｘ１，ｙ１）から所定のオフセット値（ｘ２，ｙ
２）を引いて（ｘ４，ｙ４）とし、該（ｘ３，ｙ３）
（ｘ４，ｙ４）を基準点として探索増分（ｉ，ｊ）を加
えることで行う（なお、オフセット値（ｘ２，ｙ２）
は、探索領域の左上の位置を決める値であり、ｉは０〜
ｍの値を取り、ｊは０〜ｎの値をとるので、対象指定枠
Ｆ１の座標を中心とした探索領域（ｘ０−ｘ２，ｙ０−
ｙ２）（ｘ０−ｘ２＋ｍ，ｙ０−ｙ２＋ｎ）を画像切り
出し枠Ｆ２が移動することになる）。よって、切り出し
枠Ｆ２の対角の座標は（ｘ３＋ｉ，ｙ３＋ｊ）（ｘ４＋
ｉ，ｙ４＋ｊ）となる。

【００２８】類似演算手段７は、探索手段６の出力する
画像データＤ２と対象記憶手段５の記憶するテンプレー
トである画像データＤ１との類似度を算出するものであ
る。

【００２９】類似演算手段７は、図３に示すように、ま
ず探索手段６の出力する画像データＤ２全体を比較エリ
アＥ１ａとし、対象記憶手段５の記憶するテンプレート
である画像データＤ１全体を比較エリアＥ１ｂとして、
比較エリアＥ１ａ内の画像データＤ２と比較エリアＥ１
ｂ内の画像データＤ１との対応する画素の色から第一の
類似度に相当する類似度Ｒ１を求める。即ち、比較エリ
アＥ１ｂの画素の色コードから対応する比較エリアＥ１
ａの画素の色コードを差し引いたものの絶対値を、比較
エリアＥ１ｂ全体について求めて足し合わせた値を比較
エリアＥ１ａの画素数で割ったものを類似度Ｒ１とす
る。従って、類似度は該値が小さいほど高いことにな
る。

【００３０】次に、類似演算手段７は、図３に示すよう
に、画像データＤ２について比較エリアＥ１ａより小さ
な比較エリアＥ２ａを設定し、画像データＤ１について
比較エリアＥ１ｂより小さな比較エリアＥ２ｂを設定し
て、比較エリアＥ２ａ内の画像データＤ２と比較エリア
Ｅ２ｂ内の画像データＤ１との対応する画素の色から第
二の類似度に相当する類似度Ｒ２を求める。演算につい
ては、類似度Ｒ１と同様に各画素の色コードの差分を合
計したものを比較エリアＥ２ａの画素数で割った値を類
似度Ｒ２とする。

【００３１】更に、類似演算手段７は、画像データＤ２
について比較エリアＥ２ａより小さな比較エリアＥ３ａ
を設定し、画像データＤ１について比較エリアＥ２ｂよ
り小さな比較エリアＥ３ｂを設定して、比較エリアＥ３
ａ内の画像データＤ２と比較エリアＥ３ｂ内の画像デー
タＤ１との対応する画素の色から第三の類似度に相当す
る類似度Ｒ３を求める。演算については、類似度Ｒ１と
同様に各画素の色コードの差分を合計したものを比較エ
リアＥ３ａの画素数で割った値を類似度Ｒ３とする。な
お、対象指定枠Ｆ１と切り出し枠Ｆ２とは同形状である
から、比較エリアＥ１ａとＥ１ｂとは同形状である。な
お、比較エリアＥ１ａ，Ｅ２ａ，Ｅ３ａは、共通の中心
を有しており、比較エリアＥ１ｂ，Ｅ２ｂ，Ｅ３ｂも共
通の中心を有している。また、比較エリアＥ１ａとＥ１
ｂ，Ｅ２ａとＥ２ｂ，Ｅ３ａとＥ３ｂは、各々互いに合
同な長方形である。

【００３２】類似演算手段７は、第一〜第三の類似演算
部７ａ，７ｂ，７ｃの算出した類似度Ｒ１，Ｒ２，Ｒ３
を対象位置決定手段８に出力する。

【００３３】対象位置決定手段８は、類似度Ｒ１、Ｒ
２，Ｒ３を受け取ると、類似度Ｒ１、Ｒ２，Ｒ３の内で
最も値の大きい類似度（即ち、値が大きいとは類似度が
低いことを示す）を、切り出し枠Ｆ２の（ｘ３＋ｉ、ｙ
３＋ｊ）（ｘ４＋ｉ，ｙ４＋ｊ）における代表類似度Ｒ
ｄ（ｉ，ｊ）として記憶する。そして、検索手段６が探
索増分（ｉ，ｊ）を変化させて、類似演算手段７が次々
と該変化した探索増分（ｉ，ｊ）における類似度Ｒ１，
Ｒ２，Ｒ３を出力するので、対象位置決定手段８は、代
表類似度Ｒｄ（ｉ，ｊ）（ｉは０〜ｍ，ｊは０〜ｎ）を
ｎ・ｍ個分記憶する。そして、値の最も小さい代表類似
度Ｒｄ（ｉ，ｊ）に対応する探索増分（ｉ，ｊ）の位置
に切り出し枠Ｆ２があるときの画像データＤ２が、テン
プレートである画像データＤ１に最も類似しているとし
て、探索増分（ｉ，ｊ）の位置の切り出し枠Ｆ２を表す
対角の座標（ｘ３＋ｉ、ｙ３＋ｊ）（ｘ４＋ｉ，ｙ４＋
ｊ）を対象指定枠記憶手段４に出力する。

【００３４】次に、図４から図９を用いて、類似演算手
段７と対象位置決定手段８との処理を説明する。図４は
あるシーンを記憶したテンプレートの画像データＤ１を
示す。図４では追尾対象が対象指定枠Ｆ１に比べて小さ
くなっている。図５は少し時間が経過してから画像入力
手段１が出力した画像データＤ０を表し、図６（ａ）
（ｂ）（ｃ）は、各々図５中の（ａ）から（ｃ）の位置
に切り出し枠Ｆ２を移動させたときの切り出し枠内の画
像データＤ２を示す。図５では、画像入力手段１が図４
の画像を撮像したときと比べて、追尾対象は右に移動し
ている。

【００３５】図６（ａ）は追尾対象が中心にない場合の
切り出し枠Ｆ２内の画像データＤ２であり、図６（ｂ）
は切り出し枠Ｆ２が図４のテンプレートの対象指定枠Ｆ
１と同じ位置にある場合の切り出し枠Ｆ２内の画像デー
タＤ２であり、図６（ｃ）は追尾対象が中央に来る場合
の切り出し枠Ｆ２内の画像データＤ２を表す。

【００３６】図６（ａ）の場合、比較エリアＥ１ａとＥ
１ｂ、比較エリアＥ２ａとＥ２ｂ、比較エリアＥ３ａと
Ｅ３ｂとも類似度は低く（値が大きい）、従って対象位
置決定手段８の記憶する代表類似度Ｒｄは大きな値とな
る。

【００３７】図６（ｂ）の場合、比較エリアＥ１ａとＥ
１ｂとの類似度Ｒ１は、切り出し枠Ｆ２の位置がテンプ
レートの画像データと同じ位置なので、比較エリアの大
きさに比べて追尾対象の大きさが小さいので背景部分が
類似度に大きく影響し、類似度Ｒ１は高い（値は小さ
い）。一方、比較エリアＥ３ａとＥ３ｂとの部分は、追
尾対象が移動しているので、追尾対象が居たところには
背景が表示されており、類似度Ｒ３は低い（値が大き
い）。比較エリアＥ２ａとＥ２ｂとの類似度Ｒ２は、類
似度Ｒ１と類似度Ｒ３との中間の値となる。従って対象
位置決定手段８の記憶する代表類似度Ｒｄは類似度Ｒ３
が選ばれて大きな値となる。

【００３８】図６（ｃ）の場合、比較エリアＥ３ａとＥ
３ｂとは類似しているので類似度Ｒ３は高い（値は小さ
い）。比較エリアＥ１ａとＥ１ｂとは追尾対象部分は類
似しているが、背景部分が大きく異なる。したがって背
景部分の一致度により類似度Ｒ１は変わる。一般的なシ
ーンにおいては背景部分は比較的均一であることが多
く、その場合類似度Ｒ１は比較的大きくなる（値は比較
的小さくなる）。そうでない場合、即ち背景部分が均一
でない場合には、類似度Ｒ１は、図６（ａ）または
（ｂ）の場合の類似度よりは高いが（値は小さい）が、
やや低くなる（値はやや大きくなる）。従って、類似度
Ｒ３は小さな値、類似度Ｒ１は比較的小さな値〜やや大
きな値をとる。従って、対象位置決定手段８の記憶する
代表類似度Ｒｄは類似度Ｒ１が選ばれて、比較的小さな
値〜やや大きな値となる。

【００３９】そして、対象位置決定手段８は、上述の図
６（ａ）（ｂ）（ｃ）の場合を比較して、代表類似度Ｒ
ｄの値の小さなものを、追尾対象の位置として選択する
ので、図６（ｃ）を選ぶ。

【００４０】次に、図７に示すように追尾対象の大きさ
が図４の場合より大きいときについて説明する。図８は
図７に示す画像を撮像して少し時間が経過してから画像
入力手段１が出力した画像データＤ０を表し、図９
（ａ）（ｂ）（ｃ）は、各々図８中の（ａ）から（ｃ）
の位置に切り出し枠Ｆ２を移動させたときの画像データ
Ｄ２を示す。図８では、画像入力手段１が図４の画像を
撮像したときと比べて、追尾対象は右に移動している。

【００４１】図９（ａ）は追尾対象が中心にない場合の
切り出し枠Ｆ２内の画像データＤ２であり、図９（ｂ）
は切り出し枠Ｆ２が図４のテンプレートの対象指定枠Ｆ
１と同じ位置にある場合の切り出し枠Ｆ２内の画像デー
タＤ２であり、図９（ｃ）は追尾対象が中央に来る場合
の切り出し枠Ｆ２内の画像データＤ２を表す。

【００４２】図９（ａ）の場合、比較エリアＥ１ａとＥ
１ｂ、比較エリアＥ２ａとＥ２ｂ、比較エリアＥ３ａと
Ｅ３ｂとも類似度は低く（値が大きい）、従って対象位
置決定手段８の記憶する代表類似度Ｒｄは大きな値とな
る。

【００４３】図９（ｂ）の場合、比較エリアＥ１ａとＥ
１ｂとの類似度Ｒ１は、切り出し枠Ｆ２の位置がテンプ
レートの対象指定枠Ｆ１と同じ位置なので、背景部分は
類似度が高い。しかし、追尾対象が大きいので、追尾対
象が移動したことによる影響のほうが大きく、類似度Ｒ
１は比較的低い（値は比較的大きい）。比較エリアＥ３
ａとＥ３ｂでは大きく異なるので類似度Ｒ３は低い（値
は大きい）。従って、対象位置決定手段８は類似度Ｒ３
を選んで代表類似度Ｒｄは大きな値となる。

【００４４】図９（ｃ）の場合、比較エリアＥ３ａとＥ
３ｂは類似しているので類似度Ｒ３は高い（値は小さ
い）。比較エリアＥ１ａとＥ１ｂは追尾対象部分は類似
しているが、背景部分が異なる。しかし追尾対象が大き
いので背景の影響は少なく類似度Ｒ１は比較的高くなる
（値は比較的小さい）。従って、対象位置決定手段８は
類似度Ｒ１を選んで代表類似度Ｒｄは比較的小さい値と
なる。

【００４５】そして、対象位置決定手段８は、上述の図
９（ａ）（ｂ）（ｃ）の場合を比較して、代表類似度Ｒ
ｄの値の小さなものを、追尾対象の位置として選択する
ので、図９（ｃ）を選ぶ。

【００４６】次に、以上のようにいて構成された自動追
尾装置の動作を、図１０に基づいて説明する。

【００４７】まず、画像入力手段１は所定時間間隔で撮
像しており（ステップＳ１０１）、画像データを画像デ
ータ記憶手段２と対象記憶手段５とに出力する。

【００４８】そして、追尾動作の前準備として、操作者
が対象指定枠設定手段３により、画像データＤ０の一部
に表示されている追尾対象を枠で囲うことにより、対象
指定枠Ｆ１を設定する（ステップＳ１０２）。対象指定
枠設定手段３は、対象指定枠Ｆ１の設定がなされると、
対象指定枠Ｆ１の対角の座標（ｘ０，ｙ０）（ｘ１，ｙ
１）を対象指定枠記憶手段４に出力する。対象記憶手段
５は、画像入力手段１から画像データＤ０を受け取っ
て、画像データＤ０のうち対象指定枠記憶手段４の記憶
する対象指定枠Ｆ１の２つの頂点により囲まれる画像デ
ータＤ１をテンプレートとして記憶する（ステップＳ１
０３）。以上で、前準備は終了する。

【００４９】次に、追尾動作が開始されると、画像入力
手段１は引き続いて、所定時間間隔で撮像しており（ス
テップＳ１０１）、画像データを画像データ記憶手段２
と対象記憶手段５とに出力する。そして、探索手段６
は、対象指定枠Ｆ１を中心としてその周囲について、切
り出し枠Ｆ２を移動させて（ステップＳ１０４）、切り
出し枠Ｆ２内の画像データＤ２を順次類似演算手段７に
出力する。即ち、対象指定枠Ｆ１の座標を（ｘ０，ｙ
０）（ｘ１，ｙ１）とすると、まずオフセット値を（ｘ
２，ｙ２）該座標から差し引いて、（ｘ３，ｙ３）（ｘ
４，ｙ４）として、該座標に探索増分（ｉ、ｊ）を加え
たものを切り出し枠Ｆ２の対角座標とする。なお、ｉは
０からｍまで１づつ増加する値であり、ｊは０からｎま
で１づつ増加する値である。また、該増加分は１に限ら
れるものではない。

【００５０】ｉ＝０、ｊ＝０のとき、切り出し枠Ｆ２は
（ｘ３＋０，ｙ３＋０）（ｘ４＋０，ｙ４＋０）の座標
で表されて、検索手段６は画像データ記憶手段２内の画
像データＤ０から該座標で示される領域の画像データＤ
２を取り出して、類似演算手段７に出力する。類似演算
手段７は、探索増分（０，０）における切り出し枠Ｆ２
内の画像データＤ２と、テンプレートの画像データＤ１
との類似度Ｒ１，Ｒ２，Ｒ３を算出して（ステップＳ１
０５）、対象位置決定手段８に出力する。対象位置決定
手段８は、類似度Ｒ１，Ｒ２，Ｒ３のうち最も大きな値
を探索増分（０、０）における代表類似度Ｒｄ（０，
０）として記憶する（ステップＳ１０６）。

【００５１】次に、ｉ＝１、ｊ＝０のとき、切り出し枠
Ｆ２は（ｘ３＋１，ｙ３＋０）（ｘ４＋１，ｙ４＋０）
の座標で表されて、検索手段６は画像データ記憶手段２
内の画像データＤ０から該座標で示される領域の画像デ
ータＤ２を取り出して、類似演算手段７に出力する。類
似演算手段７は、探索増分（１，０）における切り出し
枠Ｆ２内の画像データＤ２と、テンプレートの画像デー
タＤ１との類似度Ｒ１，Ｒ２，Ｒ３を算出して、対象位
置決定手段８に出力する。対象位置決定手段８は、類似
度Ｒ１，Ｒ２，Ｒ３のうち最も大きな値を探索増分
（１、０）における代表類似度Ｒｄ（１，０）として記
憶する。

【００５２】同様の処理をｉ＝ｍ、ｊ＝ｎになるまで繰
り返して（ステップＳ１０４）、対象位置決定手段８は
ｍ・ｎ個の代表類似度Ｒｄを得る。そして、対象位置決
定手段８は、該ｍ・ｎ個の代表類似度Ｒｄの内で最も小
さな値となるＲｄ（ｐ，ｑ）を求めて、該値をとる切り
出し枠Ｆ２の位置が追尾対象の位置であるとして、該座
標（ｘ３＋ｐ，ｙ３＋ｑ）（ｘ４＋ｐ，ｙ４＋ｑ）を対
象指定枠記憶手段４に出力する（ステップＳ１０７）。

【００５３】対象指定枠記憶手段４が、該座標を受け取
ると、該座標を新たな対象指定枠Ｆ１を表す対角の座標
として記憶する。そして、対象記憶手段５は、該新たな
対象指定枠Ｆ１内の画像データを新たなテンプレートと
して記憶する（ステップＳ１０８）。

【００５４】以上の動作が、追尾処理の一巡動作であ
り、次に新たな画像データＤ０が画像入力手段１より出
力されると、各部位は上記動作を繰り返す。

【００５５】〔第二実施の形態〕図１１は自動追尾装置
の構成を示すブロック図である。図１２は比較エリアの
説明図である。図１３はあるシーンを記憶したテンプレ
ートの画像データＤ１を示すイメージ図である。図１４
は少し時間が経過して入力した切り出し枠Ｆ２内の画像
データＤ２のイメージ図である。図１５は自動追尾装置
の動作を説明するフローチャートである。

【００５６】なお、図１１においては前述の第一実施の
形態で説明したところの自動追尾装置と同等の箇所には
同じ符号を付してあるので、同等の箇所の詳細な説明は
省略する。

【００５７】図１１に示す本第二実施の形態の自動追尾
装置が、前述の第一実施の形態で説明したところの自動
追尾装置と異なり特徴となるのは次の構成である。

【００５８】第一に比較エリアＥ１ａ，Ｅ２ａ，Ｅ３ａ
は、第一実施の形態のように共通のの中心を持つように
せず、また、比較エリアＥ１ｂ，Ｅ２ｂ，Ｅ３ｂも、第
一実施の形態のように共通のの中心を持つようにせず、
図１２に示すように上方に偏心して設定している構成で
ある。

【００５９】第二に記憶対象更新判定手段９を設け、対
象位置決定手段８は記憶対象更新判定手段９に、演算結
果の最も高い類似度Ｒｄ（ｐ，ｑ）を出力する。

【００６０】記憶対象更新判定手段９は、類似度Ｒｄ
（ｐ，ｑ）と予め定められたしきい値ＴＨとを比較し
て、しきい値ＴＨより類似度Ｒｄ（ｐ，ｑ）が高けれ
ば、対象記憶手段５にテンプレートの更新を許可し、し
きい値ＴＨより類似度が低くければ、対象記憶手段５に
テンプレートの更新を禁止する。

【００６１】本第二実施の形態では、カメラが天井から
吊り下げるようなどして高い位置に設置される場合を想
定しており、この場合追尾対象は上半身は撮像される
が、下半身が他の物体で隠されることが多くなる。そこ
で、このような隠れが生じる場合の動作について図１３
〜図１４と図１５を用いて説明する。

【００６２】図１３はあるシーンを記憶したテンプレー
トの画像データＤ１を示す。図１３では追尾対象Ａ１は
障害物Ａ２に下半身を隠されている。図１４は少し時間
が経過して入力した切り出し枠Ｆ２内の画像データＤ２
を示す。図１４（ａ）は追尾対象が中央に位置するよう
な切り出し枠Ｆ２内の画像データＤ２であり、図１４
（ｂ）は障害物の影響で追尾対象が中央から外れる場合
の切り出し枠Ｆ２内の画像データＤ２である。

【００６３】比較エリアＥ１ａとＥ１ｂ、および比較エ
リアＥ２ａとＥ２ｂについては、図１４（ａ）（ｂ）と
もに、障害物、背景、追尾対象の関係に依存するが、ほ
ぼ同じ類似度Ｒ１、Ｒ２が得られる。一方、比較エリア
Ｅ３ａとＥ３ｂとについては、図１４（ｂ）の場合は一
般にかなり類似度Ｒ３が低くなるが、図１４（ａ）の場
合は、上半身が障害物に隠れていないので類似度Ｒ３が
高くなる。

【００６４】よって本第二実施の形態においては、図１
４（ｂ）の場合、比較エリアＥ３ａとＥ３ｂとの類似度
Ｒ３が低く（値が大きい）、比較エリアＥ１ａとＥ１ｂ
との類似度Ｒ１は高い（値が小さい）ので、代表類似度
ＲｄはＲ３が取られる。また、図１４（ａ）の場合、比
較エリアＥ３ａとＥ３ｂとの類似度Ｒ３が高く（値が小
さい）、比較エリアＥ１ａとＥ１ｂとの類似度Ｒ１は高
い（値が小さい）ので、代表類似度ＲｄはＲ１またはＲ
３が取られ、いづれがとられたとしても小さな値とな
る。従って、対象位置決定手段８は、代表類似度の高い
図１４（ａ）の切り出し枠Ｆ２を採用し、該枠の座標を
対象指定枠記憶手段４に出力し（ステップＳ１０７）、
そのときの類似度を記憶対象更新判定手段９に出力す
る。

【００６５】記憶対象更新判定手段９は、図１４（ａ）
の場合の代表類似度Ｒｄがしきい値ＴＨ以上であれば
（ステップＳ１０９）、対象記憶手段５にテンプレート
の画像データＤ１の更新を許可し、対象記憶手段５は前
記対象指定枠記憶手段４の記憶した座標の枠内の画像デ
ータを記憶して（ステップＳ１０８）、次回の演算の際
のテンプレートとして用いる。一方、代表類似度Ｒｄが
しきい値ＴＨ以下であれば（ステップＳ１０９）、対象
記憶手段５にテンプレートの画像データＤ１の更新を禁
止するので、類似度の低い画像を無理に次回のテンプレ
ートとして記憶することなく、引き続き今回使用したテ
ンプレートの画像データＤ１を次回も使用するようにす
る。このようにすることにより、障害物の影響で類似度
の高い切り出し枠Ｆ２の位置を見つけることができず
に、強いて選択した追尾対象の位置の画像を次回のテン
プレートとすることなく、従って次回の演算時に誤った
テンプレートを用いることがない。

【００６６】〔第三実施の形態〕図１６は自動追尾装置
の構成を示すブロック図である。図１７は自動追尾装置
の動作を説明するフローチャートである。なお、図１６
においては前述の第一実施の形態で説明したところの自
動追尾装置と同等の箇所には同じ符号を付してあるの
で、同等の箇所の詳細な説明は省略する。

【００６７】図１６に示す本第三実施の形態の自動追尾
装置が、前述の第一実施の形態で説明したところの自動
追尾装置と異なり特徴となるのは次の構成である。

【００６８】第一に自動追尾設定／解除手段１０と対象
指定枠位置選択手段１１とを設けた構成である。自動追
尾設定／解除手段１０は、操作者の操作により自動追尾
装置の追尾動作を自動モードまたは手動モードに切り換
え、また後述する自動追尾可否判定手段１２から自動モ
ード信号を受け取ると自動モードに切り換えるものであ
る。対象指定枠位置選択手段１１は、自動モードの場合
にあっては、対象位置決定手段８の出力する切り出し枠
Ｆ２の対角の座標を新たな対象指定枠Ｆ１の対角の座標
として対象指定枠記憶手段に出力し、手動モードの場合
にあっては、対象指定枠設定手段３の出力する座標を新
たな対象指定枠Ｆ１の対角の座標として対象指定枠記憶
手段に出力する。対象指定枠設定手段３は、第一実施の
形態で説明したように、対象指定枠Ｆ１を画面上で移動
させるものである。従って、自動モードの場合は、対象
位置決定手段８により新たな対象指定枠Ｆ１の位置が決
定され、手動モードの場合には操作者の操作により対象
指定枠設定手段３より決定される。

【００６９】第二に自動追尾可否判定手段１２と初期対
象記憶手段１３とを設け、類似演算手段７は手動モード
にあってはテンプレートとして対象記憶手段５の記憶す
る画像データＤ１を用いずに、初期対象記憶手段１３に
記憶する画像データＤ１を用いるようにした構成であ
る。初期対象記憶手段１３は、動作開始時の対象指定枠
設定時において、設定された対象指定枠Ｆ１内の画像デ
ータをテンプレートとして記憶するものである。もちろ
ん、前述の対象記憶手段５も画像データＤ１を記憶す
る。対象記憶手段５の記憶する画像データＤ１は次々と
更新されるのに対して、初期対象記憶手段１３の記憶す
る画像データＤ１は更新されずに同じものが保持され続
ける。

【００７０】自動追尾可否判定手段１２は、手動モード
において、対象位置決定手段８が決定した切り出し枠Ｆ
２の枠内の画像データＤ２と初期対象記憶手段１３に記
憶する画像データＤ１との類似度が一定値以上であれ
ば、自動追尾設定／解除手段１０に自動モード信号を出
力する。

【００７１】以上のようにして構成された自動追尾装置
の動作を、図１７に基づいて説明する。

【００７２】まず、初期設定において、操作者が対象指
定枠Ｆ１を指定すると、対象指定枠Ｆ１で囲まれた部分
の画像データＤ１を、対象記憶手段５と初期対象記憶手
段１３とが記憶する（ステップＳ１０１，Ｓ１０２，Ｓ
１０３，Ｓ１１０）。

【００７３】通常は、自動追尾装置は自動追尾設定／解
除手段１０によって自動モードにされており、対象位置
決定手段８の出力する切り出し枠Ｆ２の座標が対象指定
枠位置選択手段１１を経由して、新たな対象指定枠Ｆ１
として対象指定枠記憶手段４に記憶される点のみが異な
り、他の処理は第一実施の形態で説明した動作と同じで
ある。ところで、障害物など何らかの原因により、自動
追尾装置が誤動作して（ステップＳ１１１）、追尾対象
を追尾せずに、対象指定枠Ｆ１が追尾対象から大きく離
れた場合、操作者は自動追尾設定／解除手段１０を操作
して、装置を手動モードに変更する（ステップＳ１１
２）。

【００７４】そして、操作者が対象指定枠設定手段３を
操作すると、対象指定枠Ｆ１が操作に応じて移動し（ス
テップＳ１１３）、対象指定枠Ｆ１の対角の座標は対象
指定枠位置選択手段１１を経由して対象指定枠記憶手段
４に記憶される。類似演算手段７は、自動追尾装置が手
動モードなので、初期対象記憶手段１３の記憶する画像
データＤ１をテンプレートとして演算を行い、対象位置
決定手段８は該画像データＤ１と最も類似度の高い切り
出し枠Ｆ２を決定する（ステップＳ１０４、Ｓ１０
７）。自動追尾可否判定手段１２は、手動モードにおい
て、対象位置決定手段８が決定した切り出し枠Ｆ２の枠
内の画像データＤ２と初期対象記憶手段１３に記憶する
画像データＤ１との類似度が一定以上高ければ（ステッ
プＳ１１４）、自動追尾設定／解除手段１０に自動モー
ド信号を出力する。自動追尾設定／解除手段１０は、自
動モード信号を受け取ると、自動追尾装置を自動モード
にする（ステップＳ１１５）。自動モードになると、対
象指定枠位置選択手段１１は、再び対象位置決定手段８
の出力する座標を対象指定枠記憶手段に記憶させるよう
になり（ステップＳ１０８）、自動追尾が再開する（ス
テップＳ１１６）。

【００７５】従って、手動モードにあっては、操作者が
対象指定枠Ｆ１を追尾対象に近づければ、再び自動モー
ドとなり、追尾対象の自動追尾が行われる。

【００７６】なお、本第一実施の形態において、類似演
算手段７は、色コードを用いて類似度を求めているが、
類似度を求めることができるならば色コードに限られる
ものではなく、例えば画像の濃淡値を用いてもよく、ま
た二値化した値を用いるようにしてもよい。

【００７７】また、本第三実施の形態では、初期対象記
憶手段１３は動作開始時の対象指定枠設定時における対
象指定枠Ｆ１内の画像を保持するようにしているが、初
期対象記憶手段１３に記憶する画像は、自動追尾装置が
追尾対象を追尾できなくなったときの処理においてテン
プレートとして参照されるものであるから、初期対象記
憶手段１３は動作開始時の対象指定枠設定時の対象指定
枠内の画像を記憶するにもの限られず、正しく追尾され
ている場合に限って一定周期で更新された画像を記憶る
ようにしても良く、操作者の明示的な操作により更新さ
れた画像を記憶するようにしてもよい。

【００７８】

【発明の効果】本発明の自動追尾方法及びその装置は上
述のように構成してあるから、請求項１記載の発明にあ
っては、類似度の計算は、切り出し枠内の画像とテンプ
レートの画像との第一の類似度を計算し、切り出し枠内
の所定領域の画像とテンプレートの所定領域の画像との
第二の類似度を計算し、第一の類似度と第二の類似度と
の類似度の低い方を探索位置における代表類似度として
出力するものとし、対象指定枠の位置の決定は、各探索
位置における代表類似度を逐次記憶して、探索領域の全
ての探索位置における代表類似度を記憶した後に、該記
憶した代表類似度の中から最も類似度の高い代表類似度
を選択し、該代表類似度の探索位置を追尾対象の位置で
ある新たな対象指定枠の位置とするから、背景の類似度
は高いが追尾対象が切り出し枠から外れているような位
置を選択することなく自動追尾でき、また対象物が色鮮
やかな特徴色を持たなくとも自動追尾のできる自動追尾
方法を提供することができるという効果を奏する。

【００７９】請求項２記載の発明にあっては、請求項１
記載の発明の効果に加えて、切り出し枠内の画像とテン
プレートの画像との類似度が最も高くなる切り出し枠の
位置における切り出し枠内の画像を新たなテンプレート
として記憶内容を更新するから、対象物の移動などによ
り画面上での形状や大きさなどが変化をしても自動追尾
のできる自動追尾方法を提供することができるという効
果を奏する。

【００８０】請求項３記載の発明にあっては、請求項２
記載の発明の効果に加えて、切り出し枠内の画像とテン
プレートの画像との類似度が最も高くなる切り出し枠の
位置における該類似度と既定のしきい値とを比較して、
該類似度がしきい値以上であれば、テンプレートの更新
を許可し、該類似度がしきい値以下であれば、テンプレ
ートの更新を禁止するので、類似度の低い画像を無理に
次回のテンプレートとして記憶することなく、引き続き
今回使用したテンプレートを次回も使用するため、障害
物の影響で類似度の高い切り出し枠の位置を見つけるこ
とができずに強いて選択した追尾対象の位置の画像を次
回のテンプレートとすることなく、従って追尾対象の移
動による見え方の変化や障害物による隠れが生じても自
動追尾することのできる自動追尾方法を提供することが
できるという効果を奏する。

【００８１】請求項４記載の発明にあっては、請求項１
または請求項２または請求項３記載の発明の効果に加え
て、対象指定枠を演算結果に基づき移動させる自動モー
ドと対象指定枠を操作者の操作により移動させる手動モ
ードとを切り換え、自動モードにあっては類似度より計
算した位置を追尾対象の位置とし、手動モードにあって
は操作者の操作により指示される位置を追尾対象の位置
とし、手動モードにおいて切り出し枠内の画像とテンプ
レートの画像との類似度が最も高くなる切り出し枠の位
置における類似度と既定のしきい値とを比較して、該類
似度がしきい値以上であれば、自動モードに切り換える
ので、自動モードにおいて追尾対象を追尾しなくなった
場合には、操作者は手動モードに変更して、対象指定枠
を操作してを追尾対象に近づければ、再び自動モードと
なり追尾対象の自動追尾が行われ、従って追尾に誤りを
生じて正しく追尾しなくなっても、容易に再度正しく自
動追尾することのできる自動追尾方法を提供することが
できるという効果を奏する。

【００８２】請求項５記載の発明にあっては、請求項１
または請求項２または請求項３または請求項４記載の発
明の効果に加えて、前記第二の類似度を計算する領域
を、第一の類似度を計算する領域の内側であって、上方
に偏心しているので、追尾対象の下方部分に障害物によ
る隠れが生じても自動追尾することのできる自動追尾方
法を提供することができるという効果を奏する。

【００８３】請求項６記載の発明にあっては、類似演算
手段は、切り出し枠内の画像とテンプレートの画像との
第一の類似度を計算し、切り出し枠内の所定領域の画像
とテンプレートの所定領域の画像との第二の類似度を計
算し、第一の類似度と第二の類似度との類似度の低い方
を探索位置における代表類似度として出力し、前記対象
位置決定手段は、類似演算手段の出力する各探索位置に
おける代表類似度を逐次記憶して、探索領域の全ての探
索位置における代表類似度を記憶した後に、該記憶した
代表類似度の中から最も類似度の高い代表類似度を選択
し、該代表類似度の探索位置を追尾対象の位置である新
たな対象指定枠の位置とするので、背景の類似度は高い
が追尾対象が切り出し枠から外れているような位置を選
択することなく自動追尾でき、また対象物が色鮮やかな
特徴色を持たなくとも自動追尾のできる自動追尾装置を
提供することができるという効果を奏する。

【００８４】請求項７記載の発明にあっては、請求項６
記載の発明の効果に加えて、対象記憶手段は、前記対象
位置決定手段の計算した切り出し枠内の画像とテンプレ
ートの画像との類似度が最も高くなる切り出し枠の位置
における切り出し枠内の画像を新たなテンプレートとし
て記憶内容を更新するので、対象物の移動などにより画
面上での形状や大きさなどが変化をしても自動追尾ので
きる自動追尾装置を提供することができるという効果を
奏する。

【００８５】請求項８記載の発明にあっては、請求項７
記載の発明の効果に加えて、記憶対象更新判定手段は、
対象位置決定手段の計算した切り出し枠内の画像とテン
プレートの画像との類似度が最も高くなる切り出し枠の
位置における該類似度と既定のしきい値とを比較して、
該類似度がしきい値以上であれば、前記対象記憶手段に
対してテンプレートの更新を許可し、該類似度がしきい
値以下であれば、前記対象記憶手段に対してテンプレー
トの更新を禁止するので、類似度の低い画像を無理に次
回のテンプレートとして記憶することなく、引き続き今
回使用したテンプレートを次回も使用するため、障害物
の影響で類似度の高い切り出し枠の位置を見つけること
ができずに強いて選択した追尾対象の位置の画像を次回
のテンプレートとすることなく、従って追尾対象の移動
による見え方の変化や障害物による隠れが生じても自動
追尾することのできる自動追尾装置を提供することがで
きるという効果を奏する。

【００８６】請求項９記載の発明にあっては、請求項６
または請求項７または請求項８記載の発明の効果に加え
て、自動追尾設定／解除手段は、対象指定枠を自動追尾
装置が移動させる自動モードと対象指定枠を操作者の操
作により移動させる手動モードとを切り換え、対象指定
枠位置選択手段は、自動モードにあっては前記対象位置
決定手段の計算した位置を追尾対象の位置とし、手動モ
ードにあっては操作者の操作により前記対象指定枠設定
手段の出力する位置を追尾対象の位置とし、自動追尾可
否判定手段は、手動モードにおいて前記対象位置決定手
段の計算した切り出し枠内の画像とテンプレートの画像
との類似度が最も高くなる切り出し枠の位置における該
類似度と既定のしきい値とを比較して、該類似度がしき
い値以上であれば、自動モードに切り換えるので、自動
モードにおいて追尾対象を追尾しなくなった場合には、
操作者は手動モードに変更して、対象指定枠を操作して
を追尾対象に近づければ、再び自動モードとなり追尾対
象の自動追尾が行われ、従って追尾に誤りを生じて正し
く追尾しなくなっても、容易に再度正しく自動追尾する
ことのできる自動追尾装置を提供することができるとい
う効果を奏する。

【００８７】請求項１０記載の発明にあっては、請求項
６または請求項７または請求項８または請求項９記載の
発明の効果に加えて、第二の類似演算部の類似度を計算
する領域を、第一の類似演算部の類似度を計算する領域
の内側であって、上方に偏心しているので、追尾対象の
下方部分に障害物による隠れが生じても自動追尾するこ
とのできる自動追尾装置を提供することができるという
効果を奏する。

【図面の簡単な説明】

【図１】本発明の自動追尾装置の構成を示すブロック図
である。

【図２】対象指定枠と切り出し枠との説明図である。

【図３】比較エリアの説明図である。

【図４】あるシーンを記憶したテンプレートの画像デー
タを示すイメージ図である。

【図５】画像入力手段の出力する画像データのイメージ
図である。

【図６】切り出し枠を移動させたときの画像データのイ
メージ図である。

【図７】他のシーンを記憶したテンプレートの画像デー
タを示すイメージ図である。

【図８】画像入力手段の画像データのイメージ図であ
る。

【図９】切り出し枠を移動させたときの画像データのイ
メージ図である。

【図１０】自動追尾装置の動作を説明するフローチャー
トである。

【図１１】本発明の自動追尾装置の他の構成を示すブロ
ック図である。

【図１２】比較エリアの説明図である。

【図１３】あるシーンを記憶したテンプレートの画像デ
ータを示すイメージ図である。

【図１４】切り出し枠内の画像データのイメージ図であ
る。

【図１５】自動追尾装置の動作を説明するフローチャー
トである。

【図１６】本発明の自動追尾装置の他の構成を示すブロ
ック図である。

【図１７】自動追尾装置の動作を説明するフローチャー
トである。

【符号の説明】

１画像入力手段２画像データ記憶手段４対象指定枠設定手段５対象記憶手段６探索手段７類似演算手段８対象位置決定手段９記憶対象更新判定手段１０自動追尾設定／解除手段１１対象指定枠位置選択手段１２自動追尾可否判定手段

Claims

【特許請求の範囲】

【請求項１】初期設定時に追尾対象を追尾するための
対象指定枠の位置を操作者の操作により移動させて設定
し、対象指定枠内の画像をテンプレートとして記憶し、
所定領域を撮像して画像データを獲得して記憶し、該画
像データの探索領域から所定領域の画像を取り出す切り
出し枠を順次移動させて切り出し枠内の画像を切り出
し、該切り出した画像とテンプレートの画像との類似度
を計算し、該演算結果より追尾対象の位置である新たな
対象指定枠の位置を求める自動追尾方法において、前記
類似度の計算は、切り出し枠内の画像とテンプレートの
画像との第一の類似度を計算し、切り出し枠内の所定領
域の画像とテンプレートの所定領域の画像との第二の類
似度を計算し、第一の類似度と第二の類似度との類似度
の低い方を探索位置における代表類似度として出力する
ものとし、前記対象指定枠の位置の決定は、各探索位置
における代表類似度を逐次記憶して、探索領域の全ての
探索位置における代表類似度を記憶した後に、該記憶し
た代表類似度の中から最も類似度の高い代表類似度を選
択し、該代表類似度の探索位置を追尾対象の位置である
新たな対象指定枠の位置とすることを特徴とする自動追
尾方法。
【請求項２】切り出し枠内の画像とテンプレートの画
像との類似度が最も高くなる切り出し枠の位置における
切り出し枠内の画像を新たなテンプレートとして記憶内
容を更新することを特徴とする請求項１記載の自動追尾
方法。
【請求項３】切り出し枠内の画像とテンプレートの画
像との類似度が最も高くなる切り出し枠の位置における
該類似度と既定のしきい値とを比較して、該類似度がし
きい値以上であれば、テンプレートの更新を許可し、該
類似度がしきい値以下であれば、テンプレートの更新を
禁止することを特徴とする請求項２記載の自動追尾方
法。
【請求項４】対象指定枠を演算結果に基づき移動させ
る自動モードと対象指定枠を操作者の操作により移動さ
せる手動モードとを切り換え、自動モードにあっては類
似度より計算した位置を追尾対象の位置とし、手動モー
ドにあっては操作者の操作により指示される位置を追尾
対象の位置とし、手動モードにおいて切り出し枠内の画
像とテンプレートの画像との類似度が最も高くなる切り
出し枠の位置における類似度と既定のしきい値とを比較
して、該類似度がしきい値以上であれば、自動モードに
切り換えることを特徴とする請求項１または請求項２ま
たは請求項３記載の自動追尾方法。
【請求項５】前記第二の類似度を計算する領域を、第
一の類似度を計算する領域の内側であって、上方に偏心
していることを特徴とする請求項１または請求項２また
は請求項３または請求項４記載の自動追尾方法。
【請求項６】初期設定時に、追尾対象を追尾するため
の対象指定枠の位置を操作者の操作により移動させて設
定する対象指定枠設定手段と、対象指定枠内の画像をテ
ンプレートとして記憶する対象記憶手段と、所定領域を
撮像して画像データを出力する画像入力手段と、該画像
データを記憶する画像データ記憶手段と、該画像データ
の探索領域から所定領域の画像を取り出す切り出し枠を
順次移動させて切り出し枠内の画像を出力する探索手段
と、該切り出し枠内の画像とテンプレートの画像との類
似度を計算する類似演算手段と、該類似演算手段の演算
結果より追尾対象の位置である新たな対象指定枠の位置
とする対象位置決定手段とを有する自動追尾装置におい
て、前記類似演算手段は、切り出し枠内の画像とテンプ
レートの画像との第一の類似度を計算し、切り出し枠内
の所定領域の画像とテンプレートの所定領域の画像との
第二の類似度を計算し、第一の類似度と第二の類似度と
の類似度の低い方を探索位置における代表類似度として
出力し、前記対象位置決定手段は、類似演算手段の出力
する各探索位置における代表類似度を逐次記憶して、探
索領域の全ての探索位置における代表類似度を記憶した
後に、該記憶した代表類似度の中から最も類似度の高い
代表類似度を選択し、該代表類似度の探索位置を追尾対
象の位置である新たな対象指定枠の位置とすることを特
徴とする自動追尾装置。
【請求項７】前記対象記憶手段は、前記対象位置決定
手段の計算した切り出し枠内の画像とテンプレートの画
像との類似度が最も高くなる切り出し枠の位置における
切り出し枠内の画像を新たなテンプレートとして記憶内
容を更新することを特徴とする請求項６記載の自動追尾
装置。
【請求項８】前記対象位置決定手段の計算した切り出
し枠内の画像とテンプレートの画像との類似度が最も高
くなる切り出し枠の位置における該類似度と既定のしき
い値とを比較して、該類似度がしきい値以上であれば、
前記対象記憶手段に対してテンプレートの更新を許可
し、該類似度がしきい値以下であれば、前記対象記憶手
段に対してテンプレートの更新を禁止する記憶対象更新
判定手段を設けたことを特徴とする請求項７記載の自動
追尾装置。
【請求項９】対象指定枠を自動追尾装置が移動させる
自動モードと対象指定枠を操作者の操作により移動させ
る手動モードとを切り換える自動追尾設定／解除手段
と、自動モードにあっては前記対象位置決定手段の計算
した位置を追尾対象の位置とし、手動モードにあっては
操作者の操作により前記対象指定枠設定手段の出力する
位置を追尾対象の位置とする対象指定枠位置選択手段
と、手動モードにおいて前記対象位置決定手段の計算し
た切り出し枠内の画像とテンプレートの画像との類似度
が最も高くなる切り出し枠の位置における該類似度と既
定のしきい値とを比較して、該類似度がしきい値以上で
あれば、自動モードに切り換える自動追尾可否判定手段
とを有することを特徴とする請求項６または請求項７ま
たは請求項８記載の自動追尾装置。
【請求項１０】前記第二の類似演算部の類似度を計算
する領域を、第一の類似演算部の類似度を計算する領域
の内側であって、上方に偏心していることを特徴とする
請求項６または請求項７または請求項８または請求項９
記載の自動追尾装置。