JPH09127227A - 自動追尾装置 - Google Patents

自動追尾装置

Info

Publication number
JPH09127227A
JPH09127227A JP7282051A JP28205195A JPH09127227A JP H09127227 A JPH09127227 A JP H09127227A JP 7282051 A JP7282051 A JP 7282051A JP 28205195 A JP28205195 A JP 28205195A JP H09127227 A JPH09127227 A JP H09127227A
Authority
JP
Japan
Prior art keywords
tracking
image
target
gate
tracking target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7282051A
Other languages
English (en)
Other versions
JP3487045B2 (ja
Inventor
Kenichi Hagio
健一 萩尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP28205195A priority Critical patent/JP3487045B2/ja
Publication of JPH09127227A publication Critical patent/JPH09127227A/ja
Application granted granted Critical
Publication of JP3487045B2 publication Critical patent/JP3487045B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 追尾性能の優れたものとする。 【解決手段】 画像入力手段1 と、画像中から追尾対象
を指定する追尾対象指定手段4 と、画像中の指定される
探索領域内で追尾ゲートを所定の探索ステップ間隔によ
り移動して追尾対象の位置を算出する対象位置検出手段
6fと、対象位置検出手段の算出する追尾対象の位置に応
じて画像入力手段を回動する回動手段2 とを備える自動
追尾装置において、チルト方向の回動位置に応じ追尾ゲ
ートサイズを変える追尾ゲートサイズ制御手段6hを設け
た。チルト方向の回動位置に応じ探索領域のサイズを変
える探索領域サイズ制御手段を設けた。チルト方向の回
動位置に応じ追尾対象位置の算出に用いる画像データの
間引き率を変える間引き制御手段6iを付加した。チルト
方向の回動位置に応じ画像中の指定される探索領域内を
探索する探索ステップ間隔を変える探索ステップ間隔制
御手段を付加した。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像する画像を利
用して、指定した対象を自動的に画像の中央に位置させ
るように追尾する自動追尾装置に関する。
【0002】
【従来の技術】近年、その利便性から画像を利用する自
動追尾装置が多くの分野で利用されるようになってきて
いる。この画像を利用する自動追尾の方法として、従来
からテンプレートマッチング法が利用されている。テン
プレートマッチング法は、テンプレートと呼ばれる所定
の大きさに切り出した画像データを、入力画像上で移動
させるとともに、移動させたそれぞれの位置で相関演算
を行い、最も相関の高い位置を捜し出す方法である。
【0003】ところで、自動追尾では、先ず追尾対象を
画像上で対象指定枠などを用いて指定し、その対象指定
枠内の画像データをテンプレートとして記憶する。次い
で、次々と入力される画像に対してテンプレートマッチ
ングを施し、最も相関の高い位置を求めることにより自
動追尾を実現している。
【0004】しかし、このテンプレートマッチング法で
は、追尾対象の移動などにより画像上の追尾対象の形状
や大きさが変化するため、テンプレートと入力画像との
間の相関が崩れてしまい、追尾できなくなる場合があ
る。そこで、相関を維持するために、テンプレートを時
々刻々と更新していく方法が提案されている。また、更
に追尾性能を向上させる手段として、ズームレンズ機構
を搭載し、抽出した追尾対象の大きさに基づいてズーム
レンズ機構を制御する方法も提案されている。
【0005】また、テンプレートマッチング法では、テ
ンプレートを探索領域内で予め定められた検索ステップ
間隔で移動させながら相関演算を行うため、非常に演算
量が多く処理に時間がかかり追尾速度に支障をきたす場
合がある。そこで、演算量を少なくするため、テンプレ
ート内の全画像データを用いて相関演算を行うのではな
く間引いて演算処理を行う方法、探索ステップ間隔を粗
くする方法なども、提案されている。
【0006】一方、画像上で追尾対象を捜す範囲すなわ
ち探索領域は、画像入力手段と追尾対象との位置関係
と、追尾対象の運動モデルと、画像入力間隔とを規定す
ることができれば適切な範囲に限定でき、探索領域を制
限することにより追尾性能の向上と処理時間の短縮とが
可能になる。しかし、追尾対象と画像入力手段との位置
関係は通常容易には求められないので、最悪の場合を考
慮した広めに設定した固定の探索領域とする方法、ある
いは、簡易的に追尾対象の画像上の運動を2次元モデル
として表現し、次に画像上に現れる追尾対象の位置を予
測することで探索領域を制限する方法なども、提案され
ている。
【0007】
【発明が解決しようとする課題】さて、上述したテンプ
レートを逐次更新する方法にあっては、例えば、図10
(a)に示すように、追尾対象Pの大きさが追尾ゲート
Gと比較して小さくなった場合、背景の影響を大きく受
けることになる。このような場合、追尾対象よりも背景
との相関の方が支配的になり、追尾対象Pが図10
(b)に示すように移動しても、追尾対象Pを追尾しな
い場合がある。つまり、図10(b)において、相関演
算の結果は、追尾ゲートG1 位置の相関よりも追尾ゲー
トG2 位置の相関の方が高いことが望ましいが、追尾ゲ
ートG1 位置の相関の方が大きくなってしまう場合があ
る、という問題点がある。
【0008】ズームレンズ機構を制御する方法にあって
は、画像入力手段の撮像する追尾対象のサイズは、テン
プレートの追尾対象のサイズに常に適合するように拡大
できるので、追尾対象よりも背景との相関の方が支配的
になることを軽減できるものの、重く嵩張りコストアッ
プになる、という問題点がある。
【0009】相関演算に供するテンプレート内の画像デ
ータを一定の割合で間引く方法は、追尾対象と画像入力
手段との距離が遠い場合、追尾対象は画像上で小さく映
るため、間引きをすると追尾性能が低下する。また、探
索領域サイズを固定にすると、追尾対象と画像入力手段
との距離が遠い場合、不必要な部分まで探索することに
なり追尾性能が低下する、という問題点がある。
【0010】追尾対象の2次元モデルによる予測位置の
利用は、追尾対象が等速運動を行う場合に効果はある
が、等速運動を行わない場合、予測は必ずしも当たら
ず、必要な領域を探索できない、という問題点がある。
【0011】探索ステップ間隔を粗くする方法は、演算
量を少なくするものの、追尾対象と画像入力手段との距
離が遠い場合、追尾対象の位置の誤差を大きくする、と
いう問題点があった。
【0012】本発明は、上記の問題点を解決するために
成されたもので、その目的とするところは、追尾性能の
優れる自動追尾装置を提供することにある。
【0013】
【課題を解決するための手段】本発明は上記の問題点を
解決するため、請求項1記載の発明にあっては、画像入
力手段と、画像中から追尾対象を指定する追尾対象指定
手段と、画像中の指定される探索領域内で追尾ゲートを
所定の探索ステップ間隔により移動して追尾対象の位置
を算出する対象位置検出手段と、対象位置検出手段の算
出する追尾対象の位置に応じて画像入力手段を回動する
回動手段と、を備える自動追尾装置において、チルト方
向の回動位置に応じて前記追尾ゲートサイズを変える、
追尾ゲートサイズ制御手段を設けたことを特徴とする。
【0014】請求項2記載の発明にあっては、画像入力
手段と、画像中から追尾対象を指定する追尾対象指定手
段と、画像中の指定される探索領域内で追尾ゲートを所
定の探索ステップ間隔により移動して追尾対象の位置を
算出する対象位置検出手段と、対象位置検出手段の算出
する追尾対象の位置に応じて画像入力手段を回動する回
動手段と、を備える自動追尾装置において、チルト方向
の回動位置に応じて前記探索領域のサイズを変える、探
索領域サイズ制御手段を設けたことを特徴とする。
【0015】請求項3記載の発明にあっては、チルト方
向の回動位置に応じて、追尾対象位置の算出に用いる画
像データの間引き率を変える、間引き制御手段を付加し
たことを特徴とする。
【0016】請求項4記載の発明にあっては、チルト方
向の回動位置に応じて、画像中の指定される探索領域内
を探索する探索ステップ間隔を変える、探索ステップ間
隔制御手段を付加したことを特徴とする。
【0017】
【発明の実施の形態】以下、本発明に係る自動追尾装置
の第1の実施の形態を図1〜図7を用いて、第2の実施
の形態を図8を用いて、それぞれ詳細に説明する。
【0018】〔第1の実施の形態〕図1は自動追尾装置
を示すブロック図、図2は追尾対象の指定方法を説明す
る画像図、図3は追尾ゲートサイズ制御手段の動作を説
明する画像図、図4は追尾対象と画像入力手段との関係
を説明する側面図、図5は追尾ゲートサイズ制御手段の
動作を説明する画像図、図6は間引き制御手段の動作を
説明する画像図、図7は探索手段の動作を説明する画像
図である。
【0019】図1に示すように、自動追尾装置は、画像
入力手段1と、回動手段2と、チルト角入力手段3と、
追尾対象指定手段4と、画像モニタ装置5と、画像処理
部6とを含んで構成される。画像入力手段1は、CCD
カメラなどにて構成されている。回動手段2は、画像入
力手段1を支持する回転台であり、パン方向とチルト方
向との2軸を以て画像入力手段1の撮像方向を可変す
る。チルト角入力手段3は、回動手段2のチルト回動軸
に取着されるポテンショメータなどであり、画像入力手
段1のチルト角θy に比例する電圧信号を出力する。追
尾対象指定手段4は、操作者が初期設定時に操作するコ
ンソールである。画像モニタ装置5は、CRTなどにて
構成され、画像入力手段1の入力する画像と、画像処理
部6の処理した画像とを映し出す。
【0020】画像処理部6は、画像記憶手段6a と、追
尾ゲート位置記憶手段6b と、対象記憶手段6c と、探
索手段6d と、相関演算手段6e と、対象位置検出手段
6fと、回動角算出手段6g と、追尾ゲートサイズ制御
手段6h と、間引き制御手段6i とを備える。
【0021】画像記憶手段6a は、画像メモリなどにて
構成され、画像入力手段1から入力される画像データを
記憶する。追尾ゲート位置記憶手段6b は、追尾ゲート
の現在位置を記憶する。対象記憶手段6c は、テンプレ
ートとして使用するための画像データを記憶する。探索
手段6d は、所定の探索領域内で且つ所定の探索ステッ
プ間隔で、相関演算を行う位置に追尾ゲートを順次移動
させ、それぞれの移動位置で必要な画像データを画像記
憶手段6a から相関演算手段6e へ出力させる。
【0022】相関演算手段6e は、探索手段6d が画像
記憶手段6a から出力させた画像データと、対象記憶手
段6c の記憶する画像データとに基づいて相関演算を行
う。対象位置検出手段6f は、相関演算手段6e の算出
したそれぞれの結果に基づいて最も相関の高い位置を求
める。回動角算出手段6g は、画像上の座標で示される
追尾対象位置を画像中心に合わせるのに必要な、回動手
段2に指示を与えるためのパン方向とチルト方向との回
動角度を算出する。追尾ゲートサイズ制御手段6h は、
チルト角入力手段3から得るチルト角に比例する信号
を、追尾ゲートサイズに変換する。間引き制御手段6i
は、追尾ゲートサイズ制御手段6h で求めた追尾ゲート
サイズに基づいて、相関演算に用いる画像データを間引
く。
【0023】上述の自動追尾装置は次のように動作す
る。すなわち、操作者は、自動追尾を開始する前に、初
期設定として追尾対象を指定する。画像入力手段1によ
り撮像される画像は、例えば図2に示すように、画像モ
ニタ装置5の表示画面51を通して確認することができ
る。表示画面51は、追尾対象を記憶するためのテンプ
レートの領域を示す、長方形の追尾ゲートGを表示す
る。そこで、操作者は、追尾対象指定手段4を用いて、
追尾ゲートG内に追尾対象Pが入るように回動手段2を
操作し、追尾対象Pが追尾ゲートG内に入った時点で自
動追尾を開始する。
【0024】追尾ゲートGは、図3に示すように、画像
中央Oを中心とするように配置される。しかも、追尾ゲ
ートGの大きさは、画像上で適切に追尾対象を囲うこと
ができるよう可変にされている。追尾ゲートGの大きさ
は次のように設定される。すなわち、例えば図4に示す
ように、画像入力手段1の設置高さをHc 、追尾対象P
の高さをHp 、画像入力手段1と追尾対象Pとの水平距
離をLp とする。そして、図4に示す画像入力手段1の
撮像する画像が、画像モニタ装置5の表示画面51に、
図5に示すように映し出されたとする。
【0025】このとき、表示画面51に映し出される画
像上の、追尾対象Pの垂直方向の大きさSy は、幾何学
的な計算により求めることができ、(1)式で表すこと
ができる。
【0026】 Sy =F(f,Hc ,Hp ,θy )………………………(1) つまり、垂直方向の大きさSy は、画像入力手段1の設
置高さHc を予め計測するとともに追尾対象Pの高さH
p を設定すれば、画像入力手段1の撮像系の焦点距離f
を既知として、画像入力手段1のチルト角θy の関数と
して表される。また、追尾対象Pの水平方向の大きさS
x は、概略で、(2)式で表わせば実用上充分である。
なお、(2)式において、Cは比例定数である。
【0027】 Sx =C×Sy ………………………………………………(2) このように、チルト角θy に応じて追尾ゲートサイズを
変えることで、追尾ゲートが追尾対象を適切に囲うよう
にできる。また、演算式によらず、これらの関係を予め
求めておき、テーブル化することでチルト角θy を追尾
ゲートサイズに変換することもできる。追尾ゲートサイ
ズ制御手段6h は、この変換テーブルにより構成され、
チルト角入力手段3の出力するチルト角θy に比例する
信号に応じて、水平方向の大きさSx と垂直方向の大き
さSy とを出力する。
【0028】自動追尾装置は、追尾対象の指定操作が成
されると、追尾ゲートの位置を追尾ゲート位置記憶手段
6b に記憶する。また、自動追尾装置は、追尾ゲート位
置記憶手段6b に設定された位置の追尾ゲート内の画像
データを、画像記憶手段6aから読み出して対象記憶手
段6c に記憶する。
【0029】上述のようにして初期設定が終了すると、
自動追尾装置は追尾を開始する。先ず、画像入力手段1
は、一定時間間隔で所定の撮像領域を撮像し、撮像映像
を画像データとして画像記憶手段6a に出力する。画像
入力手段1の出力する画像データは、画像記憶手段6a
に逐次記憶される。探索手段6d は、追尾ゲートに対応
する画像記憶手段6a の画像データを読み出し、相関演
算手段6e に出力する。探索手段6d は、この読み出し
が終了すると、追尾ゲートを所定の探索領域内で所定の
探索ステップ間隔だけ移動する。
【0030】間引き制御手段6i は、追尾ゲートサイズ
が大きいと間引きを増加させ、追尾ゲートサイズが小さ
いと間引きを行わないようにする。これは、追尾ゲート
サイズが大きい場合は相関演算量が多く処理時間が長く
なる、これに対し、追尾ゲートサイズが小さい場合は解
像度が低いので、間引きを行うと正確な追尾が望めない
ためである。間引きは次のように行う。
【0031】相関演算を行う画素数は、水平方向Nx ド
ット垂直方向Ny ドットに予め定められている。そし
て、追尾ゲートサイズ制御手段6h の出力する追尾ゲー
トサイズがSx ×Sy ドットであるならば、相関演算に
供される画素は、相対アドレス座標(x,y)を用いて
次の(3)(4)式のように表すことができる。
【0032】 x=i×(Sx −1)/(Nx −1)………………………(3) y=j×(Sy −1)/(Ny −1)………………………(4) 但し、(3)(4)式において、iはi=0、1、…
(Nx −1)の正の整数であり、jはj=0、1、…
(Ny −1)の正の整数であり、xとyとはそれぞれ小
数点以下を切り捨てた正の整数である。
【0033】間引き制御手段6i は、追尾ゲートサイズ
制御手段6h の出力する追尾ゲートサイズが入力される
と、(3)(4)式にしたがって、間引かない画素につ
いてのみ相関演算を行うよう相関演算手段6e を制御す
る。例えば、この間引き制御手段6i の動作を図6を用
いて説明すると次のようになる。すなわち、予め定めら
れた相関演算を行う画素数が、水平方向Nx =6ドッ
ト、垂直方向Ny =14ドットであり、追尾ゲートサイ
ズ制御手段6h の出力する追尾ゲートサイズが水平方向
Sx =8ドット、垂直方向Sy =17ドットであったと
すると、(3)式におけるxの値はx=0,1,2,4,5,6 と
なり、(4)式におけるyの値はy=0,1,2,3,5,6,7,8,
10,11,12,13,15,16 となる。
【0034】すなわち、追尾ゲートサイズ制御手段6h
の出力する追尾ゲートサイズが、水平方向Sx =8ドッ
ト、垂直方向Sy =17ドットであったとしても、実際
に相関演算に供される画素は、x=0,1,2,4,5,6 の6列
とy=0,1,2,3,5,6,7,8,10,11,12,13,15,16 の14行と
の合計 6×14=84画素であり、残りのx=3,7 の2列と
y=4,9,14の3行との合計(8×17)-84=52画素は相関演
算に供されない。図6は前述の間引きのイメージを図示
したもので、斜線を施した画素が間引かれる。また、相
関演算のときには、対象記憶手段6c にテンプレートと
して記憶した画像データについても、(3)(4)式に
基づいて同様の間引きが施される。
【0035】なお、追尾ゲートサイズ制御手段6h の出
力する追尾ゲートサイズが、予め定めた水平方向Nx ド
ットと垂直方向Ny ドットとに満たない場合、間引き制
御手段6i は、間引きというよりは同じ画素を複数回利
用する補完を行い、実質的に拡大した水平方向Nx ドッ
ト垂直方向Ny ドットの画素が相関演算に供される。
【0036】相関演算手段6e は、間引き制御手段6i
からの指示に基づいて下記の(5)式に基づく演算を行
う。
【0037】 σ(i,j)=Σ0 NxΣ0 Ny|Q(x,y) −q(x,y) |…………(5) すなわち、相関演算手段6e は、それぞれ対応する画像
記憶手段6a における追尾ゲート内の画素値と対象記憶
手段6c (テンプレート)内の画素値との差分の絶対値
の総和σ(i,j)を求める。つまり、総和σ(i,j)は不整
合値の測度である。従って、画像記憶手段6a における
追尾ゲート内の画像と、対象記憶手段6c (テンプレー
ト)内の画像とは、総和σ(i,j)が小さいほど類似して
おり、相関が高く似ていることになる。なお、画素値と
しては、明暗値または色相値などを用いる。
【0038】なお、(5)式において、σ(i,j) の(i,
j) は次のことを表す。すなわち、探索手段6d は、所
定の探索領域内において所定の探索ステップ間隔で追尾
ゲートを順次移動させ、それぞれの移動位置毎に(5)
式を演算するが、(i,j) はこのときの、それぞれの追尾
ゲートの位置に対応して付される識別子であり、相対的
位置を表す。すなわち、図7に示すように、追尾ゲート
Gは、水平方向にステップ当たりδxドット移動し、垂
直方向にステップ当たりδyドット移動する。追尾ゲー
トGは、水平方向にIステップ移動するとともに垂直方
向にJステップ移動して、所定の探索領域R内の全領域
にわたる探索を終了する。つまり、ある位置の追尾ゲー
トG(i,j) に関する(5)式の演算結果がσ(i,j) であ
る。また、(5)式において、(x,y) は(3)(4)式
に基づいて決定される相対アドレス座標であり、相関演
算を行う際の間引きの対象にならない各画素の相対アド
レス座標を表す。Q(x,y) は画像記憶手段6a における
相対アドレス座標(x,y) の画素値を表す。q(x,y) は対
象記憶手段6c (テンプレート)における相対アドレス
座標(x,y) の画素値を表す。
【0039】対象位置検出手段6f は、次のようにして
追尾対象の位置を算出する。すなわち、対象位置検出手
段6f は、前記の所定の探索領域R内の全領域にわたる
探索の結果得られたI×J個のσ(i,j)の中で、最も小
さな値であるσ(i,j)を捜し出し、その(i,j)に基づ
き、画像記憶手段6a の記憶する画像上の追尾対象の位
置を求める。
【0040】回動角算出手段6g は、対象位置検出手段
6f の算出した最も相関の高い位置(i,j)を画像中央に
合わせるために必要な、パン方向回動角度θx を(6)
式に基づいてチルト方向回動角度θy を(7)式に基づ
いてそれぞれ算出し、回転手段2に出力する。また、こ
のとき、対象記憶手段6c は、画像入力手段1が画像記
憶手段6a に入力する画像データを、追尾ゲートサイズ
制御手段6h がチルト角入力手段3からの入力信号に応
じて定める追尾ゲートサイズにて、新たに更新記憶す
る。
【0041】 θx = tan-1( Lx /f) ……………………………………(6) θy = tan-1( Ly /f) ……………………………………(7) (6)(7)式において、fは画像入力手段1の撮像系
の焦点距離である。L x は、対象位置検出手段6f の求
めたσ(i,j)を最小にする追尾ゲートG(i,j)の中心位
置に対応する画像入力手段1の撮像面上の位置の、撮像
面中心からの水平方向距離である。Ly は、対象位置検
出手段6f の求めたσ(i,j)を最小にする追尾ゲートG
(i,j)の中心位置に対応する画像入力手段1の撮像面上
の位置の、撮像面中心からの垂直方向距離である。な
お、Lx あるいはLy の単位はミリメートルであるが、
撮像面の1画素当たりの水平方向長さと垂直方向長さと
はそれぞれ既知であり、撮像面中心からの水平方向偏位
と垂直方向偏位とのそれぞれのドット数が決まれば、L
x あるいはLy は簡単に比例計算により算出できる。
【0042】回動手段2は、回動角算出手段6g から、
パン方向回動角度θx とチルト方向回動角度θy とを含
む信号を受信すると、該信号に基づいて画像入力手段1
の撮像方向を可変し、追尾対象Pを画像の中央に捕らえ
る撮像方向に回動する。そして、以後、自動追尾装置
は、新しく対象記憶手段6c (テンプレート)に記憶し
た画像データを基に、上記の処理を繰り返すことで自動
追尾を実現する。
【0043】従って、上述の第1の実施の形態の自動追
尾装置にあっては、画像入力手段1のチルト角θy に応
じて追尾ゲートサイズを変えるため、画像上の追尾対象
Pは追尾ゲートに常に適切に囲まれる状態になり、画像
の背景部分の影響をあまり受けないため追尾性能を向上
させることができる。また、チルト角θy に応じて間引
き制御を施すため、追尾対象が画像入力手段1の近くに
位置して、追尾ゲートサイズが大きくなって画素数が増
加しても、間引きを施して相関演算を行うので処理速度
の低下は生じない。
【0044】〔第2の実施の形態〕図8は自動追尾装置
を示すブロック図、図9は探索領域サイズ制御手段の動
作を示す説明図である。なお、図8において、前述の第
1の実施の形態にて説明した自動追尾装置と同等の箇所
にあっては、同じ符号を付してある。
【0045】図8に示すように、自動追尾装置は、画像
入力手段1と、回動手段2と、チルト角入力手段3と、
追尾対象指定手段4と、画像モニタ装置5と、画像処理
部6とを含んで構成される。画像入力手段1は、CCD
カメラなどにて構成されている。回動手段2は、画像入
力手段1を支持する回転台であり、パン方向とチルト方
向との2軸を以て画像入力手段1の撮像方向を可変す
る。チルト角入力手段3は、回動手段2のチルト回動軸
に取着されるポテンショメータなどであり、画像入力手
段1のチルト角θy に比例する電圧信号を出力する。追
尾対象指定手段4は、操作者が初期設定時に操作するコ
ンソールである。画像モニタ装置5は、CRTなどにて
構成され、画像入力手段1の入力する画像と、画像処理
部6の処理した画像とを映し出す。
【0046】画像処理部6は、画像記憶手段6a と、追
尾ゲート位置記憶手段6b と、対象記憶手段6c と、探
索手段6d と、相関演算手段6e と、対象位置検出手段
6fと、回動角算出手段6g と、探索領域サイズ制御手
段6j と、探索ステップ間隔制御手段6k とを備える。
【0047】画像記憶手段6a は、画像メモリなどにて
構成され、画像入力手段1から入力される画像データを
記憶する。追尾ゲート位置記憶手段6b は、追尾ゲート
の現在位置を記憶する。対象記憶手段6c は、テンプレ
ートとして使用するための画像データを記憶する。探索
手段6d は、所定の探索領域内で且つ所定の探索ステッ
プ間隔で、相関演算を行う位置に追尾ゲートを順次移動
させ、それぞれの移動位置で必要な画像データを画像記
憶手段6a から相関演算手段6e へ出力させる。
【0048】相関演算手段6e は、探索手段6d が画像
記憶手段6a から出力させた画像データと、対象記憶手
段6c の記憶する画像データとに基づいて相関演算を行
う。対象位置検出手段6f は、相関演算手段6e の算出
したそれぞれの結果に基づいて最も相関の高い位置を求
める。回動角算出手段6g は、画像上の座標で示される
追尾対象位置を画像中心に合わせるのに必要な、回動手
段2に指示を与えるためのパン方向とチルト方向との回
動角度を算出する。探索領域サイズ制御手段6j は、チ
ルト角入力手段3から得るチルト角に比例する信号を、
探索領域サイズに変換する。
【0049】探索ステップ間隔制御手段6k は、前述の
第1の実施の形態の説明にて用いた図7における、追尾
ゲートGの水平方向のステップ当たり移動ドットδxと
追尾ゲートGの垂直方向のステップ当たり移動ドットδ
yとを、探索領域サイズ制御手段6j の設定した探索領
域サイズに応じて次のように設定する。すなわち、探索
ステップ間隔制御手段6k は、探索領域サイズが大きい
場合には前記移動ドットδxと移動ドットδyとの値を
それぞれ大きく設定し、探索領域サイズが小さい場合に
は前記移動ドットδxと移動ドットδyとの値をそれぞ
れ小さく設定する。
【0050】上述の自動追尾装置は次のように動作す
る。すなわち、操作者は、自動追尾を開始する前に、初
期設定として追尾対象を指定する。画像入力手段1によ
り撮像される画像は、画像モニタ装置5の表示画面を通
して確認することができる。表示画面は、追尾対象を記
憶するためのテンプレートの領域を示す長方形の追尾ゲ
ートを表示する。そこで、操作者は、追尾対象指定手段
4を用いて、追尾ゲート内に追尾対象が入るように回動
手段2を操作し、追尾対象が追尾ゲート内に入った時点
で自動追尾を開始する。
【0051】自動追尾装置は、追尾対象の指定操作が成
されると、追尾ゲートの位置を追尾ゲート位置記憶手段
6b に記憶する。また、自動追尾装置は、追尾ゲート位
置記憶手段6b に設定された位置の追尾ゲート内の画像
データを、画像記憶手段6aから読み出して対象記憶手
段6c に記憶する。
【0052】上述のようにして初期設定が終了すると、
自動追尾装置は追尾を開始する。先ず、画像入力手段1
は、一定時間間隔で所定の撮像領域を撮像し、撮像映像
を画像データとして画像記憶手段6a に出力する。画像
入力手段1の出力する画像データは、画像記憶手段6a
に逐次記憶される。探索手段6d は、追尾ゲートに対応
する画像記憶手段6a の画像データを読み出し、相関演
算手段6e に出力する。探索手段6d は、この読み出し
が終了すると、追尾ゲートを、探索領域サイズ制御手段
6j の出力する大きさの探索領域内で、探索ステップ間
隔制御手段6kの決定する探索ステップ間隔だけ移動す
る。
【0053】このとき、探索領域サイズ制御手段6j
は、画像入力手段1の撮像方向のチルト角に基づいて、
チルト角が大きければ追尾ゲートの探索する探索領域を
大きくし、チルト角が小さければ追尾ゲートの探索する
探索領域を狭くする。これは、追尾対象と画像入力手段
1との距離が大きければ大きいほど、移動する追尾対象
の画像上での移動距離は短くなることを考慮したもので
ある。すなわち、図9に示すように、例えば画像処理を
行うサイクル時間当たりの、実際の追尾対象Pの水平方
向の最大移動距離をUx max 、画像入力手段1から追尾
対象までの距離をL、画像入力手段1の撮像系の焦点距
離をf、撮像面上での追尾対象の像の最大移動距離をu
x max とすると、(8)式が成立する。
【0054】 ux max =f×Ux max /L……………………………………(8) つまり、Ux max とfとが既知とすれば、撮像面上での
追尾対象の像の最大移動距離ux max は、画像入力手段
1から追尾対象までの距離Lに反比例する。従って、画
像入力手段1から追尾対象までの距離Lがわかれば、画
像上の追尾対象の像を探索する水平方向の範囲を制限で
きる。垂直方向についても同様に制限できる。この制限
によって追尾対象の像の存在しそうにもない位置の無駄
な探索を省き、追尾対象の位置を求めるための処理速度
を向上するとともに、探索領域以外のノイズの影響を排
除できる。
【0055】しかし、画像入力手段1から追尾対象まで
の水平距離Lは、直接的にはわからないものの、画像入
力手段1の設置高さHc を予め計測しておくとともに追
尾対象の高さHp を予め設定しておくことにより、チル
ト角入力手段3からの画像入力手段1の撮像方向のチル
ト角θy に基づき(9)式により簡単に演算できる。
【0056】 L=〔Hc −(Hp /2)〕/ sinθy ………………………(9) 従って、チルト角θy と撮像面上での追尾対象の像の最
大移動距離ux max とを関係付けることができる。つま
り、探索領域サイズ制御手段6i は、チルト角θy にし
たがって、画像入力手段1から追尾対象までの距離Lが
小さくなればなるほど広い適切な探索領域を出力する。
【0057】一方、同じ探索ステップ間隔δx,δyに
よる探索であれば、探索領域サイズ制御手段6i の設定
する探索領域サイズが大きくなればなるほど、全探索領
域を探索するにはステップ数が多くなり、追尾対象の位
置を演算し決定する処理時間は長くなる。そこで、探索
ステップ間隔制御手段6k は、探索領域サイズ制御手段
6i の設定する探索領域サイズが大きくなればなるほど
探索ステップ間隔δx,δyを広くするよう探索手段6
d に指示し、追尾対象の位置の算出時間の一定化を図
る。
【0058】相関演算手段6e は、上述のようにして探
索ステップ間隔制御手段6k の設定した探索ステップ間
隔δx,δyで全探索領域を探索し、第1の実施の形態
にて説明した(5)式に基づいて探索ステップ毎に不整
合の測度である総和σ(i,j)を求める。対象位置検出手
段6f は、第1の実施の形態にて説明したのと同様にし
て、それぞれの総和σ(i,j) の中の最小値を与える(i,
j) に基づき、追尾記憶手段6c (テンプレート)の画
像と最も類似している位置を算出し、画像記憶手段6a
の記憶する画像上の追尾対象の位置を求める。
【0059】後は、第1の実施の形態にて説明したのと
同様に、回動角算出手段6g は、対象位置検出手段6f
の求めた最も相関の高い位置(i,j)を画像中央に合わせ
るために必要な、パン方向回動角度θx を前述の(6)
式に基づいて、チルト方向回動角度θy を前述の(7)
式に基づいて、それぞれ算出し、回転手段2に出力す
る。また、このとき、対象記憶手段6c は、画像入力手
段1が画像記憶手段6aに入力する画像データを、新た
に更新記憶する。
【0060】回動手段2は、回動角算出手段6g から、
パン方向回動角度θx とチルト方向回動角度θy とを含
む信号を受信すると、該信号に基づいて画像入力手段1
の撮像方向を可変し、追尾対象Pを画像の中央に捕らえ
る撮像方向に回動する。そして、以後、自動追尾装置
は、新たに対象記憶手段6c (テンプレート)に記憶し
た画像データを基に、上記の処理を繰り返すことで自動
追尾を実現する。
【0061】従って、上述の第2の実施の形態の自動追
尾装置にあっては、画像入力手段1のチルト角θy に応
じて探索領域の広さを変えるため、画像上で不必要な領
域で追尾対象を捜す無駄が無く、追尾性能が向上する。
また、探索領域の広さに応じて探索ステップ間隔を広く
するので、追尾対象が画像入力手段1の近くに位置して
探索領域の広くなる場合であっても、追尾速度を低下さ
せずに済む。
【0062】
【発明の効果】請求項1記載の発明によれば、画像入力
手段と追尾対象との距離に応じて追尾ゲートサイズを変
化せしめるので、画像入力手段と追尾対象との距離にか
かわらず背景画像の影響を少なくすることのできる、追
尾性能の優れる自動追尾装置を提供できるという効果を
奏する。
【0063】請求項2記載の発明によれば、画像入力手
段と追尾対象との距離に応じて探索領域のサイズを変化
せしめるので、探索領域をできるだけ狭め、探索の無駄
を省き、追尾精度の向上と追尾速度の向上とを図ること
のできる、追尾性能の優れる自動追尾装置を提供できる
という効果を奏する。
【0064】請求項3記載の発明によれば、請求項1ま
たは2記載の効果に加えて、更に追尾速度の向上の図れ
る、優れる自動追尾装置を提供できるという効果を奏す
る。
【0065】請求項4記載の発明によれば、請求項3記
載の効果に加えて,更に追尾速度の向上と追尾精度の向
上とを図ることのできる、優れる自動追尾装置を提供で
きるという効果を奏する。
【図面の簡単な説明】
【図1】本発明に係る第1の実施の形態の自動追尾装置
を示すブロック図である。
【図2】上記自動追尾装置の追尾対象の指定方法を説明
する画像図である。
【図3】上記自動追尾装置の追尾ゲートサイズ制御手段
の動作を説明する画像図である。
【図4】上記自動追尾装置の追尾対象と画像入力手段と
の関係を説明する画像図である。
【図5】上記自動追尾装置の追尾ゲートサイズ制御手段
の動作を説明する画像図である。
【図6】上記自動追尾装置の間引き制御手段の動作を説
明する画像図である。
【図7】上記自動追尾装置の探索手段の動作を説明する
画像図である。
【図8】本発明に係る第2の実施の形態の自動追尾装置
を示すブロック図である。
【図9】上記自動追尾装置の探索領域サイズ制御手段の
動作を示す説明図である。
【図10】上記自動追尾装置の追尾ゲートと追尾対象と
の関係を示す画像図である。
【符号の説明】
1 画像入力手段 2 回動手段 4 追尾対象指定手段 6f 対象位置検出手段 6h 追尾ゲートサイズ制御手段 6i 間引き制御手段 6j 探索領域サイズ制御手段 6k 探索ステップ間隔制御手段 G 追尾ゲート P 追尾対象 R 検索領域 δx 探索ステップ間隔 δy 探索ステップ間隔

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 画像入力手段と、画像中から追尾対象を
    指定する追尾対象指定手段と、画像中の指定される探索
    領域内で追尾ゲートを所定の探索ステップ間隔により移
    動して追尾対象の位置を算出する対象位置検出手段と、
    対象位置検出手段の算出する追尾対象の位置に応じて画
    像入力手段を回動する回動手段と、を備える自動追尾装
    置において、チルト方向の回動位置に応じて前記追尾ゲ
    ートサイズを変える、追尾ゲートサイズ制御手段を設け
    たことを特徴とする自動追尾装置。
  2. 【請求項2】 画像入力手段と、画像中から追尾対象を
    指定する追尾対象指定手段と、画像中の指定される探索
    領域内で追尾ゲートを所定の探索ステップ間隔により移
    動して追尾対象の位置を算出する対象位置検出手段と、
    対象位置検出手段の算出する追尾対象の位置に応じて画
    像入力手段を回動する回動手段と、を備える自動追尾装
    置において、チルト方向の回動位置に応じて前記探索領
    域のサイズを変える、探索領域サイズ制御手段を設けた
    ことを特徴とする自動追尾装置。
  3. 【請求項3】 チルト方向の回動位置に応じて、追尾対
    象位置の算出に用いる画像データの間引き率を変える、
    間引き制御手段を付加したことを特徴とする請求項1ま
    たは2記載の自動追尾装置。
  4. 【請求項4】 チルト方向の回動位置に応じて、画像中
    の指定される探索領域内を探索する探索ステップ間隔を
    変える、探索ステップ間隔制御手段を付加したことを特
    徴とする請求項1乃至3記載の自動追尾装置。
JP28205195A 1995-10-30 1995-10-30 自動追尾装置 Expired - Fee Related JP3487045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28205195A JP3487045B2 (ja) 1995-10-30 1995-10-30 自動追尾装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28205195A JP3487045B2 (ja) 1995-10-30 1995-10-30 自動追尾装置

Publications (2)

Publication Number Publication Date
JPH09127227A true JPH09127227A (ja) 1997-05-16
JP3487045B2 JP3487045B2 (ja) 2004-01-13

Family

ID=17647530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28205195A Expired - Fee Related JP3487045B2 (ja) 1995-10-30 1995-10-30 自動追尾装置

Country Status (1)

Country Link
JP (1) JP3487045B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274703A (ja) * 2002-11-27 2007-10-18 Bosch Security Systems Inc ビデオ追跡システム及び方法
JP2009017271A (ja) * 2007-07-05 2009-01-22 Nikon Corp 撮像装置
US8031228B2 (en) 2006-02-22 2011-10-04 Sanyo Electric Co., Ltd. Electronic camera and method which adjust the size or position of a feature search area of an imaging surface in response to panning or tilting of the imaging surface

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4699056B2 (ja) * 2005-03-15 2011-06-08 パナソニック株式会社 自動追尾装置及び自動追尾方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274703A (ja) * 2002-11-27 2007-10-18 Bosch Security Systems Inc ビデオ追跡システム及び方法
US9876993B2 (en) 2002-11-27 2018-01-23 Bosch Security Systems, Inc. Video tracking system and method
US8031228B2 (en) 2006-02-22 2011-10-04 Sanyo Electric Co., Ltd. Electronic camera and method which adjust the size or position of a feature search area of an imaging surface in response to panning or tilting of the imaging surface
JP2009017271A (ja) * 2007-07-05 2009-01-22 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
JP3487045B2 (ja) 2004-01-13

Similar Documents

Publication Publication Date Title
CN107438173B (zh) 视频处理装置、视频处理方法和存储介质
JP5875453B2 (ja) 自動追尾装置
KR101111503B1 (ko) 전방향 피티지 카메라 제어 장치 및 그 방법
EP2795890A1 (en) Method and system for image centering during zooming
JP2011030015A5 (ja)
JP5183152B2 (ja) 画像処理装置
US7006706B2 (en) Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods
JPH11150676A (ja) 画像処理装置及び追尾装置
JP3487045B2 (ja) 自動追尾装置
JPH07181024A (ja) 3次元形状計測方法および装置
JPH08172620A (ja) 車両用画像入力手段
JP3491029B2 (ja) 自動監視装置
JP2004028811A (ja) 監視システムの距離補正装置および距離補正方法
JP4517813B2 (ja) パンニング撮影可能なカメラおよび動画像編集用プログラム
JPH11194027A (ja) 三次元座標計測装置
JP2002135766A (ja) 自動追尾装置
JP2003042760A (ja) 計測装置、計測方法及び計測システム
JP2667885B2 (ja) 移動物体の自動追尾装置
JP2000175101A (ja) 自動追尾装置
JP2002171438A (ja) 自動追尾装置
JP3393969B2 (ja) 自動撮影カメラシステムにおける被写体の認識方法および装置
JP2002171439A (ja) 自動追尾装置
JPH07324932A (ja) 被写体位置・軌跡検出システム
JPH1194527A (ja) 画像処理を用いたステレオ計測方法及び装置
JP2003097914A (ja) 位置検出装置及び位置検出プログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081031

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081031

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091031

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091031

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091031

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101031

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101031

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees