JPH06311410A - 物体追尾装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、テレビカメラで撮影した動画像より
追跡目的とする目的物体を検出すると共に追跡する物体
追尾装置において、高精度かつ確実に物体の動きを検出
して自動的に目的物体を追跡する。 【構成】画面中に設定された指定領域に追跡の目的物体
を入れ追跡を開始すると、映像信号の指定領域内のヒス
トグラムを演算し、ヒストグラムの頻度の高い範囲に関
して時空間画像を求め、この結果得られる時空間画像の
軌跡によつて撮影手段又は指定領域の移動を制御するよ
うにしたことにより、従来のブロツクマツチングに比べ
て種々の物体でも確実に動きを検出して追跡し得る。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１、図１０、図２６） 作用（図１、図１０、図２６） 実施例 （１）第１の実施例（図１〜図９） （２）第２の実施例（図２、図５〜図８、図１０〜図２
５） （３）第３の実施例（図１５〜図２２、図２５〜図３
４） （４）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は物体追尾装置に関し、例
えばテレビジヨンカメラを目的物体の動きに合わせて動
かし目的物体を追跡するものに適用し得る。

【０００３】

【従来の技術】従来、テレビジヨンカメラを目的物体の
動きに合わせて動かし目的物体を追跡する場合、まずテ
レビジヨンカメラで撮像された画像中の目的物体の動き
を検出する。この動き検出の方法としては、ブロツクマ
ツチング方法が一般的である。ブロツクマツチング方法
は画像のフレーム内を複数のブロツクに分割し、目的と
するブロツクを時間的に連続する次のフレームとの相関
演算を行い、誤差が最小になるブロツクを対応ブロツク
として動きを決定するものである。

【０００４】このブロツクマツチング方法による動き検
出では目的物体を他物体或いは背景から分離しないでマ
ツチングを取る方法なので、最終的な判定を統計的な量
により決定している。すなわち正しい対応が取れなくて
も誤差が最小なブロツクを選択することにより、動きを
決定するようになされている。

【０００５】

【発明が解決しようとする課題】ところが上述したよう
なブロツクマツチング方法による動き検出方法において
は、目的とするブロツクと時間的に連続する次のフレー
ムとの相関演算を行うため演算量が多く、さらにパター
ン化された物体の動きを検出することができないという
問題があつた。

【０００６】さらに目的とするブロツクと時間的に連続
する次のフレームとの相関により動きを検出する単純な
ブロツクマツチングのため、物体の大きさ変化には対応
できず、目的物体を特定しているわけではない。従つて
物体が視野内からいなくなつても相関演算の最小の場所
を対応ブロツクとして出力してしまい誤つた動きを検出
してしまう問題があつた。

【０００７】本発明は以上の点を考慮してなされたもの
で、高精度かつ確実に物体の動きを検出して自動的に目
的物体を追跡し得る物体追尾装置を提案しようとするも
のである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画面中に設定された指定領域ＷＡ
ＫＵ内の目的物体を追尾する物体追尾装置１において、
物体を撮影して映像信号を生成する撮影手段２と、初期
画面上の指定領域ＷＡＫＵ内の映像信号のヒストグラム
を演算するヒストグラム処理手段１２と、ヒストグラム
の頻度の高い範囲に関して、時空間画像を求める時空間
画像処理手段１１と、時空間画像の軌跡に基づいて、撮
影手段２を制御する制御手段１３とを設けるようにし
た。

【０００９】また本発明においては、画面中に設定され
た指定領域ＷＡＫＵ内の目的物体を追尾する物体追尾装
置１において、初期画面上の指定領域ＷＡＫＵ内の映像
信号のヒストグラムを演算するヒストグラム処理手段１
２と、ヒストグラムの頻度の高い範囲に関して、時空間
画像を求める時空間画像処理手段１１と、時空間画像の
軌跡に基づいて、指定領域を制御する制御手段１３とを
設けるようにした。

【００１０】

【作用】画面中に設定された指定領域ＷＡＫＵに追跡の
目的物体を入れ追跡を開始すると、映像信号の指定領域
ＷＡＫＵ内のヒストグラムを演算し、ヒストグラムの頻
度の高い範囲に関して時空間画像を求め、この結果得ら
れる時空間画像の軌跡によつて撮影手段２又は指定領域
ＷＡＫＵの移動を制御するようにしたことにより、従来
のブロツクマツチングに比べて種々の物体でも確実に動
きを検出して追跡し得る。

【００１１】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１２】（１）第１の実施例 図１は全体として本発明による物体追尾装置１を示し、
テレビカメラからの映像信号は、レンズ２Ａ、ズームレ
ンズ２Ｂ、絞り２Ｃ及びＣＣＤ撮像素子２Ｄを含む撮影
光学系２から出力される。映像信号はＡＧＣ回路３を通
りアナログデジタル変換回路（Ａ／Ｄ）４でデジタル信
号に変換され、デジタルカメラ処理回路５でＹ／Ｃ分離
され、デジタルアナログ変換回路（Ｄ／Ａ）６を通じて
輝度信号Ｙ及びクロマ信号Ｃとして送出される。輝度信
号Ｙ及びクロマ信号Ｃは図示せぬビユーフアインダに供
給され、表示が行われる。

【００１３】またデジタルカメラ処理回路５でＹ／Ｃ分
離されて得られる輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−
Ｙは、それぞれローパスフイルタ（ＬＰＦ）７を通過し
て可変画像圧縮回路８で画像圧縮される。このとき輝度
信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙが１／４又は１／８
に間引かれ、実際上 256× 256画素分の大きさ又は 128
× 128画素分の大きさに圧縮される。この切り替えはマ
イクロプロセツサ構成でなるシステム制御回路１３から
の制御信号Ｓ１によつて制御される。このようにして圧
縮された輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙのう
ち、直角座標系色信号Ｒ−Ｙ、Ｂ−Ｙは、飽和度（Satu
ration）／色相（Hue ）検出回路９を通つて極座標系Sa
turation、Hue に変換される。このようにして出力され
た１フイールド分のＹ信号、Ｈ信号、Ｓ信号はメモリ１
０に一旦蓄えられる。

【００１４】メモリ１０に記憶されたＹ信号、Ｈ信号、
Ｓ信号は、ヒストグラム処理回路１２及び時空間画像処
理回路１１に入力され、追尾するために指定された領域
内の色及び輝度信号ヒストグラムと、追尾指定された色
についてのｘ、ｙ方向時空間画像及び輝度信号のｘ、ｙ
方向時空間画像が生成される。システム制御回路１３
は、色についてのｘ、ｙ方向の時空間画像からｘ、ｙ方
向の動きベクトル及び変形量を計算する。

【００１５】またこのシステム制御回路１３は、このよ
うにして得られるｘ、ｙ方向の動きベクトル及び変形量
に基づいて、パンニングモータ駆動信号ＰＡＮ、ズーム
レンズモータ駆動信号ＺＯＯＭ、チルトモータ駆動信号
ＴＩＬＴを出力する。これらのモータ駆動信号ＰＡＮ、
ＺＯＯＭ、ＴＩＬＴでそれぞれパンニングモータ１４、
ズームレンズモータ１５、チルテイングモータ１６が動
作し、自動的に目的物体を追尾し得るようになされてい
る。またはフオーカスロツク、ＡＥなどを目的物体に焦
点ロツクしてコントロールすることもできる。なおシス
テム制御回路１３からメモリ１０への信号Ｓ２は領域指
定枠の設定、色領域と輝度領域の適応的な変更等のメモ
リ制御信号である。

【００１６】またシステム制御回路１３は、領域指定枠
の座標及び大きさの情報Ｓ３を枠信号発生部４１に供給
する。枠信号発生部４１は情報Ｓ３に基づいて領域指定
枠信号Ｓ４を発生する。領域指定枠信号Ｓ４はデジタル
アナログ変換回路６から出力された輝度信号Ｙに重畳さ
れ、ビユーフアインダ（図示せず）上に撮影された画像
と共に表示される。

【００１７】ここでこの実施例の場合、飽和度（Satura
tion）／色相（Hue ）検出回路９は、直角座標系色信号
Ｒ−Ｙ、Ｂ−Ｙを極座標系Saturation、Hue に変換する
もので、実際上、直角座標系色信号Ｒ−Ｙ、Ｂ−Ｙと極
座標系（ＨＳＩカラーモデル）Saturation、Hue の関係
は図２（Ａ）及び（Ｂ）のように表される。なお、ｕは
Ｒ−Ｙの値を示し、ＶはＢ−Ｙの値を示す。ここで直角
座標系色信号Ｒ−Ｙ、Ｂ−Ｙのダイナミツクレンジは
（-128、 127）であり、極座標系Ｓ、Ｈのダイナミツク
レンジは（ 0、 255）であり、それぞれ次式

【数１】 によつて変換される。

【００１８】この実施例では、まずユーザが入力部４０
のカーソルキー等（図示せず）を使つて、ビユーフアイ
ンダ上の領域指定枠を移動し、追尾させたい目的物体を
領域指定枠にはめ込む。そしてユーザが所望の位置で入
力部４０の確定キー等（図示せず）を押圧すると、初期
画面における領域指定枠が決定される。システム制御回
路１３は、この初期画面における領域指定枠の座標及び
大きさをメモリ制御信号Ｓ２としてメモリ１０に供給す
る。この実施例における目的物体は領域指定枠ＷＡＫＵ
内の赤い車である。

【００１９】参考までに、この領域指定枠における色分
布を図４（Ａ）及び図４（Ｂ）に示す。図４（Ａ）は直
角座標系で示した場合で、図４（Ｂ）は極座標系で示し
た場合である。この実施例ではヒストグラム処理回路１
２で求められたHue ヒストグラムＨＳＴ（図４（Ｃ））
を用いて、目的物体を特定する。領域指定枠ＷＡＫＵ内
のHue ヒストグラムＨＳＴ（図４（Ｃ））における最も
頻度の高い色領域を目的物体の色と仮定し、このとき色
領域の最大範囲を20と限定する。これは極座標系の角度
θでは約28度に相当する。実際上色領域の範囲を限定し
ないと複数色を追跡することになるためにこの実施例で
色領域は、次式

【数２】 の範囲に限定されている。

【００２０】またこの実施例の場合、時空間画像処理回
路１１は、映像情報について図５（Ａ）に示すような３
次元時空間直方体を想定し、当該３次元時空間直方体よ
り時空間画像を生成する。この時空間画像とは、一般に
連続入力される画像を時間軸方向に整列させて３次元時
空間直方体を形成し、この３次元時空間直方体のある時
刻における画像をｘ方向及びｙ方向に加算平均の演算を
行い、これを時間方向に並べたものである。この時空間
画像中にはカメラや物体の動きに合わせて濃淡縞模様が
表れる。

【００２１】実際上３次元時空間直方体内の各画素の輝
度信号の値ｉは、次式

【数３】 で表されるが、３次元時空間直方体内の各画素のHue の
値ｈ及びSaturationの値ｓは各々次式

【数４】 で表される。従つて目的物体の色決定によつて決定され
た色領域範囲（ｈ1 ≦ｈ≦ｈ2 、この実施例においては
ｈ1 ＝65、ｈ2 ＝85）から、色時空間画像（Hue）は図
５（Ｂ）及び図５（Ｃ）に示すように、ｘ方向について
次式

【数５】 及びｙ方向について次式

【数６】 で求める。

【００２２】このようにして求めた各時刻における色時
空間画像を図６に示すように色領域範囲で規格化する。
この実施例では輝度信号による時空間画像は用いないよ
うになされている。このようにして求めた時空間画像は
図７に示すように表される。図７（Ａ）は輝度信号によ
る時空間画像を示し、図７（Ｂ）は色信号による時空間
画像を示している。この例は赤い車でなる目的被写体が
緩やかな速度で動き出す様子をカメラを固定にしてレン
ズをワイドに引いて撮影したものである。

【００２３】全画面で時空間画像を取ると情報量が圧縮
し過ぎて正しい結果を得にくい。そのため、実際には領
域をｘ方向及びｙ方向それぞれに８分割し、その各々の
領域で時空間画像を生成している。例として画面をそれ
ぞれｘ方向及びｙ方向に４分割した場合図８に示すよう
になる。指定した又は自動的にコントロールされた指定
枠の位置により現在の被写体が存在するブロツクを求め
ることができ、そのブロツクの情報を使つて動き量や変
形量を算出することができる。上述した図７は８分割し
た内の被写体の存在する３ブロツクについての時空間画
像である。

【００２４】またこの実施例の物体追尾装置１では、こ
のようにして得られた色時空間画像について、システム
制御回路１３で図９に示すような手順を実行して、目的
物体の動き量及び変形量を検出する。すなわち図９はｘ
方向の時空間画像（図９（Ａ））について行なつた処理
でありｙ方向についても同様な処理を行なう。

【００２５】まず初期画面（ｔ＝０、ｔ＝ｔ−１（図９
（Ｂ））について、色時空間画像において初期設定され
た領域指定枠座標（ｗ0(t)、ｗ1(t)）の範囲内又は範囲
に股がる０でない座標領域（ｐ0 、ｐ1 ）を統合し、次
式

【数７】 で表されるその幅width(t)を被写体の初期状態とする。
このようにするとその両端の座標と領域指定枠までの距
離ｄ0(t)、ｄ1(t)は、次式

【数８】 で表される。この（８）式でもしｐ0 ＜ｗ0(t)ならｄ0
(t)＝０とし、ｐ1 ＜ｗ1(t)ならｄ1(t)＝０とする。実
際上初期画面においては動き量、変形量共に０である。

【００２６】次に継続画面（ｔ＝ｔ（図９（Ｃ））につ
いて、ｔ＝ｔ−１の被写体幅に接続する０でない領域を
求める。そのときの両端座標を（ｐ2 、ｐ3 ）とする。
このときの被写体幅は、次式

【数９】 より求め、変形量は、次式

【数１０】 より求める。

【００２７】続いて、（10）式より求めた変形量から新
たな領域指定枠座標を、次式

【数１１】 より求め、このようにして領域指定枠の大きさと動きを
追跡することができる。この動きベクトルは、次式

【数１２】 より求めることができる。

【００２８】またシステム制御回路１３は、ｘ方向につ
いて処理して求めた動きベクトルｍｖｘ（ｔ）を用い
た、次式

【数１３】 よりパンニングモータ１４を制御するパンニングモータ
駆動信号ＰＡＮを発生する。同様にしてｙ方向から求め
た動きベクトルｍｖｙ（ｔ）を用いた、次式

【数１４】 よりチルテイングモータ１６を制御するチルトモータ駆
動信号ＴＩＬＴを発生する。さらに領域枠の大きさの変
化に基づいて、次式

【数１５】 より、ズームレンズモータ１５を制御するズームレンズ
駆動信号ＺＯＯＭを発生する。なお（13）〜（15）式に
おいて、係数Ａ、Ｂ、Ｃはカメラの状態に応じた値であ
る。

【００２９】この実施例では、新たな領域指定枠座標か
ら、ｘ及びｙ方向の動きベクトル、枠の大きさを検出し
て、パンニングモータ１４、チルテイングモータ１６、
ズームレンズモータ１５を駆動するようにしたが、この
ような撮影光学系２の駆動は行わず、領域指定枠の移動
及び拡大、縮小のみ行うこともできる。この場合システ
ム制御回路１３は、枠信号発生部４１に対し新たな領域
指定枠座標の情報Ｓ３を供給する。枠信号発生部４１は
新たな領域指定枠座標に基づいて、領域指定枠信号Ｓ４
を更新する。

【００３０】以上の構成によれば、撮影光学系より取り
込んだ映像信号をＹ／Ｃ分離した後、追跡領域の色ヒス
トグラムから目的物体の色を推定し、その色の時空間画
像をｘ及びｙ方向それぞれに求め、その軌跡とその軌跡
の有する幅及び初期幅の相対的大きさから、ｘ方向及び
ｙ方向の動き量と変形量を検出するようにしたことによ
り、従来のブロツクマツチングに比べて少ない演算量で
パターン化された物体でも確実に動き量及び変形量を検
出し得る物体追尾装置を実現できる。

【００３１】さらに上述の構成によれば、ｘ及びｙ方向
の動き量と変形量に基づいて、カメラレンズ、カメラ本
体及び又はズームレンズを制御する駆動信号を生成する
ようにしたことにより、自動的に被写体を追跡すること
に加えて被写体の大きさの変化にも自動的に対応するこ
とができ、いつも好ましい大きさで目的物体を撮影する
ことができる物体追尾装置を実現でき、かくするにつき
使い勝手を格段的に向上し得る。

【００３２】さらに上述の構成によれば、ｘ及びｙ方向
の動き量と変形量に基づいて、領域指定枠を移動し、さ
らにその大きさを制御するようにしたことにより、所望
の目的物体を追尾することができ、目的物体に対する部
分的な画像処理等に応用することができる。

【００３３】（２）第２の実施例 図１との対応部分に同一符号を付して示す図１０におい
て、２０は全体として本発明の第２の実施例による物体
追尾装置を示し、この実施例の場合、飽和度（Saturati
on）／色相（Hue ）検出回路９より出力される極座標系
Saturation、Hue のうち、色相（Hue ）でなるＨ信号は
色フイルタ２１を通じてメモリ１０に一旦貯えられる。

【００３４】メモリ１０に記憶されたＹ信号、Ｈ信号、
Ｓ信号は、それぞれについての時空間画像処理回路２
２、２３、２４に入力され、追尾するために指定された
領域枠内の色及び輝度信号ヒストグラムを求められ、色
フイルタ２１の出力の大きい上位ｎ位色と最も頻度の高
い輝度範囲を目的物体の特徴量と仮定する。そして目的
物体の色及び輝度信号についてのｘ方向及びｙ方向の時
空間画像を求める。

【００３５】これらの時空間画像からシステム制御回路
１３で物体を特定した後、ｘ及びｙ方向の動きベクトル
や状態判別さらに大きさ等を計算し、目的物体を追跡す
るためのパンニングモータ駆動信号ＰＡＮ、ズームレン
ズモータ駆動信号ＺＯＯＭ、チルトモータ駆動信号ＴＩ
ＬＴを出力する。これらのモータ駆動信号ＰＡＮ、ＺＯ
ＯＭ、ＴＩＬＴでそれぞれパンニングモータ１４、ズー
ムレンズモータ１５、チルテイングモータ１６が動作
し、自動的に目的物体を追尾し得るようになされてい
る。

【００３６】この物体追尾装置２０の場合、飽和度（Sa
turation）／色相（Hue ）検出回路９は、図１１に示す
ように、それぞれｕ及びｖの値（ｕ、ｖは各々Ｒ−Ｙ、
Ｂ−Ｙの値を示す）からＲＯＭ構成のｈマトリクス９Ａ
及びＳマトリクス９Ｂを用いた表引きによつて変換が行
われる。このときに使う表として、図１２に示すような
ｕ又はｖの分布を指数関数分布と仮定する。

【００３７】そしてメモリ容量を減少させるため量子化
レベル数を 128からｎステツプに減少させる。このよう
にして再量子されたｕ及びｖ軸によつてできるｕ−ｖ平
面を図１３に示すように、Ｈ、Ｓ用に２面準備する。変
換マツプの各部分は領域内平均値を、上述した（１）式
によつて予め計算で求めるようになされている。

【００３８】またこの物体追尾装置２０の場合、色フイ
ルタ２１はｕ及びｖ信号から飽和度（Saturation）／色
相（Hue ）検出回路９によつて得られるＨ信号につい
て、色範囲を限定して各色範囲内におけるヒストグラム
の積分値を出力するものである。

【００３９】実際上Ｈ信号は図２の映像信号カラー平面
図に示したように二次元上で配置が決まつている。そこ
で色をＨｕｅ領域で分類して色フイルタ２１を構成す
る。ここで分類する色は一般に自然界で目にする色とし
て、赤色、青色、緑色、黄色、シアン、紫色、肌色を用
いた。なお色範囲は経験的に、紫色（Ｍｇ）、赤色
（Ｒ）、肌色、黄色（Ｙ）、緑色（Ｇ）、シアン（Ｃ
ｙ）及び青色（Ｂ）について、それぞれ 20-40、 65-8
5、90-110、 115-135、 150-170、 195-215及び 225-24
5に決定した。

【００４０】ここで例えば初期画像として図１５に示す
ような画像について、赤い車でなる目的物体の色を決定
する際には、上述したＨｕｅヒストグラムに色フイルタ
２１をかけ、各色範囲におけるヒストグラムの面積をフ
イルタ出力し、出力の上位ｎ位まで（例えばｎ＝２）の
色領域を目的物体の色と仮定する。実際上この色フイル
タ２１には、各色の間にギヤツプが設けらられ、このギ
ヤツプによつて中間色の影響を有効に除去し得るように
なされている。

【００４１】また時空間画像は第１の実施例と同様にし
て求めるが、この実施例では全画面で時空間画像を取る
と情報量が圧縮し過ぎて正しい結果を得難いため、実際
には図１５（Ｂ）に示すように、画像領域をｘ及びｙ方
向それぞれ指定領域枠ＷＡＫＵよりも幾分大きい幅の帯
状領域に限定し、当該領域内で図１６に示すような時空
間画像を求めるようになされている。

【００４２】またこの実施例に場合、システム制御回路
１３は、このようにして得られる色時空間画像について
時間差分を求めるようになされている。このようにする
と、色時空間画像における静止した部分が削除され、変
化のあつた部分のみの情報が抽出される。このときわず
かな動きやエツジのところなどをノイズとして抽出して
しまうので、差分画像からある大きさ以下の移動領域を
除去する。

【００４３】以上の構成において、実際上目的物体の追
跡を開始する場合には、まず最初に撮影者が追跡したい
物体をシステムに知らせる必要がある。そこで図１５
（Ａ）に示すように、第１の実施例の場合と同様にし
て、初期画面中に領域指定枠ＷＡＫＵで追跡する物体を
決定し、そして追跡を開始する。このようにすると、図
１７に示すように、領域指定枠ＷＡＫＵのｘ及びｙ方向
のそれぞれの両端座標Ｘ0、Ｘ1 から目的とする物体の
位置がわかる。

【００４４】そこで探索する領域をこの範囲とし、初期
画面の色時空間画像及び色時空間差分画像からこの範囲
内にある特徴量の座標（ｓ0 、ｓ1 ）を求め、次式

【数１６】 の条件を満たしている場合に目的物体として判断する。
あるいは、領域指定枠内に複数の特徴が分裂して存在す
る場合はその間隔がある値よりも小さければ統合し同一
の物体として見なす。

【００４５】また初期状態で特定された目的物体の座標
から時間連続性を使つて物体の移動する様子を図１８に
示すようにして調べる。初期状態ｔ0 における物体の座
標を（ｓ0 、ｓ1 ）とする。次の時刻ｔ1 における座標
（ｓ0 、ｓ1 ）に連続する座標（ｓ2 、ｓ3 ）を求め
る。ここで物体の大きさは次式

【数１７】 のように表され、このときの大きさの差ｄw は次式

【数１８】 として表され、これにより物体の大きさを決定する。

【００４６】またこの実施例では目的物体の状態の検出
として他の物体との交差や画面からの消去を検出する。
実際上他の物体の交差は図１９（Ａ）に示すような時空
間画像になり、物体の幅が他物体によつて隠されていく
様子がわかる。この物体幅の変化を使つて交差状態を推
定する。なお色で追跡物体を特定した場合、追跡物体の
色軌跡は図１９（Ｂ）に示すように、途中で分断された
軌跡になる。

【００４７】また物体が画面から消滅した場合、時空間
画像の運動軌跡が途切れるのでそれ以上は今までと同じ
アルゴリズムでは追跡が行えない。そこで、画面から消
滅したかどうかの判定が必要となる。図２０に時空間画
像における画面からの消滅の様子を示す。物体の座標を
（ｓ0 、ｓ1 ）とし、画面幅をwidth として、物体の座
標が次式

【数１９】 あるいは

【数２０】 の場合、画面から消滅しようとしていると判定するよう
になされている。

【００４８】またこの実施例のシステム制御回路１３で
は、色時空間画像によつて動きベクトルを検出するよう
になされ、実際上図２１に示すように、まず色時空間画
像において特定した物体のある時刻ｔにおける両端座標
を（ｓ0 、ｓ1 ）とする。時刻ｔ−１で両端座標（ｓ0
、ｓ1 ）に連続する特徴の両端座標を（ｓ2 、ｓ3 ）
とする。この連続性を使つて両端座標及び中心座標から
求められる動きベクトルをｍｖ1 、ｍｖ2 、ｍｖ3 とす
る。また図２２に示すように、色時空間差分画像におい
て、領域指定枠内にあるすべてのエツジの時間連続性か
ら、動きベクトルを求める。このとき枠内にあるすべて
のエツジについて動きベクトルｍｖi 〜ｍｖj とする。

【００４９】ここで目的物体の輝度について、図２３に
示すように、目的物体を指定した領域２１内の輝度ヒス
トグラムを取り、頻度の偏りのある部分を目的物体の輝
度範囲（ｈ0 、ｈ1 ）と決定する。続いて色信号と同様
にこの輝度範囲（ｈ0 、ｈ1）について平均値を求め、
ｘ及びｙ方向それぞれ次式、

【数２１】 により輝度時空間画像を生成する。計算範囲は色時空間
画像と同様に、図１５（Ｂ）について上述した帯状領域
である。

【００５０】続いて図２４に示すように得られる輝度時
空間画像の領域指定枠内の特徴についてエツジ部分を検
出し、そのエツジを含む小領域のパターンマツチングを
行い、相関の一番大きい領域を対応する領域とみなし、
動きベクトルを算出する。このとき領域指定枠内にある
全てのエツジについて動きベクトルｍｖk 〜ｍｖl を求
める。

【００５１】このようにして色時空間画像、色時空間差
分画像及び輝度時空間画像よりそれぞれ求めた動きベク
トルｍｖ1 、ｍｖ2 、ｍｖ3 、ｍｖi 〜ｍｖj 、ｍｖk
〜ｍｖl を総合的に判断し、これらの動きベクトルから
図２５に示すようにして求まる動きベクトルヒストグラ
ムから、最大頻度の動き量をそのときの動きベクトルと
決定する。

【００５２】以上の構成によれば、撮影光学系より取り
込んだ映像信号をＹ／Ｃ分離した後、追跡領域のヒスト
グラムから目的物体を特定し、その色時空間画像、色時
空間差分画像及び輝度時空間画像よりそれぞれ動きベク
トルを求め、これらの多数決をとつて動きベクトルを決
定するようにしたことにより、従来のブロツクマツチン
グに比べて少ない演算量でパターン化された物体でも確
実に動きを検出し得る物体追尾装置を実現できる。

【００５３】さらに上述の構成によれば、従来のブロツ
クマツチングに比して情報量が少ないので演算量を少な
くでき、これにより処理の高速化を実現できると共にメ
モリ容量を小さくできる。また圧縮された特徴量を用い
ているため、物体の形や独特のパターン等に影響される
ことなく、動き量を計算することができ、目的物体を特
定してから追跡を行うので、視野内から消滅した場合で
も誤追跡を有効に防止できる。

【００５４】さらに上述の構成によれば、ｘ及びｙ方向
の動き量と変形量に基づいて、カメラレンズ、カメラ本
体及び又はズームレンズを制御する駆動信号を生成する
ようにしたことにより、自動的に被写体を追跡すること
に加えて被写体の大きさの変化にも自動的に対応するこ
とができ、いつも好ましい大きさで目的物体を撮影する
ことができる物体追尾装置を実現でき、かくするにつき
使い勝手を格段的に向上し得る。

【００５５】さらにまた上述の構成によれば、ｘ及びｙ
方向の動き量と変形量に基づいて、撮影光学系２を制御
するようにしたが、第１の実施例と同様に、領域指定枠
の移動及び拡大、縮小を行うこともできる。この場合、
新たな領域指定枠の座標は、ｘ及びｙ方向の動きベクト
ル及び色時空間画像の幅から求められる。

【００５６】（３）第３の実施例 図１及び図１０との対応部分に同一符号を付して示す図
２６において、３０は全体として本発明の第３の実施例
による物体追尾装置を示し、メモリ１０に記憶されたＹ
信号、Ｈ信号、Ｓ信号は、それぞれ時空間画像処理回路
２２、２３、２４に入力される。そしてこのＹ、Ｈ、Ｓ
信号について追尾するために指定された指定領域枠内の
色及び輝度信号ヒストグラムが求められ、さらに色フイ
ルタ２１の出力の大きい上位ｎ位色についてｘ及びｙ方
向の時空間画像が求められる。ここで求めた時空間画像
をシステム制御回路１３で特徴判別し目的物体の色かど
うかを判定する。

【００５７】そしてその時空間画像を用いて目的物体の
座標を決定し二次元空間上でセグメンテーシヨンを行な
う。これ以後は決定した目的物体の色時空間画像の時間
連続性を使つてｘ及びｙ方向の動きベクトル、状態判
別、大きさを計算し、目的物体を追跡するためのパンニ
ングモータ駆動信号ＰＡＮ、ズームレンズモータ駆動信
号ＺＯＯＭ、チルトモータ駆動信号ＴＩＬＴを出力す
る。これらのモータ駆動信号ＰＡＮ、ＺＯＯＭ、ＴＩＬ
Ｔでそれぞれパンニングモータ１４、ズームレンズモー
タ１５、チルテイングモータ１６が動作し、自動的に目
的物体を追尾し得るようになされている。

【００５８】またこの実施例の場合、システム制御回路
１３では画面からの消滅や他物体との交差による一時的
な消滅等の目的物体の状態や、大きさ判定、二次元空間
上におけるセグメンテーシヨンなどを行なう。目的物体
が消滅したと判定された場合には、パターンマツチング
回路３１、３２、３３によりＹ信号、Ｈ信号、Ｓ信号を
用いて消滅する前の物体の二次元パターンを使つてマツ
チングを行ない、再び画面に現われたかどうかを判定し
再び現われた場合には追跡を再開し得るようになされて
いる。

【００５９】ここでこの実施例による物体追尾処理で
は、まず目的物体を背景より分離させる際や目的物体を
特定する際、第１及び第２の実施例の場合と同様に、ユ
ーザが追跡したい目的物体を初期画面上の領域指定枠で
指定してシステムをスタートさせることを前提にしてい
る。図１５に示すように、入力画像サイズを（Ｍ、
Ｎ）、領域指定枠ＷＡＫＵのウインドウの左上端点の座
標を（ｘ0 、ｙ0 ）、領域指定枠ＷＡＫＵのウインドウ
サイズを（ｗｘ、ｗｙ）とする。

【００６０】図１５（Ａ）は目的物体を領域指定枠ＷＡ
ＫＵで指定したシステムの初期状態であり、この例にお
ける目的物体は赤い車である。ここで時刻ｔ＝０の画像
（初期画面）において領域指定枠ＷＡＫＵ内のＨｕｅヒ
ストグラムに上述した図１４の色フイルタをかけ、各色
範囲におけるヒストグラムの面積をフイルタ出力とし、
出力の上位ｎ位まで（例えばｎ＝２）の色領域について
時空間画像を作成する。

【００６１】ここで生成された時空間画像をＨ（ｘ、ｔ
0 ）とする。この時空間画像Ｈ（ｘ、ｔ0 ）において、
Ｈ（ｘ、ｔ0 ）＝０からＨ（ｘ、ｔ0 ）＞０に変化する
点をｘｓi とし、Ｈ（ｘ、ｔ0 ）＞０からＨ（ｘ、ｔ0
）＝０に変化する点をｘｅiとする。ここで（ｘｓi 、
ｘｅi ）で表される範囲は特徴が存在する、すなわちこ
の位置に色領域範囲（ｈ1 、ｈ2 ）の物体が存在すると
いうことであり、これらに次式

【数２２】 で表されるような関係が存在する場合には、ｉとｉ＋１
を統合する（図２７（Ａ））。

【００６２】このようにして求めた座標において、図２
７（Ｂ）に示すように、ウインドウの両端座標（ｘ0 、
ｘ0 ＋ｗｘ−１）にかかる座標（ｘｓ0 、ｘｅ0 ）を目
的物体と決定する。同様にｙ方向ウインドウ座標（ｙ0
、ｙ0 ＋ｗｙ−１）から目的物体の座標（ｙｓ0 、ｙ
ｅ0 ）を決定する。このとき次式、

【数２３】 の関係が成り立てば、画面一面にその色が存在すること
により、その色を背景色と判定する。そうでない場合に
は目的物体の色と判定し、この色時空間画像を使つて追
跡を開始する。ここで座標（ｘｓ0 、ｘｅ0 ）、（ｙｓ
0 、ｙｅ0 ）を目的物体の初期座標として記憶する。

【００６３】次に色信号をＨ（ｘ、ｙ、ｔ）とし、目的
物体の色として決定された色領域範囲（ｈ1 、ｈ2 ）か
ら時空間画像を求める。このとき時空間画像計算領域は
範囲を図１５（Ｂ）に示すように、領域指定枠ＷＡＫＵ
を囲むｘ及びｙ方向矩形領域とする。ｘ方向における領
域座標を（ａｘs 、ａｘe ）、ｙ方向における座標を
（ａｙs 、ａｙe ）とすると、色信号時空間画像生成式
は次式

【数２４】 で求める。

【００６４】実際上目的物体を追跡する際には、ｔ＞０
において物体色として決定された色時空間画像を求め
る。ここで生成された時空間画像をＨ（ｘ、ｔ）とす
る。この時空間画像Ｈ（ｘ、ｔ）においてＨ（ｘ、ｔ）
＝０からＨ（ｘ、ｔ）＞０に変化する点をｘｓi 、Ｈ
（ｘ、ｔ）＞０からＨ（ｘ、ｔ）＝０に変化する点をｘ
ｅiとする。ここで（ｘｓi 、ｘｅi ）で表される範囲
は特徴が存在する、すなわちこの位置に色領域範囲（ｈ
1 、ｈ2 ）の物体が存在するということである。なお上
述した（22）式と同様にｘｓi 、ｘｅi に、次式

【数２５】 の関係がある場合はｉとｉ＋１を統合する。

【００６５】また図２８に示すように、ｔ＝０で求めた
目的物体の座標（ｘｓ0 、ｘｅ0 ）、（ｙｓ0 、ｙｅ0
）に連続する特徴の座標（ｘｓ、ｘｅ）、（ｙｓ、ｙ
ｅ）を求める。このときの連続する特徴の座標は、次式

【数２６】 のような連続関係式になる。ここで求めた座標が時刻ｔ
における目的物体と判定する。これによりズームレンズ
モータ１５をコントロールするズームレンズ駆動信号Ｚ
ＯＯＭを次式

【数２７】 によつて生成する。

【００６６】続いて（ｘｓ、ｘｅ）を新たに（ｘｓ0 、
ｘｅ0 ）として再び同じ手順で順次物体追跡、大きさ判
定、領域の特定を行なつていく。ここで求めた目的物体
領域（ｘｓ0 、ｘｅ0 ）、（ｙｓ0 、ｙｅ0 ）における
Ｙ、Ｈ、Ｓ信号は、図２９に示すように、物体が消滅し
た場合に再び画面に登場したかどうか判定するためのパ
ターンマツチングに使うリフアレンス信号としてシステ
ム制御回路１３に記憶する。

【００６７】さらにマツチング判定時に参照する規準値
として時刻ｔー１におけるリフアレンス信号と時刻ｔに
おける目的物体領域の差分信号も記憶しておく。時刻ｔ
ー１におけるリフアレンス領域座標を（ｘｓ0'、ｘｅ
0'）、（ｙｓ0'、ｙｅ0'）とするとＹ、Ｈ、Ｓ信号の各
参照誤差信号ΔＹ、ΔＨ、ΔＳは次式

【数２８】 のようになる。これらに信号は交差や消滅等の状態判定
が行なわれないかぎり毎時間更新される。

【００６８】続いてこのシステム制御回路１３では時刻
ｔとｔー１との色時空間画像の時間差分を、次式

【数２９】 より求める。このようにすると色時空間画像における静
止した部分が削除され動きのあつた部分の情報が抽出さ
れる。

【００６９】次にこのシステム制御回路１３では続いて
状態検出を行う。ここで検出する状態とは、他の物体と
の交差による一時的な消滅（図１９）や、画面からの消
滅（図２０）である。時空間画像における交差では、物
体が他物体と交差すると物体の幅が他物体によつて隠さ
れていき幅が小さくなつていくことがわかる。この現象
を使つて時刻ｔの時の物体幅をｗｘ（ｔ）、ｗｙ（ｔ）
とし、時刻ｔ−１の時の物体幅をｗｘ（ｔ−１）、ｗｙ
（ｔ−１）とすると、次式

【数３０】 の関係が存在するとき、交差が発生している可能性があ
るとする。その後時間連続性が途切れた場合交差が発生
したと判断する。

【００７０】また図２０に示すように、物体が画面から
消滅した場合、時空間画像の運動軌跡が途切れるのでそ
れ以上は今までと同じアルゴリズムでは追跡が行なえな
い。そこで画面から消滅したかどうかの判定が必要とな
る。物体の座標を（ｘｓ0 、ｘｅ0 ）とし、画面幅をＭ
とすると、次式

【数３１】 の関係が存在するとき、画面から消滅しようとしている
と判定する。そして時間連続性が無くなつたとき画面か
ら消滅したと判断する。

【００７１】次にシステム制御回路１３は、色時空間画
像による動きベクトルの検出を行う。すなわち図２１に
示すように、色時空間画像において特定した物体のある
時刻ｔ−１における両端座標を（ｘｓ0 、ｘｅ0 ）、時
刻ｔで（ｘｓ0 、ｘｅ0 ）に連続する特徴の両端座標を
（ｘｓ、ｘｅ）とする。この連続性を使つて両端座標及
び中心座標から求められる動きベクトルをｍｖ1 、ｍｖ
2 、ｍｖ3 とする。

【００７２】また図２２に示すように、色時空間差分画
像において、領域指定枠内にある動きエツジの時間連続
性から動きベクトルを求める。このとき枠内にあるすべ
てのエツジについて動きベクトルｍｖi を求める。この
ようにして求めた動きベクトルｍｖ1 、ｍｖ2 、ｍｖ3
、ｍｖi を総合的に判断して最終的な動きベクトルを
決定する。すなわちこれらの動きベクトルｍｖ1 、ｍｖ
2、ｍｖ3 、ｍｖi から求まるヒストグラムから最大頻
度の動き量をそのときの動きベクトルｍｖと決定する。

【００７３】ここで求めたｘ及びｙ方向の動きベクトル
ｍｖｘ、ｍｖｙから、可変画像圧縮回路８における実際
の画像の大きさと処理対象の画像の大きさを考慮して、
パンニングモータ１４及びチルテイングモータ１６を制
御するパンニングモータ駆動信号ＰＡＮ、チルトモータ
駆動信号ＴＩＬＴを次式

【数３２】 に基づいて生成する。

【００７４】またこの実施例のシステム制御回路１３で
はパターンマツチングを使つて再出現した物体の追跡を
行うようになされており、まず状態判定で他物体との交
差が発生したと判定された場合、メモリ１０に記憶され
ている目的物体のＹ、Ｈ、Ｓ信号によるリフアレンスパ
ターンを使つてパターンマツチングを行ない物体が再び
現われたかどうかをチエツクする。一時的に消滅して再
び現われるときの物体の大きさは消滅したときの大きさ
とはあまり変わらないものと仮定する。このときマツチ
ングを取る領域は、図３０に示すように、消滅した位置
を中心に±（ｍｖｘ＋α）、±（ｍｖｙ＋α）とする。

【００７５】また状態判定で画面から消滅したと判定さ
れた場合、メモリ１０に記憶されている目的物体のＹ、
Ｈ、Ｓ信号によるリフアレンスパターンを使つてパター
ンマツチングを行ない、物体が再び現われたかどうかを
チエツクする。再び現われるときの物体の大きさは消滅
したときの大きさとはあまり変わらないものと仮定す
る。このときマツチングを取る領域は連続して撮影して
いるものとすると、図３１に示すように、画像の４辺の
いずれかから登場すると仮定して画像周辺部とする。こ
のとき求めたパターンマツチングの誤差信号Ｙerror 、
Ｈerror 、Ｓerror として、次式

【数３３】 が成立するとき、目的物体が再登場したと判断する。こ
こで変数α、β、γはリフアレンスパターンを保持した
ときと現在の画像の輝度レベル、色信号レベルの変化に
よつて決定される値である。

【００７６】なおこの物体追尾装置３０のシステム制御
回路１３では、上述したような処理を図３２、図３３及
び図３４の物体追尾処理手順ＳＰ０を実行することによ
り実現し得るようになされている。

【００７７】以上の構成によれば、撮影光学系より取り
込んだ映像信号をＹ／Ｃ分離した後、追跡領域のヒスト
グラムから目的物体を特定し、その色時空間画像、色時
空間差分画像の時間連続性を利用してそれぞれ動きベク
トルを求め、これらの多数決をとつて動きベクトルを決
定するようにしたことにより、従来のブロツクマツチン
グに比べて少ない演算量でパターン化された物体でも確
実に動きを検出し得る物体追尾装置を実現できる。

【００７８】さらに上述の構成によれば、従来のブロツ
クマツチングに比して時間連続情報を使つて動き追跡を
行うことにより、検出された動き量が不連続になること
を未然に防止し、自然な追跡を行うことができる。また
従来に比して情報量が少ないので演算量を少なくでき、
これにより処理の高速化を実現できると共にメモリ容量
を小さくできる。さらに圧縮された特徴量を用いている
ため、物体の形や独特のパターン等に影響されることな
く、動き量を計算することができ、目的物体を特定して
から追跡を行うので、視野内から消滅した場合でも誤追
跡を有効に防止できる。

【００７９】さらに上述の構成によれば、従来の方法と
比較して、目的物体を特定してから追跡を行なうので、
視野内からいなくなつた場合の、誤追跡を防止すること
ができ、また目的物体領域を特定しながら逐次セグメン
テーシヨンを行なつているので、パターンマツチング用
のリフアレンスデータを得ることができ、時間連続性に
よる時間軸方向の追跡と空間方向のパターンマツチング
手法を併用しているので、様々な場面におけるロバスト
な追跡が実現できる。

【００８０】さらに上述の構成によれば、ｘ及びｙ方向
の動き量と変形量に基づいて、カメラレンズ、カメラ本
体及び又はズームレンズを制御する駆動信号を生成する
ようにしたことにより、自動的に被写体を追跡すること
に加えて被写体の大きさの変化にも自動的に対応するこ
とができ、いつも好ましい大きさで目的物体を撮影する
ことができる物体追尾装置を実現でき、かくするにつき
使い勝手を格段的に向上し得る。

【００８１】さらにまた上述の構成によれば、ｘ及びｙ
方向の動き量と変形量に基づいて、撮影光学系２を制御
するようにしたが、第１の実施例と同様に、領域指定枠
の移動及び拡大、縮小を行うこともできる。この場合、
新たな領域指定枠の座標は、ｘ及びｙ方向の動きベクト
ルｍｖｘ、ｍｖｙ及び色時空間画像の幅から求められ
る。

【００８２】（４）他の実施例 上述の実施例では、物体追尾装置としてテレビジヨンカ
メラ内に構成され、デジタルカメラ処理回路から得られ
る輝度信号及び色差信号を用いて画像中の目的物体の動
きを検出し追跡するようにした場合について述べたが、
これに変えテレビジヨンカメラと別に構成しテレビジヨ
ンカメラの出力信号より得られる輝度信号及び色差信号
を用いて、画像中の目的物体の動きを検出し、これによ
りテレビジヨンカメラを制御して追跡処理を実現するよ
うにしても、上述の実施例と同様の効果を実現できる。

【００８３】上述の実施例においては、本発明による物
体追尾装置として、テレビジヨンカメラの撮影光学系を
目的物体の動きに合わせて動かし目的物体を追跡するも
のに適用した場合について述べたが、これに限らず、例
えばテレビジヨンカメラが載置された移動体を目的物体
の動きに合わせて動かし、目的物体を追跡するようなも
のにも適用し得る。

【００８４】

【発明の効果】上述のように本発明によれば、画面中に
設定された指定領域に追跡の目的物体を入れ追跡を開始
すると、映像信号の指定領域内のヒストグラムを演算
し、ヒストグラムの頻度の高い範囲に関して時空間画像
を求め、この結果得られる時空間画像の軌跡によつて撮
影手段又は指定領域の移動を制御するようにしたことに
より、従来のブロツクマツチングに比べて種々の物体で
も確実に動きを検出して追跡し得る物体追尾装置を実現
できる。

【図面の簡単な説明】

【図１】本発明による物体追尾装置の第１の実施例を示
すブロツク図である。

【図２】映像信号カラー平面図の説明に供する略線図で
ある。

【図３】画面上で領域指定枠により目的物体を指定する
説明に供する略線図である。

【図４】目的物体の色及び飽和度の説明に供する略線図
である。

【図５】ｘ方向及びｙ方向の時空間画像の生成の説明に
供する略線図である。

【図６】色範囲の決定の説明に供する略線図である。

【図７】生成された時空間画像の例を示す略線図であ
る。

【図８】時空間画像の生成の際の画面の領域分割を説明
する略線図である。

【図９】時空間画像中で動き及び変形量の説明に供する
略線図である。

【図１０】本発明による物体追尾装置の第２の実施例を
示すブロツク図である。

【図１１】飽和度／色相変換回路の構成を示すブロツク
図である。

【図１２】色差信号の分布と量子化ステツプの関係の説
明に供する特性曲線図である。

【図１３】色差信号を飽和度／色相に変換するマトリツ
クスの構成を示す略線図である。

【図１４】色フイルタの説明に供する特性曲線図であ
る。

【図１５】目的物体の指定と時空間画像計算領域の説明
に供する略線図である。

【図１６】色時空間画像の説明に供する略線図である。

【図１７】目的物体の特定の説明に供する略線図であ
る。

【図１８】目的物体の大きさの検出の説明に供する略線
図である。

【図１９】時空間画像における他物体との交差の説明に
供する略線図である。

【図２０】時空間画像における画面からの消滅の説明に
供する略線図である。

【図２１】色時空間画像による動きベクトル検出の説明
に供する略線図である。

【図２２】色時空間差分画像による動きベクトル検出の
説明に供する略線図である。

【図２３】輝度ヒストグラムの説明に供する特性曲線図
である。

【図２４】輝度ヒストグラムによる動きベクトル検出の
説明に供する略線図である。

【図２５】動きベクトルヒストグラムを示すヒストグラ
ムである。

【図２６】本発明による物体追尾装置の第３の実施例を
示すブロツク図である。

【図２７】目的物体の特定の説明に供する略線図であ
る。

【図２８】時間連続性による目的物体座標の決定方法の
説明する略線図である。

【図２９】物体が消滅した場合にパターンマツチングを
行う基準となるリフアレンス領域の説明に供する略線図
である。

【図３０】物体が交差消滅した場合にパターンマツチン
グを行うマツチング領域を示す略線図である。

【図３１】物体が画面から消滅した場合にパターンマツ
チングを行うマツチング領域を示す略線図である。

【図３２】物体追尾処理手順の説明に供するフローチヤ
ートである。

【図３３】図３２に続けて物体追尾処理手順の説明に供
するフローチヤートである。

【図３４】図３２及び図３３に続けて物体追尾処理手順
の説明に供するフローチヤートである。

【符号の説明】

１、２０、３０……物体追尾装置、２……撮影光学系、
３……ＡＧＣ回路、４……アナログデジタル変換回路、
５……デジタルカメラ処理回路、６……デジタルアナロ
グ変換回路、７……ローパスフイルタ、８……可変画像
圧縮回路、９……飽和度／色相検出回路、１０……メモ
リ、１１、２２、２３、２４……時空間画像処理回路、
１２……ヒストグラム処理回路、１３……システム制御
回路、１４……パンニングモータ、１５……ズームレン
ズモータ、１６……チルテイングモータ、２１……色フ
イルタ、３１、３２、３３……パターンマツチング処理
回路。

Claims (18)

【特許請求の範囲】
1. 【請求項１】画面中に設定された指定領域内の目的物体
   を追尾する物体追尾装置において、 物体を撮影して映像信号を生成する撮影手段と、 初期画面上の上記指定領域内の上記映像信号のヒストグ
   ラムを演算するヒストグラム処理手段と、 上記ヒストグラムの頻度の高い範囲に関して、時空間画
   像を求める時空間画像処理手段と、 上記時空間画像の軌跡に基づいて、上記撮影手段を制御
   する制御手段とを具えること特徴とする物体追尾装置。
2. 【請求項２】上記制御手段は、上記時空間画像の軌跡に
   基づいて第１の動き量を検出し、当該第１の動き量に基
   づいて上記撮影手段の撮影方向の制御を行うことを特徴
   とする請求項１に記載の物体追尾装置。
3. 【請求項３】上記制御手段は、上記時空間画像の軌跡の
   幅の変化に基づいて、上記撮影手段のズーミングを制御
   することを特徴とする請求項１に記載の物体追尾装置。
4. 【請求項４】上記映像信号のＨｕｅを検出するＨｕｅ検
   出手段を具え、上記ヒストグラム処理手段は上記Ｈｕｅ
   のヒストグラムを演算することを特徴とする請求項１に
   記載の物体追尾装置。
5. 【請求項５】上記制御手段は、上記時空間画像の軌跡に
   基づいて、上記目的物体の交差又は上記画面からの消滅
   を判定することを特徴とする請求項１に記載の物体追尾
   装置。
6. 【請求項６】上記映像信号のＨｕｅを検出するＨｕｅ検
   出手段と、 上記Ｈｕｅに対してフイルタリングする色フイルタ手段
   とを具え、上記時空間画像処理手段は、上記色フイルタ
   手段の出力の上位ｎ位の色について、上記時空間画像を
   演算することを特徴とする請求項１に記載の物体追尾装
   置。
7. 【請求項７】上記映像信号のＨｕｅを検出するＨｕｅ検
   出手段を具え、上記ヒストグラム処理手段は上記Ｈｕｅ
   のヒストグラム及び輝度のヒストグラムを演算し、上記
   時空間画像処理手段は上記Ｈｕｅのヒストグラム及び上
   記輝度のヒストグラムのそれぞれ頻度の高い範囲に関し
   て、輝度時空間画像及び色時空間画像を生成し、上記制
   御手段は上記輝度時空間画像及び上記色時空間画像の軌
   跡に基づいて第２及び第３の動き量を検出し、当該第２
   及び第３の動き量に基づいて上記第１の動き量を決定す
   ることを特徴とする請求項２に記載の物体追尾装置。
8. 【請求項８】上記映像信号のＨｕｅを検出するＨｕｅ検
   出手段を具え、上記ヒストグラム処理手段は上記Ｈｕｅ
   のヒストグラムを演算し、上記時空間画像処理手段は上
   記Ｈｕｅのヒストグラムの頻度の高い範囲に関して、色
   時空間画像及び色時空間差分画像を生成し、上記制御手
   段は上記色時空間画像及び上記色時空間差分画像の軌跡
   に基づいて第２及び第３の動き量を検出し、当該第２及
   び第３の動き量に基づいて上記第１の動き量を決定する
   ことを特徴とする請求項２に記載の物体追尾装置。
9. 【請求項９】上記制御手段は、上記目的物体の交差又は
   画面からの消滅が起こつた場合、目的物体領域のパター
   ンと現在の画面のパターンマツチングを行い、当該パタ
   ーンマツチングの誤差に基づいて、上記目的物体の再出
   現を判定することを特徴とする請求項５に記載の物体追
   尾装置。
10. 【請求項１０】画面中に設定された指定領域内の目的物
    体を追尾する物体追尾装置において、 初期画面上の上記指定領域内の映像信号のヒストグラム
    を演算するヒストグラム処理手段と、 上記ヒストグラムの頻度の高い範囲に関して、時空間画
    像を求める時空間画像処理手段と、 上記時空間画像の軌跡に基づいて、上記指定領域を制御
    する制御手段とを具えること特徴とする物体追尾装置。
11. 【請求項１１】上記制御手段は、上記時空間画像の軌跡
    に基づいて第１の動き量を検出し、当該第１の動き量に
    基づいて上記指定領域の移動を行うことを特徴とする請
    求項１０に記載の物体追尾装置。
12. 【請求項１２】上記制御手段は、上記時空間画像の軌跡
    の幅の変化に基づいて、上記指定領域の大きさを制御す
    ることを特徴とする請求項１０に記載の物体追尾装置。
13. 【請求項１３】上記映像信号のＨｕｅを検出するＨｕｅ
    検出手段を具え、上記ヒストグラム処理手段は上記Ｈｕ
    ｅのヒストグラムを演算することを特徴とする請求項１
    ０に記載の物体追尾装置。
14. 【請求項１４】上記制御手段は、上記時空間画像の軌跡
    に基づいて、上記目的物体の交差又は上記画面からの消
    滅を判定することを特徴とする請求項１０に記載の物体
    追尾装置。
15. 【請求項１５】上記映像信号のＨｕｅを検出するＨｕｅ
    検出手段と、 上記Ｈｕｅに対してフイルタリングする色フイルタ手段
    とを具え、上記時空間画像処理手段は上記色フイルタ手
    段の出力の上位ｎ位の色について、上記時空間画像を演
    算することを特徴とする請求項１０に記載の物体追尾装
    置。
16. 【請求項１６】上記映像信号のＨｕｅを検出するＨｕｅ
    検出手段を具え、上記ヒストグラム処理手段は上記Ｈｕ
    ｅのヒストグラム及び輝度のヒストグラムを演算し、上
    記時空間画像処理手段は上記Ｈｕｅのヒストグラム及び
    上記輝度のヒストグラムのそれぞれ頻度の高い範囲に関
    して、輝度時空間画像及び色時空間画像を生成し、上記
    制御手段は上記輝度時空間画像及び上記色時空間画像の
    軌跡に基づいて第２及び第３の動き量を検出し、当該第
    ２及び第３の動き量に基づいて上記第１の動き量を決定
    することを特徴とする請求項１１に記載の物体追尾装
    置。
17. 【請求項１７】上記映像信号のＨｕｅを検出するＨｕｅ
    検出手段を具え、上記ヒストグラム処理手段は上記Ｈｕ
    ｅのヒストグラムを演算し、上記時空間画像処理手段は
    上記Ｈｕｅのヒストグラムの頻度の高い範囲に関して、
    色時空間画像及び色時空間差分画像を生成し、上記制御
    手段は上記色時空間画像及び上記色時空間差分画像の軌
    跡に基づいて第２及び第３の動き量を検出し、当該第２
    及び第３の動き量に基づいて上記第１の動き量を決定す
    るようにしたことを特徴とする請求項１１に記載の物体
    追尾装置。
18. 【請求項１８】上記制御手段は、上記目的物体の交差又
    は画面からの消滅が起こつた場合、目的物体領域のパタ
    ーンと現在の画面のパターンマツチングを行い、当該パ
    ターンマツチングの誤差に基づいて、上記目的物体の再
    出現を判定することを特徴とする請求項１４に記載の物
    体追尾装置。