JPH05328190A

JPH05328190A - 画像処理装置

Info

Publication number: JPH05328190A
Application number: JP15595192A
Authority: JP
Inventors: Koji Kageyama; 浩二景山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-05-22
Filing date: 1992-05-22
Publication date: 1993-12-10

Abstract

(57)【要約】【目的】本発明は、テレビジヨンカメラ、監視装置等の
撮像装置に適用する画像処理装置に関し、被写体が瞬間
的に物陰等に隠れた場合でも確実に被写体を追跡し得る
ようにする。【構成】本発明は、追跡ベクトル検出領域内の動きベク
トルの度数分布を検出した後、従前に検出した追跡ベク
トルを基準にして度数分布検出結果から動きベクトルの
変化を検出し、最も変化の小さな動きベクトルを検出す
る。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。産業上の利用分野従来の技術発明が解決しようとする課題課題を解決するための手段（図１、図４及び図５）作用（図１、図４及び図５）実施例（１）全体構成（図１〜図３）（２）追跡ベクトル検出回路（図４）（３）判定回路（図５〜図９）（４）実施例の効果（５）他の実施例発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置に関し、例
えばテレビジヨンカメラ、監視装置等の撮像装置に適用
し得る。

【０００３】

【従来の技術】従来、この種の画像処理装置において
は、撮像画像中の最大輝度部分を検出することにより、
当該輝度部分を基準にして所望の被写体を追跡し得るよ
うになされたものが提案されている。

【０００４】このように所望の被写体を追跡することが
できれば、当該被写体を中心にして自動的に焦点合わ
せ、絞り調整等し得、撮像装置全体の使い勝手を向上す
ることができる。

【０００５】

【発明が解決しようとする課題】ところがこのように最
大輝度部分を基準にして被写体を追跡する場合、所望の
被写体を確実に追跡し得ない場合がある。

【０００６】この問題を解決する１つの方法として、動
きベクトルを基準にして被写体を追跡する方法が考えら
れる。ところがこの方法の場合、被写体が瞬間的に物陰
等に隠れた場合、被写体の動きベクトルを検出すること
が困難になることにより、実際の自然画においては、実
用上未だ不充分な問題がある。

【０００７】本発明は以上の点を考慮してなされたもの
で、被写体が瞬間的に物陰等に隠れた場合でも確実に被
写体を追跡することができる画像処理装置を提案しよう
とするものである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、順次入力される画像データＳＶ
を、水平及び垂直方向に所定画素単位のブロツクに分割
する画像データブロツク化回路２０と、水平及び垂直方
向にブロツクを所定個数含んでなる追跡ベクトル検出領
域ＡＲを設定する検出領域設定回路６と、追跡ベクトル
検出領域ＡＲ内の各ブロツクについて、動きベクトルＭ
Ｖを検出する動きベクトル検出回路２０と、動きベクト
ル検出回路２０の検出結果に基づいて、追跡ベクトル検
出領域ＡＲ内の動きベクトルＭＶの分布を検出し、該分
布検出結果ＢＰに基づいて追跡ベクトル検出領域ＡＲ内
の画像の移動方向及び移動量を表す追跡ベクトルＶＴを
検出する追跡ベクトル検出回路２７、２９とを具え、追
跡ベクトル検出回路２７、２９は、従前のフレーム又は
フイールドで検出された追跡ベクトルＶＴを基準にし
て、分布検出結果ＢＰを処理することにより、追跡ベク
トル検出領域ＡＲ内で検出された動きベクトルＭＶの１
つを現在のフレーム又はフイールドの追跡ベクトルＶＴ
に選定する。

【０００９】追跡ベクトル検出回路２７、２９は、従前
のフレーム又はフイールドで検出された分布検出結果Ｂ
Ｐから、従前のフレーム又はフイールドの追跡ベクトル
ＶＴと一致する従前のフレーム又はフイールドの動きベ
クトルＭＶの度数Ｎを検出し、従前のフレーム又はフイ
ールドの動きベクトルＭＶの度数Ｎ及び追跡ベクトルＶ
Ｔを基準にして、現在のフレーム又はフイールドで検出
された分布検出結果ＢＰの変化を検出して、該変化の最
も小さい動きベクトルＭＶを現在のフレーム又はフイー
ルドの追跡ベクトルＶＴに選定する。

【００１０】分布検出結果ＢＰの変化の検出は、動きベ
クトルＭＶの度数Ｎの変化、動きベクトルＭＶの大きさ
の変化及び動きベクトルＭＶの方向の変化を動きベクト
ルＭＶ毎に検出した後、動きベクトルＭＶの度数Ｎの変
化、動きベクトルＭＶの大きさの変化及び動きベクトル
ＭＶの方向の変化を加算して動きベクトルＭＶ毎に全体
の変化を検出し、全体の変化の最も小さい動きベクトル
ＭＶを現在のフレーム又はフイールドの追跡ベクトルＶ
Ｔに選定する。

【００１１】追跡ベクトル検出回路２７、２９は、従前
のフレーム又はフイールドの追跡ベクトルＶＴを基準に
して最も小さな変化を検出し、最も小さな変化及び所定
のしきい値ＴＨ１との間で比較結果を得、最も小さな変
化がしきい値ＴＨ１以上のとき、従前のフレーム又はフ
イールドからさらに遡つたフレーム又はフイールドの追
跡ベクトルＶＴを基準にして最も小さな変化を検出し、
該変化の最も小さい動きベクトルＭＶを現在のフレーム
又はフイールドの追跡ベクトルＶＴに選定する。

【００１２】追跡ベクトル検出回路２７、２９は、最も
小さな変化を検出する際に、現在のフレーム又はフイー
ルドから遡るに従つて、しきい値ＴＨ１、ＴＨ２、……
の値を切り換える。

【００１３】追跡ベクトル検出回路２７、２９は、追跡
ベクトル検出領域ＡＲ内の画像の移動方向及び移動量の
検出開始時、分布検出結果ＢＰに基づいて、最も度数Ｎ
の大きな動きベクトルＭＶを現在のフレーム又はフイー
ルドの追跡ベクトルＶＴに選定した後、続くフレーム又
はフイールドについて順次追跡ベクトルＶＴを検出す
る。

【００１４】順次入力される画像データＳＶは、撮像系
２を介して所望の被写体を撮像した画像データで、追跡
ベクトル検出領域ＡＲは、被写体を囲むように設定さ
れ、追跡ベクトル検出回路２７、２９は、追跡ベクトル
検出結果ＶＴを所定の追跡回路４、１０に出力し、上記
追跡回路４、１０は、追跡ベクトル検出領域ＡＲに応じ
て被写体の囲む枠画像ＷＫを形成すると共に、追跡ベク
トル検出結果ＶＴに基づいて、追跡追跡ベクトル検出領
域ＡＲ及び枠画像ＷＫを移動させる。

【００１５】順次入力される画像データＳＶは、撮像系
２を介して所望の被写体を撮像した画像データで、追跡
ベクトル検出領域ＡＲは、被写体を囲むように設定さ
れ、追跡ベクトル検出回路２７、２９は、追跡ベクトル
検出結果ＶＴを所定の追跡回路７０に出力し、追跡回路
７０は、追跡ベクトル検出結果ＶＴに基づいて、被写体
の動きを追跡するように、撮像系２の向きを移動させ
る。

【００１６】

【作用】追跡ベクトル検出領域ＡＲ内の動きベクトルＭ
Ｖの分布を検出し、従前のフレーム又はフイールドで検
出された追跡ベクトルを基準にして該分布検出結果ＢＰ
を処理して追跡ベクトル検出領域ＡＲ内の画像の移動方
向及び移動量を表す追跡ベクトルＶＴを検出すれば、被
写体が瞬間的に物陰等に隠れた場合でも確実に被写体を
追跡することができる。

【００１７】このとき従前のフレーム又はフイールドの
追跡ベクトルＶＴと一致する従前のフレーム又はフイー
ルドの動きベクトルＭＶの度数Ｎを検出し、この度数Ｎ
及び追跡ベクトルＶＴを基準にして、分布検出結果ＢＰ
の変化を検出して、該変化の最も小さい動きベクトルＭ
Ｖを現在のフレーム又はフイールドの追跡ベクトルＶＴ
に選定すれば、被写体が瞬間的に物陰等に隠れた場合で
も確実に被写体を追跡することができる。

【００１８】さらにこの変化を検出する際に、動きベク
トルＭＶの度数Ｎの変化、動きベクトルＭＶの大きさの
変化及び動きベクトルＭＶの方向の変化を動きベクトル
ＭＶ毎に加算して動きベクトルＭＶ毎に全体の変化を検
出し、全体の変化の最も小さい動きベクトルＭＶを現在
のフレーム又はフイールドの追跡ベクトルＶＴに選定す
れば、確実に被写体を追跡することができる。

【００１９】このとき最も小さな変化がしきい値ＴＨ１
以上のとき、従前のフレーム又はフイールドからさらに
遡つたフレーム又はフイールドの追跡ベクトルＶＴを基
準にして最も小さな変化を検出し、該変化の最も小さい
動きベクトルＭＶを現在のフレーム又はフイールドの追
跡ベクトルＶＴに選定すれば、物陰に隠れた被写体がこ
の物陰から表れた場合でも、確実に追跡することができ
る。

【００２０】さらに最も小さな変化を検出する際に、現
在のフイールド又はフレームから遡るに従つて、このし
きい値ＴＨ１、ＴＨ２、……の値を切り換えれば、被写
体の動きが変化した場合でも追跡することができる。

【００２１】これに対して検出開始時、分布検出結果Ｂ
Ｐに基づいて、最も度数Ｎの大きな動きベクトルＭＶを
現在のフレーム又はフイールドの追跡ベクトルＶＴに選
定すれば、この追跡ベクトルＶＴを基準にして連続的に
追跡ベクトルＶＴを検出することができる。

【００２２】さらに撮像装置に適用して、撮像系２を介
して所望の被写体を撮像した画像データＳＶについて、
この被写体を囲むように追跡ベクトル検出領域ＡＲを設
定し、この追跡ベクトル検出領域ＡＲに応じて被写体の
囲む枠画像ＷＫを形成すると共に、追跡ベクトル検出結
果に基づいて、追跡追跡ベクトル検出領域ＡＲ及び枠画
像ＷＫを移動させれば、追跡結果を目視確認しながら追
跡することができる。

【００２３】さらに追跡ベクトル検出結果に基づいて、
被写体の動きを追跡するように、撮像系２の向きを移動
させれば、撮像装置全体として被写体を自動的に追跡す
ることができる。

【００２４】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２５】（１）全体構成図１において、１は全体として物体追跡装置を示し、ユ
ーザの指定した被写体を追跡して絞り、焦点を調整す
る。

【００２６】すなわち撮像装置２は、所望の被写体を撮
像し、その結果得られるビデオ信号ＳＶを追跡ベクトル
検出回路４に出力する。

【００２７】追跡ベクトル検出回路４は、順次入力され
るビデオ信号ＳＶをデイジタル信号に変換すると共に、
入力回路６から入力される座標データ（ｘ１，ｙ１）、
（ｘ２，ｙ２）に基づいて追跡ベクトル検出領域ＡＲを
設定する。さらに追跡ベクトル検出回路４は、入力回路
６からトリガ信号ＳＴが入力されると、追跡ベクトル検
出領域ＡＲ内の画像について、この画像の移動方向及び
移動量を表してなる追跡ベクトルＶＴを検出し、検出し
た追跡ベクトルＶＴを枠データ生成回路１０に出力す
る。

【００２８】さらに追跡ベクトル検出回路４は、追跡ベ
クトルＶＴが得られると、追跡ベクトル検出領域ＡＲを
追跡ベクトルＶＴの分だけ移動させた後、移動後の追跡
ベクトル検出領域ＡＲを用いて続くフレームの画像につ
いて追跡ベクトルＶＴの検出を繰り返す。これにより追
跡ベクトル検出回路４は、追跡ベクトル検出領域ＡＲ内
の画像について、この画像の移動方向及び移動量を検出
すると共に、この画像の移動に追従して追跡ベクトル検
出領域ＡＲを移動する。

【００２９】入力回路６は、ジヨイステイツクを用いて
座標データを入力し得るようになされ、これにより当該
物体追跡装置１においては、このジヨイステイツクを操
作して追跡ベクトル検出領域ＡＲを設定し得るようにな
さている。

【００３０】すなわち図２に示すように、物体追跡装置
１においては、遅延回路８を介してビデオ信号ＳＶを画
像合成回路９に与え、ここで枠データ生成回路１０から
出力される枠データＤＷに基づいて枠状の画像（以下枠
画像と呼ぶ）ＷＫを生成する。さらに物体追跡装置１に
おいては、画像合成回路９でこの枠画像ＷＫをビデオ信
号ＳＶに合成し、その結果得られる合成画像Ｍを表示装
置１２に表示する。

【００３１】このとき枠データ生成回路１０は、入力回
路６から入力される座標データ（ｘ１，ｙ１）、（ｘ
２，ｙ２）に基づいて追跡ベクトル検出領域ＡＲに対応
した枠データＤＷを生成し、これにより枠画像ＷＫを用
いて追跡ベクトル検出領域ＡＲを表示するようになされ
ている。

【００３２】かくして物体追跡装置１においては、画像
表示装置１２をモニタしながらジヨイステイツクを操作
するだけで、簡易に追跡ベクトル検出領域ＡＲを設定し
得るようになされている。

【００３３】ちなみにこの実施例においては、初期状態
で画面中央に所定の大きさの枠画像ＷＫを表示するよう
になされ、ユーザにおいては、当該表示画像をモニタし
ながらジヨイステイツクを操作して枠画像ＷＫの位置及
び大きさを変化させることにより、簡易に追跡ベクトル
検出領域ＡＲを設定し得るようになされている。

【００３４】このとき入力回路６は、動きベクトルの検
出に供するブロツクを単位にして、当該ブロツクの整数
倍の大きさで追跡ベクトル検出領域ＡＲを設定し得るよ
うになされ、これにより動きベクトル検出結果に基づい
て、簡易に追跡ベクトルを検出し得るようになされてい
る。

【００３５】さらに入力回路６は、追跡開始の操作子が
押圧操作されると、追跡開始のトリガ信号ＳＴを出力す
るのに対し、追跡終了の操作子が押圧操作されると、追
跡終了の制御信号を出力し、これにより物体追跡装置１
全体の動作を制御するようになされている。

【００３６】図３に示すように、枠データ生成回路８
は、追跡ベクトルＶＴ（ＤＸ，ＤＹ）が得られると枠デ
ータＤＷの座標データ（ｘ１，ｙ１）、（ｘ２，ｙ２）
にそれぞれ追跡ベクトルの２次元座標ＤＸ，ＤＹを加算
して出力する。これにより枠データ生成回路８は、追跡
ベクトルＶＴに基づいて、枠データＤＷを更新し、追跡
ベクトル検出領域内の画像の移動に追従して枠画像ＷＫ
を移動させる。

【００３７】さらにこの実施例において、枠データ生成
回路１０は、枠データＤＷを制御回路（図示せず）に出
力し、当該制御回路は、枠データＤＷで決まる領域（す
なわち追跡ベクトル検出領域ＡＲでなる）でビデオ信号
ＳＶの信号レベルを検出することにより、当該検出結果
に基づいて撮像装置２の焦点及び絞りを制御する。

【００３８】これにより当該物体追跡装置１において
は、ユーザが設定した追跡ベクトル検出領域ＡＲ内の画
像について、当該画像の移動に追従して、常に最適な明
るさ及びフオーカスの状態を維持し得るようになされて
いる。

【００３９】（２）追跡ベクトル検出回路図４に示すように、追跡ベクトル検出回路４は、ビデオ
信号ＳＶを動きベクトル検出回路２０に与え、動きベク
トルＭＶを検出する。

【００４０】ここで動きベクトル検出回路２０は、内蔵
のブロツク化回路でビデオ信号ＳＶをデイジタル信号
（以下デイジタルビデオ信号と呼ぶ）に変換した後、こ
のデイジタルビデオ信号を８×８画素単位のブロツクＢ
Ｌに分割し、各ブロツク毎にラスタ走査の順序で続くマ
ツチング回路に出力するマツチング回路は、このデイジ
タルビデオ信号と１フレーム前のデイジタルビデオ信号
との比較結果を得ることにより、追跡ベクトル検出範囲
ＡＲ内の各ブロツクについて、ブロツクマツチングの手
法を適用して各ブロツク毎に動きベクトルＭＶを検出す
る。

【００４１】分布検出回路２７は、追跡ベクトル検出領
域ＡＲ内の動きベクトルＭＶについて、向き及び大きさ
を基準にして度数分布を検出し、分布検出結果を判定回
路２９に出力する。すなわち分布検出回路２７は、動き
ベクトル検出領域ＡＲに対応した２次元のテーブルを有
し、各フレーム毎にこのテーブルの内容を値０に初期化
する。さらに分布検出回路２７は、動きベクトルＭＶの
値に応じてこのテーブルの内容を値１づつ更新し、これ
により追跡ベクトル検出領域ＡＲ内の動きベクトルの度
数分布を検出する。

【００４２】このとき分布検出回路２７は、判定回路２
９の追跡ベクトル検出結果に基づいて、追跡ベクトル検
出領域ＡＲを更新し、これにより各フレーム毎に、画像
の移動に追従して追跡ベクトル検出領域ＡＲを更新する
と共に、更新した追跡ベクトル検出領域ＡＲについて動
きベクトルの度数分布を検出する。

【００４３】判定回路２９は、この分布検出結果に基づ
いて、追跡ベクトルを検出して出力する。

【００４４】（３）判定回路図５に示すように、判定回路２９は、分布検出回路２７
から出力される度数分布検出結果ＢＰを動きベクトルメ
モリ回路３０に格納した後、順次度数変化計算回路３
２、大きさ変化計算回路３４、方向変化計算回路３６に
出力する。このとき動きベクトルメモリ回路３０は、図
６に示すように、所定の識別データＩＤを付して動きベ
クトルＭＶ毎にその動きベクトルＭＶの度数Ｎを格納す
る。

【００４５】度数変化計算回路３６は、追跡ベクトルメ
モリ回路３８に格納された追跡ベクトルのデータを基準
にして動きベクトルＭＶの度数の変化を検出する。ここ
で図７に示すように、追跡ベクトルメモリ回路３８は、
現在のフレームから所定フレーム数（この場合１０フレ
ーム分、すなわち過去0.3 秒分のフレーム数でなる）だ
け遡つて、追跡ベクトルＶＴと、その追跡ベクトルＶＴ
と一致する動きベクトルＭＶの度数Ｎ_Oが格納されるよ
うになされている。

【００４６】度数変化計算回路３６は、この追跡ベクト
ルメモリ回路３８に格納された度数Ｎ_Oを基準にして動
きベクトルＭＶの度数Ｎ_Nの変化を検出する。

【００４７】すなわち度数変化計算回路３６は、動きベ
クトルメモリ回路３０に格納された各動きベクトルＭＶ
(j) 毎に、次式

【数１】の演算処理を実行する。ここで ABSは、絶対値を表す。
さらに度数変化計算回路３６は、追跡ベクトルメモリ回
路３８に格納された各フレームの追跡ベクトルＶＴ_O毎
にこの演算処理を実行し、この演算処理結果を順次スコ
ア計算回路４０に出力する。

【００４８】これに対して大きさ変化計算回路３４は、
追跡ベクトルメモリ回路３８に格納された追跡ベクトル
ＶＴの大きさを基準にして動きベクトルＭＶの大きさの
変化を検出する。すなわち大きさ変化計算回路３４は、
動きベクトルメモリ回路３０に格納された各動きベクト
ルＭＶ(j) 毎に、次式

【数２】の演算処理を実行する。

【００４９】さらに大きさ変化計算回路３６は、追跡ベ
クトルメモリ回路３８に格納された各フレームの追跡ベ
クトルＶＴ_O毎にこの演算処理を実行し、この演算処理
結果を順次スコア計算回路４２に出力する。

【００５０】これに対して方向変化計算回路３６は、追
跡ベクトルメモリ回路３８に格納された追跡ベクトルＶ
Ｔの方向を基準にして動きベクトルＭＶの方向の変化を
検出する。すなわち方向変化計算回路３６は、動きベク
トルメモリ回路３０に格納された各動きベクトルＭＶ
(j) 毎に、次式

【数３】の演算処理を実行する。ここで (ＭＶ(j),ＶＴ_O）は、
ベクトルＭＶ(j) 及びＶＴ_Oの内積を表す。

【００５１】さらに方向変化計算回路３６は、追跡ベク
トルメモリ回路３８に格納された各フレームの追跡ベク
トルＶＴ_O毎にこの演算処理を実行し、この演算処理結
果を順次スコア計算回路４４に出力する。

【００５２】ところで自然界において移動する物体は、
その移動方向、移動速度が連続的に変化することによ
り、このようにして検出した動きベクトルのうち被写体
の動きを表す動きベクトルＭＶは、度数、大きさ及び方
向の何れも急激には変化しない特徴がある。また被写体
が物陰に隠れるような場合でも、急には物陰に隠れる場
合はなく、この場合も動きベクトルＭＶの度数、大きさ
及び方向は連続的に変化する特徴がある。

【００５３】従つてこのようにして検出した変化につい
て、その変化の最も小さな動きベクトルＭＶを検出すれ
ば、被写体の動きを検出することができる。

【００５４】この検出原理に基づいて、スコア計算回路
４０〜４２は、テーブル４６〜５０に格納されたデータ
に従つて変化検出結果が小さなとき、大きな検出結果
（以下スコアと呼ぶ）が得られるように、計算回路３２
〜３６の計算結果を変換する。

【００５５】すなわち動きベクトルＭＶの度数において
は、（１）式から、変化が小さな場合程値の小さな変化
検出結果が得られることにより、スコア計算回路４０
は、度数変化テーブル４６を参照して、入出力関係がほ
ぼ逆比例の関係になるように、変化検出結果からスコア
を生成して出力する。

【００５６】同様に動きベクトルＭＶの大きさにおいて
は、（２）式から、変化が小さな場合程値の小さな変化
検出結果が得られることにより、スコア計算回路４２
は、大きさ変化テーブル４８を参照して、入出力関係が
ほぼ逆比例の関係になるように、変化検出結果からスコ
アを生成して出力する。

【００５７】これに対して動きベクトルＭＶの方向にお
いては、（３）式から、変化が小さな場合程値の大きな
変化検出結果が得られることにより、スコア計算回路４
４は、方向変化テーブル５０を参照して、この場合入出
力関係がほぼ比例関係になるように、変化検出結果から
スコアを生成して出力する。

【００５８】スコアテーブル作成回路５０は、各スコア
計算回路４０〜４４から出力されるスコアを動きベクト
ルＭＶ及び追跡ベクトルメモリ回路３８から出力される
追跡ベクトル毎に加算し、これにより総合スコアを検出
した後、順次スコアテーブル回路５４に格納する。すな
わちスコアテーブル作成回路５０は、それぞれ度数、大
きさ及び方向のスコアを次式

【数４】

【数５】

【数６】とおいて、次式

【数７】の加算処理を実行する。

【００５９】スコアテーブル５４は、図８に示すよう
に、動きベクトルＭＶ及び追跡ベクトルメモリ回路３８
から出力される追跡ベクトルＶＴを基準にして、２次元
のメモリ回路に総合スコアS(j)を順次格納する。ベクト
ル決定回路５６は、このスコアテーブル５４を参照して
変化の最も小さな動きベクトルＭＶを検出し、この動き
ベクトルＭＶを追跡ベクトルＶＴに選定する。

【００６０】すなわちベクトル決定回路５６は、スコア
テーブル５４を参照して直前のフレームの追跡ベクトル
ＶＴ_O1について検出された総合スコアＳ₁₁〜Ｓ_M1の中か
ら、最も値の大きな総合スコア（すなわちテーブル４６
〜５０で変化をスコアに変換したことにより、最も変化
の小さな動きベクトルＭＶのスコアに相当する）を検出
する。さらにベクトル決定回路５６は、この総合スコア
の値がスレツシホールドテーブル５８に格納された第１
のしきい値ＴＨ１より大きいか否か判断し、ここで肯定
結果が得られると、この総合スコアの動きベクトルＭＶ
を追跡ベクトルＶＴに選定する。

【００６１】かくして動きベクトルＭＶの度数、大き
さ、方向の変化を検出し、この変化の最も小さな動きベ
クトルＭＶを追跡ベクトルに選定することにより、被写
体の動きの特徴を有効に利用してこの被写体を追跡する
ことができる。

【００６２】これに対してベクトル決定回路５６は、こ
の総合スコアの値がスレツシホールドテーブル５８に格
納された第１のしきい値ＴＨ１より小さいとき、追跡ベ
クトルＶＴ_O1からさらに１フレーム前の追跡ベクトルＶ
Ｔ_O2について検出された総合スコアＳ₁₂〜Ｓ_M2の中か
ら、値の最も大きな総合スコアを検出する。さらにベク
トル決定回路５６は、この総合スコアの値がスレツシホ
ールドテーブル５８に格納された第２のしきい値ＴＨ２
より大きいか否か判断し、ここで肯定結果が得られる
と、この総合スコアの動きベクトルＭＶを追跡ベクトル
ＶＴに選定する。

【００６３】すなわち自然画においては、被写体が物陰
に隠れる場合、被写体の前を物体が横切る場合等があ
る。この場合、追跡ベクトル検出領域内で検出される動
きベクトルＭＶにおいては、被写体の動きを表すものが
少なくなり、結局総合スコアの値が最も大きな動きベク
トルＭＶであつても、被写体の動きを表さない場合が考
えられる。

【００６４】この場合値の最も大きな総合スコアの値に
おいては、その値自体は小さくなる。従つてこの値の最
も大きな総合スコアの値を検出すれば、その総合スコア
の動きベクトルＭＶが正しく被写体の動きを表している
か否か判断することができる。

【００６５】これにより判定回路２９においては、ベク
トル決定回路５６で所定のしきい値を基準にして総合ス
コアの値を判断することにより、追跡ベクトルの誤検出
を未然に防止し得るようになされている。

【００６６】ところで物体の後方を被写体が横切つて表
れた場合、直前のフレームに対しては動きベクトルＭＶ
の変化が大きくなるのに対し、物体に隠れる直前のフレ
ームに対しては動きベクトルＭＶの変化は小さいと判断
することができる。この場合直前のフレームに対して
は、値の最も大きな総合スコアであつても値自体が小さ
いのに対し、物体に隠れる直前のフレームに対しては、
値の最も大きな総合スコアは、その値自体大きくなる。

【００６７】従つて、このように直前のフレームに対し
て、総合スコアがしきい値ＴＨ１以下の場合であつて
も、さらに遡つたフレームに対しては、値の大きな総合
スコアが検出される場合があり、この場合この総合スコ
アで決まる動きベクトルＭＶが被写体の動きを表してい
ると判断することができる。これによりベクトル判定回
路５６においては、しきい値ＴＨ１を基準にして検出し
た総合スコアの値を判断し、この総合スコアの値が小さ
いとき、順次フレームを遡つて総合ベクトルを検出し、
これにより確実に被写体の動きを検出し得るようになさ
れている。

【００６８】ところでこのようにして数フレーム離れた
フレーム間で動きベクトルＭＶの変化を検出する場合、
隣接するフレーム間で総合スコアを検出する場合に比し
て、フレーム数が離れた分だけ、動きベクトルＭＶの変
化も大きいと考えられる。このためスレツシホールドテ
ーブル５８においては、図９に示すように、フレーム数
が遡るに従つて値が小さくなるようにしきい値ＴＨ１〜
ＴＨＮを格納し、ベクトル決定回路５６は、各しきい値
ＴＨ１〜ＴＨＮを基準にして総合スコアの値を判断する
ようになされている。

【００６９】かくしてこのようにして総合スコアが検出
され、追跡ベクトルが決定されると、その追跡ベクトル
検出結果がベクトル更新回路６０に出力され、ベクトル
更新回路６０は、この追跡ベクトルと一致する動きベク
トルＭＶの度数Ｎをこの追跡ベクトルと共に追跡ベクト
ルメモリ回路３８に格納する。このときベクトル更新回
路６０は、過去１０フレーム分の追跡ベクトル及び度数
を追跡ベクトルメモリ回路３８に格納するように、追跡
ベクトルメモリ回路３８の内容を更新する。

【００７０】これに対して過去１０フレームまで遡つて
も、総合スコアの値がしきい値以下のとき、この場合被
写体が完全に物陰に隠れたままの場合等と考えられるこ
とにより、ベクトル決定回路５６は、追跡不能の判定結
果を出力する。これにより物体追跡装置１においては、
所定の警告ランプを点灯してユーザの注意を喚起するよ
うになされている。

【００７１】ところでこのように判定不能の場合、さら
には追跡開始時等においては、このように動きベクトル
ＭＶの変化を検出する前程となる従前の追跡ベクトル自
体、得ることが困難になる。このためこの実施例におい
て、判定回路２９は、ユーザが追跡開始の操作子をオン
操作した場合、分布検出回路２７で検出される動きベク
トルＭＶの分布検出結果に基づいて、度数の最も大きな
動きベクトルＭＶを検出し、この動きベクトルＭＶを追
跡ベクトルに設定する。

【００７２】これによりユーザにおいては、追跡開始の
とき、又は追跡不能の検出結果が得られたとき、追跡ベ
クトル検出領域を確認して追跡開始の操作子をオン操作
することにより、所望の被写体を追跡することができ
る。

【００７３】すなわち追跡対象を囲むように設定した枠
内において、最も支配的な動きベクトルＭＶにおいて
は、当該追跡対象の移動方向及び移動量を表すと考えら
れる。従つて最も支配的な動きベクトルＭＶを検出すれ
ば、簡易な構成で所望の被写体を追跡することができ、
焦点調整、絞り調整等に利用して物体追跡装置１の使い
勝手を向上することができる。

【００７４】これにより物体追跡装置１は、追跡開始の
とき、又は追跡不能の検出結果が得られたとき、簡易か
つ確実に追跡ベクトルを検出し、この検出結果に基づい
て続くフレームの追跡ベクトルを順次検出し、これによ
り自動的に焦点及び絞りを調整し得るようになされてい
る。

【００７５】（４）実施例の効果以上の構成によれば、追跡ベクトル検出領域内で動きベ
クトルの度数分布を検出した後、従前の追跡ベクトルを
基準にしてこの動きベクトルの変化を検出し、変化の最
も小さな動きベクトルを追跡ベクトルに設定することに
より、被写体が瞬間的に物陰に隠れた場合等において
も、この被写体を追跡することができる。

【００７６】（５）他の実施例なお上述の実施例においては、フレーム単位で画像デー
タを処理する場合について述べたが、本発明はこれに限
らず、フイールド単位で処理するようにしてもよい。

【００７７】さらに上述の実施例においては、過去10フ
レーム分、追跡ベクトルのデータを追跡ベクトルメモリ
回路に格納する場合について述べたが、本発明はこれに
限らず、実用上充分な範囲で追跡ベクトルのデータを追
跡ベクトルメモリ回路に格納すればよく、実験によれ
ば、５〜１０フレームの範囲で追跡ベクトルのデータを
格納して動画像を確実に処理することができた。

【００７８】さらに上述の実施例においては、変化の小
さな場合にスコアの値が大きくなるようにテーブルを形
成した場合について述べたが、本発明はこれとは逆に、
変化の小さな場合にスコアの値が小さくなるようにスコ
アを形成してもよい。

【００７９】さらに上述の実施例においては、追跡ベク
トル検出結果に基づいて焦点調整及び絞り調整する場合
について述べたが、本発明はこれに限らず、ズーム処理
等を併せて実行するようにしてもよい。さらに枠の移動
に限らず、カメラ駆動回路７０（図１）に制御信号ＳＣ
を出力して、画像の移動に追従して撮像装置の向きを切
り換えるようにしてもよくこの場合、動きの速さに応動
して、枠の移動及び撮像領域の移動を組み合わせて処理
するようにしてもよい。

【００８０】さらに上述の実施例においては、動きベク
トル検出結果に基づいて、直接テーブルの内容を更新し
て追跡ベクトルを検出する場合について述べたが、本発
明はこれに限らず、動きベクトルを再量子化して処理す
るようにしてもよい。このようにすれば、追跡ベクトル
の精度が必要でない場合等においては、テーブルを小型
化し得、されに一段と簡易な構成で物体の動きを検出す
ることができる。

【００８１】

【発明の効果】上述のように本発明によれば、追跡ベク
トル検出領域内の動きベクトルの度数分布を検出した
後、従前に検出した追跡ベクトルを基準にして度数分布
検出結果から動きベクトルの変化を検出して最も変化の
小さな動きベクトルを検出することにより、簡易な構成
で被写体が瞬間的に物陰に隠れたような場合でも、この
被写体を追跡することができる画像処理装置を得ること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施例による物体追跡装置を示すブ
ロツク図である。

【図２】追跡ベクトル検出領域の設定の説明に供する略
線図である。

【図３】枠表示位置の説明に供する略線図である。

【図４】追跡ベクトル検出回路を示すブロツク図であ
る。

【図５】判定回路を示すブロツク図である。

【図６】動きベクトルメモリの内容を示す略線図であ
る。

【図７】追跡ベクトルメモリの内容を示す略線図であ
る。

【図８】スコアテーブルの内容を示す略線図である。

【図９】スレツシホールドテーブルの内容を示す略線図
である。

【符号の説明】

１……物体追跡装置、２……撮像装置、４……追跡ベク
トル検出回路、６……入力回路、１０……枠データ生成
回路、２０……動きベクトル検出回路、２１……ブロツ
ク化回路、２７……分布回路、２９……判定回路、３０
……動きベクトルメモリ回路、３２、３４、３６……変
化計算回路、３８……追跡ベクトルメモリ回路、４０、
４２、４４……スコア計算回路、４６、４８、５０……
変化テーブル、５２……スコアテーブル作成回路、５４
……スコアテーブル、５６……ベクトル決定回路。

Claims

【特許請求の範囲】

【請求項１】順次入力される画像データを、水平及び垂
直方向に所定画素単位のブロツクに分割する画像データ
ブロツク化回路と、水平及び垂直方向に上記ブロツクを所定個数含んでなる
追跡ベクトル検出領域を設定する検出領域設定回路と、上記追跡ベクトル検出領域内の上記各ブロツクについ
て、動きベクトルを検出する動きベクトル検出回路と、上記動きベクトル検出回路の検出結果に基づいて、上記
追跡ベクトル検出領域内の上記動きベクトルの分布を検
出し、該分布検出結果に基づいて上記追跡ベクトル検出
領域内の画像の移動方向及び移動量を表す追跡ベクトル
を検出する追跡ベクトル検出回路とを具え、上記追跡ベ
クトル検出回路は、従前のフレーム又はフイールドで検出された上記追跡ベ
クトルを基準にして、上記分布検出結果を処理すること
により、上記追跡ベクトル検出領域内で検出された上記
動きベクトルの１つを現在のフイールド又はフレームの
上記追跡ベクトルに選定することを特徴とする画像処理
装置。
【請求項２】上記追跡ベクトル検出回路は、従前のフレーム又はフイールドで検出された上記分布検
出結果から、上記従前のフレーム又はフイールドの上記
追跡ベクトルと一致する従前のフレーム又はフイールド
の動きベクトルの度数を検出し、上記従前のフレーム又はフイールドの動きベクトルの度
数及び上記追跡ベクトルを基準にして、現在のフレーム
又はフイールドで検出された上記分布検出結果の変化を
検出して、該変化の最も小さい上記動きベクトルを現在
のフレーム又はフイールドの上記追跡ベクトルに選定す
ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】上記分布検出結果の変化の検出は、上記動きベクトルの度数の変化、上記動きベクトルの大
きさの変化及び上記動きベクトルの方向の変化を動きベ
クトル毎に検出した後、上記動きベクトルの度数の変
化、上記動きベクトルの大きさの変化及び上記動きベク
トルの方向の変化を加算して動きベクトル毎に全体の変
化を検出し、上記全体の変化の最も小さい上記動きベク
トルを現在のフレーム又はフイールドの上記追跡ベクト
ルに選定することを特徴とする請求項２に記載の画像処
理装置。
【請求項４】上記追跡ベクトル検出回路は、上記従前のフレーム又はフイールドの上記追跡ベクトル
を基準にして上記最も小さな変化を検出し、上記最も小さな変化及び所定のしきい値との間で比較結
果を得、上記最も小さな変化が上記しきい値以上のと
き、上記従前のフレーム又はフイールドからさらに遡つ
たフレーム又はフイールドの上記追跡ベクトルを基準に
して上記最も小さな変化を検出し、該変化の最も小さい
上記動きベクトルを現在のフレーム又はフイールドの上
記追跡ベクトルに選定することを特徴とする請求項２又
は請求項３に記載の画像処理装置。
【請求項５】上記追跡ベクトル検出回路は、上記最も小さな変化を検出する際に、現在のフレーム又
はフイールドから遡るに従つて上記しきい値の値を切り
換えるようにしたことを特徴とする請求項４に記載の画
像処理装置。
【請求項６】上記追跡ベクトル検出回路は、上記追跡ベクトル検出領域内の画像の移動方向及び移動
量の検出開始時、上記分布検出結果に基づいて、最も度
数の大きな上記動きベクトルを現在のフレーム又はフイ
ールドの上記追跡ベクトルに選定した後、続くフレーム
又はフイールドについて順次上記追跡ベクトルを検出す
ることを特徴とする請求項４又は請求項５に記載の画像
処理装置。
【請求項７】上記順次入力される画像データは、撮像系
を介して所望の被写体を撮像した画像データで、上記追跡ベクトル検出領域は、上記被写体を囲むように
設定され、上記追跡ベクトル検出回路は、上記追跡ベクトル検出結
果を所定の追跡回路に出力し、上記追跡回路は、上記追跡ベクトル検出領域に応じて上
記被写体の囲む枠画像を形成すると共に、上記追跡ベク
トル検出結果に基づいて、上記追跡ベクトル検出領域及
び上記枠画像を移動させることを特徴とする請求項１、
請求項２、請求項３、請求項４又は請求項６に記載の画
像処理装置。
【請求項８】上記順次入力される画像データは、撮像系
を介して所望の被写体を撮像した画像データで、上記追跡ベクトル検出領域は、上記被写体を囲むように
設定され、上記追跡ベクトル検出回路は、上記追跡ベクトル検出結
果を所定の追跡回路に出力し、上記追跡回路は、上記追跡ベクトル検出結果に基づい
て、被写体の動きを追跡するように、上記撮像系の向き
を変化させることを特徴とする請求項１、請求項２、請
求項３、請求項４又は請求項６に記載の画像処理装置。