JPH08147477A - 局所領域画像追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は局所領域画像追跡装置に関し、高速
で追跡処理を行え、追跡処理中の任意の時点で相関演算
に用いる参照画像データを更新することができるように
することを目的とする。 【解決手段】 撮像手段１により撮像された入力画像デ
ータのうち、追跡処理を施すべき探索画像データを任意
の局所領域に関する参照画像データと比較して、該探索
画像データで表される探索画像内の該任意の局所領域を
連続的に追跡する局所領域画像追跡装置において、該撮
像手段１からの入力画像データを転送する画像データバ
ス３と、該画像データバスに並列に接続されており、各
々少なくとも１つの探索画像に対する追跡処理を独立し
て行える複数の相関追跡処理装置４−１〜４−Ｍとを有
し、１又は複数の探索画像に対する追跡処理を該複数の
相関追跡処理装置４−１〜４−Ｍで分散して行うように
構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は局所領域画像追跡装
置に係り、特にテレビカメラ等で撮影される画像内で運
動している物体を連続的に追跡する局所領域画像追跡装
置に関する。撮像画面内で運動する物体を追跡する局所
領域画像追跡装置は、加速度センサ等を使用しない非接
触型の動き計測や動きベクトルの可視化システム、監視
や観察の自動化システム、人間のジェスチャ、表情や視
線の認識システム、映画やスポーツ中継でのカメラ制御
システム、移動ロボットや自律走行車の制御システム、
人工衛生からの移動物体の追跡システム等で使用され
る。

【０００２】

【従来の技術】図７２は、従来の局所領域画像追跡装置
の一例の要部を示すブロック図である。同図中、局所領
域画像追跡装置は大略撮像装置５０１、アナログ／ディ
ジタル（Ａ／Ｄ）変換器５０２、探索画像メモリ５０
３、参照画像メモリ５０４、相関演算器５０５、アドレ
ス発生器５０６及び相関値ピーク位置検出器５０７から
なる。

【０００３】撮像装置５０１により撮像された画像に関
するアナログ画像データは、Ａ／Ｄ変換器５０２により
ディジタル画像データに変換され、順次探索画像メモリ
５０３に格納される。参照画像メモリ５０４には、予め
追跡するべき所定物体に関する固定の参照画像データが
格納されている。相関演算器５０５は、相関演算を行う
ことにより、探索画像メモリ５０３内の画像データと参
照画像メモリ５０４内の参照画像データの間の相関性を
示す相関値を求める。相関値ピーク位置検出器５０７
は、この相関値のピーク位置、即ち、撮像画面中相関性
の最も高い位置を検出する。相関値ピーク位置検出器５
０７からのピーク位置は、アドレス発生器５０６へフィ
ードバックされ、アドレス発生器５０６はピーク位置に
対応するメモリアドレスを発生して探索画像メモリ５０
３及び参照画像メモリ５０４に供給する。従って、相関
値ピーク位置検出器５０７からは、常に相関値のピーク
位置が得られ、このピーク位置に基づいて撮像画面内の
所定物体を実時間で追跡することができる。

【０００４】

【発明が解決しようとする課題】しかし、従来の局所領
域画像追跡装置では、以下の問題点があった。第１に、
撮像装置５０１からの画像データをＡ／Ｄ変換器５０２
を介して探索画像メモリ５０３に書き込む期間中には、
探索画像メモリ５０３から画像データを読み出して相関
演算器５０５で相関演算を行うことができず、撮像され
た画像に対して各フレーム毎に追跡処理をすることがで
きないという問題があった。このため、従来の局所領域
画像追跡装置では、相関演算器５０５での相関演算は、
例えば画像データの１フレームおき毎に行って、１フレ
ームおき毎の追跡処理を行わざるを得なかった。つま
り、従来は、追跡処理を高速に行うことはできなかっ
た。

【０００５】第２に、撮像装置５０１に対して１つの相
関演算器５０５しか設けられていないため、相関演算器
５０５の処理能力によって１度に追跡可能な物体の数が
限定されてしまうという問題があった。つまり、撮像装
置５０１からは１フレーム毎に新しい画像データが送ら
れて来るため、相関演算器５０５では相関演算を１フレ
ーム期間内に終了しなければならない。しかし、１度に
追跡するべき物体の数が大きいと、各物体に対する相関
処理を１フレーム期間内に終了することは不可能とな
り、相関演算器５０５の処理能力によっては１度に１つ
の物体しか追跡できなかった。即ち、従来は、追跡処理
を高速に行うことはできなかった。

【０００６】第３に、参照画像メモリ５０４には、予め
追跡するべき所定物体に関する固定の参照画像データが
格納されており、追跡処理中の任意の時点で参照画像メ
モリ５０４の内容を更新することができないという問題
があった。本発明は上記の問題点に鑑みてなされたもの
であり、高速で追跡処理を行え、追跡処理中の任意の時
点で相関演算に用いる参照画像データを更新することが
できる局所領域画像追跡装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】上記の課題は、請求項１
記載の、撮像手段により撮像された入力画像データのう
ち、追跡処理を施すべき探索画像データを任意の局所領
域に関する参照画像データと比較して、該探索画像デー
タで表される探索画像内の該任意の局所領域を連続的に
追跡する局所領域画像追跡装置において、該撮像手段か
らの入力画像データを転送する画像データバスと、該画
像データバスに並列に接続されており、各々少なくとも
１つの探索画像に対する追跡処理を独立して行える複数
の相関追跡処理装置とを有し、１又は複数の探索画像に
対する追跡処理を該複数の相関追跡処理装置で分散して
行う局所領域画像追跡装置によって達成される。

【０００８】請求項２記載の発明では、請求項１記載の
発明において、各相関追跡処理装置は、少なくとも３以
上の画像メモリと、該画像メモリを入力画像データを格
納する入力画像メモリと、探索画像データを格納する探
索画像メモリと、参照画像データを格納する参照画像メ
モリとに選択的に切り換えるセレクタ手段と、該参照画
像メモリ及び該探索画像メモリから参照画像データ及び
探索画像データを読み出すためのアドレスを発生するア
ドレス発生手段と、該参照画像メモリに格納された参照
画像データと該探索画像メモリに格納された探索画像デ
ータとの間の相関性を表す相関値を相関演算処理により
算出する相関演算手段と、該相関演算手段からの相関値
のピーク位置を求めるピーク位置検出手段とを有する。

【０００９】請求項３記載の発明では、請求項２記載の
発明において、前記セレクタ手段は、入力画像データの
該画像メモリへの格納順序を固定的に制御することによ
り、入力画像データの各フレーム毎の追跡処理、各フレ
ーム毎の探索画像データの該画像メモリへの格納及び任
意のフレーム間隔での参照画像データの更新を行う。

【００１０】請求項４記載の発明では、請求項２記載の
発明において、前記画像メモリは４以上設けられてお
り、前記セレクタ手段は、入力画像データの該画像メモ
リへの格納順序を固定的に制御することにより、入力画
像データの各フレーム毎の追跡処理、各フレーム毎の探
索画像データの該画像メモリへの格納、複数の参照画像
データの複数の画像メモリへの格納及び任意のフレーム
間隔での参照画像データの更新を行う。

【００１１】請求項５記載の発明では、請求項２〜４記
載のいずれかの発明において、前記相関演算手段は、１
６画素×１６画素の参照画像について、これより大きい
探索画像内の複数の部分領域画像と相関演算を行って相
関値を求める。請求項６記載の発明では、請求項１〜５
記載のいずれかの発明において、前記画像メモリから読
み出された探索画像データ及び参照画像データを一時的
に順次格納するファースト・イン・ファースト・アウト
（ＦＩＦＯ）手段を更に有し、前記相関演算手段は該フ
ァースト・イン・ファースト・アウト（ＦＩＦＯ）手段
から読み出された探索画像データ及び参照画像データに
基づいて相関演算を行うことにより、探索画像データ及
び参照画像データの読み出しと相関演算とを並列に行
う。

【００１２】請求項７記載の発明では、請求項１記載の
発明において、制御計算機と、該制御計算機と接続され
た制御計算機バスとを更に有し、前記複数の相関追跡処
理装置は、夫々該制御計算機バスに並列に接続されてお
り、該制御計算機は、該制御計算機バスを介して各相関
追跡処理装置での参照画像データの更新に関する制御、
前記画像メモリの選択や切り換えに関する制御等を行
う。

【００１３】請求項８記載の発明では、請求項７記載の
発明において、各相関追跡処理装置は、少なくとも３以
上の画像メモリと、該画像メモリを入力画像データを格
納する入力画像メモリと、探索画像データを格納する探
索画像メモリと、参照画像データを格納する参照画像メ
モリとに選択的に切り換えるセレクタ手段と、該参照画
像メモリに格納された参照画像データと該探索画像メモ
リに格納された探索画像データとの間の相関性を表す相
関値を相関演算処理により算出する相関演算手段と、該
相関演算手段からの相関値のピーク位置を求めるピーク
位置検出手段と、少なくとも該セレクタ手段及び前記制
御計算機バスに接続されており、各相関追跡処理装置と
前記制御計算機との間のインタフェースを司る制御計算
機インタフェースとを有する。

【００１４】請求項９記載の発明では、請求項８記載の
発明において、前記制御計算機は、前記制御計算機バス
を介して前記制御計算機インタフェースに対して参照画
像データの更新を任意の時点で指示する。請求項１０記
載の発明では、請求項８記載の発明において、前記制御
計算機は、前記制御計算機バスを介して前記制御計算機
インタフェースに対して前記探索画像メモリ及び前記参
照画像メモリから切り出す局所領域を任意の時点で指示
する。

【００１５】請求項１１記載の発明では、請求項８記載
の発明において、前記制御計算機インタフェースは、前
記相関演算手段からの相関値及び前記ピーク位置検出手
段からのピーク位置のうち少なくとも一方を格納する格
納手段を有し、前記制御計算機は前記制御計算機バスを
介して任意の時点で該格納手段に格納された情報を読み
出す。

【００１６】請求項１２記載の発明では、請求項７〜１
１のうちいずれかの発明において、前記画像メモリから
読み出された探索画像データ及び参照画像データを一時
的に順次格納するファースト・イン・ファースト・アウ
ト（ＦＩＦＯ）手段を更に有し、前記相関演算手段は該
ファースト・イン・ファースト・アウト（ＦＩＦＯ）手
段から読み出された探索画像データ及び参照画像データ
に基づいて相関演算を行うことにより、探索画像データ
及び参照画像データの読み出しと相関演算とを並列に行
う。

【００１７】請求項１３記載の発明では、請求項８〜１
１のうちいずれかの発明において、前記制御計算機イン
タフェースは、前記制御計算機からの指示を順次格納す
る第１のファースト・イン・ファースト・アウト（ＦＩ
ＦＯ）手段を有し、各相関追跡処理装置は該第１のファ
ースト・イン・ファースト・アウト（ＦＩＦＯ）手段に
格納された複数の指示に従って複数の追跡処理を一括し
て該制御計算機の介在なしに行う。

【００１８】請求項１４記載の発明では、請求項１３の
発明において、前記制御計算機インタフェースは、前記
相関演算手段からの相関値及び前記ピーク位置検出手段
からのピーク位置のうち少なくとも一方を順次格納する
第２のファースト・イン・ファースト・アウト（ＦＩＦ
Ｏ）手段を有し、該制御計算機は任意の時点で該第２の
ファースト・イン・ファースト・アウト（ＦＩＦＯ）手
段に格納された情報を読み出す。

【００１９】請求項１５記載の発明では、請求項８の発
明において、前記制御計算機インタフェースは、追跡処
理で前記相関演算手段から得られる相関値の相関値分布
を格納する格納手段と、複数回の追跡処理の各々で得ら
れる相関値分布を順次加算する加算手段とを有する。

【００２０】請求項１６記載の発明では、請求項１５の
発明において、前記制御計算機インタフェースは、前記
加算手段により複数回の追跡処理の各々で得られる相関
値分布を順次加算するか否かを前記制御計算機からの指
示により制御される。請求項１７記載の発明では、請求
項８の発明において、前記制御計算機は、固定サイズの
隣接する参照画像に対する追跡処理結果である相関値分
布を全て加算し、そのピーク位置を求めることにより、
任意倍の参照画像について追跡処理を行うように前記制
御計算機インタフェースを制御する。

【００２１】請求項１８記載の発明では、請求項１〜１
７のうちいずれかの発明において、前記撮像手段からの
入力画像データのビット数を、前記相関演算手段の処理
ビット数に合うように変換する変換手段を更に有する。
請求項１９記載の発明では、請求項１８の発明におい
て、前記変換手段は、ｍ＞ｎとするとｍビットのカラー
画像データをｎビットの疑似カラー画像データに変換す
る。

【００２２】上記の課題は、請求項２０記載の、撮像手
段により撮像された入力画像データのうち、追跡処理を
施すべき探索画像データを任意の局所領域に関する参照
画像データと比較して、該探索画像データで表される探
索画像内の該任意の局所領域を連続的に追跡する局所領
域画像追跡装置において、少なくとも３以上の画像メモ
リと、該画像メモリを入力画像データを格納する入力画
像メモリと、探索画像データを格納する探索画像メモリ
と、参照画像データを格納する参照画像メモリとに選択
的に切り換えるセレクタ手段と、該参照画像メモリに格
納された参照画像データと該探索画像メモリに格納され
た探索画像データとの間の相関性を表す相関値を相関演
算処理により算出する相関演算手段と、該相関演算手段
からの相関値のピーク位置を求めるピーク位置検出手段
と、該ピーク位置検出手段からのピーク位置に基づいて
該セレクタ手段を制御して参照画像データの履歴を順次
該画像メモリに格納することにより、参照画像データを
格納された該探索画像メモリ内の相関値のピーク位置の
履歴に基づいて更新する画像メモリ管理手段とを有する
局所領域画像追跡装置によっても達成できる。

【００２３】請求項２１記載の発明では、請求項２０の
発明において、前記ピーク位置検出手段からのピーク位
置に基づいて、追跡処理により相関度が最大となる参照
画像データを格納している画像メモリを前記画像メモリ
管理手段を介して参照画像メモリに設定することにより
参照画像データを更新する相関度比較手段を更に有す
る。

【００２４】請求項２２記載の発明では、請求項２０の
発明において、前記ピーク位置検出手段からのピーク位
置に基づいて、追跡処理により参照画像メモリに格納さ
れている参照画像データによる相関度を評価して、相関
度に応じて参照画像データを更新する相関度評価手段を
更に有する。

【００２５】請求項２３記載の発明では、請求項２２の
発明において、前記相関度評価手段は、追跡処理におい
て相関度が所定のしきい値以下となった場合にのみ参照
画像データを最新の参照画像データに更新する。請求項
２４記載の発明では、請求項２０の発明において、前記
相関度評価手段が追跡処理において相関度が所定のしき
い値以下となったことを検知した場合にのみ、前記ピー
ク位置検出手段からのピーク位置に基づいて、追跡処理
により相関度が最大となる参照画像データを格納してい
る画像メモリを前記画像メモリ管理手段を介して参照画
像メモリに設定することにより参照画像データを更新す
る相関度比較手段を更に有する。

【００２６】上記の課題は、請求項２５記載の、移動手
段に支持された撮像手段により撮像された入力画像デー
タのうち、追跡処理を施すべき探索画像データを任意の
局所領域に関する参照画像データと比較して、該探索画
像データで表される探索画像内の該任意の局所領域を連
続的に追跡する局所領域画像追跡装置において、少なく
とも該探索画像データ及び該参照画像データを格納する
メモリ手段と、該参照画像データを前記入力画像データ
から自動的に生成する参照画像データ生成手段と、該メ
モリ手段から該探索画像データ及び該参照画像データを
読み出すためのアドレスを発生するアドレス発生手段
と、該メモリ手段から読み出された該探索画像データと
該参照画像データとの間の相関性を相関演算処理により
算出する相関演算手段と、該相関演算手段からの相関値
のピーク位置に基づいて、該移動手段が該撮像手段を該
任意の局所領域を追跡するように移動させる移動指令を
出力する制御手段とを備えた局所領域画像追跡装置によ
っても達成できる。

【００２７】請求項２６記載の発明では、請求項２５の
発明において、前記メモリ手段は前記入力画像データを
格納し、前記参照画像データ生成手段は、予め設定され
た背景画像データと該入力画像データとを比較して、比
較された画像データの不一致の度合いに基づいて該参照
画像データを生成する。

【００２８】請求項２７記載の発明では、請求項２５の
発明において、前記参照画像データ生成手段は、所定時
間間隔をおいた前記入力画像データを夫々複数の領域に
分割し、前記相関演算手段により各分割領域について相
関演算を行わせることにより動きが発生した領域を求
め、該動きが発生した領域の数が所定数を越えたか否か
に基づいて前記参照画像データを生成する。

【００２９】請求項２８記載の発明では、請求項２５〜
２７のいずれかの発明において、前記制御手段は、前記
相関値のピーク値が所定値を越えると前記探索画像デー
タのアドレスを前記参照画像データのアドレスとして前
記アドレス発生手段に設定し、該参照画像データの更新
を行う。

【００３０】請求項２９記載の発明では、請求項２５〜
２８のいずれかの発明において、前記撮像手段はズーム
手段を有し、前記制御手段は前記任意の局所領域が徐々
に予め設定されたズーム設定値で撮像されるように該ズ
ーム手段のズーム値を制御する。

【００３１】請求項３０記載の発明では、請求項２９の
発明において、前記制御手段は、前記任意の局所領域の
動き及びズーム値に基づいて警報又は入力画像データの
記録開始を示す信号を出力する。請求項３１記載の発明
では、請求項２５〜３０のいずれかの発明において、前
記制御手段は、複数の局所領域に識別用のラベルを付け
る手段と、該ラベルを付けられた複数の局所領域のうち
最も大きな局所領域に対して追跡処理を行わせる手段と
を含む。

【００３２】請求項３２記載の発明では、請求項２５〜
２８のいずれかの発明において、前記撮像手段は、夫々
が前記移動手段により移動可能に支持された第１の撮像
装置及びズーム手段を有する第２の撮像装置を含み、前
記制御手段は前記任意の局所領域の追跡を該第１の撮像
装置に行わせると共に、ズーム比に応じて該第２の撮像
装置の方向を制御する移動指令を出力する。

【００３３】請求項３３記載の発明では、請求項３２の
発明において、前記制御手段は、複数の局所領域に識別
用のラベルを付ける手段と、該ラベルを付けられた複数
の局所領域の追跡を前記第１の撮像装置に行わせると共
に各々の局所領域を順番に前記第２の撮像装置でズーム
アップして撮像させる手段とを含む。

【００３４】上記の課題は、請求項３４記載の、撮像手
段により撮像された入力画像データのうち、追跡処理を
施すべき探索画像データを任意の局所領域に関する参照
画像データと比較して、該探索画像データで表される探
索画像内の該任意の局所領域を連続的に追跡する局所領
域画像追跡装置において、少なくとも該探索画像データ
及び該参照画像データを格納するメモリ手段と、複数の
局所領域に関する参照画像データを前記入力画像データ
から自動的に生成する参照画像データ生成手段と、該複
数の局所領域に識別用のラベルを付けるラベリング手段
と、該メモリ手段から該探索画像データ及び該参照画像
データを読み出すためのアドレスを発生するアドレス発
生手段と、該ラベルを付けられた複数の局所領域の各々
に対して該メモリ手段から読み出された該探索画像デー
タと該参照画像データとの間の相関性を相関演算処理に
より算出する相関演算手段と、該相関演算手段からの相
関値のピーク位置に基づいて該複数の局所領域を追跡す
る制御手段とを備えた局所領域画像追跡装置によっても
達成できる。

【００３５】請求項３５記載の発明では、請求項３４の
発明において、前記メモリ手段は前記入力画像データを
格納し、前記参照画像データ生成手段は、予め設定され
た背景画像データと該入力画像データとを比較して、比
較された画像データの不一致の度合いに基づいて該参照
画像データを生成する。

【００３６】請求項３６記載の発明では、請求項３４の
発明において、前記参照画像データ生成手段は、所定時
間間隔をおいた前記入力画像データを夫々複数の領域に
分割し、前記相関演算手段により各分割領域について相
関演算を行わせることにより動きが発生した領域を求
め、該動きが発生した領域の数が所定数を越えたか否か
に基づいて前記参照画像データを生成する。

【００３７】請求項３７記載の発明では、請求項３４〜
３６のいずれかの発明において、前記制御手段は、前記
相関値のピーク値が所定値を越えると前記探索画像デー
タのアドレスを前記参照画像データのアドレスとして前
記アドレス発生手段に設定し、各局所領域に関する参照
画像データの更新を行う。

【００３８】請求項３８記載の発明では、請求項３４〜
３７のいずれかの発明において、前記制御手段は、前記
複数の局所領域の動きに基づいて警報又は入力画像デー
タの記録開始を示す信号を出力する。請求項１記載の発
明によれば、複数の相関追跡処理装置を並列に動作させ
ることにより、高速で追跡処理を行える。

【００３９】請求項２記載の発明によれば、複数の相関
追跡処理装置を並列に動作させることにより、高速で追
跡処理を行えると共に、追跡処理中の任意の時点で相関
演算に用いる参照画像データを更新することができる。
又、アドレス発生手段を設けることで、１つの相関演算
手段で１フレーム間に複数回の相関演算を実行できる。
更に、参照画像メモリ内の複数の参照画像データについ
ての相関演算や、同一の参照画像データに対して探索画
像メモリ内の複数の領域で相関演算を行うことで探索範
囲を見かけ上広げることもできる。つまり、１フレーム
間に複数回繰り返して追跡処理を行うことができる。

【００４０】請求項３記載の発明によれば、追跡処理中
の任意の時点で相関演算に用いる参照画像データを更新
することができる。請求項４記載の発明によれば、複数
の参照画像データを画像メモリに格納することができ
る。

【００４１】請求項５記載の発明によれば、現存のＬＳ
Ｉ化された相関演算手段等を用いることができ、好都合
である。請求項６記載の発明によれば、探索画像データ
及び参照画像データの読み出しと相関演算とを並列に行
えるので、追跡処理のより高速化が可能である。

【００４２】請求項７記載の発明によれば、制御計算機
により複数の相関追跡処理装置を一括して制御して各種
追跡処理管理することができる。請求項８記載の発明に
よれば、制御計算機は制御計算機インタフェースを介し
て各種制御を行うことができると共に、制御計算機イン
タフェースを介して各種情報を相関追跡処理装置から読
み出すことができる。

【００４３】請求項９記載の発明によれば、制御計算機
から参照画像データの更新を任意の時点で行える。請求
項１０記載の発明によれば、制御計算機から探索画像内
の局所領域を任意の時点で指示することができるので、
１フレーム間に複数の参照画像データについて複数回の
相関演算を行う場合にも好都合である。

【００４４】請求項１１記載の発明によれば、制御計算
機から任意の時点で各相関追跡処理装置でえられた相関
値やピーク位置等の情報を読み出すことができる。請求
項１２記載の発明によれば、探索画像データ及び参照画
像データの読み出しと相関演算とを並列に行えるので、
追跡処理のより高速化が可能である。

【００４５】請求項１３記載の発明によれば、制御計算
機インタフェースは制御計算機からの指示を順次格納す
るので、各相関追跡処理装置では格納された複数の指示
に従って複数の追跡処理を一括して制御計算機の介在な
しに行える。請求項１４記載の発明によれば、制御計算
機から任意の時点で各相関追跡処理装置でえられた相関
値やピーク位置等の情報を読み出すことができる。

【００４６】請求項１５記載の発明によれば、複数回の
追跡処理の夫々で得られる相関値分布を順次加算するこ
とができる。請求項１６記載の発明によれば、制御計算
機にから、複数回の追跡処理の夫々で得られる相関値分
布を順次加算するか否かを制御することができる。

【００４７】請求項１７記載の発明によれば、任意倍の
参照画像について追跡処理を行うことができる。請求項
１８記載の発明によれば、相関追跡処理装置としては例
えば現存のものを用いて、入力側で必要ばビット数変換
を行うことができる。

【００４８】請求項１９記載の発明によれば、簡単な手
段で疑似カラー画像データを各相関追跡処理装置に入力
することができる。請求項２０記載の発明によれば、追
跡処理の信頼性を向上することができる。請求項２１記
載の発明によれば、参照画像データの履歴に基づいて参
照画像データを更新することができる。

【００４９】請求項２２記載の発明によれば、参照画像
データを、入力画像データとの相関度の高いものに更新
することができる。請求項２３記載の発明によれば、入
力画像データとの相関度が低くなると、参照画像データ
を最新の参照画像データに更新することができる。

【００５０】請求項２４記載の発明によれば、入力画像
データとの相関度が低くなると、参照画像データを、入
力画像データとの相関度の高いものに更新することがで
きる。請求項２５記載の発明によれば、撮像手段で撮像
された入力画像中の移動物体を自動的に検知して追跡処
理を行うことができるので、監視システムや防犯システ
ム等を自動化することができる。

【００５１】請求項２６記載の発明によれば、比較的簡
単な構成を用いて移動物体を検知することができる。請
求項２７記載の発明によれば、物体の動きを検知するた
めの専用の部分を設けることなく、相関演算手段を用い
て移動物体を検知可能である。

【００５２】請求項２８記載の発明によれば、たとえ移
動物体の見え方が変化しても、参照画像データを順次更
新することにより良好に移動物体を追跡することができ
る。請求項２９記載の発明によれば、移動物体を追跡し
てそのズームアップされた画像を捉えることができるの
で、特に防犯システム等に好適である。

【００５３】請求項３０記載の発明によれば、ビデオレ
コーダを接続することにより、監視するべき領域の要所
要所を自動的に記録しておくことができる。請求項３１
記載の発明によれば、複数の移動物体のうち最も大きな
移動物体を自動的に追跡することができる。

【００５４】請求項３２記載の発明によれば、移動物体
の追跡とそのズームアップ撮像とを２つの撮像装置に分
担させているので、より正確な追跡処理及び移動物体の
撮像を行うことができる。請求項３３記載の発明によれ
ば、複数の移動物体を追跡しながら各移動物体のズーム
アップ撮像を同時に行うことができる。

【００５５】請求項３４記載の発明によれば、単一の、
且つ、固定の撮像装置を用いても、複数の移動物体を良
好に追跡して撮像することが可能である。請求項３５記
載の発明によれば、比較的簡単な構成を用いて移動物体
を検知することができる。

【００５６】請求項３６記載の発明によれば、物体の動
きを検知するための専用の部分を設けることなく、相関
演算手段を用いて移動物体を検知可能である。請求項３
７記載の発明によれば、たとえ移動物体の見え方が変化
しても、参照画像データを順次更新することにより良好
に移動物体を追跡することができる。

【００５７】請求項３８記載の発明によれば、ビデオレ
コーダを接続することにより、監視するべき領域の要所
要所を自動的に記録しておくことができる。従って、本
発明によれば、高速で追跡処理を行え、追跡処理中の任
意の時点で相関演算に用いる参照画像データを更新する
ことができると共に、追跡処理の信頼性を向上すること
ができる。

【００５８】

【発明の実施の形態】以下に、本発明の実施の形態を、
各種実施例を例にとって説明する。

【００５９】

【実施例】先ず、本発明になる局所領域画像追跡装置の
第１実施例を図１〜図９と共に説明する。図１は、局所
領域画像追跡装置の第１実施例の概略構成を示すブロッ
ク図である。

【００６０】図１中、局所領域画像追跡装置は大略カメ
ラ等の撮像装置１と、Ａ／Ｄ変換器を含む画像入力装置
２と、画像データバス３を介して画像入力装置２に接続
された複数の相関追跡処理装置４−１〜４−Ｍとからな
る。つまり、複数の相関追跡処理装置４−１〜４−Ｍ
が、画像データバス３を介して画像入力装置２に対して
並列に接続されている。相関追跡処理装置４−１〜４−
Ｍは、夫々同一の構成を有する。

【００６１】撮像装置１により撮像された画像に関する
画像データは、画像入力装置２によりディジタル画像デ
ータに変換され、画像データバス３のフレーム同期信号
線、ピクセルクロック信号線及び画像データ信号線を介
して各相関追跡処理装置４−１〜４−Ｍに供給される。
ピクセルクロック信号線上を転送されるプクセルクロッ
クと、画像データ信号線上を転送される画像データとの
タイミングは、例えば図２に示す如き関係となってい
る。各相関追跡処理装置４−１〜４−Ｍは、ピクセルク
ロックの立上りエッジに応答して各画素（ピクセル）デ
ータをラッチして対応する画像メモリ内に格納する。

【００６２】相関追跡処理装置４−１〜４−Ｍのうち、
任意の相関追跡処理装置を選択的に並列動作させること
により、追跡処理を高速に行うことができる。各相関追
跡処理装置４−１〜４−Ｍでは、画像メモリを選択的に
切り換えて使用することにより、画像メモリへの書き込
みと、画像メモリからの読み出し及び相関演算とを並列
に実行することにより、画像データの各フレーム毎の追
跡処理を行うことができる。

【００６３】図３は、本実施例における相関追跡処理装
置４の構成を示すブロック図である。同図中、相関追跡
処理装置４は、画像データバス３に接続された画像入力
制御部５と、探索画像メモリ６と、参照画像メモリ７
と、相関演算器８とからなる。画像入力制御部５と、探
索画像メモリ６と、参照画像メモリ７と相関演算器８と
は、全て１枚の基板上に設けられている。

【００６４】撮像装置１により撮像された画像に関する
アナログ画像データは、画像入力装置２によりディジタ
ル画像データに変換され、相関追跡処理装置４の画像入
力制御部５を介して順次探索画像メモリ６に格納され
る。参照画像メモリ７には、予め追跡するべき所定物体
に関する参照画像データが格納されている。相関演算器
８は、相関演算を行うことにより、探索画像メモリ６内
の画像データと参照画像メモリ７内の参照画像データの
間の相関性を示す相関値を求める。この相関値のピーク
位置、即ち、撮像画面中で相関性の最も高い位置は、相
関値ピーク位置検出器（図示せず）により検出される。
従って、相関値ピーク位置検出器からは、常に相関値の
ピーク位置が得られ、このピーク位置に基づいて撮像画
面内の所定物体を実時間で追跡することができる。

【００６５】相関演算器８は、探索画像メモリ６内の画
像データと参照画像メモリ７内の参照画像データに対し
て次のような演算を施す。ここで、説明の便宜上、参照
画像を図４に示すように８画素×８画素とし、参照画像
内の画素値をＸ_i,j と表すものとする。この場合、相関
演算器８は、例えば図５に示す１６画素×１６画素の探
索画像に対して、図６に示すように、探索画像内の参照
画像と同じ大きさの部分領域画像と次式の演算を行う。
尚、次式中、Ｙ_i,j は探索画像内の画素値を表し、Ｄ
_m,n は２つの画像がどのくらい似ているかを数値で表す
相関値を示し、ｍ＝０〜７、ｎ＝０〜７である。

【００６６】

【数１】

【００６７】上記の式中、Ｄ_m,n の値は、２つの画像が
似ている程小さくなる。図７は参照画像の一例を示し、
図８は探索画像の一例を示す。又、図９は、図７の参照
画像及び図８の探索画像に対して相関演算器８が相関演
算を行った結果を示す。この例では、ｍ＝５，ｎ＝４で
Ｄ_m,n が最小値となっており、この位置にある部分領域
画像が参照画像と最も似ていることを表している。

【００６８】このように、画像の相関演算は、参照画像
に最も似ている箇所を探し出すことができるので、この
相関演算処理を動画像に対して毎フレーム行うことで、
画面内の運動物体を追跡することができる。尚、上記の
式で表される相関演算処理を行う相関演算器８は、１６
画素×１６画素の参照画像について３２画素×３２画素
の探索画像内の２５６個の部分領域画像と相関演算を行
って相関値を求める程度のものであれば、相関値のピー
ク位置の検出を行うピーク位置検出器を含めても、既に
大規模集積回路（ＬＳＩ）化されており、相関演算処理
に要する計算は５００μｓ以下で行うことが可能であ
る。一例として、相関演算器８には、エス・ジー・エス
・トムソン社製のＳＴＩ３２２０を使用することができ
る。従って、本実施例の如く参照画像の大きさを１６画
素×１６画素とすることで、１フレーム期間に５０回〜
７０回の相関演算を行うことのできる小規模で高速な局
所領域画像追跡装置を構成できる。

【００６９】又、追跡するべき物体の数が多くても、各
物体に対して行うべき相関演算等を複数の相関追跡処理
装置４−１〜４−Ｍで分散して並列に行うことができる
ので、追跡するべき物体の数に拘らず高速な追跡処理が
可能である。次に、本発明になる局所領域画像追跡装置
の第２実施例を図１０〜１６と共に説明する。本実施例
では、第１実施例と同様に、図１に示す基本構成を用い
る。

【００７０】図１０は、本実施例における相関追跡処理
装置４の構成を示すブロック図である。同図中、相関追
跡処理装置４は、セレクタ１１，１７，１８と、画像メ
モリ１２−１，１２−２，１２−３と、アドレスセレク
タ１５，１６と、メモリ選択器１９と、参照画像アドレ
ス発生器２０と、探索画像アドレス発生器２１と、相関
演算器２２と、ピーク位置検出器２３とからなる。本実
施例では、３つの画像メモリ１２−１〜１２−３を切り
換えて使用することにより、毎フレームでの追跡処理、
毎フレームでの探索画像入力及び任意フレーム間隔での
参照画像の更新を可能とするものである。

【００７１】セレクタ１１には、画像データバス３の画
像データ信号線から得られる８ビットの入力画像データ
が供給される。セレクタ１１は、メモリ選択器１９から
の２ビットの入力メモリ選択信号に基づいて、８ビット
の入力画像データを３つの画像メモリ１２−１〜１２−
３のうち選択された１つの画像メモリに供給する。

【００７２】図１１は、メモリ選択器１９の一実施例を
示すブロック図である。同図中、メモリ選択器１９は、
定数ＲＯＭ３１と、コンパレータ３２と、フレームカウ
ンタ３３と、ラッチ回路３４と、インバータ３５と、フ
リップフロップ３６と、ＲＯＭ３７とからなる。

【００７３】定数ＲＯＭ３１には、予め参照画像を切り
換える間隔を示す定数が格納されている。他方、画像デ
ータバス３のフレーム同期信号線から得られるフレーム
同期信号は、インバータ３５を介してフレームカウンタ
３３及びフリップフロップ３６のクロック入力端子に供
給される。従って、フレームカウンタ３３は、インバー
タ３５からの反転フレーム同期信号をカウントして、カ
ウント値をコンパレータ３２に供給する。コンパレータ
３２は、定数ＲＯＭ３１からの定数とフレームカウンタ
３３からのカウント値とを比較し、一致すると切り換え
パルスを出力する。この切り換えパルスは、参照画像メ
モリの切り換えを起動する信号であり、図１０の参照画
像アドレス発生器２０に供給されると共に、ラッチ回路
３４及びフリップフロップ３６のクリア端子にも供給さ
れる。

【００７４】フリップフロップ３６のＱバー（／Ｑ）出
力は、そのデータ入力端子Ｄに供給され、Ｑ出力は、Ｒ
ＯＭ３７アドレス信号のうち１ビットとしてＲＯＭ３７
に供給される。ＲＯＭ３７には、ラッチ回路３４からＲ
ＯＭ３７のアドレス信号の残りの４ビットが供給され
る。ＲＯＭ３７には、予め画像メモリ１２−１〜１２−
３の選択に関する選択データが格納されており、５ビッ
トのアドレス信号により指定されたアドレスから読み出
された選択データは、２ビットの入力画像メモリ選択信
号と、２ビットの探索画像メモリ選択信号と、２ビット
の参照画像メモリ選択信号として出力される。入力画像
メモリ選択信号は、画像メモリ１２−１〜１２−３のう
ちどの画像メモリを入力画像データを格納する入力画像
メモリとして使用するかを決定する。同様に、探索画像
メモリ選択信号は、画像メモリ１２−１〜１２−３のう
ちどの画像メモリを探索画像データを格納する探索画像
メモリとして使用するかを決定し、参照画像メモリ選択
信号は、画像メモリ１２−１〜１２−３のうちどの画像
メモリを参照画像データを格納する参照画像メモリとし
て使用するかを決定する。

【００７５】２ビットの入力画像メモリ選択信号と２ビ
ットの探索画像メモリ選択信号とは、ラッチ回路３４を
介してＲＯＭ３７に上記アドレス信号の残りの４ビット
として供給される。又、２ビットの入力画像メモリ選択
信号はセレクタ１１に供給され、２ビットの探索画像メ
モリ選択信号はアドレスセレクタ１５及びセレクタ１８
に供給され、２ビットの参照画像メモリ選択信号はアド
レスセレクタ１６及びセレクタ１７に供給される。

【００７６】図１２は、ＲＯＭ３７に供給される５ビッ
トのアドレス信号を示す図である。同図に示すように、
アドレス信号はビットＡ０〜Ａ４からなる。ビットＡ０
は、フリップフロップ３６からの信号に対応している。
又、ビットＡ１，Ａ２は、ラッチ回路３４を介して得ら
れる２ビットの探索画像メモリ選択信号に対応してお
り、ビットＡ３，Ａ４は、ラッチ回路３４を介して得ら
れる２ビットの入力画像メモリ選択信号に対応してい
る。ビットＡ０が「０」か「１」かに応じて、参照画像
メモリ以外の２つの画像メモリへ交互に画像を入力する
ように画像メモリ１２−１〜１２−３の切り換えが行わ
れる。

【００７７】図１３は、ＲＯＭ３７に供給される５ビッ
トのアドレス信号（ＲＯＭアドレス）の値と、ＲＯＭア
ドレスに応じてＲＯＭ３７から読み出される選択デー
タ、即ち、２ビットの入力画像メモリ選択信号、２ビッ
トの探索画像メモリ選択信号及び２ビットの参照画像メ
モリ選択信号の値との関係を示す図である。例えば、Ｒ
ＯＭアドレスの値が「２」の場合、入力画像メモリ選択
信号の値が「２」、探索画像メモリ選択信号の値が
「０」、参照画像メモリ選択信号の値が「１」である。
この例では、画像メモリ選択信号の値が「０」のときに
画像メモリ１２−１が選択され、「１」のときに画像メ
モリ１２−２が選択され、「２」のときに画像メモリ１
２−３が選択される。従って、ＲＯＭアドレスが「２」
の場合は、画像メモリ１２−３が入力画像メモリとして
選択され、画像メモリ１２−１が探索画像メモリとして
選択され、画像メモリ１２−２が参照画像メモリとして
選択される。つまり、図１０のセレクタ１１は、入力画
像メモリ選択信号の値が「０」、「１」又は「２」であ
るかに応じて画像データを画像メモリ１２−１、１２−
２又は１２−３に選択的に供給する。尚、図１３は言う
までもなく全ての関係を示すものではなく、一部分のみ
を示すものである。

【００７８】図１０のアドレスセレクタ１５は、探索画
像アドレス発生器２１から発生された１８ビットの探索
画像アドレスを、メモリ選択器１９からの探索画像メモ
リ選択信号に基づいて、画像メモリ１２−１〜１２−３
のうち探索画像メモリとして選択された画像メモリに供
給する。又、アドレスセレクタ１６は、参照画像アドレ
ス発生器２０から発生された１８ビットの参照画像アド
レスを、メモリ選択器１９からの参照画像メモリ選択信
号に基づいて、画像メモリ１２−１〜１２−３のうち参
照画像メモリとして選択された画像メモリに供給する。

【００７９】画像メモリ１２−１〜１２−３から読み出
された画像データは、セレクタ１７，１８の各々に供給
される。上述の如く、セレクタ１７にはメモリ選択器１
９からの探索画像メモリ選択信号が供給され、セレクタ
１９にはメモリ選択器１９からの参照画像メモリ選択信
号が供給されている。従って、セレクタ１７，１８は、
画像メモリ１２−１〜１２−３から読み出された画像デ
ータのうち、探索画像データ及び参照画像データのみを
選択して相関演算器２２に供給する。相関演算器２２
は、上記第１実施例の場合と同様にして相関演算処理を
行って相関値を求める。相関値は、相関演算器２２から
ピーク位置検出器２３に供給され、ピーク位置検出器２
３で相関値のピーク位置が検出される。ピーク位置検出
器２３は、ピーク位置を示す１８ビットのピーク位置ア
ドレスを出力するので、このピーク位置アドレスに基づ
いて撮像画面内の所定物体を実時間で追跡することがで
きる。尚、ピーク位置検出器２３から出力される１８ビ
ットのピーク位置アドレスは、参照画像アドレス発生器
２０及び探索画像アドレス発生器２１に供給される。

【００８０】図１４は、探索画像アドレス発生器２１の
一実施例を示すブロック図である。同図中、探索画像ア
ドレス発生器２１は、定数ＲＯＭ４１，４３，４７，４
９と、加算器４２，４６，４８，５２と、Ｘアドレスカ
ウンタ４４と、コンパレータ４５，５１と、Ｙアドレス
カウンタ５０とからなる。

【００８１】定数ＲＯＭ４１には、予め９ビットのＸア
ドレス最小値（オフセット値）が格納されている。加算
器４２は、図１０のピーク位置検出器２３からの１８ビ
ットのピーク位置アドレスのうち、画像データのＸアド
レスに関する９ビットと定数ＲＯＭ４１から読み出され
た９ビットのＸアドレス最小値とを加算して、９ビット
の加算値を加算器４６に供給する。Ｘアドレスカウンタ
４４は、画像データバス３のピクセルクロック信号線か
ら得られるピクセルクロックをカウントして、９ビット
のカウント値を加算器４６及びコンパレータ４５に供給
する。ピクセルクロックは、画像データを構成する各ピ
クセル（画素）に対応して発生されるクロック信号であ
る。

【００８２】他方、定数ＲＯＭ４３には、予めＸサイズ
が９ビットで格納されている。このＸサイズは、探索画
像のＸ方向のサイズ（大きさ）を示す。コンパレータ４
５は、定数ＲＯＭ４３から読み出されたＸサイズとＸア
ドレスカウンタ４４からのカウント値とを比較して、一
致すると一致信号を出力する。この一致信号は、Ｘアド
レスカウンタ４４のクリア端子に供給されてこれをクリ
アすると共に、Ｙアドレスカウンタ５０にも供給され
る。

【００８３】Ｙアドレスカウンタ５０は、一致信号をカ
ウントして、９ビットのカウント値を加算器５２及びコ
ンパレータ５１に供給する。定数ＲＯＭ４７には、予め
９ビットのＹアドレス最小値（オフセット値）が格納さ
れている。加算器４８は、図１０のピーク位置検出器２
３からの１８ビットのピーク位置アドレスのうち、画像
データのＹアドレスに関する９ビットと定数ＲＯＭ４７
から読み出された９ビットのＹアドレス最小値とを加算
して、９ビットの加算値を加算器５２に供給する。定数
ＲＯＭ４９には、予めＹサイズが９ビットで格納されて
いる。このＹサイズは、探索画像のＹ方向のサイズ（大
きさ）を示す。コンパレータ５１は、定数ＲＯＭ４９か
ら読み出されたＹサイズとＹアドレスカウンタ５０から
のカウント値とを比較して、一致すると一致信号を出力
する。この一致信号は、Ｙアドレスカウンタ５０のクリ
ア端子に供給されてこれをクリアする。

【００８４】このようにして、加算器４６からは探索画
像アドレスの９ビットの下位アドレスが得られ、加算器
５２からは探索画像アドレスの９ビットの上位アドレス
が得られる。加算器４６，５２からの合計１８ビットの
探索画像アドレスは、図１０のアドレスセレクタ１５に
供給される。

【００８５】図１５は、参照画像アドレス発生器２０の
一実施例を示すブロック図である。同図中、参照画像ア
ドレス発生器２０は、ラッチ回路５５と、定数ＲＯＭ５
６，５８，６２，６４と、セレクタ５７，６３と、Ｘア
ドレスカウンタ５９と、コンパレータ６０，６６と、Ｙ
アドレスカウンタ６５と、加算器６１，６７とからな
る。

【００８６】ラッチ回路５５には、図１０のメモリ選択
器１９からの切り換えパルスが供給され、このラッチ回
路５５の出力はセレクタ５７，６３に供給される。定数
ＲＯＭ５６には、予め９ビットのＸアドレス最小値が格
納されている。又、定数ＲＯＭ６２には、予め９ビット
のＹアドレス最小値が格納されている。セレクタ５７に
は、図１０のピーク位置検出器２３からの１８ビットの
ピーク位置アドレスのうち、画像データのＸアドレスに
関する９ビットが供給される。又、セレクタ６３には、
ピーク位置検出器２３からの１８ビットのピーク位置ア
ドレスのうち、画像データのＹアドレスに関する９ビッ
トが供給される。セレクタ５７は、定数ＲＯＭ５６から
のＸアドレス最小値とピーク位置アドレス中Ｘアドレス
とのうち一方を、ラッチ回路５５の出力に応じて加算器
６１へ選択出力する。セレクタ６３は、定数ＲＯＭ６２
からのＹアドレス最小値とピーク位置アドレス中Ｙアド
レスとのうち一方を、ラッチ回路５５の出力に応じて加
算器６７へ選択出力する。

【００８７】Ｘアドレスカウンタ５９は、画像データバ
ス３のピクセルクロック信号線から得られるピクセルク
ロックをカウントして、９ビットのカウント値を加算器
６１及びコンパレータ６０に供給する。他方、定数ＲＯ
Ｍ５８には、予めＸサイズが９ビットで格納されてい
る。このＸサイズは、参照画像のＸ方向のサイズ（大き
さ）を示す。コンパレータ６０は、定数ＲＯＭ５８から
読み出されたＸサイズとＸアドレスカウンタ５９からの
カウント値とを比較して、一致すると一致信号を出力す
る。この一致信号は、Ｘアドレスカウンタ５９のクリア
端子に供給されてこれをクリアすると共に、Ｙアドレス
カウンタ６５にも供給される。

【００８８】Ｙアドレスカウンタ６５は、一致信号をカ
ウントして、９ビットのカウント値を加算器６７及びコ
ンパレータ６６に供給する。定数ＲＯＭ６４には、予め
Ｙサイズが９ビットで格納されている。このＹサイズ
は、参照画像のＹ方向のサイズ（大きさ）を示す。コン
パレータ６６は、定数ＲＯＭ６４から読み出されたＹサ
イズとＹアドレスカウンタ６５からのカウント値とを比
較して、一致すると一致信号を出力する。この一致信号
は、Ｙアドレスカウンタ６５のクリア端子に供給されて
これをクリアする。

【００８９】このようにして、加算器６１からは参照画
像アドレスの９ビットの下位アドレスが得られ、加算器
６７からは参照画像アドレスの９ビットの上位アドレス
が得られる。加算器６１，６７からの合計１８ビットの
参照画像アドレスは、図１０のアドレスセレクタ１６に
供給される。

【００９０】上記の如く、本実施例では、参照画像を固
定して入力画像に対して追跡処理を行う場合、参照画像
用に選択した画像メモリ以外の画像メモリの１つを探索
画像用として選択し、残りの１つを入力画像用として選
択する。相関演算器２２での相関演算は、入力を完了し
ている最新の入力画像を探索画像として使用する。又、
現フレームで探索画像メモリとして使用した画像メモリ
を次のフレーム以降では参照画像メモリとして使用する
ことにより、参照画像の更新を行うことができる。参照
画像の更新直後のフレームでは、その前のフレームで画
像入力メモリとして使用していた画像メモリを探索画像
メモリとして使用し、前のフレームまでは参照画像メモ
リとして使用していた画像メモリを入力画像メモリとし
て使用する。これにより、３つの画像メモリ１２−１〜
１２−３を切り換えて使用することにより、毎フレーム
での追跡処理、毎フレームでの探索画像入力及び任意フ
レーム間隔での参照画像の更新を可能とするものであ
る。

【００９１】図１６は、本実施例における画像メモリ１
２−１〜１２−３の切り換えを説明する図である。同図
中、□印は画像メモリが参照画像データを格納している
ことを示し、○印は画像メモリが探索画像データを格納
していることを示し、太い実線は画像メモリが入力画像
データを格納していることを示す。又、矢印ＳＷ１，Ｓ
Ｗ２は、図１０のメモリ選択器１９からの切り換えパル
スに基づいて参照画像メモリが切り換えられる時点を示
し、ＳＷ１は参照画像メモリを画像メモリ１２−１から
画像メモリ１２−２に変更するタイミング、ＳＷ２は参
照画像メモリを画像メモリ１２−２から画像メモリ１２
−３に変更するタイミングを示す。

【００９２】次に、本発明になる局所領域画像追跡装置
の第３実施例を図１７〜２１と共に説明する。本実施例
では、第１実施例と同様に、図１に示す基本構成を用い
る。図１７は、本実施例における相関追跡処理装置４の
構成を示すブロック図である。同図中、図１０と同一部
分には同一符号を付し、その説明は省略する。

【００９３】本実施例では、図１７に示すように、Ｎを
４以上の整数とすると、Ｎ個の画像メモリ１２−１〜１
２−Ｎが設けられている。又、メモリ選択器１９Ａは、
ｎビットの入力画像メモリ選択信号と、ｎビットの探索
画像メモリ選択信号と、ｎビットの参照画像メモリ選択
信号を出力する。その他の部分は、図１０に示す構成と
同じである。尚、本実施例では２^n-1 ＜Ｎ−１＜２ⁿ で
ある。

【００９４】図１８は、図１７のメモリ選択器１９Ａの
一実施例を示すブロック図である。図１８中、図１１と
同一部分には同一符号を付し、その説明は省略する。図
１８に示すメモリ選択器１９Ａにおいて、ＲＯＭアドレ
スは３ｎ＋１ビットで、ＲＯＭ３７は各ｎビットの入力
画像メモリ選択信号と、探索画像メモリ選択信号と、参
照画像メモリ選択信号とを出力する。更に、ラッチ回路
３４には、ＲＯＭ３７からのｎビットの入力画像メモリ
選択信号も供給される。これらの点を除いて、図１８の
メモリ選択器１９Ａの動作は、図１１のメモリ選択器１
９の動作と基本的には同じである。

【００９５】図１９は、図１８のＲＯＭ３７に供給され
る３ｎ＋１ビットのアドレス信号を示す図である。同図
に示すように、アドレス信号はビットＡ０〜Ａ３ｎから
なる。ビットＡ０は、フリップフロップ３６からの信号
に対応している。又、ビットＡ１〜Ａｎは、ラッチ回路
３４を介して得られるｎビットの入力画像メモリ選択信
号に対応しており、ビットＡｎ＋１〜Ａ２ｎは、ラッチ
回路３４を介して得られるｎビットの探索画像メモリ選
択信号に対応しており、ビットＡ２ｎ＋１〜Ａ３ｎは、
ラッチ回路３４を介して得られるｎビットの参照画像メ
モリ選択信号に対応している。ビットＡ０が「０」か
「１」かに応じて、参照画像メモリ以外の２つの画像メ
モリへ交互に画像を入力するように画像メモリ１２−１
〜１２−Ｎの切り換えが行われる。

【００９６】図２０は、図１８のＲＯＭ３７に供給され
る３ｎ＋１ビットのアドレス信号（ＲＯＭアドレス）の
値と、ＲＯＭアドレスに応じてＲＯＭ３７から読み出さ
れる選択データ、即ち、ｎビットの入力画像メモリ選択
信号、ｎビットの探索画像メモリ選択信号及びｎビット
の参照画像メモリ選択信号の値との関係を示す図であ
る。ここでは、説明の便宜上、ｎ＝３でＮ＝６の場合を
示す。例えば、ＲＯＭアドレスの値が「３４」の場合、
入力画像メモリ選択信号の値が「３」、探索画像メモリ
選択信号の値が「１」、参照画像メモリ選択信号の値が
「２」である。この例では、画像メモリ選択信号の値が
「０」のときに画像メモリ１２−１が選択され、「１」
のときに画像メモリ１２−２が選択され、「２」のとき
に画像メモリ１２−３が選択され、画像メモリ選択信号
の値が「３」のときに画像メモリ１２−４が選択され
る。従って、ＲＯＭアドレスが「３４」の場合は、画像
メモリ１２−４が入力画像メモリとして選択され、画像
メモリ１２−２が探索画像メモリとして選択され、画像
メモリ１２−３が参照画像メモリとして選択される。つ
まり、図１７のセレクタ１１は、入力画像メモリ選択信
号の値が「０」、「１」、．．．又は「Ｎ−１」である
かに応じて画像データを画像メモリ１２−１、１２−
２、．．．又は１２−Ｎに選択的に供給する。尚、図１
３は言うまでもなく全ての関係を示すものではなく、一
部分のみを示すものである。

【００９７】上記の如く、本実施例では、参照画像を固
定して入力画像に対して追跡処理を行う場合、参照画像
用に選択した画像メモリ以外の画像メモリの１つを探索
画像用として選択し、さらに他の１つを入力画像用とし
て選択する。相関演算器２２での相関演算は、入力を完
了している最新の入力画像を探索画像として使用する。
又、現フレームで探索画像メモリとして使用した画像メ
モリを次のフレーム以降では参照画像メモリとして使用
することにより、参照画像の更新を行うことができる。
参照画像の更新直後のフレームでは、その前のフレーム
で画像入力メモリとして使用していた画像メモリを探索
画像メモリとして使用し、前のフレームまでは参照画像
メモリとして使用していた画像メモリを入力画像メモリ
として使用することもできる。これにより、Ｎ個の画像
メモリ１２−１〜１２−Ｎを切り換えて使用することに
より、毎フレームでの追跡処理、毎フレームでの探索画
像入力及び任意フレーム間隔での参照画像の更新を可能
とするものである。

【００９８】更に、参照画像を更新する場合、前のフレ
ームで参照画像メモリとして使用していた画像メモリ
を、選択されていない画像メモリであって参照画像デー
タを格納していない画像メモリに置き換えることができ
る。選択されていない画像メモリの全てに過去の参照画
像データが格納されている場合には、最も古い参照画像
データが格納されている画像メモリに置き換えることが
できる。又、メモリ選択器１９Ａは、参照画像データが
格納されている画像メモリを、任意のフレームで、その
時点で参照画像メモリとして使用している画像メモリと
置き換える機能も有する。従って、参照画像の候補を複
数格納しておくことができると共に、過去に更新した参
照画像の中から最も相関値の高い参照画像を選択して使
用することにより、安定度の高い追跡処理を行うことが
できる。

【００９９】図２１は、本実施例における画像メモリ１
２−１〜１２−Ｎの切り換えを説明する図である。同図
中、□印は画像メモリが参照画像データを格納している
ことを示し、○印は画像メモリが探索画像データを格納
していることを示し、太い実線は画像メモリが入力画像
データを格納していることを示す。又、矢印ＳＷ１，Ｓ
Ｗ２は、図１７のメモリ選択器１９Ａからの切り換えパ
ルスに基づいて参照画像メモリが切り換えられる時点を
示し、ＳＷ１は参照画像メモリを画像メモリ１２−ｉか
ら画像メモリ１２−ｊに変更するタイミング、ＳＷ２は
参照画像メモリを画像メモリ１２−ｊから画像メモリ１
２−ｋに変更するタイミングを示す。尚、ｉ，ｊ，ｋは
夫々１〜Ｎの間の互いに異なる整数である。

【０１００】次に、本発明になる局所領域画像追跡装置
の第４実施例を図２２と共に説明する。本実施例では、
第１実施例と同様に、図１に示す基本構成を用いる。図
２２は、本実施例における相関追跡処理装置４の構成を
示すブロック図である。同図中、図１７と同一部分には
同一符号を付し、その説明は省略する。

【０１０１】本実施例では、図２２に示すように、セレ
クタ１７と相関演算器２２との間にファースト・イン・
ファースト・アウト（ＦＩＦＯ）６８が設けられ、セレ
クタ１８と相関演算器２２との間にＦＩＦＯ６９が設け
られている。セレクタ１８，１９からの探索画像データ
及び参照画像データは、対応するＦＩＦＯ６８，６９に
供給され、順次これらのＦＩＦＯ６８，６９に格納され
る。相関演算器２２は、ＦＩＦＯ６８，６９内に読み出
せる探索画像データ及び参照画像データが存在すると起
動されて、探索画像データ及び参照画像データをＦＩＦ
Ｏ６８，６９から読み出して相関演算を行う。

【０１０２】本実施例によれば、セレクタ１７，１８に
よる探索画像データ及び参照画像データの抽出、即ち、
画像メモリ１２−１〜１２−Ｎからの読み出しと、相関
演算器２２による探索画像データ及び参照画像データに
対する相関演算処理とが並行して行えるので、追跡処理
速度を更に向上することができる。

【０１０３】次に、本発明になる局所領域画像追跡装置
の第５実施例を図２３〜２６と共に説明する。図２３
は、局所領域画像追跡装置の第５実施例の概略構成を示
すブロック図である。図２３中、局所領域画像追跡装置
は大略カメラ等の撮像装置１と、Ａ／Ｄ変換器を含む画
像入力装置２と、画像データバス３を介して画像入力装
置２に接続された複数の相関追跡処理装置４−１〜４−
Ｍと、制御計算機７０と、制御計算機バス７１とからな
る。つまり、複数の相関追跡処理装置４−１〜４−Ｍ
が、画像データバス３を介して画像入力装置２に対して
並列に接続されると共に、制御計算機バス７１を介して
制御計算機７０に対して並列に接続されている。相関追
跡処理装置４−１〜４−Ｍは、夫々同一の構成を有す
る。

【０１０４】撮像装置１により撮像された画像に関する
画像データは、画像入力装置２によりディジタル画像デ
ータに変換され、画像データバス３のフレーム同期信号
線、ピクセルクロック信号線及び画像データ信号線を介
して各相関追跡処理装置４−１〜４−Ｍに供給される。
ピクセルクロック信号線上を転送されるピクセルクロッ
クと、画像データ信号線上を転送される画像データとの
タイミングは、例えば図２に示す如き関係となってい
る。各相関追跡処理装置４−１〜４−Ｍは、ピクセルク
ロックの立上りエッジに応答して各画素（ピクセル）デ
ータをラッチして対応する画像メモリ内に格納する。

【０１０５】相関追跡処理装置４−１〜４−Ｍのうち、
任意の相関追跡処理装置を選択的に並列動作させること
により、追跡処理を高速に行うことができる。各相関追
跡処理装置４−１〜４−Ｍでは、画像メモリを選択的に
切り換えて使用することにより、画像メモリへの書き込
みと、画像メモリからの読み出し及び相関演算とを並列
に実行することにより、画像データの各フレーム毎の追
跡処理を行うことができる。

【０１０６】制御計算機７０は、制御計算機バス７１を
介して相関追跡処理装置４−１〜４−Ｍに対して各種制
御を行う。制御計算機７０が相関追跡処理装置４−１〜
４−Ｍに対して行う制御としては、例えば参照画像の更
新に関する制御、画像メモリの選択や切り換えに関する
制御等がある。後述する如く、相関追跡処理装置４−１
〜４−Ｍは、夫々各種制御レジスタが設けられた制御計
算機インタフェースを有し、各相関追跡処理装置４−１
〜４−Ｍの動作は、各自の制御計算機インタフェース内
の制御レジスタに設定された値に基づいて制御される。
各制御計算機インタフェース内の制御レジスタは、制御
計算機バス７１の異なるアドレス空間にマップされてお
り、制御計算機７０が所定のアドレス空間にアクセスす
ることにより各制御計算機インタフェース内の制御レジ
スタに対して書き込み及び読みだしが行われる。つま
り、制御レジスタに設定する値は、制御計算機７０から
自由に設定可能である。又、制御計算機７０は、制御計
算機バス７１を介して得られる各相関追跡処理装置４−
１〜４−Ｍからの相関値のピーク位置を管理して、１又
は複数の運動物体を容易に追跡することができる。

【０１０７】尚、制御計算機バス７１としては、例えば
ＶＭＥ規格のバスを使用でき、この場合はＶＭＥバス仕
様のボードコンピュータを制御計算機７０として使用す
る。図２４は、本実施例における相関追跡処理装置４の
構成を示すブロック図である。同図中、図１７と同一部
分には同一符号を付し、その説明は省略する。

【０１０８】本実施例では、図２４に示すように、制御
計算機インタフェース（Ｉ／Ｆ）７４が設けられてい
る。この制御計算機Ｉ／Ｆ７４は、制御計算機バス７１
を介して制御計算機７０と接続されている。又、制御計
算機Ｉ／Ｆ７４は、メモリ選択器１９Ｂにも接続されて
いる。

【０１０９】図２５は、メモリ選択器１９Ｂの一実施例
を制御計算機Ｉ／Ｆ７４の一部と共に示すブロック図で
ある。同図中、図１８と同一部分には同一符号を付し、
その説明は省略する。図２５において、メモリ選択器１
９Ｂは、図１８のコンパレータ３２及びフレームカウン
タ３３の代わりに、ラッチ回路７６を有する。このラッ
チ回路７６には、制御計算機Ｉ／Ｆ７４内の制御レジス
タ７７に格納された更新指示フラグＲＮが供給されてい
る。更新指示フラグＲＮは、制御計算機７０から制御計
算機バス７１を介してセットでき、セットされていると
メモリ選択器１９Ｂに参照画像の更新を指示する。ラッ
チ回路７６には、インバータ３５を介して得られる反転
フレーム同期信号も供給されており、図２６に示すよう
に、更新指示フラグＲＮがセットされている状態でフレ
ーム同期信号が立ち下がると、この立ち下りエッジに応
答して切り換えパルスを出力する。尚、制御計算機Ｉ／
Ｆ７４の制御レジスタ７７には、更新指示フラグＲＮの
他にも各種フラグが格納されているが、本発明の要旨と
は直接関係がないので、その図示及び説明は省略する。

【０１１０】次に、本発明になる局所領域画像追跡装置
の第６実施例を図２７及び図２８と共に説明する。本実
施例では、第５実施例と同様に、図２３に示す基本構成
を用いる。図２７は、本実施例における相関追跡処理装
置４の構成を示すブロック図である。同図中、図２２及
び図２４と同一部分には同一符号を付し、その説明は省
略する。

【０１１１】本実施例では、参照画像アドレス発生器２
０Ｂ及び探索画像アドレス発生器２１Ｂが、夫々制御計
算機Ｉ／Ｆ７４Ｂ及び制御計算機バス７１を介して制御
計算機７０に接続されている。これにより、参照画像ア
ドレス発生器２０Ｂ及び探索画像アドレス発生器２１Ｂ
は、制御計算機７０からの指示に従って参照画像アドレ
ス及び探索画像アドレスを発生できる。

【０１１２】図２８は、参照画像アドレス発生器２０
Ｂ、探索画像アドレス発生器２１Ｂ及び制御計算機Ｉ／
Ｆ７４Ｂの要部を示すブロック図である。同図中、図１
４及び図１５と同一部分には同一符号を付し、その説明
は省略する。図２８に示すように、参照画像アドレス発
生器２０ＢにはＸアドレス最小値を格納する定数ＲＯＭ
５６及びＹアドレス最小値を格納する定数ＲＯＭ６２が
設けられておらず、定数ＲＯＭ５６に対応するＸアドレ
ス最小値レジスタ５６Ｂ及び定数ＲＯＭ６２に対応する
Ｙアドレス最小値レジスタ６２Ｂが夫々制御計算機Ｉ／
Ｆ７４Ｂ内に設けられている。同様に、探索画像アドレ
ス発生器２１ＢにはＸアドレス最小値を格納する定数Ｒ
ＯＭ４１及びＹアドレス最小値を格納する定数ＲＯＭ４
７が設けられておらず、定数ＲＯＭ４１に対応するＸア
ドレス最小値レジスタ４１Ｂ及び定数ＲＯＭ４７に対応
するＹアドレス最小値レジスタ４７Ｂが夫々制御計算機
Ｉ／Ｆ７４Ｂ内に設けられている。

【０１１３】従って、本実施例によれば、制御計算機７
０から制御計算機Ｉ／Ｆ７４Ｂ内の各レジスタ５６Ｂ，
６２Ｂ，４１Ｂ，４７Ｂを設定することにより、参照画
像のＸ，Ｙアドレス最小値及び探索画像のＸ，Ｙアドレ
ス最小値を任意に決定することができる。又、図示は省
略するが、参照画像アドレス発生器２０Ｂ内の定数ＲＯ
Ｍ５８，６４も省略して対応するレジスタを制御計算機
Ｉ／Ｆ７４Ｂに設けることにより、参照画像のＸ，Ｙサ
イズを制御計算機７０から同様に任意のサイズに設定す
ることも可能である。更に、探索画像アドレス発生器２
１Ｂ内の定数ＲＯＭ４３，４９も省略して対応するレジ
スタを制御計算機Ｉ／Ｆ７４Ｂに設けることにより、探
索画像のＸ，Ｙサイズを制御計算機７０から同様に任意
のサイズに設定することも可能である。

【０１１４】次に、本発明になる局所領域画像追跡装置
の第７実施例を図２９〜図３５と共に説明する。本実施
例では、第５実施例と同様に、図２３に示す基本構成を
用いる。図２９は、本実施例における相関追跡処理装置
４の構成を示すブロック図である。同図中、図２７と同
一部分には同一符号を付し、その説明は省略する。

【０１１５】本実施例では、制御計算機Ｉ／Ｆ７４Ｃ
が、相関演算器２２、ピーク位置検出器２３、メモリ選
択器１９Ｂ、参照画像アドレス発生器２０Ｂ及び探索画
像アドレス発生器２１Ｂに接続されている。図３０は、
図２９の制御計算機Ｉ／Ｆ７４Ｃの第１実施例の要部を
示すブロック図である。制御計算機Ｉ／Ｆ７４Ｃは、Ｆ
ＩＦＯ８１，８４と、アドレス発生カウンタ８２と、デ
ュアルポートメモリ８３と、レジスタ８５とを含む。Ｆ
ＩＦＯ８１には、相関演算器２２からの相関値が順次格
納され、デュアルポートメモリ８３内のアドレス発生カ
ウンタ８２により発生されたアドレスに格納される。相
関演算器２２が、探索画像内の２５６の部分領域画像と
参照画像との相関値を演算するものとすると、アドレス
発生カウンタ８２は「０」〜「２５５」のアドレスを繰
り返し発生する。デュアルポートメモリ８３内の相関値
は、制御計算機バス７１を介して制御計算機７０から参
照可能である。他方、ＦＩＦＯ８４には、ピーク位置検
出器２３からのピーク位置が順次格納され、例えば上記
２５６個の相関値に対して１つのピーク位置がレジスタ
８５に格納される。このレジスタ８５内のピーク位置
も、制御計算機バス７１を介して制御計算機７０から参
照可能である。

【０１１６】図３１は、上記２５６個の相関値のデュア
ルポートメモリ８３への格納を示す図である。同図中、
左側は探索画像を示し、右側はデュアルポートメモリ８
３に格納される相関値Ｄ_i,j を示す。図３２は、図２９
の制御計算機Ｉ／Ｆ７４Ｃの第２実施例の要部を示すブ
ロック図である。図３２中、図３０と同一部分には同一
符号を付し、その説明は省略する。

【０１１７】図３２において、制御計算機Ｉ／Ｆ７４Ｃ
は、ＦＩＦＯ８１と、アドレス発生カウンタ８２と、デ
ュアルポートメモリ８３と、加算器８７と、ラッチ回路
８８とを含む。デュアルポートメモリ８３は、最初の１
フレーム期間の開始時に、フレーム同期信号の立上りエ
ッジに応答してクリアされる。その後は、デュアルポー
トメモリ８３から読み出された相関値がラッチ回路８８
を介して加算器８７へ供給されるので、デュアルポート
メモリ８３へは今までの相関値と今回の相関値との加算
値が加算器８７から供給されて格納される。

【０１１８】図３３は、クリアされたデュアルポートメ
モリ８３への上記２５６個の相関値の格納を示す図であ
る。同図中、左側は探索画像を示し、右側はデュアルポ
ートメモリ８３に「０」に加算して格納される相関値Ｄ
_i,j を示す。図３４は、図３３の状態以降での上記２５
６個の相関値のデュアルポートメモリ８３への格納を示
す図である。同図中、左側は探索画像を示し、右側はデ
ュアルポートメモリ８３に今までの相関値Ｄ_i,j に加算
して格納される相関値Ｄ’_{i, j} を示す。

【０１１９】従って、制御計算機Ｉ／Ｆ７４Ｃの第２実
施例によると、複数回の追跡処理の夫々で得られる相関
値分布を順次加算してデュアルメモリ８３に格納する。
図３５は、図２９の制御計算機Ｉ／Ｆ７４Ｃの第３実施
例の要部を示すブロック図である。図３５中、図３２と
同一部分には同一符号を付し、その説明は省略する。

【０１２０】図３５において、制御計算機Ｉ／Ｆ７４Ｃ
は、ＦＩＦＯ８１と、アドレス発生カウンタ８２と、デ
ュアルポートメモリ８３と、加算器８７と、ラッチ回路
８８と、セレクタ８９と、定数ＲＯＭ９０と、制御レジ
スタ９１とを含む。セレクタ８９には、加算器８７から
の加算値と定数ＲＯＭ９０からの「０」なる値が供給さ
れており、制御レジスタ９１内のクリアフラグＣＦがセ
ットされていると、「０」をデュアルポートメモリ８３
に供給して格納することによりデュアルメモリ８３をク
リアする。クリアフラグＣＦがセットされていないと、
セレクタ８９は加算器８７からの加算値をデュアルポー
トメモリ８３に供給して格納する。

【０１２１】従って、制御計算機Ｉ／Ｆ７４Ｃの第３実
施例によると、複数回の追跡処理の夫々で得られる相関
値分布を順次加算してデュアルメモリ８３に格納するか
否かを、制御計算機７０から制御レジスタ９１内のクリ
アフラグＣＦをセット又はリセットすることにより指示
することが可能である。

【０１２２】次に、本発明になる局所領域画像追跡装置
の第８実施例を図３６と共に説明する。本実施例では、
第５実施例と同様に、図２３に示す基本構成を用いる。
図３６は、本実施例における相関追跡処理装置４の構成
の要部を制御計算機７０と共に示すブロック図である。
同図中、図２９と同一部分には同一符号を付し、その説
明は省略する。

【０１２３】本実施例では、制御計算機７０が、制御計
算機バス７１を介して参照画像及び探索画像の位置を表
すアドレスのデータブロックを、順次制御計算機Ｉ／Ｆ
７４Ｄ内のＦＩＦＯ９５，９６に書き込む。即ち、ＦＩ
ＦＯ９５には、参照画像アドレス発生器２０Ｂに供給す
るべき参照画像Ｘアドレス最小値及び参照画像Ｙアドレ
ス最小値が、予め制御計算機７０から書き込まれる。
又、ＦＩＦＯ９６には、探索画像アドレス発生器２１Ｂ
に供給するべき探索画像Ｘアドレス最小値及び探索画像
Ｙアドレス最小値が、予め制御計算機７０から書き込ま
れる。従って、本実施例は、レジスタの代わりにＦＩＦ
Ｏ９５，９６が使用される点を除けば、図２７及び図２
８と共に説明した第６実施例と同じである。

【０１２４】本実施例によれば、複数のデータブロック
をＦＩＦＯ９５，９６に書き込んでおくことにより、複
数回の追跡処理を一括して制御計算機７０の介在なしに
実行することができる。次に、本発明になる局所領域画
像追跡装置の第９実施例を図３７と共に説明する。本実
施例では、第５実施例と同様に、図２３に示す基本構成
を用いる。

【０１２５】図３７は、本実施例における相関追跡処理
装置４の構成の要部を制御計算機７０と共に示すブロッ
ク図である。本実施例では、相関演算器２２からの相関
値が順次制御計算機Ｉ／Ｆ７４Ｅ内のＦＩＦＯ９８に書
き込まれ、ピーク位置検出器２３からのピーク位置が順
次制御計算機Ｉ／Ｆ７４Ｅ内のＦＩＦＯ９９に書き込ま
れる。デュアルポートメモリやレジスタを使用しない点
を除けば、基本的には図２９及び図３０と共に説明した
第７実施例と同じである。 本実施例によれば、制御計
算機７０は、任意の時点で制御計算機Ｉ／Ｆ７４Ｅ内の
ＦＩＦＯ９８，９９を参照して、書き込まれた相関値及
びピーク位置があればこれらを読み出すことができる。

【０１２６】尚、図３６及び図３７に示す構成を１つの
制御計算機Ｉ／Ｆ内に設けても良いことは言うまでもな
い。次に、本発明になる局所領域画像追跡装置の第１０
実施例を図３８〜４１と共に説明する。本実施例では、
第５実施例と同様に、図２３に示す基本構成を用いる。
又、相関追跡処理装置４の要部は、例えば図２９の構成
を有し、制御計算機Ｉ／Ｆ７４Ｃは例えば図３５及び図
３６の構成を有する。

【０１２７】図３８は、本実施例における動作を説明す
るフローチャートである。説明の便宜上、１６ｎ画素×
１６ｍ画素の参照画像について追跡処理を行うものとす
る。同図中、制御計算機７０は、ステップＳ１で制御計
算機Ｉ／Ｆ７４内のデュアルポートメモリ８３の内容を
クリアし、ステップＳ２，Ｓ３で夫々ｊ及びｉを「０」
に設定する。又、制御計算機７０は、ステップＳ４で制
御計算機Ｉ／Ｆ７４内のＦＩＦＯ９５に参照画像アドレ
スＲｘ，Ｒｙを設定し、ステップＳ５で制御計算機Ｉ／
Ｆ７４内のＦＩＦＯ９６に探索画像アドレスＳｘ，Ｓｙ
を設定する。ここで、ＲｘはＲｘ０＋１６×ｉで表され
る上記参照画像Ｘアドレス最小値であり、ＲｙはＲｙ０
＋１６×ｊで表される上記参照画像Ｙアドレス最小値で
ある。又、ＳｘはＳｘ０＋１６×ｉで表される上記探索
画像Ｘアドレス最小値であり、ＳｙはＳｙ０＋１６×ｊ
で表される上記探索画像Ｙアドレス最小値である。

【０１２８】相関演算器２２は、ステップＳ６で相関演
算を行う。その後、制御計算機７０は、ステップＳ７で
ｉをインクリメントし、ステップＳ８でｉ＝ｎであるか
否かを判定する。ステップＳ８の判定結果がＮＯであれ
ば、処理はステップＳ４へ戻る。他方、ステップＳ８の
判定結果がＹＥＳであれば、制御計算機７０は、ステッ
プＳ９でｊをインクリメントして、ステップＳ１０でｊ
＝ｍであるか否かを判定する。ステップＳ１０の判定結
果がＮＯであれば、処理はステップＳ３へ戻る。他方、
ステップＳ１０の判定結果がＹＥＳであれば、ピーク位
置検出器２３で相関値のピーク位置が検出される。制御
計算機７０は、動きベクトルをｖｘ，ｖｙとすると、Ｓ
ｘ０にｖｘを加算し、Ｓｙ０にｖｙを加算して、処理は
ステップＳ１に戻る。

【０１２９】図３９において、（ａ）は隣接する参照画
像のうちの一方を示し、（ｂ）はこれに対応する探索画
像を示し、（ｃ）はこれらから得られる相関値分布を示
す。又、図４０において、（ａ）は隣接する参照画像の
うちの他方を示し、（ｂ）はこれに対応する探索画像を
示し、（ｃ）はこれらから得られる相関値分布を示す。
更に、図４１において、（ａ）は図３９（ａ）及び図４
０（ａ）に示す２つの隣接する参照画像からなる参照画
像を示し、（ｂ）はこれに対応する探索画像を示し、
（ｃ）は図３９（ｃ）及び図４０（ｃ）の相関値分布を
加算して得られる相関値分布を示す。つまり、制御計算
機Ｉ／Ｆ７４Ｃの加算器８７が図３９（ｃ）及び図４０
（ｃ）の相関値分布を加算することにより、図４１
（ｃ）の相関値分布がデュアルポートメモリ８３に格納
される。

【０１３０】本実施例によれば、隣接する参照画像に対
する追跡処理結果である相関値分布を全て加算し、その
ピーク位置を求めることにより、１６ｎ画素×１６ｍ画
素（即ち、任意倍）の参照画像について追跡処理を行う
ことができる。次に、本発明になる局所領域画像追跡装
置の第１１実施例を図４２と共に説明する。本実施例で
は、第１実施例と同様に図１の基本構成を用いても、第
５実施例と同様に図２３に示す基本構成を用いても良
い。又、相関追跡処理装置４の要部は、上記いずれの実
施例の構成でも使用し得る。

【０１３１】上記第２実施例以降の各実施例において
は、画像入力装置２の出力する画像データは、８ビット
のモノクロ或はカラー情報であるため、各相関追跡処理
装置４−１〜４−Ｍは８ビットの構成を有すれば良い。
即ち、相関演算器２２等には、既に市販されている８ビ
ットのＬＳＩ等を使用することができ、好都合である。
しかし、画像入力装置２の出力する画像データが、例え
ば２４ビットのカラー情報である場合、各相関追跡処理
装置４−１〜４−Ｍは２４ビットの構成に変更しなけれ
ばならない。

【０１３２】図４２は、本実施例の要部を示すブロック
図である。同図中、１６Ｍバイトのメモリ（ＲＯＭ）１
００は、画像入力装置２からの２４ビットのカラー画像
データを８ビットの疑似カラー画像データに変換する変
換テーブルを予め格納している。具体的には、２４ビッ
トのカラー画像データがアドレスとしてメモリ１００に
入力され、入力されたアドレスから８ビットの疑似カラ
ー画像データが出力される。

【０１３３】尚、メモリ１００は、画像入力装置２内に
設けても、画像入力装置２と画像データバス３との間に
設けても、各相関追跡処理装置４−１〜４−Ｍ内に設け
ても良い。本実施例によれば、画像入力装置２の出力す
る画像データのビット数と各相関追跡処理装置４−１〜
４−Ｍが処理するビット数が異なっていても、メモリ１
００で必要な変換を行うことにより、各相関追跡処理装
置４−１〜４−Ｍ内では固定のビット数を処理する構成
とすることができる。尚、メモリ１００の入力ビット数
及び出力ビット数は、夫々２４と８に限定されるもでは
ないことは言うまでもない。

【０１３４】ところで、参照画像は、各フレーム毎に無
条件で、探索画像内の相関値分布のピーク位置の領域の
画像に更新することが考えられる。図４３は、この考え
られる局所領域画像追跡装置を示すブロック図である。
同図中、図７２と同一部分には同一符号を付し、その説
明は省略する。

【０１３５】図４３において、参照画像メモリ５０４に
は予め参照画像データが格納されているものとする。先
ず、最初の１フレームでは、入力切換器５１１は、バッ
ファメモリ５１４にＡ／Ｄ変換器５０２からの画像デー
タを供給して格納するように切り換えられている。又、
出力切換器５１２は、参照画像メモリ５０４から読み出
された参照画像データを相関演算器５０５に供給するよ
うに切り換えられている。

【０１３６】このようにして、最初の１フレームについ
て相関値のピーク位置が検出されて相関値ピーク位置検
出器５０７からアドレス発生器５０６にフィードバック
されると、入力切換器５１１及び出力切り換え器５１２
が共に上記の状態から切り換えられて、Ａ／Ｄ変換器５
０２からの画像データが参照画像メモリ５０４に格納さ
れると共に、バッファメモリ５１４から読み出された画
像データが参照画像データとして相関値演算器５０５に
供給される。これにより、参照画像は、各フレーム毎に
無条件で、探索画像内の相関値分布のピーク位置の領域
の画像に更新される。

【０１３７】しかし、このように各フレーム毎に参照画
像を更新する方法を採用すると、参照画像との相関値が
低い領域の画像を新たな参照画像として用いて追跡処理
を行ってしまう可能性があり、追跡処理の誤差が累積さ
れ易い。又、ノイズを含む領域の画像を参照画像として
用いてしまうと、追跡処理の誤差が大きくなってしま
い、局所領域画像追跡装置がノイズに影響され易い。

【０１３８】そこで、これらの不都合を解消し得る局所
領域画像追跡装置を以下に説明する。次に、本発明にな
る局所領域画像追跡装置の第１２実施例を図４４〜図４
８と共に説明する。図４４は、局所領域画像追跡装置の
第１２実施例の構成を示すブロック図である。同図中、
図４３と同一部分には同一符号を付し、その説明は省略
する。

【０１３９】図４４中、局所領域画像追跡装置は、撮像
装置５０１と、Ａ／Ｄ変換器５０２と、探索画像メモリ
５０３と、相関演算器５０５と、相関値ピーク位置検出
器５０７と、入力選択器１１１と、出力選択器１１２
と、画像メモリ１１３−１〜１１３−Ｎと、相関度比較
器１１５と、画像メモリ管理部１１６とからなる。尚、
Ｎは３以上の整数である。 本実施例では、Ｎ個の画像
メモリ１１３−１〜１１３−Ｎのうち、少なくとも２つ
の画像メモリを参照画像メモリとして使用し、１つの画
像メモリを入力画像メモリとして使用する。

【０１４０】撮像装置５０１により撮像された画像に関
するアナログ画像データは、Ａ／Ｄ変換器５０２により
ディジタル画像データに変換され、順次探索画像メモリ
６に格納されると共に、入力選択器１１１に供給され
る。画像メモリ１１３−１〜１１３−Ｎは、過去の入力
画像データを格納するために設けられている。相関演算
器５０５は、相関演算を行うことにより、探索画像メモ
リ５０３内の画像データと画像メモリ１１３−１〜１１
３−Ｎのうち参照画像メモリとして使用される１つの画
像メモリ内の参照画像データの間の相関性を示す相関値
を求める。この相関値のピーク位置、即ち、撮像画面中
で相関性の最も高い位置は、相関値ピーク位置検出器５
０７により検出される。従って、相関値ピーク位置検出
器５０７からは、常に相関値のピーク位置が得られ、こ
のピーク位置に基づいて撮像画面内の所定物体を実時間
で追跡することができる。

【０１４１】相関演算器５０５は、探索画像メモリ５０
３内の画像データと参照画像メモリ内の参照画像データ
に対して次のような演算を施す。ここで、説明の便宜
上、参照画像を上記図４に示すように８画素×８画素と
し、参照画像内の画素値をＸ_{i, j} と表すものとする。こ
の場合、相関演算器５０５は、例えば上記図５に示す１
６画素×１６画素の探索画像に対して、上記図６に示す
ように、探索画像内の参照画像と同じ大きさの部分領域
画像と次式の演算を行う。尚、次式中、Ｙ_i,j は探索画
像内の画素値を表し、Ｄ_m,n は２つの画像がどのくらい
似ているかを数値で表す相関値を示し、ｍ＝０〜７、ｎ
＝０〜７である。

【０１４２】

【数２】

【０１４３】上記の式中、Ｄ_m,n の値は、２つの画像が
似ている程小さくなる。上記図７は参照画像の一例を示
し、上記図８は探索画像の一例を示す。又、上記図９
は、図７の参照画像及び図８の探索画像に対して相関演
算器５０５が相関演算を行った結果を示す。この例で
は、ｍ＝５，ｎ＝４でＤ_m,n が最小値となっており、こ
の位置にある部分領域画像が参照画像と最も似ているこ
とを表している。

【０１４４】このように、画像の相関演算は、参照画像
に最も似ている箇所を探し出すことができるので、この
相関演算処理を動画像に対して毎フレーム行うことで、
画面内の運動物体を追跡することができる。尚、上記の
式で表される相関演算処理を行う相関演算器５０５は、
１６画素×１６画素の参照画像について３２画素×３２
画素の探索画像内の２５６個の部分領域画像と相関演算
を行って相関値を求める程度のものであれば、相関値の
ピーク位置の検出を行うピーク位置検出器を含めても、
既に大規模集積回路（ＬＳＩ）化されており、相関演算
処理に要する計算は５００μｓ以下で行うことが可能で
ある。一例として、相関演算器５０５には、エス・ジー
・エス・トムソン社製のＳＴＩ３２２０を使用すること
ができる。従って、本実施例の如く参照画像の大きさを
１６画素×１６画素とすることで、１フレーム期間に５
０回〜７０回の相関演算を行うことのできる小規模で高
速な局所領域画像追跡装置を構成できる。

【０１４５】相関値ピーク位置検出器５０７は、図９の
相関値分布から相関値のピーク位置を検出し、相関度比
較器１１５を介して画像メモリ管理部１１６に供給す
る。このピーク位置は、画像メモリ管理部１１６で画像
メモリのアドレスを発生する際に用いられる。又、画像
メモリ管理部１１６は、入力画像メモリとして使用した
画像メモリの番号と相関値のピーク位置のペアを保存す
ると共に、各フレームで参照画像メモリ及び入力画像メ
モリとして使用する画像メモリを決定して、この決定に
応じた切り換え信号を入力切換器１１１及び出力切換器
１１２に供給する。各フレームでの追跡処理において、
画像メモリ１１３−１〜１１３−Ｎのうち入力画像メモ
リ及び参照画像メモリとして使用する画像メモリを切り
換えることにより、探索画像内の相関値分布のピーク位
置の領域の画像の履歴を保存し、又、参照画像を画像の
履歴から選択された画像へ更新する。

【０１４６】相関度比較器１１５は、相関値ピーク位置
検出器５０７からの各相関値分布のピーク位置を比較し
て、相関度が最大である参照画像を格納している画像メ
モリ（参照画像メモリ）及び相関度が最小である参照画
像を格納している画像メモリ（参照画像メモリ）を決定
して画像メモリ管理部１１６に通知する。この相関度比
較器１１５での画像メモリ（参照画像メモリ）の決定及
び通知は、１フレーム期間中に、入力画像メモリとして
使用していない画像メモリを順番に参照画像メモリとし
てＮ−１回の追跡処理を行う際に行われる。

【０１４７】従って、画像メモリ管理部１１６は、最大
の相関度に対するピーク位置と現在入力画像メモリとし
て使用している画像メモリの番号のペアを保存し、相関
度が最大である参照画像を格納している画像メモリを参
照画像メモリとする。又、空き（未使用の）画像メモリ
が存在する場合には、その空き画像メモリを、そして空
き画像メモリが存在しない場合には相関度が最小である
参照画像を格納している画像メモリを、次のフレームの
入力画像メモリとして使用するように、切り換え信号を
入力切換器１１１及び出力切換器１１２に供給する。

【０１４８】尚、相関度比較器１１５は、画像メモリ管
理部１１６の一部であっても良い。本実施例によれば、
参照画像を、画像の履歴のうち入力画像メモリに格納さ
れている入力画像との相関度が高い画像に順次更新する
ので、追跡中に見え方が変化する物体の追跡等の場合に
も、追跡処理の信頼性を向上することができる。

【０１４９】次に、本実施例の動作を、図４５のフロー
チャートと共に説明する。図４５は、画像メモリ管理部
１１６が中央処理装置（ＣＰＵ）で構成されている場合
のＣＰＵの動作を示すフローチャートである。図４５に
おいて、ステップＳ２１は、メモリ番号Ｍｅｍ〔Ｉ〕の
画像メモリを入力画像メモリ、メモリ番号Ｍｅｍ〔Ｓ〕
の画像メモリを探索画像メモリ、メモリ番号Ｒの画像メ
モリを参照画像メモリに設定する。本実施例では、メモ
リ番号の配列は、図４６の如くになっている。図４６
中、Ｓは探索画像メモリの配列インデックスを示し、Ｉ
は入力画像メモリの配列インデックスを示す。又、図４
７は、メモリ番号の配列の初期状態を示す図であり、参
照画像メモリ番号Ｒは「０」に設定されている。

【０１５０】ステップＳ２２は、相関演算器５０５に参
照画像データを供給して相関演算処理、即ち、追跡処理
を開始する。ステップＳ２３は、図４８に示すメモリテ
ーブルのメモリ番号Ｍｅｍ〔Ｓ〕のスロットに相関値の
ピーク位置の座標を記入する。ステップＳ２４は、参照
画像を更新するか否かを判定する。図４８のメモリテー
ブルにおいて、「０」〜「Ｎ−１」はメモリ番号、「Ｘ
０」〜「Ｘ６」は相関値のピーク位置のＸ座標、「Ｙ
０」〜「Ｙ６」は相関値のピーク位置のＹ座標を示し、
「−１」は未記入であることを示す。

【０１５１】ステップＳ２４の判定結果がＮＯである
と、ステップＳ２５で探索画像メモリの配列インデック
スＳをインクリメントする。ステップＳ２６は、探索画
像メモリの配列インデックスＳがＮ−２であるか否かを
判定し、判定結果がＹＥＳであるとステップＳ２７で探
索画像メモリの配列インデックスＳを「０」に設定す
る。ステップＳ２７の後、又は、ステップＳ２６の判定
結果がＮＯであると、ステップＳ２８で入力画像メモリ
の配列インデックスＩをインクリメントする。ステップ
Ｓ２９は、入力画像メモリの配列インデックスＩがＮ−
２であるか否かを判定し、判定結果がＹＥＳであるとス
テップＳ３０で入力画像メモリの配列インデックスＩを
「０」に設定する。ステップＳ３０の後、又は、ステッ
プＳ２９の判定結果がＮＯであると、処理はステップＳ
２１へ戻る。

【０１５２】他方、ステップＳ２４の判定結果がＹＥＳ
であると、ステップＳ３１で更新後の探索画像メモリの
配列インデックスＳ＊をＳ−１に設定する。ステップＳ
３２は、更新後の探索画像メモリの配列インデックスＳ
＊が「０」より小さいが否かを判定し、判定結果がＹＥ
ＳであるとステップＳ３３で更新後の探索画像メモリの
配列インデックスＳ＊をＮ−２に設定する。ステップＳ
３３の後、又は、ステップＳ３２の判定結果がＮＯであ
ると、ステップＳ３４で更新後の入力画像メモリの配列
インデックスＩ＊をＩ＋１に設定する。ステップＳ３５
は、更新後の入力画像メモリの配列インデックスＩ＊が
Ｎ−２より大きいか否かを判定し、判定結果がＹＥＳで
あるとステップＳ３６で更新後の入力画像メモリの配列
インデックスＩ＊を０に設定する。ステップＳ３６の
後、又は、ステップＳ３５の判定結果がＮＯであると、
処理はステップＳ３７に進む。

【０１５３】ステップＳ３７は、Ｉ＊＝Ｓ＊の場合はＭ
ｅｍ〔Ｉ＊〕の、Ｉ＊＜Ｓ＊の場合はＭｅｍ〔Ｉ＊〕〜
Ｍｅｍ〔Ｓ＊〕の、その他の場合はＭｅｍ〔Ｉ＊〕〜Ｍ
ｅｍ〔Ｎ−２〕，Ｍｅｍ

〔０〕〜Ｍｅｍ〔Ｓ＊〕のうち
未入力でないものを順番に参照画像メモリ、Ｍｅｍ
〔Ｓ〕を探索画像メモリとして追跡処理を行う。そし
て、最も相関度の高い参照画像データを格納している参
照画像メモリのインデックスＭａｘと、最も相関度の低
い参照画像データを格納している参照画像メモリのイン
デックスＭｉｎとを求める。ただし、未入力の画像メモ
リが存在する場合には、その画像メモリのインデックス
をＭｉｎとする。

【０１５４】次に、ステップＳ３８は、Ｍｅｍ〔Ｎ−
２〕にＲ、Ｍｅｍ

〔０〕にＭｅｍ〔Ｓ〕、Ｍｅｍ〔１〕
にＭｅｍ〔Ｉ〕、Ｍｅｍ〔２〕にＭｅｍ〔Ｍｉｎ〕、Ｍ
ｅｍ〔３〕〜Ｍｅｍ〔Ｎ−３〕にＩ＊＜Ｓ＊の時はＭｅ
ｍ〔Ｉ＊〕〜Ｍｅｍ〔Ｓ＊〕、Ｉ＊＞Ｓ＊の時はＭｅｍ
〔Ｉ＊〕〜Ｍｅｍ〔Ｎ−２〕，Ｍｅｍ

〔０〕〜Ｍｅｍ
〔Ｓ＊〕でインデックスがＭａｘ，Ｍｉｎでないものを
順番に設定し、Ｒ＝Ｍｅｍ〔Ｍａｘ〕とする。

【０１５５】ステップＳ３９は、探索画像メモリの配列
インデックスＳを「１」に設定すると共に、入力画像メ
モリの配列インデックスＩを「２」に設定する。ステッ
プＳ３９の後、処理はステップＳ２１に戻る。次に、本
発明になる局所領域画像追跡装置の第１３実施例を図４
９及び図５０と共に説明する。図４９は、局所領域画像
追跡装置の第１３実施例の構成を示すブロック図であ
る。同図中、図４４と同一部分には同一符号を付し、そ
の説明は省略する。

【０１５６】本実施例では、図４９に示すように、図４
４の相関度比較器１１５の代わりに相関度評価器１１７
が設けられている。この相関度評価器１１７は、各フレ
ーム毎での追跡処理で得られる相関値分布のピーク位置
の相関度を予め設定されたしきい値と比較して、相関度
がしきい値以下であった場合にのみ参照画像メモリを切
り換えて参照画像の更新を行う。 つまり、参照画像メ
モリ及び探索画像メモリに格納されている画像データ間
で相関演算を行って追跡処理を行うが、相関度評価器１
１７において相関度のピーク値と予め設定されているし
きい値との比較を行う。この比較の結果、相関度のピー
ク置がしきい値より大きいと、現在の入力画像メモリの
番号と相関度のピーク値のペアを記録する。空き画像メ
モリが存在する場合にはその空き画像メモリを、存在し
ない場合には最も過去に入力がされた画像メモリを、次
の入力画像メモリとする。他方、相関度のピーク値がし
きい値以下の場合は、最も最近に入力がなされた画像メ
モリを参照画像メモリとして現在の入力画像データに対
して追跡処理を再実行すると共に、この場合の相関度の
ピーク位置と現在の入力画像メモリの番号とのペアを記
録する。そして、空き画像メモリが存在する場合には、
その空き画像メモリを、存在しない場合には最も過去に
入力がなされた画像メモリを、次の入力画像メモリとす
る。

【０１５７】尚、相関度評価器１１７は、画像メモリ管
理部１１６の一部であっても良い。本実施例によれば、
参照画像を、画像の履歴のうち入力画像メモリに格納さ
れている入力画像との相関度が高い画像に順次更新する
ので、追跡中に見え方が変化する物体の追跡等の場合に
も、追跡処理の信頼性を向上することができる。又、追
跡処理において相関度が設定されたしきい値以下となっ
た場合に、参照画像を画像メモリ内の最新の画像に更新
できる。

【０１５８】次に、本実施例の動作を、図５０のフロー
チャートと共に説明する。図５０は、画像メモリ管理部
１１６が中央処理装置（ＣＰＵ）で構成されている場合
のＣＰＵの動作を示すフローチャートである。図５０
中、図４５と同一のステップには同一符号を付し、その
説明は省略する。

【０１５９】図５０において、ステップＳ４４は、相関
度のピーク値がしきい値より小さいか否かを判定する。
ステップＳ４４の判定結果がＮＯであれば、処理はステ
ップＳ２５へ進む。他方、ステップＳ４４の判定結果が
ＹＥＳであれば、処理はステップＳ３１へ進む。 ステ
ップＳ４７は、Ｉ＊＝Ｓ＊の場合はＭｅｍ〔Ｉ＊〕の、
Ｉ＊＜Ｓ＊の場合はＭｅｍ〔Ｉ＊〕〜Ｍｅｍ〔Ｓ＊〕
の、その他の場合はＭｅｍ〔Ｉ＊〕〜Ｍｅｍ〔Ｎ−
２〕，Ｍｅｍ

〔０〕〜Ｍｅｍ〔Ｓ＊〕のうち未入力でな
い最初の画像メモリのインデックスをＭｉｎとし、最後
の画像メモリのインデックスをＭａｘとする。

【０１６０】次に、本発明になる局所領域画像追跡装置
の第１４実施例を図５１及び図５２と共に説明する。図
５１は、局所領域画像追跡装置の第１４実施例の構成を
示すブロック図である。同図中、図４４及び図４９と同
一部分には同一符号を付し、その説明は省略する。 本
実施例では、図５１に示すように、相関度比較器１１５
と相関度評価器１１７の他にモード切換器１１８が設け
られている。相関度比較器１１５及び相関度評価器１１
７の動作は、上記第１２及び第１３実施例の場合と同様
である。モード切換器１１８は、モードを切り換えるこ
とで、第１２実施例の動作又は第１３実施例の動作を選
択的に行える。

【０１６１】参照画像メモリ及び探索画像メモリに格納
されている画像データ間で相関演算を行って追跡処理を
行うが、相関度評価器１１７において相関度のピーク値
と予め設定されているしきい値との比較を行う。この比
較の結果、相関度のピーク置がしきい値より大きいと、
現在の入力画像メモリの番号と相関度のピーク値のペア
を記録する。空き画像メモリが存在する場合にはその空
き画像メモリを、存在しない場合には最も過去に入力が
された画像メモリを、次の入力画像メモリとする。他
方、相関度のピーク値がしきい値以下の場合は、次の手
順で参照画像を更新する。

【０１６２】相関度のピーク値がしきい値以下の場合
は、相関度比較器１１５は、相関値ピーク位置検出器５
０７からの各相関値分布のピーク位置を比較して、相関
度が最大である参照画像を格納している画像メモリ（参
照画像メモリ）及び相関度が最小である参照画像を格納
している画像メモリ（参照画像メモリ）を決定して画像
メモリ管理部１１６に通知する。この相関度比較器１１
５での画像メモリ（参照画像メモリ）の決定及び通知
は、１フレーム期間中に、入力画像メモリとして使用し
ていない画像メモリを順番に参照画像メモリとしてＮ−
１回の追跡処理を行う際に行われる。従って、画像メモ
リ管理部１１６は、最大の相関度に対するピーク位置と
現在入力画像メモリとして使用している画像メモリの番
号のペアを保存し、相関度が最大である参照画像を格納
している画像メモリを参照画像メモリとする。又、空き
（未使用の）画像メモリが存在する場合には、その空き
画像メモリを、そして空き画像メモリが存在しない場合
には相関度が最小である参照画像を格納している画像メ
モリを、次のフレームの入力画像メモリとして使用する
ように、切り換え信号を入力切換器１１１及び出力切換
器１１２に供給する。

【０１６３】尚、相関度比較器１１５と相関度評価器１
１７とモード切換器１１８とは、夫々画像メモリ管理部
１１６の一部であっても良い。次に、本実施例の動作
を、図５２のフローチャートと共に説明する。図５２
は、画像メモリ管理部１１６が中央処理装置（ＣＰＵ）
で構成されている場合のＣＰＵの動作を示すフローチャ
ートである。図５２中、図４５及び図５０と同一のステ
ップには同一符号を付し、その説明は省略する。

【０１６４】図５２において、ステップＳ４４は図５０
のステップＳ４４と同一であり、ステップＳ３７，Ｓ３
８は図４５のステップＳ３７，Ｓ３８と同一である。
尚、上記第１２〜１４実施例を、第１図又は第２３図の
如き基本構成にも適用できることは言うまでもない。

【０１６５】ところで、上記局所領域画像追跡装置の各
実施例を侵入者を自動的に追跡撮像する自動警備システ
ムや防犯システム及びテレビカメラで野球やゴルフのボ
ールを自動的に追跡撮像する自動撮像システム等に適用
する場合、参照画像データは予めわかってはおらず、追
跡撮像動作を行う都度設定する必要がある。以下に、参
照画像データを自動的に検出して設定することのできる
実施例を説明する。

【０１６６】図５３は、本発明になる局所領域画像追跡
装置の第１５実施例の構成を示すブロック図である。同
図中、図４４と同一部分には同一符号を付し、その説明
は省略する。図５３において、局所領域画像追跡装置
は、図示の如く接続された撮像装置（テレビカメラ）５
０１と、Ａ／Ｄ変換器５０２と、ビデオレコーダ２０１
と、入力画像メモリ２０２と、動き検出器２０３と、背
景画像メモリ２０４と、警報装置２０５と、入力切換器
２０６と、探索画像メモリ５０３と、参照画像メモリ２
０７と、相関演算器５０５と、アドレス発生器５０６Ａ
と、相関値ピーク位置検出器５０７と、カメラ台制御器
２０８と、カメラ台２０９とからなる。カメラ台２０９
には、カメラ５０１を移動するためのモータ等が含まれ
る。

【０１６７】Ａ／Ｄ変換器５０２からは、カメラ５０１
が例えば図５４（ａ）に示す入力画像を撮像することに
より得られた入力画像データが出力されて入力画像メモ
リ５０３に格納されると共に、入力切換器２０６を介し
て参照画像メモリ２０７に格納される。他方、背景画像
メモリ２０４には、予め例えば図５４（ｂ）に示す背景
画像に関する背景画像データが格納されている。従っ
て、動き検出器２０３は、入力画像メモリ２０２から読
み出された入力画像データから背景画像メモリ２０４か
ら読み出された背景画像データを減算することにより、
図５４（ｃ）に示す差分画像に関する差分画像データを
求める。

【０１６８】本実施例及び後述する各実施例では、説明
の便宜上、局所領域画像追跡装置が防犯システムに適用
されているものとする。従って、図５４（ｂ）に示す背
景画像に関する背景画像データは監視している部屋に関
するもので固定である。動き検出器２０３は、上記差分
画像データが所定値以上であると部屋に侵入物体がある
ものと判断して検出信号を警報装置２０５及び入力切換
器２０６に供給する。これにより、警報装置２０５は、
動き検出器２０３からの検出信号に応答して警報を発生
する。

【０１６９】尚、カメラ５０１からの入力画像データ
は、ビデオレコーダ２０１にも供給されて記録媒体に記
録される。このビデオレコーダ２０１は、警報装置２０
５にも接続されているので、警報装置２０５が警報を発
生した時点での入力画像データを、記録済み入力画像デ
ータの中から特定することができる。又、ビデオレコー
ダ２０１は、警報装置２０５が警報を発生した時点から
入力画像データを記録するようにしても良い。後者の場
合、ビデオレコーダ２０１で使用する記録媒体の記憶容
量の低減が可能となる。

【０１７０】入力切換器２０６は、動き検出器２０３か
らの検出信号に応答してＡ／Ｄ変換器５０２からの入力
画像データを探索画像メモリ５０３に供給するように切
り換えられる。これにより、上記差分画像データが所定
値以上となった時点以降の入力画像データは探索画像メ
モリ５０３に格納される。

【０１７１】動き検出器２０３は、差分画像データから
追跡処理用の参照画像の位置を求め、アドレス発生器５
０６Ａに設定する。これにより、探索画像メモリ５０３
及び参照画像メモリ２０７からは夫々図５４（ａ）に示
す探索画像データ及び図５４（ｄ）に示す参照画像デー
タが切り出され、相関演算器５０５に供給される。相関
演算器５０５は、既に説明した方法で相関値を求め、相
関値ピーク位置検出器５０７は相関値のピーク位置を既
に説明した方法で求める。従って、相関値ピーク位置検
出器５０７は、結果的に侵入物体の移動量を求め、この
移動量をアドレス発生器５０６Ａに供給して探索画像ア
ドレスに加算する。又、相関値ピーク位置検出器５０７
は、侵入物体の移動量をカメラ台制御器２０８に供給す
る。カメラ台制御器２０８は、移動量に基づいて、侵入
物体が画面の中央部分に位置するようにカメラ台２０９
を移動してカメラ５０１の撮像位置を制御する。

【０１７２】尚、一旦参照画像データが参照画像メモリ
２０７に格納された後の局所領域画像追跡処理自体は、
上記実施例のいずれの方法を用いても良いことは言うま
でもない。図５５は、第１５実施例の動作を説明するフ
ローチャートである。同図中、ステップＳ５１は、入力
画像メモリ２０２及び参照画像メモリ２０７に同時に入
力画像データを入力格納する。ステップＳ５２は、入力
画像メモリ２０２に格納された入力画像データと背景画
像メモリ２０４に格納された背景画像データとの差分画
像データを求め、ステップＳ５３は、入力画像データに
背景画像データからの変化があるか否かを判定する。具
体的には、ステップＳ５３は、雑音等に過敏に反応しな
いように、差分画像データが所定値以上となると上記変
化があるものと判断する。ステップＳ５３の判定結果が
ＮＯの場合、処理はステップＳ５１へ戻る。他方、ステ
ップＳ５３の判定結果がＹＥＳであると、ステップＳ５
４でビデオレコーダ２０１による入力画像データの記録
を開始し、警報装置２０５による警報の発生を行う。ス
テップＳ５５は、動き検出器２０３により、追跡処理用
の参照画像（テンプレート画像）の位置を探索画像アド
レス及び参照画像アドレスとしてアドレス発生器５０６
Ａに設定する。

【０１７３】ステップＳ５６は、動き検出器２０３によ
り入力切換器２０６を切り換えて入力画像データが探索
画像メモリ５０３に供給されるようにする。これによ
り、ステップＳ５７は、探索画像メモリ５０３に入力画
像データを格納する。ステップＳ５８は、アドレス発生
器５０６Ａより発生されるアドレスに基づいて探索画像
メモリ５０３及び参照画像メモリ２０７から夫々探索画
像データ及び参照画像データを読み出して相関演算器５
０５に供給し、相関値を求める。ステップＳ５９は、相
関演算器５０５により求めた相関値に基づいて、相関値
ピーク位置検出器５０７により侵入物体の移動量を求め
る。ステップＳ６０は、求めた移動量をアドレス発生器
５０６Ａに供給して探索画像アドレスに加算する。又、
ステップＳ６１は、移動量に応じて侵入物体がカメラ５
０１が撮像している画面の中央部分に位置するようにカ
メラ台２０９を動かす移動指令をカメラ台２０９に供給
し、処理はステップＳ５７へ戻る。

【０１７４】図５６は、カメラ台２０９の制御を説明す
る図である。図５６は、カメラ５０１により撮像された
入力画像を示し、画面の中心座標は（Ｃｘ，Ｃｙ）、侵
入物体の中心座標は（Ｔｘ，Ｔｙ）で示されている。こ
の場合、侵入物体の中心座標（Ｔｘ，Ｔｙ）は、画面の
中心座標（Ｃｘ，Ｃｙ）からｘ軸上距離Δｘだけ離れ、
ｙ軸上距離Δｙだけ離れている。そこで、この様な場
合、カメラ台制御器２０８は、侵入物体の中心座標（Ｔ
ｘ，Ｔｙ）が略画面の中心座標（Ｃｘ，Ｃｙ）と一致し
て侵入物体の追跡が容易となるようにカメラ台２０９を
移動制御する。具体的には、カメラ台２０９に供給され
る移動指令はｘ軸方向の移動量を指示するΔｐａｎ＝Ｋ
ｐ・Δｘとｙ軸方向の移動量を指示するΔｔｉｌｔ＝Ｋ
ｔ・Δｙとからなる。ここで、Ｋｐ，Ｋｔは、夫々カメ
ラ台２０９のモータ等に応じて設定された定数である。
上記移動指令は、例えば１／３０秒といった所定時間間
隔毎にカメラ台制御器２０８からカメラ台２０９に供給
される。

【０１７５】これにより、本実施例によれば、参照画像
データを自動的に検出して設定することができる。図５
７は、本発明になる局所領域画像追跡装置の第１６実施
例の構成を示すブロック図である。同図中、図５３と同
一部分には同一符号を付し、その説明は省略する。本実
施例では、入力画像中の動きも相関演算器により求め
る。

【０１７６】図５７において、局所領域画像追跡装置
は、図示の如く接続されたカメラ５０１と、Ａ／Ｄ変換
器５０２と、ビデオレコーダ２０１と、警報装置２０５
と、探索画像メモリ５０３と、参照画像メモリ２０７−
１，２０７−２と、相関演算器５０５と、アドレス発生
器５０６Ｂと、相関値ピーク位置検出器５０７と、入力
切換器２１０と、出力切換器２１１と、制御計算機２１
２と、カメラ台制御器２０８と、カメラ台２０９とから
なる。

【０１７７】図５８は、第１６実施例の動作を説明する
フローチャートであり、以下に本実施例の動作をこのフ
ローチャートと共に説明する。本実施例では、カメラ５
０１からの入力画像データがＡ／Ｄ変換器５０２を介し
て探索画像メモリ５０３及び入力切換器２１０に供給さ
れると共に、ビデオレコーダ２０１にも供給される。図
５８中、ステップＳ７１は、入力切換器２１０が入力画
像データを参照画像メモリ２０７−１に供給し、出力切
換器２１１がこの参照画像メモリ２０７−１から読み出
した入力画像データを出力するように、制御計算機２１
２により入力切換器２１０及び出力切換器２１１を切り
換え制御する。ステップＳ７２は、制御計算機２１２に
より入力切換器２１０を切り換えて、入力画像データが
もう一方の参照画像メモリ２０７−２に入力されるよう
にする。つまり、制御計算機２１２は、参照画像メモリ
２０７−１，２０７−２のうち一方に書き込みを行って
いる場合には他方から読み出しが行われ、一方から読み
出しを行っている場合には他方に書き込みを行うように
アクセスの制御行う。

【０１７８】ステップＳ７３は、制御計算機２１２によ
りアドレス発生器５０６Ｂを制御することにより、アド
レス発生器５０６Ｂの発生するアドレスに基づいて探索
画像メモリ５０３及び参照画像メモリ２０７−１から夫
々探索画像データ及び参照画像データを読み出す。この
読み出された画像データは、所定時間間隔をおいた入力
画像データに対応し、夫々図５９に示すように、画面内
の複数の小領域に分割されて相関演算器５０５に供給さ
れるので、相関演算器５０５は各小領域について上記の
如き相関演算を行う。図５９中、１画面は２５の正方形
の小領域に分割されているが、小領域の数及び形状はこ
れに限定されるものではない。図５９は、侵入物体がＡ
からＡ’の位置へ移動する場合を示している。相関演算
器５０５は、探索画像データと参照画像データとの間で
各小領域の相関値を求め、相関演算器５０５の出力は相
関値ピーク位置検出器５０７を介して制御計算機２１２
に供給されるので、制御計算機２１２は各小領域につい
ての相関値の変化から入力画像中の動きを検出すること
ができる。

【０１７９】ステップＳ７４は、制御計算器２１２によ
り動きの検出された小領域の数がしきい値より大きいか
否かを判定し、判定結果がＮＯであると、ステップＳ７
５は出力切換器２１１が参照画像メモリ２０７−２から
読み出した参照画像データを出力するように出力切換器
２１１を切り換え制御し、処理がステップＳ７２に戻
る。他方、ステップＳ７４の判定結果がＹＥＳの場合に
は、ステップＳ７６はビデオレコーダ２０１が入力画像
データを記録し警報装置２０５が警報を発生するよう
に、制御計算機２１２によりビデオレコーダ２０１及び
警報装置２０５を制御する。

【０１８０】ステップＳ７７は、制御計算機２１２によ
り、追跡処理用の参照画像（テンプレート画像）の位置
を探索画像アドレス及び参照画像アドレスとしてアドレ
ス発生器５０６Ｂに設定する。ステップＳ７８は、制御
計算機２１２により入力切換器２１０を切り換えて参照
画像データを格納していない方の例えば参照画像メモリ
２０７−１に入力画像データが供給されるようにする。
又、ステップＳ７９は、探索画像メモリ５０３に入力画
像データを格納する。ステップＳ８０は、アドレス発生
器５０６Ｂより発生されるアドレスに基づいて探索画像
メモリ５０３及び参照画像メモリ２０７−１から夫々探
索画像データ及び参照画像データを読み出して相関演算
器５０５に供給し、相関値を求める。ステップＳ８１
は、相関演算器５０５により求めた相関値に基づいて、
相関値ピーク位置検出器５０７により侵入物体の移動量
を求める。ステップＳ８２は、求めた移動量をアドレス
発生器５０６Ｂに供給して探索画像アドレスに加算す
る。又、ステップＳ８３は、移動量に応じて侵入物体が
カメラ５０１が撮像している画面の中央部分に位置する
ようにカメラ台２０９を動かす移動指令をカメラ台２０
９に供給し、処理はステップＳ７９へ戻る。

【０１８１】本実施例では、入力画像中の動きを検出す
るための専用の動き検出器等が不要であるため、比較的
簡単な構成を用いて参照画像データを自動的に検出して
設定することができる。図６０は、本発明になる局所領
域画像追跡装置の第１７実施例の動作を説明するフロー
チャートである。本実施例では、局所領域画像追跡装置
の構成は図５７に示した構成と同じで良いので、その図
示は省略する。又、図６０中、図５８と同一ステップに
は同一符号を付し、その説明は省略する。本実施例で
は、相関値のピーク値がしきい値以下となると、参照画
像を入力画像に更新する。

【０１８２】図６０において、ステップＳ７９−１は、
図５７に示す探索画像メモリ５０３に入力画像データを
格納すると同時に空いている方の例えば参照画像メモリ
２０７−２にも入力画像データを格納する。ステップＳ
８０は、アドレス発生器５０６Ｂより発生されるアドレ
スに基づいて探索画像メモリ５０３及び参照画像メモリ
２０７−１から夫々探索画像データ及び参照画像データ
を読み出して相関演算器５０５に供給し、相関値を求め
る。ステップＳ８１は、相関演算器５０５により求めた
相関値に基づいて、相関値ピーク位置検出器５０７によ
り侵入物体の移動量を求める。ステップＳ８２は、求め
た移動量をアドレス発生器５０６Ｂに供給して探索画像
アドレスに加算する。ステップＳ８５は、相関値ピーク
位置検出器５０７で求めた相関値のピーク値がしきい値
より大きいか否かを判定し、判定結果がＮＯであれば処
理がステップＳ８３に進む。ステップＳ８３は、移動量
に応じて侵入物体がカメラ５０１が撮像している画面の
中央部分に位置するようにカメラ台２０９を動かす移動
指令をカメラ台２０９に供給し、処理はステップＳ７９
−１へ戻る。

【０１８３】他方、ステップＳ８５の判定結果がＹＥＳ
であると、ステップＳ８６は制御計算機２１２により探
索画像アドレスを参照画像アドレスとしてアドレス発生
器５０６Ｂに設定する。又、ステップＳ８７は、制御計
算機２１２により入力切換器２１０及び出力切換器２１
１を切り換え制御し、処理がステップＳ８３に進む。こ
れにより、局所領域画像追跡処理に使用する参照画像デ
ータは、探索画像メモリ５０３に格納されている入力画
像データに更新されるので、侵入物体を追跡中に侵入物
体の見方、即ち、画面上で現われる二次元映像が捉えら
れた角度等により変化した場合でも、安定した追跡が可
能となる。

【０１８４】図６１は、本発明になる局所領域画像追跡
装置の第１８実施例の構成を示すブロック図である。同
図中、図５７と同一部分には同一符号を付し、その説明
は省略する。本実施例では、ズーム機構を用いて侵入物
体のクローズアップ画像を記録する。

【０１８５】本実施例では、図６１に示すようにカメラ
５０１にズーム機構２２２が設けられており、制御計算
機２１２は、ズーム制御器２２１を介してズーム機構２
２２のズーム設定を行う。ズーム制御器２２１及びズー
ム機構２２２を除く局所領域画像追跡装置の部分は、図
５７に示す局所領域画像追跡装置と同じである。

【０１８６】図６２は、第１８実施例の動作を説明する
フローチャートである。同図中、図６０と同一ステップ
には同一符号を付し、その説明は省略する。図６２にお
いて、ステップＳ７１からステップＳ８７までの処理
は、図６０の処理と同一である。しかし、本実施例で
は、ステップＳ８３の後、ステップＳ９１は制御計算機
２１２によりズーム機構２２２のズーム設定値が予め設
定されている目標値より小さいか否かを判定し、判定結
果がＹＥＳであれば処理がステップＳ７９−１へ戻る。
他方、ステップＳ９１の判定結果がＮＯであると、ステ
ップＳ９２は制御計算機２１２によりズーム制御器２２
１を制御することによりズーム設定値を増大させる。ス
テップＳ９２の後は、処理がステップＳ７９−１へ戻
る。

【０１８７】従って、本実施例では、上記第１７実施例
と同様に参照画像データを更新しながらズーム設定値を
徐々に目標値に近付けることにより、安定に侵入物体を
追跡しながら侵入物体をズームアップしてクローズアッ
プ画像をビデオレコーダ２０１で記録することができ
る。このため、本実施例を防犯システムに適用した場合
には、侵入物体である侵入者の顔のクローズアップが記
録でき、防犯システムの性能を向上することが可能であ
る。

【０１８８】図６３は、本発明になる局所領域画像追跡
装置の第１９実施例の構成を示すブロック図である。同
図中、図５７と同一部分には同一符号を付し、その説明
は省略する。本実施例では、２つのカメラのうち一方の
ズーム機構を用いて侵入物体のクローズアップ画像を記
録する。

【０１８９】本実施例では、図６３に示すようにカメラ
５０１に加えて、ズーム機構が設けられた撮像装置（ズ
ームカメラ）５０１−１がカメラ台２０９−１に支持さ
れている。制御計算機２１２は、カメラ台制御器２０８
−１を介してズームカメラ５０１−１のズーム設定及び
位置制御を行う。カメラ台制御器２０８−１、カメラ台
２０９−１及びズームカメラ５０１−１を除く局所領域
画像追跡装置の部分は、図５７に示す局所領域画像追跡
装置と同じである。

【０１９０】図６３は、第１９実施例の動作を説明する
フローチャートである。同図中、図６０と同一ステップ
には同一符号を付し、その説明は省略する。図６３にお
いて、ステップＳ７１からステップＳ８７までの処理
は、図６０の処理と同一である。しかし、本実施例で
は、ステップＳ８３の後、ステップＳ９４は制御計算機
２１２により、ズーム設定（ズーム比）に応じてズーム
カメラ５０１−１のカメラ台２０９−１を制御するため
の移動指令がカメラ台制御器２０８−１より出力される
ようにカメラ台制御器２０８−１を制御する。ステップ
Ｓ９４の後は、処理がステップＳ７９−１へ戻る。

【０１９１】これにより、本実施例では、ズームダウン
したカメラ５０１により撮像した入力画像で侵入物体の
追跡処理を行いながら、ズームアップしたズームカメラ
５０１−１の位置を制御することで、速い動きの侵入物
体であっても見失うことなく安定に追跡し、且つ、侵入
物体のクローズアップをビデオレコーダ２０１により記
録することができる。従って、本実施例を防犯システム
に適用した場合には、侵入物体である侵入者の顔のクロ
ーズアップが確実に記録でき、防犯システムの性能を向
上することが可能である。

【０１９２】図６５は、本発明になる局所領域画像追跡
装置の第２０実施例の動作を説明するフローチャートで
ある。本実施例では、局所領域画像追跡装置の構成は図
６１に示した構成と同じで良いので、その図示は省略す
る。又、図６５中、図６２と同一ステップには同一符号
を付し、その説明は省略する。図６５において、ステッ
プＳ７１からステップＳ８７までの処理は、図６２の処
理と同一である。本実施例では、限定的にズームを制御
してズームアップ画像を得る。

【０１９３】図６５において、ステップＳ８３の後、ス
テップＳ１０１は制御計算機２１２によりビデオレコー
ダ２０１によ入力画像データの記録が開始されたか否か
を判定し、判定結果がＹＥＳであるとステップＳ１０２
は制御計算機２１２によりズーム設定値が目標値より小
さいか否かを判定する。ステップＳ１０２の判定結果が
ＹＥＳであるとステップＳ１０３でズームアップするよ
うにズーム制御器２２１を制御して処理がステップＳ７
９−１へ戻る。他方、ステップＳ１０２の判定結果がＮ
Ｏであると、ステップＳ１０４でビデオレコーダ２０１
による入力画像データの記録を開始して処理がステップ
Ｓ７９−１へ戻る。

【０１９４】ステップＳ１０１の判定結果がＮＯの場
合、ステップＳ１０５は制御計算機２１２によりビデオ
レコーダ２０１による入力画像データの記録が終了した
か否かを判定し、判定結果がＮＯであると処理がステッ
プＳ７９−１へ戻る。ステップＳ１０５の判定結果がＹ
ＥＳの場合は、ステップＳ１０６は制御計算機２１２に
おいてズーム設定値が初期値より大きいか否かを判定す
る。ステップＳ１０６の判定結果がＹＥＳであるとステ
ップＳ１０７でズーム設定値を減少させるようにズーム
制御器２２１を制御し、処理がステップＳ７９−１へ戻
る。他方、ステップＳ１０６の判定結果がＮＯである
と、処理はステップＳ７９−１へ戻る。

【０１９５】尚、ビデオレコーダ２０１による入力画像
データの記録開始及び記録終了の指示は、例えば一定の
時間間隔で行い、入力画像データを一定の時間記録す
る。次に、本発明になる局所領域画像追跡装置の第２１
実施例を図６６〜図６８と共に説明する。本実施例で
は、局所領域画像追跡装置の構成は図５７に示した構成
と同様で良いので、その図示は省略する。図６６はラベ
リング処理を説明する図であり、図６７はラベリング処
理を説明するフローチャートである。又、図６８は、第
２１実施例の動作を説明するフローチャートである。本
実施例では、複数の侵入物体を検出して追跡する。

【０１９６】先ず、図６６及び図６７と共にラベリング
処理について説明する。侵入物体が複数存在する場合、
各侵入物体にラベリング処理を施して各侵入物体を識別
する。図６６（ａ）において、ハッチングで示す部分は
入力画像中動きが発生した部分、即ち、侵入物体を示
す。ラベリング処理は、図６６（ｂ）に示す如く、動き
が検出された領域を独立した領域に分割し、分割された
夫々の領域を個別の侵入物体として分離する。これによ
り、各侵入物体に対して例えばＡ〜Ｅなるラベルが付け
られる。

【０１９７】図６７に示すラベリング処理は、例えば図
５７に示す制御計算機２１２により行われる。図６７
中、ステップＳ５０１は、移動物体に付ける移動物番号
（ラベル）Ｌを「１」に初期設定すると共に、領域
（ｉ，ｊ）のｉ及びｊを共に「０」に初期設定する。ス
テップＳ５０２は、領域（ｉ，ｊ）で動きが発生したか
否かを判定する。この動きを検出する処理は、上記実施
例のいずれかで採用された方法を用い得る。ステップＳ
５０２の判定結果がＹＥＳであると、ステップＳ５０３
は領域（ｉ，ｊ）のラベルをＬ、ｋを「０」、ｌを
「０」、ｃｏｕｎｔを「０」に設定する。ステップＳ５
０４は、領域（ｋ，ｌ）のラベルがＬであるか否かを判
定し、判定結果がＹＥＳであるとステップＳ５０５で領
域（ｋ−１，ｌ−１）で動きが発生し、且つ、未ラベル
であるか否かを判定する。ステップＳ５０５の判定結果
がＹＥＳであると、ステップＳ５０６で領域（ｋ−１，
ｌ−１）のラベルをＬとし、ｃｏｕｎｔを「１」だけイ
ンクリメントする。ステップＳ５０４の判定結果がＮＯ
であると、処理は後述するステップＳ５２１へ進む。

【０１９８】ステップＳ５０５の判定結果がＮＯ又はス
テップＳ５０６の後、ステップＳ５０７で領域（ｋ−
１，ｌ）で動きが発生し、且つ、未ラベルであるか否か
を判定する。ステップＳ５０７の判定結果がＹＥＳであ
ると、ステップＳ５０８で領域（ｋ−１，ｌ）のラベル
をＬとし、ｃｏｕｎｔを「１」だけインクリメントす
る。ステップＳ５０７の判定結果がＮＯ又はステップＳ
５０８の後、ステップＳ５０９で領域（ｋ−１，ｌ＋
１）で動きが発生し、且つ、未ラベルであるか否かを判
定する。ステップＳ５０９の判定結果がＹＥＳである
と、ステップＳ５１０で領域（ｋ−１，ｌ＋１）のラベ
ルをＬとし、ｃｏｕｎｔを「１」だけインクリメントす
る。

【０１９９】ステップＳ５０９の判定結果がＮＯ又はス
テップＳ５１０の後、ステップＳ５１１で領域（ｋ，ｌ
−１）で動きが発生し、且つ、未ラベルであるか否かを
判定する。ステップＳ５１１の判定結果がＹＥＳである
と、ステップＳ５１２で領域（ｋ，ｌ−１）のラベルを
Ｌとし、ｃｏｕｎｔを「１」だけインクリメントする。
ステップＳ５１１の判定結果がＮＯ又はステップＳ５１
２の後、ステップＳ５１３で領域（ｋ，ｌ＋１）で動き
が発生し、且つ、未ラベルであるか否かを判定する。ス
テップＳ５１３の判定結果がＹＥＳであると、ステップ
Ｓ５１４で領域（ｋ，ｌ＋１）のラベルをＬとし、ｃｏ
ｕｎｔを「１」だけインクリメントする。

【０２００】ステップＳ５１３の判定結果がＮＯ又はス
テップＳ５１４の後、ステップＳ５１５で領域（ｋ＋
１，ｌ−１）で動きが発生し、且つ、未ラベルであるか
否かを判定する。ステップＳ５１５の判定結果がＹＥＳ
であると、ステップＳ５１６で領域（ｋ＋１，ｌ−１）
のラベルをＬとし、ｃｏｕｎｔを「１」だけインクリメ
ントする。ステップＳ５１５の判定結果がＮＯ又はステ
ップＳ５１６の後、ステップＳ５１７で領域（ｋ＋１，
ｌ）で動きが発生し、且つ、未ラベルであるか否かを判
定する。ステップＳ５１７の判定結果がＹＥＳである
と、ステップＳ５１８で領域（ｋ＋１，ｌ）のラベルを
Ｌとし、ｃｏｕｎｔを「１」だけインクリメントする。

【０２０１】ステップＳ５１７の判定結果がＮＯ又はス
テップＳ５１８の後、ステップＳ５１９で領域（ｋ＋
１，ｌ＋１）で動きが発生し、且つ、未ラベルであるか
否かを判定する。ステップＳ５１９の判定結果がＹＥＳ
であると、ステップＳ５２０で領域（ｋ＋１，ｌ＋１）
のラベルをＬとし、ｃｏｕｎｔを「１」だけインクリメ
ントする。ステップＳ５１９の判定結果がＮＯ又はステ
ップＳ５２０の後、ステップＳ５２１でｌを「１」だけ
インクリメントし、ステップＳ５２２でｌがＮＵＭ＿Ｘ
と等しいか否かを判定する。ステップＳ５２２の判定結
果がＮＯの場合は処理がステップＳ５０４へ戻り、ＹＥ
Ｓの場合はステップＳ５２３でｌを「０」に設定すると
共にｋを「１」だけインクリメントする。又、ステップ
Ｓ５２４は、ｋがＮＵＭ＿Ｙと等しいか否かを判定し、
判定結果がＮＯであると処理がステップＳ５０４へ戻
る。ステップＳ５２４の判定結果がＹＥＳであると、ス
テップＳ５２５でｃｏｕｎｔが「０」であるか否かを判
定し、判定結果がＹＥＳであるとステップＳ５２６でＬ
を「１」だけインクリメントする。尚、ステップＳ５２
５の判定結果がＮＯの場合は、処理がステップＳ５０３
へ戻る。

【０２０２】ステップＳ５０２の判定結果がＮＯの場
合、又は、ステップＳ５２６の後、ステップＳ５２７は
ｊを「１」だけインクリメントし、ステップＳ５２８は
ｊがＮＵＭ＿Ｘと等しいか否かを判定する。ステップＳ
５２８の判定結果がＹＥＳであると、ステップＳ５２９
でｊを「０」に設定すると共にｉを「１」だけインクリ
メントする。ステップＳ５３０は、ｉがＮＵＭ＿Ｙと等
しいか否かを判定し、判定結果がＹＥＳであると処理は
終了する。他方、ステップＳ５２８又はステップＳ５３
０の判定結果がＮＯであると、処理はステップＳ５０２
へ戻る。

【０２０３】この様にして、入力画像のうち動きのある
各領域にラベルを自動的に付けることができる。図６８
は、第２１実施例の動作を説明するフローチャートであ
り、同図中、図５８と同一ステップには同一符号を付
し、その説明は省略する。本実施例では、便宜上カメラ
５０１が固定であり、この固定カメラ５０１の視野内の
複数の移動物体（侵入物体）を自動的に追跡するものと
する。従って、図５７に示すカメラ台制御器２０８及び
モータ等の移動手段を備えたカメラ台２０９は省略可能
である。固定カメラ５０１としては、広い視野を有する
広角レンズをカメラ等が適している。

【０２０４】図６８において、ステップＳ７１からステ
ップＳ７３までの処理が行われると、ステップＳ１１１
が制御計算機２１２により入力画像のうち動きの発生し
た各領域に対してラベリング処理を行い、個々の侵入物
体に分ける。このステップＳ１１１は、図６７に示す処
理に対応する。次に、ステップＳ１１２は制御計算機２
１２により動きの発生した領域の数がしきい値より大き
くなる物体があるか否かを判定し、判定結果がＮＯであ
るとステップＳ１１３が制御計算機２１２により出力切
換器２１１を切り換え制御し、処理がステップＳ７２へ
戻る。

【０２０５】他方、ステップＳ１１２の判定結果がＹＥ
Ｓであると、ステップＳ１１４は制御計算機２１２によ
りビデオレコーダ２０１による入力画像データの記録を
開始させると共に、警報装置２０５に警報を発生させ
る。ステップＳ１１５は、動きが発生した領域の数がし
きい値より大きい各侵入物体（又は移動物体）の追跡処
理用参照画像（テンプレート画像）の位置を夫々探索画
像アドレス及び参照画像アドレスの初期値として制御計
算機２１２内又は制御計算機２１２に接続されたメモリ
に記憶する。ステップＳ１１６は、制御計算機２１２に
より入力切換器２１０を切り換え制御し、ステップＳ１
１７は、探索画像メモリ５０３に入力画像データを格納
する。ステップＳ１１８は、制御計算機２１２によりｉ
を「０」に設定する。

【０２０６】ステップＳ１１９は、制御計算機２１２に
より侵入物体（ｉ）について格納されている探索画像ア
ドレス及び参照画像アドレスをアドレス発生器５０６Ｂ
に設定し、相関演算器５０５は相関演算を行う。又、ス
テップＳ１２０では、相関値ピーク位置検出器５０７が
侵入物体（ｉ）の移動量を求め、ステップＳ１２１で
は、制御計算機２１２が侵入物体（ｉ）の探索画像アド
レスに移動量を加算して探索画像アドレスを更新する。
ステップＳ１２２は、制御計算機２１２によりｉを
「１」だけインクリメントし、ステップＳ１２３は、ｉ
が侵入物体数より小さいか否かを判定する。ステップＳ
１２３の判定結果がＹＥＳの場合、処理はステップＳ１
１９へ戻り、ＮＯの場合は処理がステップＳ１１７へ戻
る。

【０２０７】本実施例によれば、固定カメラの視野内の
複数の侵入物体（移動物体）の夫々に対して追跡処理を
行うことができる。次に、本発明になる局所領域画像追
跡装置の第２２実施例を図６９と共に説明する。本実施
例では、局所領域画像追跡装置の構成は図５７に示した
構成と同様で良いので、その図示は省略する。図６９
は、第２２実施例の動作を説明するフローチャートであ
り、同図中、図６８と同一ステップには同一符号を付
し、その説明は省略する。本実施例では、便宜上カメラ
５０１が固定であり、この固定カメラ５０１の視野内の
複数の移動物体（侵入物体）を、参照画像を自動的に更
新しながら自動的に追跡するものとする。従って、図５
７に示すカメラ台制御器２０８及びモータ等の移動手段
を備えたカメラ台２０９は省略可能である。固定カメラ
５０１としては、広い視野を有する広角レンズをカメラ
等が適している。

【０２０８】図６９において、ステップＳ７１からステ
ップＳ１２２までの処理は、図６８の場合と同一であ
る。しかし、図６９では、ステップＳ１２３の判定結果
がＮＯであると、処理がステップＳ１２５へ進む。ステ
ップＳ１２５は、制御計算機２１２により、相関値のピ
ーク値がしきい値より大きい侵入物体があるか否かを判
定し、判定結果がＮＯであると処理はステップＳ１１７
へ戻る。他方、ステップＳ１２５の判定結果がＹＥＳで
あると、ステップＳ１２６は制御計算機２１２により各
侵入物体の参照画像アドレスを現在の探索画像アドレス
に更新する。又、ステップＳ１２７は、制御計算機２１
２により入力切換器２１０及び出力切換器２１１を切り
換え制御し、処理がステップＳ１１７へ戻る。

【０２０９】本実施例によれば、相関値が劣化した侵入
物体が１つでもある場合に、画面毎に参照画像を更新、
即ち、全ての侵入物体の参照画像を更新するので、各侵
入物体を確実に追跡することができる。次に、本発明に
なる局所領域画像追跡装置の第２３実施例を図７０と共
に説明する。本実施例では、局所領域画像追跡装置の構
成は図５７に示した構成と同様で良いので、その図示は
省略する。図７０は、第２３実施例の動作を説明するフ
ローチャートであり、同図中、図６８と同一ステップに
は同一符号を付し、その説明は省略する。本実施例で
は、カメラ５０１はカメラ台制御器２０８及びモータ等
の移動手段を備えたカメラ台２０９により移動可能であ
る。

【０２１０】図７０において、ステップＳ１１４の後、
ステップＳ１１５−１は、制御計算機２１２により、動
きの発生した領域数の最も大きい侵入物体に対して追跡
処理を行うための参照画像の位置を、探索画像アドレス
及び参照画像アドレスとしてアドレス発生器５０６Ｂに
設定する。ステップＳ１１６及びステップＳ１１７は、
図６８と同じである。ステップＳ１１７の後、ステップ
Ｓ１３１は、制御計算機２１２によりアドレス発生器５
０６Ｂを制御し、探索画像メモリ５０３及び参照画像メ
モリ２０７−１又は２０７−２から探索画像データ及び
参照画像データを読み出して相関演算器５０５により相
関演算を行う。ステップＳ１３２は、相関値ピーク位置
検出器５０７により侵入物体の移動量を求め、ステップ
Ｓ１３３は、制御計算機２１２により探索画像アドレス
に移動量を加算してアドレス発生器５０６Ｂに設定す
る。ステップＳ１３４は、制御計算機２１２により、移
動量に応じて侵入物体が画面の中央部分に位置するよう
にカメラ台２０９をカメラ台制御器２０８を介して制御
する移動指令を出力し、処理はステップＳ１１７へ戻
る。

【０２１１】本実施例によれば、検出された複数の侵入
物体のうち、最も大きなもの、即ち、動きが検出された
領域の総和が最も大きいものを自動的に選択してカメラ
台２０９を制御することにより自動的に追跡するので、
特に無人の監視システム等への適用に適している。

【０２１２】次に、本発明になる局所領域画像追跡装置
の第２４実施例を図７１と共に説明する。本実施例で
は、局所領域画像追跡装置の構成は図６３に示した構成
と同様で良いので、その図示は省略する。図７１は、第
２４実施例の動作を説明するフローチャートであり、同
図中、図６８と同一ステップには同一符号を付し、その
説明は省略する。本実施例では、２台のカメラ５０１，
５０１−１を用い、好ましくは視野の広いカメラ５０１
で複数の侵入物体を参照画像の更新を行いながら追跡す
ると共に、個々の侵入物体を順番にズームカメラ５０１
−１で撮像する。

【０２１３】図７０において、ステップＳ１１２の判定
結果がＹＥＳであると、ステップＳ１４１は制御計算機
２１２により動きの発生した領域の数がしきい値より大
きい各侵入物体（又は移動物体）の追跡処理用参照画像
（テンプレート画像）の位置を夫々探索画像アドレス及
び参照画像アドレスの初期値として制御計算機２１２内
又は制御計算機２１２に接続されたメモリに記憶する。
ステップＳ１４２は、制御計算機２１２により入力切換
器２１０を切り換え制御すると共に、ｊを「０」に設定
する。ステップＳ１４３は、探索画像メモリ５０３に入
力画像データを格納すると共に、ｉを「０」に設定す
る。

【０２１４】ステップＳ１４４は、制御計算機２１２に
より侵入物体（ｉ）について格納されている探索画像ア
ドレス及び参照画像アドレスをアドレス発生器５０６Ｂ
に設定し、相関演算器５０５は相関演算を行う。又、ス
テップＳ１４５では、相関値ピーク位置検出器５０７が
侵入物体（ｉ）の移動量を求め、ステップＳ１４６で
は、制御計算機２１２が侵入物体（ｉ）の探索画像アド
レスに移動量を加算して探索画像アドレスを更新する。
ステップＳ１４７は、制御計算機２１２によりｉを
「１」だけインクリメントし、ステップＳ１４８は、ｉ
が侵入物体数より小さいか否かを判定する。ステップＳ
１４８の判定結果がＹＥＳの場合、処理はステップＳ１
４４へ戻り、ＮＯの場合は処理がステップＳ１５０へ進
む。

【０２１５】ステップＳ１５０は、制御計算機２１２に
より各侵入物体の参照画像アドレスを現在の探索画像ア
ドレスに更新する。ステップＳ１５１は、制御計算機２
１２により入力切換器２１０及び出力切換器２１１の切
り換え制御を行い、ステップＳ１５２は、制御計算機２
１２により撮影（撮像）時間が終了したか否かを判定す
る。ステップＳ１５２の判定結果がＹＥＳであると、ス
テップＳ１５３は制御計算機２１２によりｊを「１」だ
けインクリメントし、ステップＳ１５４は、制御計算機
２１２によりｊが侵入物体数より小さいか否かを判定す
る。ステップＳ１５４の判定結果がＹＥＳであると、ス
テップＳ１５５は、制御計算機２１２により侵入物体
（ｉ）の方向へズームカメラ５０１−１が向くようにカ
メラ台２０９−１を制御する移動指令をカメラ台制御器
２０８−１を介して出力して撮像を開始する。ステップ
Ｓ１５２又はステップＳ１５４の判定結果がＮＯの場
合、或いは、ステップＳ１５５の後、処理はステップＳ
１４３へ戻る。

【０２１６】本実施例によれば、複数の侵入物体を参照
画像の更新を行いながら追跡すると共に、個々の侵入物
体を順番にズームカメラで撮像することができ、複数の
侵入物体に対する監視を良好に行うことができる。尚、
上記各実施例において、カメラ、カメラ台、Ａ／Ｄ変換
器、ビデオレコーダ及び警報装置を除く局所領域画像追
跡装置の部分は、例えば半導体装置又は半導体装置ユニ
ットとして容易にパッケージ化することができる。又、
カメラ台制御器はパッケージに含まず外付けの形態を取
っても良く、Ａ／Ｄ変換器はパッケージに含む構成とす
ることも可能である。

【０２１７】更に、上記第１５実施例〜第２４実施例
は、任意に組み合わせ可能であることは言うまでもな
い。以上、本発明を実施例により説明したが、本発明は
これらの実施例に限定されるものではなく、本発明の範
囲内で種々の改良及び変形が可能であることは言うまで
もない。

【０２１８】

【発明の効果】請求項１記載の局所領域画像追跡装置に
よれば、複数の相関追跡処理装置を並列に動作させるこ
とにより、高速で追跡処理を行える。請求項２記載の局
所領域画像追跡装置によれば、複数の相関追跡処理装置
を並列に動作させることにより、高速で追跡処理を行え
ると共に、追跡処理中の任意の時点で相関演算に用いる
参照画像データを更新することができる。又、アドレス
発生手段を設けることで、１つの相関演算手段で１フレ
ーム間に複数回の相関演算を実行できる。更に、参照画
像メモリ内の複数の参照画像データについての相関演算
や、同一の参照画像データに対して探索画像メモリ内の
複数の領域で相関演算を行うことで探索範囲を見かけ上
広げることもできる。つまり、１フレーム間に複数回繰
り返して追跡処理を行うことができる。

【０２１９】請求項３記載の局所領域画像追跡装置によ
れば、追跡処理中の任意の時点で相関演算に用いる参照
画像データを更新することができる。請求項４記載の局
所領域画像追跡装置によれば、複数の参照画像データを
画像メモリに格納することができる。

【０２２０】請求項５記載の局所領域画像追跡装置によ
れば、現存のＬＳＩ化された相関演算手段等を用いるこ
とができ、好都合である。請求項６記載の局所領域画像
追跡装置によれば、探索画像データ及び参照画像データ
の読み出しと相関演算とを並列に行えるので、追跡処理
のより高速化が可能である。 請求項７記載の局所領域
画像追跡装置によれば、制御計算機により複数の相関追
跡処理装置を一括して制御して各種追跡処理管理するこ
とができる。

【０２２１】請求項８記載の局所領域画像追跡装置によ
れば、制御計算機は制御計算機インタフェースを介して
各種制御を行うことができると共に、制御計算機インタ
フェースを介して各種情報を相関追跡処理装置から読み
出すことができる。請求項９記載の局所領域画像追跡装
置によれば、制御計算機から参照画像データの更新を任
意の時点で行える。

【０２２２】請求項１０記載の局所領域画像追跡装置に
よれば、制御計算機から探索画像内の局所領域を任意の
時点で指示することができるので、１フレーム間に複数
の参照画像データについて複数回の相関演算を行う場合
にも好都合である。請求項１１記載の局所領域画像追跡
装置によれば、制御計算機から任意の時点で各相関追跡
処理装置でえられた相関値やピーク位置等の情報を読み
出すことができる。

【０２２３】請求項１２記載の局所領域画像追跡装置に
よれば、探索画像データ及び参照画像データの読み出し
と相関演算とを並列に行えるので、追跡処理のより高速
化が可能である。請求項１３記載の局所領域画像追跡装
置によれば、制御計算機インタフェースは制御計算機か
らの指示を順次格納するので、各相関追跡処理装置では
格納された複数の指示に従って複数の追跡処理を一括し
て制御計算機の介在なしに行える。

【０２２４】請求項１４記載の局所領域画像追跡装置に
よれば、制御計算機から任意の時点で各相関追跡処理装
置でえられた相関値やピーク位置等の情報を読み出すこ
とができる。請求項１５記載の局所領域画像追跡装置に
よれば、複数回の追跡処理の夫々で得られる相関値分布
を順次加算することができる。

【０２２５】請求項１６記載の局所領域画像追跡装置に
よれば、制御計算機にから、複数回の追跡処理の夫々で
得られる相関値分布を順次加算するか否かを制御するこ
とができる。請求項１７記載の局所領域画像追跡装置に
よれば、任意倍の参照画像について追跡処理を行うこと
ができる。

【０２２６】請求項１８記載の局所領域画像追跡装置に
よれば、相関追跡処理装置としては例えば現存のものを
用いて、入力側で必要ばビット数変換を行うことができ
る。請求項１９記載の局所領域画像追跡装置によれば、
簡単な手段で疑似カラー画像データを各相関追跡処理装
置に入力することができる。

【０２２７】請求項２０記載の局所領域画像追跡装置に
よれば、追跡処理の信頼性を向上することができる。請
求項２１記載の局所領域画像追跡装置によれば、参照画
像データの履歴に基づいて参照画像データを更新するこ
とができる。

【０２２８】請求項２２記載の局所領域画像追跡装置に
よれば、参照画像データを、入力画像データとの相関度
の高いものに更新することができる。請求項２３記載の
局所領域画像追跡装置によれば、入力画像データとの相
関度が低くなると、参照画像データを最新の参照画像デ
ータに更新することができる。

【０２２９】請求項２４記載の局所領域画像追跡装置に
よれば、入力画像データとの相関度が低くなると、参照
画像データを、入力画像データとの相関度の高いものに
更新することができる。請求項２５記載の発明によれ
ば、撮像手段で撮像された入力画像中の移動物体を自動
的に検知して追跡処理を行うことができるので、監視シ
ステムや防犯システム等を自動化することができる。

【０２３０】請求項２６記載の発明によれば、比較的簡
単な構成を用いて移動物体を検知することができる。請
求項２７記載の発明によれば、物体の動きを検知するた
めの専用の部分を設けることなく、相関演算手段を用い
て移動物体を検知可能である。

【０２３１】請求項２８記載の発明によれば、たとえ移
動物体の見え方が変化しても、参照画像データを順次更
新することにより良好に移動物体を追跡することができ
る。請求項２９記載の発明によれば、移動物体を追跡し
てそのズームアップされた画像を捉えることができるの
で、特に防犯システム等に好適である。

【０２３２】請求項３０記載の発明によれば、ビデオレ
コーダを接続することにより、監視するべき領域の要所
要所を自動的に記録しておくことができる。請求項３１
記載の発明によれば、複数の移動物体のうち最も大きな
移動物体を自動的に追跡することができる。

【０２３３】請求項３２記載の発明によれば、移動物体
の追跡とそのズームアップ撮像とを２つの撮像装置に分
担させているので、より正確な追跡処理及び移動物体の
撮像を行うことができる。請求項３３記載の発明によれ
ば、複数の移動物体を追跡しながら各移動物体のズーム
アップ撮像を同時に行うことができる。

【０２３４】請求項３４記載の発明によれば、単一の、
且つ、固定の撮像装置を用いても、複数の移動物体を良
好に追跡して撮像することが可能である。請求項３５記
載の発明によれば、比較的簡単な構成を用いて移動物体
を検知することができる。

【０２３５】請求項３６記載の発明によれば、物体の動
きを検知するための専用の部分を設けることなく、相関
演算手段を用いて移動物体を検知可能である。請求項３
７記載の発明によれば、たとえ移動物体の見え方が変化
しても、参照画像データを順次更新することにより良好
に移動物体を追跡することができる。

【０２３６】請求項３８記載の発明によれば、ビデオレ
コーダを接続することにより、監視するべき領域の要所
要所を自動的に記録しておくことができる。従って、本
発明によれば、高速で追跡処理を行え、追跡処理中の任
意の時点で相関演算に用いる参照画像データを更新する
ことができると共に、追跡処理の信頼性を向上すること
ができ、実用的には極めて有用である。

【図面の簡単な説明】

【図１】本発明になる局所領域画像追跡装置の第１実施
例の概略構成を示すブロック図である。

【図２】ピクセルクロックと画像データとの関係を示す
図である。

【図３】第１実施例における相関追跡処理装置の構成を
示すブロック図である。

【図４】８画素×８画素の参照画像を示す図である。

【図５】１６画素×１６画素の探索画像を示す図であ
る。

【図６】探索画像内の参照画像と同じ大きさの部分領域
画像を説明する図である。

【図７】参照画像の一例を示す図である。

【図８】探索画像の一例を示す図である。

【図９】図７の参照画像及び図８の探索画像に対して相
関演算を行った結果を示す図である。

【図１０】第２実施例における相関追跡処理装置の構成
を示すブロック図である。

【図１１】メモリ選択器の一実施例を示すブロック図で
ある。

【図１２】ＲＯＭに供給される５ビットのアドレス信号
を示す図である。

【図１３】ＲＯＭに供給される５ビットのアドレス信号
の値とＲＯＭから読み出される選択データの値との関係
を示す図である。

【図１４】探索画像アドレス発生器の一実施例を示すブ
ロック図である。

【図１５】参照画像アドレス発生器の一実施例を示すブ
ロック図である。

【図１６】本発明の第２実施例における画像メモリの切
り換えを説明する図である。

【図１７】本発明の第３実施例における相関追跡処理装
置の構成を示すブロック図である。

【図１８】図１７のメモリ選択器の一実施例を示すブロ
ック図である。

【図１９】図１８のＲＯＭに供給される３ｎ＋１ビット
のアドレス信号を示す図である。

【図２０】図１８のＲＯＭに供給される３ｎ＋１ビット
のアドレス信号の値とＲＯＭから読み出される選択デー
タの値との関係を示す図である。

【図２１】第３実施例における画像メモリの切り換えを
説明する図である。

【図２２】本発明の第４実施例における相関追跡処理装
置の構成を示すブロック図である。

【図２３】本発明になる局所領域画像追跡装置の第５実
施例の概略構成を示すブロック図である。

【図２４】第４実施例における相関追跡処理装置の構成
を示すブロック図である。

【図２５】メモリ選択器の一実施例を制御計算機Ｉ／Ｆ
の一部と共に示すブロック図である。

【図２６】フレーム同期信号と更新指示フラグとの関係
を説明する図である。

【図２７】本発明の第６実施例における相関追跡処理装
置の構成を示すブロック図である。

【図２８】参照画像アドレス発生器、探索画像アドレス
発生器及び制御計算機Ｉ／Ｆの要部を示すブロック図で
ある。

【図２９】本発明の第７実施例における相関追跡処理装
置の構成を示すブロック図である。

【図３０】図２９の制御計算機Ｉ／Ｆの第１実施例の要
部を示すブロック図である。

【図３１】２５６個の相関値のデュアルポートメモリへ
の格納を示す図である。

【図３２】図２９の制御計算機Ｉ／Ｆの第２実施例の要
部を示すブロック図である。

【図３３】クリアされたデュアルポートメモリへの２５
６個の相関値の格納を示す図である。

【図３４】図３３の状態以降での２５６個の相関値のデ
ュアルポートメモリへの格納を示す図である。

【図３５】図２９の制御計算機Ｉ／Ｆの第３実施例の要
部を示すブロック図である。

【図３６】本発明の第８実施例における相関追跡処理装
置の構成の要部を制御計算機と共に示すブロック図であ
る。

【図３７】本発明の第９実施例における相関追跡処理装
置の構成の要部を制御計算機と共に示すブロック図であ
る。

【図３８】本発明の第１０実施例における動作を説明す
るフローチャートである。

【図３９】第１０実施例の動作を説明するための図であ
る。

【図４０】第１０実施例の動作を説明するための図であ
る。

【図４１】第１０実施例の動作を説明するための図であ
る。

【図４２】本発明の第１１実施例の要部を示すブロック
図である。

【図４３】考えられる局所領域画像追跡装置を示すブロ
ック図である。

【図４４】本発明になる局所領域画像追跡装置の第１２
実施例の構成を示すブロック図である。

【図４５】画像メモリ管理部がＣＰＵで構成されている
場合のＣＰＵの動作を示すフローチャートである。

【図４６】画像メモリの番号の配列を説明する図であ
る。

【図４７】画像メモリの番号の配列の初期状態を示す図
である。

【図４８】メモリテーブルを説明する図である。

【図４９】本発明になる局所領域画像追跡装置の第１３
実施例の構成を示すブロック図である。

【図５０】画像メモリ管理部がＣＰＵで構成されている
場合のＣＰＵの動作を示すフローチャートである。

【図５１】本発明になる局所領域画像追跡装置の第１４
実施例の構成を示すブロック図である。

【図５２】画像メモリ管理部がＣＰＵで構成されている
場合のＣＰＵの動作を示すフローチャートである。

【図５３】本発明になる局所領域画像追跡装置の第１５
実施例の構成を示すブロック図である。

【図５４】第１５実施例の動作を説明する図である。

【図５５】第１５実施例の動作を説明するフローチャー
トである。

【図５６】カメラ台の制御を説明する図である。

【図５７】本発明になる局所領域画像追跡装置の第１６
実施例の構成を示すブロック図である。

【図５８】第１６実施例の動作を説明するフローチャー
トである。

【図５９】第１６実施例の動作を説明する図である。

【図６０】本発明になる局所領域画像追跡装置の第１７
実施例の動作を説明するフローチャートである。

【図６１】本発明になる局所領域画像追跡装置の第１８
実施例の構成を示すブロック図である。

【図６２】第１８実施例の動作を説明するフローチャー
トである。

【図６３】本発明になる局所領域画像追跡装置の第１９
実施例の構成を示すブロック図である。

【図６４】第１９実施例の動作を説明するフローチャー
トである。

【図６５】本発明になる局所領域画像追跡装置の第２０
実施例の動作を説明するフローチャートである。

【図６６】複数の侵入物体を追跡する際のラベリング処
理を説明する図である。

【図６７】ラベリング処理を説明するフローチャートで
ある。

【図６８】本発明になる局所領域画像追跡装置の第２１
実施例の動作を説明するフローチャートである。

【図６９】本発明になる局所領域画像追跡装置の第２２
実施例の動作を説明するフローチャートである。

【図７０】本発明になる局所領域画像追跡装置の第２３
実施例の動作を説明するフローチャートである。

【図７１】本発明になる局所領域画像追跡装置の第２４
実施例の動作を説明するフローチャートである。

【図７２】従来の局所領域画像追跡装置の一例の要部を
示すブロック図である。

【符号の説明】

１ 撮像装置 ２ 画像入力装置 ３ 画像データバス ４−１〜４−Ｍ 相関追跡処理装置 ５ 画像入力制御部 ６ 探索画像メモリ ７ 参照画像メモリ ８ 相関演算器 １１，１７，１８ セレクタ １２−１〜１２−Ｎ 画像メモリ １５，１６ アドレスセレクタ １９，１９Ａ，１９Ｂ メモリ選択器 ２０，２０Ｂ 参照画像アドレス発生器 ２１，２１Ｂ 探索画像アドレス発生器 ２２ 相関演算器 ２３ ピーク位置検出器 ３１，４１，４３，４７，４９，５６，５８，６２，６
４，９０ 定数ＲＯＭ３２，４５，５１，６０，６
６ コンパレータ ３３ フレームカウンタ ３４，７６，８８ ラッチ回路 ３５ インバータ ３６ フリップフロップ ３７ ＲＯＭ ４２，４６，４８，５２，６１，６７，８７ 加算
器 ４４，５９ Ｘアドレスカウンタ ５０，６５ Ｙアドレスカウンタ ５７，６３，８９ セレクタ ６８，６９，８１，８４，９５，９６，９８，９９
ＦＩＦＯ ７０ 制御計算機 ７１ 制御計算機バス ７４，７４Ｂ，７４Ｃ，７４Ｄ，７４Ｅ 制御計算
機Ｉ／Ｆ ７７，９１ 制御レジスタ ５６Ｂ，６２Ｂ，４１Ｂ，４７Ｂ，８５ レジスタ ８２ アドレス発生カウンタ ８３ デュアルポートメモリ １００ メモリ １１１ 入力選択器 １１２ 出力選択器 １１３−１〜１１３−Ｎ 画像メモリ １１５ 相関度比較器 １１６ 画像メモリ管理部 １１７ 相関度評価器 １１８ モード切換器 ５０１ 撮像装置 ５０２ Ａ／Ｄ変換器 ５０３ 探索画像メモリ ５０５ 相関演算器 ５０７ 相関値ピーク位置検出器

Claims (38)

【特許請求の範囲】
1. 【請求項１】 撮像手段により撮像された入力画像デー
   タのうち、追跡処理を施すべき探索画像データを任意の
   局所領域に関する参照画像データと比較して、該探索画
   像データで表される探索画像内の該任意の局所領域を連
   続的に追跡する局所領域画像追跡装置において、 該撮像手段からの入力画像データを転送する画像データ
   バスと、 該画像データバスに並列に接続されており、各々少なく
   とも１つの探索画像に対する追跡処理を独立して行える
   複数の相関追跡処理装置とを有し、 １又は複数の探索画像に対する追跡処理を該複数の相関
   追跡処理装置で分散して行う、局所領域画像追跡装置。
2. 【請求項２】 各相関追跡処理装置は、 少なくとも３以上の画像メモリと、 該画像メモリを入力画像データを格納する入力画像メモ
   リと、探索画像データを格納する探索画像メモリと、参
   照画像データを格納する参照画像メモリとに選択的に切
   り換えるセレクタ手段と、 該参照画像メモリ及び該探索画像メモリから参照画像デ
   ータ及び探索画像データを読み出すためのアドレスを発
   生するアドレス発生手段と、 該参照画像メモリに格納された参照画像データと該探索
   画像メモリに格納された探索画像データとの間の相関性
   を表す相関値を相関演算処理により算出する相関演算手
   段と、 該相関演算手段からの相関値のピーク位置を求めるピー
   ク位置検出手段とを有する、請求項１記載の局所領域画
   像追跡装置。
3. 【請求項３】 前記セレクタ手段は、入力画像データの
   該画像メモリへの格納順序を固定的に制御することによ
   り、入力画像データの各フレーム毎の追跡処理、各フレ
   ーム毎の探索画像データの該画像メモリへの格納及び任
   意のフレーム間隔での参照画像データの更新を行う、請
   求項２記載の局所領域画像追跡装置。
4. 【請求項４】 前記画像メモリは４以上設けられてお
   り、前記セレクタ手段は、入力画像データの該画像メモ
   リへの格納順序を固定的に制御することにより、入力画
   像データの各フレーム毎の追跡処理、各フレーム毎の探
   索画像データの該画像メモリへの格納、複数の参照画像
   データの複数の画像メモリへの格納及び任意のフレーム
   間隔での参照画像データの更新を行う、請求項２記載の
   局所領域画像追跡装置。
5. 【請求項５】 前記相関演算手段は、１６画素×１６画
   素の参照画像について、これより大きい探索画像内の複
   数の部分領域画像と相関演算を行って相関値を求める、
   請求項２〜４のうちいずれか１項記載の局所領域画像追
   跡装置。
6. 【請求項６】 前記画像メモリから読み出された探索画
   像データ及び参照画像データを一時的に順次格納するフ
   ァースト・イン・ファースト・アウト（ＦＩＦＯ）手段
   を更に有し、前記相関演算手段は該ファースト・イン・
   ファースト・アウト（ＦＩＦＯ）手段から読み出された
   探索画像データ及び参照画像データに基づいて相関演算
   を行うことにより、探索画像データ及び参照画像データ
   の読み出しと相関演算とを並列に行う、請求項１〜５の
   うちいずれか１項記載の局所領域画像追跡装置。
7. 【請求項７】 制御計算機と、 該制御計算機と接続された制御計算機バスとを更に有
   し、 前記複数の相関追跡処理装置は、夫々該制御計算機バス
   に並列に接続されており、 該制御計算機は、該制御計算機バスを介して各相関追跡
   処理装置での参照画像データの更新に関する制御、前記
   画像メモリの選択や切り換えに関する制御等を行う、請
   求項１記載の局所領域画像追跡装置。
8. 【請求項８】 各相関追跡処理装置は、 少なくとも３以上の画像メモリと、 該画像メモリを入力画像データを格納する入力画像メモ
   リと、探索画像データを格納する探索画像メモリと、参
   照画像データを格納する参照画像メモリとに選択的に切
   り換えるセレクタ手段と、 該参照画像メモリに格納された参照画像データと該探索
   画像メモリに格納された探索画像データとの間の相関性
   を表す相関値を相関演算処理により算出する相関演算手
   段と、 該相関演算手段からの相関値のピーク位置を求めるピー
   ク位置検出手段と、 少なくとも該セレクタ手段及び前記制御計算機バスに接
   続されており、各相関追跡処理装置と前記制御計算機と
   の間のインタフェースを司る制御計算機インタフェース
   とを有する、請求項７記載の局所領域画像追跡装置。
9. 【請求項９】 前記制御計算機は、前記制御計算機バス
   を介して前記制御計算機インタフェースに対して参照画
   像データの更新を任意の時点で指示する、請求項８記載
   の局所領域画像追跡装置。
10. 【請求項１０】 前記制御計算機は、前記制御計算機バ
    スを介して前記制御計算機インタフェースに対して前記
    探索画像メモリ及び前記参照画像メモリから切り出す局
    所領域を任意の時点で指示する、請求項８記載の局所領
    域画像追跡装置。
11. 【請求項１１】 前記制御計算機インタフェースは、前
    記相関演算手段からの相関値及び前記ピーク位置検出手
    段からのピーク位置のうち少なくとも一方を格納する格
    納手段を有し、前記制御計算機は前記制御計算機バスを
    介して任意の時点で該格納手段に格納された情報を読み
    出す、請求項８記載の局所領域画像追跡装置。
12. 【請求項１２】 前記画像メモリから読み出された探索
    画像データ及び参照画像データを一時的に順次格納する
    ファースト・イン・ファースト・アウト（ＦＩＦＯ）手
    段を更に有し、前記相関演算手段は該ファースト・イン
    ・ファースト・アウト（ＦＩＦＯ）手段から読み出され
    た探索画像データ及び参照画像データに基づいて相関演
    算を行うことにより、探索画像データ及び参照画像デー
    タの読み出しと相関演算とを並列に行う、請求項７〜１
    １のうちいずれか１項記載の局所領域画像追跡装置。
13. 【請求項１３】 前記制御計算機インタフェースは、前
    記制御計算機からの指示を順次格納する第１のファース
    ト・イン・ファースト・アウト（ＦＩＦＯ）手段を有
    し、各相関追跡処理装置は該第１のファースト・イン・
    ファースト・アウト（ＦＩＦＯ）手段に格納された複数
    の指示に従って複数の追跡処理を一括して該制御計算機
    の介在なしに行う、請求項８〜１２のうちいずれか１項
    記載の局所領域画像追跡装置。
14. 【請求項１４】 前記制御計算機インタフェースは、前
    記相関演算手段からの相関値及び前記ピーク位置検出手
    段からのピーク位置のうち少なくとも一方を順次格納す
    る第２のファースト・イン・ファースト・アウト（ＦＩ
    ＦＯ）手段を有し、該制御計算機は任意の時点で該第２
    のファースト・イン・ファースト・アウト（ＦＩＦＯ）
    手段に格納された情報を読み出す、請求項１３記載の局
    所領域画像追跡装置。
15. 【請求項１５】 前記制御計算機インタフェースは、追
    跡処理で前記相関演算手段から得られる相関値の相関値
    分布を格納する格納手段と、複数回の追跡処理の各々で
    得られる相関値分布を順次加算する加算手段とを有す
    る、請求項８記載の局所領域画像追跡装置。
16. 【請求項１６】 前記制御計算機インタフェースは、前
    記加算手段により複数回の追跡処理の各々で得られる相
    関値分布を順次加算するか否かを前記制御計算機からの
    指示により制御される、請求項１５記載の局所領域画像
    追跡装置。
17. 【請求項１７】 前記制御計算機は、固定サイズの隣接
    する参照画像に対する追跡処理結果である相関値分布を
    全て加算し、そのピーク位置を求めることにより、任意
    倍の参照画像について追跡処理を行うように前記制御計
    算機インタフェースを制御する、請求項８記載の局所領
    域画像追跡装置。
18. 【請求項１８】 前記撮像手段からの入力画像データの
    ビット数を、前記相関演算手段の処理ビット数に合うよ
    うに変換する変換手段を更に有する、請求項１〜１７の
    うちいずれか１項記載の局所領域画像追跡装置。
19. 【請求項１９】 前記変換手段は、ｍ＞ｎとするとｍビ
    ットのカラー画像データをｎビットの疑似カラー画像デ
    ータに変換する、請求項１８記載の局所領域画像追跡装
    置。
20. 【請求項２０】 撮像手段により撮像された入力画像デ
    ータのうち、追跡処理を施すべき探索画像データを任意
    の局所領域に関する参照画像データと比較して、該探索
    画像データで表される探索画像内の該任意の局所領域を
    連続的に追跡する局所領域画像追跡装置において、 少なくとも３以上の画像メモリと、 該画像メモリを入力画像データを格納する入力画像メモ
    リと、探索画像データを格納する探索画像メモリと、参
    照画像データを格納する参照画像メモリとに選択的に切
    り換えるセレクタ手段と、 該参照画像メモリに格納された参照画像データと該探索
    画像メモリに格納された探索画像データとの間の相関性
    を表す相関値を相関演算処理により算出する相関演算手
    段と、 該相関演算手段からの相関値のピーク位置を求めるピー
    ク位置検出手段と、 該ピーク位置検出手段からのピーク位置に基づいて該セ
    レクタ手段を制御して参照画像データの履歴を順次該画
    像メモリに格納することにより、参照画像データを格納
    された該探索画像メモリ内の相関値のピーク位置の履歴
    に基づいて更新する画像メモリ管理手段とを有する、局
    所領域画像追跡装置。
21. 【請求項２１】 前記ピーク位置検出手段からのピーク
    位置に基づいて、追跡処理により相関度が最大となる参
    照画像データを格納している画像メモリを前記画像メモ
    リ管理手段を介して参照画像メモリに設定することによ
    り参照画像データを更新する相関度比較手段を更に有す
    る、請求項２０記載の局所領域画像追跡装置。
22. 【請求項２２】 前記ピーク位置検出手段からのピーク
    位置に基づいて、追跡処理により参照画像メモリに格納
    されている参照画像データによる相関度を評価して、相
    関度に応じて参照画像データを更新する相関度評価手段
    を更に有する、請求項２０記載の局所領域画像追跡装
    置。
23. 【請求項２３】 前記相関度評価手段は、追跡処理にお
    いて相関度が所定のしきい値以下となった場合にのみ参
    照画像データを最新の参照画像データに更新する、請求
    項２２記載の局所領域画像追跡装置。
24. 【請求項２４】 前記相関度評価手段が追跡処理におい
    て相関度が所定のしきい値以下となったことを検知した
    場合にのみ、前記ピーク位置検出手段からのピーク位置
    に基づいて、追跡処理により相関度が最大となる参照画
    像データを格納している画像メモリを前記画像メモリ管
    理手段を介して参照画像メモリに設定することにより参
    照画像データを更新する相関度比較手段を更に有する、
    請求項２０記載の局所領域画像追跡装置。
25. 【請求項２５】 移動手段に支持された撮像手段により
    撮像された入力画像データのうち、追跡処理を施すべき
    探索画像データを任意の局所領域に関する参照画像デー
    タと比較して、該探索画像データで表される探索画像内
    の該任意の局所領域を連続的に追跡する局所領域画像追
    跡装置において、 少なくとも該探索画像データ及び該参照画像データを格
    納するメモリ手段と、 該参照画像データを前記入力画像データから自動的に生
    成する参照画像データ生成手段と、 該メモリ手段から該探索画像データ及び該参照画像デー
    タを読み出すためのアドレスを発生するアドレス発生手
    段と、 該メモリ手段から読み出された該探索画像データと該参
    照画像データとの間の相関性を相関演算処理により算出
    する相関演算手段と、 該相関演算手段からの相関値のピーク位置に基づいて、
    該移動手段が該撮像手段を該任意の局所領域を追跡する
    ように移動させる移動指令を出力する制御手段とを備え
    た、局所領域画像追跡装置。
26. 【請求項２６】 前記メモリ手段は前記入力画像データ
    を格納し、前記参照画像データ生成手段は、予め設定さ
    れた背景画像データと該入力画像データとを比較して、
    比較された画像データの不一致の度合いに基づいて該参
    照画像データを生成する、請求項２５記載の局所領域画
    像追跡装置。
27. 【請求項２７】 前記参照画像データ生成手段は、所定
    時間間隔をおいた前記入力画像データを夫々複数の領域
    に分割し、前記相関演算手段により各分割領域について
    相関演算を行わせることにより動きが発生した領域を求
    め、該動きが発生した領域の数が所定数を越えたか否か
    に基づいて前記参照画像データを生成する、請求項２５
    記載の局所領域画像追跡装置。
28. 【請求項２８】 前記制御手段は、前記相関値のピーク
    値が所定値を越えると前記探索画像データのアドレスを
    前記参照画像データのアドレスとして前記アドレス発生
    手段に設定し、該参照画像データの更新を行う、請求項
    ２５〜２７のうちいずれか１項記載の局所領域画像追跡
    装置。
29. 【請求項２９】 前記撮像手段はズーム手段を有し、前
    記制御手段は前記任意の局所領域が徐々に予め設定され
    たズーム設定値で撮像されるように該ズーム手段のズー
    ム値を制御する、請求項２５〜２８のうちいずれか１項
    記載の局所領域画像追跡装置。
30. 【請求項３０】 前記制御手段は、前記任意の局所領域
    の動き及びズーム値に基づいて警報又は入力画像データ
    の記録開始を示す信号を出力する、請求項２９記載の局
    所領域画像追跡装置。
31. 【請求項３１】 前記制御手段は、複数の局所領域に識
    別用のラベルを付ける手段と、該ラベルを付けられた複
    数の局所領域のうち最も大きな局所領域に対して追跡処
    理を行わせる手段とを含む、請求項２５〜３０のうちい
    ずれか１項記載の局所領域画像追跡装置。
32. 【請求項３２】 前記撮像手段は、夫々が前記移動手段
    により移動可能に支持された第１の撮像装置及びズーム
    手段を有する第２の撮像装置を含み、前記制御手段は前
    記任意の局所領域の追跡を該第１の撮像装置に行わせる
    と共に、ズーム比に応じて該第２の撮像装置の方向を制
    御する移動指令を出力する、請求項２５〜２８のうちい
    ずれか１項記載の局所領域画像追跡装置。
33. 【請求項３３】 前記制御手段は、複数の局所領域に識
    別用のラベルを付ける手段と、該ラベルを付けられた複
    数の局所領域の追跡を前記第１の撮像装置に行わせると
    共に各々の局所領域を順番に前記第２の撮像装置でズー
    ムアップして撮像させる手段とを含む、請求項３２記載
    の局所領域画像追跡装置。
34. 【請求項３４】 撮像手段により撮像された入力画像デ
    ータのうち、追跡処理を施すべき探索画像データを任意
    の局所領域に関する参照画像データと比較して、該探索
    画像データで表される探索画像内の該任意の局所領域を
    連続的に追跡する局所領域画像追跡装置において、 少なくとも該探索画像データ及び該参照画像データを格
    納するメモリ手段と、 複数の局所領域に関する参照画像データを前記入力画像
    データから自動的に生成する参照画像データ生成手段
    と、 該複数の局所領域に識別用のラベルを付けるラベリング
    手段と、 該メモリ手段から該探索画像データ及び該参照画像デー
    タを読み出すためのアドレスを発生するアドレス発生手
    段と、 該ラベルを付けられた複数の局所領域の各々に対して該
    メモリ手段から読み出された該探索画像データと該参照
    画像データとの間の相関性を相関演算処理により算出す
    る相関演算手段と、 該相関演算手段からの相関値のピーク位置に基づいて該
    複数の局所領域を追跡する制御手段とを備えた、局所領
    域画像追跡装置。
35. 【請求項３５】 前記メモリ手段は前記入力画像データ
    を格納し、前記参照画像データ生成手段は、予め設定さ
    れた背景画像データと該入力画像データとを比較して、
    比較された画像データの不一致の度合いに基づいて該参
    照画像データを生成する、請求項３４記載の局所領域画
    像追跡装置。
36. 【請求項３６】 前記参照画像データ生成手段は、所定
    時間間隔をおいた前記入力画像データを夫々複数の領域
    に分割し、前記相関演算手段により各分割領域について
    相関演算を行わせることにより動きが発生した領域を求
    め、該動きが発生した領域の数が所定数を越えたか否か
    に基づいて前記参照画像データを生成する、請求項３４
    記載の局所領域画像追跡装置。
37. 【請求項３７】 前記制御手段は、前記相関値のピーク
    値が所定値を越えると前記探索画像データのアドレスを
    前記参照画像データのアドレスとして前記アドレス発生
    手段に設定し、各局所領域に関する参照画像データの更
    新を行う、請求項３４〜３６のうちいずれか１項記載の
    局所領域画像追跡装置。
38. 【請求項３８】 前記制御手段は、前記複数の局所領域
    の動きに基づいて警報又は入力画像データの記録開始を
    示す信号を出力する、請求項３４〜３７のうちいずれか
    １項記載の局所領域画像追跡装置。