JP3481430B2

JP3481430B2 - 移動体追跡装置

Info

Publication number: JP3481430B2
Application number: JP24732597A
Authority: JP
Inventors: 潤脇谷
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-09-11
Filing date: 1997-09-11
Publication date: 2003-12-22
Anticipated expiration: 2017-09-11
Also published as: DE69828346D1; US6031568A; EP0902396B1; JPH1186004A; EP0902396A2; DE69828346T2; EP0902396A3

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、１つ以上の移動体
を含むシーンが撮影されてなる、順次連続する複数のフ
レームからなる原画像を入力し、その原画像中に映し出
された被追跡用移動体を追跡する移動体追跡装置にに関
する。

【０００２】

【従来の技術】例えば広いフィールドでサッカーゲーム
を行っている様子を撮影して得た動画像上で、そのサッ
カーゲームを行っている複数の選手の中から指定された
特定の選手をリタルタイムで追跡することができるよう
な装置の出現が望まれている。従来より、例えば上記の
選手などのような被追跡用移動体（ターゲット）を追跡
した結果を動画像中に表示する装置は既に何種類か存在
している。しかし、それらの装置は、撮影済の動画像を
ソフトウェアでオフラインで処理する装置であり、処理
時間が非常に長く、動画像を撮影しその場で特定の選手
を追跡するというリアルタイム性が要求される場合には
全く役に立たないものである。また、上記のようなサッ
カーゲームにおける特定の選手を追跡するような場面に
おいては、その選手は、走ったり止まったり、あるいは
向きを変えたり、さらには転倒したりなど、撮影された
画像上で大きく変形するため、従来の装置では、オフラ
イン処理であっても、その目標とする選手の追跡が直ぐ
に不能となり、自動追跡不能の区間をオペレータがマニ
ュアルでつなぐ必要があり、十分な自動化が実現できて
いないという問題もある。

【０００３】近年、リアルタイム性を重視する移動体追
跡手法として、相関演算に基づくテンプレートマッチン
グによる手法が開発されてきている。この手法では、画
像上の、追跡のための探索領域を局所領域に限定するこ
とで計算量を減らし、また計算原理上、処理の並列化が
可能であるため、リアルタイム処理を可能としている。
しかしながら、この手法は、テンプレートをあらかじめ
作成しておき、そのあらかじめ作成されたテンプレート
との相関演算を行なうだけのものであるため、上記のサ
ッカゲームの選手のように画像上大きく変形するような
ターゲットに対してはそのターゲットをすぐに見失って
しまうという弱点があり、リアルタイム性は向上してい
るものの追跡性能の面で満足できるものではない。

【０００４】また、追跡のための情報として何を採用す
るかという点に関しては、色情報を用いて動きベクトル
を求めるのがよいという提案（特開平８−１３０６７５
号公報参照）、通常の観察に供するような画像ではな
く、その画像を空間的に微分した微分画像を用いて相関
演算を行なうのがよいという提案（特開昭６０−２０９
１０４号公報参照）、追跡しているターゲットの過去の
動きの情報から次の動きを予測するのがよいという提案
（特開昭６０−１９５６８２号公報参照）等、従来より
種々の提案がなされているが、何れの提案もリアルタイ
ム性と、実用上十分な追跡性能とを両立させるという要
求を満足するものではない。

【０００５】

【発明が解決しようとする課題】本発明は、上記事情に
鑑み、リアルタイム性と追跡性能の向上が図られた移動
体追跡装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成する本発
明の移動体追跡装置は、１つ以上の移動体を含むシーン
が撮影されてなる、順次連続する複数のフレームからな
る原画像を入力し、その原画像に映し出された移動体の
中から選択された被追跡用移動体を追跡する移動体追跡
装置において、原画像を構成する色分解画像に映し出さ
れた被追跡用移動体と対比される色テンプレートと、色
分解画像との第１の相関値の分布を求める第１の相関値
分布演算部と、原画像を空間的微分することにより微分
画像を求める微分処理部と、微分画像に映し出された被
追跡用移動体と対比される微分テンプレートと、微分画
像との第２の相関値の分布を求める第２の相関値分布演
算部と、被追跡用移動体の過去の動きに基づいて、該被
追跡用の移動体が存在する蓋然性をあらわす動き予測値
の分布を求める動き予測値分布演算部と、上記第１の相
関値、上記第２の相関値、および上記動き予測値を統合
して評価値を求めることにより、被追跡用の移動体の存
在位置を表わす評価値の分布を求める評価値分布演算部
と、評価値分布演算部で求められた評価値の分布に基づ
いて、被追跡用移動体の存在位置を検出する位置検出部
とを備えたことを特徴とする。

【０００７】ここで、本発明にいう「原画像を構成する
色分解画像」は、明度だけの情報を有する白黒画像のと
きは、いわば１色分の画像しかないため、その色分解画
像は原画像そのものであり、原画像が、例えばＲ（レッ
ド）、Ｇ（グリーン）、Ｂ（ブルー）、それぞれの画像
からなる場合は、それら各色の画像それぞれが色分解画
像である。本発明では、色分解画像が複数存在すると
き、ある１色分の色分解画像のみを採用してもよく、複
数色分の色分解画像それぞれを採用してもよい。複数色
分の色分解画像を採用するときは、色テンプレートも、
各色分解画像それぞれとの対比用に複数色分用意され
る。

【０００８】また、上記第１の相関値分布演算部、第２
の相関値分布演算部で求められる第１の相関値、第２の
相関値は、数学的な意味における相関演算により求めら
れる相関値である必要はなく、テンプレートと一部領域
との近似の度合いを指標する値であればよい。ここで
は、近似の度合いを指標する値を「相関値」と称し、そ
の相関値を求める演算を「相関演算」と称する。

【０００９】上記第１の相関値分布演算部では、例え
ば、色テンプレートと、色分解画像から切り出された、
色テンプレートの寸法と同一寸法の一部領域との近似の
度合いを表わす第１の相関値を求めて求めた第１の相関
値をその一部領域内の１つの画素に対応づける操作を、
その色分解画像からの一部領域の切り出し位置を順次変
更しながら順次実行することにより、原画像の全領域も
しくは一部領域からなる所定の探索領域内の第１の相関
値の分布が求められ、上記第２の相関値分布演算部で
は、例えば、微分テンプレートと、微分画像から切り出
された、微分テンプレートの寸法と同一寸法の一部領域
との近似の度合いを表わす第２の相関値を求めて求めた
第２の相関値をその一部領域内の１つの画素に対応づけ
る操作を、微分画像からの一部領域の切り出し位置を順
次変更しながら順次実行することにより、上記探索領域
内の第２の相関値の分布が求められる。

【００１０】さらに、本発明にいう探索領域は、原画像
の全域であってもよく一部領域であってもよいが、原画
像の寸法、および被追跡用移動体（ターゲット）の寸法
や動きの速さ等を考慮し、できるだけ局所的な領域に制
限する方が、演算量の低減という観点から好ましい。前
述したように、従来より、ターゲットの追跡にあたっ
て、色情報を採用すると言う提案、画像を微分するとい
う提案、ターゲットの過去の動きに基づいてターゲット
の動きを予測するという提案のいずれもが存在する。し
かしながら、これらをどのように組み合わせると、リア
ルタイム性を確保することができ、かつ追跡性能を向上
させることができるか、という点が重要である。

【００１１】本発明は、色分解画像と色テンプレートと
の相関演算により、第１の相関値の分布（以下、この第
１の相関値の分布を「色空間ディストーションマップ」
と称することがある）を求め、かつ微分画像と微分テン
プレートとの相関演算により第２の相関値の分布（以
下、この第２の相関値の分布を「微分空間ディストーシ
ョンマップ」と称することがある）を求め、本発明では
このように相関演算を基調として、２つのディストーシ
ョンマップを求めるとともに、さらに、ターゲットの過
去の動きに基づいてターゲットの動きを予測し、その動
きの予測を動き予測値の分布（以下、この動き予測値の
分布を「動き予測値マップ」と称することがある）を求
めるものであり、このように、３つの手法による結果を
同一の探索領域における３つの分布（マップ）の形式に
揃えたことに本発明の特徴の１つがあり、このように３
つの分布（マップ）の形式に揃えたことから、それら３
つの分布の統合、すなわち３つの手法による追跡結果の
統合が容易となり、リアルタイム性を確保した上で、そ
れら３つの手法による追跡結果を統合した追跡性能の高
い自動追跡が可能となる。

【００１２】ここで、上記本発明の移動体追跡装置にお
いて、上記評価値分布演算部が、第１の相関値の分布の
信頼性を評価する信頼性評価部を含み、信頼性が低いと
判定された第１の相関値の分布を、評価値の分布を求め
る処理から除外した上で、評価値の分布を求めるもので
あることが好ましい。あるいは、上記評価値分布演算部
は、第１の相関値の分布の信頼性および第２の相関値の
分布の信頼性の双方を評価する信頼性評価部を含み、信
頼性が低いと判定された第１の相関値の分布、および信
頼性が低いと判定された第２の相関値の分布を、評価値
の分布を求める処理から除外した上で、評価値の分布を
求めるものであってもよい。

【００１３】ターゲットの変形等によりターゲットの位
置がうまく捉えられていない相関値の分布（ディストー
ションマップ）が求められることがある。そこで、例え
ばしきい値処理等の手法により、そのディストーション
マップの信頼性を評価し、信頼性の低いディストーショ
ンマップを総合評価用の‘評価値の分布’を求めるため
の統合化から除外すると、信頼性の高い‘評価値の分
布’が求められ、追跡性能の一層の向上が図られる。

【００１４】なお、信頼性の低いディストーションマッ
プが求められる可能性は色空間ディストーションマップ
の方が微分空間ディストーションマップよりも格段に高
く、従って上記の信頼性評価部は、色空間ディストーシ
ョンマップと微分空間ディストーションマップの双方に
ついて信頼性を評価することがより好ましいものの、時
間的な制約あるいは回路規模上の制約があるときは、色
空間ディストーションマップのみの信頼性を評価するも
のであってもよい。

【００１５】また、本発明の移動体追跡装置において、
上記色テンプレートが、順次更新されるテンポラリテン
プレートを含むものであって、色分解画像内の、位置検
出部で検出された、被追跡用移動体の存在位置を含む画
像領域を、そのテンポラリテンプレートに統合すること
により、テンポラリテンプレートを更新する色テンプレ
ート更新部を備えることが好ましい。

【００１６】上述したように、微分空間ディストーショ
ンマップと比べ色空間ディストーションマップは信頼性
に劣る。これは、色分解画像上では、ターゲットを捕ら
えにくいことを意味する。そこで、色テンプレートの１
つとしてテンポラリテンプレートを用意し、そのテンポ
ラリテンプレートをそのときそのときの状況に応じて更
新することにより、現在の状況に合った色テンプレート
が構成され、色空間ディストーションマップの信頼性を
向上させることができる。

【００１７】ここで、テンポラリテンプレートを更新す
るための構成として、上記評価値分布演算部が、第１の
相関値と第２の相関値とを各画素毎に統合して各画素毎
の統合化相関値を求めることにより統合化相関値の分布
を求める第１の統合化処理部と、その第１の統合化処理
部で求められた統合化相関値と、動き予測値演算部で求
められた動き予測値とを各画素毎に統合して各画素毎の
評価値を求めることにより評価値の分布を求める第２の
統合化処理部とを有し、テンプレート更新部が、上記統
合化相関値の分布に基づいて被追跡用移動体に近似した
物体の存在位置を、複数位置の検出を許容して検出する
近似物体検出部と、色分解画像内の、位置検出部で検出
された、被追跡用移動体の存在位置を含む第１の画像領
域とテンポラリテンプレートとの近似の度合いをあらわ
す第１の近似度、および上記第１の画像領域と、近似物
体検出部で検出された、近似物体の存在位置を含む第２
の画像領域との近似の度合いをあらわす第２の近似度を
求め、第１の近似度の方が第２の近似度よりも近似の度
合が大きいことをあらわしている場合に上記第１の画像
領域をテンポラリテンプレートに統合することにより、
テンポラリテンプレートを更新する評価・統合部とを有
するものであることが好ましい。

【００１８】テンプレートは、ターゲットを精度良く検
出することができるものである必要があり、このために
は、ターゲットには強く反応し、ターゲットではないも
のには反応しにくいことが望まれる。そこで、上記の構
成を採用することにより、それまでのテンポラリテンプ
レートに近似した画像領域が求められたときのみ、その
画像領域を用いてテンポラリテンプレートが更新され、
ターゲットの現在の状態に適合した、かつ他の移動体等
との識別がより確実に行われるテンポラリテンプレート
が生成される。

【００１９】また、上記本発明の第１の相関値分布演算
部および第２の相関値分布演算部に共用される、もしく
はこれら第１の相関値分布演算部および第２の相関値分
布演算部それぞれに配備された、２つの画像ないし画像
領域の、互いに対応する画素に割り当てられた画素値ど
うしの差分の絶対値を、それら２つの画像ないし画像領
域にわたって積算してなる相関値を求める相関器を備
え、微分処理部が、その相関器に、原画像を微分して微
分画像を求める微分演算のうちの一部の演算を実行させ
るものであることも好ましい態様である。

【００２０】本発明の移動体追跡装置における第１の相
関値分布演算部および第２の相関値分布演算部における
相関演算アルゴリズムの好ましい態様の１つとして、２
つの画像ないし画像領域の互いに対応する画素に割り当
てられた画素値どうしの差分の絶対値を、それら２つの
画像ないし画像領域にわたって積算してなる相関値を求
める相関演算アルゴリズムを採用することができる。こ
のような相関演算アルゴリズムを採用すると、数学的な
意味における相関演算における掛け算が引き算に置き換
わり、相関値を極めて迅速に求めることができる。

【００２１】このような相関器を備えた場合、後述する
ように、原画像から微分画像を求めるときの微分演算の
うちの一部の演算をその相関器に行わせることもでき
る。本発明の微分処理部では微分演算を行うにあたりそ
の微分演算を実行する独自のモジュールを構成してもよ
いが、上記の相関器を共用してもよい。その相関器を共
用すると、その分、回路規模が削減される。

【００２２】また、本発明の移動体追跡装置において、
上記動き予測値分布演算部は、被追跡用移動体の、現時
点から次の時点までの間の動きを予測した予測動きベク
トルを求め、その予測動きベクトルがあらわす、次の時
点における被追跡用移動体の存在予測位置に最大の蓋然
性、その存在予測位置から離れるに従って低下した蓋然
性をあらわす動き予測値を、探索領域内の各画素に対応
づけるものであることが好ましい。

【００２３】本発明の移動体追跡装置は、ターゲットの
過去の動きからそのターゲットの動きを予測するにあた
り、従来技術のように動きベクトルのみを求めるのでは
なく、動き予測値の分布（動き予測値マップ）を求める
ことに１つの特徴があるが、やはり、予測動きベクトル
があらわすターゲットの移動予測位置にターゲットが移
動する可能性が一番高い。そこで、予測動きベクトルを
求め、その予測動きベクトルが表わす、ターゲットの移
動予測位置に、その位置にターゲットが移動する蓋然性
として最大の蓋然性、そこから離れるに従って低下した
蓋然性をあらわす動き予測値マップを作成することによ
り、より確実な追跡が可能となる。

【００２４】ここで、予測動きベクトルを求めるにあた
っては、上記動き予測値分布演算部が、現時点における
被追跡用移動体の存在予測位置をあらわす、過去の時点
で求められた予測動きベクトルと、位置検出部により上
記過去の時点と現時点との双方で検出された被追跡用移
動体の存在位置どうしの位置の相違から求められる被追
跡用移動体の実際の動きをあらわす動きベクトルとに基
づいて、被追跡用移動体の、現時点から次の時点までの
間の動きを予測した予測動きベクトルを求めるものであ
ることが好ましい。

【００２５】このようなアルゴリズムにより求められる
予測動きベクトルは、過去のターゲットが実際に通った
軌跡の集大成の意味を持っている。そこで、上記のよう
に、ターゲットの過去の軌跡の集大成である予測動きベ
クトルとそのターゲトの直近の動きを表わす動きベクト
ルとに基づいて次の予測動きベクトルを求めることによ
り、そのターゲットの過去の動きも考慮された、より確
度の高い予測動きベクトルが求められ、ひいてはターゲ
ットの追跡性能が向上する。

【００２６】また、予測動きベクトルを求めた後の動き
予測値マップを求めるにあたっては、動き予測値分布演
算部が、予測動きベクトルがあらわす被追跡用移動体の
存在予測位置を中心とした距離の関数としての動き予測
値を、探索領域内の各画素に対応づけるものであっても
よいが、上記動き予測値分布演算部が、予測動きベクト
ルがあらわす被追跡用移動体の存在予測位置を中心と
し、その予測動きベクトルの方向の距離に対する重みと
その方向に対し交わる方向の距離に対する重みとが異な
る重みをもつ、これら２つの距離の関数としての動き予
測値を、探索領域内の各画素に対応づけるものであるこ
とが、より好ましい。

【００２７】通常は、ある速度で移動しているターゲッ
トは、次の時点でも同じ方向に進んでいる可能性が高
い。例えば、このような状況があてはまる状況において
は、例えば予測動きベクトルの方向に長軸を持つ楕円体
形状の動き予測値マップを作成することにより、より安
定的な追跡を行なうことができる。ただし、本発明の移
動体追跡装置では、予測動きベクトルの方向に長軸を持
っていることは必ずしも必要ではなく、例えば本発明の
移動体追跡装置をカーブの多い動きをするターゲットに
適用するときは、動き予測ベクトルの方向に対し交わる
方向に長軸を持っていることが好ましく、あるいは本発
明の移動体追跡装置を直進とカーブとのいずれが多いと
もいえない動きが予測されるターゲットに適用するとき
は、いずれの方向にも長軸、短軸を持たない等方な形状
の動き予測値マップを採用してもよい。

【００２８】また、動き予測値マップを求めるにあた
り、動き予測値分布演算部が、予測動きベクトルの大き
さを変数とした関数としての動き予測値を、探索領域内
の各画素に対応づけるものであることも好ましい形態で
ある。例えばサッカーゲームにおけるある選手をターゲ
ットとしたとき、ターゲットの動きが早いと次の時点で
もその動きが継続されている可能性が高く、ターゲット
の動きが遅いと次の時点では別の動きに移行する可能性
が高まる。そこで、予測動きベクトルの大きさを考慮し
てターゲットの動きに追随した動き予測値マップを作成
することにより、ターゲットをより安定的に追跡するこ
とが可能となる。

【００２９】尚、本発明において、予測動きベクトルの
方向と予測動きベクトルの大きさとの双方を考慮した動
き予測値マップを作成してもよいことはもちろんであ
る。また本発明の移動体追跡装置において、上記第２の
相関値分布演算部は、被追跡用移動体の追跡に先立って
指定された原画像上の所定位置と同一の、微分画像上の
所定位置を含む、その微分画像内の所定の画像領域を、
微分テンプレートとして設定するものであってもよい。

【００３０】追跡に先立って原画像上のある初期のフレ
ーム上でターゲットが指定されると、微分画像内の、そ
のターゲットを含む画像領域をそのまま微分テンプレー
トとして設定することにより、以後、その設定された微
分テンプレートを用いてそのターゲットを追跡すること
ができる。あるいは、本発明の移動体追跡装置におい
て、上記第２の相関値分布演算部が、被追跡用移動体の
追跡に先立って指定された原画像上の所定位置と同一
の、微分画像上の所定位置を含む、その微分画像内の、
微分テンプレートの寸法よりも大きな寸法の画像領域内
で、被追跡用移動体として指定され得る移動体に対し共
通的に設定された共通テンプレートとの近似の度合の高
い、微分テンプレートの寸法と同一の一部領域を検出
し、その一部領域を微分テンプレートとして設定するも
のであることが好ましい。

【００３１】原画像上でターゲットを指定する際に、特
に動画像上ではターゲットが動いていることも多く、そ
のターゲットを正確には指定しにくい場面もある。この
ような場合に、そのターゲットを含む、そのターゲット
に近似した移動体等のいずれにも反応するような共通テ
ンプレートを用意しておいて、あるターゲットを指定し
ようとしてそのターゲットの近傍が指定されると、その
指定された点を含む広めの領域の中からそのターゲット
を捜し、捜し出したターゲットを切りだして微分テンプ
レートを設定する。このように構成することにより、タ
ーゲットの指定位置に誤差があっても、正しい微分テン
プレートが設定される。

【００３２】ここで、上記のように共通テンプレートを
用意しておいて、ターゲットの位置指定の誤差を許容す
るように構成した場合に、さらに、上記第２の相関値分
布演算部が、微分テンプレートを初回に設定した時点よ
りも後の１つ以上の各時点において、微分画像内の、位
置検出部で検出された、被追跡用移動体の存在位置を含
む画像領域を微分テンプレートに統合することにより、
微分テンプレートを更新する、被追跡用移動体の追跡を
開始した後の所定の初期段階で動作する微分テンプレー
ト更新部を備えることがさらに好ましい。

【００３３】上記のように共通テンプレートを用いて微
分画像の一部領域を切りだし、その切り出した一部領域
を微分テンプレートとして設定するように構成した場
合、共通テンプレートはターゲットのみでなくかなり広
範な移動体等に反応するように作成されるため、上記の
ようにして切り出した一部領域にも多少の誤差を含む可
能性がある。そこで、上記微分テンプレート更新部を備
え、追跡を開始した後の初期の段階では微分テンプレー
トを更新するように構成すると、一層正確な微分テンプ
レートが設定され、ターゲットを一層安定的に追跡する
ことができる。

【００３４】一方、色テンプレートに関しては、色テン
プレートが、固定された固定テンプレートを含むもので
あって、第１の相関値分布演算部が、微分テンプレート
が設定もしくは最終的に更新された時点における、色分
解画像内の、位置検出部で検出された被追跡用移動体の
存在位置を含む画像領域を固定テンプレートとして設定
するものであることが好ましい。

【００３５】微分画像上の、微分テンプレートとして切
り出す一部領域が定まると、その微分画像上の一部領域
と同一の、色分解画像上の一部領域を色テンプレートと
して用いることができる。色テンプレートが順次更新さ
れるテンポラリテンプレートを含む場合については上述
したが、色テンプレートが、一度設定されあとは固定的
に用いられる固定テンプレートを含むものである場合、
微分テンプレートとして切り出す、微分画像上の一部領
域と同一の、色分解画像上の一部領域を切り出して固定
テンプレートとして用いることにより、正確な色テンプ
レートを設定することができる。

【００３６】色テンプレートを設定するにあたっては、
色分解画像上で作用させる共通テンプレートを設定して
おいて色分解画像上で色テンプレートとして設定される
一部領域を検出するよりも、上記のように微分画像上で
検出した方が、一般的に高い検出精度を得ることができ
る。また、本発明の移動体追跡装置は、移動体を含むシ
ーンが撮影されてなる、複数のフレームからなる原画像
を順次連続して入力する入力手段、該複数のフレーム間
で該移動体の位置が異なる移動体を追跡し、該フレーム
内の移動体の位置を、上記連続して入力される時間で順
次出力する移動体追跡手段、および上記入力手段で入力
された原画像の、移動体追跡手段で追跡した移動体の位
置にマークを表示するためのマーク発生手段を備えた構
成としてもよい。

【００３７】このようなマークを発生させることによ
り、ある移動体の存在や動きを注目させる動画像を得る
ことができる。

【００３８】

【発明の実施の形態】以下、本発明の実施形態について
説明する。図１は本発明の移動体追跡装置の一実施形態
を含む自動追跡システムの模式図である。図１に示す自
動追跡システムでは、本発明の一実施形態としての移動
体追跡装置は、コンピュータシステム１の内部に実現さ
れている。

【００３９】ビデオカメラ２は、サーボシステム３によ
り駆動され上下左右に向きが変更されるように構成され
ている。ビデオカメラ２での撮影により得られた画像
は、コンピュータシステム１に取り込まれ、コンピュー
タシステム１の内部では、その画像中に映し出されたあ
る移動物体（ターゲット）が検出され、そのターゲット
がビデオカメラ２での撮影により得られる画像内に常に
含まれるようにサーボシステム３を制御して、ビデオカ
メラ２の上下方向および左右方向の向きを変更させる。

【００４０】ビデオカメラ２で得られた画像は、コンピ
ュータシステム１に取り込まれるほか、コンピュータシ
ステム１から出力された、画像上のターゲットの位置情
報とともに、他の機器、例えば図示しない放送用機器に
伝えられ、その放送用機器では、そのターゲットのみ目
立つように特別な色で表示するなどの画像処理を施し
て、最終的に電波で放映し、あるいは後の放映等のため
に録画される。

【００４１】ここで、図１に示すコンピュータシステム
１は、本体部１０１、キーボード１０２、マウス１０
３、およびＣＲＴ表示部１０４から構成されており、本
体部１０１には、プログラムを実行するＣＰＵ、プログ
ラムやデータを保存しておくためのハードディスク、ビ
デオカメラ２からの画像を内部に取り込んだりコンピュ
ータシステム１からサーボシステム３や他の機器に伝え
る信号を出力するためのＩ／Ｏボード、フロッピィディ
スクが装填され装填されたフロッピィディスクをアクセ
スするフロッピィディスクドライブ装置、および、この
コンピュータシステム１に特有なものとして、後述する
相関器が搭載されたボード等が内蔵されている。

【００４２】図２は、図１に示すコンピュータシステム
内に構築された本発明の一実施形態としての移動体追跡
装置の機能構成図である。この移動体追跡装置に入力さ
れる原画像は、順次連続する一連の多数のフレームから
なる動画像であり、各フレームそれぞれについて以下の
処理が行われて、ある指定されたターゲットの位置が各
フレーム毎に検出され、これにより、そのターゲットの
自動追跡が行なわれる。ただし、以下の説明では、説明
の煩わしさを避けるため、特に明示的に表現する必要が
ないときは、各フレーム毎の画像と全体としての動画像
とを区別せずに単に原画像と称する。その原画像を構成
する分解画像やその原画像を微分して得た微分画像につ
いても同様である。

【００４３】ここでは各部の作用の説明は後にまわ
し、図２に示す移動体追跡装置の構成について説明す
る。この図２に示す移動体追跡装置は、色空間ディスト
ーションマップ作成部１０、微分処理部２０、微分空間
ディストーションマップ作成部３０、評価値マップ作成
部４０、最小位置検出部５０、動き予測値マップ作成部
６０、および、色テンプレート更新部７０から構成され
ている

【００４４】ここで、色空間ディストーションマップ作
成部１０は本発明にいう第１の相関値分布演算部の一例
に相当し、微分処理部２０は本発明にいう微分処理部の
一例に相当し、微分空間ディストーションマップ作成部
３０は本発明にいう第２の相関値分布演算部に相当す
る。また、評価値マップ作成部４０は、本発明にいう評
価値分布演算部の一例に相当し、最小値位置検出部５０
は、本発明にいう位置検出部の一例に相当し、動き予測
値マップ作成部６０は、本発明にいう動き予測値分布演
算部の一例に相当する。さらに、色テンプレート更新部
７０は、本発明にいう色テンプレート更新部の一例に相
当する。以下、各部の内部構成について説明する。

【００４５】尚、以下に説明する各種のテンプレートや
各種のマップは、いずれも二次元的な広がりを持つ、一
種の画像としての形態を有している。図２に示す移動体
追跡装置には、相関器８０が備えられており、この相関
器８０は、色空間ディストーションマップ作成部１０、
微分処理部２０、および微分空間ディストーションマッ
プ作成部３０に共用されている。

【００４６】この相関器８０では、入力された２つの画
像（画像の一部領域やテンプレートを含む）の各画素に
対応づけられたデータをＡ_xy，Ｂ_xyとしたとき、各画素
毎のデータの差分の絶対値をそれら２つの画像の全画素
にわたって積算した値ｄが求められる。すなわち、

【００４７】

【数１】

【００４８】の演算が実行される。ここでは、この演算
をＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆ
ｅｒｅｎｃｅ）処理と称し、このＳＡＤ処理により得ら
れた値ｄをディストーション値と称する。このＳＡＤ処
理は、相関演算の一例であり、ディストーション値は本
発明にいう相関値の一例に相当する。このディストーシ
ョン値ｄは、その値が小さいほど、２つの画像
｛Ａ_xy｝，｛Ｂ_xy｝の近似の度合いが大きいことを意味
している。

【００４９】色空間ディストーションマップ作成部１
０には、固定テンプレートとテンポラリテンプレートと
名づけられた２種類の色テンプレートが設定されてお
り、その色空間ディストーションマップ作成部１０を構
成する演算部１１では、相関器８０を用いて、入力され
た原画像を構成する色分解画像と、固定テンプレートお
よびテンポラリテンプレートそれぞれとの間でＳＡＤ処
理が行われて色空間ディストーションマップが作成され
る。この色空間ディストーションマップは、本発明にい
う‘第１の相関値’の分布の一例である。詳細は後述す
る。以下の各部の説明においてもここでは概要のみ説明
し、詳細説明は後にまわす。

【００５０】微分処理部２０では、入力された原画像が
空間的に微分されて微分画像が作成される。この微分処
理部２０には微分演算部２１が備えられており、この微
分演算部２１は、相関器８０にその微分演算のうちの一
部の演算を分担させながら微分画像を生成する。微分空
間ディストーションマップ作成部３０には、微分空間デ
ィストーションマップ作成用の微分テンプレートと、微
分テンプレート設定用の共通テンプレートが設定されて
おり、この微分空間ディストーションマップ作成部３０
を構成する演算部３１では、相関器８０を用いて、入力
された微分画像と、微分テンプレートとの間のＳＡＤ処
理が行われ、本発明にいう‘第２の相関値の分布’の一
例である微分空間ディストーションマップが作成され
る。また、この演算部３１では、微分テンプレート設定
時には、相関器８０を用いて、入力された微分画像と共
通テンプレートとの間のＳＡＤ処理が行なわれ、その微
分画像中の、微分テンプレートとして設定すべき一部領
域が検出されてその一部領域が切り出され、その切り出
された一部領域が微分テンプレートとして設定される。
また、この微分空間ディストーションマップ作成部３０
には、微分テンプレート更新部３２が備えられており、
この微分テンプレート更新部３２には、設定された微分
テンプレートと、微分画像と、最小値位置検出部５０か
らの出力とが入力され、この微分テンプレート更新部３
２では、最小値位置検出部５０からの出力に基づいて、
微分画像中の、追跡を開始した後の初期のターゲットが
映し出された一部領域が切り出され、この切り出された
一部領域が微分テンプレートにマージ（統合）されて新
たな微分テンプレートが作成され、それまで設定されて
いた微分テンプレートがその新たに作成された微分テン
プレートに更新される。この微分テンプレート更新部３
２は、本発明にいう微分テンプレート更新部の一例であ
り、この微分テンプレート更新部３２による微分テンプ
レートの更新処理は、ターゲットの追跡を開始した初期
の段階でのみ行われ、その後は微分テンプレートは更新
されず、固定されたまま、その微分テンプレートが微分
空間ディストーションマップの作成に使用される。

【００５１】評価値マップ作成部４０は、信頼性評価部
４１、重み付け加算部４２、およびもう１つの重み付け
加算部４３から構成されており、これらは、それぞれ、
本発明にいう信頼性評価部、第１の統合化処理部、およ
び第２の統合化処理部の各一例に相当する。信頼性評価
部４１では、色空間ディストーションマップ作成部１０
で作成された色空間ディストーションマップの信頼性お
よび微分空間ディストーションマップ作成部３０で作成
された微分空間ディストーションマップの信頼性が評価
され、それぞれ所定の信頼性に達していると判定され
た、ディストーションマップ（色空間ディストーション
マップと微分空間ディストーションマップとの総称を、
ここではディストーションマップと称する）が重み付け
加算部４２に向けて出力される。

【００５２】重み付け加算部４２には、通常は、信頼性
評価部４１を経由した所定の信頼性に達している色空間
ディストーションマップと微分空間ディストーションマ
ップとの双方が入力され、それら２つのディストーショ
ンマップが、互いに対応する画素毎に重み付け加算され
て統合化ディストーションマップが作成される。この統
合化ディストーションマップは、本発明にいう‘統合化
相関値の分布’の一例である。尚、重み付け加算部４２
における各ディストーションマップに対する重みは、あ
らかじめ固定的に定めておいてもよく、入力される原画
像の種類や性質に応じて切り替え可能に構成してもよ
い。この重み付け加算部４２で作成された統合化ディス
トーションマップは、もう１つの重み付け加算部４３
と、色テンプレート更新部７０に入力される。色テンプ
レート更新部７０については後述することとし、ここで
は、もう１つの重み付け加算部４３について説明する。
この重み付け加算部４３には統合化ディストーションマ
ップのほか、動き予測値マップ作成部６０で作成された
動き予測値マップも入力され、この重み付け加算部４３
では、それら統合化ディストーションマップと動き予測
値マップが互いに対応する画素毎に重み付け加算されて
評価値マップが作成される。この評価値マップは、本発
明にいう‘評価値の分布’の一例である。この重み付け
加算部４３における統合化ディストーションマップおよ
び動き予測値マップに対する各重みは、重み付け加算部
４２における重みと同様、あらかじめ固定的に定めてお
いてもよく、入力される原画像の種類や性質に応じて切
り換え可能に構成してもよい。

【００５３】ここで、ディストーションマップを構成す
る各画素値は、前述したディストーション値ｄであり、
その値が小さいほどテンプレートとの近似の度合いが大
きいことを意味しており、動き予測値マップ作成部６０
で作成される動き予測値マップを構成する各画素値、す
なわち動き予測値も、その値が小さいほどその画素の位
置にターゲットが存在する可能性が高くなるように値が
定められている。したがって評価値マップ作成部４０で
作成される評価値マップは、２つのディストーションマ
ップと１つの動き予測値マップの各画素毎の重み付け加
算により得られたものであるから、その評価値マップ内
の最小値位置がターゲットが存在する位置をあらわして
ることになる。

【００５４】上記の重み付け加算部４３で作成された、
すなわち評価値マップ作成部４０で作成された評価値マ
ップは、最小値位置検出部５０に入力される。最小値位
置検出部５０では、入力された評価値マップの中から最
小の評価値を持つ画素が検出され、その画素の位置情報
がターゲットの存在位置をあらわすターゲット位置情報
として出力される。

【００５５】このターゲット位置情報は、例えば、図１
を参照して説明したように、カメラの向きの制御や、そ
のターゲットを特別に処理するために用いられる。動き
予測値マップ作成部６０は、次フレーム予測動きベクト
ル計算部６１と予測関数生成部６２とから構成されてい
る。次フレーム予測動きベクトル計算部６１には、最小
値位置検出部５０で得られたターゲット位置情報が入力
され、その次フレーム予測動きベクトル計算部６１で
は、次のフレームではそのターゲットがそのターゲット
位置情報があらわすターゲット位置からどの方向にどれ
だけ移動しているかを予測した予測動きベクトルが計算
により求められる。この求められた予測動きベクトル
は、予測関数生成部６２に入力され、予測関数生成部６
２では、その予測動きベクトルで示される位置を中心と
して、ターゲットが次フレームでどの位置に移動するか
を確率的に予測した予測関数が生成され、この予測関数
に従って動き予測値マップ各画素毎の動き予測値の集合
が定められる。この動き予測値マップを構成する動き予
測値は、その値が小さいほど、ターゲットが次フレーム
でそこに移動している可能性が高いことを意味してお
り、次フレーム予測動きベクトル計算部６１で求められ
た、予測動きベクトルにより指定される画素に最も値の
小さい動き予測値が割り当てられる。この動き予測値マ
ップは、本発明でいう‘動き予測値の分布’の一例に相
当する。

【００５６】動き予測値マップ作成部６０で作成された
動き予測値マップは、前述したように、重み付け加算部
４３に入力され、もう１つの重み付け加算部４２で生成
された統合化ディストーションマップとの間で重み付け
加算される。色テンプレート更新部７０は、近似物体検
出部７１と、評価・統合部７２とからなる。これら近似
物体検出部７１および評価・統合部７２は、それぞれ、
本発明にいう近似物体検出部および評価・統合部の各一
例に相当する。また、本実施形態では、近似物体検出部
７１は、極小値位置検出部７１ａと干渉物体監視部７１
ｂとから構成されている。

【００５７】評価値マップ作成部４０を構成する重み付
け加算部４２で生成された統合化ディストーションマッ
プは、前述したように、重み付け加算部４３に入力され
るほか、色テンプレート更新部７０にも入力される。こ
の色テンプレート更新部７０に入力された統合化ディス
トーションマップは、この色テンプレート更新部７０を
構成する近似物体検出部７１をさらに構成している極小
値位置検出部７１ａに入力される。

【００５８】極小値位置検出部７１ａでは、統合化ディ
ストーションマップの極小値の位置が検出される。この
極小値の位置は、そこにターゲットに近似した近似物体
が存在しているものと一応推定される、この極小値の位
置は、１つとは限らず複数検出され得る。この極小値位
置検出部７１ａでは真のターゲット自身も検出され得る
が、真のターゲットの位置は最小値位置検出部５０で検
出されそのターゲット位置情報が評価・統合部７２に入
力されて真のターゲットと近似物体とが区別されるた
め、極小値位置検出部７１ａで真のターゲットも含めて
検出されても問題はない。

【００５９】干渉物体監視部７１ｂでは、色空間ディス
トーションマップの極小値位置付近のディストーション
値の変化の様子に基づいて、極小値位置検出部７１ａで
検出された極小値位置に、ターゲットと近似した近似物
体（ここではこの近似物体を、ターゲットと干渉する
（ターゲットの位置検出の邪魔をする）物体という意味
で干渉物体とも称する）が存在するか否かを判定する。

【００６０】評価・統合部７２には、干渉物体監視部
７１ｂにより検出された干渉物体の位置情報および最小
値位置検出部５０により検出されたターゲットの位置情
報が入力され、現在設定されているテンポラリテンプレ
ート、ターゲットの画像、干渉物体の画像が総合的に考
慮されてテンポラリテンプレートを更新するか否かが評
価され、テンポラリテンプレートを更新する旨の判定が
なされると、現在設定されているテンポラリテンプレー
トに、色分解画像から切り出された現在のターゲットの
画像がマージ（統合）され、これにより、テンポラリテ
ンプレートがそのマージされたテンポラリテンプレート
に更新される。

【００６１】以上で、図２に示す移動体追跡装置を構成
する各部の概括的な説明を終了し、以下、各部の具体的
な動作について説明する。図３は、色空間ディストーシ
ョンマップ作成部１０における色空間ディストーション
マップの作成過程の説明図である。色テンプレートを構
成する固定テンプレート、テンポラリテンプレートの設
定方法の説明はあとに譲り、ここでは、固定テンプレー
ト、テンポラリテンプレートとも既に設定されているも
のとして説明する。

【００６２】本実施形態では、入力される原画像は、Ｒ
（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色の、
すなわち３種類の色分解画像から構成されており、固定
テンプレート、テンポラリテンプレートは、いずれも、
Ｒ，Ｇ，Ｂの３種類の色分解画像それぞれに対応して３
種類ずつ設定される。したがってここでは、途中段階で
は、３種類の色分解画像と、各色別に設定された固定テ
ンプレートとの間のＳＡＤ処理により３つの色空間ディ
ストーションマップが作成され、さらに、３種類の色分
解画像と各色別に設定されたテンポラリテンプレートと
の間のＳＡＤ処理により３つの色空間ディストーション
マップが作成されるが、その後、このようにして作成さ
れた６つの色空間ディストーションマップが各画素毎に
平均され１つの色空間ディストーションマップに統合さ
れる。色空間ディストーションマップ作成部１０から
は、このようにして１つに統合された色空間ディストー
ションマップが出力され、評価値マップ作成部４０に入
力される。ただし、図３の説明にあたっては、代表的
に、１つの色分解画像と１つのテンプレートとのＳＡＤ
処理について説明する。

【００６３】動き予測値マップ作成部６０を構成する
次フレーム予測動きベクトル計算部６１で求められた予
測動きベクトルの情報に基づいて、ターゲットが次のフ
レームまでの間に移動しているであろう位置を中心とし
て色分解画像内に探索領域が設定され、その探索領域内
の各画素に対応して各ディストーション値が求められ
る。この演算を行なうために、色分解画像内に、その探
索領域よりも広い図３に示す切り出し領域Ｐが設定さ
れ、その切り出し領域Ｐの中から各一部領域Ｐ_１，
Ｐ_２，…，Ｐ_ｎが順次切り出される。ここでは、先ず切
り出し領域Ｐの中の一番上かつ一番左の隅を１つの頂点
としてテンプレートと同一形状の一部領域Ｐ_１が切り出
され、その切り出された一部領域Ｐ_１とテンプレートと
の間で、相関器８０によりＳＡＤ処理、すなわち前述の
（１）式に示す演算が実行され、１つのディストーショ
ン値ｄが求められ、この求められたディストーション値
が切り出され一部領域Ｐ_１の中央の画素に対応づけられ
る。以下では、説明の都合上、ＳＡＤ処理により求めら
れた値を画素に対応づける処理までを含めて、単にＳＡ
Ｄ処理と称する。

【００６４】次に一番隅の一部領域Ｐ_１からｘ方向に
一画素分ずれた一部領域Ｐ_２が切り出され、この新たに
切り出された一部領域Ｐ_２とテンプレートとの間でＳＡ
Ｄ処理が実行される。これを繰り返し、切出し領域Ｐの
一番右側まで達すると、一番左に戻り、今度はｙ方向に
一画素分ずれた一部領域が切り出され上記と同様のＳＡ
Ｄ処理が実行され、さらにｘ方向に順次一画素分ずつず
れた一部領域が切り出されてはＳＡＤ処理が実行され
る。これがさらに繰り返され、最終的には、切出し領域
Ｐの一番下かつ一番右隅の領域Ｐ_ｎが切り出されて、Ｓ
ＡＤ処理が実行される。

【００６５】これらの一連のＳＡＤ処理により、探索領
域Ｐの各画素にそれぞれ対応づけられたディストーショ
ン値の二次元的なマップ、すなわち色空間ディストーシ
ョンマップが作成される。前述したように、色空間ディ
ストーションマップ作成部１０では、上記のようにして
６つの色空間ディストーションマップが一旦作成され、
それら６つの色空間ディストーションマップが各画素毎
に平均されて１つの色空間ディストーションマップに統
合される。ただし、後述するように、固定テンプレート
は使用されずテンポラリテンプレートのみ使用される状
況もあり、そのときはテンポラリテンプレートのみを用
いて作成された３つの色空間ディストーションマップが
１つの色空間ディストーションマップに統合される。

【００６６】図４は、微分処理部２０における微分処理
の過程を示した説明図である。微分処理部２０には原画
像が入力され、本実施形態では、先ずその原画像を構成
している３つ（Ｒ，Ｇ，Ｂ）の色分解画像から、色の情
報が捨象され、画像の明度（輝度、濃度）の情報のみを
持った、白黒の原画像が作成され、その白黒の原画像に
ついて空間微分が施されて、その白黒の原画像に対応す
る微分画像が生成される。以下では特に白黒画像である
ことは明記しない。

【００６７】図４（Ａ）は、画像をｙ方向に微分するｙ
方向微分フィルタの一例、図４（Ｂ）は、画像をｘ方向
に微分するｘ方向微分フィルタの一例を示した図であ
る。これらの微分フィルタを原画像の一部領域と重ね合
わせ、重ね合わされた原画像の画素の画素値とフィルタ
の画素の画素値とを重ね合わせた画素どうしで乗算し、
それらの乗算結果を、その重ね合わされた領域全域にわ
たって加算し、その加算結果を重ね合わされた領域の中
央の画素に対応づける演算を、その重ね合わされる領域
を順次変更しながら実行することにより、その原画像
が、ｙ方向微分フィルタを用いたときはｙ方向に微分さ
れ、ｘ方向微分フィルタを用いたときはｘ方向に微分さ
れる。

【００６８】図２に示す微分処理部２０では、これと同
じ演算を、相関器８０を使用しながら行なう。すなわ
ち、ここでは、図４（Ａ），（Ｂ）に示す微分フィルタ
は使用せずに、図４（Ｃ），（Ｄ）に示す２つのテンプ
レートを用い、図３を参照して説明した、ＳＡＤ処理
（中央の画素への値の対応づけの処理を含む）が実行さ
れる。その後、微分演算部２１において、以下に説明す
る演算により、原画像がｙ方向に微分されたｙ方向微分
画像、および原画像がｘ方向に微分されたｘ方向微分画
像が求められる。すなわち、図４（Ｃ）に示すテンプレ
ート１を用いたときのＳＡＤ処理により得られた画像の
各画素（ｘ，ｙ）の画素値をＦ_s（ｘ，ｙ）、図４
（Ｄ）に示すテンプレート２を用いたときのＳＡＤ処理
により得られた画像の各画素（ｘ，ｙ）の画素値をＦ_ss
（ｘ，ｙ）、ｙ方向微分画像の各画素（ｘ，ｙ）の画素
値をΔＰ_y（ｘ，ｙ）、ｘ方向微分画像の各画素（ｘ，
ｙ）の画素値をΔＰ_x（ｘ，ｙ）、としたとき、微分制
御部２１では、 ΔＰ_y（ｘ，ｙ）＝Ｆ_s（ｘ，ｙ＋１）−Ｆ_s（ｘ，ｙ−１） …（２） ΔＰｘ（ｘ，ｙ）＝Ｆ_ss（ｘ＋１，ｙ）−Ｆ_ss（ｘ−１，ｙ） …（３）が演算される。これらの演算は、図４（Ａ），（Ｂ）に
示す微分フィルタを用いた微分演算と等価である。

【００６９】微分演算部２１では、各画素毎に、これら
２つの微分画像｛ΔＰ_y（ｘ，ｙ）｝，｛ΔＰ_x（ｘ，
ｙ）｝の画素値のうちの大きい方の画素値が採用され、
１つの微分画像が作成される。微分空間ディストーショ
ンマップ作成部３０では、図３に示す切り出し領域Ｄが
微分画像内に設定された切り出し領域であり、図３に示
すテンプレートが微分テンプレートであるという相違を
除き、色空間ディストーションマップ作成部１０と同様
のＳＡＤ処理が実行されて微分空間ディストーションマ
ップが作成される。ただし、微分処理部２０では１種類
の微分画像が作成されるため、微分空間ディストーショ
ンマップも一種類のみ作成される。この微分空間ディス
トーションマップ作成部３０では、状況により、ＳＡＤ
処理を実行するためのテンプレートとして共通テンプレ
ートが使用されることもある。

【００７０】尚、ここでも、色空間ディストーションマ
ップ作成部１０の説明と同様、微分テンプレートおよび
共通テンプレートは既に設定されているものとする。図
５は、評価値マップ作成部４０を構成する信頼性評価部
４１の動作説明図である。信頼性評価部４１には、前述
したように、色空間ディストーションマップ作成部１０
で作成された色空間ディストーションマップ（ここでは
これをＤ₁であらわす）と、微分空間ディストーション
マップ作成部３０で作成された微分空間ディストーショ
ンマップ（ここではこれをＤ₂であらわす）が入力され
るが、この信頼性評価部４１では、これら入力された２
つのディストーションマップＤ₁，Ｄ₂が参照され（ス
テップ５＿１））、それら２つのディストーションマッ
プＤ ₁，Ｄ₂それぞれの最小値Ｄ_1min，Ｄ_2minが求めら
れる（ステップ５＿２））。尚、図５においては、ディ
ストーションマップＤ₁，Ｄ₂やそれらの最小値
Ｄ_1m _in，Ｄ_2minが、各フレーム毎に求められるもの、す
なわち時間ｔの関数であることを明示するために、Ｄ₁
（ｔ），Ｄ₂（ｔ），Ｄ_1min（ｔ），Ｄ_2min（ｔ）と表
記している。

【００７１】次いで、ステップ５＿３において、それら
の最小値Ｄ_1min，Ｄ_2minが、あらかじめ設定された各し
きい値ＴＨ１，ＴＨ２と比較される。ここで、Ｄ_1min＞
ＴＨ１であるということは、色空間ディストーションマ
ップＤ₁の信頼性が低いことを意味しており、また、Ｄ
_2min＞ＴＨ２であるということは、微分空間ディストー
ションマップＤ₂の信頼性が低いということを意味して
いる。

【００７２】ステップ５＿３における比較の結果、Ｄ
_１ｍｉｎ＞ＴＨ１、かつ、Ｄ_２ｍｉｎ＞ＴＨ２（双方の
ディストーションマップＤ_１，Ｄ_２とも信頼性が低い）
と判定されたときは、ステップ５＿４に進み、これ以降
のターゲットの追跡が断念される。ステップ５３におけ
る比較の結果、Ｄ_１ｍｉｎ≦ＴＨ１、かつＤ_２ｍｉｎ＞
ＴＨ２（２つのディストーションマップのうち、微分空
間ディストーションマップＤ_２のみ信頼性が低い）と判
断されたときは、ステップ５＿５に進み、微分空間ディ
ストーションマップＤ_２が無視され、色空間ディストー
ションマップＤ_１のみ、重み付け加算部４２に入力され
る。この場合、重み付け加算部４２には微分空間ディス
トーションマップＤ_２は入力されず、従って重み付け加
算は行われず、入力された色空間ディストーションマッ
プＤ_１がそのまま、統合化ディストーションマップとし
て、この重み付け加算部４２から出力される。

【００７３】ステップ５＿３における比較の結果、Ｄ
_１ｍｉｎ＞ＴＨ１、かつ、Ｄ_２ｍｉｎ≦ＴＨ２（２つの
ディストーションマップのうち、色空間ディストーショ
ンマップＤ_１のみ信頼性が低い）と判断されたときは、
ステップ５＿６に進み、色空間ディストーションマップ
Ｄ_１が無視され、微分空間ディストーションマップＤ_２
のみ、重み付け加算部４２に入力される。重み付け加算
部４２では、重み付け加算は行われず、入力された微分
空間ディストーションマップＤ_１がそのまま統合化ディ
ストーションマップとなってその重み付け加算部４２か
ら出力される。

【００７４】また、ステップ５３における比較の結
果、Ｄ_1min≦ＴＨ１、かつ、Ｄ_2min≦ＴＨ２と判定され
たときは、ステップ５７に進み、双方のディストーシ
ョンマップＤ₁ ，Ｄ₂ が重み付け加算部４２に入力さ
れ、それら双方のディストーションマップＤ₁ ，Ｄ₂ が
各画素毎に互いに重み付け加算される。図６は、２つの
ディストーションマップＤ₁ ，Ｄ₂ の各最小値Ｄ_1min，
Ｄ_2minの時間的な変化、および２つのディストーション
マップＤ₁ ，Ｄ₂ をその後の処理に使用する（信頼性が
高い）か否かの時間的な変化を示す図である。

【００７５】図６（Ａ）は、色空間ディストーションマ
ップＤ₁ の最小値Ｄ_1minの時間的な変化を示す図であ
り、時間領域Ｂと時間領域Ｃとの間でしきい値ＴＨ１を
越えている。図６（Ｂ）は、微分空間ディストーション
マップＤ₂ の最小値Ｄ_2minの時間的な変化を示す図であ
り、時間領域Ａと時間領域Ｂとの間、および時間領域Ｃ
の後でしきい値ＴＨ２を越えている。

【００７６】このような、図６（Ａ）（Ｂ）に示す状況
のときは、図６（Ｃ）に示すように、ハッチングを施し
た時間領域において、いずれかのディストーションマッ
プＤ ₁ ，Ｄ₂ が無視される（重み付け加算部４２に向け
て出力されない）という状況が発生する。尚、ここでは
色空間ディストーションマップと微分空間ディストーシ
ョンマップとの双方を対等に扱って双方のディストーシ
ョンマップについて信頼性を評価する例について説明し
たが、２つのディストーションマップを比べると、一般
に色空間ディストーションマップの方が信頼性が低く、
従って図２に示す信頼性評価部４１を、色空間ディスト
ーションマップの信頼性のみ評価し微分空間ディストー
ションマップについては、無条件に重み付け加算部４２
に向けて出力するように構成してもよい。

【００７７】図７は、評価値マップ作成部４０を構成す
る２つの重み付け加算部４２，４３の作用の説明図であ
る。ここでは、信頼性評価部４１からは、色空間ディス
トーションマップＤ₁ と微分空間ディストーションマッ
プＤ₂ との双方が出力されて、重み付け加算部４２に入
力されたものとする。図７では、色空間ディストーショ
ンマップＤ₁ を、その色空間ディストーションマップＤ
₁ の各画素（ｘ，ｙ）の画素値Ｄ_1xy の集合｛Ｄ_1xy ｝
で表わし、微分空間ディストーションマップＤ₂ を同様
に｛Ｄ_2XY ｝で表わし、動き予測値マップ作成部６０で
作成された動き予測値マップを同様に｛Ｅ_XY｝で表わし
ている。

【００７８】ここで、２つの重み付け加算部４２，４３
のうちの前段側の重み付け加算部４２では、２つのディ
ストーションマップ｛Ｄ_1xy ｝，｛Ｄ_2XY ｝が、対応す
る画素毎に重み付け加算され、統合化ディストーション
マップ｛Ｆ_XY｝が作成される。すなわち、重み付け加算
部４２では、各画素毎に、Ｆ_XY＝ａ×Ｄ_1xy ＋（１−ａ）×Ｄ_2XY ……（４）但し、ａは１以下の正の値であり、ａ，１−ａは各重み
を表わす。が演算される。

【００７９】２つの重み付け加算部４２，４３のうち
のもう一方の重み付け加算部４３には、重み付け加算部
４２における、（４）式に示す演算により求められた統
合化ディストーションマップ｛Ｆ_ｘｙ｝と、動き予測値
マップ作成部６０で作成された動き予測値マップ｛Ｅ
_ｘｙ｝が入力され、重み付け加算部４３では、それら２
つのマップ｛Ｆ_ｘｙ｝，｛Ｅ_ｘｙ｝が、対応する画素毎
に重み付け加算され、評価値マップ｛Ｇ_ｘｙ｝が作成さ
れる。すなわち、重み付け加算部４３では、各画素毎
に、Ｇ_ｘｙ＝ｂ×Ｆ_１ｘｙ＋（１−ｂ）×Ｅ_ｘｙ……（５）但し、ｂは１以下の正の値であり、ｂ，１−ｂは各重み
を表わす。が演算される。このようにして求められた評
価値マップ｛Ｇ_ｘｙ｝は、最小値位置検出部５０に入力
される。

【００８０】最小値位置検出部５０では入力された評価
値マップ｛Ｇ_xy｝を構成する各画素の画素値Ｇ_xyの中の
最小値Ｇ_min を持った画素の位置が求められる。ここで
は画素値Ｇ_xyの集合｛Ｇ_xy｝の中が最小値Ｇ_min を検出
し、その最小値Ｇ_min を持つ画素を見つけるだけの演算
であり、図面を参照しての更なる説明は省略する。図８
は、動き予測値マップ作成部６０の動作説明図である。

【００８１】動き予測値マップ作成部６０を構成する次
フレーム予測動きベクトル計算部６１では、以下に説明
するようにして、現フレームｔと次フレームｔ＋１との
間のターゲットの動きを予測した予測動きベクトルｍ_t
が求められる。前フレームｔ−１に関し同様にして求め
た予測動きベクトルをｍ_t-1 とし、前フレームｔ−１か
ら現フレームｔの間の、ターゲットの実際の動きをあら
わす動きベクトルをｖ_t としたとき、現フレームｔと次
フレームｔ＋１との間の、ターゲットの動きを予測した
予測動きベクトルｍ_t が、ｍ_t ＝（ｖ_t ＋４・ｍ_t-1 ）／５ ……（６）の演算により求められる。ここで、前フレームと現フレ
ームとの間の、ターゲットの実際の動きをあらわす動き
ベクトルｖ_t は、前フレームに関し、最小値位置検出部
５０で求められた、ターゲット位置から、現フレームに
関し同様に求められたターゲット位置に向かうベクトル
である。ここでは、ｖ_t とｍ_t-1 の重みをそれぞれ１／
５，４／５としているが、これは一例であり、他の重み
を採用してもよい。

【００８２】（６）式からわかるように、過去の動きベ
クトル、過去の予測動きベクトルに基づいて次の動き予
測ベクトルが求められており、過去の予測動きベクトル
にはさらに過去の情報が含まれており、従って（６）式
を採用することにより、一連の過去の情報の集大成とし
ての予測動きベクトルが求められる。次フレーム予測動
きベクトル計算部６１における、（６）式に従って求め
られた予測動きベクトルｍ_t は、予測関数生成部６２に
入力される。本実施形態では、予測関数生成部６２で
は、以下の（７）式で定義される動き予測関数Ｐ_P(x,y)
に従って、探索領域内の各画素に対応する動き予測値が
求められる。

【００８３】Ｐ_P(x,y)＝（ｘ² ＋ｙ² ）・（１＋α・｜ｍ_t ｜） ……（７）但し、αは正の値を持つ重みである。この（７）式は、
基本的にはパラボラ形状を有しており、予測動きベクト
ルｍ_tの大きさ｜ｍ_t ｜が大きくなる程、急峻に立ち上
がるパラボラ形状となる。但し、（７）式のパラボラ形
状の頂点は、予測動きベクトルｍ_t により予測された、
次フレームにおけるターゲット位置（本発明にいう存在
予測位置）に一致させる。

【００８４】このようにして、（７）式に従って、探
索領域の各画素に対応させて各動き予測値が求められ、
それらの動き予測値の集合としての動き予測値マップが
作成される。尚、ここでは予測されたターゲット位置を
中心とした距離の関数であって、かつ予測動きベクトル
ｍ_ｔの大きさ｜ｍ_ｘ｜によって変化する動き予測値を求
める例について説明したが、さらに、予測動きベクトル
ｍ_ｔの方向と、それに直交する方向とで、動き予測値を
示す関数であるパラボラの立上りの急峻度を変化させて
もよい。

【００８５】図９は、色テンプレート更新部７０を構
成する近似物体検出部７１の作用説明図である。ここで
は、前述した３つの（Ｒ，Ｇ，Ｂ）の色分解画像を区別
せずに単に色分解画像と表記し、各色分解画像に対応す
る各テンポラリテンプレートを区別せずに単にテンポラ
リテンプレートと表記する。図９（Ａ）は、色分解画像
内の、最小値位置検出部５０で検出されたターゲット位
置（図９（Ａ）に斜線で示す位置）およびそのターゲッ
ト位置を中心とした、テンプレートと同一寸法の画像領
域Ａを示す図である。

【００８６】図９（Ｂ）は、色テンプレート更新部７０
を構成する極小値位置検出部７１ａで検出された極小値
位置（図９（Ｂ）に斜線で示す位置）と、各極小値位置
を中心とした、テンプレートと同一寸法の画像領域Ａ，
Ｂ，Ｃ，Ｄを示す図である。ここに示す例では、極小値
位置検出部７１ａでは、最小値位置検出部５０で検出さ
れたターゲット位置を含め、４つの極小値位置が検出さ
れている。

【００８７】図９（Ｂ）は、次に説明する干渉物体監視
部７１ｂの説明中では、重み付け加算部４２で作成され
た統合化ディストーションマップを意味し、その次に説
明する評価・統合部７２の説明中では色分解画像を意味
する。ただし統合化ディストーションマップ上では、画
像領域Ａ，Ｂ，Ｃ，Ｄの図示は意味を持たない。干渉物
体監視部７１ｂでは、極小値位置検出部７１ａで検出さ
れた４つの極小値位置に関し、統合化ディストーション
マップ上の、各極小値位置に、図９（Ｃ）に示すフィル
タを作用させる。このフィルタの作用のさせ方は、図４
（Ａ）を参照して説明した微分フィルタの作用のさせ方
と同一であるため、ここでは重複説明は省略する。

【００８８】この図９（Ｃ）に示すフィルタは、図９
（Ｄ）に示すように、その極小値位置の画素値（図９
（Ｄ）に模式的に〇印で示す）とその極小値位置の周囲
の画素の画素値（図９（Ｄ）に模式的に×印で示す）と
の間の隔たり（深さｄｅｐｔｈ）を抽出するフィルタで
あり、この深さｄｅｐｔｈがあらかじめ定められたしき
い値と比較され、その深さｄｅｐｔｈが、しきい値が示
す深さよりも深いときに、その極小値位置にターゲット
と干渉する干渉物体が存在すると判定される。ここで
は、図９（Ｂ）に示す画像領域Ｂ、Ｃ内の各極小値位置
には、干渉物体が存在し、画像領域Ｄ内の極小値位置に
は干渉物体は存在しないと判定されたものとする。

【００８９】図１０は、色テンプレート更新部７０を構
成する評価・統合部７２の作用説明図である。ここで
は、図９（Ａ）、（Ｂ）に示すように、最小値位置検出
部５０で検出されたターゲット位置を中心とした、色分
解画像上のテンプレートと同一寸法の画像領域Ａと、近
似物体検出部７１で検出された、近似物体（干渉物体）
が存在すると判定された極小値位置を中心とした、色分
解画像上のテンプレートと同一寸法の各画像領域Ｂ、Ｃ
それぞれとの間で、前述した（１）式に示す演算が実行
され、各ディストーション値ｄ₁ ，ｄ₂ が求められる。
これらのディストーション値ｄ₁ ，ｄ₂ は、本発明にい
う第２の近似度の一例に相当する。またこれと同様に、
テンポラリテンプレートと画像領域Ａとの間でも前述し
た（１）式に示す演算が実行され、ディストーション値
ｄ₃ が求められる。このディストーション値ｄ₃ は、本
発明にいう第１の近似度の一例に相当する。次いで、こ
のようにして求められたディストーション値どうしが比
較され、テンポラリテンプレートと画像領域Ａとの間で
求められたディストーション値ｄ₃ が、画像領域Ａと、
干渉物体が存在すると判定された各画像領域Ｂ、Ｃそれ
ぞれとの間で求められた各ディストーション値ｄ₁ ，ｄ
₂ のいずれよりも小さい値（前述したように値が小さい
ほど近似の度合いが大きいことをあらわしている）を有
する場合に、テンポラリテンプレートの各画素の画素値
と、画像領域Ａの各画素の画素値が対応する画素毎に平
均されて新たなテンポラリテンプレートが求められ、そ
れまでのテンポラリテンプレートがこの新たに求められ
たテンポラリテンプレートに更新される。テンポラリテ
ンプレートは、このようにして順次更新される。ここで
は、ｄ₃ ＜ｄ₁ ，ｄ₂ の場合のみテンポラリテンプレー
トを更新するようにしたため、更新後のテンポラリテン
プレートは、ターゲットに強く反応するとともに干渉物
体への反応の度合いが低減され、ターゲットを干渉物体
から区別して安定的に追跡することができる。

【００９０】次に、微分テンプレートおよび固定テンプ
レートの設定方法、およびテンポラリテンプレートの初
期設定方法について説明する。図１１は、各テンプレー
トの設定方法の第１例を示す説明図である。図１に示す
ＣＲＴ表示部１０４にターゲットとして指定しようとす
る移動体を含む原画像を表示し、マウス１０３を操作し
てその原画像の所望の移動体を指し示す。そうすると、
その指し示された原画像上の位置情報がその原画像とと
もに図２に示す移動体追跡装置に入力され、色空間ディ
ストーションマップ作成部１０を構成する演算部１１で
は、その原画像上の、マウス１０３によって指し示され
た位置を中心とした、テンプレートと同一寸法の画像領
域が切り出され、その切り出された画像領域が固定テン
プレートとして設定されるとともにテンポラリテンプレ
ートとしても初期設定される。また、これと同時に、微
分空間ディストーションマップ作成部３０を構成する演
算部３１では、微分画像上の、マウス１０３によって指
し示された位置を中心とした、テンプレートと同一寸法
の画像領域が切り出されて、その切り出された画像領域
が微分テンプレートとして設定される。

【００９１】図１２は、各テンプレートの設定方法の第
２例を示す説明図である。図２に示す移動体追跡装置に
は、共通テンプレートが設定されている。この共通テン
プレートは、ターゲットとして指定される可能性のある
移動体であればどの移動体であっても検出するように設
定されたテンプレートである。この共通テンプレートは
あらかじめマニュアルで設定される。ここでは、この共
通テンプレートが用いられる。

【００９２】図１に示すＣＲＴ表示部１０４に、ターゲ
ットとして指定しようとする移動体を含む原画像を表示
し、マウス１０３を操作して、所望の移動体を指定す
る。このときＣＲＴ表示部１０４には動画像が表示され
ており、ターゲットとして指定しようとした移動体が動
いている場合もあり、必ずしも正確にターゲットの位置
が指定されるとは限らない。そこで、ここに示す例で
は、微分空間ディストーションマップ作成部３０を構成
する演算部３１において、微分画像上で、その指定され
た位置を中心とした、テンプレートよりも広い領域（図
１２に一点鎖線で示す領域）が設定され、その領域内
で、共通テンプレートとの間でＳＡＤ処理が実行され、
その最小値位置が検出され、その最小値位置を中心とし
た、テンプレートと同一寸法の画像領域が切り出され
て、その切り出された画像領域が微分テンプレートとし
て設定される。また、色空間ディストーションマップ作
成部１０を構成する演算部１１は、微分空間ディストー
ションマップ作成部３０を構成する演算部３１からその
最小値位置の情報を受け取り、色分解画像上の、その最
小値位置を中心とした、テンプレートと同一寸法の画像
領域が切り出されて、その切り出された画像領域が固定
テンプレートとして設定され、かつテンポラリテンプレ
ートとして初期設定される。

【００９３】図１３は、各テンプレートの設定方法の第
３例を示す説明図である。この図１３を参照して説明す
る処理は、図１２を参照して説明した処理に続く処理で
ある。ただし、固定テンプレートは、図１２を参照して
説明した処理の段階では未だ設定されず、微分テンプレ
ートとテンポラリテンプレートのみが設定される。この
ような状況下でターゲットの追跡を開始する。ただし、
色空間ディストーションマップ作成部１０では、固定テ
ンプレートは未だ設定されていないため、テンポラリテ
ンプレートのみが用いられる。

【００９４】このようにして、最小値位置検出部５０に
よりターゲット位置が検出されると、そのターゲット位
置情報が、微分空間ディストーションマップ作成部３０
を構成する微分テンプレート更新部３２に入力される。
図１３に斜線を付して示した位置が最小値検出部５０に
より検出されたターゲット位置であるとする。微分テン
プレート更新部３２では、微分画像上の最小値検出部５
０により検出されたターゲット位置を中心とした、テン
プレートと同一寸法の画像領域が切り出され、その切り
出された画像領域と、既に設定されている微分テンプレ
ートとが、対応する画素毎に平均されて新たな微分テン
プレートが求められ、それまで設定されていた微分テン
プレートが、その求められた新たな微分テンプレートに
更新される。また、テンポラリテンプレートは、色テン
プレート更新部７０により更新される。以上の更新処理
が、あらかじめ設定された数のフレームだけ繰り返さ
れ、その後は、微分テンプレート更新部３２はその動作
を停止し、従ってその後は微分テンプレートは更新され
ずその時点の微分テンプレートに固定される。テンポラ
リテンプレートに関しては、色テンプレート更新部７０
により引き続き更新処理が継続される。

【００９５】また、固定テンプレートに関しては、微分
テンプレート更新部３２で更新動作を停止する直前の、
最小値位置検出部５０で検出されたターゲット位置情報
が、その微分テンプレート更新部３２から、色空間ディ
ストーションマップ作成部１０を構成する演算部１１に
伝えられ、演算部１１は、色分解画像上の、その時点に
おけるターゲット位置を中心とした、テンプレートと同
一寸法の画像領域を切り出し、その切り出した画像領域
を固定テンプレートとして設定する。

【００９６】図２に示す移動体追跡装置は、図１に示す
コンピュータシステムの内部に実現され、相関器８０を
除きソフトウェアで構成されたものであるが、このよう
にソフトウェアで構成されたままでもかなりのリアルタ
イム性が確保される。さらに、図２に示す移動体追跡装
置は、ハードウェア化も可能であり、この図２に示す装
置をハードウェアで構成すればリアルタイム性をさらに
向上させることができる。またこの図２に示す移動体追
跡装置は、ターゲットの持つ様々な情報を捉え、それら
を二次元マップの形式で統合してターゲット位置を検出
するようにしたため、ターゲットの大きな変形等にも強
く、実用上問題のない精度でのターゲットの追跡が可能
である。

【００９７】図１４は、本発明の移動体追跡装置のもう
１つの実施形態を示すブロック図である。カメラ１００
で撮影された画像は、移動体追跡装置２００の入力手段
２０１で逐次リアルタイムに取り込まれ移動体追跡手段
２０２で追跡処理される。移動体追跡手段の内容は、図
２に示す装置全体が対応し、これまで説明してきたとお
りのものである。マーク発生手段２０３は、予め作成し
ておいた縦長の楕円形のマークを移動体追跡手段２０２
で演算された移動体位置に形成する。マーク発生手段２
０２で発生したマークはテロップ表示装置３００により
カメラ１００で撮影された画像と合成され、放送装置４
００で放送される。

【００９８】この放送装置４００で放送された画像は、
図示しない受像機（例えばテレビ）で受像され、その表
示画面上に画像が表示されるが、その表示された画像上
ではある移動体に縦長の楕円形のマークが付されてお
り、従って、その移動体が移動しても見失うことなく常
にその移動体を注目することができる。

【００９９】

【発明の効果】以上説明したように、本発明によれば、
リアルタイム性と追跡性能の向上が図られた移動体追跡
装置が実現する。

【図面の簡単な説明】

【図１】本発明の移動体追跡装置の一実施形態を含む自
動追跡システムの模式図である。

【図２】図１に示すコンピュータシステム内に構築され
た本発明の一実施形態としての移動体追跡装置の機能構
成図である。

【図３】色空間ディストーションマップの作成過程の説
明図である。

【図４】微分フィルタおよびテンプレートを示した図で
ある。

【図５】信頼性評価部の動作説明図である。

【図６】２つのディストーションマップＤ₁ ，Ｄ₂ の各
最小値Ｄ_1min，Ｄ_2minの時間的な変化、および２つのデ
ィストーションマップＤ₁ ，Ｄ₂ をその後の処理に使用
する（信頼性が高い）か否かの時間的な変化を示す図で
ある。

【図７】２つの重み付け加算部の作用の説明図である。

【図８】動き予測値マップ作成部の動作説明図である。

【図９】近似物体検出部の作用説明図である。

【図１０】評価・統合部の作用説明図である。

【図１１】各テンプレートの設定方法の第１例を示す説
明図である。

【図１２】各テンプレートの設定方法の第２例を示す説
明図である。

【図１３】各テンプレートの設定方法の第３例を示す説
明図である。

【図１４】本発明の移動体追跡装置のもう１つの実施形
態を示すブロック図である。

【符号の説明】

１コンピュータシステム２ビデオカメラ３サーボシステム１０色空間ディストーションマップ作成部１１演算部２０微分処理部２１微分演算部３０微分空間ディストーションマップ作成部３１演算部４０評価値マップ作成部４１信頼性評価部４２，４３重み付け加算部５０最小値位置検出部６０動き予測値マップ作成部６１次フレーム予測動きベクトル計算部６２予測関数生成部７０色テンプレート更新部７１近似物体検出部７１ａ極小値位置検出部７１ｂ干渉物体監視部７２評価・統合部１００カメラ１０１本体部１０２キーボード１０３マウス１０４ＣＲＴ表示部２００移動体追跡装置２０１入力手段２０２移動体追跡手段２０３マーク発生手段２０４テロップ表示装置２０５放送装置

Claims

(57)【特許請求の範囲】

【請求項１】１つ以上の移動体を含むシーンが撮影さ
れてなる、順次連続する複数のフレームからなる原画像
を入力し、該原画像に映し出された移動体の中から選択
された被追跡用移動体を追跡する移動体追跡装置におい
て、前記原画像を構成する色分解画像に映し出された被追跡
用移動体と対比される色テンプレートと、前記色分解画
像との第１の相関値の分布を求める第１の相関値分布演
算部と、前記原画像を空間的に微分することにより微分
画像を求める微分処理部と、前記微分画像に映し出された被追跡用移動体と対比され
る微分テンプレートと、前記微分画像との第２の相関値
の分布を求める第２の相関値分布演算部と、被追跡用移動体の過去の動きに基づいて、該被追跡用移
動体が存在する蓋然性をあらわす動き予測値の分布を求
める動き予測値分布演算部と、前記第１の相関値、前記第２の相関値、および前記動き
予測値を統合して評価値を求めることにより、被追跡用
移動体の存在位置を表わす評価値の分布を求める評価値
分布演算部と、前記評価値分布演算部で求められた評価値の分布に基づ
いて、被追跡用移動体の存在位置を検出する位置検出部
とを備えたことを特徴とする移動体追跡装置。
【請求項２】前記評価値分布演算部が、前記第１の相関
値の分布の信頼性を評価する信頼性評価部を含み、信頼
性が低いと判定された第１の相関値の分布を前記評価値
の分布を求める処理から除外した上で、該評価値の分布
を求めるものであることを特徴とする請求項１記載の移
動体追跡装置。
【請求項３】前記評価値分布演算部が、前記第１の相関
値の分布の信頼性および前記第２の相関値の分布の信頼
性を評価する信頼性評価部を含み、信頼性が低いと判定
された第１の相関値の分布、および信頼性が低いと判定
された第２の相関値の分布を、前記評価値の分布を求め
る処理から除外した上で、該評価値の分布を求めるもの
であることを特徴とする請求項１記載の移動体追跡装
置。
【請求項４】前記色テンプレートが、順次更新されるテ
ンポラリテンプレートを含むものであって、前記色分解
画像内の、前記位置検出部で検出された、被追跡用移動
体の存在位置を含む画像領域を該テンポラリテンプレー
トに統合することにより、テンポラリテンプレートを更
新する色テンプレート更新部を備えたことを特徴とする
請求項１記載の移動体追跡装置。
【請求項５】前記評価値分布演算部が、前記第１の相関
値と前記第２の相関値とを各画素毎に統合して各画素毎
の統合化相関値を求めることにより統合化相関値の分布
を求める第１の統合化処理部と、該第１の統合化処理部
で求められた統合化相関値と前記動き予測値分布演算部
で求められた動き予測値とを各画素毎に統合して各画素
毎の評価値を求めることにより前記評価値の分布を求め
る第２の統合化処理部とを有し、前記テンプレート更新部が、前記統合化相関値の分布に基づいて、被追跡用移動体に
近似した近似物体の存在位置を、複数位置の検出を許容
して検出する近似物体検出部と、前記色分解画像内の、前記位置検出部で検出された、被
追跡用移動体の存在位置を含む第１の画像領域と、前記
テンポラリプレートとの近似の度合いをあらわす第１の
近似度、および該第１の画像領域と、前記近似物体検出
部で検出された、近似物体の存在位置を含む第２の画像
領域との近似の度合いをあらわす第２の近似度を求め、
前記第１の近似度の方が前記第２の近似度よりも近似の
度合いが大きいことをあらわしている場合に前記第１の
画像領域をテンポラリテンプレートに統合することによ
り、テンポラリテンプレートを更新する評価・統合部と
を有することを特徴とする請求項４記載の移動体追跡装
置。
【請求項６】前記第１の相関値分布演算部および前記第
２の相関値分布演算部に共用される、もしくはこれら第
１の相関値分布演算部及び第２の相関値分布演算部それ
ぞれに配備された、２つの画像ないし画像領域の、互い
に対応する画素に割り当てられた画素値どうしの差分の
絶対値を、該２つの画像ないし画像領域にわたって積算
してなる相関値を求める相関器を備え、前記微分処理部が、前記相関器に、前記原画像を微分し
て微分画像を求める微分演算のうちの一部の演算を実行
させるものであることを特徴とする請求項１記載の移動
体追跡装置。
【請求項７】前記動き予測値分布演算部が、被追跡用移
動体の、現時点から次の時点までの間の動きを予測した
予測動きベクトルを求め、該予測動きベクトルがあらわ
す該次の時点における被追跡用移動体の存在予測位置に
最大の蓋然性、該存在予測位置から離れるに従って低下
した蓋然性をあらわす動き予測値を、前記探索領域内の
各画素に対応づけるものであることを特徴とする請求項
１記載の移動体追跡装置。
【請求項８】前記動き予測値分布演算部が、現時点にお
ける被追跡用移動体の存在予測位置をあらわす、過去の
時点で求められた予測動きベクトルと、前記位置検出部
により前記過去の時点と現時点との双方で検出された被
追跡用移動体の存在位置どうしの位置の相違から求めら
れる被追跡用移動体の実際の動きをあらわす動きベクト
ルとに基づいて、該被追跡用移動体の、現時点から次の
時点までの間の動きを予測した予測動きベクトルを求め
るものであることを特徴とする請求項７記載の移動体追
跡装置。
【請求項９】前記動き予測値分布演算部が、前記予測動
きベクトルがあらわす被追跡用移動体の存在予測位置を
中心とした距離の関数としての動き予測値を、前記探索
領域内の各画素に対応づけるものであることを特徴とす
る請求項７記載の移動体追跡装置。
【請求項１０】前記動き予測値分布演算部が、前記予測
動きベクトルがあらわす被追跡用移動体の存在予測位置
を中心とし、該予測動きベクトルの方向の距離に対する
重みと該方向に対し交わる方向の距離に対する重みとが
異なる重みをもつ、これら２つの距離の関数としての動
き予測値を、前記探索領域内の各画素に対応づけるもの
であることを特徴とする請求項７記載の移動体追跡装
置。
【請求項１１】前記動き予測値演算部が、前記予測動き
ベクトルの大きさを変数とした関数としての動き予測値
を、前記探索領域内の各画素に対応づけるものであるこ
とを特徴とする請求項７記載の移動体追跡装置。
【請求項１２】前記第２の相関値演算部が、被追跡用移
動体の追跡に先立って指定された原画像上の所定位置と
同一の、微分画像上の所定位置を含む、該微分画像内の
所定の画像領域を、前記微分テンプレートとして設定す
るものであることを特徴とする請求項１記載の移動体追
跡装置。
【請求項１３】前記第２の相関値分布演算部が、被追跡
用移動体の追跡に先立って指定された原画像上の所定位
置と同一の、微分画像上の所定位置を含む、該微分画像
内の、前記微分テンプレートの寸法よりも大きな寸法の
画像領域内で、被追跡用移動体として指定され得る移動
体に対し共通的に設定された共通テンプレートとの近似
の度合の高い、前記微分テンプレートの寸法と同一寸法
の一部領域を検出し、該一部領域を前記微分テンプレー
トとして設定するものであることを特徴とする請求項１
記載の移動体追跡装置。
【請求項１４】前記第２の相関値分布演算部が、前記微
分テンプレートを初回に設定した時点よりも後の１つ以
上の各時点において、前記微分画像内の、前記位置検出
部で検出された、被追跡用移動体の存在位置を含む画像
領域を、該微分テンプレートに統合することにより、該
微分テンプレートを更新する、被追跡用移動体の追跡を
開始した後の所定の初期段階で動作する微分テンプレー
ト更新部を備えたことを特徴とする請求項１３記載の移
動体追跡装置。
【請求項１５】前記色テンプレートが、固定された固定
テンプレートを含むものであって、前記第１の相関値分
布演算部が、前記微分テンプレートが設定もしくは最終
的に更新された時点における、前記色分解画像内の、前
記位置検出部で検出された、被追跡用移動体の存在位置
を含む画像領域を、前記固定テンプレートとして設定す
るものであることを特徴とする請求項１２から１４のう
ちのいずれか１項記載の移動体追跡装置。