JP4725490B2

JP4725490B2 - 自動追尾方法

Info

Publication number: JP4725490B2
Application number: JP2006293079A
Authority: JP
Inventors: 聡古川
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2006-10-27
Filing date: 2006-10-27
Publication date: 2011-07-13
Anticipated expiration: 2026-10-27
Also published as: JP2008112210A

Description

本発明は、撮影した画像中の特定の物体を自動的に追尾する自動追尾装置に用いられる自動追尾方法に関するものである。

近年、その利便性から、追尾対象及びその周辺の範囲を撮像した画像を利用する自動追尾装置が多くの分野で利用されており、このような自動追尾装置では、追尾対象を自動追尾する方法として、テンプレートマッチング法を利用した自動追尾方法が用いられている（例えば、特許文献１）。

上述したようなテンプレートマッチング法を利用した自動追尾方法は、テンプレートと呼ばれる所定の大きさに切り出した画像データを、撮像手段等で撮像した画像上で順次移動させ、移動させたそれぞれの位置での画像データとの相関演算を行うことで、最も相関の高い位置を探し出し、その位置を追尾対象の移動体の新たな位置とする処理を繰り返し行うことで、追尾対象を追尾する方法である。
特開平９−２６５５３８号公報（図１〜図３参照）

しかしながら、上述したようなテンプレートマッチング法を利用した自動追尾方法では、テンプレートマッチングを行う際に、撮像手段で得られた画像全体に対してテンプレートとの相関値が演算されるので、相関値の演算に時間がかかり、これにより追尾対象を検出するための処理時間が長くなってしまうという問題があった。

そこで、追尾対象の移動体の位置を中心とした所定範囲を探索範囲と定め、この探索範囲内においてテンプレートマッチングを行う方法が考えられるが、不用意に探索範囲を狭めてしまうと、追尾対象の移動体が探索範囲内に含まれなくなって、追尾対象を逃してしまうおそれがあった。

本発明は上述の点に鑑みて為されたもので、その目的は、追尾対象を逃すことなく処理時間を短縮できる自動追尾方法を提供することにある。

上記の課題を解決するために、請求項１の発明では、撮像手段で撮像した画像群から時間的な変化を元に移動体を検出する移動体検出手段と、前記撮像手段で撮像した画像を元に作成された追尾対象の移動体のテンプレートが記憶されるテンプレート記憶手段と、過去の画像における追尾対象の移動体の位置を参照して今回の画像における追尾対象の移動体の位置を予測する位置予測手段と、前記テンプレートを用いたテンプレートマッチングによって今回の画像から追尾対象の移動体の検出を行うテンプレートマッチング手段とを備える自動追尾装置に用いられる自動追尾方法であって、位置予測手段は、前回の画像における追尾対象の移動体の位置と前々回の画像における追尾対象の移動体の位置を元にして追尾対象の移動体の移動ベクトルを算出する移動ベクトル算出過程と、前回の画像における追尾対象の移動体の位置と前記移動ベクトルとを元に今回の画像における追尾対象の移動体の位置を予測する位置予測過程と、今回の画像から前記移動体検出手段により検出した移動体のうち前記予測位置を含む予測移動範囲と重複する移動体を全て囲う最小範囲を元にして今回の画像における追尾対象の移動体の探索範囲を設定する探索範囲設定過程とを実行し、テンプレートマッチング手段は、前記探索範囲内において前記テンプレートを用いてテンプレートマッチングを行うことを特徴とする。

請求項１の発明によれば、今回の画像から前記移動体検出手段により検出した移動体のうち、前回及び前々回の画像における追尾対象の移動体の位置を元に算出した移動ベクトルを用いて予測した今回の画像における移動体の位置を含む予測移動範囲と重複する移動体を全て囲う最小範囲を元にしてテンプレートマッチングにより追尾対象の移動体を探索する際の探索範囲を設定しているので、従来のように撮像手段で得られた画像全体を探索範囲とする場合に比べて、処理時間を短縮できるという効果を奏し、しかも追尾対象の移動体であると予測される移動体は、全て探索範囲内に含まれることになるから、追尾対象の移動体を逃してしまうことがないという効果を奏する。また、今回の画像において追尾対象の移動体が複数の移動体に分かれて検出されてしまった場合でも、追尾対象の移動体を除外してしまうことがなくなるから、追尾精度を向上できるという効果を奏する。

請求項２の発明では、請求項１の発明において、位置予測手段は、探索範囲設定過程において、前記移動ベクトルから算出した追尾対象の移動体の移動速度及び前記予測位置を基準として設定した範囲を制限範囲として用い当該制限範囲と前記最小範囲が重複する範囲を探索範囲として設定することを特徴とする。

請求項２の発明によれば、今回の画像から前記移動体検出手段により検出した移動体のうち、前回及び前々回の画像における追尾対象の移動体の位置を元に算出した移動ベクトルを用いて予測した今回の画像における追尾対象の移動体の位置を含む予測移動範囲と重複する移動体を全て囲う最小範囲と、移動ベクトルから算出した追尾対象の移動体の移動速度及び前記予測位置を基準として設定した範囲及び前記予測位置を基準として設定した範囲からなる制限範囲とで重複する範囲を、テンプレートマッチングにより追尾対象の移動体の探索範囲としているので、従来のように撮像手段で得られた画像全体を探索範囲とする場合に比べて、処理時間を短縮できるという効果を奏し、しかも追尾対象の移動体であると予測される移動体は、全て探索範囲内に含まれることになるから、追尾対象の移動体を逃してしまうことがないという効果を奏する。また、ノイズ等による探索範囲の広域化を効率的に抑制できるという効果を奏する。さらに、今回の画像において追尾対象の移動体が複数の移動体に分かれて検出されてしまった場合でも、追尾対象の移動体を除外してしまうことがなくなるから、追尾精度を向上できるという効果を奏する。

請求項３の発明では、請求項１の発明において、位置予測手段は、探索範囲設定過程において、追尾対象の移動体のテンプレートのサイズ及び前記予測位置を基準として設定した範囲を制限範囲として用い当該制限範囲と前記最小範囲が重複する範囲を探索範囲として設定することを特徴とする。

請求項３の発明によれば、今回の画像から前記移動体検出手段により検出した移動体のうち、前回及び前々回の画像における追尾対象の移動体の位置を元に算出した移動ベクトルを用いて予測した今回の画像における追尾対象の移動体の位置を含む予測移動範囲と重複する移動体を全て囲う最小範囲と、追尾対象の移動体のテンプレートのサイズ及び前記予測位置を基準として設定した範囲からなる制限範囲とで重複する範囲を、テンプレートマッチングにより追尾対象の移動体を探索範囲としているので、従来のように撮像手段で得られた画像全体を探索範囲とする場合に比べて、処理時間を短縮できるという効果を奏し、しかも追尾対象の移動体であると予測される移動体は、全て探索範囲内に含まれることになるから、追尾対象の移動体を逃してしまうことがないという効果を奏する。また、ノイズ等による探索範囲の広域化を効率的に抑制できるという効果を奏する。さらに、今回の画像において追尾対象の移動体が複数の移動体に分かれて検出されてしまった場合でも、追尾対象の移動体を除外してしまうことがなくなり、追尾精度を向上できるという効果を奏する。

請求項４の発明では、請求項１〜３のいずれか１項の発明において、位置予測手段は、探索範囲設定過程を実行した後に、前記探索範囲内において前記移動体検出手段で検出した移動体の表示に使用されている移動画素が集中している範囲を制限探索範囲として設定する探索範囲制限過程を実行し、テンプレートマッチング手段は、前記制限探索範囲内において前記テンプレートを用いてテンプレートマッチングを行うことを特徴とする。

請求項４の発明によれば、探索範囲設定過程により得られた探索範囲内において移動体検出手段で検出した移動体の移動画素が集中している範囲を、テンプレートマッチングにより追尾対象の移動体を探索する際の探索範囲としているので、従来のように撮像手段で得られた画像全体を探索範囲とする場合に比べて、処理時間を短縮できるという効果を奏し、しかも追尾対象の移動体であると予測される移動体は、全て探索範囲内に含まれることになるから、追尾対象の移動体を逃してしまうことがないという効果を奏する。また、ノイズ等による探索範囲の広域化を効率的に抑制できるという効果を奏し、その上、探索範囲を追尾対象の移動体のサイズに近付けることができるという効果を奏する。さらに、今回の画像において追尾対象の移動体が複数の移動体に分かれて検出されてしまった場合でも、追尾対象の移動体を除外してしまうことがなくなるから、追尾精度を向上できるという効果を奏する。

請求項５の発明では、請求項４の発明において、前記探索範囲内において前記移動画素のＸ軸の一画素列における分布をＹ軸方向に積算してなるＸ軸分布データ及びＹ軸の一画素列における前記移動画素の分布をＸ軸方向に積算してなるＹ軸分布データを作成する分布データ作成過程と、Ｘ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域及びＹ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域からなる範囲を前記探索範囲内において前記移動画素が集中している範囲とする分布分析過程とを有していることを特徴とする。

請求項５の発明によれば、探索範囲設定過程により得られた探索範囲内において移動体検出手段で検出した移動体の移動画素が集中している範囲を、テンプレートマッチングにより追尾対象の移動体を探索する際の探索範囲としているので、従来のように撮像手段で得られた画像全体を探索範囲とする場合に比べて、処理時間を短縮できるという効果を奏し、しかも追尾対象の移動体であると予測される移動体は、全て探索範囲内に含まれることになるから、追尾対象の移動体を逃してしまうことがないという効果を奏する。また、ノイズ等による探索範囲の広域化を効率的に抑制できるという効果を奏し、その上、探索範囲を追尾対象の移動体のサイズに近付けることができるという効果を奏する。さらに、今回の画像において追尾対象の移動体が複数の移動体に分かれて検出されてしまった場合でも、追尾対象の移動体を除外してしまうことがなくなるから、追尾精度を向上できるという効果を奏する。

請求項６の発明では、請求項５の発明において、分布分析過程は、Ｘ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とＹ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とを選出した際に、Ｘ軸分布データとＹ軸分布データの少なくとも一方に前記領域が複数存在する場合は、前記複数の領域のうち前記予測位置に最も近い領域を一方において前記移動画素数が所定の閾値以上となる領域として採用することを特徴とする。

請求項６の発明によれば、探索範囲内において移動体の移動画素が集中している範囲が複数現れても、予測位置に最も近い範囲を採用することで追尾対象ではない移動体を探索範囲から除外することができるから、さらなる処理時間の短縮を図ることができるという効果を奏する。

請求項７の発明では、請求項５の発明において、分布分析過程は、Ｘ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とＹ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とを選出した際に、Ｘ軸分布データとＹ軸分布データの一方に前記領域が複数存在する場合は、他方の軸の一画素列における前記移動画素の分布を前記複数の領域のうち追尾対象の移動体の予測位置に最も近い領域の分だけ積算してなる２次分布データを生成し、前記最も近い領域を一方において前記移動画素数が所定の閾値以上となる領域として採用し、前記２次分布データにおいて前記移動画素数が所定の閾値以上となる領域を他方において前記移動画素数が所定の閾値以上となる領域として採用することを特徴とする。

請求項７の発明によれば、探索範囲内において移動体の移動画素が集中している範囲が複数現れても、予測位置に最も近い範囲を採用することで追尾対象ではない移動体を探索範囲から除外することができるから、さらなる処理時間の短縮を図ることができるという効果を奏する。

本発明は、今回の画像から前記移動体検出手段により検出した移動体のうち、前回及び前々回の画像における追尾対象の移動体の位置を元に算出した移動ベクトルを用いて予測した今回の画像における移動体の位置を含む予測移動範囲と重複する移動体を全て囲う最小範囲を元にしてテンプレートマッチングにより追尾対象の移動体を探索する際の探索範囲を設定しているので、従来のように撮像手段で得られた画像全体を探索範囲とする場合に比べて、処理時間を短縮できるという効果を奏し、しかも追尾対象の移動体であると予測される移動体は、全て探索範囲内に含まれることになるから、追尾対象の移動体を逃してしまうことがないという効果を奏する。また、今回の画像において追尾対象の移動体が複数の移動体に分かれて検出されてしまった場合でも、追尾対象の移動体を除外してしまうことがなくなるから、追尾精度を向上できるという効果を奏する。

（実施形態１）
本実施形態の自動追尾方法を適用した自動追尾装置は、図１（ａ）に示すように、撮像手段１と、撮像手段１で撮像した画像をＡ／Ｄ変換するＡ／Ｄ変換手段２と、撮像手段１で撮像した画像群が記憶される画像記憶手段３と、画像記憶手段３に記憶された画像群から時間的な変化を元に移動体を検出する移動体検出手段４と、撮像手段１の画像を元に作成された追尾対象の移動体のテンプレートが記憶されるテンプレート記憶手段５と、過去の画像における追尾対象の移動体の位置を参照して今回の画像（すなわち追尾対象の移動体の検出が行われる画像）における追尾対象の移動体の位置を予測する位置予測手段６０を有する制御手段６と、前記テンプレートを用いたテンプレートマッチングによって今回の画像から追尾対象の移動体の検出を行うテンプレートマッチング手段７と、今回の画像からテンプレートマッチング手段７で検出した追尾対象の移動体の画像を切り出す（抽出する）切出手段８と、切出手段８により切り出した追尾対象の移動体の画像を新たなテンプレートとしてテンプレート記憶手段５に記憶させるテンプレート更新手段９と、切出手段８により切り出した追尾対象の移動体の画像等を表示する画像表示手段１０とを備えている。

撮像手段１は、例えば、所定領域を時系列で連続して撮像する撮像素子（図示せず）を備え、画像（画像データ）をアナログ信号として出力するカメラ装置である。尚、撮像手段１としては、一般的なＣＭＯＳカメラのようにデバイス自体が画像をデジタル信号として出力するものを用いてもよく、この場合はＡ／Ｄ変換手段２を設けなくてもよい。

Ａ／Ｄ変換手段２は、撮像手段１が出力するアナログ信号をデジタル信号に変換するためのものであり、Ａ／Ｄ変換手段２により変換されたデジタル信号は、画像記憶手段３に出力され、画像記憶手段３で記憶される。

画像記憶手段３は、ＲＡＭ等の記憶装置であり、撮像手段１で撮像した画像等を記憶するために用いられる。撮像手段１で撮像した画像は、例えばＸ軸方向（横方向）の画素数がｍであり、Ｙ軸方向（縦方向）の画素数がｎであるような（但し、ｍ，ｎはともに整数）、すなわち解像度がｍ×ｎの画像として画像記憶手段３に記憶される。ここで、画像記憶手段３に記憶させる画像の情報としては、移動体検出手段４で移動体を検出する点のみを考慮すれば、モノクロの濃淡画像で十分であるが、画像表示手段１０にて画像表示を行うため、色情報も記憶するようにしている。尚、以下の説明では、図１（ｂ）における右方向をＸ軸の正方向、図１（ｂ）における上方向をＹ軸の正方向と規定する。

移動体検出手段４は、撮像手段１により得られた画像群（時系列順に並んだ画像群）を元にして、各画像における移動体の検出を行うものであって、例えば、輪郭抽出手段と、移動輪郭抽出手段と、移動領域検出手段とを有している。

輪郭抽出手段は、例えば、撮像手段１より得られるモノクロの濃淡画像を元に、一般的に知られたＳＯＢＥＬフィルタ（ＳＯＢＥＬオペレータ）等を使用して微分処理して輪郭（エッジ）の抽出を行うことで、画像記憶手段３に記憶されている画像から輪郭画像（エッジ画像）を作成するように構成されている。移動輪郭抽出手段は、輪郭抽出手段により作成された輪郭画像を用いて論理合成を行い、移動体の輪郭のみを抽出した画像（移動輪郭画像）を作成するように構成されている。移動領域検出手段は、移動輪郭抽出手段で作成した画像をラベリングして移動体に相当する領域（以下、「移動領域」と称する）を検出するように構成されている。ここで、移動領域は、移動体の輪郭に外接する矩形状の領域で表すようにしてあり、このようにすれば、データ量が減って計算が容易となる。

したがって、以上述べた移動体検出手段４によれば、例えば、図１（ｂ）に示すように、今回の画像、すなわち追尾対象の移動体を検出する対象となる画像において、移動体の輪郭に外接する移動領域Ｍ１〜Ｍ４がラベリングされた移動輪郭画像Ｄが得られる。尚、上記の例では、輪郭画像を用いて移動体を検出する例について述べたが、濃淡画像の時間的変化によって移動体を検出するようにしてもよいし、その他の様々な周知の方法を用いるようにしてもよい。

テンプレート記憶手段５は、ＲＡＭ等の記憶装置であり、テンプレートマッチング手段７において使用するテンプレートを記憶するために用いられる。

制御手段６は、テンプレートマッチング手段７と切出手段８とテンプレート更新手段９の動作を制御するためのものであって、例えばＣＰＵ等を備えるマイクロコンピュータ（マイコン）からなり、追尾対象指定手段と、位置予測手段６０と、追尾対象表示手段とを有している。また、制御手段６には、追尾対象指定手段で用いられるコンソール等が設けられる。

追尾対象指定手段は、追尾対象の移動体を指定する前の初期状態において、画像表示手段１０に表示される撮像手段１の画像から追尾対象の移動体を選択するためのものであり、切出手段８を制御して画像記憶手段３に記憶されている画像を切出処理等することなく画像表示手段１０に出力するように構成されている。また、追尾対象指定手段は、コンソール等のユーザインターフェースからの入力によって撮像手段１の画像から追尾対象の移動体を指定することができるように構成されている。尚、コンソール等により画像の所定領域を指定する構成は、周知のものを採用できるから説明を省略する。

そして、撮像手段１の画像から追尾対象の移動体が指定された際には、切出手段８を制御して、前記撮像手段１の画像から追尾対象の移動体の画像を取得し、この画像をテンプレート更新手段９によりテンプレートとしてテンプレート記憶手段５に記憶させるように構成されている。

また、制御手段６では、このような追尾対象指定手段によらずに、移動体を検出した際には、自動的にその移動体の画像をテンプレートに設定し、以後、その移動体を追尾するように構成してもよい。このような構成は、従来周知のものであるから詳細な説明は省略する。

位置予測手段６０は、過去の追尾対象の移動体の位置（前回の追尾対象の移動体の位置と、前々回の追尾対象の移動体の位置）を元にして追尾対象の移動体の位置を予測することで、処理時間（主にテンプレートマッチング手段７での処理時間）の短縮を図るためのものであり、本実施形態では、移動ベクトル算出過程と、位置予測過程と、探索範囲設定過程とを実行するように構成されている。

以下に、図１（ｂ）に示す移動輪郭画像Ｄを参照して、移動ベクトル算出過程と、位置予測過程と、探索範囲設定過程とについて説明する。

移動ベクトル算出過程は、図１（ｂ）に示すように、前回の画像における追尾対象の移動体の位置Ｐ２と、前々回の画像における追尾対象の移動体の位置Ｐ１を元にして、追尾対象の移動体の移動ベクトルＬを算出する過程である。ここで、追尾対象の移動体の位置は、例えば、追尾対象の移動体を表示する画素群の重心位置の画素の座標を用いて表されており、前々回の画像における追尾対象の移動体の位置Ｐ１を画像上の座標（ｘ_１，ｙ_１）とし、前回の画像における追尾対象の移動体の位置Ｐ２を画像上の座標（ｘ_２，ｙ_２）とすれば、その移動ベクトルＬは、（ｘ_２−ｘ_１，ｙ_２−ｙ_１）で表される。

位置予測過程は、位置Ｐ２と、移動ベクトルＬとを元にして、今回の画像における追尾対象の移動体の位置（以下、「予測位置」と称する）Ｐ３の画像上の座標（ｘ_３，ｙ_３）を予測する過程である。本実施形態の位置予測過程では、撮像手段１で撮像される時系列順の画像間の時間のような短時間の間では追尾対象の移動体の移動ベクトルＬがほとんど変化していないと仮定して、予測位置Ｐ３を、位置Ｐ２から移動ベクトルＬだけ移動した位置と予測するように構成されている。つまり、図１（ｂ）に示す予測位置Ｐ３の座標（ｘ_３，ｙ_３）は、（２ｘ_２−ｘ_１，２ｙ_２−ｙ_１）で与えられることになる。尚、予測位置Ｐ３の算出方法は、上記の方法に限られるものではなく、さらに様々な条件を考慮して算出するようにしてもよい。また、予測位置Ｐ３を算出する際に、前々回の位置Ｐ１と前回の位置Ｐ２に加えて、さらに過去の位置の履歴を参照して予測を行うようにしてもよく、またニューラルネットワーク等を用いて予測を行うようにしてもよい。

探索範囲設定過程は、図１（ｂ）に示すように、移動輪郭画像Ｄから移動体検出手段４により検出した移動領域Ｍ１〜Ｍ４のうち、前記位置予測過程により得た予測位置Ｐ３を含む予測移動範囲Ｆ１と重複する移動領域Ｍ１，Ｍ３，Ｍ４を全て囲う最小範囲（換言すれば、予測移動範囲Ｆ１にかかる移動領域Ｍ１，Ｍ３，Ｍ４を統合した範囲）Ｆ２を、移動輪郭画像Ｄにおける追尾対象の移動体の探索範囲として設定するように構成されている。

ここで、予測移動範囲Ｆ１は、予測位置Ｐ３を中心とする所定サイズの矩形状の領域としている。尚、予測移動範囲Ｆ１は、上記のように単に予測位置Ｐ３を中心とする矩形状の領域とするものに限らず、追尾対象の移動体の移動方向を考慮して、所定サイズの矩形状の領域の中心から予測位置Ｐ３を偏移させるようにしてもよい。また、予測移動範囲Ｆ１は、矩形状ではなくその他の形状（円形状）としてもよいが、矩形状とするほうが演算処理を容易にできるため好ましい。

そして、最小範囲Ｆ２は、上記の予測移動範囲Ｆ１を用いて次のようにして決定される。まず、今回の画像から移動体検出手段４により検出した移動領域Ｍ１〜Ｍ４の中から、予測移動範囲Ｆ１と重複する部分を有するものを選出する。すなわち、移動領域Ｍ１〜Ｍ４に、予測移動範囲Ｆ１内の画素が含まれるか否かを判別し、予測移動範囲Ｆ１内の画素が含まれる移動領域を、追尾対象の移動体の候補として選出する。例えば、図１（ｂ）に示す移動輪郭画像Ｄでは、移動体Ｍ２を除く移動領域Ｍ１，Ｍ３，Ｍ４が選出される。

この後に、上記のようにして選出された移動体Ｍ１，Ｍ３，Ｍ４を全て囲う最小範囲を求める。この最小範囲は、移動領域Ｍ１，Ｍ３．Ｍ４を構成する画素のうち、Ｘ軸の正方向において予測位置Ｐ３から最も離れている画素のＸ座標ｘ_ａと、Ｘ軸の負方向において予測位置Ｐ３から最も離れている画素のＸ座標ｘ_ｂと、Ｙ軸の正方向において予測位置Ｐ３から最も離れている画素のＹ座標ｙ_ａと、Ｙ軸の負方向において予測位置Ｐ３から最も離れている画素のＹ座標ｙ_ｂとを求めることで得ることができる。すなわち、前記最小範囲Ｆ２は、画素Ｑ１＝（ｘ_ｂ，ｙ_ａ）と、画素Ｑ２＝（ｘ_ａ，ｙ_ａ）と、画素Ｑ３＝（ｘ_ｂ，ｙ_ｂ）と、画素Ｑ４＝（ｘ_ａ，ｙ_ｂ）の４つの画素を頂点とする矩形状の範囲として得られる。ここで、最小範囲とは、厳密な意味で最小を要求しているものではなく、おおよそ最小とみなせる程度に小さければ、ノイズ等を考慮して多少の幅を持たせるようにしたものであってもよい。

最後に、このようにして得られた最小範囲Ｆ２が、今回の画像における追尾対象の移動体の探索範囲として設定され、この探索範囲の情報は、テンプレートマッチング手段７に出力される。

追尾対象表示手段は、テンプレートマッチング手段７から受け取ったテンプレートマッチングの結果を元に、移動輪郭画像Ｄにおいて最も相関値が高い位置を、追尾対象の移動体の位置として採用し、この位置を中心とする所定範囲の領域（例えば移動領域）の画像を、切出手段８により切り出して（場合によっては切り出して拡大して）、テンプレート更新手段９に出力させるように構成されている。また、追尾対象表示手段は、移動輪郭画像Ｄの元になった画像における上記追尾対象の移動体の位置を中心とする所定範囲の領域（例えば移動領域）の画像を切出手段８により切り出して拡大した後に、画像表示手段１０に出力させ、画像表示手段１０に色情報を付して表示させるように構成されている。

テンプレートマッチング手段７は、テンプレート記憶手段５に記憶されているテンプレートを用いてテンプレートマッチングを行うとともに、テンプレートマッチングの結果（相関値の情報）を制御手段６に出力するように構成されている。このテンプレートマッチング手段７においてテンプレートのマッチング対象となる画像は、位置予測手段６０により最小範囲Ｆ２からなる探索範囲が設定されていれば、移動輪郭画像Ｄにおける探索範囲内の画像が用いられる。すなわち、本実施形態の位置予測手段６０では、過去の追尾対象の移動体の位置データを必要とするので、位置データが足りない場合は、移動輪郭画像全体に対してテンプレートマッチングを行う。

切出手段８は、画像記憶手段３に記憶されている画像（撮像手段１より得られた画像）又は移動体検出手段４により生成された移動輪郭画像の一部を切り出し（抽出し）、画像表示手段１０又はテンプレート更新手段９に出力するように構成されている。

テンプレート更新手段９は、制御手段６より入力された画像を、次のテンプレートマッチングを行う際のテンプレートとして用いるために、テンプレート記憶手段５に記憶されているテンプレートを制御手段６より入力された画像に更新するように構成されている。

画像表示手段１０は、例えば、液晶ディスプレイ（ＬＣＤ）等の画像表示装置であり、切出手段８から入力された画像の表示を行うように構成されている。

次に、本実施形態の自動追尾装置の動作について、図１（ｂ）を参照して説明する。まず、追尾対象が設定される前の初期状態では、撮像手段１により得られる画像が、画像記憶手段３に記憶されるとともに、画像表示手段１０に表示される。すなわち、初期状態では、撮像手段１で得られる画像が、そのまま画像表示手段１０に表示される。

この初期状態において、コンソールを用いて画像表示手段１０に表示される画像から追尾対象が指定されると、制御手段６の追尾対象指定手段により切出手段８が制御されて、撮像手段１の画像から追尾対象の移動体の画像が切り出され、このようにして切り出された追尾対象の移動体の画像がテンプレート更新手段９によりテンプレートとしてテンプレート記憶手段５に記憶される。

テンプレートマッチング手段７では、テンプレート記憶手段５に記憶されたテンプレートを用いてテンプレートマッチングが行われる。ここで、制御手段６で追尾対象が指定された直後は、過去の追尾対象の移動体の位置データが足りないため、撮像手段１より得た画像全体に対してテンプレートマッチングが行われ、この結果が制御手段６に出力される。

制御手段６では、テンプレートマッチング手段７より得た結果を元に、画像（テンプレートマッチングが行われた画像）において最も相関値が高い位置を、追尾対象の移動体の位置として採用し、この位置を中心とする所定範囲の領域の画像を、切出手段８により拡大して切り出し、切り出した画像を、テンプレート更新手段９に送ってテンプレート記憶手段５に記憶されているテンプレートを更新させるとともに、切出手段８から画像表示手段１０に出力させて、画像表示手段１０により表示させる。

このようにして追尾対象の移動体の位置データが蓄積されて、過去２回の位置データが与えられると、テンプレートマッチング手段７でテンプレートマッチングを行う範囲を縮小すべく、位置予測手段６０により最小範囲Ｆ２からなる探索範囲が設定される。尚、最小範囲Ｆ２の設定方法については上述した通りであるから説明を省略する。

そして、探索範囲が設定された際には、テンプレートマッチング手段７では、位置予測手段６０で設定される探索範囲内において、テンプレート記憶手段５に記憶されたテンプレートを用いてテンプレートマッチングが行われ、この結果が制御手段６に出力される。

制御手段６では、テンプレートマッチング手段７から受け取ったテンプレートマッチングの結果を元に、移動輪郭画像Ｄにおいて最も相関値が高い位置を、追尾対象の移動体の位置として採用し、この位置を中心とする所定範囲の領域（例えば移動領域）の画像を、切出手段８により切り出して（場合によっては切り出して拡大して）、テンプレート更新手段９に出力させる。また、移動輪郭画像Ｄの元になった画像における上記追尾対象の移動体の位置を中心とする所定範囲の領域（例えば移動領域）の画像を切出手段８により切り出して拡大した後に、画像表示手段１０に出力させ、画像表示手段１０に色情報を付して表示させる。

以後、画像毎に探索範囲が設定されるとともに、更新されたテンプレートを用いてのテンプレートマッチングが繰り返し行われ、これにより追尾対象の移動体の追尾が継続されていくことになる。

以上述べた本実施形態の自動追尾方法によれば、今回の画像から移動体検出手段４により検出した移動体（移動領域）Ｍ１〜Ｍ４のうち、前回及び前々回の画像における追尾対象の移動体の位置Ｐ２，Ｐ１を元に算出した移動ベクトルＬを用いて予測した今回の画像における追尾対象の移動体の予測位置Ｐ３を含む予測移動範囲Ｆ１と重複する移動体（移動領域）Ｍ１，Ｍ３，Ｍ４を全て囲う最小範囲Ｆ２を、テンプレートマッチングにより追尾対象を探索する際の探索範囲としているので、従来のように撮像手段１で得られた画像全体を探索範囲とする場合に比べて、処理時間を短縮できるという効果を奏する。

しかも、予測位置Ｐ３を含む予測移動範囲Ｆ１と重複する移動体（移動領域）Ｍ１，Ｍ３，Ｍ４を全て囲う最小範囲Ｆ２を探索範囲とすることによって、追尾対象の移動体であると予測される移動体は、全て探索範囲内に含まれることになるから、追尾対象の移動体を逃してしまうことがないという効果を奏する。また、今回の画像において追尾対象が複数の移動体に分かれて検出されてしまった場合でも、追尾対象に関係する移動体を除外してしまうことがなくなり、追尾精度を向上できるという効果を奏する。

（実施形態２）
本実施形態の自動追尾方法は、上記実施形態１の自動追尾方法と同様に、図１（ａ）に示すような自動追尾装置に用いられるものであるが、主として位置予測手段６０で実行する探索範囲設定過程が実施形態１と異なっている。尚、その他の構成は実施形態１と同様であるから同様の構成については説明を省略する。

以下に、図２（ａ）に示す移動輪郭画像Ｄを参照して、本実施形態の探索範囲設定過程について説明する。

探索範囲設定過程は、最小範囲Ｆ２を算出するまでは上記実施形態１と同様であるが、移動ベクトルＬから追尾対象の移動体の移動速度を算出し予測位置Ｐ３を含む移動速度の実数倍（本実施形態ではａ倍、但しａは実数）の範囲を制限範囲Ｆ３として用い、制限範囲Ｆ３と最小範囲Ｆ２が重複する範囲からなる制限探索範囲Ｆ４を探索範囲として設定する点で異なっている。

制限範囲Ｆ３は、移動ベクトルＬと予測位置Ｐ３を用いて次のようにして決定される。まず、追尾対象の移動体の移動速度を算出する。ここで、撮像手段１より得られる画像群の時間間隔が一定であることを考慮すると、移動速度は移動ベクトルＬの大きさ（ノルム）に正比例することになる。したがって本実施形態では、移動速度は移動ベクトルＬの大きさＶで代用する。尚、移動輪郭画像Ｄ上の座標は整数で与えるようにしているから、Ｖの小数点以下は四捨五入や切捨て等によって除去する。

この後に、予測位置Ｐ３を中心とする移動速度Ｖの実数倍の範囲を求める。この範囲は、例えば移動輪郭画像Ｄ上において、画素Ｒ１＝（ｘ_３−ａ・Ｖ，ｙ_３＋ａ・Ｖ）と、画素Ｒ２＝（ｘ_３＋ａ・Ｖ，ｙ_３＋ａ・Ｖ）と、画素Ｒ３＝（ｘ_３−ａ・Ｖ，ｙ_３−ａ・Ｖ）と、画素Ｒ４＝（ｘ_３＋ａ・Ｖ，ｙ_３−ａ・Ｖ）の４つの画素Ｒ１〜Ｒ４を頂点とする矩形状の範囲としている。ここで、ａの値は、制限範囲Ｆ３によって追尾対象の移動体が移動しうる上限の範囲を与えるような値とすることが好ましい。ところで、ａの値は、所定値に固定するようにしてもよいが、移動ベクトルＬの大きさＶが大きくなった際には、追尾対象の移動体の予測位置が拡散するために予測位置精度が悪くなるので、例えば移動ベクトルＬの大きさＶに正比例して変化するようにしてもよく、このようにすれば、移動ベクトルＬの大きさＶが大きいほどａの値が大きく（制限範囲Ｆ３が広く）なるから、予測位置精度の悪化にも対応することができる。尚、ａの値はＸ軸方向とＹ軸方向とで倍率を異なる値に設定するようにしてもよい。

尚、上記の例は、制限範囲Ｆ３として、予測位置Ｐ３を中心とする移動速度のａ倍の範囲を用いたものであるが、制限範囲Ｆ３を設定する際には、予測位置Ｐ３を制限範囲Ｆ３の中心とせずに、移動ベクトルの向きを考慮して偏移させたものであってもよい。また尚、制限範囲Ｆ３の範囲の形状も矩形状に限らず、円形状等にしてもよいが、矩形状とするほうが演算処理を容易にできるため好ましい。

制限探索範囲Ｆ４は、上記のようにして得られた制限範囲Ｆ３と、最小範囲Ｆ２とが重複する範囲として与えられる。具体的には、制限範囲Ｆ３の４つの画素Ｒ１〜Ｒ４の各Ｘ，Ｙ座標と、最小範囲Ｆ２の４つの画素Ｑ１〜Ｑ４の各Ｘ，Ｙ座標とから、Ｘ軸の正方向及び負方向のそれぞれにおいて予測位置Ｐ３に最も近いＸ座標ｘ_ｃ，ｘ_ｄと、Ｙ軸の正方向及び負方向のそれぞれにおいて予測位置Ｐ３に最も近いＹ座標ｙ_ｃ，ｙ_ｄとを選出することで、制限探索範囲Ｆ４を得ることができる。すなわち、制限探索範囲Ｆ４は、画素Ｓ１＝（ｘ_ｄ，ｙ_ｃ）＝（ｘ_ｂ，ｙ_３＋ａ・Ｖ）と、画素Ｓ２＝（ｘ_ｃ，ｙ_ｃ）＝（ｘ_３＋ａ・Ｖ，ｙ_３＋ａ・Ｖ）と、画素Ｓ３＝（ｘ_ｄ，ｙ_ｄ）＝（ｘ_ｂ，ｙ_３−ａ・Ｖ）と、画素Ｓ４＝（ｘ_ｃ，ｙ_ｄ）＝（ｘ_３＋ａ・Ｖ，ｙ_３−ａ・Ｖ）の４つの画素Ｓ１〜Ｓ４を頂点とする矩形状の範囲として得られる。

このように本実施形態の自動追尾方法では、位置予測手段６０の探索範囲設定過程において、探索範囲を最小範囲Ｆ２ではなく、最小範囲Ｆ２を制限範囲Ｆ３で制限した範囲である制限探索範囲Ｆ４を探索範囲として設定するようにしているのである。したがって、本実施形態におけるテンプレートマッチング手段７では、制限探索範囲Ｆ４からなる探索範囲内においてテンプレートを用いてテンプレートマッチングが行われる。

以上述べたように、本実施形態の自動追尾方法によれば、実施形態１と同様の効果を奏する上に、最小範囲Ｆ２と、移動ベクトルＬから算出した追尾対象の移動体の移動速度及び予測位置Ｐ３を基準として設定した範囲からなる制限範囲Ｆ３とが重複する範囲からなる制限探索範囲Ｆ４を、テンプレートマッチングにより追尾対象を探索する際の範囲としているので、実施形態１に比べて処理時間をさらに短縮できるという効果を奏する。

ところで、実施形態１の自動追尾方法では、移動体検出手段４により移動領域の検出を行った際にノイズ等によって移動領域が広がってしまう場合があり、ノイズ等によって広がった移動領域が予測移動範囲Ｆ１と重複する部分を有するものであると、最小範囲Ｆ２にもノイズ等の影響が及んで、最小範囲Ｆ２も広がってしまう（すなわち探索範囲が広がってしまう）おそれがあった。これに対して本実施形態の自動追尾方法では、最小範囲Ｆ２を制限範囲Ｆ３によって制限してなる制限探索範囲Ｆ４を探索範囲として用いるようにしているので、上記のようなノイズ等によって最小範囲Ｆ２が広げられてしまった場合でも、制限範囲Ｆ３によってノイズによる不必要な探索範囲の広域化が抑制されるから、ノイズ等による探索範囲の広域化を効率的に抑制できるという効果を奏する。

以上述べた本実施形態の自動追尾方法では、予測位置Ｐ３を中心とした移動速度Ｖの実数倍の範囲を、制限範囲Ｆ３として用いているが、例えば図２（ｂ）に示すように、追尾対象の移動体のテンプレートのサイズ及び予測位置Ｐ３を基準として設定した範囲を、制限範囲Ｆ５として用い、制限範囲Ｆ５と最小範囲Ｆ２が重複する範囲からなる制限探索範囲Ｆ６を探索範囲として設定するようにしてもよい。

制限範囲Ｆ５は、例えば、予測位置Ｐ３を中心とするテンプレートのサイズの実数倍（本実施形態ではｂ倍、但しｂは実数）の範囲として設定される。ここで、テンプレートのサイズが、Ｔｘ×Ｔｙであるとすれば、制限範囲Ｆ５は、移動輪郭画像Ｄ上において、画素Ｒ１１＝（ｘ_３−ｂ・Ｔｘ／２，ｙ_３＋ｂ・Ｔｙ／２）と、画素Ｒ１２＝（ｘ_３＋ｂ・Ｔｘ／２，ｙ_３＋ｂ・Ｔｙ／２）と、画素Ｒ１３＝（ｘ_３−ｂ・Ｔｘ／２，ｙ_３−ｂ・Ｔｙ／２）と、画素Ｒ１４＝（ｘ_３＋ｂ・Ｔｘ／２，ｙ_３−ｂ・Ｔｙ／２）の４つの画素Ｒ１１〜Ｒ１４を頂点とする矩形状の範囲としている。ここで、ｂの値は、制限範囲Ｆ５によって追尾対象の移動体が移動しうる上限の範囲を与えるような値とすることが好ましい。ところで、ｂの値は、所定値に固定するようにしてもよいが、移動ベクトルＬの大きさＶが大きくなった際には、追尾対象の移動体の予測位置が拡散するために予測位置精度が悪くなるので、例えば移動ベクトルＬの大きさＶに正比例して変化するようにしてもよく、このようにすれば、移動ベクトルＬの大きさＶが大きいほどｂの値が大きく（制限範囲Ｆ５が広く）なるから、予測位置精度の悪化にも対応することができる。尚、ｂの値はＸ軸方向とＹ軸方向とで倍率を異なる値に設定するようにしてもよい。

尚、上記の例は、制限範囲Ｆ５として、予測位置Ｐ３を中心とするテンプレートのサイズのｂ倍の範囲を用いたものであるが、制限範囲Ｆ５を設定する際には、予測位置Ｐ３を制限範囲Ｆ５の中心とせずに、移動ベクトルの向きを考慮して偏移させたものであってもよい。また尚、制限範囲Ｆ５の範囲の形状も矩形状に限らず、円形状等にしてもよいが、矩形状とするほうが演算処理を容易にできるため好ましい。

制限探索範囲Ｆ６は、上記のようにして得られた制限範囲Ｆ５と、最小範囲Ｆ２とが重複する範囲として与えられる。具体的には、制限範囲Ｆ５の４つの画素Ｒ１１〜Ｒ１４の各Ｘ，Ｙ座標と、最小範囲Ｆ２の４つの画素Ｑ１〜Ｑ４の各Ｘ，Ｙ座標とから、Ｘ軸の正方向及び負方向のそれぞれにおいて予測位置Ｐ３に最も近いＸ座標ｘ_ｅ，ｘ_ｆと、Ｙ軸の正方向及び負方向のそれぞれにおいて予測位置Ｐ３に最も近いＹ座標ｙ_ｅ，ｙ_ｆとを選出することで、制限探索範囲Ｆ６を得ることができる。すなわち、制限探索範囲Ｆ６は、画素Ｓ１１＝（ｘ_ｆ，ｙ_ｅ）＝（ｘ_ｂ，ｙ_３＋ｂ・Ｔｙ／２）と、画素Ｓ１２＝（ｘ_ｅ，ｙ_ｅ）＝（ｘ_３＋ｂ・Ｔｘ／２，ｙ_３＋ｂ・Ｔｙ／２）と、画素Ｓ１３＝（ｘ_ｆ，ｙ_ｆ）＝（ｘ_ｂ，ｙ_３−ｂ・Ｔｙ／２）と、画素Ｓ１４＝（ｘ_ｆ，ｙ_ｅ）＝（ｘ_３＋ｂ・Ｔｘ／２，ｙ_３−ｂ・Ｔｙ／２）の４つの画素Ｓ１１〜Ｓ１４を頂点とする矩形状の範囲として得られる。

このようにすれば、最小範囲Ｆ２と、追尾対象の移動体のテンプレートのサイズ及び予測位置Ｐ３を基準として設定した範囲からなる制限範囲Ｆ５とが重複する範囲からなる制限探索範囲Ｆ６を、テンプレートマッチングにより追尾対象を探索する際の探索範囲としているので、上述したように制限探索範囲Ｆ４を探索範囲として用いた場合と同様の効果を奏する。

尚、本実施形態の自動追尾方法では、最小範囲Ｆ２を制限範囲Ｆ３によって制限してなる制限探索範囲Ｆ４、又は最小範囲Ｆ２を制限範囲Ｆ５によって制限してなる制限探索範囲Ｆ６をテンプレートマッチングにより追尾対象を探索する際の探索範囲としているが、最小範囲Ｆ２を算出せずに、制限範囲Ｆ３、又は制限範囲Ｆ５をテンプレートマッチングにより追尾対象を探索する際の探索範囲としてもよい。

このようにした場合であっても、前回及び前々回の画像における追尾対象の移動体の位置Ｐ２，Ｐ１を元に算出した移動ベクトルＬを用いて予測した今回の画像における追尾対象の移動体の予測位置Ｐ３と、追尾対象の移動体の移動速度、又は追尾対象の移動体のテンプレートのサイズとを基準にして設定した範囲内でテンプレートマッチングが行われるから、従来のように撮像手段１で得られた画像全体を探索範囲とする場合に比べて処理時間を短縮できるという効果が得られる。

（実施形態３）
本実施形態の自動追尾方法は、上記実施形態１の自動追尾方法と同様に、図１（ａ）に示すような自動追尾装置に用いられるものであるが、主として位置予測手段６０で実行する過程が実施形態１の自動追尾方法と異なっている。尚、その他の構成は実施形態１と同様であるから同様の構成については説明を省略する。

本実施形態の自動追尾方法における位置予測手段６０は、探索範囲設定過程を実行した後に、探索範囲設定過程で設定された探索範囲内において移動体検出手段４で検出した移動体の表示に使用されている画素（本実施形態の場合、移動領域のエッジの表示に使用されている画素）である移動画素が集中している範囲を制限探索範囲として設定する探索範囲制限過程を実行する点で実施形態１と異なっている。また、本実施形態の自動追尾方法におけるテンプレートマッチング手段７は、探索範囲制限過程により設定された制限探索範囲内においてテンプレートを用いてテンプレートマッチングを行うように構成されている。

以下に、図３（ａ）に示す移動輪郭画像Ｄ１を参照して探索範囲制限過程について説明する。尚、図３（ａ）に示す移動輪郭画像Ｄ１は、説明の簡略化のために実際とは白黒を反転させて示している。この点は後述する図４（ａ）に示す移動輪郭画像Ｄ２においても同様である。また以下の説明では、図３（ａ）に示すように移動体検出手段４により移動領域Ｍ１１〜Ｍ１４が検出され、実施形態１で述べた探索範囲設定過程により探索範囲Ｆ１０が設定されているとする。

探索範囲制限過程は、探索範囲Ｆ１０内において移動体検出手段４で検出した移動領域の移動画素が集中している範囲Ｆ１１を制限探索範囲として設定する過程であり、分布データ作成過程と、分布分析過程とを有している。

分布データ作成過程は、図３（ｂ）に示すようなＸ軸分布データと図３（ｃ）に示すようなＹ軸分布データとを作成する過程であり、各軸分布データは次のようにして作成される。すなわち、Ｘ軸分布データは、各Ｘ座標上における移動画素の数を表す分布データであり、探索範囲Ｆ１０内において移動体検出手段４で検出した移動領域Ｍ１１〜Ｍ１４の移動画素のＸ軸の一画素列における分布をＹ軸方向に積算することで作成される。また、Ｙ軸分布データは、各Ｙ座標上における移動画素の数を表す分布データであり、探索範囲Ｆ１０内において移動体検出手段４で検出した移動領域Ｍ１１〜Ｍ１４の移動画素のＹ軸の一画素列における分布をＸ軸方向に積算することで作成される。

分布分析過程は、分布データ作成過程により作成された各軸分布データを元に探索範囲Ｆ１０内において移動領域の移動画素が集中している範囲（すなわち制限探索範囲）Ｆ１１を求める過程である。

ここで、上記移動画素が集中している範囲Ｆ１１は、例えば図３（ｂ）に示すようにＸ軸分布データにおいて移動画素数が所定の閾値Ｔｈｘ以上となる領域Ａｘと、図３（ｃ）に示すようにＹ軸分布データにおいて移動画素数が所定の閾値Ｔｈｙ以上となる領域Ａｙからなる移動輪郭画像Ｄ１上の範囲として与えられる。ここで、移動画素数が所定の閾値以上となる領域は、ノイズや誤差等を考慮して移動画素数が所定の閾値未満となる座標が所定数以上連続しなければ一の領域であると判断するように設定してあり、これによって上記領域が細切れに現れてしまうことを防止している。

このように本実施形態の自動追尾方法における位置予測手段６０では、探索範囲Ｆ１０を移動領域の移動画素の分布を元にして制限した範囲Ｆ１１である制限探索範囲を得るようにしているのである。そして、これに対応してテンプレートマッチング手段７では、テンプレートのマッチング対象となる画像を、探索範囲Ｆ１０ではなく制限探索範囲（範囲Ｆ１１）内の画像としている。

したがって、本実施形態の自動追尾方法によれば、上記実施形態１と同様の効果を奏する。その上、探索範囲Ｆ１０において移動体検出手段４で検出した移動領域Ｍ１１〜Ｍ１４の移動画素が集中している範囲Ｆ１１である制限探索範囲を、テンプレートマッチングにより追尾対象を探索する際の範囲としているので、実施形態１に比べて処理時間をさらに短縮できるという効果を奏する。また、ノイズ等による探索範囲Ｆ１０の広域化を効率的に抑制できるという効果を奏する。加えて、テンプレートマッチングする際の範囲（すなわち制限探索範囲）を追尾対象の移動体のサイズに近付けることができるという効果を奏する。

さらに、ノイズ等によって探索範囲Ｆ１０が広げられてしまった場合でも、制限探索範囲によってノイズによる不必要な探索範囲Ｆ１０の広域化が抑制されるから、上記実施形態２と同様にノイズ等による探索範囲Ｆ１０の広域化を効率的に抑制できるという効果を奏する。

尚、上記の例では各軸分布データを所定の閾値を用いているが、この他の方法としては、所定範囲内の移動画素数をカウントする画素密度フィルタを用いるようにしてもよい。

ところで、図３（ａ）に示す移動輪郭画像Ｄ１では、Ｘ軸分布データにおいて移動画素数が所定の閾値Ｔｈｘ以上となる領域が領域Ａｘだけであり、Ｙ軸分布データにおいても移動画素数が所定の閾値Ｔｈｙ以上となる領域が領域Ａｙだけであるから、制限探索範囲も１つとなっているが、当然ながら、各軸分布データにおいて移動画素数が所定の閾値以上となる領域が複数現れる場合もある。

例えば、図４（ａ）に示すように、移動体検出手段４により移動領域Ｍ２１，Ｍ２２が得られた移動輪郭画像Ｄ２では、探索範囲設定過程により設定された探索範囲Ｆ２０内において、Ｘ軸分布データに、図４（ｂ）に示すように移動画素数が所定の閾値Ｔｈｘ以上となる領域が領域Ａｘ１と領域Ａｘ２の２つ存在している。尚、Ｙ軸分布データには、図４（ｃ）に示すように、移動画素数が所定の閾値Ｔｈｙ以上となる領域が領域Ａｙのみとなっている。

このような場合、上述した分布分析過程では、領域Ａｘ１と領域Ａｙからなる制限探索範囲Ｆ２１と、領域Ａｘ２と領域Ａｙからなる制限探索範囲Ｆ２２とが得られることになり、テンプレートマッチング手段７では、両制限探索範囲Ｆ２１，Ｆ２２においてテンプレートマッチングが行われることになる。

ここで、移動領域Ｍ２１が、追尾対象の移動体と何ら関係のない移動体を示すものであるとすれば、移動領域Ｍ２１によって生じた制限探索範囲Ｆ２１をテンプレートマッチングすることは時間の無駄になる。

そこで、このような追尾対象の移動体と関係のない移動領域Ｍ２１に起因する制限探索範囲Ｆ２１を排除するために、上記の分布分析過程時に、Ｘ軸分布データにおいて移動画素数が所定の閾値Ｔｈｘ以上となる領域とＹ軸分布データにおいて移動画素数が所定の閾値Ｔｈｙ以上となる領域とを選出した際に、Ｘ軸分布データとＹ軸分布データの少なくとも一方に領域が複数存在する場合は、複数の領域のうち追尾対象の移動体の予測位置Ｐ３に最も近い領域を一方において移動画素数が所定の閾値以上となる領域として採用するようにしている。例えば、領域毎に予測位置Ｐ３に最も近い画素と予測位置Ｐ３との距離を算出し、距離が最も短い領域を予測位置Ｐ３に最も近い領域として採用するのである。

図４（ａ）に示す場合では、Ｘ軸分布データに図４（ｂ）に示すように、移動画素数が所定の閾値Ｔｈｘ以上となる領域が領域Ａｘ１，Ａｘ２の２つあるが、領域Ａｘ２には予測位置Ｐ３のＸ座標が含まれるため、領域Ａｘ２が予測位置Ｐ３に最も近い領域であるとされ、この領域Ａｘ２のみがＸ軸分布データにおいて移動画素数が所定の閾値Ｔｈｘ以上となる領域として採用されることになる。

その結果、分布分析過程では領域Ａｘ２と領域Ａｙからなる制限探索範囲Ｆ２２のみがテンプレートマッチング手段７によるマッチング対象となる。

このようにすれば、探索範囲Ｆ２０内において移動領域が集中している範囲が複数現れても、予測位置Ｐ３に最も近い範囲を残すことで追尾対象ではない移動体を除外することができ、さらなる処理時間の短縮を図ることができるという効果を奏する。

或いは、上記の分布分析過程において次のような処理を行うようにしてもよい。すなわち、Ｘ軸分布データにおいて移動画素数が所定の閾値Ｔｈｘ以上となる領域とＹ軸分布データにおいて移動画素数が所定の閾値Ｔｈｙ以上となる領域とを選出した際に、Ｘ軸分布データとＹ軸分布データの一方に前記領域が複数存在する場合は、他方の軸の一画素列における前記移動画素の分布を前記複数の領域のうち追尾対象の移動体の予測位置に最も近い領域の分だけ積算してなる２次分布データを生成し、前記最も近い領域を一方において前記移動画素数が所定の閾値以上となる領域として採用し、前記２次分布データにおいて前記移動画素数が所定の閾値以上となる領域を他方において前記移動画素数が所定の閾値以上となる領域として採用するような処理を行うようにしてもよい。

以下に、図４（ａ）〜（ｃ）に示す例を用いて詳細に説明すると、上述したようにＸ軸分布データにおいて、２つの領域Ａｘ１，Ａｘ２から予測位置Ｐ３に最も近い領域Ａｘ２のみを選出した際には、Ｙ軸分布データを算出し直して２次分布データを求めるようにするのである。ここで、２次分布データは、Ｙ軸の一画素列における移動画素の分布をＸ軸分布データの領域Ａｘ２の分だけ積算することで得られる。つまり、この２次分布データでは、主に移動領域Ｍ２１の移動画素が省かれる（図４（ｃ）に点線で示す部分が省かれる）ことになる。そして、この２次分布データにおいて、移動画素数が所定の閾値Ｔｈｙ以上となる領域Ｂｙは、図４（ｃ）に示すように領域Ａｙよりも狭い範囲となり、この領域Ｂｙと領域Ａｘ２を用いることで、図４（ａ）に示すように制限探索範囲Ｆ２２よりもさらに縮小された制限探索範囲Ｆ２３を得ることができる。

したがって、このようにすれば、探索範囲Ｆ２０内において移動領域が集中している範囲が複数現れても、予測位置Ｐ３に最も近い範囲を残すことで、追尾対象ではない移動体を除外することができ、さらなる処理時間の短縮を図ることができるという効果を奏する。また、制限探索範囲Ｆ２３を追尾対象の移動体のサイズに近付けることができるという効果を奏する。

尚、本実施形態の自動追尾方法の思想を実施形態２に適用するようにしてもよい。すなわち、実施形態１で述べたように最小範囲を探索範囲とするのではなく、実施形態２で述べたように最小範囲を、移動ベクトルから算出した追尾対象の移動体の移動速度及び前記予測位置を基準として設定した範囲、又は追尾対象の移動体のテンプレートのサイズ及び前記予測位置を基準として設定した範囲からなる制限範囲で制限した範囲を探索範囲として採用するようにしてもよい。このようにすればさらなる処理時間の短縮を図ることができるという効果を奏する。

（ａ）は実施形態１の自動追尾装置のブロック構成示す説明図、（ｂ）は実施形態１の自動追尾方法の概略説明図である。（ａ）は実施形態２の自動追尾方法の概略説明図、（ｂ）は実施形態２の自動追尾方法の他例の概略説明図である。（ａ）は実施形態３の自動追尾方法の概略説明図、（ｂ）はＸ軸分布データを示すグラフ、（ｃ）はＹ軸分布データを示すグラフである。（ａ）は実施形態３の自動追尾方法の他例の概略説明図、（ｂ）はＸ軸分布データを示すグラフ、（ｃ）はＹ軸分布データを示すグラフである。

符号の説明

１撮像手段
３画像記憶手段
４移動体検出手段
６０位置予測手段
７テンプレートマッチング手段
Ｌ移動ベクトル
Ｆ１予測移動範囲
Ｆ２最小範囲
Ｍ１〜Ｍ４移動領域

Claims

撮像手段で撮像した画像群から時間的な変化を元に移動体を検出する移動体検出手段と、前記撮像手段で撮像した画像を元に作成された追尾対象の移動体のテンプレートが記憶されるテンプレート記憶手段と、過去の画像における追尾対象の移動体の位置を参照して今回の画像における追尾対象の移動体の位置を予測する位置予測手段と、前記テンプレートを用いたテンプレートマッチングによって今回の画像から追尾対象の移動体の検出を行うテンプレートマッチング手段とを備える自動追尾装置に用いられる自動追尾方法であって、位置予測手段は、前回の画像における追尾対象の移動体の位置と前々回の画像における追尾対象の移動体の位置を元にして追尾対象の移動体の移動ベクトルを算出する移動ベクトル算出過程と、前回の画像における追尾対象の移動体の位置と前記移動ベクトルとを元に今回の画像における追尾対象の移動体の位置を予測する位置予測過程と、今回の画像から前記移動体検出手段により検出した移動体のうち前記予測位置を含む予測移動範囲と重複する移動体を全て囲う最小範囲を元にして今回の画像における追尾対象の移動体の探索範囲を設定する探索範囲設定過程とを実行し、テンプレートマッチング手段は、前記探索範囲内において前記テンプレートを用いてテンプレートマッチングを行うことを特徴とする自動追尾方法。
位置予測手段は、探索範囲設定過程において、前記移動ベクトルから算出した追尾対象の移動体の移動速度及び前記予測位置を基準として設定した範囲を制限範囲として用い当該制限範囲と前記最小範囲が重複する範囲を探索範囲として設定することを特徴とする請求項１記載の自動追尾方法。
位置予測手段は、探索範囲設定過程において、追尾対象の移動体のテンプレートのサイズ及び前記予測位置を基準として設定した範囲を制限範囲として用い当該制限範囲と前記最小範囲が重複する範囲を探索範囲として設定することを特徴とする請求項１記載の自動追尾方法。
位置予測手段は、探索範囲設定過程を実行した後に、前記探索範囲内において前記移動体検出手段で検出した移動体の表示に使用されている移動画素が集中している範囲を制限探索範囲として設定する探索範囲制限過程を実行し、テンプレートマッチング手段は、前記制限探索範囲内において前記テンプレートを用いてテンプレートマッチングを行うことを特徴とする請求項１〜３のいずれか１項に記載の自動追尾方法。
前記探索範囲内において前記移動画素のＸ軸の一画素列における分布をＹ軸方向に積算してなるＸ軸分布データ及びＹ軸の一画素列における前記移動画素の分布をＸ軸方向に積算してなるＹ軸分布データを作成する分布データ作成過程と、Ｘ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域及びＹ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域からなる範囲を前記探索範囲内において前記移動画素が集中している範囲とする分布分析過程とを有していることを特徴とする請求項４記載の自動追尾方法。
分布分析過程は、Ｘ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とＹ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とを選出した際に、Ｘ軸分布データとＹ軸分布データの少なくとも一方に前記領域が複数存在する場合は、前記複数の領域のうち前記予測位置に最も近い領域を一方において前記移動画素数が所定の閾値以上となる領域として採用することを特徴とする請求項５記載の自動追尾方法。
分布分析過程は、Ｘ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とＹ軸分布データにおいて前記移動画素数が所定の閾値以上となる領域とを選出した際に、Ｘ軸分布データとＹ軸分布データの一方に前記領域が複数存在する場合は、他方の軸の一画素列における前記移動画素の分布を前記複数の領域のうち追尾対象の移動体の予測位置に最も近い領域の分だけ積算してなる２次分布データを生成し、前記最も近い領域を一方において前記移動画素数が所定の閾値以上となる領域として採用し、前記２次分布データにおいて前記移動画素数が所定の閾値以上となる領域を他方において前記移動画素数が所定の閾値以上となる領域として採用することを特徴とする請求項５記載の自動追尾方法。