JP6240016B2 - 追跡装置および追尾システム - Google Patents

Description

本発明は、撮影された対象物体を画像処理して追跡する移動物体追跡装置に関し、特に高速移動する対象物体に追従しつつ、高精度に追跡を実行できる移動物体追跡装置に関する。

従来、撮影された人物や車両等の対象物体を画像処理して追跡する移動物体追跡装置が提案されている。

特許文献１には、２台のカメラを備え、１台は視野を広く確保できる全方位カメラ、もう１台は物体を詳細に撮影できる望遠可動カメラを用い、全方位カメラの画像にて対象物体の位置を把握して、その位置に望遠可動カメラを向けて拡大倍率を調整し撮影する移動物体検出判定装置が開示されている。

また、特許文献２には、１台のカメラを用い、順次撮影した画像から所定時間ごとに対象物体の位置を把握する追跡処理を実行し、この所定時間の間における対象物体の位置を予測して補完することにより、対象物体の位置をよりスムーズに追尾する移動物体の計測装置が開示されている。

特開平０７−０３７１００号公報 特開平０７−１１４６４２号公報

しかしながら、従来の方式では、高速度に移動する対象物体に精度良く追従し、追跡することが困難であった。すなわち、特許文献１では、対象物体を高精度に追跡しようとすると、その分追跡に要する処理負荷が大きくなり、対象物体の移動速度に追従できるだけのフレーム数の画像にて処理が出来なくなる。他方、対象物体の追跡に要する処理負荷を小さくすると、対象物体の移動速度に追従可能だが追跡精度の低下を招くこととなる。このため、全方位カメラからの画像を処理して物体の位置を把握したときには物体が移動済みで、望遠可動カメラの視野から外れる場合がある。

また、特許文献２では、次の追跡結果が得られるまで、予測を繰り返しているため、予測の誤差が累積し、物体の追跡精度の低下を招くことになる。したがって、この場合も実際の物体の位置から外れた位置にカメラを向けてしまう場合がある。

そこで、本発明は、対象物体の移動速度に追従しつつ、高精度に追跡を実行できる移動物体追跡装置の実現を目的とする。

かかる課題を解決するため本発明は、順次画像を取得する画像取得部と、前記画像取得部が取得した画像から対象物体を画像上にて追跡する追跡部を具備する追跡装置であって、追跡部は、第１所定時間ごとの補正対象画像を処理して対象物体を画像上にて追跡する第１追跡手段と、第１所定時間より短い第２所定時間ごとの追跡対象画像を処理して対象物体を画像上にて追跡し、補正手段にて追跡結果が補正されると当該補正後の追跡結果を用いて補正対象画像以降に取得した追跡対象画像の追跡結果を再計算する第２追跡手段と、補正手段は第１追跡手段が処理した補正対象画像の追跡結果にて、第２追跡手段が処理した補正対象画像と同じである追跡対象画像の追跡結果を補正する追跡装置を提供する。
これにより本発明にかかる追跡装置は、対象物体の移動速度への追従と、高精度な追跡との両立を図ることができる。

本発明にかかる追跡装置において補正手段は、第１追跡手段が処理した補正対象画像の追跡結果と第２追跡手段が処理した補正対象画像と同じである追跡対象画像での追跡結果とを比較し、相異が所定範囲以内であれば補正しないことが好適である。これにより、処理負荷の軽減を図ることができる。

本発明にかかる追跡装置において第１追跡手段は、一時点前の補正対象画像における対象物体の位置から予測した範囲内にある対象物体に応じた領域を補正対象画像から抽出し、当該領域について対象物体にかかる形状モデルとのマッチング処理を施して対象物体の位置を特定して追跡し、第２追跡手段は、追跡対象画像から対象物体の特徴点を抽出し、当該特徴点から定まるオプティカルフローを用いて追跡することが好適である。これにより、第１追跡手段は高精度な追跡が可能となり、第２追跡手段は高速な追跡が可能となるため、さらに対象物体の移動速度への追従と高精度な追跡との両立を図ることができる。

かかる課題を解決するため本発明は、監視領域の全体を撮影する広角カメラと、対象物体を追尾しつつ撮影する可動カメラと、広角カメラが撮影した画像から対象物体を追跡して可動カメラを制御する追跡装置を具備する追尾システムであって、追跡装置は、広角カメラから順次画像を取得する画像取得部と、第１所定時間ごとの補正対象画像を処理して対象物体を画像上にて追跡する第１追跡手段と、第１所定時間より短い第２所定時間ごとの追跡対象画像を処理して対象物体を画像上にて追跡し、補正手段にて追跡結果が補正されると当該補正後の追跡結果を用いて補正対象画像以降に取得した追跡対象画像の追跡結果を再計算する第２追跡手段と、補正手段は、第１追跡手段が処理した補正対象画像の追跡結果にて、第２追跡手段が処理した補正対象画像と同じである追跡対象画像の追跡結果を補正し、第２追跡手段の追跡結果に基づいた制御信号を可動カメラに出力する可動カメラ制御出力部を具備することを特徴とした追尾システムを提供する。
これにより本発明にかかる追尾システムは、対象物体の移動速度への追従と高精度な追跡との両立を図りつつ、対象物体を撮影することで可動カメラの視野から外さずに撮影することができる。

本発明に係る移動物体追跡装置と追尾システムは、対象物体の移動速度への追従と高精度な追跡との両立を図ることができるという効果を奏する。

本実施の形態にかかる追尾システムの概略構成図である。 記憶部に記憶される追跡履歴テーブルである。 高速追跡手段と高精度追跡手段による処理を説明するための模式図である。 本実施の形態にかかる追尾システムの動作フロー図である。 処理時刻ｔにおける追跡処理の模式図である。 処理時刻ｔ＋３における補正前の追跡処理の模式図である。 処理時刻ｔ＋３における補正後の追跡処理の模式図である。 第二の実施形態における追跡処理の概略を示す模式図である。

以下、本発明にかかる追尾システムについて、図を参照しつつ説明する。
本実施の形態にかかる追尾システムは、監視領域に存在する人物を固定の広角カメラからの画像にて検出し、その人物が移動しても継続して撮影できるよう撮影方向や倍率を調整可能な可動カメラにて追尾して撮影する。
なお、撮影対象となる物体は人物に限定されず、追尾システムの設置場所や撮影目的に応じて車両や小動物などでもよい。

図１は、本実施形態にかかる追尾システム１の概略構成を示す図である。追尾システム１は、追跡装置１０の他、広角カメラ２０、可動カメラ３０、表示装置４０、画像記録装置５０から構成されている。

広角カメラ２０および可動カメラ３０は、それぞれ監視領域を撮影するカメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。

広角カメラ２０は、監視領域のほぼ全てを視野に収める程度の広い画角を有し、特定の箇所に集中せず監視領域の天井に設置され、撮影方向は鉛直下向きの魚眼レンズを有する複数のカメラから構成されているとする。また、広角カメラ２０の撮影方向は不変の固定カメラとする。
広角カメラ２０から得られた画像は、監視領域に存在する人物の位置を把握するために用いられる。そのために、広角カメラ２０は人物の位置の把握に十分な解像度、例えば１２８０画素×１０２４画素程度の画素数を有するのが好適である。追跡精度や処理負荷を考慮して、他の画素数でも良い。
そして、各撮影時点において得られた画像は追跡装置１０の画像取得部１２０に入力され、追跡部１００における処理に供される。

可動カメラ３０は、内部に雲台機構を有し、外部からの信号に応じて撮影方向および倍率（ズーム）を調整可能なカメラである。可動カメラ３０は、撮影対象の人物像を広角カメラ２０よりも詳細な画像を取得するため望遠撮影する。
可動カメラ３０は、広角カメラ２０よりも解像度が低くても人物像の撮影には十分であり、例えば６４０画素×４８０画素の画素数を有するとする。処理負荷などを考慮して他の画素数でも良い。
可動カメラ３０は、追跡装置１０の可動カメラ制御出力部１３０から出力される制御信号の入力に応じ、雲台機構を動作させて人物が視野の中心となるよう撮影方向を調整する。また、同時に人物像の略全身が視野に収まる程度に撮影倍率を調整する。

また、本実施の形態においては広角カメラ２０および可動カメラ３０の撮影パラメータ、例えば広角カメラ２０の画角や、監視領域における設置位置、撮影方向は既知であるとする。また可動カメラ３０の各撮影時点における画角や撮影方向も把握可能であるとする。さらには、監視領域がオフィスの居室スペースであればその一つの隅を基準位置として、世界座標系が定義されており、広角カメラ２０および可動カメラ３０は、公知の方法を用いてキャリブレーション調整されているものとする。そしてキャリブレーション情報を含む各パラメータは、記憶部１１０に撮影パラメータ１１２として記憶されており、後述する各処理において適宜参照可能である。

その他、広角カメラ２０および可動カメラ３０は適宜公知のカメラ装置やレンズを採用すればよいので、その内部構造などについては省略する。
広角カメラ２０および可動カメラ３０は追跡装置１０の画像取得部１２０に映像を出力する。
以下では、画像取得部１２０が取得して追跡部１００および画像出力部１４０に出力する画像のうち、広角カメラ２０から取得した画像を広角画像、可動カメラ３０から取得した画像を追尾画像と称する。

表示装置４０は、映像を表示するためのいわゆるモニタ装置であり、ＣＲＴや液晶などで実現され、監視領域の様子を確認したい操作者（警備員など）が常駐する場所に設置される。例えば、追尾システム１がオフィスビルに設置される場合には、監視センタに設置される。
表示装置４０は、広角カメラ２０および可動カメラ３０の映像を表示するための解像度を有するものとする。広角カメラ２０および可動カメラ３０の映像を同時に表示し、可動カメラ３０の映像によらず広角カメラ２０の映像にて監視領域に存在する人物について、例えば背格好や服装などをおおよそ目視確認できる程度の解像度を有するのが好適である。

画像記録装置５０は、追跡装置１０の画像出力部１４０から出力された広角カメラ２０および可動カメラ３０の画像を記録するために、磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などから構成される大容量の記憶手段である。既に撮影済みの画像を過去に遡って表示確認するために用いられ、例えば、追尾システム１がオフィスビルに設置される場合には１週間分の画像を記録可能な容量を有する。

追跡装置１０は、広角画像を取得し、追跡対象となった人物の位置を特定して、目視に適した当該人物の人物像を得るべく可動カメラ３０を制御する。
そのために、追跡装置１０は、追跡部１００、記憶部１１０、画像取得部１２０、可動カメラ制御出力部１３０、画像出力部１４０、表示制御部１５０、操作部１６０を有する。

記憶部１１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などから構成される。記憶部１１０は、追跡装置１０を制御するためのコンピュータプログラム及び各種データ、フラグ類を記憶し、追跡部１００との間でこれらの情報を入出力する。
各種データには、追跡部１００が処理した結果を時系列にテーブル化した追跡履歴テーブル１１１の他、広角カメラ２０および可動カメラ３０の撮影パラメータ１１２、高精度追跡手段１０１に用いられる標準人物モデル１１３が含まれる。またフラグ類には、操作者が操作部１６０を操作して追跡すべき人物を特定したか否かを表す人物特定済みフラグと、当該人物に対応付いた抽出された後述する特徴点が選択済みか否かを表す特徴点追尾フラグが含まれる。

追跡履歴テーブル１１１を、図２を用いて説明する。
追跡履歴テーブル１１１は、後述する追跡部１００の高精度追跡手段１０１と高速追跡手段１０２による処理結果を、時刻情報と対応付けて記憶する。
追跡記憶テーブル１１１の各１行は、広角画像を１フレーム処理する各時刻に対応しており、図２では処理時刻３０１がｔ−３からｔ＋３について示している。
フレーム番号３０２は、対応する処理時刻３０１において高速追跡手段１０２が処理対象としている広角画像のフレーム番号である。高速追跡手段１０２は、広角画像の１フレームごとに処理が終了するため、時刻ごとに番号がインクリメントされて記憶される。
特徴点位置３０３は、高速追跡手段１０２が、処理対象としている広角画像から特徴点を抽出し、その結果として各時点の位置とＩＤ番号を対応付けて記憶している。
追尾特徴点３０４は、高速追跡手段１０２による選択処理とグルーピング処理の結果、追尾対象となる人物から抽出された特徴点のＩＤ番号が記憶される。
高速追跡結果３０５は、追尾特徴点３０４にＩＤ番号が記憶された特徴点について、高速追跡部１０２が、その広角画像上での重心位置を求め、記憶部１１０に記憶された撮影パラメータ１１２を参照して、監視領域に定義された世界座標系へ変換された結果が座標として記憶される。
フレーム番号３０６は、対応する処理時刻３０１において高精度追跡手段１０１が処理対象としている広角画像のフレーム番号が記憶される。
高精度追跡結果３０７は、広角画像中に写っている人物像それぞれについて、高精度追跡手段１０１が求めた追跡結果が世界座標系における座標値として、人物を識別する符号とともに記憶される。

撮影パラメータ１１２は、広角カメラ２０および可動カメラ３０の世界座標系における撮影方向、設置位置、画角などである。主に高速追跡手段１０２が、広角画像上の２次元座標として求めた追跡結果を、可動カメラ制御出力部１３０が可動カメラ３０の制御に適した世界座標系に変換する際に用いられる。
標準人物モデル１１３は、追跡対象である標準的な人物の身長や身幅（例えば１７０ｃｍと５０ｃｍ）を有する、人間の３次元形状を模擬したモデルである。高精度追跡手段１０１において、人物が監視領域において指定した位置に存在し広角カメラ２０により撮影されたと仮定した場合に得られる仮想的な人物像を求めるために用いられる。本実施の形態では、仮想的な人物像として、形状情報の他に輝度情報や色情報も併用するためサーフェースモデルを記憶するとするが、形状情報のみを用いる場合にはポリゴンで表現される３次元形状モデルでも良い。さらには２次元モデルを記憶しても良い。

画像取得部１２０は、広角カメラ２０および可動カメラ３０と接続され、広角カメラ２０および可動カメラ３０から撮影画像を取得し、追跡部１００および画像出力部１４０に出力するインタフェース及びその制御回路である。

可動カメラ制御出力部１３０は、高速追跡手段１０２からの追跡結果を取得し、可動カメラ３０の撮影方向や撮影倍率を決定するための制御信号を可動カメラ３０に出力する。可動カメラ３０が世界座標系における座標情報を受け付け、その座標情報に基づいて撮影方向や撮影倍率を決定する機能を有する場合にはインタフェース及びその制御回路で構成される。可動カメラ３０が撮影方向や撮影倍率を決定するための信号を必要とする場合には、高速追跡手段１０２からの追跡結果を当該信号に変換する機能をさらに有する。

画像出力部１４０は、画像取得部１２０から出力された広角画像と追尾画像を一定期間記録するために画像記録装置５０に出力するとともに、操作者の目視確認に適した表示するために表示制御部１５０に出力するインタフェース及びその制御回路である。

表示制御部１５０は、画像出力部１４０から出力された広角画像と追尾画像を操作者の目視確認と各種特定操作などに適するよう画面表示を制御する。例えば、複数の広角カメラを用いている場合、監視領域に人物がいないときは複数の広角画像を等しい大きさで並べて表示しており、高精度追跡手段１０１が広角画像中に人物を検出すると、その人物が最も視野の中心に捉えられていると判定される広角画像を他に比べて拡大表示する。
また表示制御部１５０は、拡大表示された広角画像から撮影された人物のサムネイル画像を切り出して、選択ボタン形式としてその広角画像の周辺に表示する。そして、操作者が操作部１６０にて追尾対象としたい人物のサムネイルの選択ボタンを押下することで追跡対象の人物を特定する。
表示制御部１５０は、可動カメラ３０が撮影した画像を複数の広角画像およびサムネイルとともに表示装置４０に表示する。
なお、表示制御部１５０は、広角画像から人物が検出されなくなると、複数の広域画像を等しい大きさに並べた表示に戻る。

操作部１６０は、広角画像に写った人物のうち、可動カメラ３０にて詳細にその人物像を得たい追尾対象の人物を特定するための操作手段である。本実施の形態では、マウスにて実現されるものとして、追尾システム１の操作者が表示装置４０を目視確認しつつ、サムネイルをマウスボタンの押下で特定する。その他タッチペンやキーボードなどでもよく、表示装置４０がタッチパネルで実現されている場合には表示装置４０と操作部１６０は一体化して実現できる。
特定された人物に関する、広角画像における位置などの情報は、追跡部１００の表示対象特定手段１０４に入力される。

追跡部１００は、メモリ、その周辺回路及びそのマイクロプロセッサなどのいわゆるコンピュータにより構成され、広角画像に対して記憶部１１０を参照しながら人物を検出してその位置を求め、可動カメラ制御出力部１３０に出力する。
追跡部１００の各手段は、マイクロプロセッサ上で動作するソフトウェアにより実現される機能モジュールである。なお、追跡部１００の各手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
追跡部１００は、高精度追跡手段１０１、高速追跡手段１０２、補正手段１０３、追尾対象特定手段１０４を有する。以下、追跡部１００の各手段について説明する。

高精度追跡手段１０１は、広角画像を処理して、監視領域に存在する人物の世界座標系における位置を求め、その結果を補正手段１０３と記憶部１１０に出力する手段であり、特許請求の範囲における第１追跡手段として動作する。
高精度追跡手段１０１は、広角画像中に新規に出現した人物について、新規に出現した以後の追跡に用いるための撮影人物モデルを作成する。そのためにまず、高精度追跡手段１０１は、複数の広角カメラ２０のそれぞれについて無人状態で取得され、記憶部１１０に記憶されている背景画像を読み出して背景差分処理を行い、人らしい大きさや縦横比などの条件を課して人物領域を特定する。
そして、高精度追跡手段１０１は、人物領域の大きさや形状から、記憶部１１０に記憶されている撮影パラメータ１１２を参照して人物領域に写っている人物の体格を求めて、求めた体格に合わせて標準人物モデル１１３を変形して、撮影人物モデルを生成する。さらに広角画像の人物領域に含まれる画素情報から、変形した撮影人物モデルに輝度や色情報を付与し、記憶部１１０に一時記憶させる。

高精度追跡手段１０１は、人物領域における足下に相当する部分を基準に用い、監視領域に記憶された撮影人物モデルを置いて広角カメラ２０にて撮影したと仮定した場合のモデル像を求め、実際の広角画像と比較することで追跡処理を行う。これを図３（ａ）を用いて説明する。
図３（ａ）において、広角画像２９０には、人物像２９１が写っており、求められたモデル像２９２が重ねて表示されている様子を示している。モデル像２９２は、前時刻の人物の追跡位置から求めた予測位置の近傍に符号２９２ａ〜ｃのように複数求める。図３（ａ）では、モデル像２９２の位置は３箇所として示しているが、処理負荷と追跡精度とを比較考量しつつ、それ以上の数の位置に求めても良い。
高精度追跡手段１０１は、広角画像２９０における人物像２９１とモデル像２９２との適合の程度を色情報と形状情報に基づいて評価する。

色情報についた評価方法は、モデル像２９２を構成する画素群の色ヒストグラムと人物像２９１を構成する画素群の色ヒストグラムとの公知のヒストグラムマッチング法により求めたマッチング度を０〜１に正規化して用いる。
形状情報に基づいた評価方法は、人物像２９１とモデル像２９２との重なりの画素面積をモデル像２９２の画素面積で除した割合を０〜１にて表して用いる。

色情報と形状情報により求められたそれぞれのマッチング度の値を重み付き和で求め、それを広角カメラ２０ごとに求めて、その総和を高精度追跡評価値とする。
そして、高精度追跡手段１０１は、撮影人物モデルの位置を監視領域内にて仮想的に一定範囲内で変化させ、変化させるごとにモデル像を求めて高精度追跡評価値を算出し、その値の増減を参照し、最大値となった監視領域の位置に人物が立っており、記憶部１１０にその位置を記憶させる。ただし、高精度追跡評価値の最大値であっても、いずれかの広角カメラ２０に写っていると判定され得るほどの値にならなかった場合には、その撮影時点の広角画像においては人物が存在しなかったか、または監視領域から外に人物が移動したか、あるいは追跡に失敗したとして追跡終了と判定される。同時に記憶部１１０に一時記憶された撮影人物モデルも削除される。

人物の位置が求まった場合は、現時刻の人物像にて撮影人物モデルを更新する。その方法は新規に人物が出現した場合と同様であるので、詳細は省略する。
なお、モデル像を求めるための撮影人物モデルの位置は、１時点前を含む過去に求めた位置を基に運動モデルを適用するなどにより現時刻での位置を予測して、その近傍に限定して変化させて、それに応じて高精度追跡評価値を求める処理を繰り返すことで、効率的かつ高精度に追跡結果を得ることができる。
高精度追跡手段１０１は、求めた人物の世界座標系における位置を追跡結果として記憶部１１０の追跡履歴テーブル１１１に時刻情報などとともに記憶させる。

高精度追跡手段１０１は、３次元の人物モデルを活用し、かつ複数の広角カメラ２０からの広角画像を処理する。よって、単眼カメラによる移動物体追跡技術で問題になることが多い、物体どうしが画像中で重なって写り一方の物体像が欠落することが原因の追跡精度の低下を招かず、高速追跡手段１０２よりも、高精度な追跡結果を得ることができる。しかし、処理対象となる情報が多く、撮影人物モデルの位置を変化させては高精度追跡評価値を求めることを繰り返すため、高速追跡手段１０２より長い処理間隔（例えば、高速追跡手段１０２が１５ｆｐｓに対し５ｐｆｓ）が必要である。

高速追跡手段１０２は、複数の広角カメラ２０のうち、監視領域の中心に最も近い広角カメラ２０から入力された広角画像を処理して、監視領域に存在する人物の位置を求め、その位置情報を可動カメラ制御出力部１３０および記憶部１１０に出力する手段であり、特許請求の範囲における第２追跡手段として動作する。監視領域の構造によっては、中心に最も近い広角カメラ２０以外からの広角画像を処理しても良い。

まず高速追跡手段１０２は広角画像から、人物追跡に適した特徴的な点である特徴点を抽出し、一意に定まるＩＤ番号を付与する。
本実施の形態では、特徴点を抽出するための方法として、コーナー検出と呼ばれる周知の方法を採用する。コーナー検出の方法には、ハリスのコーナー検出法、ＳＵＳＡＮのコーナー検出法、ＦＡＳＴコーナー検出法などが知られているので、適宜何れかの方法を採用することができる。
なお画像中の人物像に対してコーナー検出処理を行うと、人物像の輪郭付近の他、服装の輝度変化や色変化がある付近に特徴点が検出される。

高速追跡手段１０２は、抽出された特徴点が、１時刻前の広角画像から現時点での広角画像にてどの位置に移動したのかを調べる。移動前の特徴点の位置と移動後の特徴点の位置を結んだ軌跡は周知のオプティカルフローとなる。
高速追跡手段１０２は、１時刻前の広角画像における特徴点を表す画素を中心とした小領域を考え、その小領域内部に含まれる輝度情報から、現時刻での広角画像における特徴点の位置を周知の勾配法にて決定する。この処理を、本実施の形態では特徴点追跡処理と称する。
抽出時に付与されたＩＤ番号、各時刻の広角画像中の座標情報は対応付けられて記憶部１１０の追跡履歴テーブル１１１に記憶される。

高速追跡手段１０２は、高精度追跡手段１０１が出力した追跡結果のうち、最も直近の追跡結果を用いて、抽出した特徴点のうち追跡対象となっている人物を表す特徴点を選択する。図３（ｂ）を用いて説明する。
図３（ｂ）には、高精度追跡手段１０１が出力した最も直近の時刻における追跡結果を広角画像に射影した点を重心２６０にもつ高精度人物領域２００が矩形領域として示されている。また、点線で示した人物像２０５、人物像２０５の輪郭上に抽出された特徴点２１５、人物像の周囲および内部にて抽出された特徴点２２０が示されている。

高速追跡手段１０２は、特徴点２１５と特徴点２２０のうち、高精度人物領域２００の内部に位置する特徴点を、人物像２０５を追跡するために用いる特徴点として選択する。図３（ｂ）では、特徴点２２０ｃ〜ｅ、および特徴点２１５は高速追跡手段１０２にて選択されるが、特徴点２２０ａとｂは、矩形領域２００の外部に位置するので選択されない。そして、高速追跡手段１０２は、初期状態ではＯＦＦであった特徴点追尾フラグをＯＮにセットする。当該フラグがＯＮということは、高速追跡手段１０２は、人物像２０５を追跡するために用いる特徴点を選択する処理が行われたことを意味する。

さらに高速追跡手段１０２は、選択された特徴点のうち、さらに追跡対象の人物を捉えていると考えられる特徴点を絞り込んで選択する。
図３（ｂ）には、人物像２０５の次の時点における広角画像に含まれる人物像２１０が示されている。人物像２０５の各特徴点２１５は、人物像２１０では特徴点２４０の位置に移動しており、それぞれを結ぶ矢印がオプティカルフロー２５０である。よって、オプティカルフロー２５０の方向と大きさ（長さ）は揃っている。
しかし、特徴点２２０は、人物像２１０に対応して移動しておらず、オプティカルフロー２３０が求まったとしても、方向と大きさは揃っていない。よって、人物像２１０を追跡するための特徴点として用いられるのは不適切である。
そこで、高速追跡手段１０２は、オプティカルフロー２３０，２５０のうち方向と大きさが揃っているオプティカルフロー２５０の特徴点２４０を選択してグループ化するグルーピング処理を行う。
なお、特徴点の選択処理は、高精度追跡手段１０１が追跡結果を出力したフレームにおいて行われる。高精度追跡手段１０１が処理をしている間に、高速追跡手段１０２は本実施の形態では２枚の広角画像を処理するが、その場合はグルーピング処理のみが行われる。

高速追跡手段１０２は、人物像を追跡しているとして選択されグループ化された特徴点２４０について、広角画像中における重心位置を求め、さらに記憶部１１０に記憶されている撮像パラメータを参照し、監視領域にて定義された３次元の世界座標系に変換する。
追尾対象特定手段１０４にて特定された人物について変換した結果は、高速追跡手段１０２の追跡結果として可動カメラ制御出力部１３０に出力するとともに時刻情報に対応付けて記憶部１１０の追跡履歴テーブル１１１に記憶する。

高速追跡手段１０２は、２次元画像を処理するのみであり、コーナー検出やオプティカルフローを抽出する処理は、高精度追跡手段１０１において行われる各種処理よりも遙かに処理負荷は小さい。よって、広角カメラ２０が１枚フレームを出力するごと（例えば１５ｆｐｓ）に処理を終了することは可能である。しかし、物体どうしが画像中で重なって一方の物体像が欠落することによりオプティカルフローの抽出が困難になったり、ノイズの影響を受けやすく、追跡精度は高くない。

補正手段１０３は、高精度追跡手段１０１の追跡結果を用いて、高速追跡手段１０２の追跡結果を補正する。さらに、補正された追跡結果に基づいて、高速追跡手段１０２に対して、補正後の再度追跡結果を求め直すよう指示する手段である。
ここで補正手段１０３の動作を、追跡履歴テーブル１１１を用いて説明する。
図２に示す追跡履歴テーブル１１１は、高精度追跡手段１０１と高速追跡手段１０２が、処理時刻３０１がｔ−３からｔ＋３まで、広角画像を処理した結果が示している。また広角画像には、人物Ａと人物Ｂが写っており、そのうち人物Ａが追尾対象であるとする。

現在の処理時刻３０１がｔであるときの補正手段１０３の動作を説明する。
処理時刻ｔにおいて、高精度追跡手段１０１は、フレーム番号“００１０”の広角画像を処理し、高精度追跡結果３０７として人物Ａについて“Ａ（605,385,84）”と人物Ｂについて“Ｂ（590,670,79）”を出力している。
補正手段１０３は、高速追跡手段１０２が、フレーム番号が同じ“００１０”の広角画像を処理した結果を、高速追跡結果３０５から特定する。それは本実施の形態では、追尾対象が人物Ａであるので、処理時刻ｔ−３における“Ａ（610,380,83）”である。
補正手段１０３は、高精度追跡結果３０７の“Ａ（605,385,84）”と高速追跡結果３０５の“Ａ（610,380,83）”とを比較し、両者はフレーム番号“００１０”の広角画像上では、ほぼ同じ位置にて人物Ａを捉えているため、高精度追跡結果３０７の“Ａ（605,385,84）”は補正の必要がないと判定する。

現在の処理時刻３０１がｔ＋３であるときの補正手段１０３の動作を説明する。
処理時刻ｔにおいて、高精度追跡手段１０１は、フレーム番号“００１３”の広角画像を処理し、高精度追跡結果３０７として人物Ａについて“Ａ（980,585,85）”と人物Ｂについて“Ｂ（990,460,81）”を出力している。
補正手段１０３は、フレーム番号が同じ“００１３”の広角画像を高速追跡手段１０２が処理した結果を、高速追跡結果３０５から特定する。それは本実施の形態では、追尾対象が人物Ａであるので、処理時刻ｔにおける“Ａ（985,465,82）”である。
本実施の形態では追尾対象は人物Ａであるため、補正手段１０３は、高精度追跡結果３０７の“Ａ（980,585,85）”と高速追跡結果３０５の“Ａ（985,465,82）”とを比較する。補正手段１０３は、高速追跡結果３０５の“Ａ（985,465,82）”は、人物Ａの高精度追跡結果３０７の“Ａ（980,585,85）”よりも、人物Ｂの高精度追跡結果３０７の“Ｂ（990,460,81）”に近いため、処理時刻ｔにおいて、追跡に失敗しており、補正の必要があると判定する。

補正手段１０３は補正の必要があると判定すると、図３（ｂ）を用いて説明した特徴点の選択処理と同様な処理を行う。即ち、高精度追跡結果３０７“Ａ（980,585,85）”の広角画像上に対応する点を重心に持つ高精度人物領域を算出し、その内部に位置する特徴点を、追跡履歴テーブル１１１の処理時刻ｔの特徴点位置３０４を参照して選択する。本実施の形態では、追尾対象の人物Ａに対応する特徴点はＩＤ番号が“ＩＤ１０１”、“ＩＤ２”〜“ＩＤ６”、“ＩＤ１０７”〜“ＩＤ１１１”であると選択する。そして、補正手段１０３は、それぞれの特徴点のＩＤを処理時刻ｔの追尾特徴点３０４に下線を付したように記憶し直して補正する。
また補正手段１０３は、追尾特徴点３０４に記憶し直された特徴点から重心位置を求めて世界座標系に変換し、高速追跡結果３０５に下線を付したように“Ａ（980,580,84）”を記憶し直して補正する。

そして補正手段１０３は、高速追跡手段１０２に対して、再度追跡処理を行うよう指示する。
指示を受けた高速追跡手段１０２は、追跡履歴テーブル１１１の特徴点位置３０３を参照し、処理時刻ｔにおける補正後の追尾特徴点３０４に記憶されたＩＤ番号をもつ特徴点のそれぞれが、処理時刻ｔ＋３までどのように移動したのかを調べる。そして各処理時刻について、高速追跡手段１０２は、グループ化処理と特徴点群から重心位置を求め直して世界座標系に変換する処理を行い、座標値を高速追跡結果３０５に下線を付したように記憶し直して補正する。

表示対象特定手段１０４は、表示装置４０に表示されている広角画像を目視確認した操作者が操作部１６０を操作して、追尾対象として可動カメラ３０により望遠撮影をする人物を特定する手段である。
そのために表示対象特定手段１０４は、表示装置４０にてボタン形式のサムネイル表示されている人物をマウスボタンの押下で特定して、何れの人物が特定されたかを高速追跡手段１０２に出力する。
人物を特定すると、表示対象特定手段１０４は、記憶部１１０に記憶されている人物特定済みフラグをＯＮにセットする。すなわち当該フラグがＯＮであることは人物を特定済みであることを示している。

次に、図４を参照して、追尾システム１の動作フローを説明する。
これまで述べてきたように、本実施の形態にかかる追跡部１０は、高速であるが精度が高くない高速追跡手段１０２と、高精度であるが低速度の高精度追跡手段１０１がそれぞれ異なるタイミングで広角カメラ２０から入力された広角画像を処理している。
以下の説明では、特許請求の範囲に合わせて高速追跡手段１０２が処理する広角画像を追跡対象画像、高精度追跡手段１０１が処理する画像を補正対象画像と称するが、これらは広角カメラ２０にて取得された時刻が異なるのみである。
図４では、ステップＳ１５〜Ｓ２５が表示対象特定手段１０４に対応した処理、ステップＳ１００〜Ｓ１５０が高速追跡手段１０２に対応した処理、ステップＳ２００〜Ｓ２８０が高精度追跡手段１０１と補正手段１０３に対応した処理になっており、ステップＳ１５〜Ｓ２５とステップＳ１００〜Ｓ１５０とステップＳ２００〜Ｓ２８０の処理は並行して実行される。

ステップＳ５にて、表示対象特定手段１０４は、記憶部１１０に記憶されている人物特定済みフラグと特徴点追尾フラグをＯＦＦに初期化する。
ステップＳ１０にて、画像取得部１２０は、広角カメラ２０から広角画像を１枚取得する。以降の処理は、適宜操作者により追尾システム１の動作を終了させるまで繰り返し実行される。

ステップＳ１５にて、表示対象特定手段１０４は、人物特定済みフラグの値を参照し、ＯＮである場合、即ち、操作部１６０を操作した操作者が追尾対象の人物を特定済みである場合には特に処理は行わない（Ｙｅｓの分岐）。
人物特定済みフラグの値がＯＦＦの場合は、まだ人物は未特定の場合であり（Ｎｏの分岐）、表示対象特定手段１０４は操作部１６０から操作者により人物の特定があったか否かを調べる（ステップＳ２０）。特定が無かった場合には（Ｎｏの分岐）、特に処理は行わずステップＳ１５に戻る。
特定があった場合には人物特定済みフラグをＯＮにセットし（ステップＳ２５）、ステップＳ１５に戻る。
人物特定済みフラグは追跡処理において必要なタイミングで参照される。

ステップＳ１００〜Ｓ１５０の処理は、高速追跡手段１０２にて、広角カメラ２０から広角画像（追跡対象画像）が１枚入力されるたびに行われる。本実施の形態では、高速追跡手段１０２は１秒につき１５枚（１５ｆｐｓ）の追跡対象画像を処理可能であるので、ステップＳ１００〜Ｓ１５０は１秒に１５回繰り返される。

ステップＳ１００にて、高速追跡手段１０２は、公知のコーナー検出法を用い、追跡対象画像に含まれる特徴点を抽出し、ＩＤ番号を付与する。この段階では特徴点は、人物以外にも、背景部分からも抽出されている。
ステップＳ１０５にて、高速追跡手段１０２は、記憶部１１０の追跡履歴テーブル１１１を参照し、抽出された特徴点のそれぞれについて現時刻の追跡対象画像において対応する位置を見つける特徴点追跡処理を行う。対応する位置が見つかった特徴点については順次追跡履歴テーブル１１１の特徴点位置３０３にＩＤ番号と追跡対象画像上の座標を記憶する。

現時刻の追跡対象画像において、対応する位置が見つかった特徴点が所定数以上（例えば１時刻前の特徴点数の５０％）の場合（ステップＳ１１０のＹｅｓの分岐）には特徴点追跡は成功したとして、処理をステップＳ１２０に移す。
ステップＳ１００における特徴点抽出処理において所定数以上の特徴点が抽出できなかった場合、あるいは対応する位置が見つかった特徴点が一時刻前の特徴点数に比較して所定数未満（例えば５０％未満）の場合（ステップＳ１１０のＮｏの分岐）、現時刻の追跡対象画像では高速追跡手段１０２による追跡処理は失敗したとして、処理をステップＳ１１５に移し、追跡履歴テーブル１１１の追尾特徴点３０４に特徴点ＩＤが記憶されているならば削除し、特徴点追尾フラグをＯＦＦにする。

ステップＳ１２０にて、高速追跡手段１０２は、記憶部１１０に記憶されている人物特定済みフラグがＯＮか否か、即ち操作者は操作部１６０を操作して可動カメラ３０にて撮影すべき人物を既に特定しているか否かを調べる。人物特定済みフラグがＯＦＦの場合には、追尾対象の人物は特定されていないことを意味するので、高速追跡手段１０２は、現時刻の追跡対象画像については以後特に処理は行わない（Ｎｏの分岐）。
人物特定済みフラグがＯＮの場合（Ｙｅｓの分岐）、操作者は高精度追跡手段１０１の追跡結果を目視確認して追尾対象の人物を特定しているため、高速追跡手段１０２は、高精度追跡手段１０１の追跡結果を踏まえた特徴点の選択処理を行うべくステップＳ１２５に処理を移す。

ステップＳ１２５にて、高速追跡手段１０２は、記憶部１１０に記憶されている特徴点追尾フラグを参照して、追尾対象の人物に対応付いた特徴点が選択されているか否かを調べる。
特徴点追尾フラグがＯＮの場合には処理を直ちにステップＳ１３５に移す（Ｙｅｓの分岐）。当該フラグがＯＦＦの場合には、高速追跡手段１０２は、記憶部１１０に一時記憶されている追尾対象の人物の高精度人物領域を読み出す。そして当該高精度人物領域内に位置する特徴点を選択し、特徴点追尾フラグをＯＮにセットする（Ｎｏの分岐、ステップＳ１３０）。
ステップＳ１３５にて、高速追跡手段１０２は、追尾対象の人物を捉えている特徴点をグループ化する処理を行い、前フレームにおいて追跡対象の人物を示すとされた特徴点が同一グループ内の過半数を占めるグループの特徴点を追尾特徴点とする。そして追跡履歴テーブル１１１の追尾特徴点３０４にＩＤ番号を記憶させる。ステップＳ１３５での特徴点のグループ化処理が行われると、追尾対象の人物に対応する特徴点が特定できる。これらの処理は図３（ｂ）を用いて説明済みである。

ステップＳ１４０にて、高速追跡手段１０２は、グループ化された特徴点の数が所定の閾値未満の場合には、その人物についての追跡は失敗したとして、処理をステップＳ１１５に移す（Ｎｏの分岐）。
当該特徴点の数が所定の閾値以上の場合には（Ｙｅｓの分岐）、高速追跡手段１０２による追跡は成功であるとして、処理をステップＳ１４５に移し、ステップＳ１３５にてグループ化された特徴点群の広角画像上における重心座標を求める。
そしてステップＳ１５０にて、高速追跡手段１０２は、求めた重心座標を世界座標系に変換し、変換後の座標値を、追跡履歴テーブル１１１の高速追跡結果３０５に記憶するとともに可動カメラ制御出力部１３０に出力する（ステップＳ１５０）。これに応じて可動カメラ３０は、追尾対象の人物を望遠撮影する。

ステップＳ２００〜Ｓ２８０の処理は、高精度追跡手段１０１にて、広角カメラ２０から広角画像（補正対象画像）が１枚入力されるたびに行われる。本実施の形態では、高精度追跡手段１０１は１秒につき５枚（５ｆｐｓ）の補正対象画像を処理可能であるので、ステップＳ２００〜Ｓ２８０は１秒に５回繰り返される。つまり、高速追跡手段１０２が３枚の追跡対象画像を処理する間に、高精度追跡手段１０１が処理できる補正対象画像は１枚である。

ステップＳ２００にて、高精度追跡手段１０１は、記憶部１１０に記憶されている背景画像と補正対象画像とを比較して、変化領域を抽出し、撮影パラメータ１１２を参照して、人らしい領域を人物領域として抽出する。変化領域の抽出には周知の背景差分処理を用いればよい。
ステップＳ２０３にて、高精度追跡手段１０１は、人らしい条件を満たす人物領域が存在するか否かを調べ、存在しない場合には特に処理は行わない（Ｎｏの分岐）。
人らしい条件を満たす人物領域が１つ以上存在する場合には（Ｙｅｓの分岐）、高精度追跡手段１０１は、記憶部１１０を参照して、既に追跡中の人物があるか否かを調べる（ステップＳ２０５）。

既に追跡中の人物が無い場合、即ち撮影人物モデルが記憶部１１０に一時記憶されていない場合（Ｎｏの分岐）、無人状態の監視領域を撮影した補正対象画像に新規に人物が出現したことを意味するので、処理をステップＳ２８０に移し、撮影人物モデルを生成して記憶部１１０に一時記憶する。撮影人物モデルの生成方法は、図３（ａ）を用いて説明した通りである。
既に追跡中の人物がある場合、即ち撮影人物モデルが記憶部１１０に一時記憶されている場合（ステップＳ２０５でＹｅｓの分岐）、その人物の撮影人物モデルを記憶部１１０から読み出し、仮想的に監視領域に配置して（ステップＳ２１０）、その位置における高精度追跡評価値を算出する（ステップＳ２１５）。
撮影人物モデルの位置をずらしては高精度追跡評価値を求める処理を所定の条件、例えば一定の範囲までずらしたなどの条件が満たされるまでステップＳ２１０とＳ２１５を繰り返す（ステップＳ２２０のＮｏの分岐）。

高精度追跡評価値の算出が終了した場合（ステップＳ２２０のＹｅｓの分岐）、高精度追跡手段１０１は、それぞれの位置で求められた高精度追跡評価値の値を調べ、いずれの高精度追跡評価値も人物が存在すると判断できる値を超えないと（ステップＳ２２５のＮｏの分岐）、処理をステップＳ２３５に移す。そしてその人物についての高精度追跡手段１０１による追跡処理は終了として、当該人物が追尾対象として特定されている場合には人物特定済みフラグをＯＦＦにリセットし、一時記憶されている当該人物の撮影人物モデルを削除する（ステップＳ２３５）。
高精度追跡手段１０１は、いずれかの高精度追跡評価値が、人物が存在すると判断できる値を超えていると（ステップＳ２２５のＹｅｓの分岐）、その最大値を示した位置を追跡結果であるとして出力し、追跡履歴テーブル１１１の高精度追跡結果３０７に記憶する。
また高精度追跡手段１０１は、撮影人物モデルの更新を行う。

高精度追跡手段１０１は、ステップＳ２１０〜Ｓ２３５の処理を追跡中の人物のそれぞれについて行い（ステップＳ２４５のＮｏの分岐）、追跡中の人物のすべてについて終了すると（Ｙｅｓの分岐）、ステップＳ２００にて求められた人物領域に追跡処理の対象とならなかったものがあるか否かを調べる。それがある場合には新規に補正対象画像に出現した人物であるとして、撮影人物モデルの生成と記憶部１１０への一時記憶のために処理をステップＳ２８０へ移す（ステップＳ２５０のＹｅｓの分岐）。
処理対象とならなかった人らしい変化領域が無かった場合（ステップＳ２５０のＮｏの分岐）、または新規に出現した人物について撮影人物モデルの生成と記憶部１１０への一時記憶がされた場合、高精度追跡手段１０１は、処理をステップＳ２５５へ移す。

ステップＳ２５５にて、高精度追跡手段１０１は、それぞれの人物の追跡結果を広角画像（補正対象画像）上において重心に持つ矩形の高精度人物領域を抽出して、記憶部１１０に一時記憶する。このうち、追跡対象の人物についての高精度人物領域は高速追跡手段１０２による追跡処理のステップＳ１２５、１３０において参照される。

ステップＳ２６０にて、補正手段１０３は、記憶部１１０に記憶されている人物特定済みフラグがＯＮか否か、即ち操作者は操作部１６０を操作して可動カメラ３０にて撮影すべき人物を既に特定しているか否かを調べる。人物特定済みフラグがＯＦＦの場合には、追尾対象の人物は特定されていないことを意味し、補正手段１０３による補正処理は不要であるため、現時刻の追跡対象画像については以後特に処理は行わない（Ｎｏの分岐）。
人物特定済みフラグがＯＮの場合（Ｙｅｓの分岐）、操作者は高精度追跡手段１０１の追跡結果を目視確認して追尾対象の人物を特定しており、補正手段１０３は、高速追跡手段１０２による追跡結果を高精度追跡手段１０１の追跡結果に基づいて補正の必要があるか否かの判断を行うべくステップＳ２６５に処理を移す。

ステップＳ２６５にて、補正手段１０３は、追尾対象と特定された人物に関するステップＳ２３０にて求められた追跡結果と、高速追跡手段１０２による追跡処理により過去の処理時刻の追跡対象画像において求められた追跡結果を比較する。
例えば、現処理時刻がｔ＋３とすると、図２の追跡履歴テーブル１１１では高速追跡手段１０２については処理時刻ｔの高速追跡結果３０５であり、高精度追跡手段１０１については処理時刻ｔ＋３の高精度追跡結果３０７が比較対象となる。
そして両者の位置が大きく異なる場合には、当該追跡対象画像に対する高速追跡手段１０２による追跡処理は誤りであると判定して（ステップＳ２７０のＹｅｓの分岐）、処理をステップＳ２７５に移す。当該追跡処理は誤りではない場合には（Ｎｏの分岐）、特に処理は行わない。

ステップＳ２７５では、補正手段１０３は、追跡履歴テーブル１１１を参照して、ステップＳ２６５で比較に用いた追尾特徴点３０４のＩＤ番号を、ステップＳ２６０で求めた高精度人物領域に含まれる特徴点のＩＤ番号に補正し、補正後の追尾特徴点３０４にＩＤ番号が記憶されている特徴点の重心位置を求めて世界座標系に変換し、高速追跡結果３０５に記憶する。そして現時刻までの追跡結果を補正するよう高速追跡手段１０２に出力する。高速追跡手段１０２は、補正後の結果を踏まえて、ステップＳ１３５以降の処理を行うことで、正しく追跡結果が求めることができる。

次に、高精度追跡手段１０１、高速追跡手段１０２および補正手段１０３の動作を図２の追跡履歴テーブル１１１、図５から図７に示す模式図を用いて、人物Ａと人物Ｂが撮影され、人物Ａが画面左上方から右下方へ移動し、人物Ｂが画面左下方から右上方へ人物Ａと交差して移動した場合を説明する。
図５は、処理時刻ｔの時点にて、追跡結果の模式図を示したものである。
図６は、処理時刻ｔ＋３の時点にて、追跡結果が補正される直前の様子を示したものである。
図７は、処理時刻ｔ＋３に時点にて、追跡結果が補正された様子を示したものである。
また、図５〜７では広角画像に人物Ａと人物Ｂが写り、人物Ａを追尾対象として指定された状況での追跡結果を示している。

図５において、太線の四角は、高精度追跡手段１０１による高精度追跡結果３０７から求めた高精度人物領域を示している。
円と楕円を重ねた人物形状の印は、高速追跡手段１０２により抽出された特徴点から定まる、追跡された人物の領域を模式的に示している。
●印は、高速追跡手段１０２により抽出された特徴点を示している。
実線の矢印は、高速追跡手段１０２が追尾対象の人物について抽出した特徴点のオプティカルフローを示している。
点線の矢印は、高速追跡手段１０２が追尾対象の人物について抽出した特徴点以外の特徴点のオプティカルフローを示している。
×印は、追尾対象の人物を追跡している特徴点の重心位置であり、高速追跡手段１０２の追跡結果を示している。

図５は、処理時刻ｔにおけるフレーム番号“００１０”からフレーム番号が“００１３”までの広角画像を処理した追跡結果の状況を示している。フレーム番号が“００１０”から“００１２”までは追跡結果は確定しており、フレーム番号“００１３”の追跡結果は未確定である。

まずフレーム番号が“００１０”に着目する。
高速追跡手段１０２が、ＩＤ番号が“ＩＤ１”〜“ＩＤ１１”と“ＩＤ１００”〜“ＩＤ１１４”の特徴点を抽出した様子を示している。追尾対象の人物Ａについては、ＩＤ番号が“ＩＤ１”〜“ＩＤ１１”の特徴点が対応付いており、追尾対象ではない人物Ｂについては、ＩＤ番号が“ＩＤ１００”〜“ＩＤ１１４”の特徴点が対応付いている。
また、人物Ａについて、特徴点から定まる人物形状が示されている。人物Ｂについては、高精度追跡手段１０１は、追跡結果を求めているが追尾対象ではなく、本図の説明では不要であるので、人物形状は示していない。

高速追跡手段１０２は、追跡履歴テーブル１１１の処理時刻３０１がｔ−３のフレーム番号３０２に“００１０”、特徴点位置３０３にＩＤ番号と座標を、ＩＤ番号が“ＩＤ１”〜“ＩＤ１１”と“ＩＤ１０１”〜“ＩＤ１１４”の合計２５点分記憶する。なお本実施の形態では、簡単のため特徴点の追跡失敗はないとして説明するので、以降の時刻においても特徴点位置３０３に記憶されるのは、同じＩＤ番号の特徴点に関するものである。
図５に示したように、追尾対象である人物Ａの特徴点はＩＤ番号が“ＩＤ１”〜“ＩＤ１１”であるため、高速追跡手段１０２は、追跡履歴テーブル１１１の追尾特徴点３０４に“ＩＤ１”〜“ＩＤ１１”を記憶する。
さらに高速追跡手段１０２は、追尾特徴点３０４にＩＤ番号が記憶された特徴点から定まる広角画像上での重心位置を世界座標系に変換し、座標値を追跡結果として“Ａ（610,380,83）”を記憶する。
高精度追跡手段１０１は、処理時刻ｔにおいて、過去の時刻であるフレーム番号“００１０”の追跡処理を終了し、高精度追跡結果３０７に“Ａ（605,385,84）”と“Ｂ（590,670,79）”を記憶している。補正手段１０３は、かかる追跡対象の高精度追跡結果“Ａ（605,385,84）”と高速追跡結果“Ａ（610,380,83）”を比較し、同一の追跡位置と見なし、補正していない。

図５において、フレーム番号が“００１１”に着目する。
高速追跡手段１０２は、前フレームにて、追尾対象の人物Ａについて対応付いた各特徴点を過不足無く追跡していることを示しており、それら特徴点の重心である高速追跡結果も求めている。
高速追跡手段１０２は、前フレームにて、人物Ｂに対応付いた特徴点も過不足無く追跡していることを示している。ただし、ＩＤ番号が“ＩＤ１１２”〜“ＩＤ１１４”の特徴点は、追跡はされているもののノイズを追跡しており、ＩＤ番号が“ＩＤ１０１”〜“ＩＤ１１１”の特徴点とは大きく外れて位置したことを示している。
高速追跡手段１０２は、追尾対象の人物Ａについて求めた追跡結果を、世界座標系に変換し、座標値として“Ａ（720,410,82）”を追跡履歴テーブル１１１の高速追跡結果３０５にフレーム番号と対応付けて記憶する。
追尾対象の人物Ａに対応付いた特徴点は過不足無く追跡されており、グループ化処理により追尾特徴点３０４に“ＩＤ１”〜“ＩＤ１１”が記憶される。
一方で、高精度追跡手段１０１は、フレーム番号３０６が“００１０”の広角画像を処理中であるので、その旨を示す“−”が高精度追跡結果３０７に記憶される。値がないとして“ＮＵＬＬ”でもよい。

フレーム番号が“００１２”も同様であり、高速追跡手段１０２は、追尾対象の人物Ａについて求めた追跡結果を、世界座標系に変換し、座標値として“Ａ（860,460,83）”を追跡履歴テーブル１１１の高速追跡結果３０５にフレーム番号と対応付けて記憶する。

図５において、フレーム番号が“００１３”に着目する。
本フレーム番号の広角画像においては、高速追跡手段１０２は、前フレーム“００１２”において人物Ａを追跡していた特徴点“ＩＤ１、ＩＤ７〜ＩＤ１１”と“ＩＤ２〜ＩＤ６”２つに分かれて追跡したことを示している。
高速追跡手段１０２は、このように前フレームの人物Ａの追尾特徴点（“ＩＤ１〜ＩＤ１１”）が大きく分かれ、グループ化処理により“ＩＤ１”および“ＩＤ７〜ＩＤ１１”が過半数を占めるグループを追尾対象としている。そして、高速追跡手段１０２は、ＩＤ番号が“ＩＤ１”、“ＩＤ７”〜“ＩＤ１１”の特徴点から求められる重心位置を追跡結果とする。
そして高速追跡手段１０２は、追尾対象の人物Ａについて求めた追跡結果を、世界座標系に変換し、座標値として“Ａ（985,465,82）”を追跡履歴テーブル１１１の高速追跡結果３０５にフレーム番号と対応付けて記憶する。

また高速追跡手段１０２は、選択処理とグループ化処理により、追尾対象の人物Ａに対応付いた特徴点として、追尾特徴点３０４に“ＩＤ１”、“ＩＤ７”〜“ＩＤ１１”を記憶する。

図６は、処理時刻ｔ＋３におけるフレーム番号が“００１６”までの広角画像を処理した直後であり、補正手段１０３による補正前の追跡結果の状況が示されている。フレーム番号が“００１０”から“００１２”までは追跡結果は確定しているが、フレーム番号が“００１６”までの追跡結果は未確定である。

フレーム番号が“００１４”に着目する。
高速追跡手段１０２は、ＩＤ番号が“ＩＤ１”、“ＩＤ７”〜“ＩＤ１１”の特徴点から求められる重心位置を追跡結果とする。
高速追跡手段１０２は、前フレームから引き続き追尾対象の人物Ａについて対応付いた、ＩＤ番号が“ＩＤ１”、“ＩＤ７”〜“ＩＤ１１”の特徴点を過不足無く追跡しており、それら特徴点の重心である高速追跡結果も求めている。
高速追跡手段１０２は、追尾対象の人物Ａについて求めた追跡結果を、世界座標系に変換し、座標値として“Ａ（1120,440,86）”を追跡履歴テーブル１１１の高速追跡結果３０５にフレーム番号と対応付けて記憶する。
高速追跡手段１０２は、追尾特徴点３０４も前フレームと同様に“ＩＤ１”、“ＩＤ７”〜“ＩＤ１１”を記憶する。
一方、高精度追跡手段１０１は、フレーム番号３０６が“００１３”の広角画像を処理中であるので、その旨を示す“−”が高精度追跡結果３０７に記憶される。

フレーム番号が“００１５”と“００１６”についても同様であり、高速追跡手段１０２は、フレーム番号が“００１５”については高速追跡結果３０５として“Ａ（1230,430,85）”、フレーム番号が“００１６”については高速追跡結果３０５として“Ａ（1380,420,87）”を記憶する。
高精度追跡手段１０１は、処理時刻ｔ＋３において、過去の時刻であるフレーム番号“００１３”の追跡処理を終了し、高精度追跡結果３０７に“Ａ（980,585,85）”と“Ｂ（990,460,81）”を記憶する。

図７は、図６の追跡処理結果に基づいた、補正手段１０３による補正処理と、高速追跡手段１０２が再追跡処理を行った結果を示している。
図７において、フレーム番号が“００１３”に着目する。
高精度追跡手段１０１は、フレーム番号が“００１３”においては、追尾対象の人物Ａは、図６に示す高速追跡手段１０２が求めた結果は人物Ｂが存在した位置であったと判定し、人物Ａは異なる位置に存在していたと判定している。
よって、補正手段１０３は、高速追跡手段１０２が、時刻ｔにおいてフレーム番号が“００１３”の広角画像を処理して求めた高速追跡結果３０５“Ａ（985,465,82）”は誤りであり、ＩＤ番号が“ＩＤ２”〜“ＩＤ６”の特徴点から定まる重心位置を世界座標系に変換した“Ａ（980,580,84）”を記憶し直す。
また、補正手段１０３は、特徴点選択処理とグループ化処理を再度行い、太線の四角で示す高精度人物領域に含まれる特徴点のＩＤ番号“ＩＤ２”〜“ＩＤ６”と、時刻ｔ−３にて人物Ｂに対応付いて抽出された特徴点のＩＤ番号“ＩＤ１０７”〜“ＩＤ１１１”を追尾特徴点３０４に記憶し直す。

補正手段１０３は、高速追跡手段１０２にフレーム番号が“００１６”まで再追跡処理を行うよう指示する。指示を受けた高速追跡手段１０２は、追尾特徴点３０４に記憶されたＩＤ番号が“ＩＤ２”〜“ＩＤ６”、“ＩＤ１０７”〜“ＩＤ１１１”の特徴点の移動の様子を、特徴点位置３０３を参照してフレーム番号が“００１６”まで求める。
そして、高速追跡手段１０２は、フレーム番号が“００１４”については高速追跡処理３０５に“Ａ（1100,610,85）”、フレーム番号が“００１５”については高速追跡処理３０５に“Ａ（1220,630,86）”、フレーム番号が“００１６”については高速追跡処理３０５に“Ａ（1410,660,85）”を記憶する。
フレーム番号が“００１６”は、現時刻ｔ＋３であるので、高速追跡結果３０５は、補正手段１０３による補正処理が終了したとして確定する。

次に本発明にかかる第二の実施の形態を説明する。
第二の実施の形態においては、高速追跡手段１０２においては人物の頭部を写した頭部画像を追跡し、高精度追跡手段１０１においては人物の全身を写した全身画像を追跡する。
人物の一部分である頭部を写した頭部画像は、全身画像に比較すると面積は小さく、それに応じて処理負荷は小さい。しかし、人物を特定するための情報は全身画像よりも少ないため、追跡精度は期待できない。
それに対し、全身画像は面積が大きいため、情報量が豊富であり、様々な追跡手法を併用することができる。しかし処理負荷が大きいため１枚の広角画像を処理するために、頭部画像を処理対象とするよりも時間がかかる。

第二の実施の形態においても、補正手段が補正する高速追跡手段の追跡結果は現時刻のものではなく過去のものである、という点では共通しているので、図８に示す追跡の模式図を用いて処理の概要を簡単に説明する。
図８には、広角画像７００に人物Ａと人物Ｂとが写っており、時刻ｔの前後で交差して移動している様子が示されている。第二の実施の形態においても追尾対象は人物Ａであるとする。

高速追跡手段１０２は、時刻ｔ−３において頭部画像７３０を抽出しており、その重心７５０を追跡結果としている。時刻ｔ−２においては頭部画像７３１を抽出し、重心７５１を追跡結果としている。時刻ｔ−１においては頭部画像７３２を抽出し、重心７５２を追跡結果としている。
しかし高速追跡手段１０２は、人物Ａと人物Ｂが広角画像中において交差して移動してしまったため、時刻ｔにおいて、頭部画像７３７を人物Ａの頭部画像と抽出してしまっている。高精度追跡手段１０１の追跡結果に基づいた補正がないと、以後、重心７５０〜７５２、７５７〜７６０を結んだ軌跡７７０〜７７２、７７６〜７７８からわかるように、現時刻ｔ＋３まで追跡結果として頭部画像７４０の重心７６０を出力してしまう。
しかし、これは実際には、追尾対象ではない人物Ｂを追跡しており、誤りである。

ここで、高精度追跡手段１０１は現時刻ｔ＋３において、時刻ｔの広角画像を処理して追跡結果として全身の重心７４１を出力しており、時刻ｔにおける頭部画像７３７の重心７５７とは大きく離れている。
そこで、補正手段１０３は時刻ｔにおいて高速追跡手段１０２が追跡を誤ったとして、追跡履歴テーブル１１１の内容を修正し、時刻ｔの高速追跡手段１０２の追跡結果を重心７５７ではなく、全身像から切り出した頭部画像７３３の重心７５３の位置に補正する。
そして、高速追跡手段１０２は、記憶部１１０あるいは画像記録装置５０に記憶してある各時刻における広角画像を読み出して、再度頭部画像の追跡を行い、時刻ｔ＋１では頭部画像７３４、時刻ｔ＋２では頭部画像７３５、現時刻ｔ＋３では頭部画像７３６を抽出し、追跡結果として重心７５４、７５５，７５６の位置を求める。

各頭部画像の重心どうしを結んだ軌跡７７３、７７４、７７５からもわかるように、現時刻ｔ＋３では人物Ａ７１６の頭部を捉えており、高速追跡手段１０２の追跡結果が補正されていることがわかる。

これまでに述べてきた本実施の形態では、高速追跡手段１０２に特徴点の追跡、高精度追跡手段１０１に３次元の人物モデルの配置とその評価、第二の実施の形態では高速追跡手段１０２に頭部画像の追跡、低速追跡手段に全身画像の追跡を用いていた。
しかし、高速追跡手段１０２は高精度追跡手段１０１よりも追跡精度は望めないものの処理負荷が小さく、高精度追跡手段１０１は高速追跡手段１０２よりも処理負荷が大きいものの追跡精度が高い、という互いに相補的な関係にある追跡手法であれば、同様に適用が可能である。

１・・・追尾システム
１０・・・追跡装置
２０・・・広角カメラ
３０・・・可動カメラ
１０１・・・高精度追跡手段
１０２・・・高速追跡手段
１０３・・・補正手段
１１１・・・追跡履歴テーブル

Claims (4)

1. 順次画像を取得する画像取得部と、前記画像取得部が取得した画像から対象物体を画像上にて追跡する追跡部を具備する追跡装置であって、
   前記追跡部は、
   前記画像のうち所定時間ごとに取得された補正対象画像を処理して対象物体を画像上にて追跡する第１追跡手段と、
   前記補正対象画像と前記第１追跡手段による該補正対象画像の処理中に取得された前記画像とからなる追跡対象画像を処理して対象物体を画像上にて追跡する第２追跡手段と、
   前記第１追跡手段が前記補正対象画像の追跡結果を出力すると、該追跡結果を用いて前記第２追跡手段が処理した当該補正対象画像と同じである追跡対象画像の追跡結果を補正する補正手段とを備え、
   前記第２追跡手段は、前記補正手段にて該第２追跡手段の追跡結果が補正されると当該補正後の追跡結果を用いて該補正に用いられた前記補正対象画像の取得時刻から現在の処理時刻までに取得された追跡対象画像の追跡結果を再計算することを特徴とした追跡装置。
   
2. 前記補正手段は、前記第１追跡手段が処理した補正対象画像の追跡結果と前記第２追跡手段が処理した補正対象画像と同じである追跡対象画像での追跡結果とを比較し、相異が所定範囲以内であれば補正しない請求項１に記載の追跡装置。
   
3. 前記第１追跡手段は、一時点前の補正対象画像における対象物体の位置から予測した範囲内にある対象物体に応じた領域を補正対象画像から抽出し、当該領域について対象物体にかかる形状モデルとのマッチング処理を施して対象物体の位置を特定して追跡し、
   前記第２追跡手段は、追跡対象画像から対象物体の特徴点を抽出し、当該特徴点から定まるオプティカルフローを用いて追跡する請求項１または請求項２に記載の追跡装置。
   
4. 監視領域の全体を撮影する広角カメラと、対象物体を追尾しつつ撮影する可動カメラと、前記広角カメラが撮影した画像から前記対象物体を追跡して前記可動カメラを制御する追跡装置を具備する追尾システムであって、
   前記追跡装置は、
   前記広角カメラから順次画像を取得する画像取得部と、
   前記画像のうち所定時間ごとに取得された補正対象画像を処理して対象物体を画像上にて追跡する第１追跡手段と、
   前記補正対象画像と前記第１追跡手段による該補正対象画像の処理中に取得された前記画像とからなる追跡対象画像を処理して対象物体を画像上にて追跡する第２追跡手段と、
   前記第１追跡手段が前記補正対象画像の追跡結果を出力すると、該追跡結果を用いて前記第２追跡手段が処理した当該補正対象画像と同じである追跡対象画像の追跡結果を補正する補正手段とを備え、
   前記第２追跡手段は、前記補正手段にて該第２追跡手段の追跡結果が補正されると当該補正後の追跡結果を用いて該補正に用いられた前記補正対象画像の取得時刻から現在の処理時刻までに取得された追跡対象画像の追跡結果を再計算することを特徴とした追尾システム。
   

Images