JP7215569B2 - オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びプログラム - Google Patents

Description

本発明は、撮像装置によって取得した映像からオブジェクトを検出し、その特徴量を抽出するオブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び非一時的なコンピュータ可読媒体に関する。

カメラを用いて物体や人物（以下、オブジェクトと呼ぶ）を検出し、特徴量を抽出する方式が提案されている。この特徴量は、異なるカメラ間で検出されたオブジェクトの照合や、以前に撮影され、蓄積された映像から、同一あるいは類似するオブジェクトを検索するのに用いられる。

この特徴量としては様々なものが用いられるが、近年では深層学習の技術の進展により、深層学習に基づいて抽出された特徴量を用いることが増えてきている。深層学習に基づいて抽出される特徴量は、高精度な照合に寄与する一方、抽出処理に時間がかかるものが多く、画面に同時に映る特徴抽出対象となるオブジェクトが多い場合には、特徴量抽出にかかる時間が無視できなくなる。特に、計算リソースの制約が厳しい場合に動画像の各フレームに対して処理を行う場合には、実時間での処理が困難になる。

この点を鑑み、画面に映る全オブジェクトから特徴を抽出するのではなく、特徴量抽出を行うオブジェクトを選択し、選択されたオブジェクトのみから特徴量を抽出する方式が提案されている。例えば、特許文献１では、人物の特徴量を抽出する方式が開示されており、画面上での人物のサイズと過去の特徴量抽出頻度に基づいて、画面内で検出された、どの人物の特徴量を抽出するかをサイズに応じて優先度をつけて決定している。また、乱数により、特徴量を抽出する人物を選択する網羅的選択手段も設け、優先的処理と網羅的処理を交互に行い、人物を選択して特徴量を抽出する方式が記載されている。さらに、特徴量を抽出する人物の選択では、向きを考慮してもよいといったことも記載されている。

また、特許文献２では、斜め上から撮影する通常の監視カメラ設置の場合、画面の下方の方がカメラに近くなり、人物が大きく映るにも関わらず、画面上での人物の動きも大きくなるため、画面の下の方の領域ほど、人物の特徴量を抽出する頻度を高める方式が開示されている。また、人物の動きの大きさも考慮し、動きが大きい人物ほど特徴量抽出の頻度を上げることについても記載されている。

国際公開第２０１７／００６７４９号 国際公開第２０１４／０４５４７９号

しかしながら、特許文献１に記載の方式では、人物の大きさしか考慮していないため、大きさが大きくても動きがある場合に、動きブレが生じる可能性を考慮しておらず、照合に適さない特徴量を抽出してしまう可能性がある。また、それ以外の特徴量の劣化要因についても考慮されていない。

一方、特許文献２では、人物を追跡しているわけではないため、人物ごとに過去のどの程度特徴量が抽出されたかといった履歴情報を保持しておらず、人物間で特徴量の抽出回数に大きなばらつきが出る可能性がある。

さらに、特許文献１、特許文献２ともに、人物間の重なりや他の障害物による隠ぺいについては考慮されておらず、選択した人物から照合に適した特徴量が抽出できるとは限らないという問題がある。また、ぼけや照明条件等に基づく大きさ以外の特徴量の劣化要因についても考慮されていない。

本発明の目的は、上述した課題を鑑み、特徴量抽出に時間を要する特徴量であっても、動画像の各フレームにおいて特徴抽出するオブジェクトを適応的に選択し、オブジェクト全体として、高精度な照合が可能になるオブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び非一時的なコンピュータ可読媒体を提供することにある。

一実施の形態に係るオブジェクト特徴量抽出装置は、映像を取得し、取得した前記映像を画像列として生成する映像取得手段と、生成された前記画像からオブジェクトを検出し、検出結果を生成するオブジェクト検出手段と、生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成するオブジェクト追跡手段と、前記画像を記憶する画像記憶手段と、前記検出結果を記憶する検出結果記憶手段と、前記追跡結果を記憶する追跡結果記憶手段と、前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出し、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択し、オブジェクト選択情報を生成するオブジェクト選択手段と、前記画像記憶手段に記録された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報と、に基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出するオブジェクト特徴抽出手段と、を有することを特徴とする。

また、一実施の形態に係るオブジェクト特徴量抽出方法は、映像を取得し、取得した前記映像を画像列として生成するステップと、生成された前記画像からオブジェクトを検出し、検出結果を生成するステップと、生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成するステップと、前記画像を画像記憶手段に記憶させるステップと、前記検出結果を検出結果記憶手段に記憶させるステップと、前記追跡結果を追跡結果記憶手段に記憶させるステップと、前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出し、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択し、オブジェクト選択情報を生成するステップと、前記画像記憶手段に記憶された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出するステップと、を有することを特徴とする。

さらに、一実施の形態に係るプログラムは、映像を取得し、取得した前記映像を画像列として生成させ、生成された前記画像からオブジェクトを検出し、検出結果を生成させ、生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成させ、前記画像を画像記憶手段に記憶させ、前記検出結果を検出結果記憶手段に記憶させ、前記追跡結果を追跡結果記憶手段に記憶させ、前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出させ、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択させ、オブジェクト選択情報を生成させ、前記画像記憶手段に記憶された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出させる、ことをコンピュータに実行させる。

一実施の形態によれば、特定のオブジェクトに偏らずに、オブジェクト全体で万遍なく照合に適した特徴量を抽出することが可能となるため、高精度な照合が可能になるオブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び非一時的なコンピュータ可読媒体を提供する。

第１実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段のクオリティ判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の別のクオリティ判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段のバリエーション判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、別のバリエーション判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択を行う映像区間と、オブジェクト選択を行うタイミングの時間的な関係を図示した図である。 第２実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第２実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第２実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。 第３実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第３実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第３実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。 第４実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第４実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第４実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。 クオリティ指標を表す関数を例示した図である。 クオリティ指標を表す関数を例示した図である。 クオリティ指標を表す関数を例示した図である。 クオリティ指標を表す関数を例示した図である。 オブジェクトが人物のときに人物領域の分割例を例示した図である。 バリエーション指標を表す関数を例示した図である。 バリエーション指標を表す関数を例示した図である。 バリエーション指標を表す関数を例示した図である。 第１～第４実施形態に係るオブジェクト特徴量抽出装置を実現するための計算機、ネットワーク、カメラを例示した図である。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

（第１実施形態）
図１は、第１実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。図１に示すように、オブジェクト特徴量抽出装置１００は、映像取得手段１０１と、オブジェクト検出手段１０２と、オブジェクト追跡手段１０３と、オブジェクト選択手段１０５と、オブジェクト特徴抽出手段１０６と、画像記憶手段１０７と、検出結果記憶手段１０８と、追跡結果記憶手段１０９とを備えている。

映像取得手段１０１は、映像を取得し、取得した映像をオブジェクト検出手段１０２と、オブジェクト追跡手段１０３と、画像記憶手段１０７とに出力する。

オブジェクト検出手段１０２は、映像取得手段１０１から出力される画像に対して、オブジェクト検出を行い、オブジェクト検出結果をオブジェクト追跡手段１０３と、検出結果記憶手段１０８とに出力する。

オブジェクト追跡手段１０３は、オブジェクト検出手段１０２から出力されるオブジェクト検出結果に基づいて、映像取得手段１０１から出力される画像を用いてオブジェクトの追跡処理を行い、オブジェクト追跡結果を追跡結果記憶手段１０９に出力する。

オブジェクト選択手段１０５は、検出結果記憶手段１０８から出力される過去画像追跡結果と、追跡結果記憶手段１０９から出力される追跡結果履歴情報とに基づいて、特徴抽出を行うオブジェクトを選択し、選択オブジェクト情報をオブジェクト特徴抽出手段１０６に出力する。

オブジェクト特徴抽出手段１０６は、オブジェクト選択手段１０５から出力される選択オブジェクト情報に含まれるオブジェクトの特徴量を、検出結果記憶手段１０８から出力されるオブジェクト検出結果に基づいて、画像記憶手段１０７から出力される画像から抽出する。

次に、図1のオブジェクト特徴量抽出装置１００の動作について説明する。映像取得手段１０１では、監視対象となるエリアや物体の映像を撮影する。ここで、映像取得手段としては、映像を撮影できるものであれば、どのようなものでもよい。例えば、固定の監視カメラやＷｅｂカメラであってもよいし、ＵＡＶや車両のように、移動体に装着されたカメラであってもよい。あるいは、警察官や警備員が装着するウェアラブルカメラであってもよいし、ユーザが撮影するビデオカメラであってもよい。映像取得手段１０１で撮影された映像は、画像列として出力される。この画像列は、オブジェクト検出手段１０２、オブジェクト追跡手段１０３に出力されるとともに、画像記憶手段１０７に出力され、格納される。

オブジェクト検出手段１０２では、映像取得手段１０１から入力される画像に対してオブジェクト検出を行い、結果をオブジェクト検出結果として出力する。オブジェクトが人物の場合、人物の画像特徴を学習した検出器を用いて、人物領域を検出する。例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴に基づいて検出する検出器や、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて画像から直接検出する検出器を用いてもよい。

あるいは、人全体ではなく、人の一部の領域（例えば頭部など）を学習させた検出器を用いて人物を検出するようにしてもよい。例えば、頭部や足下を学習させた検出器を用い、頭部位置と足下位置が検出できれば、人物領域を特定できる。その他にも例えば、背景差分によって求まるシルエット情報（背景モデルと差分がある領域の情報）と頭部検出情報を組み合わせることにより、人物領域を求めるように構成されていてもよい。

オブジェクトが車の場合も、同様に車両の画像特徴を学習させた検出器を用いて検出することが可能である。オブジェクトがそれ以外の特定物体の場合も、その特定物体の画像特徴を学習させた検出器を構築し、用いるようにすればよい。

そして、検出されたオブジェクトの情報をまとめ、オブジェクト検出結果情報として生成する。ここで、オブジェクト検出結果情報は、検出を行ったフレームの時刻情報（あるいはフレーム番号など、フレームを特定するための情報）と検出されたオブジェクトの情報を含んでおり、オブジェクトの情報は、オブジェクトの検出位置や大きさを含む。

ここで、オブジェクトの位置は、画面上の位置で表されていてもよいし、カメラのキャリブレーションによって求まるカメラの位置や姿勢を表すパラメータを用いて、実世界座標に変換して位置を表すようにしてもよい。例えば、画面上の位置で表す場合には、オブジェクトを囲う矩形の頂点の座標（例えば左上と右下の頂点）で表せばよい。

あるいは、1つの頂点と矩形の幅、高さの情報で表してもよい。また、複数のオブジェクトが検出された場合には、オブジェクト検出結果情報は、検出された複数のオブジェクトの情報を含むことになる。また、検出オブジェクトを同一フレーム内で区別するＩＤ情報も含む。ただし、このＩＤ情報は、同一フレームで検出された複数のオブジェクトを区別するために振られるＩＤ情報であり、追跡対象オブジェクトに振られるＩＤ情報とは異なる。生成されたオブジェクト検出結果情報は、オブジェクト追跡手段１０３へ出力される。また、検出結果記憶手段１０８へも出力され、格納される。

オブジェクト追跡手段１０３では、Ｔｒａｃｋｉｎｇ ｂｙ Ｄｅｔｅｃｔｉｏｎと呼ばれる、検出結果に基づいた追跡処理を行う。すなわち、一つ前の時刻までのオブジェクト追跡結果に含まれ、追跡対象となっている各オブジェクトが、現時刻のオブジェクト検出結果に含まれる、どの検出オブジェクトと対応づくかを求め、追跡結果を更新する。

この際、追跡対象となっている各オブジェクトの位置をカルマンフィルタやパーティクルフィルタによって予測してから、現時刻の検出オブジェクトと対応付けるようにしてもよい。追跡対象オブジェクトと検出オブジェクトとが対応づいた場合には、対応づいた検出オブジェクトの情報とその時刻の画像を用いて追跡対象オブジェクトの情報を更新する。

一方、どの追跡対象オブジェクトとも対応づかなかった場合には、新たに表れたオブジェクトである可能性が高いため、その検出オブジェクトに対応する追跡対象オブジェクトを新たに生成し、オブジェクト追跡結果に追加する。逆に、どの検出オブジェクトとも対応づかない追跡対象オブジェクトが存在する場合には、その追跡対象オブジェクトが画面外に出た等の理由により、消失したと考えられる。よって、その追跡対象オブジェクトを追跡結果から削除する処理を行う。

ただし、一度の未対応で削除するのではなく、数回未対応が続いたら削除するようにしてもよい。この制御のために、追跡対象オブジェクトの確からしさを表す尤度を定義しておき、新規生成時から、検出オブジェクトとの対応づけられた場合には尤度を上げ、対応がつかなかったら尤度を下げるようにし、尤度が一定値を下回った時点で削除するようにしてもよい。

なお、この尤度の計算では、検出結果と対応づいたかどうかという情報だけでなく、対応づいた際の確からしさも合わせて考慮してもよい。このようにして、現時刻におけるオブジェクト追跡結果を生成し、出力する。

ここで、オブジェクト追跡結果情報は、画像上でのオブジェクトの位置、大きさ、および追跡対象オブジェクトごとに付与されたＩＤ情報、対応づいた検出オブジェクトのＩＤ情報（対応づかなかった場合には未対応であることを表す情報）を含む。なお、位置情報の記述方法は任意であり、追跡オブジェクトの外接矩形情報で示してもよいし、追跡オブジェクト領域中の一点の座標を求め、その点に基づく相対的な情報で大きさ情報を表すようにしてもよい。

例えば、画面上の位置で表す場合には、オブジェクトを囲う矩形の頂点の座標（例えば左上と右下の頂点）で表せばよい。あるいは、1つの頂点と矩形の幅、高さの情報で表してもよい。あるいは、実空間上の座標に変換し、出力するようになっていてもよい。生成されたオブジェクト追跡結果情報は、追跡結果記憶手段１０９へ出力され、格納される。

画像記憶手段１０７では、映像取得手段１０１で取得した画像が、現時刻（これをＴ_ｃｕｒとする）より一定時間前の分まで格納されている。後述するオブジェクトの特徴抽出は、現時刻より少し前の時刻の画像に対して行うため、この時刻が最低限含まれる時間分だけ画像を格納しておく。そして、後述するオブジェクト特徴抽出手段１０６から読み出された際、指定された時刻の画像を出力する。

検出結果記憶手段１０８では、オブジェクト検出結果が現時刻Ｔ_ｃｕｒより一定時間前の分まで格納されている。これも、画像記憶手段１０７の画像と同じ時間分だけ格納されていればよい。そして、後述するオブジェクト選択手段１０５やオブジェクト特徴抽出手段１０６から読み出された際、指定された時刻の検出結果を出力する。

追跡結果記憶手段１０９では、オブジェクト追跡結果が格納されている。そして、後述するオブジェクト選択手段１０５から読み出された際、指定された時間区間の追跡結果履歴を出力する。

オブジェクト選択手段１０５では、後述するオブジェクト特徴抽出手段１０６で特徴抽出の対象となる時刻における、特徴抽出を行うオブジェクトを選択する。オブジェクト特徴抽出手段１０６では、現在より少し前の時刻の画像に対してオブジェクトの特徴抽出を行うが、その時刻（以後抽出時刻と呼ぶ）でのオブジェクト選択を行う。抽出時刻を現時刻Ｔ_ｃｕｒより時間τ（＞０）だけ前の時刻Ｔ_ｃｕｒ－τとすると、オブジェクト選択手段１０５では、抽出時刻Ｔ_ｃｕｒ－τの画像に対するオブジェクト検出結果を過去検出結果として検出結果記憶手段１０８から読み出す。

また、追跡結果記憶手段１０９から、時刻Ｔ_ｃｕｒ－τ－ΔＴから現時刻Ｔ_ｃｕｒまでの追跡結果を読み出す。ここで、ΔＴ（＞０）は、追跡結果からオブジェクトの状態や動きを推定するのに必要な時間区間を表す。そして、追跡対象オブジェクトのどのオブジェクトに対して特徴抽出処理を行うかを判定し、特徴抽出を行うオブジェクトを選択する情報である、選択オブジェクト情報を生成する。選択オブジェクト情報には、抽出時刻Ｔ_ｃｕｒ－τと、特徴抽出を行う追跡対象オブジェクトのＩＤ情報と、それと対応づいた検出オブジェクトのＩＤ情報を含む。

オブジェクト選択手段１０５の動作の詳細は後述する。生成された選択オブジェクト情報は、オブジェクト特徴抽出手段１０６に出力される。

オブジェクト特徴抽出手段１０６では、選択オブジェクト情報と、抽出時刻Ｔ_ｃｕｒ－τのオブジェクト検出結果情報に基づいて、抽出時刻Ｔ_ｃｕｒ－τの画像からオブジェクト特徴量を抽出する。すなわち、選択オブジェクト情報に含まれる追跡オブジェクトＩＤと対応づいた検出オブジェクトＩＤによって、この検出オブジェクトの位置情報をオブジェクト検出結果情報から求め、該当する画像領域の特徴量を、その追跡オブジェクトＩＤのオブジェクトの特徴量として抽出する。

抽出する特徴はオブジェクトの色や形状、模様などを表す視覚特徴量であり、オブジェクトの識別に利用可能な特徴量であればどのようなものでもよい。例えば、色や輝度勾配特徴のヒストグラムであったり、ＳＩＦＴやＳＵＲＦのような局所特徴であったり、ガボールウェーブレットのような模様を記述する特徴量であってもよい。あるいは、深層学習によって求まったオブジェクト識別用の特徴量であってもよい。

以上述べた構成により、多数のオブジェクトが画面に映る状況であっても、特徴抽出を行うオブジェクトを適切に選択し、特徴抽出処理にかかるコストを抑えつつ、オブジェクト全体として高精度な照合が可能となる特徴抽出を実現できる。特に、特徴抽出を少し遅らせることで、特徴量を抽出するオブジェクトの選択がより適切にできるようになる。

次に、図１のオブジェクト選択手段１０５について、より詳細に説明する。図２は、第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。図２に示すように、オブジェクト選択手段１０５は、クオリティ判定部１２０とオブジェクト選択部１２１とを有している。

クオリティ判定部１２０は、入力されるオブジェクト追跡結果履歴と過去画像オブジェクト検出結果とに基づいてクオリティ指標を求め、オブジェクト選択部１２１へ出力する。オブジェクト選択部１２１は、クオリティ判定部１２０から出力されるクオリティ指標に基づいて、特徴量を抽出するオブジェクトを選択し、選択オブジェクト情報を出力する。

次に、オブジェクト選択手段１０５の動作について説明する。過去画像オブジェクト検出結果、オブジェクト追跡結果履歴は、クオリティ判定部１２０へ入力される。ここで、過去画像オブジェクト検出結果は、抽出時刻Ｔ_ｃｕｒ－τの画像に対するオブジェクトの検出結果である。また、オブジェクト追跡結果履歴は、時刻Ｔ_ｃｕｒ－τ－ΔＴから現時刻Ｔ_ｃｕｒまでのオブジェクトの追跡結果である。

クオリティ判定部１２０では、入力されるオブジェクト追跡結果履歴、過去画像オブジェクト検出結果に基づいて、抽出時刻Ｔ_ｃｕｒ－τの画像における各追跡対象オブジェクトに対してクオリティ指標を算出する。

クオリティ指標は、抽出する特徴量の質を特徴抽出する以前に予測する指標であり、オブジェクトから高品質な特徴量が抽出されると予測される場合には高い値をとり、そうでない場合に低い値となる指標である。クオリティ指標の取り得るレンジは任意であるが、以下では、クオリティ指標は［０、１］の区間の値をとるものとする。

クオリティ判定部１２０の詳細については後述する。算出されたクオリティ指標は、追跡対象オブジェクトのＩＤとそれに対応づいた検出オブジェクトＩＤの情報と対応付けてオブジェクト選択部１２１へ出力される。

オブジェクト選択部１２１では、入力されるクオリティ指標の値が大きい追跡対象オブジェクトを選択する。具体的には、例えばクオリティ指標の値が一定値よりも大きいものを選択する。あるいは、クオリティ指標の値でソートしたときに、大きいほうから一定数の追跡対象オブジェクト（もし、オブジェクト数が一定数より少ない場合には全て）を選択する。あるいは、両者の基準を組み合わせてオブジェクトを選択（例えば、クオリティ指標の値が一定値以上の中で、大きいほうから一定数選択）してもよい。選択された追跡対象オブジェクトのＩＤと、それと対応づいた検出オブジェクトのＩＤ、および抽出時刻情報を組み合わせて、選択オブジェクト情報として出力する。

次に、図２のクオリティ判定部１２０の詳細について述べる。図３は、第１実施形態に係る特徴量抽出装置において、オブジェクト選択手段のクオリティ判定部１２０を例示したブロック図である。図３に示すように、クオリティ判定部１２０は、クオリティ指標算出部１３０を含んでいる。クオリティ指標算出部１３０は、過去画像オブジェクト検出結果とオブジェクト追跡結果履歴とに基づいてクオリティ指標を算出し、出力する。

次に、図３のクオリティ判定部１２０の動作について述べる。クオリティ指標算出部１３０では、オブジェクト追跡結果履歴における、抽出時刻Ｔ_ｃｕｒ－τでの追跡結果に含まれる各追跡対象オブジェクトに対して、様々な要因に対するクオリティ指標を算出する。検出されたオブジェクトの大きさが大きいほど、オブジェクトの細かな特徴まで抽出可能となるため、一般的にオブジェクトの大きさ（解像度）が大きいほど、特徴量のクオリティは上がると考えられる。よって、オブジェクト検出結果から求まるオブジェクト領域のサイズＳ（例えば領域の面積や領域の幅や高さなど）を用いて、解像度に基づくクオリティ指標ｑ_Ｒｅｓの値を数式（１）によって求めることができる。

ここで、ｆ_Ｒｅｓ（Ｓ）は、［０、１］を値域としてもつ単調非減少関数であり、例えば、図１７Ｂのように表される。この関数は、例えばサイズＳと照合精度の関係を求め、ｆ_Ｒｅｓ（Ｓ）として用いるようにすればよい。

また、オブジェクトの画面上での動きが大きい場合には、オブジェクト表面の細かな模様（例えばオブジェクトが人物の場合は服の模様など）は動きボケの影響で正しく抽出できなくなる可能性が高まる。よって、オブジェクトの画面上での動きが大きいほど、特徴量のクオリティは下がると考えられる。よって、オブジェクトの画面上での動き量をｖとすると、動きに基づくクオリティ指標ｑ_Ｍｏｔの値を数式（２）によって求めることができる。

ここで、ｆ_Ｍｏｔ（ｖ）は、［０、１］を値域としてもつ単調非増加関数であり、例えば、図１７Ｃのように表される。この関数は、例えば画面上での動き量ｖと照合精度の関係を求め、ｆ_Ｍｏｔ（ｖ）として用いるようにすればよい。また、動き量ｖは、追跡対象オブジェクトの移動履歴から求めることができる。例えば、抽出時刻Ｔ_ｃｕｒ－τ前後の複数の時刻における位置情報を用いて、抽出時刻Ｔ_ｃｕｒ－τにおける画面上での動き量ｖを求めることができる。

また、オブジェクトの姿勢や向きが、特徴抽出で想定している姿勢や向きから大きくずれている場合は、抽出された特徴量が想定からずれてくる可能性がある。よって、オブジェクトの姿勢や向きの、想定姿勢や向きからのずれが大きくなるほど、特徴量のクオリティは下がると考えられる。例えば、オブジェクトが人物の場合には、特徴抽出で想定される姿勢が直立姿勢の場合、しゃがんだり、かがんだりすると、想定姿勢からのずれが大きくなる。この程度を表す値を姿勢変化度（想定姿勢からのずれが大きいほど値が大きくなる指標）と呼ぶことにし、姿勢変化度をｒ_Ｐｏｓで表すことにすると、姿勢や向きに基づくクオリティ指標ｑ_Ｐｏｓの値は、数式（３）で表される。

ここで、ｆ_Ｐｏｓ（ｒ_Ｐｏｓ）は、［０、１］を値域としてもつ単調非増加関数であり、例えば、図１７Ｄのように表される。この関数は、例えば姿勢変化度ｒ _Ｐｏｓと照合精度の関係を求め、ｆ_Ｐｏｓ（ｒ_Ｐｏｓ）として用いるようにすればよい。

また、姿勢変化度ｒ_Ｐｏｓは、例えばオブジェクト検出矩形のアスペクト比が、想定される姿勢の場合のオブジェクト外接矩形のアスペクト比からどれだけずれているかで定義することができる。例えば、検出矩形のアスペクト比と想定姿勢に対するオブジェクト外接矩形のアスペクト比の差分の絶対値を求め、姿勢変化度とすることができる。あるいは、固定カメラの場合でキャリブレーション情報が利用できる場合には、画面の矩形の大きさから、実空間上でのオブジェクトの大きさを求めることができるようになる。よって、オブジェクトの追跡結果からオブジェクトの実空間上での大きさ（例えば、人物の場合には人物の高さ）を求めておき、抽出時刻Ｔ_ｃｕｒ－τにおける、その時系列変化をチェックすることで、姿勢変動を検出することができる。すなわち、実空間上での大きさの変化の度合いに応じて、姿勢変化度を定義するようにすればよい。さらに、オブジェクトの向きも考慮してもよい。オブジェクトの向きの求め方としては種々の方法があるが、例えば、オブジェクトの移動方向と向きが一致すると仮定すると、追跡結果の位置の履歴からオブジェクトの移動方向を特定し、向きを推定することができる。そして、推定された向きと特徴抽出の想定向き（例えば正面など）とのずれの大きさで、姿勢変化度を定義するようにしてもよい。

このようにして求めた各要因に対するクオリティ指標から全体のクオリティ指標を算出する。各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表す関数ｇ_１を数式（４）のように定義し、用いるようにする。

数式（４）の関数としては、例えば数式（５）に示す関数を用いることができる。

なお、今までは様々な要因について記してきたが、この全部を考慮する必要はなく、一部のみを考慮するようになっていてもよい。この場合は、考慮しない要因に対するクオリティ指標の値を１とみなして、数式（４）に従ってクオリティ指標を算出するようにすればよい。

上述のクオリティ指標は抽出時刻Ｔ_ｃｕｒ－τのオブジェクト追跡結果に含まれる各追跡対象オブジェクトに対して算出される。そして、算出されたクオリティ指標は、追跡対象オブジェクトのＩＤとそれに対応づいた検出オブジェクトＩＤの情報と対応付けて出力される。

このようにすることで、解像度、動き、姿勢によって特徴量のクオリティが低下することを予測し、特徴抽出を行うべきオブジェクトを選択できるようになる。特に、特徴抽出の時刻を少し遅らせることで、特徴抽出時点から見ると、未来の追跡結果情報も用いることができるようになるため、より正確なオブジェクトの状態判定ができるようになり、適切なオブジェクト選択が可能となる。

次に、図２のクオリティ判定部１２０の別の実施形態について述べる。図４は、第１実施形態に係る特徴量抽出装置において、オブジェクト選択手段の別のクオリティ判定部を例示したブロック図である。図４に示すように、クオリティ判定部１２０の別の例は、クオリティ指標算出部１３１と環境要因記憶部１３２とを有している。クオリティ指標算出部１３１は、オブジェクト検出結果とオブジェクト追跡結果とに基づいてクオリティ指標を算出し、出力する。

次に、図４のクオリティ判定部１２０の動作について述べる。環境要因記憶部１３２には、環境要因によって生じる特徴量のクオリティ低下に対するクオリティ指標の値が格納されている。特徴量のクオリティに影響を与える環境要因としては、環境に配置されている障害物（棚や机など）による隠蔽、不適切な照明・日照条件による劣化、カメラの焦点が合っていないことによって生じるぼけによる劣化などが挙げられる。固定カメラの場合、これらの劣化要因は画面上の特定の場所で生じることになる。よって、画面上の各位置にオブジェクトが来た時に生じるクオリティ劣化の度合いを推定し、その程度を表すクオリティ指標の値を位置と対応付けて環境要因記憶部１３２に記憶しておく。すなわち、数式（６）に示す、環境要因に基づくクオリティ指標の値を画面上の各座標（ｘ、ｙ）について求めておき、記憶しておけばよい。

ここで、ｆ_Ｅｎｖ（ｘ、ｙ）は、［０、１］を値域としてもつ関数である。また、ｘ、ｙは、オブジェクトの基準点の位置座標であり、例えば、オブジェクトの接地点の中心座標を用いることができる。関数ｆ_Ｅｎｖ（ｘ、ｙ）の値は、例えばオブジェクトが画面上の位置（ｘ、ｙ）に来た時に生じる環境要因によって、どの程度照合精度が落ちるかを求め、その結果に基づいて決めるようにすればよい。

なお、環境要因ではないが、カメラの画面の周辺領域では、オブジェクトの一部が画面外となり、一部が隠ぺいされたのと同等の状況が生じる。よって画面周辺領域も、障害物による隠ぺいと同様に扱ってもよい。また、特徴量のクオリティに影響を与える上述の要因のうち、解像度については、環境要因と合わせて考慮することもできる。このため、解像度に基づくクオリティ指標は、環境要因に基づくクオリティ指標に含めるようにしてもよい。

なお、上述の位置情報（ｘ、ｙ）は画面上ではなく、実世界座標や、それを地図画像の座標に変換した値であってもよい。この場合は、オブジェクトの位置情報を該当する座標系に変換した上で、数式（６）に示すクオリティ指標を求める。

また、照明や日照条件については、昼と夜で異なる等、時間帯によって変化が生じ得る。よって、各時間帯に対するクオリティ指標の値を環境要因記憶部１３２に記憶しておき、処理する映像の時間帯に応じて情報を切り替えて用いるようにしてもよい。あるいは、環境条件が遷移する状況下では、その前後の時間帯のクオリティ指標の値から、内挿によりクオリティ指標の値を求めて用いてもよい。

クオリティ指標算出部１３１では、クオリティ指標算出部１３０の動作の説明で述べた要因に加え、環境要因も考慮して全体のクオリティ指標を算出する。具体的には、オブジェクト追跡結果に含まれる追跡対象オブジェクトの位置情報から現時刻におけるオブジェクトの位置（ｘ、ｙ）を求め、環境要因記憶部１３２から、その位置における環境要因に基づくクオリティ指標ｑ_Ｅｎｖの値を求める。そして、各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表す関数ｇ_２を数式（７）のように定義し、用いるようにする。

数式（７）の関数としては、例えば、数式（８）に示す関数を用いることができる。

このようにすることで、特定の位置にオブジェクトが来た時に決まったクオリティ劣化が生じる場合であっても、特徴量のクオリティの低下を適切に予測できるようになる。

このようにすることで、解像度、動き、姿勢による要因に加え、環境に基づいて生じる特徴量のクオリティ低下を予測できるようになり、特徴抽出を行うべきオブジェクトを、より適切に選択できるようになる。また、時間帯に応じて環境要因に基づくクオリティ指標を切り替えることにより、時間によって抽出される特徴量のクオリティが変化する場合であっても、適切に対応できるようになる。

次に、図１のオブジェクト選択手段１０５の別の実施形態について説明する。図５は、第１実施形態に係る特徴量抽出装置において、別のオブジェクト選択手段を例示したブロック図である。図５に示すように、別のオブジェクト選択手段１０５は、クオリティ判定部１２０と、バリエーション判定部１４０と、オブジェクト選択部１４１とを有している。

クオリティ判定部１２０は、入力されるオブジェクト追跡結果履歴と過去画像オブジェクト検出結果とに基づいてクオリティ指標を求め、オブジェクト選択部１４１へ出力する。バリエーション判定部１４０は、入力されるオブジェクト追跡結果履歴とオブジェクト選択部１４１からフィードバックされる選択オブジェクト情報に基づいてバリエーション指標を求め、オブジェクト選択部１４１へ出力する。オブジェクト選択部１４１は、クオリティ判定部１２０から出力されるクオリティ指標と、バリエーション判定部１４０から出力されるバリエーション指標とに基づいて特徴量を抽出するオブジェクトを選択し、選択オブジェクト情報を出力する。この選択オブジェクト情報は、後の時刻でのバリエーション判定のため、バリエーション判定部１４０にも出力される。

次に、図５に示すオブジェクト選択手段１０５の動作について説明する。クオリティ判定部１２０の動作は、図２のものと同じであり、求めたクオリティ指標をオブジェクト選択部１４１へ出力する。

一方、バリエーション判定部１４０では、以前の時刻で出力されたオブジェクト選択情報を記憶しており、入力されるオブジェクト追跡結果履歴に含まれる、抽出時刻Ｔ_ｃｕｒ－τの画像における各追跡対象オブジェクトに対するバリエーション指標を算出する。

バリエーション指標は、取得特徴量のバリエーション（多様性）の改善の度合いを表す指標である。オブジェクトの特徴量はオブジェクトの状態によって変化し得るため、オブジェクト照合での漏れを少なくするためには、同一オブジェクトの様々な状態での特徴量を抽出しておくことが望ましい。一方、オブジェクトの状態がほとんど変わっていない状況で何度も特徴抽出を行っても、ほぼ同じ特徴量が繰り返し取得されるのみであり、漏れの低減には寄与しない。すなわち、時系列でのオブジェクトの特徴取得においては、冗長な特徴量取得をなるべく避けつつ、取得特徴量のバリエーションを増やしていくことが重要となる。バリエーション指標は、それまでに取得した特徴量群に加えて、今回特徴量取得を行うことで、特徴量のバリエーションを増やすことができるかどうか、すなわち取得特徴量のバリエーションを改善できるかどうかを特徴量抽出前に予測し、指標化したものである。よって、バリエーション指標が大きいオブジェクトほど優先的に特徴量を抽出することが望ましく、オブジェクト選択の基準として用いることができる。

バリエーション判定部１４０の詳細については後述する。算出されたバリエーション指標は、追跡対象オブジェクトのＩＤと対応付けてオブジェクト選択部１４１へ出力される。

オブジェクト選択部１４１では、入力されるクオリティ指標Ｑとバリエーション指標Ｖとに基づいて、両方を合わせた選択指標Ｉを算出する。この関数をＦとすると、数式（９）のように定式化できる。

数式（９）の関数としては、例えば、数式（１０）の関数を用いることができる。

そして、選択指標Ｉの値が大きい追跡対象オブジェクトを選択する。具体的には、選択指標の値が一定値よりも大きいものを選択する。あるいは、選択指標の値でソートしたときに、大きいほうから一定数の追跡対象オブジェクト（もし、オブジェクト数が一定数より少ない場合には全て）を選択する。あるいは、両者の基準を組み合わせてオブジェクトを選択（例えば、選択指標の値が一定値以上の中で、大きいほうから一定数選択）してもよい。

選択された追跡対象オブジェクトのＩＤは、それと対応づいた検出オブジェクトのＩＤ、および抽出時刻情報を組み合わせて選択オブジェクト情報として出力される。また、選択オブジェクト情報は、バリエーション判定部１４０へも出力され、後の時刻におけるバリエーション指標の算出に用いられる。

次に、バリエーション判定部１４０の詳細について述べる。図６は、第１実施形態に係る特徴量抽出装置において、別のオブジェクト選択手段のバリエーション判定部を例示したブロック図である。図６に示すように、バリエーション判定部１４０は、バリエーション指標算出部１５０と、抽出履歴記憶部１５１とを有している。

抽出履歴記憶部１５１は、入力される選択オブジェクト情報に基づいて、各オブジェクトの特徴量抽出履歴を更新、格納しており、特徴量抽出履歴情報をバリエーション指標算出部１５０へ出力する。バリエーション指標算出部１５０は、入力されるオブジェクト追跡結果履歴と、抽出履歴記憶部１５１から出力される特徴量抽出履歴情報に基づいて、バリエーション指標を算出し、出力する。

次に、図６に示すバリエーション判定部１４０の動作について説明する。抽出履歴記憶部１５１では、各追跡対象オブジェクトのＩＤに対して、特徴量を抽出するオブジェクトとして選択された時刻の情報を格納している。選択オブジェクト情報が抽出履歴記憶部１５１に入力されると、選択オブジェクト情報に含まれる追跡対象オブジェクトのＩＤに対して、そのオブジェクトが選択された時刻の情報を追加する。抽出履歴記憶部１５１では、さらに、各追跡対象オブジェクトのＩＤに対して過去に何回特徴抽出が行われたかといった情報を記録していてもよい。この場合には、選択オブジェクト情報に含まれる追跡対象オブジェクトの特徴抽出回数を１つ増やす。

バリエーション指標算出部１５０では、入力されるオブジェクト追跡結果履歴に含まれる、抽出時刻Ｔ_ｃｕｒ－τの画像における各追跡対象オブジェクトに対してバリエーション指標を算出する。上述のように、照合時の漏れを少なくするには、特徴量のバリエーションを増やすことが重要となる。これは、それまでの特徴量の取得履歴に依存する。前回特徴量を取得してから、ある程度時間が経過すると、オブジェクトの状態が変化し、バリエーション改善につながる特徴量が抽出できる可能性が高まる。よって、数式（１１）のようにバリエーション指標を定式化できる。

ここで、関数ｈ_１（ｔ）は［０、１］を値域としてもち、前回の特徴抽出から今回の特徴抽出対象時刻である抽出時刻Ｔ_ｃｕｒ－τまでの経過時間ｔに対する単調非減少関数である。この関数としては、例えば、図１９Ａに示すような関数を用いることができる。なお、まだ一度も特徴抽出していない場合には、前回の特徴抽出時刻をｔ＝－∞とし、バリエーション指標の値はｈ_１（∞）と定義する。

上述の例では、単に前回の特徴抽出からの経過時間のみを考慮したが、これまでの特徴抽出の回数も考慮するようにしてもよい。特徴量の抽出回数が増えるにつれ、取得済みの特徴量のバリエーションも増加すると考えられるため、特徴抽出の回数が多くなれば、特徴抽出の頻度を下げてもよいと考えられる。よって、特徴抽出回数が増えるにつれてバリエーション指標の値が下がる関数を定義して、用いればよい。すなわち、バリエーション指標を経過時間ｔと特徴量抽出回数ｎの関数として、数式（１２）のように定式化する。

ここで、関数ｈ_２（ｔ、ｎ）は、［０、１］を値域としてもち、ｎを固定したときにはｔの単調非減少関数となり、ｔを固定したときにはｎの単調非増加関数となる関数である。例えば、図１９Ｂに示すような関数を用いることができる。

上述の例では、特徴抽出の履歴のみを用いたが、追跡結果の履歴情報も用いるようにしてもよい。前回の特徴抽出から時間が経過しているオブジェクトであっても、同じところにとどまり続けている場合には、状態があまり変化していない可能性が高く、特徴抽出を行っても、前回とほぼ同じ特徴量が得られるのみになる可能性が高い。一方、動いているオブジェクトの場合は、前回の特徴抽出からの経過時間が短くても、状態が大きく変化している可能性が高い。よって、オブジェクトの追跡結果履歴情報を用いて、オブジェクトがどれだけ移動しているかを求め、求まった移動量に応じてバリエーション指標の値を変化させるようにする。

例えば、オブジェクト追跡結果履歴情報に含まれる、抽出時刻Ｔ_ｃｕｒ－τ前後のオブジェクトの位置情報から、この時点におけるオブジェクトの移動量を算出する。例えば、時刻Ｔ_ｃｕｒ－τ－ΔＴと時刻Ｔ_ｃｕｒ－τ＋ΔＴの位置の差分を移動量ｄとして求める。この移動量は画面上での移動量として求めてもよいし、実世界座標系に変換して実世界上での移動量として求めてもよい。そして、バリエーション指標を経過時間ｔと特徴量抽出回数ｎ、移動量ｄの関数として、数式（１３）のように定式化する。

ここで、関数ｈ_３（ｔ、ｎ、ｄ）は［０、１］を値域として持ち、ｎ、ｄを固定したときにはｔの単調非減少関数となり、ｔ、ｄを固定したときにはｎの単調非増加関数となり、ｔ、ｎを固定した時にはｄの単調非減少関数となる関数である。例えば、図１９Ｃに示すような関数を用いることができる。

オブジェクト追跡結果履歴情報を用いる場合には、さらに、オブジェクトの向き等、オブジェクトの状態に関する他の情報も得ることができる。オブジェクトの状態に応じて特徴量が変化し得る場合には、その状態ごとに特徴量を抽出して保持しておき、照合に用いるようにすると、より漏れを低減できる。よって、オブジェクトの状態ごとに分類して特徴抽出の履歴を求め、そのときのオブジェクトの状態に応じてバリエーション指標を算出するようにすればよい。

オブジェクトの状態を表すカテゴリをｃ＝１、・・・、Ｃとする。このカテゴリは、例えば、正面、右、背面、左といったオブジェクトの向きに関するカテゴリである。それぞれのカテゴリｃに対して、バリエーション指標を数式（１４）のように定式化する。

ここで、関数ｈ_３、ｃは、数式（１３）の関数ｈ_３をカテゴリｃごとに求める関数である。まず、オブジェクト追跡結果に基づいて、現在のオブジェクトの状態がどのカテゴリに当てはまるかを推定し、推定したカテゴリの関数を用いてバリエーション指標を算出する。例えば、カテゴリが向きの場合には、オブジェクトの追跡履歴からオブジェクトの移動方向を求め、移動方向に基づいて、向きを推定するようにすればよい。もし、向きが求まらない場合には、向き不明というカテゴリを設けておき、バリエーション指標を算出するようにしてもよい。

なお、このカテゴリは必ずしも向きによるものでなくてもよく、オブジェクトの状態を反映した様々なカテゴリを用いることができる。もし、追跡情報のみでカテゴリ分類が難しい場合には、他の情報も含めてオブジェクトの状態のカテゴリ分類を行うようになっていてもよい。

上述のバリエーション指標Ｖは、オブジェクト追跡結果履歴に含まれる、抽出時刻Ｔ_ｃｕｒ－τの画像における各追跡対象オブジェクトに対して算出される。そして、算出されたバリエーション指標は、追跡対象オブジェクトのＩＤと対応付けて出力される。

このようにすることで、特徴量抽出履歴から、クオリティだけでなく、取得特徴量のバリエーションも考慮して、特徴抽出を行うべきオブジェクトを適切に選択できるようになる。

次に、バリエーション判定部１４０の別の実施形態について述べる。図７は、第１実施形態に係る特徴量抽出装置において、別のバリエーション判定部を例示したブロック図である。図７に示すように、別のバリエーション判定部１４０は、バリエーション指標算出部１５５と、抽出履歴記憶部１５１と、オブジェクト状態変化傾向記憶部１５４とを有している。

抽出履歴記憶部１５１は、入力される選択オブジェクト情報に基づいて、各オブジェクトの特徴量抽出履歴を更新、格納しており、特徴量抽出履歴情報をバリエーション指標算出部１５５へ出力する。オブジェクト状態変化傾向記憶部１５４は、場所に応じたオブジェクト状態の傾向を表す情報を格納しており、オブジェクト状態変化傾向情報をバリエーション指標算出部１５５へ出力する。バリエーション指標算出部１５５は、入力されるオブジェクト追跡結果と、抽出履歴記憶部１５１から出力される特徴量抽出履歴情報と、オブジェクト状態変化傾向記憶部１５４から出力されるオブジェクト状態変化傾向情報とに基づいて、バリエーション指標を算出し、出力する。

次に、図７に示すバリエーション判定部１４０の動作について説明する。抽出履歴記憶部１５１の動作は、図６のものと同様である。

オブジェクト状態変化傾向記憶部１５４では、画面内の場所に応じて変化し得る、オブジェクトの状態変化の傾向を表す情報を格納している。オブジェクトがどういう状態を取りやすいかといった傾向は、オブジェクトが存在する場所によって異なる場合がある。例えば、オブジェクトが人物の場合、通路の曲がり角に設置され、人が歩行時に曲がる様子をとらえることができるカメラの場合には、曲がり角においては、曲がる際に、人物の様々な方向の特徴を抽出することが可能となる。一方、それ以外の位置では、人物の方向とカメラの向きの関係が変化しにくいため、特定の方向のみの特徴が抽出される可能性が高い。このように、場所によってオブジェクトの状態変化の度合いが異なる場合には、状態変化が起こりやすい場所では、そうでない場所よりも頻度を上げて特徴抽出を行えば、様々なバリエーションの特徴を効率的に抽出できるようになる。よって、数式（１５）で示されるような状態変化の起こりやすさを反映した乗数αを場所（ｘ、ｙ）ごとに定義し、オブジェクト状態変化傾向記憶部１５４に記憶しておく。

ここで、関数ｈ_Ｌｏｃは、［０、１］の値域を持つ関数であり、画面上でオブジェクトの状態変化が起こりやすいところほど値が大きくなる関数である。

バリエーション指標算出部１５５では、バリエーション指標算出部１５０の動作の説明で述べた方法によって求まるバリエーション指標Ｖに、数式（１５）の乗数αを乗じた値をバリエーション指標Ｖとして算出する。より具体的には、追跡対象オブジェクトの位置（ｘ、ｙ）をオブジェクト追跡結果情報から求め、この値に基づいて、オブジェクト状態変化傾向情報として乗数αの値を読み出して、バリエーション指標Ｖの値に乗じるようにする。算出されたバリエーション指標は、追跡対象オブジェクトのＩＤと対応付けて出力される。

このように、場所に応じたオブジェクト状態の変化の傾向まで考慮することで、オブジェクトの特徴量の変化の有無を、より正確にバリエーション指標に反映でき、より適切なオブジェクト選択が可能となる。

今までは抽出時刻Ｔ_ｃｕｒ－τの画像に対するオブジェクト選択について述べてきたが、この選択は、必ずしも画像１枚ずつ行う必要はなく、複数の画像に対してまとめて行うようにしてもよい。例えば、映像の時間区間Ｄごとに、オブジェクト選択をまとめて行うようになっていてもよい。

図８は、第１実施形態に係る特徴量抽出装置において、オブジェクト選択を行う映像区間と、オブジェクト選択を行うタイミングの時間的な関係を図示した図である。ここでは、映像区間［（ｎ－１）Ｄ、ｎＤ）（ｎは自然数）のオブジェクト選択が時刻ｎＤ＋τの時点で行われ、その結果が出力されることを示している。例えば、［０、Ｄ）の映像区間でのオブジェクト選択、およびその結果の出力は、時刻Ｄ＋τの時点で行われる。以下では、図１に示すオブジェクト選択手段１０５が、図２に示すようにクオリティ指標のみを用いてオブジェクト選択を行う場合についてまず述べ、次に、図５に示すようにクオリティ指標とバリエーション指標の両方を用いてオブジェクト選択を行う場合について述べる。

クオリティ指標のみを用いてにおけるオブジェクト選択を行う場合には、オブジェクト選択手段１０５は、現時刻Ｔ_ｃｕｒがオブジェクト選択タイミングＴ_ｃｕｒ＝ｎＤ＋τになった時点で、映像区間［（ｎ－１）Ｄ、ｎＤ）に含まれるフレームに含まれるオブジェクトの選択をまとめて行う。

このために、まず、クオリティ判定部１２０は、該当区間の過去画像検出結果と、［（ｎ－１）Ｄ－ΔＴ、Ｔ_ｃｕｒ］の追跡結果履歴を読みだす。そして、映像区間［（ｎ－１）Ｄ、ｎＤ）に含まれるフレームで検出されたオブジェクトそれぞれに対するクオリティ指標を算出し、追跡対象オブジェクトのＩＤと時刻情報、およびそれに対応づいた検出オブジェクトＩＤの情報と対応付けてオブジェクト選択部１２１へ出力する。

オブジェクト選択部１２１では、基本的にはクオリティ指標が高いオブジェクトを選択する。ただし、選択されるオブジェクトが特定の追跡対象オブジェクトＩＤに偏ってしまう場合には、なるべく多くの追跡対象オブジェクトＩＤが選択されるようにしてもよい。例えば、各追跡対象オブジェクトＩＤに対して、クオリティ指標が最大のものを選択したうえで、残りの分を、クオリティが高いオブジェクトを選択するようにしてもよい。

選択するオブジェクト数は、各フレームで一定数である必要はなく、フレームごとに異なっていてもよい。例えば、該当映像区間内のフレーム数Ｎ_Ｆｒｍであり、特徴量抽出処理の時間制約から、一フレーム当たりの選択オブジェクト数の平均をＮ_Ｏｂｊ以内に抑える必要がある場合、選択オブジェクト数Ｎが数式（１６）を満たす限りにおいては、フレームごとの選択数は同じでなくてもよい。

よって、選択オブジェクト数のターゲット数をＮ_ＦｒｍＮ_Ｏｂｊとし、この数以下のオブジェクトを選択するようにする。

この際、選択オブジェクト数がターゲット数に達せず、余裕がある場合には、その分、次のオブジェクト選択区間［ｎＤ、（ｎ＋１）Ｄ）でのターゲット数を増やすようにしてもよい。

このようにして選択されたオブジェクトの情報は、選択オブジェクト情報として、オブジェクト特徴抽出手段１０６へ出力される。選択オブジェクト情報は、選択された追跡対象オブジェクトのＩＤと時刻情報、およびそれと対応づいた検出オブジェクトのＩＤとを組み合わせた情報である。

オブジェクト特徴抽出手段１０６では、映像区間［（ｎ－１）Ｄ、ｎＤ）に対する選択オブジェクト情報が入力されると、該当するフレームの画像とオブジェクト検出結果を、それぞれ画像記憶手段１０７と検出結果記憶手段１０８から読み出し、オブジェクトの特徴を抽出する。オブジェクト抽出の動作自体は、上述の通りである。

なお、上述の例では、映像を一定の時間長Ｄに区切ってオブジェクト選択を行う場合について述べたが、Ｄは必ずしも固定である必要はなく、可変にして、適応的に制御するようになっていてもよい。例えば、検出オブジェクト数が少ない場合には、Ｄを１フレーム間隔とし、遅延を最小限に抑えるようにしておき、オブジェクト数が多くなった時点でDを増やして数フレーム分まとめてオブジェクト選択を行うようになっていてもよい。これにより、遅延を抑えつつ、複数フレームを跨って最適なオブジェクト選択が可能となる。

次に、クオリティ指標とバリエーション指標の両方を用いてオブジェクト選択を行う場合について述べる。

クオリティ判定部１２０については、上述の通りであり、映像区間［（ｎ－１）Ｄ、ｎＤ）に含まれるフレームで検出されたオブジェクトに対するクオリティ指標を算出し、オブジェクト選択部１４１へ出力する。

バリエーション判定部１４０では、映像区間［（ｎ－１）Ｄ－ΔＴ、Ｔ_ｃｕｒ］に含まれるフレームの追跡結果履歴を読みだす。これと、内部に保持しているそれ以前の時刻のオブジェクト選択情報とに基づいて、映像区間［（ｎ－１）Ｄ、ｎＤ）に含まれるフレームで検出されたオブジェクトそれぞれに対するバリエーション指標を算出する。バリエーション指標の算出方法は、１フレーム単位でオブジェクトを選択する場合と同様であるが、経過時間ｔと特徴量抽出回数ｎの値は、映像区間の開始時点（ｎ－１）Ｄでの値となる。算出されたバリエーション指標は、追跡対象オブジェクトＩＤと対応付けてオブジェクト選択部１４１へ出力する。

オブジェクト選択部１４１では、クオリティ指標Ｑとバリエーション指標Ｖとから両方を合わせた選択指標Ｉを算出し、選択指標が高いオブジェクトを選択する。選択するオブジェクト数については、数式（１６）を満たす限りにおいては、フレームごとの選択数は同じでなくてもよい。これ以降の処理は、上述のクオリティ指標のみを用いてオブジェクト選択を行う場合と同様である。

ただし、厳密には、あるオブジェクトがオブジェクト選択部１４１で選択されると、そのオブジェクトに対するバリエーション指標Ｖは変化する。次に、この点を考慮してオブジェクト選択を行う場合の動作について説明する。

この場合、オブジェクト選択部１４１では、まず、選択指標Ｉが最大となるオブジェクトを選択する。すると、選択されたオブジェクト情報を選択オブジェクト情報として出力する。この情報は、バリエーション判定部１４０にもフィードバックされる。バリエーション判定部１４０では、フィードバックされた時点で選択オブジェクトのオブジェクト選択履歴が変化するため、その追跡対象オブジェクトＩＤに対するバリエーション指標Ｖを計算しなおし、オブジェクト選択部１４１に出力する。オブジェクト選択部１４１では、計算しなおされたバリエーション指標Ｖを用いて再度選択指標を計算し、選択指標が最大となるオブジェクトを選択し、選択されたオブジェクト情報を出力する。これを、選択オブジェクト数がターゲット数に達する、あるいは、他の条件（例えば選択指標Ｉが一定値を下回るなど）を満たすまで繰り返す。このように、１つオブジェクトを選択する度にそのオブジェクトのバリエーション指標を計算しなおし、選択していくことで、より適したオブジェクト選択が可能となる。

この場合、オブジェクト特徴抽出手段１０６では、選択オブジェクト情報が出そろった時点でオブジェクトの特徴抽出を行ってもよいし、あるいは、選択オブジェクト情報が出力されるたびに逐次特徴量を抽出するようになっていてもよい。

このように、複数フレームのオブジェクト選択をまとめて行うことにより、フレームごとに選択する場合に比べ、オブジェクト選択の柔軟性が増し、より適切なオブジェクト選択が可能となる。

（第２実施形態）
第２実施形態について説明する。図９は、第２実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。

図９に示すように、本実施形態のオブジェクト特徴量抽出装置１００は、図１のオブジェクト特徴量抽出装置１００と比較すると、オブジェクト位置関係解析手段２０４が新たに追加され、オブジェクト選択手段１０５の代わりにオブジェクト選択手段２０５が設けられている点が図１のオブジェクト特徴量抽出装置１００と異なる。

映像取得手段１０１、オブジェクト検出手段１０２、オブジェクト追跡手段１０３と、画像記憶手段１０７と、検出結果記憶手段１０８の接続関係は、図１の場合と同様である。追跡結果記憶手段１０９も同様であるが、出力は、オブジェクト位置関係解析手段２０４へも接続される。オブジェクト位置関係解析手段２０４は、追跡結果記憶手段１０９から出力される追跡結果履歴情報に基づいて、オブジェクトの位置関係を求め、オブジェクト位置関係情報をオブジェクト選択手段２０５へ出力する。オブジェクト選択手段２０５は、検出結果記憶手段１０８から出力される過去画像追跡結果と、追跡結果記憶手段１０９から出力される追跡結果履歴情報と、オブジェクト位置関係解析手段２０４から出力されるオブジェクト位置関係情報とに基づいて、特徴抽出を行うオブジェクトを選択し、選択オブジェクト情報をオブジェクト特徴抽出手段１０６に出力する。オブジェクト特徴抽出手段１０６は、オブジェクト選択手段２０５から出力される選択オブジェクト情報に含まれるオブジェクトの特徴量を、検出結果記憶手段１０８から出力されるオブジェクト検出結果に基づいて、画像記憶手段１０７から出力される画像から抽出する。

次に、図９のオブジェクト特徴量抽出装置１００の動作について説明する。

映像取得手段１０１、オブジェクト検出手段１０２、オブジェクト追跡手段１０３と、画像記憶手段１０７と、検出結果記憶手段１０８と、追跡結果記憶手段１０９の動作は、図１の場合と同様である。

オブジェクト位置関係解析手段２０４では、追跡結果記憶手段１０９から出力される追跡結果履歴情報に含まれる各オブジェクトの位置情報を比較し、フレームごとに追跡対象オブジェクト間の位置関係を解析する。具体的には、オブジェクト同士が重なっているかどうか、重なっている場合には、どのオブジェクトが最も手前であるかを判定し、オブジェクト位置関係情報を生成する。

重なり判定には、例えば、各追跡対象オブジェクトの外接矩形同士に重なりがあるかどうかを調べればよい。この際、重なっているかどうかという情報だけでなく、重なりの度合いを表す重なり率も合わせて求めてもよい。

手前かどうかの判定は、通常の斜め上から撮影する監視カメラの画角の場合、より下側に映るオブジェクトの方が手前にあると見做せる。よって、重なりが判定された場合には、画面上の外接矩形や位置情報から、最も下側に位置するオブジェクトが手前にあるオブジェクトと判定し、それ以外は隠されていると判定する。あるいは、オブジェクトの位置情報を実世界座標に変換し、最もカメラに近いオブジェクトを手前にあるオブジェクトとして判定してもよい。

さらに、重なりの判定は、オブジェクト全体ではなく、オブジェクトの各部位に対して行ってもよい。例えば、オブジェクトの外接矩形を複数の領域に分割し、分割した領域ごとに重なりを判定してもよい。この場合も、分割した領域ごとに重なり率も算出してもよい。

生成されたオブジェクト位置関係情報は、オブジェクト選択手段２０５へ出力される。

オブジェクト選択手段２０５の動作の詳細は後述する。生成された選択オブジェクト情報は、オブジェクト特徴抽出手段１０６に出力される。オブジェクト特徴抽出手段１０６の動作は、図１のものと同様である。

次に、オブジェクト選択手段２０５について詳細に説明する。図１０は、第２実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。

図１０に示すように、オブジェクト選択手段２０５は、クオリティ判定部２２０とオブジェクト選択部１２１とを有している。

クオリティ判定部２２０は、入力されるオブジェクト追跡結果履歴情報と過去画像オブジェクト検出結果とオブジェクト位置関係情報とに基づいてクオリティ指標を求め、オブジェクト選択部１２１へ出力する。オブジェクト選択部１２１は、クオリティ判定部２２０から出力されるクオリティ指標に基づいて、特徴量を抽出するオブジェクトを選択し、選択オブジェクト情報を出力する。

次に、オブジェクト選択手段２０５の動作について説明する。オブジェクト追跡結果履歴情報、過去画像オブジェクト検出結果、およびオブジェクト位置関係情報は、クオリティ判定部２２０へ入力される。

クオリティ判定部２２０も図２のクオリティ判定部１２０と同様に、各オブジェクトのクオリティ指標を算出する。ただし、この場合、オブジェクト位置関係情報も用いてクオリティ指標を算出する点が異なる。

まず、オブジェクト追跡結果履歴情報に含まれる各追跡対象オブジェクトに対して、オブジェクト位置関係情報を参照し、他のオブジェクトとの重なりによる隠ぺいが生じていないかどうかを判定する。隠ぺいが生じている場合には、特徴量抽出の対象となる画像領域の一部、あるいは全部がそのオブジェクトに帰属しなくなるため、その領域から抽出される特徴量は、本来の特徴量とは異なる値になり、特徴量のクオリティが低下する。この低下の程度は、隠蔽の度合い（以降隠蔽度と呼ぶ）によって変化するため、クオリティ指標が隠蔽度に応じて下がるように定義すればよい。ここで、隠蔽度は、例えばオブジェクト領域の中で手前のオブジェクトに隠されている領域の比率（隠蔽率）として定義できる。隠蔽度をｒ_Ｏｃｃ、隠蔽度に基づくクオリティ指標をｑ_Ｏｃｃとすると、数式（１７）のように定式化できる。

ここで、ｆ_Ｏｃｃ（ｒ_Ｏｃｃ）は、［０、１］を値域としてもつ単調非増加関数であり、例えば、図１７Ａのように表される。この関数は、例えば隠蔽度と照合精度の関係を求め、ｆ_Ｏｃｃ（ｒ_Ｏｃｃ）として用いるようにすればよい。

なお、隠蔽度を求める際、オブジェクト領域全体の隠蔽率をそのまま用いるのではなく、オブジェクト領域内でどの部分が隠蔽されているかも考慮して隠蔽度を算出するようにしてもよい。例えば、オブジェクトが人物の場合、足下に近い領域が少し隠されても照合精度の影響は小さいが、頭部領域に近い領域が隠された場合には、照合精度の影響が大きくなる場合がある。このように、隠蔽部位によって照合に与える影響度が異なる場合には、部位ごとに隠蔽率を算出し、それらを重みづけ加算して隠蔽度を算出するようにすればよい。例えば、オブジェクトが人物の場合、図１８に示すように、水平な線で鉛直方向に複数の領域Ｒ_１、Ｒ_２、・・・、Ｒ_Ｍ（図１８は、Ｍ＝５の場合に相当）に分割し、それぞれの領域ごとに、隠蔽率を算出し、数式（１８）に示すように重みづけ加算して隠蔽度を算出する。

ここで、ｒ_ｍ、ｗ_ｍはそれぞれ領域Ｒ_ｍに対する隠蔽率と重み係数である。重み係数は、照合に対する影響が大きい領域ほど大きな値をとる係数であり、総和が１になるように正規化されているものとする。このようにオブジェクトの部位ごとに重みづけして算出した隠蔽度を用いて、隠蔽度に基づくクオリティ指標を算出するようにすればよい。

そして、その他の解像度や動き、姿勢・向きに対するクオリティ指標は、上述の通り算出し、各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表す関数ｇ_３を数式（１９）のように定義し、用いるようにする。

数式（１９）の関数としては、例えば数式（２０）に示す関数を用いることができる。

さらに、環境要因に基づくクオリティ指標も用いる場合には、各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表す関数ｇ_４を数式（２１）のように定義し、用いるようにする。

数式（２１）の関数としては、例えば数式（２２）に示す関数を用いることができる。

このようにすることで、オブジェクト同士の隠ぺいによる特徴量のクオリティの低下も予測し、特徴抽出を行うべきオブジェクトを選択できるようになる。

次に、図９のオブジェクト選択手段２０５の別の実施の形態について説明する。図１１は、第２実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段を例示したブロック図である。

図１１に示すように、別のオブジェクト選択手段２０５は、クオリティ判定部２２０とバリエーション判定部１４０とオブジェクト選択部１４１とを有している。

図５のオブジェクト選択手段１０５と比較すると、クオリティ判定部１２０の代わりにクオリティ判定部２２０が設けられている点を除けば、図５のオブジェクト選択手段１０５と同様である。

次に、図１１のオブジェクト選択手段２０５の動作について説明する。クオリティ判定部２２０の動作は、図１０のクオリティ判定部２２０と同様である。また、バリエーション判定部１４０とオブジェクト選択部１４１の動作は、図５のものと同様である。

このようにして、クオリティ指標とバリエーション指標の両方を考慮してオブジェクトを選択できるようになる。なお、第２実施形態の場合も、第１実施形態で述べたように複数フレームまとめてオブジェクトを選択するようにしてもよいことは言うまでもない。

（第３実施形態）
次に、本発明の第３実施形態について説明する。図１２は、第３実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。図１２に示すように、第３実施形態のオブジェクト特徴量抽出装置１００は、図１のオブジェクト特徴量抽出装置１００と比較すると、オブジェクト検出傾向解析手段３１０が新たに追加され、オブジェクト選択手段１０５の代わりにオブジェクト選択手段３０５が設けられている点が図１のオブジェクト特徴量抽出装置１００と異なる。

映像取得手段１０１、オブジェクト検出手段１０２、オブジェクト追跡手段１０３と、画像記憶手段１０７と、追跡結果記憶手段１０９の接続関係は、図１の場合と同様である。検出結果記憶手段１０８も同様であるが、出力は、オブジェクト検出傾向解析手段３１０へも接続される。

オブジェクト検出傾向解析手段３１０は、検出結果記憶手段１０８から出力される過去画像追跡結果に基づいて、オブジェクトの検出傾向を分析し、オブジェクト検出傾向情報をオブジェクト選択手段３０５へ出力する。オブジェクト選択手段３０５は、検出結果記憶手段１０８から出力される過去画像追跡結果と、追跡結果記憶手段１０９から出力される追跡結果履歴情報と、オブジェクト検出傾向解析手段３１０から出力されるオブジェクト検出傾向情報とに基づいて、特徴抽出を行うオブジェクトを選択し、選択オブジェクト情報をオブジェクト特徴抽出手段１０６に出力する。オブジェクト特徴抽出手段１０６は、オブジェクト選択手段３０５から出力される選択オブジェクト情報に含まれるオブジェクトの特徴量を、検出結果記憶手段１０８から出力されるオブジェクト検出結果に基づいて、画像記憶手段１０７から出力される画像から抽出する。

次に、図１２のオブジェクト特徴量抽出装置１００の動作について説明する。映像取得手段１０１、オブジェクト検出手段１０２、オブジェクト追跡手段１０３と、画像記憶手段１０７と、検出結果記憶手段１０８と、追跡結果記憶手段１０９の動作は、図１の場合と同様である。

オブジェクト検出傾向解析手段３１０では、入力されるオブジェクト検出結果情報を分析し、画像の場所ごとのオブジェクト検出傾向を求める。棚などの障害物がある場所では、オブジェクトが隠蔽され、検出されないケースが増える。オブジェクト全体が隠されている場合は全く検出されないが、一部が隠された場合には、検出されたりされなかったりする。このため、ある一定時間内におけるオブジェクトの検出回数を場所ごとに集計すると、障害物等がない場所であれば頻度が高くなるのに対し、障害物等で隠される場所では、オブジェクトの検出頻度が低くなる。このような場所ごとの頻度情報をオブジェクト検出傾向情報として生成する。

あるいは、オブジェクト検出手段１０２が、オブジェクトの複数の部位を検出する手段である場合には、ある一定時間内におけるオブジェクトの部位の検出回数を場所ごとに集計するようにしてもよい。この際、合わせて、複数の部位が同時に検出されたかどうかといった同時検出の傾向も場所ごとに集計し、オブジェクト検出傾向情報に含めるようにしてもよい。

例えば、オブジェクトが人物であり、オブジェクト検出手段１０２が人物の頭部と人体を同時に検出する検出手段である場合、頭部と人体それぞれに対して、検出頻度を場所ごとに集計する。同時に、頭部と人体の両方が同時に検出された回数についても、場所ごとに集計する。同時検出の傾向は、その場所での部分的な隠蔽の傾向の把握に用いることができる。頭部と人体を同時検出する例で、頭部が検出されているにも関わらず、人体が検出されない場合が多い場合は、人物が存在するにも関わらず、人体が検出されない状況が想定される。これは、その場所では、人体領域の頭部よりも下側の領域が隠されている可能性が高いことを示しているといえる。このように、複数の部位の検出結果を合わせて分析することで、場所ごとのオブジェクト隠蔽の傾向をより詳しく把握できるようになる。

このようにして生成されたオブジェクト検出傾向情報は、オブジェクト選択手段３０５へ出力される。

オブジェクト選択手段３０５では、図１のオブジェクト選択手段１０５での動作に加え、さらに、オブジェクト検出傾向情報を用いて選択オブジェクト情報を生成する。オブジェクト選択手段３０５の詳細については後述する。生成された選択オブジェクト情報は、オブジェクト特徴抽出手段１０６へ出力される。オブジェクト特徴抽出手段１０６の動作も、図１のものと同様であり、オブジェクト特徴量が抽出され、出力される。

このようにすることで、オブジェクトの検出結果から、場所に依存するオブジェクトの隠ぺいの度合いを自動的に判定し、特徴量を抽出するオブジェクトの選択に用いることができるようになる。

次に、オブジェクト選択手段３０５の実施の形態について説明する。図１３は、第３実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。図１３に示すように、オブジェクト選択手段３０５は、クオリティ判定部３２０とオブジェクト選択部１２１とを有している。

クオリティ判定部３２０は、入力されるオブジェクト追跡結果履歴と過去画像オブジェクト検出結果とオブジェクト検出傾向情報とに基づいてクオリティ指標を求め、オブジェクト選択部１２１へ出力する。オブジェクト選択部１２１は、クオリティ判定部３２０から出力されるクオリティ指標に基づいて、特徴量を抽出するオブジェクトを選択し、選択オブジェクト情報を出力する。

次に、オブジェクト選択手段３０５の動作について説明する。クオリティ判定部３２０には、過去画像オブジェクト検出結果、オブジェクト追跡結果履歴に加え、オブジェクト検出傾向情報が入力される。過去画像オブジェクト検出結果、オブジェクト追跡結果履歴からクオリティ指標を算出する動作は、図２のクオリティ判定部１２０と同様である。クオリティ判定部３２０では、さらにオブジェクト検出傾向情報も用いる。

上述の通り、場所ごとの検出結果の頻度を表すオブジェクト検出傾向情報から、障害物によるオブジェクトの隠蔽の状況を把握することができる。よって、場所（ｘ、ｙ）におけるオブジェクトの検出頻度をＦｒｅｑ（ｘ、ｙ）とすると、数式（２３）によって求まる乗数βを、過去画像オブジェクト検出結果、オブジェクト追跡結果履歴から求まるクオリティ指標に乗じ、最終的なクオリティ指標を算出する。

ここで、関数ｑ_Ｌｏｃは、頻度Ｆ_ｒｅｑ（ｘ、ｙ）に対する単調非減少関数である。もし、複数部位の同時検出の頻度を含む場合には、同時検出の頻度を最も検出された部位の頻度で除した比率を検出頻度の代わりに用いるようにしてもよい。求まったクオリティ指標は、オブジェクト選択部１２１へ出力される。

オブジェクト選択部１２１の動作は図２のものと同様であり、選択オブジェクト情報が生成され、出力される。

このようにすることで、場所によるオブジェクトの隠ぺい発生傾向を自動的に判定し、クオリティ指標に反映させることができる。

次に、オブジェクト選択手段３０５の別の実施の形態について説明する。図１４は、第３実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。図１４に示すように、別のオブジェクト選択手段３０５は、クオリティ判定部３２０とバリエーション判定部１４０とオブジェクト選択部１４１とを有している。

別のオブジェクト選択手段３０５は、図５のオブジェクト選択手段１０５と比較すると、クオリティ判定部１２０の代わりに、クオリティ判定部３２０が設けられている以外は、接続関係は、図５のオブジェクト選択手段１０５と同様である。

次に、図１４に示すオブジェクト選択手段３０５の動作について説明する。クオリティ判定部３２０の動作は図１３のものと同様であり、オブジェクト選択部１４１にクオリティ指標を出力する。バリエーション判定部１４０とオブジェクト選択部１４１の動作は図５のオブジェクト選択手段１０５と同様である。

このようにすることで、場所によるオブジェクトの隠ぺい発生傾向を自動的に判定し、クオリティ指標に反映させ、かつバリエーション指標も考慮してオブジェクトを選択できるようになる。なお、第３の実施の形態の場合も、第１の実施の形態で述べたように複数フレームまとめてオブジェクトを選択するようにしてもよいことは言うまでもない。

（第４実施形態）
次に、本発明の第４の実施の形態について説明する。図１５は、第４実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。図１５に示すように、第４実施形態のオブジェクト特徴量抽出装置１００は、図９のオブジェクト特徴量抽出装置１００と比較すると、オブジェクト選択手段２０５の代わりにオブジェクト選択手段４０５が設けられ、さらにオブジェクト検出傾向解析手段３１０が追加されている点が異なる。

オブジェクト検出傾向解析手段３１０は、検出結果記憶手段１０８から出力される過去画像オブジェクト検出結果に基づいて、オブジェクトの検出傾向を分析し、オブジェクト検出傾向情報をオブジェクト選択手段４０５へ出力する。オブジェクト選択手段４０５は、検出結果記憶手段１０８から出力される過去画像オブジェクト検出結果と、追跡結果記憶手段１０９から出力されるオブジェクト追跡結果履歴と、オブジェクト位置関係解析手段２０４から出力されるオブジェクト位置関係情報と、オブジェクト検出傾向解析手段３１０から出力されるオブジェクト検出傾向情報とに基づいて、特徴抽出を行うオブジェクトを選択し、選択オブジェクト情報をオブジェクト特徴抽出手段１０６に出力する。それ以外の接続関係は、図９のものと同じである。

次に、図１５のオブジェクト特徴量抽出装置１００の動作について説明する。映像取得手段１０１、オブジェクト検出手段１０２、オブジェクト追跡手段１０３、画像記憶手段１０７、検出結果記憶手段１０８、追跡結果記憶手段１０９、オブジェクト位置関係解析手段２０４の動作は、図９のものと同様である。オブジェクト検出傾向解析手段３１０の動作も図１２のものと同様である。

オブジェクト選択手段４０５では、図９のオブジェクト選択手段２０５での動作に加え、さらに、オブジェクト検出傾向情報を用いて選択オブジェクト情報を生成する。オブジェクト選択手段４０５の詳細については後述する。生成された選択オブジェクト情報は、オブジェクト特徴抽出手段１０６へ出力される。

オブジェクト特徴抽出手段１０６の動作も、図１のものと同様であり、オブジェクト特徴量が抽出され、出力される。

このようにすることで、オブジェクト位置関係情報に加え、オブジェクト検出傾向も用いてオブジェクトを選択するため、より適切な選択ができるようになる。

次に、オブジェクト選択手段４０５の実施の形態について説明する。図１６Ａは、第４実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。図１６Ａに示すように、オブジェクト選択手段４０５は、クオリティ判定部４２０とオブジェクト選択部１２１とを有している。

オブジェクト選択手段４０５は、図１０のオブジェクト選択手段２０５と比較すると、クオリティ判定部２２０の代わりにクオリティ判定部４２０が設けられている点が異なる。

クオリティ判定部４２０は、入力されるオブジェクト追跡結果履歴と過去画像オブジェクト検出結果とオブジェクト検出傾向情報とオブジェクト位置関係情報とに基づいてクオリティ指標を求め、オブジェクト選択部１２１へ出力する。オブジェクト選択部１２１は、クオリティ判定部４２０から出力されるクオリティ指標に基づいて、特徴量を抽出するオブジェクトを選択し、選択オブジェクト情報を出力する。

次に、オブジェクト選択手段４０５の動作について説明する。クオリティ判定部４２０には、過去画像オブジェクト検出結果、オブジェクト追跡結果履歴、オブジェクト位置関係情報に加え、オブジェクト検出傾向情報が入力される。過去画像オブジェクト検出結果、オブジェクト追跡結果履歴、オブジェクト位置関係情報からクオリティ指標を算出する動作は、図１０のクオリティ判定部２２０と同様である。クオリティ判定部４２０では、さらにオブジェクト検出傾向情報も用いる。

すなわち、図１３のクオリティ判定部３２０と同様に、場所ごとの検出結果の頻度を表すオブジェクト検出傾向情報から、数式（２３）で示される乗数βを求め、過去画像オブジェクト検出結果、オブジェクト追跡結果履歴、オブジェクト位置関係情報から求まるクオリティ指標に乗じ、最終的なクオリティ指標を算出する。求まったクオリティ指標は、オブジェクト選択部１２１へ出力される。

オブジェクト選択部１２１の動作は図１０のものと同様であり、選択オブジェクト情報が生成され、出力される。

このようにすることで、オブジェクト位置関係だけでなく、オブジェクト検出傾向もクオリティ指標に反映できるようになる。

次に、オブジェクト選択手段４０５の別の実施の形態について説明する。図１６Ｂは、第４実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。図１６Ｂに示すように、別のオブジェクト選択手段４０５は、クオリティ判定部４２０とバリエーション判定部１４０とオブジェクト選択部１４１とを有している。

別のオブジェクト選択手段４０５は、図１１のオブジェクト選択手段２０５と比較すると、クオリティ判定部２２０の代わりに、クオリティ判定部４２０が設けられている以外は、接続関係は、図１１のオブジェクト選択手段２０５と同様である。

次に、図１６Ｂに示すオブジェクト選択手段４０５の動作について説明する。クオリティ判定部４２０の動作は図１６Ａのものと同様であり、オブジェクト選択部１４１にクオリティ指標を出力する。バリエーション判定部１４０とオブジェクト選択部１４１の動作は図５のオブジェクト選択手段１０５と同様である。

このようにすることで、オブジェクト位置関係だけでなく、オブジェクト検出傾向もクオリティ指標に反映でき、さらにバリエーション指標も考慮してオブジェクトを選択できるようになる。なお、第４の実施の形態の場合も、第１の実施の形態で述べたように複数フレームまとめてオブジェクトを選択するようにしてもよいことは言うまでもない。

＜ハードウエアの構成例＞
ここで、オブジェクト特徴量抽出装置１００のハードウエア構成について以下に説明する。オブジェクト特徴量抽出装置１００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、オブジェクト特徴量抽出装置１００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図２０は、第１～第４実施形態に係るオブジェクト特徴量抽出装置を実現するための計算機、ネットワーク、カメラを例示した図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、オブジェクト特徴量抽出装置１００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの種々のプロセッサである。メモリ１０６０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース１１２０は、計算機１０００をネットワーク１３００に接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

さらに、ネットワーク１３００にはカメラ１５００が接続されており、計算機１０００とカメラ１５００とはネットワーク１３００を介してデータを通信できるようになっている。カメラ１５００は、オブジェクト特徴量抽出装置１００の映像取得手段１０１に該当する。

ストレージデバイス１０８０は、オブジェクト特徴量抽出装置１００の各手段を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

なお、オブジェクト特徴量抽出装置１００の一部の機能はカメラ１５００側で実行されていてもよい。すなわち、カメラ１５００の内部にプロセッサやストレージデバイス、メモリが格納されており、オブジェクト特徴量抽出装置１００の各手段の処理の全部、あるいは一部をこれらのコンポーネントを用いて実行するようになっていてもよい。例えば、映像取得手段１０１、オブジェクト検出手段１０２、オブジェクト追跡手段１０３の処理をカメラ１５００側で実行し、それ以外の処理を計算機１０００側で実行するようになっていてもよい。あるいは、オブジェクト特徴抽出手段１０６以外の処理をカメラ側で実行するようになっており、オブジェクト特徴抽出手段１０６については、計算機１０００側で実行するようになっていてもよい。

また、映像取得手段１０１は、カメラで撮影された映像を蓄積する、ハードディスクレコーダのような映像記録装置であってもよい。この場合は、映像取得手段１０１は、映像記録装置で蓄積された映像を読み出して再生することで、映像を取得し、ネットワーク１３００を介して計算機１０００側に送信する。そして、その後の処理を計算機１０００側で実行する。

以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
映像を取得する映像取得手段と、
前記映像からオブジェクトを検出し，検出結果を生成するオブジェクト検出手段と、
前記映像と前記検出結果に基づいてオブジェクトを追跡し，追跡結果を生成するオブジェクト追跡手段と、
前記映像を記憶する映像記憶手段と、
前記検出結果を記憶する検出結果記憶手段と、
前記追跡結果を記憶する追跡結果記憶手段と、
前記検出結果記憶手段に記憶された検出結果と前記追跡結果記憶手段に記憶された追跡結果とに基づいて、現時刻より1フレーム以上前である抽出時刻において検出されたオブジェクトの特徴量の質を予測するクオリティ指標を求め、クオリティ指標に基づいて前記抽出時刻において特徴抽出するオブジェクトを選択し、オブジェクト選択情報を生成するオブジェクト選択手段と、
前記映像記憶手段に蓄えられた前記抽出時刻の映像と前記検出結果記憶手段に蓄えられた前記抽出時刻の検出結果と前記オブジェクト選択情報に基づいて、前記抽出時刻のフレームから検出されたオブジェクトの特徴量を抽出するオブジェクト特徴抽出手段と
を有することを特徴とする、オブジェクト特徴量抽出装置。

（付記２）
前記オブジェクト選択手段は、前記検出結果を用いて判定されるオブジェクトの解像度か、前記追跡結果を用いて判定されるオブジェクトの動き量か、オブジェクトの姿勢や向きのいずれか少なくとも１つに基づくクオリティ指標を算出し、それらに基づいて全体のクオリティ指標を算出すること
を特徴とする付記１に記載のオブジェクト特徴抽出装置。

（付記３）
前記オブジェクト選択手段は、オブジェクトの位置に応じて定まる環境要因に基づくクオリティ指標を記憶しており、前記追跡結果から求まるオブジェクトの位置情報に基づいて、環境要因に基づくクオリティ指標を求め、求まった値も用いて全体のクオリティ指標を算出すること
を特徴とする付記１または２に記載のオブジェクト特徴抽出装置。

（付記４）
前記オブジェクト選択手段は、前記クオリティ指標に加え、取得特徴量のバリエーション改善の度合いを予測するバリエーション指標も求め、前記クオリティ指標と前記バリエーション指標との両方に基づいて特徴抽出するオブジェクトを選択し、オブジェクト選択情報を生成すること
を特徴とする付記１から３のいずれか１項に記載のオブジェクト特徴抽出装置。

（付記５）
前記バリエーション指標は、前回の特徴抽出からの経過時間に基づいて決定され、経過時間が大きいほど大きな値となること
を特徴とする付記４に記載のオブジェクト特徴抽出装置。

（付記６）
前記バリエーション指標は、前回の特徴抽出からの経過時間とそれまでの特徴量の抽出回数に基づいて決定され、経過時間が大きいほど、または、特徴量の抽出回数が少ないほど大きな値となること
を特徴とする付記４に記載のオブジェクト特徴抽出装置。

（付記７）
前記バリエーション指標は、前記追跡結果に基づいて決定されるオブジェクトの移動量も用いて決定され、移動量が大きいほど大きな値となること
を特徴とする付記４～６のいずれか１項に記載のオブジェクト特徴抽出装置。

（付記８）
前記バリエーション指標は、オブジェクトの状態に応じて定まるカテゴリも考慮して定まる値であり、前記追跡結果に基づいてカテゴリを判定し、バリエーション指標を求めること
を特徴とする付記４～７のいずれか１項に記載のオブジェクト特徴抽出装置。

（付記９）
前記バリエーション指標は、オブジェクトの位置に応じて定まるオブジェクトの状態変化の傾向を表す情報も用いて定めること
を特徴とする付記４～８のいずれか１項に記載のオブジェクト特徴抽出装置。

（付記１０）
前記追跡結果記憶手段に記憶された追跡結果に基づいてオブジェクトの位置関係を解析し，オブジェクト位置関係情報を生成するオブジェクト位置関係解析手段をさらに有し、
前記オブジェクト選択手段は、前記オブジェクト位置関係情報も用いてクオリティ指標を算出すること
を特徴とする付記１～９のいずれか１項に記載のオブジェクト特徴抽出装置。

（付記１１）
前記オブジェクト選択手段は、前記オブジェクト位置関係情報からオブジェクトが他のオブジェクトによって隠されている度合を表す隠蔽度を求め、隠蔽度の単調非増加関数によってクオリティ指標を算出し、求まった値も用いて全体のクオリティ指標を算出すること
を特徴とする付記１０に記載のオブジェクト特徴抽出装置。

（付記１２）
前記検出結果記憶手段に記憶された検出結果に基づいてオブジェクト検出の場所ごとの傾向を分析し、オブジェクト検出傾向情報を生成するオブジェクト検出傾向解析手段をさらに有し、
前記オブジェクト選択手段は、前記オブジェクト検出傾向情報も用いてクオリティ指標を算出すること
を特徴とする付記１～１１のいずれか１項に記載のオブジェクト特徴抽出装置。

（付記１３）
前記オブジェクト選択手段は、現時刻より1フレーム以上前である複数の抽出時刻において検出されたオブジェクトの特徴量の質を予測するクオリティ指標を求め、クオリティ指標に基づいて前記複数の抽出時刻において特徴抽出するオブジェクトをまとめて選択してオブジェクト選択情報を生成し、
前記オブジェクト特徴抽出手段は、前記複数の抽出時刻に対して選択されたオブジェクトの特徴量を抽出すること
を特徴とする付記１～１２のいずれか１項に記載のオブジェクト特徴抽出装置。

（付記１４）
前記複数の抽出時刻に含まれる時刻の数は、検出されたオブジェクト数に応じて動的に変化すること
を特徴とする付記１３に記載のオブジェクト特徴抽出装置。

（付記１５）
前記複数の抽出時刻に対してオブジェクト選択を行う際に、選択されるオブジェクト数が、所定の平均オブジェクト選択数に前記抽出時刻の数を乗じた数をオブジェクト選択のターゲット数とし、選択されるオブジェクトの数がターゲット数以下になるように制御すること
を特徴とする付記１３または１４に記載のオブジェクト特徴抽出装置。

（付記１６）
前記制御において、選択されたオブジェクト数がターゲット数に満たない場合は、次のオブジェクト選択では、前記ターゲット数と選択されたオブジェクト数の差分を加算してターゲット数を設定すること
を特徴とする付記１５に記載のオブジェクト特徴抽出装置。

１００ オブジェクト特徴量抽出装置
１０１ 映像取得手段
１０２ オブジェクト検出手段
１０３ オブジェクト追跡手段
１０５ オブジェクト選択手段
１０６ オブジェクト特徴抽出手段
１０７ 画像記憶手段
１０８ 検出結果記憶手段
１０９ 追跡結果記憶手段
１２０ クオリティ判定部
１２１ オブジェクト選択部
１３０ クオリティ指標算出部
１３１ クオリティ指標算出部
１３２ 環境要因記憶部
１４０ バリエーション判定部
１４１ オブジェクト選択部
１５０ バリエーション指標算出部
１５１ 抽出履歴記憶部
１５４ オブジェクト状態変化傾向記憶部
１５５ バリエーション指標算出部
２０４ オブジェクト位置関係解析手段
２０５ オブジェクト選択手段
２２０ クオリティ判定部
３０５ オブジェクト選択手段
３１０ オブジェクト検出傾向解析手段
３２０ クオリティ判定部
４０５ オブジェクト選択手段
４２０ クオリティ判定部

Claims (10)

1. 映像を取得し、取得した前記映像を画像列として生成する映像取得手段と、
   生成された前記画像からオブジェクトを検出し、検出結果を生成するオブジェクト検出手段と、
   生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成するオブジェクト追跡手段と、
   前記画像を記憶する画像記憶手段と、
   前記検出結果を記憶する検出結果記憶手段と、
   前記追跡結果を記憶する追跡結果記憶手段と、
   前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出し、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択し、オブジェクト選択情報を生成するオブジェクト選択手段と、
   前記画像記憶手段に記録された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出するオブジェクト特徴抽出手段と、
   を有することを特徴とするオブジェクト特徴量抽出装置。
2. 前記オブジェクト選択手段は、前記検出結果を用いて判定される前記オブジェクトの解像度、並びに、前記追跡結果を用いて判定される前記オブジェクトの動き量、前記オブジェクトの姿勢、及び、前記オブジェクトの向きのうち少なくともいずれか１つの前記クオリティ指標を算出する、
   ことを特徴とする請求項１に記載のオブジェクト特徴量抽出装置。
3. 前記オブジェクト選択手段は、前記オブジェクトの位置に応じて定まる環境要因に基づく前記クオリティ指標を記憶しており、前記追跡結果から求まる前記オブジェクトの位置情報に基づいて、前記環境要因に基づく前記クオリティ指標を算出する、
   ことを特徴とする請求項２に記載のオブジェクト特徴量抽出装置。
4. 前記オブジェクト選択手段は、前記クオリティ指標に加え、取得特徴量のバリエーション改善の度合いを予測するバリエーション指標も算出し、前記クオリティ指標と前記バリエーション指標との両方に基づいて特徴抽出する前記オブジェクトを選択し、前記オブジェクト選択情報を生成する、
   ことを特徴とする請求項１～３のいずれか１項に記載のオブジェクト特徴量抽出装置。
5. 前記バリエーション指標は、前回の特徴抽出からの経過時間に基づいて決定され、前記経過時間が大きいほど大きな値となる、
   ことを特徴とする請求項４に記載のオブジェクト特徴量抽出装置。
6. 前記バリエーション指標は、前回の特徴抽出からの経過時間とそれまでの特徴量の抽出回数に基づいて決定され、前記経過時間が大きいほど、または、前記特徴量の抽出回数が少ないほど大きな値となる、
   ことを特徴とする請求項４に記載のオブジェクト特徴量抽出装置。
7. 前記バリエーション指標は、前記追跡結果に基づいて決定される前記オブジェクトの移動量も用いて決定され、前記移動量が大きいほど大きな値となる、
   ことを特徴とする請求項４～６のいずれか１項に記載のオブジェクト特徴量抽出装置。
8. 前記バリエーション指標は、前記オブジェクトの状態に応じて定まるカテゴリも考慮して定まる値であり、前記追跡結果に基づいて前記カテゴリを判定し、前記バリエーション指標を算出する、
   ことを特徴とする請求項４～７のいずれか１項に記載のオブジェクト特徴量抽出装置。
9. 映像を取得し、取得した前記映像を画像列として生成するステップと、
   生成された前記画像からオブジェクトを検出し、検出結果を生成するステップと、
   生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成するステップと、
   前記画像を画像記憶手段に記憶させるステップと、
   前記検出結果を検出結果記憶手段に記憶させるステップと、
   前記追跡結果を追跡結果記憶手段に記憶させるステップと、
   前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出し、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択し、オブジェクト選択情報を生成するステップと、
   前記画像記憶手段に記憶された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出するステップと、
   を有することを特徴とするオブジェクト特徴量抽出方法。
10. 映像を取得し、取得した前記映像を画像列として生成させ、
    生成された前記画像からオブジェクトを検出し、検出結果を生成させ、
    生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成させ、
    前記画像を画像記憶手段に記憶させ、
    前記検出結果を検出結果記憶手段に記憶させ、
    前記追跡結果を追跡結果記憶手段に記憶させ、
    前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出させ、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択させ、オブジェクト選択情報を生成させ、
    前記画像記憶手段に記憶された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出させる、
    ことをコンピュータに実行させるプログラム。

Images