JPWO2020217369A5 - オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びプログラム - Google Patents

Description

第１実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段のクオリティ判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の別のクオリティ判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段のバリエーション判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、別のバリエーション判定部を例示したブロック図である。 第１実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択を行う映像区間と、オブジェクト選択を行うタイミングの時間的な関係を図示した図である。 第２実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第２実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第２実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。 第３実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第３実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第３実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。 第４実施形態に係るオブジェクト特徴量抽出装置の構成を例示したブロック図である。 第４実施形態に係るオブジェクト特徴量抽出装置において、オブジェクト選択手段の構成を例示したブロック図である。 第４実施形態に係るオブジェクト特徴量抽出装置において、別のオブジェクト選択手段の構成を例示したブロック図である。 クオリティ指標を表す関数を例示した図である。 クオリティ指標を表す関数を例示した図である。 クオリティ指標を表す関数を例示した図である。 クオリティ指標を表す関数を例示した図である。 オブジェクトが人物のときに人物領域の分割例を例示した図である。 バリエーション指標を表す関数を例示した図である。 バリエーション指標を表す関数を例示した図である。 バリエーション指標を表す関数を例示した図である。 第１～第４実施形態に係るオブジェクト特徴量抽出装置を実現するための計算機、ネットワーク、カメラを例示した図である。

ここで、ｆ_Ｐｏｓ（ｒ_Ｐｏｓ）は、［０、１］を値域としてもつ単調非増加関数であり、例えば、図１７Ｄのように表される。この関数は、例えば姿勢変化度ｒ _Ｐｏｓと照合精度の関係を求め、ｆ_Ｐｏｓ（ｒ_Ｐｏｓ）として用いるようにすればよい。

バリエーション指標算出部１５５では、バリエーション指標算出部１５０の動作の説明で述べた方法によって求まるバリエーション指標Ｖに、数式（１５）の乗数αを乗じた値をバリエーション指標Ｖとして算出する。より具体的には、追跡対象オブジェクトの位置（ｘ、ｙ）をオブジェクト追跡結果情報から求め、この値に基づいて、オブジェクト状態変化傾向情報として乗数αの値を読み出して、バリエーション指標Ｖの値に乗じるようにする。算出されたバリエーション指標は、追跡対象オブジェクトのＩＤと対応付けて出力される。

（付記６）
前記バリエーション指標は、前回の特徴抽出からの経過時間とそれまでの特徴量の抽出回数に基づいて決定され、経過時間が大きいほど、または、特徴量の抽出回数が少ないほど大きな値となること
を特徴とする付記４に記載のオブジェクト特徴抽出装置。

（付記１６）
前記制御において、選択されたオブジェクト数がターゲット数に満たない場合は、次のオブジェクト選択では、前記ターゲット数と選択されたオブジェクト数の差分を加算してターゲット数を設定すること
を特徴とする付記１５に記載のオブジェクト特徴抽出装置。

Claims (10)

1. 映像を取得し、取得した前記映像を画像列として生成する映像取得手段と、
   生成された前記画像からオブジェクトを検出し、検出結果を生成するオブジェクト検出手段と、
   生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成するオブジェクト追跡手段と、
   前記画像を記憶する画像記憶手段と、
   前記検出結果を記憶する検出結果記憶手段と、
   前記追跡結果を記憶する追跡結果記憶手段と、
   前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出し、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択し、オブジェクト選択情報を生成するオブジェクト選択手段と、
   前記画像記憶手段に記録された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出するオブジェクト特徴抽出手段と、
   を有することを特徴とするオブジェクト特徴量抽出装置。
2. 前記オブジェクト選択手段は、前記検出結果を用いて判定される前記オブジェクトの解像度、並びに、前記追跡結果を用いて判定される前記オブジェクトの動き量、前記オブジェクトの姿勢、及び、前記オブジェクトの向きのうち少なくともいずれか１つの前記クオリティ指標を算出する、
   ことを特徴とする請求項１に記載のオブジェクト特徴量抽出装置。
3. 前記オブジェクト選択手段は、前記オブジェクトの位置に応じて定まる環境要因に基づく前記クオリティ指標を記憶しており、前記追跡結果から求まる前記オブジェクトの位置情報に基づいて、前記環境要因に基づく前記クオリティ指標を算出する、
   ことを特徴とする請求項２に記載のオブジェクト特徴量抽出装置。
4. 前記オブジェクト選択手段は、前記クオリティ指標に加え、取得特徴量のバリエーション改善の度合いを予測するバリエーション指標も算出し、前記クオリティ指標と前記バリエーション指標との両方に基づいて特徴抽出する前記オブジェクトを選択し、前記オブジェクト選択情報を生成する、
   ことを特徴とする請求項１～３のいずれか１項に記載のオブジェクト特徴量抽出装置。
5. 前記バリエーション指標は、前回の特徴抽出からの経過時間に基づいて決定され、前記経過時間が大きいほど大きな値となる、
   ことを特徴とする請求項４に記載のオブジェクト特徴量抽出装置。
6. 前記バリエーション指標は、前回の特徴抽出からの経過時間とそれまでの特徴量の抽出回数に基づいて決定され、前記経過時間が大きいほど、または、前記特徴量の抽出回数が少ないほど大きな値となる、
   ことを特徴とする請求項４に記載のオブジェクト特徴量抽出装置。
7. 前記バリエーション指標は、前記追跡結果に基づいて決定される前記オブジェクトの移動量も用いて決定され、前記移動量が大きいほど大きな値となる、
   ことを特徴とする請求項４～６のいずれか１項に記載のオブジェクト特徴量抽出装置。
8. 前記バリエーション指標は、前記オブジェクトの状態に応じて定まるカテゴリも考慮して定まる値であり、前記追跡結果に基づいて前記カテゴリを判定し、前記バリエーション指標を算出する、
   ことを特徴とする請求項４～７のいずれか１項に記載のオブジェクト特徴量抽出装置。
9. 映像を取得し、取得した前記映像を画像列として生成するステップと、
   生成された前記画像からオブジェクトを検出し、検出結果を生成するステップと、
   生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成するステップと、
   前記画像を画像記憶手段に記憶させるステップと、
   前記検出結果を検出結果記憶手段に記憶させるステップと、
   前記追跡結果を追跡結果記憶手段に記憶させるステップと、
   前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出し、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択し、オブジェクト選択情報を生成するステップと、
   前記画像記憶手段に記憶された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出するステップと、
   を有することを特徴とするオブジェクト特徴量抽出方法。
10. 映像を取得し、取得した前記映像を画像列として生成させ、
    生成された前記画像からオブジェクトを検出し、検出結果を生成させ、
    生成された前記画像と前記検出結果とに基づいて前記オブジェクトを追跡し、追跡結果を生成させ、
    前記画像を画像記憶手段に記憶させ、
    前記検出結果を検出結果記憶手段に記憶させ、
    前記追跡結果を追跡結果記憶手段に記憶させ、
    前記検出結果記憶手段に記憶された前記検出結果と前記追跡結果記憶手段に記憶された前記追跡結果とに基づいて、現時刻より１フレーム以上前である抽出時刻において検出された前記オブジェクトの特徴量の質を予測するクオリティ指標を算出させ、前記クオリティ指標に基づいて前記抽出時刻において特徴抽出する前記オブジェクトを選択させ、オブジェクト選択情報を生成させ、
    前記画像記憶手段に記憶された前記抽出時刻の前記画像と、前記検出結果記憶手段に記憶された前記抽出時刻の前記検出結果と、前記オブジェクト選択情報とに基づいて、前記抽出時刻のフレームから検出された前記オブジェクトの特徴量を抽出させる、
    ことをコンピュータに実行させるプログラム。