JP7162761B1 - 人物追跡装置及び人物追跡方法 - Google Patents

Abstract

人物追跡装置（１）は、複数の人物（ＪＢ）が撮影された映像（ＥＺ）が有する時間的に連続する複数のフレーム（ＦＲ）であって、各フレーム（ＦＲ）が前記複数の人物（ＪＢ）の動きの一部分である軌跡片（ＴＬ）を含む前記複数のフレーム（ＦＲ）における前記複数の人物（ＪＢ）を象徴する特徴量（ＴＲ）を算出する算出部（ＳＳ）と、前記複数のフレーム（ＦＲ）における前記複数の人物（ＪＢ）を象徴する特徴量（ＴＲ）に基づく組合せ最適化手法の下で、前記複数のフレーム（ＦＲ）における前記複数の人物（ＪＢ）の軌跡片（ＴＬ）のうち、同一の人物（ＪＢ）である可能性がより高い軌跡片（ＴＬ）同士を組み合わせる組み合わせ部（ＫＡ）と、を含む。

Description

本開示は、人物追跡装置及び人物追跡方法に関する。

人物追跡装置の一例である、特許文献１に記載の動画解析装置は、人物の動きが物などに遮られること及び人物がフレームアウトすることに起因して人物の動線が途切れるとの事態を回避することを目的とする。前記動画解析装置は、前記目的を達成すべく、複数の動線が同一の人物の動線であるか否かを判定する。

特開２０１０－２７３１１２号公報

上記した動画解析装置は、上記した判定を、時間的に相互に隣接する動線同士の間についてのみ行う。これにより、前記動画解析装置は、時間的に相互に離隔する動線を含む、同一の人物のものであると判定されるべき複数の動線について上記した判定を行う過程で、ひとたび、前記複数の動線のうちの一の動線を同一の人物のものでないと判定すると、後続の動線も同一の人物のものでないと判定し続けるおそれがあった。

本開示の目的は、得られる特徴量が、1つのフレームから抽出される特徴量に比して見た目の変化にロバストとなり、その結果、追跡精度を向上させることができる人物追跡装置及び人物追跡方法を提供することにある。

上記した課題を解決すべく、本開示に係る人物追跡装置は、複数の人物が撮影された映像が有する時間的に連続する複数のフレームのうち２つ以上のフレームに亘る特徴量であって、前記複数の人物の動きを象徴する特徴量を各人物毎に算出する算出部と、前記２つ以上のフレームに亘る前記複数の人物の動きを象徴する特徴量に基づく組合せ最適化手法の下で、前記２つ以上のフレームに亘る前記複数の人物の動きを構成する軌跡片のうち、同一の人物である可能性がより高い軌跡片同士を組み合わせる組み合わせ部と、を含み、前記組み合わせ部は、前記軌跡片同士の組み合わせを、前記特徴量同士が類似するか否かに基づき行い、かつ、前記特徴量同士が類似するか否かの閾値を、前記軌跡片の性質に応じて変更する。

本開示に係る人物追跡装置によれば、得られる特徴量が、1つのフレームから抽出される特徴量に比して見た目の変化にロバストとなり、その結果、追跡精度を向上させることができる。

実施形態１の人物追跡装置の機能ブロック図である。 実施形態１の映像ＥＺを示す。 実施形態１の位置情報ＩＪ及び画像情報ＧＪを示す。 実施形態１の軌跡履歴ＫＲを示す。 実施形態１の軌跡片ＴＬを示す。 実施形態１の第２の算出部ＳＳ２の動作を示す。 図７Ａは、実施形態１の割当部ＷＡの動作（同一の識別番号ＩＤを割り当てる場合）を示す。図７Ｂは、実施形態１の割当部ＷＡの動作（相違する識別番号ＩＤを割り当てる場合）を示す。 実施形態１の組み合わせ部ＫＡの動作を示す。 実施形態１の人物追跡装置１の構成を示す。 実施形態１の人物追跡装置１の動作を示すフローチャートである。 図１１Ａは、実施形態１の組み合わせ部ＫＡの動作の結果（組み合わせを行わない場合）を示す。図１１Ｂは、実施形態１の組み合わせ部ＫＡの動作の結果（組み合わせを行う場合）を示す。 実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。 実施形態２の時間的条件を示す。 実施形態２の空間的条件を示す。 実施形態２の人物追跡装置２の機能ブロック図である。 実施形態２の人物追跡装置２の動作を示すフローチャートである。 実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。 実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の更新を示す。 図１９Ａは、実施形態２の除外部ＪＧによる除外の効果（除外を行わない場合）を示す。図１９Ｂは、実施形態２の除外部ＪＧによる除外の効果（除外を行う場合）を示す。 図２０Ａは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度を示す（その１）。図２０Ｂは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度を示す（その２）。 図２１Ａは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度の閾値の変更を示す（その１）。図２１Ｂは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度の閾値の変更を示す（その２）。 実施形態３の人物追跡装置３の機能ブロック図である。 実施形態３の人物追跡装置３の動作を示すフローチャートである。 実施形態３の表示部ＨＹの動作を示す。

本開示に係る人物追跡装置の実施形態について説明する。

実施の形態１．
〈実施形態１〉
〈実施形態１の機能〉
図１は、実施形態１の人物追跡装置の機能ブロック図である。実施形態１の人物追跡装置１の機能について、図１の機能ブロック図を参照して説明する。

以下では、説明及び理解を容易にすべく、例えば、１つの符号で複数の名称の全てを総称することがあり、例えば、複数のフレームＦＲ１、ＦＲ２、、、、の全体をフレームＦＲで総称することがある。

実施形態１の人物追跡装置１は、図１に示されるように、取得部ＳＹと、抽出部ＣＳと、推定部ＳＴと、第１の算出部ＳＳ１と、第２の算出部ＳＳ２と、第３の算出部ＳＳ３と、割当部ＷＡと、更新部ＫＳと、組み合わせ部ＫＡと、データベース部ＤＢと、を含む。

抽出部ＣＳは、「抽出部」に対応し、推定部ＳＴは、「推定部」に対応し、割当部ＷＡは、「割当部」に対応し、更新部ＫＳは、「更新部」に対応し、組み合わせ部ＫＡは、「組み合わせ部」に対応する。第１の算出部ＳＳ１、第２の算出部ＳＳ２、第３の算出部ＳＳ３のうち、第２の算出部ＳＳ２は、「算出部」に対応する。

図２は、実施形態１の映像ＥＺを示す。

映像ＥＺは、図２に示されるように、時間的に連続する複数のフレームＦＲ１、ＦＲ２、、、、を有する。例えば、時刻ｔ１のフレームＦＲ１には、少なくとも一人の人物ＪＢ１～ＪＢ４が撮影されており、時刻ｔ２のＦＲ２等の他のフレームＦＲにも、少なくとも一人の人物ＪＢ１～ＪＢ４が撮影されている。

図１に戻り、取得部ＳＹは、映像ＥＺ（図２に図示。）を、撮像装置及び記憶装置（いずれも図示せず。）からを取得する。取得部ＳＹは、映像ＥＺ中の現時点でのフレームＦＲ、例えば、時刻ｔ１のフレームＦＲ１を出力する。

抽出部ＣＳは、現在のフレームＦＲ１から人物を検出し、より詳しくは、人物ＪＢ１～ＪＢ４の位置を示す位置情報ＩＪ、及び人物ＪＢ１～ＪＢ４の画像を示す画像情報ＧＪを抽出する。抽出部ＣＳは、人物ＪＢ１～ＪＢ４の検出を、例えば、ＣＮＮ（Convolutional Neural Network）を用いた機械学習により行う。

図３は、実施形態１の位置情報ＩＪ及び画像情報ＧＪを示す。

位置情報ＩＪは、図３に示されるように、例えば、人物ＪＢ１～ＪＢ４の各々を囲う仮想の矩形ＫＫ１～ＫＫ４の位置座標である。画像情報ＧＪは、図３に示されるように、例えば、仮想の矩形ＫＫ１～ＫＫ４中の人物ＪＢ１～ＪＢ４の体型、姿勢等を示すＲＧＢ情報である。

図１に戻り、推定部ＳＴは、軌跡履歴ＫＲを参照した上で、推定を行う。

図４は、実施形態１の軌跡履歴ＫＲを示す。

軌跡履歴ＫＲは、データベース部ＤＢ（図１に図示。）に記憶されている。軌跡履歴ＫＲは、図４に示されるように、複数のフレームＦＲと、複数の矩形ＫＫと、複数の人物ＪＢに割り当てられた識別番号ＩＤと、複数の人物ＪＢが動いた軌跡片ＴＬとの間の関係の履歴を示す。

複数の矩形ＫＫについては、図３の図示と同様に、位置情報ＩＪ及び画像情報ＧＪが記憶されており、加えて、図４に示されるように、特徴量ＴＲ（ＫＫ）が記憶されている。特徴量ＴＲ（ＫＫ）は、矩形ＫＫ内の人物ＪＢを象徴する。例えば、矩形ＫＫ１の特徴量ＴＲ（ＫＫ）は、矩形ＫＫ１内の人物ＪＢ１を象徴する。

複数の人物ＪＢに付与された識別番号ＩＤは、人物ＪＢ１～ＪＢ４を相互間で識別するための番号である。識別番号ＩＤは、後述されるように、割当部ＷＡ（図１に図示。）により割り当てられる。

図５は、実施形態１の軌跡片ＴＬを示す。

軌跡片ＴＬは、図５に示されるように、人物ＪＢ１～ＪＢ４の各々が動いた軌跡（図示せず。）が細切れされた、軌跡の一部分である。図５に示されるように、例えば、軌跡片ＴＬ１、ＴＬ４は、識別番号ＩＤ１である人物ＪＢ１の軌跡片である。

図４に戻り、軌跡片ＴＬについては、軌跡片ＴＬの番号（Ｎｏ．）及び軌跡片ＴＬの特徴量ＴＲ（ＴＬ）が記憶されている。軌跡片ＴＬの特徴量ＴＲ（ＴＬ）は、軌跡片ＴＬを象徴する。

軌跡履歴ＫＲは、データベース部ＤＢに記憶されることに代えて、例えば、通信ネットワーク上に配置された１つ以上の外部記憶装置（図示せず。）に記憶されてもよい。

図１に戻り、推定部ＳＴは、軌跡履歴ＫＲ（図４に図示。）を参照することにより、現在のフレームＦＲより時間的に前に存在する過去の複数のフレームＦＲにおける、複数の人物ＪＢ１～ＪＢ４の位置情報ＩＪに基づき、現在のフレームＦＲ１での複数の人物ＪＢ１～ＪＢ４の位置を推定する。推定部ＳＴは、複数の人物ＪＢ１～ＪＢ４の位置の推定を、例えば、カルマンフィルタを用いて行う。

「現在のフレームＦＲ１」は、「一のフレーム」に対応し、現在のフレームＦＲ１と、現在のフレームＦＲより時間的に前に存在する過去の複数のフレームＦＲとを合わせた全体は、「第１の複数のフレーム」に対応する。現在のフレームＦＲより時間的に前に存在する過去の複数のフレームＦＲは、「第２の複数のフレーム」に対応する。

第１の算出部ＳＳ１は、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の位置情報ＩＪにより示される、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の位置と、前記推定された、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の位置との間の差、即ち、位置の距離ＫＹ（ＩＣ）（図１０に図示。）を算出する。前記距離は、例えば、カルマンフィルタにおけるマハラノビス距離である。

図６は、実施形態１の第２の算出部ＳＳ２の動作を示す。

第２の算出部ＳＳ２は、図６に示されるように、特徴量抽出器として、現在のフレームＦＲ１での人物ＪＢの画像情報ＧＪに基づき、現在のフレームＦＲ１での人物ＪＢの特徴量ＴＲ（ＫＫ）を算出する。第２の算出部ＳＳ２は、例えば、現在のフレームＦＲ１での人物ＪＢ１の画像情報ＧＪ、即ち、現在のフレームＦＲ１での矩形ＫＫ１の画像情報ＧＪに基づき、フレームＦＲ１での人物ＪＢ１の特徴量ＴＲ（ＫＫ）を算出する。第２の算出部ＳＳ２は、特徴量ＴＲ（ＫＫ）の算出を、例えば、ＣＮＮを用いた機械学習により行う。

図１に戻り、第３の算出部ＳＳ３は、軌跡履歴ＫＲを参照することにより、過去の複数のフレームＦＲでの複数の人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）と、前記算出された、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）との間での特徴量の差、即ち、特徴量の距離ＫＹ（ＴＲ）（図１０に図示。）を算出する。前記特徴量の距離ＫＹ（ＴＲ）は、例えば、cosine距離でよく、また、時間的に前後するフレームＦＲの矩形ＫＫ間でのIoU距離を併用してもよい。

図７は、実施形態１の割当部ＷＡの動作を示す。

割当部ＷＡは、前記算出された、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（ＴＲ）に基づき、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４に識別番号ＩＤを割り当てる。

割当部ＷＡは、図７Ａに示されるように、例えば、時刻ｔ２のフレームＦＲ２での人物ＪＢが、軌跡履歴ＫＲ中の時刻ｔ１のフレームＦＲ１での人物ＪＢ１と同一であると判断されるとき、時刻ｔ２のフレームＦＲ２の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１と同一の識別番号ＩＤ１を割り当てる。

同様に、割当部ＷＡは、図７Ａに示されるように、例えば、時刻ｔ３のフレームＦＲ３での人物ＪＢが、軌跡履歴ＫＲ中の、時刻ｔ１のフレームＦＲ１での人物ＪＢ１、及び時刻ｔ２のフレームＦＲ２での人物ＪＢ１と同一であると判断されるとき、時刻ｔ３のフレームＦＲ３の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１と同一の識別番号ＩＤ１を割り当てる。

上記とは対照的に、割当部ＷＡは、図７Ｂに示されるように、例えば、時刻ｔ２のフレームＦＲ２での人物ＪＢが、軌跡履歴ＫＲ中の時刻ｔ１のフレームＦＲ１での人物ＪＢ１と相違すると判断されるとき、フレームＦＲ１の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１と相違する識別番号、例えば、新規に識別番号ＩＤ２を割り当てる。

同様に、割当部ＷＡは、図７Ｂに示されるように、例えば、時刻ｔ３のフレームＦＲ３での人物ＪＢが、軌跡履歴ＫＲ中の、時刻ｔ１のフレームＦＲ１での人物ＪＢ１、時刻ｔ２のフレームＦＲ２でのＪＢ２と相違すると判断されるとき、フレームＦＲ１の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１及び人物ＪＢ２の識別番号の両者と相違する識別番号、例えば、新規に識別番号ＩＤ３を割り当てる。

割当部ＷＡは、上記した識別番号ＩＤの割り当てを、例えば、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（ＴＲ）を行列としたコスト行列からハンガリアン法を用いて行い、または、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（Ｔ）の重み付け和を用いて行う。

図１に戻り、更新部ＫＳは、割当部ＷＡによる識別番号ＩＤの割り当てに応答して、軌跡履歴ＫＲを更新する。例えば、割当部ＷＡにより、現在のフレームＦＲ１の人物ＪＢ１に、識別番号ＩＤ１が付与されたことを想定すると、更新部ＫＳは、軌跡履歴ＫＲに、現在のフレームＦＲ１、フレームＦＲ１での人物ＪＢ１の識別番号ＩＤ１、現在のフレームＦＲ１での人物ＪＢ１の矩形ＫＫ１（位置情報ＩＪ、画像情報ＧＪ、特徴量ＴＲ（ＫＫ））、及び、現在のフレームＦＲ１での人物ＪＢ１の軌跡片ＴＬ（Ｎｏ．、特徴量ＴＲ（ＴＬ））等を追加することにより、軌跡履歴ＫＲを更新する。

図８は、実施形態１の組み合わせ部ＫＡの動作を示す。

組み合わせ部ＫＡは、更新された軌跡履歴ＫＲ（図４に図示。）を参照する。組み合わせ部ＫＡは、より詳しくは、予め定められた時間Δｔ（図４に図示。例えば、数十秒、数分。）の範囲内に存在する複数のフレームＦＲ、例えば、現在の時刻ｔ１から過去の時刻（ｔ１－Δｔ）までの範囲内に存在する、現在のフレームＦＲ１を含む複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）を用いて、時間Δｔ内に存在する複数のフレームＦＲでの軌跡片ＴＬのうち、同一の人物のものである可能性を有し、または、その可能性がより高い軌跡片ＴＬ同士を組み合わせる。これにより、例えば、図８に示されるように、軌跡片ＴＬ１、ＴＬ３、ＴＬ４が、それぞれ、識別番号ＩＤ１（人物ＪＢ１）、識別番号ＩＤ３（人物ＪＢ３）、識別番号ＩＤ１（人物ＪＢ１）のものであるにも拘わらず、組み合わせ部ＫＡは、軌跡片ＴＬ１、ＴＬ３、ＴＬ４が、同一の識別番号ＩＤ１のものであるとして、組み合わせる。このとき、組み合わせ部ＫＡは、図８に示されるように、軌跡履歴ＫＲ中の軌跡片ＴＬ３の識別番号ＩＤを、ＩＤ３からＩＤ１へ変更する。

組み合わせ部ＫＡは、上記した軌跡片ＴＬの組み合わせを、組合せ最適化手法を用いて行い、例えば、上記した時間Δｔ内に存在する複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）の差をコストに位置付けた上で、コストを最小にする軌跡片ＴＬ同士を組み合わせる。軌跡片ＴＬの組み合わせは、例えば、更新部ＫＳによる軌跡履歴ＫＲの更新により、軌跡履歴ＫＲに反映される。

取得部ＳＹ～組み合わせ部ＫＡは、現在のフレームＦＲ１についての処理を完了すると、現在のフレームＦＲ１に引き続く、次のフレームＦＲ２の処理を開始する。取得部ＳＹ～組み合わせ部ＫＡは、上記した直列な処理に代えて、現在のフレームＦＲ１、次のフレームＦＲ２、、、、を並行に処理してもよい。

〈実施形態１の構成〉
図９は、実施形態１の人物追跡装置１の構成を示す。

実施形態１の人物追跡装置１は、上述した機能を果たすべく、図９に示されるように、入力部ＮＢと、プロセッサＰＣと、出力部ＳＢと、メモリＭＭと、記憶媒体ＫＢを含む。

入力部ＮＢは、例えば、カメラ、マイク、キーボード、マウス、タッチパネルから構成される。プロセッサＰＣは、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。出力部ＳＢは、例えば、液晶モニター、プリンタ、タッチパネルから構成される。メモリＭＭは、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。記憶媒体ＫＢは、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。

記憶媒体ＫＢは、プログラムＰＲを記憶する。プログラムＰＲは、プロセッサＰＣが実行すべき処理の内容を規定する命令群である。

人物追跡装置１における機能と構成との関係については、ハードウェア上で、プロセッサＰＣが、記憶媒体ＫＢに記憶されたプログラムＰＲを、メモリＭＭ上で実行すると共に、必要に応じて、入力部ＮＢ及び出力部ＳＢの動作を制御することにより、取得部ＳＹ～組み合わせ部ＫＡの各部の機能を実現する。

〈実施形態１の動作〉
図１０は、実施形態１の人物追跡装置１の動作を示すフローチャートである。実施形態１の人物追跡装置１の動作について、図１０のフローチャートを参照して説明する。

説明及び理解を容易にすべく、現在のフレームＦＲ１に、一人の人物ＪＢのみが撮影されていることを想定する。

ステップＳＴ１１：取得部ＳＹは、映像ＥＺを取得し、映像ＥＺを構成する複数のフレームＦＲのうち、現在のフレームＦＲ１を出力する。

ステップＳＴ１２：抽出部ＣＳは、フレームＦＲ１から、人物ＪＢを検出し、より詳しくは、人物ＪＢの位置情報ＩＪ及び画像情報ＧＪを抽出する。

ステップＳＴ１３：推定部ＳＴは、軌跡履歴ＫＲを参照することにより、現在のフレームＦＲ１より前の過去の複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の位置情報ＩＪに基づき、現在のフレームＦＲ１における人物ＪＢ１～ＪＢ４の位置を推定する。

ステップＳＴ１４：第１の算出部ＳＳ１は、抽出部ＣＳにより抽出された、現在のフレームＦＲ１での人物ＪＢの位置情報ＩＪにより示される、現在のフレームＦＲ１での人物ＪＢの位置と、推定部ＳＴにより推定された、フレームＦＲ１での人物ＪＢ１～ＪＢ４の位置の各々との間の差である位置の距離ＫＹ（ＩＣ）を算出する。即ち、第１の算出部ＳＳ１は、位置の距離ＫＹ（ＩＣ）を複数個、算出する。

ステップＳＴ１５：第２の算出部ＳＳ２は、抽出部ＣＳにより抽出された、現在のフレームＦＲ１での人物ＪＢの画像情報ＧＪに基づき、現在のフレームＦＲ１での人物ＪＢの特徴量ＴＲ（ＫＫ）を算出する。

ステップＳＴ１６：第３の算出部ＳＳ３は、軌跡履歴ＫＲを参照することにより、現在のフレームＦＲ１より前の過去の複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）の各々と、第２の算出部ＳＳ２により算出された、現在のフレームＦＲ１での人物ＪＢの特徴量ＴＲ（ＫＫ）との間での差である特徴量の距離ＫＹ（ＴＲ）を算出する。即ち、第３の算出部ＳＳ３は、特徴量の距離ＫＹ（ＴＲ）を、複数個、算出する。

ステップＳＴ１７：割当部ＷＡは、第１の算出部ＳＳ１により算出された、現在のフレームＦＲ１中の人物ＪＢ、及び、過去のフレームＦＲ中の人物ＪＢ１～ＪＢ４の各々の間における位置の距離ＫＹ（ＩＣ）、及び、第３の算出部ＳＳ３により算出された、現在のフレームＦＲ１中の人物ＪＢ、及び、過去のフレームＦＲ中の人物ＪＢ１～ＪＢ４の各々間における特徴量の距離ＫＹ（ＴＲ）に基づき、現在フレームＦＲ１での人物ＪＢに、過去の複数のフレームＦＲ中の人物ＪＢ１～ＪＢ４の識別番号ＩＤ１～ＩＤ４と同一の識別番号ＩＤ、または、相違する識別番号ＩＤ（例えば、識別番号ＩＤ５）を割り当てる。

ステップＳＴ１８：更新部ＫＳは、割当部ＷＡによる識別番号ＩＤの割り当てに応答して、軌跡履歴ＫＲを更新する。

ステップＳＴ１９：ステップＳＴ１１からステップＳＴ１８までの処理が、予め定められた回数だけ、または、予め定められた時間だけ、実行された後に、組み合わせ部ＫＡは、同一の人物、例えば、識別番号ＩＤ１のものである可能性を有し、または、その可能性が高い複数の軌跡片ＴＬを組み合わせる。組み合わせ部ＫＡによる複数の軌跡片ＴＬの組み合わせの結果は、例えば、更新部ＫＳにより、軌跡履歴ＫＲに反映され、即ち、軌跡履歴ＫＲは、更新される。

図１１は、実施形態１の組み合わせ部ＫＡの動作の結果を示す。

組み合わせ部ＫＡによる、組合せ最適化手法を用いた組み合わせを行わない場合には、図１１Ａに示されるように、例えば、フレームＦＲ１及びフレームＦＲ２に亘る人物ＪＢ１の軌跡（図示せず。）が、例えば、遮断物ＳＤにより遮断されることにより、軌跡片ＴＬ１及び軌跡片ＴＬ２に細切れにされていると、軌跡片ＴＬ１は、識別番号ＩＤ１のものであり、他方で、軌跡片ＴＬ２は、識別番号ＩＤ２のものであるとして取り扱われるおそれがある。

上記とは相違して、組み合わせ部ＫＡによる、組合せ最適化手法を用いた組み合わせを行う場合には、図１１Ｂに示されるように、軌跡片ＴＬ１が識別番号ＩＤ１のものであり、かつ、軌跡片ＴＬ２も識別番号ＩＤ１のものであるとして取り扱わる。その結果、軌跡片ＴＬ１及び軌跡片ＴＬ２の組み合わせにより、遮断物ＳＤが存在するにも拘わらず、人物ＪＢ１の軌跡を途切れさせることを回避することができる。

〈実施形態１の効果〉
上述したように、実施形態１の人物追跡装置１では、割当部ＷＡが、現在のフレームＦＲ１での人物ＪＢについての、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（ＴＲ）に基づき、識別番号ＩＤを割り当て、また、組み合わせ部ＫＡが、現在のフレームＦＲ１及び過去の複数のフレームＦＲに亘る、人物ＪＢ、人物ＪＢ１～ＪＢ４の全者の特徴量ＴＲ（ＫＫ）に基づき、組合せ最適化手法により、同一の人物のものである可能性があり、また、可能性が高い複数の軌跡片ＴＬを組み合わせる。これにより、たとえ、遮断物ＳＤ（図１１に図示。）が存在しても、同一の人物の軌跡を追跡し続けることが可能となり、換言すれば、時間的に相互に離隔する軌跡片ＴＬを含む、同一の人物のものであると判定されるべき複数の軌跡片ＴＬを同一の人物のものであると判定することができる。

実施形態２．
〈実施形態２〉
実施形態２の人物追跡装置２について説明する。

実施形態２の人物追跡装置２は、実施形態１の人物追跡装置１に比して、組み合わせ部ＫＡによる組み合わせに要する所要時間を短縮する。

〈実施形態２の原理〉
実施形態１の組み合わせ部ＫＡが、組合せ最適化手法を用いて複数の軌跡片ＴＬを組み合わせようとするとき、組み合わせ数がより多いほど、処理時間がより長くなる。そこで、実施形態２では、組み合わせ部ＫＡによる組み合わせの候補となる軌跡片ＴＬの数を低減する。

実施形態２では、複数の軌跡片ＴＬの数の低減を、軌跡片ＴＬを代表し又は象徴する特徴量ＴＲ（ＴＬ）を制約条件と比較することにより行う。制約条件は、例えば、時間的条件及び空間的条件である。

図１２は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。

軌跡片ＴＬの特徴量ＴＲ（ＴＬ）は、例えば、軌跡片ＴＬに属する複数の矩形ＫＫの特徴量ＴＲ（ＫＫ）を平均することにより算出する。より詳しくは、図１２に示されるように、例えば、軌跡片ＴＬ１に矩形ＫＫ１～ＫＫ４が属するとき、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）を、矩形ＫＫ１の特徴量ＴＲ（ＫＫ）、矩形ＫＫ２の特徴量ＴＲ（ＫＫ）、矩形ＫＫ３の特徴量ＴＲ（ＫＫ）、及び矩形ＫＫ４の特徴量ＴＲ（ＫＫ）を平均することにより、算出する。

図１３は、実施形態２の時間的条件を示す。

上記した時間的条件は、例えば、時間的に前後して隣接する２つの軌跡片ＴＬ同士間の時間的な重複が、時間的閾値Ｔｔｈより大きいか否かである。より詳しくは、図１３に示されるように、２つの軌跡片ＴＬ１、ＴＬ２同士の時間的な重複Ｔ１が、時間的閾値Ｔｔｈ以上であるとき、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせがあり得ないことから、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせを除外する。

上記とは相違し、図１３に示されるように、２つの軌跡片ＴＬ３、ＴＬ４同士の時間的な重複Ｔ２が、時間的閾値Ｔｔｈ未満であるとき、軌跡片ＴＬ３と軌跡片ＴＬ４との組み合わせがあり得ることから、軌跡片ＴＬ３と軌跡片ＴＬ４との組み合わせを除外することなく、残す。

図１４は、実施形態２の空間的条件を示す。

上記した空間的条件は、例えば、空間における２つの軌跡片ＴＬ同士間での空間的な距離が、空間的閾値Ｄｔｈより長いか否かである。より詳しくは、図１４に示されるように、時刻ｔ１から時刻ｔ２までの軌跡片ＴＬ１の終点Ｐ（ｔ２）と、時刻ｔ３から時刻ｔ４までの軌跡片ＴＬ２の起点Ｐ（ｔ３）との間の距離Ｄが、空間的閾値Ｄｔｈ以上であるとき、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせがあり得ないことから、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせを除外する。

上記とは相違し、上記した距離Ｄが、空間的閾値Ｄｔｈ未満であるとき、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせがあり得ることから、軌跡片ＴＬ１と軌跡片ＴＬ２の組み合わせを除外することなく、残す。

空間的閾値Ｄｔｈは、固定的な値でもよく、また、時間、例えば、時刻ｔ２と時刻ｔ３との間の時間の長さにより特定される変動的な値でもよい。

実施形態２での組み合わせの候補となる軌跡片ＴＬの数の削減は、制約条件の観点から起こり得ない、軌跡片ＴＬ同士の組み合わせを事前に除外するだけであり、組み合わせ部ＫＡによる組み合わせの精度を低下させることはない。

〈実施形態２の機能及び構成〉
図１５は、実施形態２の人物追跡装置２の機能ブロック図である。

実施形態２の人物追跡装置２は、図１５に示されるように、実施形態１の人物追跡装置１（図１に図示。）と同様に、取得部ＳＹ～データベース部ＤＢを含み、他方で、実施形態１の人物追跡装置１と相違して、前処理部ＭＳを更に含む。前処理部ＭＳは、組み合わせ部ＫＡの処理の前に処理を行うべく、第４の算出部ＳＳ４と、除外部ＪＧとを有する。

第４の算出部ＳＳ４は、実施形態１の第２の算出部ＳＳ２と同様に、「算出部」に対応し、除外部ＪＧは、「除外部」に対応する。

第４の算出部ＳＳ４は、例えば、図１２に示されるように、現在のフレームＦＲ１中の人物ＪＢの軌跡片ＴＬに基づき、より正確には、軌跡片ＴＬに属する複数の矩形ＫＫに基づき、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を算出する。

除外部ＪＧは、複数の軌跡片ＴＬのうち、図１３、図１４を参照して説明したように、制約条件を満足しない軌跡片ＴＬ同士の組み合わせを、組み合わせ部ＫＡによる組み合わせの候補から除外する。

実施形態２の人物追跡装置２の構成は、実施形態１の人物追跡装置１の構成（図９に図示。）と同様である。

〈実施形態２の動作〉
図１６は、実施形態２の人物追跡装置２の動作を示すフローチャートである。以下、実施形態２の人物追跡装置２の動作について、図１６のフローチャートを参照して説明する。

説明及び理解を容易にすべく、実施形態１と同様に、現在のフレームＦＲ１に、一人の人物ＪＢのみが撮影されていることを想定する。

ステップＳＴ２１～ＳＴ２７：取得部ＳＹ～割当部ＷＡは、実施形態１のステップＳＴ１１～ＳＴ１７と同様な処理を行う。

図１７は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。

ステップＳＴ２８：第４の算出部ＳＳ４は、図１２、図１７に示されるように、現在のフレームＦＲ１中の人物ＪＢの軌跡片ＴＬに基づき、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を算出する。

図１８は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の更新を示す。

ステップＳＴ２９：更新部ＫＳは、図１８に示されるように、軌跡履歴ＫＲに、第４の算出部ＳＳ４により算出された、現在のフレームＦＲ１中の人物ＪＢ（割当部ＷＡにより、識別番号ＩＤ１を既に割り当てられていることを想定。）の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を追加することにより、軌跡履歴ＫＲを更新する。

更新部ＫＳは、上記した更新に併せて、過去のフレームＦＲ０中の特徴量ＴＲ（ＴＬ）を変更することにより、軌跡履歴ＫＲを更新してもよい。

ステップＳＴ３０：ステップＳＴ２１からステップＳＴ２９までの処理が、予め定められた回数だけ、または、予め定められた時間だけ、実行された後に、除外部ＪＧは、現在のフレームＦＲ１及び過去の複数のフレームＦＲでの複数の軌跡片ＴＬのうち、図１３、図１４を参照して説明したように、制約条件を満足しない軌跡片ＴＬの組み合わせを除外する。

ステップＳＴ３１：組み合わせ部ＫＡは、現在のフレームＦＲ１及び過去の複数のフレームＦＲにおける、除外部ＪＧにより数が減少された後の複数の軌跡片ＴＬのうち、同一の人物のものである可能性を有し、または、その可能性が高い軌跡片ＴＬ同士を組み合わせる。組み合わせ部ＫＡは、軌跡片ＴＬ同士の組み合わせを、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）同士が類似するか否かの類似度に基づく組合せ最適化手法により行う。組み合わせ部ＫＡは、前記組み合わせを、例えば、最小費用流問題を解くことによって行い、より詳しくは、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の距離をコストとし、必要に応じて、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）間の類似度についての閾値Ｒｔｈを制約条件として追加することにより、最小費用流問題を解くことによって行う。

組み合わせ部ＫＡによる軌跡片ＴＬ同士の組み合わせの結果は、更新部ＫＳにより、軌跡履歴ＫＲに追加され、これにより、軌跡履歴ＫＲが、更新される。

〈実施形態２の効果〉
上述したように、実施形態２の人物追跡装置２では、第４の算出部ＳＳ４が、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を算出することにより、組み合わせ部ＫＡは、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）同士が類似するか否かに基づき、軌跡片ＴＬ同士を組み合わせることができる。

〈除外による効果〉
図１９は、実施形態２の除外部ＪＧによる除外の効果を示す。

仮に、除外部ＪＧによる、あり得ない軌跡片ＴＬ同士の組み合わせの除外を行わないと、図１９Ａに示されるように、組み合わせ部ＫＡが、組み合わせることができる可能性の有無に拘わらず、例えば、組み合わせの候補である複数の軌跡片ＴＬ１～ＴＬ６の全てについて組み合わせを模索する。

上記とは対照的に、実施形態２の人物追跡装置２では、除外部ＪＧによる、あり得ない軌跡片ＴＬ同士の組み合わせの除外を行う。これにより、図１９Ｂに示されるように、組み合わせ部ＫＡが、組み合わせることができる可能性を有する軌跡片ＴＬ同士のみについての組み合わせを模索し、他方で、組み合わせる可能性を有しない軌跡片ＴＬ同士の組み合わせ、例えば、軌跡片ＴＬ２と軌跡片ＴＬ３との組み合わせ、及び、軌跡片ＴＬ１と軌跡片ＴＬ６との組み合わせを模索しない。その結果、除外部ＪＧによる除外を行わない場合に比して、組み合わせ部ＫＡによる組み合わせに要する所要時間を短縮することができる。

〈類似度閾値の効果〉
図２０は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度を示す。

一般的に、軌跡片ＴＬの長さが長いほど、軌跡片ＴＬに含まれる矩形ＫＫの数が多くなる。例えば、図２０Ａの上段に示されるように、短い軌跡片ＴＬ１には、２つの矩形ＫＫ１ａ、ＫＫ１ｂが含まれることがあり、他方で、図２０の下段に示されるように、長い軌跡片ＴＬ１には、５つの矩形ＫＫ１ａ、ＫＫ１ｂ、ＫＫ１ｃ、ＫＫ１ｄ、ＫＫ１ｅが含まれることがある。

同様に、図２０Ａの上段に示されるように、短い軌跡片ＴＬ２には、２つの矩形ＫＫ２ａ、ＫＫ２ｂが含まれることがあり、他方で、図２０Ａの下段に示されるように、長い軌跡片ＴＬ２には、５つの矩形ＫＫ２ａ、ＫＫ２ｂ、ＫＫ２ｃ、ＫＫ２ｄ、ＫＫ２ｅが含まれることがある。

軌跡片ＴＬ１、ＴＬ２が短いとき、図２０Ｂの上段に示されるように、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とは類似しておらず、即ち、両者間の類似度は、小さい。

上記とは対照的に、軌跡片ＴＬ１、ＴＬ２が長いとき、図２０Ｂの下段に示されるように、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とは類似しており、即ち、両者間の類似度は、大きい。

図２１は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度の閾値の変更を示す。

上述したように、例えば、軌跡片ＴＬ１、ＴＬ２がより長いほど、軌跡片ＴＬ１、ＴＬ２に含まれる矩形ＫＫの数がより多くなり、その結果、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と、軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とがより類似することになる。

そこで、実施形態２の人物追跡装置２では、組み合わせ部ＫＡは、ステップＳＴ３１での、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度に基づく軌跡片ＴＬ同士の組み合わせに先立ち、軌跡片ＴＬの性質に応じて、類似度閾値Ｒｔｈを変更することが望ましい。組み合わせ部ＫＡは、具体的には、図２１Ａ及び図２１Ｂに示されるように、例えば、軌跡片ＴＬ１、ＴＬ２が長いときの類似度閾値Ｒｔｈ（Ｌ）を軌跡片ＴＬ１、ＴＬ２が短いときの類似度閾値Ｒｔｈ（Ｓ）より小さくする。

これにより、例えば、軌跡片ＴＬ１、ＴＬ２が短いときには、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とが類似しているか否かを、類似度閾値Ｒｔｈ（Ｓ）を基準に判断する。これにより、図２１Ａに示されるように、識別番号ＩＤ１、即ち、人物ＪＢ１の軌跡片ＴＬ１と、識別番号ＩＤ２、即ち、人物ＪＢ２の軌跡片ＴＬ２とを峻別することができる。

他方で、例えば、軌跡片ＴＬ１、ＴＬ２が長いときには、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とが類似しているか否かを、上記と相違して、類似度閾値Ｒｔｈ（Ｓ）より小さい類似度閾値Ｒｔｈ（Ｌ）を基準に判断する。これにより、上記と同様に、識別番号ＩＤ１、即ち、人物ＪＢ１の軌跡片ＴＬ１と、識別番号ＩＤ２、即ち、人物ＪＢ２の軌跡片ＴＬ２とを峻別することができる。

〈変形例〉
実施形態２の人物追跡装置２では、組み合わせ部ＫＡが、除外部ＪＧによる除外の後、例えば、時間的にまたは空間的により近接する軌跡片ＴＬ同士をより優先的に組み合わせてもよく、また、上記した組み合わせに、kd-tree等の手法を用いてもよい。これにより、組み合わせに要する所要時間をより短縮することができる。

実施形態３．
〈実施形態３〉
実施形態３の人物追跡装置３について説明する。

実施形態３の人物追跡装置３は、実施形態１の人物追跡装置１、及び実施形態２の人物追跡装置２による処理の結果を表示する。

〈実施形態３の機能及び構成〉
図２２は、実施形態３の人物追跡装置３の機能ブロック図である。

実施形態３の人物追跡装置３は、図２２に示されるように、実施形態１の人物追跡装置１と同様に、取得部ＳＹ～データベース部ＤＢを含み、他方で、実施形態１の人物追跡装置１と相違し、表示部ＨＹを更に含む。

表示部ＨＹは、割当部ＷＡが識別番号ＩＤを割り当てた後の軌跡履歴ＫＲ、即ち、中間段階の速報である軌跡履歴ＫＲ（例えば、図４に図示。）を、人物追跡装置３のユーザにとって視認性良く表示する。ここで、割当部ＷＡが識別番号ＩＤを割り当てた後の軌跡履歴ＫＲは、換言すれば、組み合わせ部ＫＡが軌跡片ＴＬ同士を組み合わせる前の軌跡履歴ＫＲである。

表示部ＨＹは、また、組み合わせ部ＫＡが軌跡片ＴＬ同士を組み合わせた後の軌跡履歴ＫＲ、即ち、最終段階の結果である軌跡履歴ＫＲを、人物追跡装置３のユーザにとって視認性良く表示する。

表示部ＨＹは、前者の軌跡履歴ＫＲを表示する第１の表示ユニット（図示せず。）、及び後者の軌跡履歴ＫＲを表示する第２の表示ユニット（図示せず。）から構成されてもよい。

実施形態３の人物追跡装置３の構成は、実施形態１の人物追跡装置１の構成（図９に図示。）と同様である。

〈実施形態３の動作〉
図２３は、実施形態３の人物追跡装置３の動作を示すフローチャートである。

図２４は、実施形態３の表示部ＨＹの動作を示す。

以下、実施形態３の人物追跡装置３の動作について、図２３、図２４を参照して説明する。

ステップＳＴ４１～ＳＴ４８：取得部ＳＹ～更新部ＫＳは、実施形態１のステップＳＴ１１～ステップＳＴ１８と同様の処理を行う。

ステップＳＴ４９：表示部ＨＹは、図２４に示されるように、割当部ＷＡにより識別番号ＩＤが割り当てられた後の軌跡履歴ＫＲを、人物追跡装置３のユーザにとって見易く表示する。

ステップＳＴ５０：組み合わせ部ＫＡは、実施形態１のステップＳＴ１９と同様の処理を行う。

ステップＳＴ５１：表示部ＨＹは、図２４に示されるように、組み合わせ部ＫＡにより軌跡片ＴＬ同士が組み合わされた後の軌跡履歴ＫＲを、人物追跡装置３のユーザにとって見易く表示する。

表示部ＨＹによる表示は、上述したように、実施形態１の人物追跡装置１の構成、機能及び動作を基調とすることに代えて、実施形態２の人物追跡装置２の構成、機能及び動作を基調としてもよい。

〈実施形態３の効果〉
上述したように、実施形態３の人物追跡装置３では、表示部ＨＹが、割当部ＷＡにより識別番号ＩＤが割り当てられた後の軌跡履歴ＫＲを表示し、他方で、組み合わせ部ＫＡにより軌跡片ＴＬ同士が組み合わされた後の軌跡履歴ＫＲを表示する。これにより、人物追跡装置３のユーザは、人物ＪＢをリアルタイム処理で監視すべき環境の下では、時々刻々に、速報的な、または暫定的な軌跡履歴ＫＲの内容を確認することができ、他方で、人物ＪＢをバッチ処理で監視してもよい環境の下では、例えば、日単位、週単位で、最終的な、または確定的な軌跡履歴ＫＲの内容を確認することができる。

本開示の要旨を逸脱しない範囲で、上述した実施形態同士を組み合わせてもよく、また、各実施形態中の構成要素を適宜、削除し、変更し、または、他の構成要素を追加してもよい。

本開示に係る人物追跡装置は、人物の監視に利用することができ、例えば、人物の動きについて、警報を発し、表示を行い、または、ログを記録する形式で、人物を監視することができる。

１～３ 人物追跡装置、ＣＳ 抽出部、Ｄ 距離、ＤＢ データベース部、Ｄｔｈ 空間的閾値、ＥＺ 映像、ＦＲ フレーム、ＧＪ 画像情報、ＨＹ 表示部、ＩＤ 識別番号、ＩＪ 位置情報、ＪＢ 人物、ＪＧ 除外部、ＫＡ 組み合わせ部、ＫＢ 記憶媒体、ＫＫ 矩形、ＫＲ 軌跡履歴、ＫＳ 更新部、ＫＹ 距離、ＭＭ メモリ、ＭＳ 前処理部、ＮＢ 入力部、ＰＣ プロセッサ、ＰＲ プログラム、Ｒｔｈ 類似度閾値、ＳＢ 出力部、ＳＤ 遮断物、ＳＳ１ 第１の算出部、ＳＳ２ 第２の算出部、ＳＳ３ 第３の算出部、ＳＳ４ 第４の算出部、ＳＴ 推定部、ＳＹ 取得部、ＴＬ 軌跡片、ＴＲ 特徴量、Ｔｔｈ 時間的閾値、ＷＡ 割当部。

Claims (2)

1. 複数の人物が撮影された映像が有する時間的に連続する複数のフレームのうち２つ以上のフレームに亘る特徴量であって、前記複数の人物の動きを象徴する特徴量を各人物毎に算出する算出部と、
   前記２つ以上のフレームに亘る前記複数の人物の動きを象徴する特徴量に基づく組合せ最適化手法の下で、前記２つ以上のフレームに亘る前記複数の人物の動きを構成する軌跡片のうち、同一の人物である可能性がより高い軌跡片同士を組み合わせる組み合わせ部と、
   を含み、
   前記組み合わせ部は、前記軌跡片同士の組み合わせを、前記特徴量同士が類似するか否かに基づき行い、かつ、前記特徴量同士が類似するか否かの閾値を、前記軌跡片の性質に応じて変更する、人物追跡装置。
2. 算出部が、複数の人物が撮影された映像が有する時間的に連続する複数のフレームのうち２つ以上のフレームに亘る特徴量であって、前記複数の人物の動きを象徴する特徴量を各人物毎に算出し、
   組み合わせ部が、前記２つ以上のフレームに亘る前記複数の人物の動きを象徴する特徴量に基づく組合せ最適化手法の下で、前記２つ以上のフレームに亘る前記複数の人物の動きを構成する軌跡片のうち、同一の人物である可能性がより高い軌跡片同士を組み合わせ、
   前記組み合わせ部は、前記軌跡片同士の組み合わせを、前記特徴量同士が類似するか否かに基づき行い、かつ、前記特徴量同士が類似するか否かの閾値を、前記軌跡片の性質に応じて変更する、人物追跡方法。

Images