JP6614611B2 - 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 - Google Patents

Description

本発明は、物体を撮影可能なカメラから取得される時系列画像群を解析して当該物体を追跡する物体追跡技術に関する。

監視やマーケティング等の目的をもって、カメラで撮影され生成された時系列の画像データを解析し、移動する物体の実空間での位置を追跡する技術が開発されている。追跡する物体としては、人物や乗り物等、撮影可能な様々なものが対象となる。この物体追跡技術では、対象を間違えることなく正確に追跡するために、今日まで種々の手法が考案されてきた。

例えば、特許文献1には、対象物体をリアルタイムで追跡することができ、画像フレーム内に新たな被追跡物体が出現しても、動画像による追跡をリアルタイムで続行可能にする技術が開示されている。この技術では、フレーム間で対応のつく被追跡物体の次フレームでの位置は、被追跡物体移動位置推定手段で推定され、一方、対応の付かない被追跡物体の位置は、現フレームの被追跡物体の明るさの分布と、先フレームの被追跡物体の明るさの分布とから推定される。

また、特許文献２には、追跡対象物体を複数のパーツとして捉え、ＭＨＴ（Multiple Hypotheses Tracking，多重仮説追跡）アルゴリズムを利用して、複数のパーツ仮説をキープし、曖昧さを保ったままで追跡を行うべく、各パーツについて、複数のパーツ仮説の各々をノードとする軌跡木（部分仮説木）を時間的に成長させる技術が開示されている。

さらに、特許文献３には、時系列の画像データにおいて複数のフレームに含まれる複数の移動物体を検出し、同一の移動物体同士をフレーム間で対応付けることによって、移動物体の追跡を行う技術が開示されている。この技術では、現在の時刻の検出結果と次の時刻の検出結果とをつなげるパスを推定していくことで物体を追跡する。具体的には、両検出結果の対応がつく確率、対応がつかない確率、消滅する確率、検出できなかった物体が再び出現する確率を算出し、全時刻における組み合わせのパスとその確率とから、最適となるパスを決定している。

上述した特許文献２及び特許文献３に記載されたような技術は、基本的に、全時刻分のデータを全て使用するオフライン処理によって最適なパス、すなわち追跡結果を算出している。これに対し、全シーケンスを複数のサブシーケンスに分割し、サブシーケンスの組み合わせのみから最適パスを算出し、これらのサブシーケンスの結果をつなぐことによって全体の追跡結果を生成するミニバッチ処理を実施することによって、逐次的な追跡結果を生成することも可能となる。

さらに、最近では、深層学習（Deep Learning）を用いた物体追跡技術が注目されている。この深層学習によるアプローチでは、従来のように人為的に取り決められた特徴量を抽出することはせず、大規模なデータセットから多層ニューラルネットワークによる学習を行うことによって特徴量を自動的に抽出する。

例えば、非特許文献1では、大規模なデータセットを、画像のカテゴリを識別する多層ネットワークに予め学習させておき、この事前学習させた多層ネットワークの各層の反応から相関反応マップを生成・更新する技術が開示されている。この技術は、言い換えると、画像のカテゴリを識別する特徴量抽出器に対し事前に学習を行わせ、次いで、互いに異なる層から抽出された特徴量を用いて相関反応マップをオンライン学習させるものである。物体追跡のある時刻において、前時刻まで学習させた相関反応マップにおける反応が最も高かった画像領域を候補領域から選択することで、その時刻での物体位置が決定され、さらに、この選択された画像領域を用いて相関反応マップが更新される。

また、非特許文献２に記載された技術も、非特許文献１に記載の技術と同様、画像のカテゴリを識別する多層ネットワークに対し、大規模なデータセットを用いて事前に学習を行わせるものである。この技術では、fine-tuningと呼ばれる手法に従って、ドメイン(例えば個々のビデオシーケンス)毎に、多層ネットワークの最終層については異なるものを使用し、それ以外のネットワーク層部分は、全ドメインで共有のものを使用する。また、この最終層のみが毎回の実行時にオンラインで更新される。

特開平０２−１９６３８２号公報 特開２０１４−１９１３９３号公報 特開２０１１−１７０７１１号公報

Chao Ma, Jia-Bin Huang, Xiaokang Yang, and Ming-Hsuan Yang，"Hierarchical Convolutional Features for Visual Tracking"，International Conference on Computer Vision (ICCV), ２０１５年，３０７４〜３０８２頁 Hyeonseob Nam and Bohyung Han，"Learning Multi-Domain Convolutional Neural Networks for Visual Tracking"，Cornell University Library，Subjects: Computer Vision and Pattern Recognition (cs.CV)，Cite as: arXiv:1510.07945，２０１５年

しかしながら、以上に述べたような従来の物体追跡技術では、依然、正確な物体の追跡に失敗する事態の生じることが問題となっている。

例えば、特許文献１〜３に記載された技術では、人間によって設定された特徴量を用いて物体追跡を行う。しかしながら、このように人為的に取り決められた特徴量に依存して追跡を行うアプローチでは、実際の追跡時に発生する問題のうち対処可能である範囲がどうしても狭くなる。従って、膨大な問題が複雑に絡みあう現実の映像（時系列画像群）では、依然、正確に物体を追跡することは困難となっている。

一方、非特許文献１及び２に記載された技術のような、深層学習を用いた物体追跡技術では、正解データを包含する大規模データセットから、自動的に特徴量を抽出している。ここで、具体的には、画像に映っている対象のカテゴリ、例えばネコ、犬や、人間といった種別を分類する画像分類用の多層ネットワークに、大規模データセットを予め学習させておき、この多層ネットワークから自動的に特徴量を抽出している。

しかしながら、このような従来技術では、物体追跡時に対象物体の見かけがオンラインで学習されていくので、ドリフティングと呼ばれる現象の生じてしまうことが問題となる。ここで、ドリフティングとは、他の物体との交差等によって誤って別の物体の画像領域を正解領域であると判定し、その画像領域を正解として学習してしまう結果、誤った物体を追跡対象物体として追い続けてしまうという現象である。このドリフティングは、オンライン学習を行う物体追跡技術においてよく見られる問題となっている。

そこで、本発明は、より正確に対象物体を識別し、より確実にその位置を追うことができる装置、プログラム及び方法を提供することを目的とする。

本発明によれば、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置であって、
１つの時点の前の時点での画像に係る情報に基づいて、当該１つの時点での画像における複数の画像領域を、当該物体に係る複数の画像領域候補として抽出する候補領域抽出手段と、
当該物体に係る画像領域を学習した識別器を用い、抽出された各画像領域候補に対し、当該物体に係る画像領域であるか否かについての信頼度を決定する追跡対象識別手段と、
上記の識別器とは別の類似度算出器を用い、抽出された各画像領域候補と、当該１つの時点以前の時点で正解とされた画像領域との類似度を決定する画像間類似度決定手段と、
抽出された複数の画像領域候補から、当該画像領域候補について決定された信頼度及び類似度に基づいて、当該１つの時点で正解とされる当該物体に係る画像領域を決定する画像領域決定手段と
を有する物体追跡装置が提供される。

また、本発明による物体追跡装置における画像間類似度決定手段は、類似度算出対象の画像領域候補を、畳み込み層（convolution layer）を含むニューラルネットワークに入力し、該ニューラルネットワークから抽出された当該画像領域候補に係る特徴量を類似度算出器に入力して、当該類似度を決定することも好ましい。また、損失関数であるコントラスティブ・ロス（contrastive loss）を用いた処理手段を含む類似度算出器を用いて当該特徴量の比較を行い、当該類似度を決定することも好ましい。さらに、画像間類似度決定手段は、当該ニューラルネットワークと当該コントラスティブ・ロスを用いた処理手段とを含む類似度算出器に、所定の大規模画像データセットを予め学習させることも好ましい。

また、追跡対象識別手段は、信頼度決定対象の画像領域候補を、畳み込み層を含むニューラルネットワークに入力し、該ニューラルネットワークから抽出された当該画像領域候補に係る特徴量を識別器に入力して、当該信頼度を決定することも好ましい。

さらに、本発明による物体追跡装置における画像間類似度決定手段は、当該画像領域候補と、当該１つの時点以前の複数の時点のそれぞれで正解とされた複数の画像領域との間の複数の類似度を算出し、当該複数の類似度に基づいて当該類似度を決定することも好ましい。

また、本発明による物体追跡装置における追跡対象識別手段は、決定された類似度及び／又は信頼度が所定の条件を満たさない場合、決定した当該物体に係る画像領域によって学習を行わないことも好ましい。

本発明によれば、また、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
１つの時点の前の時点での画像に係る情報に基づいて、当該１つの時点での画像における複数の画像領域を、当該物体に係る複数の画像領域候補として抽出する候補領域抽出手段と、
当該物体に係る画像領域を学習した識別器を用い、抽出された各画像領域候補に対し、当該物体に係る画像領域であるか否かについての信頼度を決定する追跡対象識別手段と、
上記の識別器とは別の類似度算出器を用い、抽出された各画像領域候補と、当該１つの時点以前の時点で正解とされた画像領域との類似度を決定する画像間類似度決定手段と、
抽出された複数の画像領域候補から、当該画像領域候補について決定された信頼度及び類似度に基づいて、当該１つの時点で正解とされる当該物体に係る画像領域を決定する画像領域決定手段と
としてコンピュータを機能させる物体追跡プログラムが提供される。

本発明によれば、さらに、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡する方法であって、
１つの時点の前の時点での画像に係る情報に基づいて、当該１つの時点での画像における複数の画像領域を、当該物体に係る複数の画像領域候補として抽出するステップと、
当該物体に係る画像領域を学習した識別器を用い、抽出された各画像領域候補に対し、当該物体に係る画像領域であるか否かについての信頼度を決定するステップと、
上記の識別器とは別の類似度算出器を用い、抽出された各画像領域候補と、当該１つの時点以前の時点で正解とされた画像領域との類似度を決定するステップと、
抽出された複数の画像領域候補から、当該画像領域候補について決定された信頼度及び類似度に基づいて、当該１つの時点で正解とされる当該物体に係る画像領域を決定するステップと
を有する物体追跡方法が提供される。

本発明の物体追跡装置、プログラム及び方法によれば、より正確に対象物体を識別し、より確実にその位置を追うことが可能となる。

本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。 本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。 本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。 候補領域抽出部における画像領域候補の設定処理の一実施形態を説明するための模式図である。 類似度算出器で使用されるニューラルネットワークの事前学習を説明するための模式図である。 画像間類似度決定部における類似度決定処理の一実施形態を説明するための模式図である。 追跡対象識別部における追跡対象識別処理の一実施形態を説明するための模式図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［物体追跡システム］
図１は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。

図１に示した、本実施形態の物体追跡システムは、
（ａ）追跡対象の物体を撮影可能であり、撮影した画像の情報を、通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ２と、
（ｂ）カメラ２から通信ネットワークを介して取得される時系列の画像群を用い、当該物体の位置情報を予測して当該物体を追跡可能な物体追跡装置１と
を備えている。

ここで、追跡対象となる物体には、人物、動物、乗り物や、その他移動可能な物理対象等、撮影可能であれば様々なものが該当する。また、撮影される場所も、特に限定されるものではなく、例えば、追跡対象となる人物として、観客、通勤者、買い物客、労働者、歩行者や、ランナー等が映り得る屋外、さらには会社、学校、家庭や、店舗の内部といった屋内とすることもできる。特に、追跡対象となる物体（人物）が複数又は多数であって、同行したり互いにすれ違ったり、さらには撮影範囲の内外に移動したりし得る環境であってもよい。

また、画像情報の伝送路である通信ネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ(Local Area Network)とすることができる。または、ＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）等の無線系アクセスネットワークを介し、インターネットを経由してカメラ２と物体追跡装置１とを通信接続させるものであってもよい。

さらに、光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系アクセスネットワークを介しインターネットを経由して、又はプライベートネットワークを介してカメラ２と物体追跡装置１とが通信接続されてもよい。また、変更態様として、カメラ２と物体追跡装置１とは直接有線で接続されてもよい。さらに、複数のカメラ２から出力される画像情報を取りまとめて物体追跡装置１に送信可能な（図示していない）カメラ制御装置が設けられていてもよい。

同じく図１に示すように、物体追跡装置１は、
（Ａ）１つの時点の前の時点での画像に係る情報に基づいて、この１つの時点での画像における１つ若しくは複数の「画像領域」を、追跡対象の物体に係る画像領域として識別される度合いで評価する、又はこの物体に係る画像領域候補として選択する追跡対象識別部１１４と、
（Ｂ）入力された「画像領域」と、この１つの時点以前の時点で正解とされた「画像領域」との「類似度」を決定する画像間類似度決定部１１３と、
（Ｃ）評価又は選択された「画像領域」から、少なくとも当該「画像領域」について決定された「類似度」に基づいて、この１つの時点で正解とされる追跡対象物体に係る「画像領域」を決定する画像領域決定部１１５と
を有している。

このように、物体追跡装置１は、追跡対象物体に係る「画像領域」を、過去に正解とされた画像（領域）に係る情報（類似度、画像間の距離）を考慮して決定している。従って、例えば追跡対象物体における刻々の見かけのみに依存して当該物体を識別する手法と比較すると、正解との実績のある過去の判断結果と照らし合わせた分だけ、対象をより確実に捉えることができる。また、それ故に、ＩＤスイッチングを含むドリフティングのような誤った現象の発生を十分に抑制することも可能となる。このように、物体追跡装置１によれば、より正確に追跡対象物体を識別し、より確実にその位置を追うことができるのである。

ここで、図１に示すように、追跡対象物体に係る「画像領域」は、画像間類似度決定部１１３で決定された「類似度」のみならず、追跡対象識別部１１４で決定された「信頼度」にも基づいて決定されることも好ましい。この場合、追跡対象識別部１１４は、追跡対象物体に係る「画像領域」を学習し、ある画像領域が当該物体に係る画像領域であるか否かについての「信頼度」を決定し出力する。その結果、さらに正確な追跡対象物体の識別・追跡が可能となる。

ちなみに、具体的な「画像領域」決定手法として、上記（Ａ）で評価又は選択された「画像領域」に、「類似度」と「信頼度」とを総合して算出されるスコアを付与し、付与されたスコアに基づいて、追跡対象物体に係る「画像領域」を決定してもよい。この場合、物体追跡装置１は、画像間類似度決定部１１３の有する（事前学習された）類似度算出器と、追跡対象識別部１１４の有するターゲット識別器とを利用して、未知の画像中に追跡対象物体が写っているとされる領域を推定していくことで物体追跡を実施している、と捉えることができる。

また、画像間類似度決定部１１３は、類似度算出対象の「画像領域」を、畳み込み層（convolution layer）を含むニューラルネットワークに入力し、このニューラルネットワークから抽出された「画像領域」に係る特徴量を比較して「類似度」を決定することも好ましい。また、この場合、後に詳細に説明するが、損失関数であるコントラスティブ・ロス（contrastive loss）を用いてこの特徴量の比較を行うことが好適である。このcontrastive lossを用いることによって、より精度の高い「類似度」を決定することができ、結果的に、より正確な追跡対象物体の識別・追跡を実施することが可能となる。

なお、装置１で取り扱われる時系列画像群は、本実施形態のようなカメラ撮影によって生成された画像データに限定されるものではない。追跡対象の実際の位置や見かけに関係するデータであれば、様々なものが該当する。例えば、デプスカメラによって生成される（対象の各画素の）デプス値情報を、画像データとして利用することも可能である。

ちなみに、本実施形態の物体追跡装置１では、追跡対象物体は、床又は地面での接地位置である物体位置に存在する３次元の物体モデルとして捉えられる。この物体モデルは、その物体の概形を表現した所定の標準的な形状を有し、モデル表面に位置する３次元空間内の点の集合となっている。 例えば、追跡対象物体が人物の場合、サイズの異なる円柱を縦に重ねた形状の表面に位置する点の集合を３次元物体モデルとすることもできる。

また、物体追跡装置１は、刻々と取得される画像内に張られた画像座標系u-vでの位置座標(u, v)を、実空間に張られた世界座標系G_x-G_y-G_zでの位置座標(g_x, g_y, g_z)へ変換する座標変換操作を用いて、追跡対象物体の映った画像情報から、実空間での位置の変化分Δp等の位置情報を算出する。例えば、追跡対象物体の画像内における前時刻T−1での位置(u, v)が、現時刻Tでの位置(u', v')へ変化した場合、この物体は、実空間（観測対象空間）において前時刻T−1での位置(g_x, g_y, g_z)から現時刻Tでの位置(g_x', g_y', g_z')へ移動したことが推定され、実空間での位置の前時刻T−1からの変化分を取得することができる。

ここで、使用する時刻は、単位時間を１としてこの単位時間経過毎に設定される時刻であり、時刻Tの1つ前となる時刻はT−1となる。また、上記のような画像座標系から世界座標系への座標変換は、予めキャリブレーションにより各カメラ２についての設置位置及び撮影向きに係る外部パラメータを設定しておくことによって決定することが可能である。なお、複数のカメラ２のそれぞれから画像が取得される場合でも、これらの画像を統合して１つの画像空間を構築し、この画像空間に画像座標系を適用することができる。

このように、物体追跡装置１は、刻々と取得される画像情報（画像座標系u-vでの位置情報）に基づき、追跡対象物体の実空間での位置情報（世界座標系G_x-G_y-G_zでの位置情報）を推定することができるのである。

さらに、物体追跡装置１は、画像間類似度決定部１１３、追跡対象識別部１１４及び画像領域決定部１１５を含む物体追跡に係る機能構成部において、カメラ２から取得した時系列の各画像を用いて即座に、すなわちオンラインで学習することができる。その結果、追跡対象物体の位置を即座に把握して追跡を行うことが可能となるのである。さらに、刻々と学習する上記の機能構成部を用いて追跡を行うので、対象の見え方が変化したり、追跡対象物体の画像領域が他の物体の画像領域と重畳した状態となるオクルージョン（occlusion）が発生したりする場合でも、同一の物体であると認識することができ、例えば当該物体に固有のＩＤを付与し続けながら、適切な追跡を続行することが容易になる。

［装置機能概要、物体追跡方法］
図２は、本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。

図２によれば、本実施形態の物体追跡装置１は、カメラ２から解析対象の画像を取得した際、目的とする「追跡対象物体に係る画像領域」の候補となる複数の画像領域候補(画像パッチ)を、取得した画像における、前時刻に正解とされた「追跡対象物体に係る画像領域」の周囲から抽出する。

次いで、抽出した画像領域候補(画像パッチ)の各々について、上記の画像間類似度決定部１１３（図１）において「類似度」を算出し、一方、追跡対象識別部１１４（図１）において「信頼度」を算出する。その後、画像領域候補(画像パッチ)毎に算出された「類似度」及び「信頼度」から総合的に判断して、当該画像領域候補のスコアリング（スコア付け）を行う。

次いで、上記の画像領域決定部１１５（図１）において、付与されたスコアに基づいて、（最も高いスコアを有する）画像領域候補(画像パッチ)を、「追跡対象物体に係る画像領域」に決定するのである。

なお、ここで、画像から新規の物体を検出する場合、その検出に伴って取得される当該物体の画像領域の周囲をサンプリングし、初期のデータを与えることによって、当該物体に対応するターゲット識別器が追跡対象識別部１１４（図１）に生成される。このターゲット識別器については後に詳しく説明する。生成されたターゲット識別器は、その後、上記の決定された「追跡対象物体に係る画像領域」を正解としてオンラインで学習し、更新される。また、追跡対象である物体には、その後、当該物体固有のＩＤが継続して付与されることも好ましい。

物体追跡装置１は、以上に説明した処理のサイクルを、すなわち、画像領域抽出・選択処理とターゲット識別器の更新処理とを、図２に示すように繰り返し実施することによって、より正確に対象物体を識別し且つより確実にその位置を追うといった良好な物体追跡を実現するのである。また、１つ以上のカメラ２からの時系列画像群を用いて追跡と同時に検出処理も行っているので、物体における様々の状況に合わせて、的確且つ統合的な追跡を実施することも可能となる。

［装置構成、物体追跡方法］
図３は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。

図３によれば、物体追跡装置１は、１つ又は複数のカメラ２と通信接続可能な通信インタフェース１０１と、画像蓄積部１０２と、ＩＤ（識別子）蓄積部１０３と、画像領域蓄積部１０４と、追跡物体情報記憶部１０５と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、物体追跡装置１のコンピュータを機能させるプログラムを実行することによって、物体追跡機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、物体検出部１１１と、候補領域抽出部１１２と、画像間類似度決定部１１３と、追跡対象識別部１１４と、画像領域決定部１１５と、追跡物体管理部１１６と、通信制御部１１７とを有する。ここで、物体検出部１１１は、ＩＤ管理部１１１ｍを有することも好ましい。また、画像間類似度決定部１１３は、類似度算出器１１３ｒを有することも好ましい。さらに、追跡対象識別部１１４は、ターゲット識別器１１４ｔを有することも好ましい。なお、図３における物体追跡装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による物体追跡方法の一実施形態としても理解される。

同じく図３において、カメラ２は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。なお、上述したように、カメラ２としてデプスカメラを用いることも可能である。また、カメラ２又は（図示していない）カメラ制御装置は、カメラ２で撮影された物体の画像を含む撮影画像データを生成し、当該データを時系列に又はバッチで物体追跡装置１に送信する機能を有する。また、カメラ２は、可動であって設置位置、撮影向きや高さを変更することができ、この変更のための制御信号を受信し処理する機能を有していることも好ましい。

通信インタフェース１０１は、カメラ２又はカメラ制御装置から時系列の画像群である撮影画像データを、通信ネットワークを介して受信する。通信インタフェース１０１を使用した送受信及び通信データ処理の制御は、通信制御部１１７によって行われ、取得された撮影画像データ（画像ファイル）は、画像蓄積部１０２に蓄積される。ここで、この撮影画像データは、カメラ２又はカメラ制御装置から時系列順に呼び出されて取得されたものであってもよく、リアルタイムに一定時間間隔でキャプチャされた画像を順次取得したものであってもよい。

物体検出部１１１は、所定の特徴量を用いて学習を行った検出用識別器によって、物体識別対象の画像における出現した又は追跡されていない物体を検出可能な機能部である。具体的には、画像蓄積部１０２に蓄積された画像において、追跡対象となる物体に対応する画像領域を検出する。ここで、人物を追跡対象とする場合、学習には人物検出に適した特徴量を用いる。物体検出のための特徴量としては、例えばＨＯＧ特徴量を使用することも好ましい。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。ＨＯＧ特徴量を用いた人物検出技術については、例えば、非特許文献であるDalal. N and Triggs. B，"Histograms of Oriented Gradients for Human Detection"，Proceedings of IEEE Computer Vision and Pattern Recognition (CVPR)，２００５年，８８６〜８９３頁に記載されている。

また、物体検出部１１１は、ＩＤ管理部１１１ｍを有することも好ましい。ＩＤ管理部１１１ｍは、新規物体が検出された際、この新規物体（の画像領域）に係る情報を、ＩＤ（識別子）と紐づけてＩＤ蓄積部１０３へ登録する。

候補領域抽出部１１２は、この後、信頼度及び類似度によるスコアリングの対象となる画像領域候補を設定する。

図４は、候補領域抽出部１１２における画像領域候補の設定処理の一実施形態を説明するための模式図である。

図４（Ａ）によれば、候補領域抽出部１１２は、時刻Tでの画像において、スライディングウィンドウ方式により、１つ前の時刻T−1での追跡対象物体の画像領域の位置周辺に、複数の画像領域候補を設定している。このように設定され切り出された画像領域候補の中から、時刻Tにおける正解とされる「追跡対象物体に係る画像領域」が決定される。

ちなみに、図４（Ｂ）に示すように、この正解とされる「追跡対象物体に係る画像領域」は、以下のように決定される。すなわち、切り出された複数の画像領域候補の各々に対し、
（ａ）画像間類似度決定部１１３において類似度を算出し、
（ｂ）追跡対象識別部１１４において信頼度を算出し、
その後、画像領域決定部１１５において、当該画像領域候補に対し、算出された類似度及び信頼度から決定されるスコアを付与する。最後に、付与されたスコアを比較し、最もスコアの高い画像領域候補を選択して、これを正解とされる画像領域に決定する。

図３に戻って、画像間類似度決定部１１３は、入力された画像領域と、１つの時点以前の時点で正解とされた画像領域との類似度を決定する。具体的には、画像間類似度決定部１１３の類似度算出器１１３ｒにおいて、類似度算出対象の画像領域を、畳み込み層（convolution layer）を含む多層ニューラルネットワークであるＮＮ-１に入力し、このＮＮ-１から抽出された当該画像領域に係る特徴量を比較して類似度を決定する。

ここで、ＮＮ-１は、画像の特徴量を自動的に抽出する特徴量抽出器を構成する。すなわち、本実施形態では、手動で特徴量を設計するのではなく、深層学習を用いて正解データを有する大規模データから自動的に特徴量を抽出する。これにより、オクルージョン等の様々な問題が複雑に絡みあう映像（時系列画像群）にも適用可能な特徴量を適宜取得することが可能となる。

具体的に、画像間類似度決定部１１３は、類似度算出器１１３ｒに、所定の大規模画像データセットを予め学習させた上で（事前学習を行わせた上で）、事前学習フェーズにおいて学習した類似度算出器１１３ｒを用い、実行フェーズとして実際に画像領域候補の特徴量を自動生成する。

図５は、類似度算出器１１３ｒで使用されるニューラルネットワークの事前学習を説明するための模式図である。

図５によれば、画像間類似度決定処理の事前学習フェーズとして、最初に、画像の特徴量抽出器であるＮＮ-１に事前学習させる。ＮＮ-１は、上述したように畳み込み層を含むニューラルネットワークである。ここで、畳み込み層は、動物の視覚野の単純細胞の働きを模しており、画像に対しカーネル（重み付け行列フィルタ）をスライドさせて特徴マップを生成する畳み込み処理を実行する層である。この畳み込み処理によって、画像の解像度を段階的に落としながら、エッジや勾配等の基本的特徴を抽出し、局所的な相関パターンの情報を得ることができる。

類似度算出器１１３ｒで使用されるＮＮ-１としては、例えば５層の畳み込み層を用いたAlexNetを用いることができる。このAlexNetでは、各畳み込み層はプーリング層と対になっており、畳み込み処理とプーリング処理とが繰り返される。ここで、プーリング処理とは、動物の視覚野の複雑細胞の働きを模した処理であり、畳み込み層から出力される特徴マップ（一定領域内の畳み込みフィルタの反応）を最大値や平均値等でまとめ、調整パラメータを減らしつつ、局所的な平行移動不変性を確保する処理である。AlexNetについては、例えば、Krizhevsky, A., Sutskever, I., and Hinton, G. E.，"Imagenet classification with deep convolutional neural networks"，Advances in Neural Information Processing Systems 25，２０１２年，１１０６〜１１１４頁に記載されている。

具体的に、ＮＮ-１は、大規模画像データセットを用いて画像分類を行うように学習を行う。次いで、画像領域を入力すると、ＮＮ-１内の複数の層のうち最終層をいくつか除いた層分による多層ネットワークとしての反応を、当該画像領域の特徴量として出力する。なお、このような大規模画像データセットによる学習は、後述するニューラルネットワークＮＮ-２及びＮＮ-３においても同様に行われる。

以上述べたように特徴量を自動抽出した後、画像間類似度決定部１１３は、損失関数としてコントラスティブ・ロス（contrastive loss）を用いて自動抽出された特徴量の比較を行い、類似度を決定する。次に、この類似度決定処理における事前学習フェーズと、実行フェーズとについて説明する。

図６は、画像間類似度決定部１１３における類似度決定処理の一実施形態を説明するための模式図である。

図６によれば、類似度算出器１１４ｒ（図３）は、畳み込み層を含む多層ニューラルネットワークである（例えばAlexNetを用いた）ＮＮ-１及びＮＮ-２のそれぞれの出力側に、ニューラルネットワークを追加し、さらに、両者からの出力を結合（比較）して類似度を出力するcontrastive lossを接続した構成を有する。

このうち、contrastive lossは、相対関係の学習に用いられる損失関数であり、ペアを入力として与えると、それらが同じものか別のものかを学習し、次いで判別するのに使用される。このcontrastive lossを利用することによって、特徴空間でのメトリック（metric）を学習し、比較する多次元ベクトルにおける類似度に効く要素部分をより確実に捉えることが可能となる。ちなみに、contrastive lossを用いて２つの入力の類似性を求めるネットワークは、Siamese networkと呼ばれている。contrastive loss については、例えば、S. Chopra, R. Hadsell, and Y. LeCun，"Learning a Similarity Metric Discriminatively, with Application to Face Verification"，Proc. IEEE Conf. Computer Vision and Pattern Recognition，２００５年，に記載されている。

また、追加されるニューラルネットワークは、結合層を含む多層ネットワークとすることができる。畳み込み層を含んでいなくともよい。この追加ネットワークを設けることによって、比較する画像における様々な変化に的確に対応し、類似の度合いの判定精度を高めることが可能となる。

ここで、最初に、類似度算出器１１４ｒの実行フェーズについて説明する。この実行フェーズにおいては、ＮＮ-１には、候補領域抽出部１１２（図３）から出力された画像領域候補が入力され、一方、ＮＮ-２には、過去の正解とされた（追跡対象物体に係る）画像領域が入力される。これにより、複数の画像領域候補の各々について、過去の正解画像領域との間の距離、すなわち類似度を算出することが可能となる。また、このように、類似度算出器１１４ｒは、入力として２つの画像を与えるとそれらが同一の物体に係る画像であるか否かを識別し、その同一の程度を判定する識別器と捉えることができる。

なお、過去の正解とされた画像領域は、１つであってもよいが複数抽出されることも好ましい。１つの画像領域候補に対して複数の正解との類似度を算出することによって、より精度の高いスコアを決定することができる。例えば、正解画像領域として、３、１０及び／又は１８フレーム前の画像領域を採用してもよい。このように、直前ではなく少し過去に遡って比較基準となる正解画像領域を選ぶことも好ましい。

また、１つの画像領域候補に対して算出された複数の類似度に基づき、例えばそれらの平均をとって、当該画像領域候補の類似度を決定することも好ましい。

次に、類似度算出器１１４ｒにおける事前学習フェーズについて説明する。画像間の類似度（距離）の学習には、図５で示したように予め学習を行ったＮＮ-１及びＮＮ-２（特徴量抽出器）の反応を入力として用いる。具体的には、大量の画像のペアをそれぞれＮＮ-１及びＮＮ-２に入力し、両者を結合するcontrastive lossを用いて、これらのＮＮ-１及びＮＮ-２の上に追加された追加ネットワーク（さらにはＮＮ-１及びＮＮ-２における追加ネットワークとの結合部分）に当該反応を学習させ、画像間の類似度を算出できるようにする。

以上、画像間類似度決定部１１３について詳細に説明したが、本発明に係る類似度の決定は、図６に示したようなcontrastive lossを利用した構成によるものに限定されるわけではない。例えば、類似度算出対象の画像領域候補のＨＯＧ特徴量と、過去の正解画像領域のＨＯＧ特徴量とを算出した上で、両者の線形距離を求めて当該距離を類似度とすることも可能である。その他、画像間の類似度を決定可能な手法であるならば種々のものを採用することができる。しかしながら、本願発明者等は、contrastive lossを用いた上記構成によって算出された類似度が、物体追跡の指標として使用するのに十分な高い精度を有していることを実験によって確認している。

図３に戻って、追跡対象識別部１１４は、１つの時点の前の時点での画像情報に基づいて、当該１つの時点での画像における１つ若しくは複数の画像領域を、具体的には候補領域抽出部１１２で生成された複数の画像領域候補を、当該物体に係る画像領域として識別される度合いをもって評価する。ここで、この識別される度合いでの評価方法として、追跡対象識別部１１４は、追跡対象物体に係る画像領域を事前に学習し、その上で、入力された画像領域（各画像領域候補）が、当該物体に係る画像領域であるか否かについての信頼度を決定し、当該画像領域に付与する。

なお、変更態様として、追跡対象識別部１１４が上記の信頼度生成・付与処理を実施せず、候補領域抽出部１１２で生成された複数の画像領域候補に対し、上述した類似度のみでスコアリングして、追跡対象物体に係る画像領域を決定することも可能である。この場合、候補領域抽出部１１２が、当該１つの時点での画像における１つ若しくは複数の画像領域を、追跡画像に係る画像領域候補として選択する追跡対象識別手段として機能することになる。

また、さらに異なる実施形態として、他の従来手法、例えばオプティカルフローを求めて移動物体の動きを把握するＬＫ法（Lucas Kanade法）を用いて、追跡対象物体に係る画像領域を判定し、このように判定された画像領域に対し、画像間類似度決定部１１３で決定された類似度を用いて再判断を行って、最終的に正解画像領域を決定することも可能である。しかしながら、上述した本実施形態のように、類似度のみならず、上記の信頼度をも加味してスコアリングを行うことによって、より正確に対象物体を識別し、より確実にその位置を追うことができるのである。次に、この追跡対象識別部１１４における事前学習フェーズと、実行フェーズとについて説明する

図７は、追跡対象識別部１１４における追跡対象識別処理の一実施形態を説明するための模式図である。

図７（Ａ）によれば、追跡対象識別部１１４は、畳み込み層を含む多層ニューラルネットワークである（例えばAlexNetを用いた）ＮＮ-３の出力側に、機械学習を実施可能なターゲット識別器１１３ｔを接続した構成を有する。

ここで、ＮＮ-３は、上述したＮＮ-１と同様の構成を有し、（図５に示すような）同様の学習を行ったニューラルネットワークとすることができる。変更態様として、ＮＮ-３として（ＮＮ-３の代わりに）、類似度算出器１１４ｒのＮＮ-１を併用することも可能である。いずれにしても、ＮＮ-３は、入力した画像について自動的に特徴量を生成する。

また、ターゲット識別器１１３ｔは、画像中のある領域を切り出した画像パッチに対して、その画像パッチに映っているものが追跡対象物体か否かの２値判定を行う識別器である。具体的には、特徴空間において識別境界面を生成・更新するような、例えばサポートベクタマシン（ＳＶＭ）を備えていてもよい。

この追跡対象識別部１１４の事前学習フェーズにおいては、図５で示したように事前に学習し構築されたＮＮ-３（特徴量抽出器）の反応が入力として用いられる。ターゲット識別器１１３ｔは、図７（Ｂ）に示すように、この反応を画像領域の特徴量として入力し、例えば、この特徴量相当の画像領域（画像パッチ）と正解画像領域との（共通画像部分に係る）オーバーラップ率OVRがθ以上（OVR≧θ）であれば正、そうでなければ（OVR＜θであれば）負のラベルを画像領域に与えて、識別境界面（識別超平面）を学習（生成）する。

一方、追跡対象識別部１１４におけるオンライン学習を含む実行フェーズにおいては、最初に、ＮＮ-３が、候補領域抽出部１１２から出力された画像領域候補を入力する。これにより、ＮＮ-３において当該画像領域候補の特徴量が生成される。次いで、ターゲット識別器１１３ｔは、この生成された特徴量から、当該画像領域候補の信頼度を、特徴空間における識別境界面との符号付き距離として算出する。

すなわち、信頼度Rは、次式
（１） R＝SIN×ｄ
で算出される。上式において、SINは、特徴空間において当該特徴量が負のラベル側に存在していれば−１、正のラベル側に存在していれば１となる。また、ｄは、特徴空間内における当該特徴量と識別境界面との距離である。尚、このような識別器を用いた物体追跡については、例えば、S. Hare, A. Saffari and P. H. S. Torr，"Struck: Structured Output Tracking with Kernels"，Publications of International Conference on Computer Vision (ICCV), ２０１１年，２６３〜２７０頁に記載されている。

図３に戻って、画像領域決定部１１５は、実行フェーズにおいて、評価又は選択された画像領域（画像パッチ）から、少なくとも当該画像パッチについて決定された類似度に基づいて、好ましくはこのような類似度と信頼度とに基づいて、１つの時点で正解とされる「追跡対象物体に係る画像領域」を決定する。

本実施形態では、画像領域決定部１１５は、時刻Tにおける画像領域候補の各々に対し、
（ａ）画像間類似度決定部１１３で当該画像領域候補に付与された類似度と、
（ｂ）追跡対象識別部１１４で当該画像領域候補に付与された信頼度と
を総合してスコアを算出し、当該画像領域候補に付与する。

ここで、スコアは、類似度と信頼度との和としてもよく、それぞれに所定の重み付けをした上での平均値であってもよい。また、例えば信頼度（類似度）の高い順に所定数の画像領域候補を選び出し、それらの候補に対し類似度（信頼度）に対応したスコアを付与することも可能である。なお、類似度の算出の際に、比較基準となる過去の正解画像領域が複数存在する場合、その数だけの類似度が算出されることになるが、それらの類似度の例えば平均値をとって、スコアの算出に使用する類似度とすることも好ましい。このように複数の類似度を勘案してスコアを決定することは、スコア値の精度向上に寄与するものとなる。

ここで、上記（ａ）の類似度は、長期的な過去の物体の見かけに係る指標と捉えることもできる。また、上記（ｂ）の信頼度は、短期的な直前時点での物体の見かけに係る指標と捉えることもできる。従って、両者に基づいて算出されたスコアは、長期的及び短期的な見かけを総合した指標となり、より正確な物体画像領域の推定に非常に適していることが理解される。

次いで、画像領域決定部１１５は、最も高いスコアの付与された画像領域候補を、時刻Tにおける正解の「追跡対象物体に係る画像領域」に決定する。この決定された正解の画像領域は、追跡物体管理部１１６及び画像領域蓄積部１０４に出力される。さらに、画像領域決定部１１５は、決定された正解画像領域を追跡対象識別部１１４に出力し、当該正解画像領域をもってターゲット識別器１１４ｔをオンライン学習（更新）させる。

このように、本実施形態の物体追跡装置１においては、事前に深層学習によって画像間の類似度を算出するように構成された多層ネットワークを用いて、過去の画像領域との類似性を算出し、この類似度を包含したスコアリングを行うことによって、画像領域決定部１１５における物体追跡のオンライン学習時に、誤った領域を正解とする判定を行うことを防止していることが理解される。

なお、このオンライン学習に際して、算出されたスコアが相当に低い場合、当該スコアの付与された画像領域候補についてはオクルージョンの発生している可能性が高いと判断される。従って、追跡処理におけるドリフティングの発生を防止するため、決定された類似度及び／又は信頼度が所定の条件を満たさない場合、例えば、決定されたスコアが所定の閾値αより低い場合には、このスコアに係る画像領域候補を用いてターゲット識別器１１４ｔの更新を行わないことも好ましい。

同じく図３において、画像領域蓄積部１０４は、刻々と入力した正解画像領域を時系列に整理して保存する。また、要求に応じて、類似度算出器１１３ｒのＮＮ-２に、類似度の算出基準となる１つ又は複数の過去の正解画像領域を出力する。

追跡物体管理部１１６は、刻々と入力した正解画像領域に基づき、追跡対象物体について、時刻毎に（実空間に張られた）世界座標系G_x-G_y-G_zにおける位置（又はロストした事実）を対応付けた追跡履歴を含む情報を、追跡物体情報として生成し、管理する。生成された追跡物体情報は、生成・更新される毎に、又は適宜、追跡物体情報記憶部１０５に記憶されることも好ましい。また、通信制御部１１７及び通信インタフェース１０１を介し、外部の情報処理装置に送信されてもよい。

以上詳細に説明したように、本発明によれば、追跡対象物体に係る画像領域を、過去に正解とされた画像領域との類似度を考慮して決定している。このように、正解との実績のある過去の判断結果と照らし合わせるので、対象をより確実に捉えることができる。また、それ故に、オクルージョンが発生した場合でも追跡対象物体に例えば固有のＩＤを付与しつづけることができるので、ＩＤスイッチングを含むドリフティングのような誤った現象の発生を十分に抑制することも可能となる。その結果、より正確に追跡対象物体を識別し、より確実にその位置を追うことができるのである。

また、本発明の構成及び方法は、例えば、人物が移動・滞留したり出入りする場を監視する監視システム、及び商店街や商業・サービス施設内での人物の入店、休憩、観戦・イベント参加や、移動の状況を調査するためのマーケティング調査システム等、様々な系に適用可能である。

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 物体追跡装置
１０１ 通信インタフェース
１０２ 画像蓄積部
１０３ ＩＤ蓄積部
１０４ 画像領域蓄積部
１０５ 追跡物体情報記憶部
１１１ 物体検出部
１１１ｍ ＩＤ管理部
１１２ 候補領域抽出部
１１３ 画像間類似度決定部
１１３ｒ 類似度算出器
１１４ 追跡対象識別部
１１４ｔ ターゲット識別器
１１５ 画像領域決定部
１１６ 追跡物体管理部
１１７ 通信制御部
２ カメラ

Claims (9)

1. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置であって、
   １つの時点の前の時点での画像に係る情報に基づいて、当該１つの時点での画像における複数の画像領域を、当該物体に係る複数の画像領域候補として抽出する候補領域抽出手段と、
   当該物体に係る画像領域を学習した識別器を用い、抽出された各画像領域候補に対し、当該物体に係る画像領域であるか否かについての信頼度を決定する追跡対象識別手段と、
   前記識別器とは別の類似度算出器を用い、抽出された各画像領域候補と、当該１つの時点以前の時点で正解とされた画像領域との類似度を決定する画像間類似度決定手段と、
   抽出された複数の画像領域候補から、当該画像領域候補について決定された信頼度及び類似度に基づいて、当該１つの時点で正解とされる当該物体に係る画像領域を決定する画像領域決定手段と
   を有することを特徴とする物体追跡装置。
2. 前記画像間類似度決定手段は、類似度算出対象の画像領域候補を、畳み込み層（convolution layer）を含むニューラルネットワークに入力し、該ニューラルネットワークから抽出された当該画像領域候補に係る特徴量を前記類似度算出器に入力して、当該類似度を決定することを特徴とする請求項１に記載の物体追跡装置。
3. 前記追跡対象識別手段は、信頼度決定対象の画像領域候補を、畳み込み層を含むニューラルネットワークに入力し、該ニューラルネットワークから抽出された当該画像領域候補に係る特徴量を前記識別器に入力して、当該信頼度を決定することを特徴とする請求項１又は２に記載の物体追跡装置。
4. 前記画像間類似度決定手段は、損失関数であるコントラスティブ・ロス（contrastive loss）を用いた処理手段を含む前記類似度算出器を用いて当該特徴量の比較を行い、当該類似度を決定することを特徴とする請求項２に記載の物体追跡装置。
5. 前記画像間類似度決定手段は、当該ニューラルネットワークと当該コントラスティブ・ロスを用いた処理手段とを含む前記類似度算出器に、所定の大規模画像データセットを予め学習させることを特徴とする請求項４に記載の物体追跡装置。
6. 前記画像間類似度決定手段は、当該画像領域候補と、当該１つの時点以前の複数の時点のそれぞれで正解とされた複数の画像領域との間の複数の類似度を算出し、当該複数の類似度に基づいて当該類似度を決定することを特徴とする請求項１から５のいずれか１項に記載の物体追跡装置。
7. 前記追跡対象識別手段は、決定された類似度及び／又は信頼度が所定の条件を満たさない場合、決定した当該物体に係る画像領域によって学習を行わないことを特徴とする請求項１から６のいずれか１項に記載の物体追跡装置。
8. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
   １つの時点の前の時点での画像に係る情報に基づいて、当該１つの時点での画像における複数の画像領域を、当該物体に係る複数の画像領域候補として抽出する候補領域抽出手段と、
   当該物体に係る画像領域を学習した識別器を用い、抽出された各画像領域候補に対し、当該物体に係る画像領域であるか否かについての信頼度を決定する追跡対象識別手段と、
   前記識別器とは別の類似度算出器を用い、抽出された各画像領域候補と、当該１つの時点以前の時点で正解とされた画像領域との類似度を決定する画像間類似度決定手段と、
   抽出された複数の画像領域候補から、当該画像領域候補について決定された信頼度及び類似度に基づいて、当該１つの時点で正解とされる当該物体に係る画像領域を決定する画像領域決定手段と
   としてコンピュータを機能させることを特徴とする物体追跡プログラム。
9. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡する方法であって、
   １つの時点の前の時点での画像に係る情報に基づいて、当該１つの時点での画像における複数の画像領域を、当該物体に係る複数の画像領域候補として抽出するステップと、
   当該物体に係る画像領域を学習した識別器を用い、抽出された各画像領域候補に対し、当該物体に係る画像領域であるか否かについての信頼度を決定するステップと、
   前記識別器とは別の類似度算出器を用い、抽出された各画像領域候補と、当該１つの時点以前の時点で正解とされた画像領域との類似度を決定するステップと、
   抽出された複数の画像領域候補から、当該画像領域候補について決定された信頼度及び類似度に基づいて、当該１つの時点で正解とされる当該物体に係る画像領域を決定するステップと
   を有することを特徴とする物体追跡方法。

Images