JPWO2017199840A1 - オブジェクト追跡装置、オブジェクト追跡方法およびオブジェクト追跡プログラム - Google Patents

Abstract

独立に動く複数の追跡対象オブジェクト間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できるオブジェクト追跡装置を提供する。オブジェクト検出手段８１は、映像中から検出対象のオブジェクトを検出する。オブジェクト追跡手段８２は、オブジェクト検出手段８１が検出したオブジェクトの情報を基に、そのオブジェクトの追跡を行う。オブジェクト統合判定手段８３は、オブジェクト追跡手段８２による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定する。オブジェクト離脱判定手段８４は、オブジェクト統合判定手段８３の判定結果を基に、近接状態が解消されたことを判定する。オブジェクト追跡補正手段８５は、オブジェクト離脱判定手段８４の判定結果を基に、オブジェクト追跡手段８２の追跡結果を補正する。

Description

本発明はオブジェクト追跡装置、オブジェクト追跡方法およびオブジェクト追跡用プログラムに関し、特に、追跡対象のオブジェクト間で遮蔽が起こる場合でも精度よくオブジェクト追跡が可能なオブジェクト追跡システム、オブジェクト追跡方法およびオブジェクト追跡用プログラムに関する。

近年、動画像中の注目すべきオブジェクトの追跡に関して、そのオブジェクトを遮蔽する遮蔽物があっても、そのオブジェクトの追跡を可能にするための技術が提案されている。なお、本願では、特に誤解のない限り、「オブジェクト」と「物」とを同一の概念の言葉として取り扱う。すなわち、追跡対象には、いわゆる「物」以外、例えば、人なども包含されていることとする。

例えば、特許文献１では、追跡対象の尤度と、予め定められた閾値とを比較してオブジェクト追跡処理の異常状態を検知し、正常と検知された場合に本来の検知対象を追跡し、異常と検知された場合に、追跡対象を本来の対象から遮蔽物に移して追跡を続行する方式が提案されている。

特許文献２では、遮蔽物が建物の壁に設置されている開閉式の扉である場合、その扉の状態（開閉状態）を、映像解析により検知し、検知結果に基づいてオブジェクト追跡の方法を変える手法が提案されている。

特許文献３では、カメラによって所定範囲内において撮像された人物を追跡し、追跡結果を動線データとして出力する方法が提案されている。なお、特許文献４では、ＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒ）タグを用いた動線管理システムに関する技術が記載されている。

特開２００７−２７２４３６号公報 国際公開第２０１４／１９２４８３号 特開２００３−２５６８４３号公報 特開２００６−２５０９１８号公報

しかし、特許文献１に記載された方法は、独立に動く複数の追跡対象オブジェクト間で、一方のオブジェクト（第１のオブジェクト）が他方のオブジェクト（第２のオブジェクト）を遮蔽する場合だけでなく、その第２のオブジェクトが第１のオブジェクトを遮蔽する場合も想定される状況（以下、相互遮蔽と記すこともある。）を想定していない。一般に、遮蔽が起こると、追跡処理に時系列的な予測モデルが包含されていても、オブジェクト位置の予測精度が悪くなる。これは、オブジェクト追跡処理が「異常」から「正常」に戻る確率が低下することを意味する。

特許文献１に記載された方法では、オブジェクトの追跡処理の状態が異常になった場合、追跡対象を遮蔽物、すなわち、追跡対象ではないオブジェクトに移して、追跡が続行される。例えば、ある時刻”Ｔ”でオブジェクト”Ａ”がオブジェクト”Ｂ”を遮蔽してオブジェクト追跡処理が「異常」になるとする。この場合、時刻Ｔ以降の追跡対象がオブジェクトＢからオブジェクトＡになってしまうので、時刻Ｔ以降にオブジェクトＢを正しく追跡できなくなるという事態が生じてしまう。

また、特許文献２に記載された方法は、遮蔽物が扉であることを前提とした方式である。そのため、例えば、追跡対象オブジェクトが人物の場合、移動体の人物Ａによって遮蔽された移動体の人物Ｂを追跡する手法に、特許文献２に記載された方法を適用することは困難である。

また、特許文献３に記載された方法は、映像に移った人物の動線を抽出する技術であり、遮蔽物については考慮されていない。特許文献４に記載された技術は、映像に含まれるオブジェクトを追跡する技術ではない。

本発明の目的は、上述した独立に動く複数の追跡対象オブジェクト間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できるオブジェクト追跡装置、オブジェクト追跡方法およびオブジェクト追跡用プログラム等を提供することにある。

本発明によるオブジェクト追跡装置は、映像中から検出対象のオブジェクトを検出するオブジェクト検出手段と、オブジェクト検出手段が検出したオブジェクトの情報を基に、そのオブジェクトの追跡を行うオブジェクト追跡手段と、オブジェクト追跡手段による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定手段と、オブジェクト統合判定手段の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定手段と、オブジェクト離脱判定手段の判定結果を基に、オブジェクト追跡手段の追跡結果を補正するオブジェクト追跡補正手段とを備えたことを特徴とする。

本発明によるオブジェクト追跡方法は、映像中から検出対象のオブジェクトを検出し、検出されたオブジェクトの情報を基に、そのオブジェクトの追跡を行い、追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定し、オブジェクトの集合の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定し、近接状態が解消された旨を示す判定結果を基に、追跡結果を補正することを特徴とする。

本発明によるオブジェクト追跡用プログラムは、コンピュータに、映像中から検出対象のオブジェクトを検出するオブジェクト検出処理、オブジェクト検出処理で検出されたオブジェクトの情報を基に、そのオブジェクトの追跡を行うオブジェクト追跡処理、オブジェクト追跡処理で追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定処理、オブジェクト統合判定処理の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定処理、および、オブジェクト離脱判定処理の判定結果を基に、オブジェクト追跡処理の追跡結果を補正するオブジェクト追跡補正処理を実行させることを特徴とする。また、上記目的は、オブジェクト追跡用プログラムが記録されている、コンピュータ読み取り可能な記憶媒体等によっても達成される。

本発明によれば、独立に動く複数の追跡対象オブジェクト間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できる。

図1は、本発明の実施形態におけるオブジェクト追跡装置を含むシステムの一例を示すブロック図である。 図２は、本発明の実施形態におけるオブジェクト追跡装置の一実施形態を示すブロック図である。 図３は、本発明の実施形態におけるオブジェクト追跡装置の動作例を示すフローチャートである。 図４は、オブジェクト統合判定部１４の動作の一例を示すフローチャートである。 図５は、トラッカーの位置関係とグラフ表現の例を示す説明図である。 図６は、トラッカーの位置関係とグラフ表現の例を示す説明図である。 図７は、トラッカーの位置関係をグラフ表現した例を示す説明図である。 図８は、二つのオブジェクトがすれ違う状態の例を示す説明図である。 図９は、オブジェクトの離脱を検出する処理の例を示すフローチャートである。 図1０は、本発明の実施形態におけるオブジェクト追跡装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。図１は、本発明によるオブジェクト追跡装置を含むシステムの一例を示すブロック図である。図１に例示するシステムは、コンピュータ１と、入力部２と、記憶装置３と、出力部４とを備えている。コンピュータ１は、例えば、中央処理装置、プロセッサ、データ処理装置などにより実現される。
コンピュータ１は、本発明によるオブジェクト追跡装置に対応する。

図２は、本発明によるオブジェクト追跡装置の一実施形態を示すブロック図である。本実施形態のオブジェクト追跡装置は、入力部１１と、オブジェクト検出部１２と、オブジェクト追跡部１３と、オブジェクト統合判定部１４と、オブジェクト離脱判定部１５と、出力部１６とを含む。また、オブジェクト追跡装置自身が、図１に例示する記憶装置３を含んでいてもよい。これらの構成は、それぞれ概略次のように動作する。

入力部１１は、入力部２から入力される映像等の情報を受け付ける。

オブジェクト検出部１２は、入力部１１から入力された映像を解析し、入力画像の中に映る（含まれる）検出対象オブジェクトを検出する。以下、検出された情報をオブジェクト検出情報と記すこともある。

オブジェクト追跡部１３は、オブジェクト検出部１２で検出されたオブジェクトの情報と、後述するオブジェクト離脱判定部１５から入力される情報とを用いて、オブジェクトを追跡する。

また、オブジェクト追跡部１３は、追跡結果を補正してもよい。そのため、オブジェクト追跡部１３は、オブジェクト追跡補正手段とも言える。

オブジェクト統合判定部１４は、オブジェクト追跡部１３で追跡されているオブジェクトの情報を解析し、互いに近くに存在するオブジェクトを検出し、オブジェクト集合を構成する。このオブジェクト集合は、同一集合に属するオブジェクトの間で相互遮蔽が起こりやすい集合、言い換えると、追跡に失敗しやすいオブジェクトの集合であると考えることができる。以下、オブジェクト統合判定部１４が構成したオブジェクト集合を表す情報のことをオブジェクト集合情報と記すこともある。

オブジェクト離脱判定部１５は、オブジェクト検出部１２から出力されるオブジェクト検出情報と、オブジェクト統合判定部１４から出力されるオブジェクト集合情報とを用いて、あるオブジェクトがオブジェクト集合から離脱するかどうかを判定する。

本実施形態では、オブジェクト追跡部１３がオブジェクト検出部１２の出力結果からオブジェクト追跡処理を行うとともに、オブジェクト統合判定部１４がオブジェクト追跡部１３の出力情報を解析して互いに近くに存在するオブジェクト集合を検出する。そして、オブジェクト離脱判定部１５は、追跡に失敗しやすいオブジェクト集合からオブジェクトが離脱すると判定した結果を、オブジェクト追跡部１３にフィードバックする。そのような構成により、オブジェクト追跡部１３は、オブジェクトの遮蔽が起こっても正しくオブジェクトを追跡できる。なお、各構成の具体的な処理は後述される。

なお、入力部１１と、オブジェクト検出部１２と、オブジェクト追跡部１３と、オブジェクト統合判定部１４と、オブジェクト離脱判定部１５と、出力部１６とは、プログラム（オブジェクト追跡用プログラム）に従って動作するコンピュータ１（ＣＰＵ）によって実現される。

例えば、プログラムは、記憶装置３に記憶され、ＣＰＵが、そのプログラムを読み込み、プログラムに従って、入力部１１、オブジェクト検出部１２、オブジェクト追跡部１３、オブジェクト統合判定部１４、オブジェクト離脱判定部１５および出力部１６として動作してもよい。

また、入力部１１と、オブジェクト検出部１２と、オブジェクト追跡部１３と、オブジェクト統合判定部１４と、オブジェクト離脱判定部１５と、出力部１６とは、それぞれが専用のハードウェアで実現されていてもよい。

図３は、本実施形態のオブジェクト追跡装置の動作例を示すフローチャートである。なお、下記の例では、フレーム単位で映像が入力されることを想定する。また、各構成は、オブジェクト検出結果、オブジェクト追跡結果、オブジェクト統合判定結果およびオブジェクト離脱判定結果を表わす履歴やパラメータなどを記憶装置３に随時書き込めることを想定する。同様に、各構成は、書き込んだこれらの履歴やパラメータを随時更新および参照できることを想定する。

まず、入力部２または入力部１１の少なくともいずれか一方を介して、オブジェクト追跡に用いる映像が入力される（ステップＳ１０１）。

次に、オブジェクト検出部１２は、映像中のオブジェクトを検出する（ステップＳ１０２）。すなわち、オブジェクト検出部１２は、映像中から検出対象のオブジェクトを検出する。オブジェクト検出部１２がオブジェクトを検出する手法は、既存の方法でよい。オブジェクト検出部１２は、例えば、あらかじめ登録した背景画像との差分を用いてオブジェクトを検出してもよい。

他にも、オブジェクト検出部１２は、あらかじめ登録した検出対象に関する認識辞書を用いて映像中の１つ以上の検出候補領域画像を認識した結果をオブジェクト検出結果として用いてもよい。検出候補領域画像は、例えば、差分画像に基づいて（例えば差分の大きな領域など）定められてもよい。

また、オブジェクト追跡部１３が動きの時系列モデルを有する場合、オブジェクト検出部１２は、過去のオブジェクト位置と時系列モデルの状態から、映像に映るオブジェクト位置を予測することで候補領域を定めてもよい。

また、オブジェクト検出部１２は、あらかじめ定めた大きさの領域のウインドウ枠を映像中の全領域にシフトし、そのウインドウ領域内の画像と認識辞書とを比較して、オブジェクト位置を検出してもよい。

次に、オブジェクト追跡部１３は、オブジェクト検出部１２が出力したオブジェクト検出結果と、検出された時刻よりも前のオブジェクト位置に関するパラメータとを比較することで、オブジェクトを追跡する（ステップＳ１０３）。すなわち、オブジェクト追跡部１３は、オブジェクト検出部１２が検出したオブジェクトの情報を基に、検出対象のオブジェクトの追跡を行う。

通常、オブジェクトの追跡は、各オブジェクトに固有の「トラッカー」と呼ばれる情報を介して行う。すなわち、オブジェクト追跡部１３は、まず、検出された時刻よりも前のトラッカーの状態（例えば位置）と、オブジェクト検出結果を参照し、トラッカーとオブジェクトとの間の距離等に基づいて、対応付けられるトラッカーとオブジェクトとの組を、最適化手法などにより決定する。

その後、オブジェクト追跡部１３は、対応付けの情報を適当な時系列モデルに当てはめ、モデルに包含されるパラメータの値を変更することにより、トラッカーの状態を更新する。オブジェクト追跡部１３は、トラッカー情報（トラッカーの状態を表す情報）を更新する方法として、既存の方法を用いればよい。オブジェクト追跡部１３は、例えば、カルマンフィルタ、パーティクルフィルタなどを用いて、過去のトラッカーの状態と、対応付けられたオブジェクトの情報とに基づいて、トラッカー情報を更新してもよい。

追跡の対象とする各オブジェクトの位置を特定する情報は、検出されたオブジェクトを基に計算できる情報であればよく、その内容は任意である。オブジェクト追跡部１３は、例えば、オブジェクト領域の外接矩形の中心点の座標値をオブジェクト位置の情報として用いてもよい。他にも、オブジェクト追跡部１３は、ｘ座標値をオブジェクト外接矩形のｘ方向の中央値、かつ、ｙ座標値をオブジェクト外接矩形のｙ方向の最大値（または最小値）とするオブジェクト位置の情報を用いてもよい。

また、画像座標と３次元空間との対応付け（キャリブレーション）があらかじめ行われている場合、オブジェクト追跡部１３は、画像座標上の位置からから３次元空間上の位置に変換した情報をオブジェクト位置の情報として使ってもよい。

なお、オブジェクト追跡部１３は、オブジェクト位置の情報だけでなく、トラッカーに付随させて、オブジェクト領域から計算される画像特徴を保存しておいてもよい。

また、オブジェクト追跡部１３は、各トラッカーに対して、信頼度を計算してもよい。
具体的には、オブジェクト追跡部１３は、各トラッカーにより特定されるオブジェクトの近接状態に応じて、そのオブジェクト（トラッカー）の信頼度を計算し、その信頼度を用いて追跡を行ってもよい。オブジェクト追跡部１３は、例えば、オブジェクト検出時の評価値や、トラッカーとオブジェクトとを対応付ける際に用いられる最適化手法の評価値を、信頼度として利用してもよい。また、オブジェクト追跡部１３は、これらの評価値の当てはまりがよい場合に大きな値となるようにスケーリングした値を、信頼度として用いてもよい。また、オブジェクト追跡部１３は、追跡が成功している時間（フレーム数）を信頼度として用いてもよく、これらの値から計算される新しい評価値を信頼度として用いてもよい。

また、オブジェクト追跡部１３は、追跡に成功したかどうかの時系列情報に基づいて定まる指標を信頼度として用いてもよい。具体的には、オブジェクト追跡部１３は、追跡に成功した場合に一定の割合で増加させ、かつ、追跡に失敗した場合に一定の割合で減少させる指標を、信頼度として用いてもよい。この際、オブジェクト追跡部１３は、オブジェクト検出の評価値も考慮して、信頼度を増減させる割合を決めてもよい。

また、オブジェクト追跡部１３は、オブジェクト検出時の評価値が一時的に良くない場合でも、その時点で大きくトラッカーの評価値を大きく下げずに、オブジェクト検出時の評価値が悪い状態が続いたときにオブジェクトの信頼度を減衰させるような調整を行ってもよい。また、オブジェクト追跡部１３は、信頼度が一定の値以下になった場合に、トラッカーそのものを削除してもよい。

なお、トラッカーとオブジェクトの組は必ずしも求められるとは限らない。すなわち、オブジェクト追跡部１３は、必ずしもトラッカーとオブジェクトとの組を求める必要はない。例えば、ある検出オブジェクトの周辺にトラッカーが存在しない場合、オブジェクト追跡部１３は、対応付け（すなわち、トラッカーとオブジェクトの組の特定処理）を行わなくてもよい。同様に、過去時点のトラッカー情報を用いて各トラッカーの位置を予測した結果、ある検出オブジェクトの周辺にトラッカーが存在しないと予測される場合にも、オブジェクト追跡部１３は、対応付けを行わなくてもよい。

一方、各トラッカーの位置を予測した結果、複数のトラッカーが重なりあって、検出オブジェクトとの一対一の対応付けが難しい場合、後述するコンテナを用いて対応付けが管理される。この場合、オブジェクト追跡部１３が、トラッカーと検出オブジェクトとの対応付けを一応行うものの、その対応付けが誤っている可能性もある。このため、後述するように、コンテナ離脱時の判定でこの対応付けが見直される。それまでは、オブジェクト追跡部１３は、対応付けられる可能性がある複数のオブジェクトと、トラッカーとを対応付けておいてもよい。なお、オブジェクトが重なっている場合など、複数のオブジェクトが存在しても、そのうちの一部しか検出されない場合がある。このような場合、オブジェクト追跡部１３は、検出されたオブジェクトに２つ以上のトラッカーを対応付けるようにしてもよい。

これは、無理に対応付けを行うと、トラッカーが追跡してきたオブジェクトとは別のオブジェクトの情報を用いてトラッカーの状態更新を行うこととなり、誤追跡の原因になるからである。従って、オブジェクト追跡部１３は、例えば、時系列モデルによる予測のみに基づいて、オブジェクトに対応付けられなかったトラッカーの状態を更新すればよい。

次に、オブジェクト統合判定部１４は、オブジェクト追跡部１３が追跡する複数のオブジェクトのうち、互いに近い位置にあるオブジェクトを検出することで、互いに近い状態（近接状態）にあるオブジェクトの集合を判定する（ステップＳ１０４）。オブジェクト統合判定部１４は、例えば、映像中の画像座標上におけるオブジェクト間の距離を用いて、オブジェクトが互いに近い位置にあるか否かを判断してもよい。このとき、オブジェクト統合判定部１４は、オブジェクト間の距離を、例えば、オブジェクトの外接矩形の中心点の間の距離で判断してもよい。そして、オブジェクト統合判定部１４は、オブジェクト間の距離が予め定めた値よりも小さい時に、それらのオブジェクトを、互いに近い位置にあるオブジェクトと判断すればよい。

以下の説明では、互いに近い位置にあるオブジェクトの一まとまりを「コンテナ」と呼ぶことにする。また、画像座標と、映像中の実際の３次元位置とのキャリブレーションがあらかじめ行われている場合、オブジェクト統合判定部１４は、映像中の各オブジェクトが存在する領域から３次元位置を求め、その位置に基づいてオブジェクト間の距離を算出してもよい。

ここで、オブジェクト統合判定部１４の処理を、より具体的に説明する。図４は、オブジェクト統合判定部１４の動作の一例を示すフローチャートである。図４に例示する方法は、２つのトラッカー間の距離に基づいてコンテナを求める方法である。ただし、オブジェクト統合判定部１４においてコンテナを求める方法は、図４に例示する方法に限られない。

まず、オブジェクト追跡部１３は、追跡対象とするトラッカーの中で、互いに近い距離にあるトラッカーの組み合わせ（近接トラッカーペア）を求める（ステップＳ１０４１）。オブジェクト追跡部１３は、例えば、追跡対象のトラッカーのペアに対して、トラッカー間の距離を求め、求められた距離の値があらかじめ定められた値よりも小さい場合に、互いに近い距離にあると判定すればよい。

また、オブジェクト追跡部１３は、距離とともに、トラッカー同士が重なっているかどうかを考慮してもよい。例えば、トラッカー間の距離が同じであっても、カメラから見て横に並んでいる場合は重なりが生じないが、カメラから見て奥行き方向に並んでいる場合、トラッカー同士に重なりが生じる場合がある。重なりが生じると、対応付けの誤りが生じやすくなるため、オブジェクト追跡部１３は、重なっているトラッカーを互いに近い距離にあるトラッカーと同様に扱うようにすればよい。オブジェクト追跡部１３は、例えば、トラッカーの外接矩形同士の重なりを計算し、重なりが一定の閾値以上の場合に、トラッカー同士が重なっていると判定すればよい。ただし、重なりを判定する方法はこれに限定されず、オブジェクト追跡部１３は、既存の様々な方式を用いることができる。

図５および図６は、トラッカーの位置関係とグラフ表現の例を示す説明図である。図５および図６に示す例では、追跡対象のトラッカーがそれぞれ３つ（トラッカーＡ，Ｂ，Ｃ）存在する。図５では、追跡対象のトラッカーＡ，Ｂ，Ｃが存在するが、トラッカーＡとトラッカーＢの距離、トラッカーＢとトラッカーＣの距離、および、トラッカーＣとトラッカーＡの距離のいずれも、与えられた閾値よりも大きく、互いに近い距離にあるトラッカーが存在しない状態を示している。一方、図６では、トラッカーＢとトラッカーＣの距離が与えられた閾値よりも小さい状態を示している。

追跡対象のトラッカーのうち、互いに近くに存在するトラッカーのペアを示すために好適な方法として、グラフ理論で用いられるエッジとノードを使う方法を用いることができる。この方法においては、例えば、ノードはトラッカーを示し、ノード間の距離があらかじめ定められた値よりも小さい場合に、トラッカー間が接続される。

例えば、図５の右側の図は、３つのノード（トラッカー）Ａ，Ｂ，Ｃが存在し、エッジ（互いに近い関係にあるトラッカーのペア）が１つもない状態を示している。一方、図６の右側の図は、トラッカーＢとトラッカーＣの間のみが互いに近くにあると判定された状態を示している。

次に、オブジェクト統合判定部１４は、コンテナを生成する（図４におけるステップＳ１０４２）。コンテナの生成方法の説明を容易にするため、トラッカーとトラッカー間の近接関係を表わすグラフ表現を用いる。図７は、トラッカーの位置関係をグラフ表現した例を示す説明図である。

オブジェクト統合判定部１４は、互いに連結されたノードの集合（連結成分）をコンテナとして求める。図７に示す例では、各コンテナが、ノード（トラッカー）Ｆからなる連結成分、ノード（トラッカー）Ａ，Ｄからなる連結成分、および、ノード（トラッカー）Ｂ，Ｃ，Ｅからなる連結成分の３つから構成されていることを示す。

すなわち、ステップＳ１０４２において、オブジェクト統合判定部１４は、この連結成分を求めてコンテナとし、コンテナを同定する番号（コンテナ番号）とトラッカーを同定する番号（トラッカーＩＤ）とを対応付けて格納する。

また、オブジェクト統合判定部１４は、後述する離脱判定時にトラッカー間の比較で用いられる特徴量も一緒に対応付けて格納する。なお、この特徴量は、この時点（コンテナとトラッカーとの対応付け時点）での特徴量に限られない。オブジェクト統合判定部１４は、過去の追跡の過程においてトラッカーに対応付けられた検出結果から、定期的に特徴量を抽出して保持しておき、その時系列の特徴量の集合を対応付けるようにしてもよい。勿論、オブジェクト統合判定部１４は、特徴量の時系列データをそのまま格納するのではなく、似た特徴量同士を集約し、代表的な特徴量のみを格納するようにしてもよい。後述する過去のコンテナ情報と区別するため、この情報を現在のコンテナ情報と呼ぶことにする。

オブジェクトの集合を判定する場合、オブジェクト統合判定部１４は、判定結果（具体的には、各オブジェクトの近接状態の判定結果）を時間的に蓄積してもよい。そして、フレームで判定されるオブジェクト統合結果（コンテナ）に属すトラッカーの組み合わせの同一性を判定することにより、オブジェクトの集合が追跡されればよい。

この際、フレーム間で対応付けられたオブジェクト集合（コンテナ）に含まれるトラッカーに差異がある場合がある。もし、過去のコンテナのみに存在するトラッカーが存在する場合には、そのトラッカーは、後述のオブジェクト離脱判定において、離脱候補トラッカーになる。一方、現在のコンテナのみに存在するトラッカーが存在すれば、それは、新たにコンテナにマージされたトラッカーになる。

図３の説明に戻る。次に、オブジェクト離脱判定部１５は、オブジェクト検出結果と、過去のコンテナ情報およびトラッカー情報から、コンテナからオブジェクトが離脱したか否かを判定する（図３におけるステップＳ１０５）。言い換えると、オブジェクト離脱判定部１５は、オブジェクト統合判定部１４の判定結果を基に、各オブジェクトの近接状態が解消されたか否かを判定する。

オブジェクト追跡部１３の処理で説明したように、オブジェクトとトラッカーの対応付けがない状態、または、コンテナに複数のトラッカーが対応づいている状態でトラッカーの更新を続けると、予測誤差が蓄積し、予測精度が悪くなる。また、オブジェクト追跡部１３が、過去のトラッカー情報と現時刻でのオブジェクトの対応付けを誤る可能性もあるため、この場合も追跡誤り（トラッカーの入れ替わり）が起きる可能性がある。

本実施形態では、オブジェクト離脱判定部１５が、過去に存在していた、互いに近いオブジェクトの集合（コンテナ）に属するトラッカー情報と、現時点のオブジェクト検出結果とを比較する。比較するタイミングは、過去に互いの距離が近いオブジェクトが存在していたが、現在（あるタイミング）ではオブジェクトとトラッカーの対応付けの誤りがほとんど起きないと考えられる時点である。そして、オブジェクト離脱判定部１５が、この比較により、オブジェクトをコンテナから「離脱」させ、オブジェクトを正しく追跡できるようにする。したがって、追跡精度の低下が想定される状況であっても、トラッカーの追跡精度を向上させることができる。

図８は、二つのオブジェクトがすれ違う状態の例を示す説明図である。図８に例示するように、二つのオブジェクトＡ，Ｂが離れた位置から互いに近づき（図８における「状態１」）、オブジェクトＡがオブジェクトＢを遮蔽する関係（図８における「状態２」）となった後で一定時間経過して、二つのオブジェクトが離れる（図８における「状態３」）とする。

図８に例示する「状態２」のように、仮に遮蔽が起こり、オブジェクトＢのトラッカー予測誤差の蓄積や、トラッカーとは本来対応しないオブジェクトＡとが誤って対応付けられたとする。この場合でも、本実施形態では、オブジェクト離脱判定部１５が、遮蔽が解消された時点（図８における「状態３」）でコンテナからオブジェクトＢが離脱したことを検知する。そのため、オブジェクト追跡部１３が、離脱したオブジェクトＢをコンテナに対応付けられたトラッカーと正しく判定することにより、正しい追跡を継続することが可能である。

図３に例示するステップＳ１０５の処理を、より詳細に説明する。図９は、オブジェクトの離脱を検出する処理の例を示すフローチャートである。まず、オブジェクト離脱判定部１５は、オブジェクト検出部１２が検出したオブジェクトのうち、オブジェクト追跡部１３がトラッカーに対応づけなかったオブジェクト、または、対応付けられているものの、過去のコンテナから少し離れた位置に存在するオブジェクトを離脱候補オブジェクトとして検出する（ステップＳ１０５１）。

次に、オブジェクト離脱判定部１５は、過去に（例えば直前のフレームで）複数のトラッカーと対応付くコンテナに対応付けられており、かつ、現在のフレームであるコンテナに単独で対応付けられているトラッカーを、離脱候補トラッカーとして検出する（ステップＳ１０５２）。ただし、離脱候補トラッカーが検出できない場合も存在するため、この場合については、後述される。

最後に、オブジェクト離脱判定部１５は、離脱候補オブジェクトと離脱候補トラッカーとを対応付ける（ステップＳ１０５３）。具体的には、離脱候補オブジェクトがトラッカーと対応づいていない場合、オブジェクト離脱判定部１５は、離脱候補オブジェクト領域画像と離脱候補トラッカー領域画像とを比較して、両者を対応付ける。オブジェクト離脱判定部１５は、例えば、双方の画像の差分に基づいて両者を対応付けてもよい。また、オブジェクト離脱判定部１５は、それぞれの領域から既存の画像特徴を算出した後、画像特徴の距離（もしくは類似度）を計算して、あらかじめ定められた値よりも小さい（大きい）距離の組み合わせを対応付けてもよい。この際、トラッカー側で過去に抽出した時系列の特徴量、またはそれを集約した代表特徴量を保持している場合、オブジェクト離脱判定部１５は、それらの特徴量のそれぞれとの類似度を求め、最も高い類似度を求めるようにしてもよい。

このとき、オブジェクト離脱判定部１５は、画像特徴量として既存の種類の特徴を使えばよい。オブジェクト離脱判定部１５は、例えば、輝度勾配や色に基づく特徴を計算してもよい。以下の説明では、オブジェクト離脱判定部１５により対応付けられたオブジェクトおよびトラッカーをそれぞれ、離脱オブジェクトおよび離脱トラッカーと呼ぶ。

一方、離脱候補オブジェクトがトラッカーと対応付けられている場合で、対応付けられたトラッカーが離脱候補トラッカーと同じ場合、オブジェクト離脱判定部１５は、その対応付けをそのまま維持する。一方、対応付けられたトラッカーが離脱候補トラッカーと異なる場合、オブジェクト離脱判定部１５は、その対応付けられているトラッカーを、離脱候補トラッカーが過去に含まれていたコンテナ内の他のトラッカーと比較する。上述のように、オブジェクト離脱判定部１５は、オブジェクトとトラッカー間で特徴量を比較し、最も類似しているトラッカーを離脱候補トラッカーとし、トラッカーを入れ替える。ただし、最も特徴量が類似したトラッカーとの類似度と、現在選ばれている離脱候補トラッカーとの類似度に大きな差がない場合、オブジェクト離脱判定部１５は、トラッカーを入れ替えないようにしてもよい。具体的には、オブジェクト離脱判定部１５は、最も特徴量が類似したトラッカーとの類似度と現在選ばれている離脱候補トラッカーとの類似度との間の差を計算し、この差が一定値以上の場合のみ、トラッカーを入れ替えるようにすればよい。

一方、離脱候補トラッカーが検出できなかった場合で、かつ、離脱候補オブジェクトに対応付けられたトラッカーが存在する場合、オブジェクト離脱判定部１５は、離脱候補オブジェクトに対応付けられたトラッカーと離脱候補オブジェクトの近くに存在するコンテナに含まれるトラッカーとの特徴量を比較し、特徴量が最も類似したトラッカーを離脱候補トラッカーとみなし、離脱候補オブジェクトと対応付ける。そして、オブジェクト離脱判定部１５は、選択された離脱候補トラッカーをコンテナから除く。

また、離脱候補トラッカーが検出できなかった場合、離脱候補オブジェクトに対応付けられたトラッカーが存在するか否かによらず、オブジェクト離脱判定部１５は、離脱候補オブジェクトを、例えば、ステップＳ１０５３で説明した具体的な方法で処理してもよい。すなわち、オブジェクト離脱判定部１５は、離脱候補オブジェクトの近くに存在するコンテナに含まれるトラッカーとの比較し、特徴量が最も類似したトラッカーを離脱候補トラッカーとみなし、離脱候補オブジェクトと対応付けてもよい。そして、オブジェクト離脱判定部１５は、選択された離脱候補トラッカーをコンテナから除くようにしてもよい。

また、オブジェクト離脱判定部１５は、画像中のオブジェクト領域間の重なり領域を検出して、あらかじめ定められた以上の重なりを持つオブジェクトとトラッカーとの組み合わせに限定して対応付けを処理してもよい。また、オブジェクト離脱判定部１５は、オブジェクトとトラッカーの位置があらかじめ定められた距離よりも小さい値になるような組み合わせに限定して対応付けを処理してもよい。

図３の説明に戻る。最後に、オブジェクト追跡部１３は、オブジェクト追跡補正処理を行う（図３のステップＳ１０６）。具体的には、オブジェクト追跡部１３は、ステップＳ１０５３にて対応付けられた離脱トラッカーの情報を、離脱オブジェクトを用いて更新する。オブジェクト追跡部１３は、トラッカーの時系列モデルのパラメータを、初期状態にリセットしてもよいし、離脱トラッカーの更新前パラメータをそのまま使用してもよい。
また、オブジェクト追跡部１３は、離脱を検出した時点の情報だけでなく、遮蔽前のトラッカー情報を用いて、離脱トラッカーの情報を更新してもよい。そして、オブジェクト追跡部１３は、更新された（補正された）これらの結果に基づいて検出対象のオブジェクトの追跡を行う。

また、離脱オブジェクト候補のうち離脱トラッカー候補と対応付けられなかった場合に、新しいオブジェクトが映像中に出現したと考えられる。この場合、オブジェクト追跡部１３は、オブジェクト検出結果を基に新規トラッカーを生成してもよい。

なお、トラッカーに対して信頼度が定義されており、かつ、オブジェクト検出時の評価値が悪い状態が続いたときにオブジェクトの信頼度が減衰するように信頼度の更新が調整されている場合も想定される。この場合、オブジェクト追跡部１３は、複数のトラッカーに対応付くコンテナに対応付けられた各トラッカーと、そうでないトラッカーとの間で、信頼度を減衰させる方法を変えてもよい。

例えば、後者のトラッカー（すなわち、複数のトラッカーに対応付くコンテナに対応付けられていないトラッカー）の信頼度を、前者のトラッカー（すなわち、複数のトラッカーに対応付くコンテナに対応付けられているトラッカー）の信頼度よりも大きく減衰させる方法が好適な一例である。周りに他のオブジェクトがない場合、トラッカーはオブジェクトを追跡しやすい状況であると言える。それにもかかわらず、オブジェクトと対応が取れないトラッカーは、そもそも誤って検出されたトラッカーである可能性があるからである。

以上のように、本実施形態では、オブジェクト検出部１２が、映像中から検出対象のオブジェクトを検出し、オブジェクト追跡部１３が、検出されたオブジェクトの情報を基に、そのオブジェクトの追跡を行う。また、オブジェクト統合判定部１４が、追跡中のオブジェクトのうち、近接状態にあるオブジェクトの集合を判定し、オブジェクト離脱判定部１５が、オブジェクトの集合の判定結果を基に、近接状態が解消されたことを判定する。
そして、オブジェクト追跡部１３が、近接状態が解消された旨を示す判定結果を基に、追跡結果を補正する。よって、独立に動く複数の追跡対象オブジェクト（特にオブジェクトが人物の場合）間で相互遮蔽が起こる場合でも、正しくオブジェクトを追跡できる。

すなわち、本実施形態では、オブジェクト統合判定部１４が追跡対象の複数のオブジェクト間で遮蔽が起こりやすい状態であるコンテナを検出し、オブジェクト離脱判定部１５がコンテナからオブジェクトが離脱したことを検出する。そのため、遮蔽が起こった際の追跡精度を向上させることができる。

次に、本発明の一態様に係る基本的な実施形態の概要を説明する。図１０は、基本的な実施形態におけるオブジェクト追跡装置の概要を示すブロック図である。基本的な実施形態におけるオブジェクト追跡装置８０は、映像中から検出対象のオブジェクト（例えば、人物）を検出するオブジェクト検出手段８１（例えば、オブジェクト検出部１２に相当）を備える。オブジェクト追跡装置８０は、オブジェクト検出手段８１が検出したオブジェクトの情報を基に、そのオブジェクト（例えば、トラッカー）の追跡を行うオブジェクト追跡手段８２（例えば、オブジェクト追跡部１３に相当）を備える。オブジェクト追跡装置８０は、オブジェクト追跡手段８２による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合（例えば、コンテナ）を判定するオブジェクト統合判定手段８３（例えば、オブジェクト統合判定部１４に相当）を備える。オブジェクト追跡装置８０は、オブジェクト統合判定手段８３の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定手段８４（例えば、オブジェクト離脱判定部１５に相当）を備える。オブジェクト追跡装置８０は、オブジェクト離脱判定手段８４の判定結果を基に、オブジェクト追跡手段８２の追跡結果を補正するオブジェクト追跡補正手段８５（例えば、オブジェクト追跡部１３に相当）を備える。

そのような構成により、独立に動く複数の追跡対象オブジェクト（特にオブジェクトが人物の場合）間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できる。

また、オブジェクト追跡手段８２は、オブジェクトの近接状態に応じて、そのオブジェクトの信頼度を計算してもよい。そのような構成により、オブジェクトの追跡の精度を向上できる。

また、オブジェクト統合判定手段８３は、近接状態の判定結果を蓄積し、その近接状態の同一性を判定してもよい。そのような構成により、オブジェクトの集合を追跡できる。

また、オブジェクト追跡補正手段８５は、オブジェクト離脱判定手段８４により近接状態が解消されたと判定された場合に、オブジェクト追跡手段８２の追跡結果を補正してもよい。そして、オブジェクト追跡手段８２は、補正された追跡結果に基づいて検出対象のオブジェクトの追跡を行ってもよい。

また、オブジェクト離脱判定手段８４は、過去に複数のトラッカーと対応付くコンテナに対応付けられており、かつ、現在のフレームにおいてあるコンテナに単独で対応付けられているトラッカーを、離脱候補トラッカーとして検出してもよい。

上記各実施形態は、例えば、カメラで撮影された映像から作業中の人物の動線を取得して作業の効率化を提言するシステムに好適に適用可能である。また、上記各実施形態は、例えば、店舗等施設内を動く一般顧客等の動線を取得する映像監視やマーケティング一般などにも好適に適用可能である。さらに、上記各実施形態は、例えば、カメラ中に映る動物体の動きを追跡して動物体の数を計数するマーケティングなどにも好適に適用可能である。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１６年５月１８日に出願された日本出願特願２０１６ー０９９４０４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ コンピュータ
２ 入力部
３ 記憶装置
４ 出力部
１１ 入力部
１２ オブジェクト検出部
１３ オブジェクト追跡部
１４ オブジェクト統合判定部
１５ オブジェクト離脱判定部
１６ 出力部

Claims (9)

1. 映像中から検出対象のオブジェクトを検出するオブジェクト検出手段と、
   前記オブジェクト検出手段が検出したオブジェクトの情報を基に、当該オブジェクトの追跡を行うオブジェクト追跡手段と、
   前記オブジェクト追跡手段による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定手段と、
   前記オブジェクト統合判定手段の判定結果を基に、前記オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定手段と、
   前記オブジェクト離脱判定手段の判定結果を基に、前記オブジェクト追跡手段の追跡結果を補正するオブジェクト追跡補正手段とを備えた
   ことを特徴とするオブジェクト追跡装置。
2. 前記オブジェクト追跡手段は、オブジェクトの近接状態に応じて、当該オブジェクトの信頼度を計算する
   請求項１記載のオブジェクト追跡装置。
3. 前記オブジェクト統合判定手段は、近接状態の判定結果を蓄積し、当該近接状態の同一性を判定する
   請求項１または請求項２に記載のオブジェクト追跡装置。
4. 前記オブジェクト追跡補正手段は、前記オブジェクト離脱判定手段により近接状態が解消されたと判定された場合に、前記オブジェクト追跡手段の追跡結果を補正し、
   前記オブジェクト追跡手段は、補正された追跡結果に基づいて検出対象のオブジェクトの追跡を行う
   請求項１から請求項３のうちのいずれか１項に記載のオブジェクト追跡装置。
5. 前記オブジェクト離脱判定手段は、過去に複数のトラッカーと対応付くコンテナに対応付けられており、かつ、現在のフレームにおいてあるコンテナに単独で対応付けられているトラッカーを、離脱候補トラッカーとして検出する
   請求項１から請求項４のうちのいずれか１項に記載のオブジェクト追跡装置。
6. 映像中から検出対象のオブジェクトを検出し、
   検出されたオブジェクトの情報を基に、当該オブジェクトの追跡を行い、
   前記追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定し、
   前記オブジェクトの集合の判定結果を基に、前記オブジェクトの集合の近接状態が解消されたことを判定し、
   近接状態が解消された旨を示す判定結果を基に、前記追跡結果を補正する
   ことを特徴とするオブジェクト追跡方法。
7. オブジェクトの近接状態に応じて、当該オブジェクトの信頼度を計算する
   請求項６記載のオブジェクト追跡方法。
8. コンピュータに、
   映像中から検出対象のオブジェクトを検出するオブジェクト検出処理、
   前記オブジェクト検出処理で検出されたオブジェクトの情報を基に、当該オブジェクトの追跡を行うオブジェクト追跡処理、
   前記オブジェクト追跡処理で追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定処理、
   前記オブジェクト統合判定処理の判定結果を基に、前記オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定処理、および、
   前記オブジェクト離脱判定処理の判定結果を基に、前記オブジェクト追跡処理の追跡結果を補正するオブジェクト追跡補正処理
   を実行させるオブジェクト追跡プログラムが記録された記録媒体。
9. 前記オブジェクト追跡処理は、オブジェクトの近接状態に応じて、当該オブジェクトの信頼度を計算する処理を含む、
   請求項８記載のオブジェクト追跡プログラムが記録された記録媒体。

Images