JP6558831B2 - オブジェクト追跡装置、方法およびプログラム - Google Patents

Description

本発明は、動画像上で人物のような動くオブジェクトを追跡するオブジェクト追跡装置、方法およびプログラムに係り、特に、人物間オクルージョンにかかわらず頑健かつ高精度の追跡を可能にするオブジェクト追跡装置、方法およびプログラムに関する。

非特許文献１には、デフス（深度）データの統計的特徴に基づいて背景画像を生成し、フレーム画像か背景画像を減じることでオブジェクトを検知するバックグラウンド減算方法が開示されている。非特許文献２には、オブジェクトの重複の有無に基づいてオクルージョンを判断し、オブジェクトを検知、追跡する方法が開示されている。

特許文献１には、オブジェクトを具体的に識別可能なRGBカラー映像を用いることなく、オブジェクトを具体的に識別できない奥行映像のみを用いてオブジェクトを追跡する技術が開示されている。

特許文献２には、各オブジェクトの輪郭に沿ったオブジェクト曲線をフレーム間で比較して各オブジェクトを対応付けることにより、オクルージョン後における各オブジェクトの移動方向がオクルージョン前の移動ベクトルから予測し得ないような場合もオブジェクトの正確な追跡を可能にする技術が開示されている。

特願2014-198941号 特願2015-038594号

S. H. Cho, K. Bae, K. M. Kyung, S. Jeong, and T. C. Kim, "Background Subtraction Based Object Extraction for Time-of-Flight Sensor," in Proc. IEEE 2nd Global Conf. on Consumer Electronics, pp. 48-89, 2013. H. Sabirin, H. Sankoh, and S. Naito, "Utilizing attributed graph representation in object detection and tracking for indoor range sensor surveillance cameras," IEICE Transactions on Information and Systems 98 (12), pp. 2299-2307, 2015.

上記の従来技術では、図8に示したように、オクルージョンの発生前に検知された各オブジェクトA，Bと発生後に検知された各オブジェクトa，bとの類似度に基づいて追跡が行われる。しかしながら、オブジェクトが人間のような動物体であると、オクルージョン期間中に姿勢や向きが大きく変化することがあり、特にオクルージョン期間が長くなると、その前後で画像特徴が大きく変化してしまい、オクルージョンの前後で同一オブジェクトが抽出されているのみかかわらず両者を対応付けることができず、さらには誤った対応付けが行われ得るという技術課題があった。

本発明の目的は、上記の技術課題を解決し、オクルージョン期間中の各オブジェクトの姿勢や向きの変化にかかわらず、オクルージョンの発生前後で各オブジェクトを正確に対応付けられるオブジェクト追跡装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、各ピクセルが奥行情報を有するフレーム画像上でオブジェクトを追跡するオブジェクト追跡装置において、以下の構成を具備した点に特徴がある。

(1) 奥行情報に基づいて各フレーム画像上でオブジェクトを検知する手段と、今回フレームで検知されたオブジェクトがオクルージョンにより生じた統合オブジェクトであるか否かを判定する手段と、統合オブジェクトから前回フレームで検知されているオブジェクトに類似する部分を追跡対象のオブジェクトとして分割する手段と、フレーム画像間で各オブジェクトをその類似度に基づいて追跡する手段とを具備した。

(2) 統合オブジェクトであるか否かを判定する手段は、今回フレームで検知されたオブジェクトと前回フレームで検知された複数のオブジェクトとのそれぞれの重畳範囲の面積の割合が所定の閾値以上であると当該今回フレームで検知されたオブジェクトを統合オブジェクトと判定するようにした。

(3) 分割する手段は、統合オブジェクトから前回フレームで検知された各オブジェクトと奥行情報の配置が類似する各重畳範囲を追跡対象のオブジェクトとして分割するようにした。

本発明によれば、以下のような効果が達成される

(1) オクルージョン期間の前後でオブジェクトの向きや姿勢が大きく変化するような場合であっても、フレーム単位でみれば変化量は十分に小さいので類似度判断に与える影響は小さい。したがって、オクルージョン期間中は統合オブジェクトから各オブジェクトに相当する部分を分割し、各部分を一つのオブジェクトとして追跡を継続することにより、オクルージョン期間の長短にかかわらず頑健かつ高精度のオブジェクト追跡が可能になる。

(2) オクルージョンの発生を、今回フレームで検知されたオブジェクトと前回フレームで検知された複数のオブジェクトとの重畳範囲の面積の割合に基づいて判断するようにしたので、フレーム間でのオブジェクト数の変化に基づいて判断する従来技術方式に比べて確度の高い判断が可能になる。

本発明の一実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図である。 オブジェクトの検知方法を示した図である。 矩形領域の設定例を示した図である。 オブジェクトの移動軌跡の表示例を示した図である。 本発明の一実施形態の動作を示したフローチャートである。 オブジェクトの矩形領域の重なり面積に基づいてオクルージョン関係を判定する方法を模式的に示した図である。 統合オブジェクトから分割した部分をオブジェクトとして追跡する方法を模式的に表現した示した図である。 従来技術の課題を説明するための図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

オブジェクト検知部１０は、図２に示したように、オブジェクトを具体的に識別できない奥行データのみの映像（奥行映像）の各フレーム画像上で各オブジェクトを検知する。本実施形態では、オブジェクトが存在しない環境下で撮影した背景画像を蓄積しておき、奥行映像の各フレームと前記背景画像との差分が所定の閾値以上となる閉領域がオブジェクトとして検知される。

矩形領域設定部２０は、図３に一例を示したように、各オブジェクトに対して、その輪郭に外接する矩形の領域（矩形領域）を設定する。オクルージョン判定部３０は重畳面積計算部３０ａを含み、後に詳述するように、検知された各オブジェクトの矩形領域同士が重なる重畳範囲の面積の割合に基づいてオクルージョンの有無を判定する。

ID割当実行部４０は、統合オブジェクト分割部４０ａおよびオブジェクト対応付け部処理部４０ｂを含み、前回フレームで検知されたオブジェクトと今回フレームで検知されたオブジェクトとをその類似度に基づいて対応付け、今回フレームのオブジェクトに前回フレームの対応するオブジェクトのIDを割り当てる。

前記統合オブジェクト分割部４０ａは、オクルージョンにより複数のオブジェクトが統合したオブジェクト（統合オブジェクト）から、オクルージョン前の各オブジェクトと奥行情報の配置が類似する各重畳範囲を追跡対象のオブジェクトとして分割する。

前記オブジェクト対応付け部４０ｂは、オクルージョンの新たな発生が検知されると、統合オブジェクトから分割した各オブジェクトを統合前の各オブジェクトと対応付ける第１機能、オクルージョン期間中に前回フレームの統合オブジェクトから分割した各オブジェクトを今回フレームの統合オブジェクトから分割した各オブジェクトと対応付ける第２機能、および前回フレームで統合オブジェクトから分割した各オブジェクトをオクルージョン解消後に各オブジェクトと対応付ける第３機能を備え、対応するオブジェクトに同一IDを割り当てる。

動線表示部５０は、図４に示したように、フレーム間で同一IDを割り当てられたオブジェクトを同一オブジェクトとみなして、各オブジェクトの移動軌跡をディスプレイ上に表示する。本実施形態では、各オブジェクトが丸印のシンボルマークで表現され、色を異ならせて表示される。

このようなオブジェクト追跡装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。

図５は、本発明に係るオブジェクトの追跡方法および追跡プログラムの一実施形態の動作を示したフローチャートであり、ステップS１では、ピクセル単位でデプス値を有する奥行映像がフレーム単位で取り込まれる。なお、奥行映像を撮影するカメラが複数存在する場合には複数のフレーム画像が取り込まれる。

ステップS２では、フレーム画像と予め生成されている背景画像との差分データが2D座標系上に投影される。このとき、複数のカメラからフレーム画像を取得するのであれば、投影マトリックスを生成するためのカメラ較正プロセスが予め実行される。

ステップS３では、当該2D座標上でデプス値に基づくクラスタリングがピクセル単位で実行される。ステップS４では、前記クラスタリングの結果に基づいて、今回フレームから各オブジェクトが検知される。ステップS５では、前回フレームで検知された各オブジェクトと今回フレームで検知された各オブジェクトとの類似度が総当たりで計算され、類似度のより高いオブジェクト同士が相互に対応付けられる。

ステップS６では、各オブジェクトに外接する矩形領域が設定され、各矩形領域同士の重畳範囲の面積の割合が算出される。ステップS７では、重畳面積の割合が所定の条件を満足するオブジェクト同士がオクルージョン関係にあると判定される。

図６は、各オブジェクトの矩形領域の重畳面積の割合に基づいてオクルージョンの発生を判定する方法を模式的に示した図である。

本実施形態では、前回フレームで検知されたオブジェクトと、今回フレームで検知されたオブジェクトとの矩形領域の重なりが判断される。その結果、同図(a)に示したように、前回フレームで検知されたオブジェクトA，Bの各矩形領域Ka，Kbと、今回フレームで検知されたオブジェクトCの矩形領域Kcとの重畳範囲の面積の割合がいずれも５０パーセント以上であれば、オブジェクトCは２つのオブジェクトA，Bのオクルージョンにより生じた統合オブジェクトであると判断される。

これに対して、同図(b)に示したように、前回フレームで検知されたオブジェクトA，Bの各矩形領域Ka，Kbと今回フレームで検知されたオブジェクトCの矩形領域Kcとの重畳が検知されても、重畳範囲の面積の割合が５０パーセント以上の組み合わせが一つのみ（ここでは、オブジェクトA，Dの組み合わせのみ）であればオクルージョン状態とは判定されない。

また、同図(c)に示したように、前回フレームで検知されたオブジェクトAの矩形領域Kaと今回フレームで検知されたオブジェクトFの矩形領域Kfとの重畳範囲の面積の割合が５０パーセント以上であっても、それが一つのみであればオクルージョン状態とは判定されない。

以上のオクルージョン判定により、オクルージョン状態ではないと判定された今回フレームのオブジェクトに関してはステップS８へ進み、類似度が高かった前回フレームのオブジェクトのIDが付与される。これに対して、オクルージョン状態であると判定された統合オブジェクトに関してはステップS９へ進み、統合オブジェクトが各ピクセルのデプス値に基づいて分割される。

本実施形態では、n個のオブジェクトのオクルージョンにより生じた統合オブジェクトであれば、その領域内にデプス値の分布が異なるn個の領域が混在しているとの考察に基づいて、統合オブジェクトから各ピクセルのデプス値に基づいて複数の部分を分割して新たな追跡対象のオブジェクトとする。

ここでは初めに、前回フレームで検知されている統合前の各オブジェクトおよび今回フレームにおける重畳範囲に関して、次式(1)〜(4)で表されるデプスモデルxが生成される。ここで、変数aは統合前の各オブジェクトまたは重畳範囲に外接する矩形領域の幅wおよび高さhの関数であり、変数cは幅wおよび高さhの中心位置（座標）であり、変数dは各ピクセルのデプス値の関数である。

次いで、統合前の各オブジェクトのデプス値に関する分布と今回フレームにおける重畳範囲のデプス値に関する分布との類似性を判断するために、次式(5)のバッタチャリャ距離（Bhattacharyya distance：距離尺度）Bが計算される。

ここで、σi，μiは今回フレームにおける重畳範囲のデプス値の分散および算術平均（中央値）であり、σj，μjは前回フレームで検知されたオブジェクトのデプス値の分散および算術平均（中央値）である。そして、今回フレームにおける各重畳範囲のうち、前回フレームで検知されている統合前の各オブジェクトとのバッタチャリャ距離Bの近い重畳範囲が統合オブジェクトから分割されて新たな追跡対象のオブジェクトとされる。

ステップS１０では、前回フレームで検知されている統合前の各オブジェクトと今回フレームにおける各オブジェクトとの類似度が総当たりで比較される。ステップS１１では、各オブジェクトに対して、類似度が最も高い統合前の各オブジェクトのIDが割り当てられる。ステップS１２では、各オブジェクトの動線（軌跡）が表示出力される。

図７は、統合オブジェクトから分割した部分のオクルージョン発生からその解消までの期間における追跡方法を模式的に表現した示した図である。

本実施形態では、時刻t0で検知された２つのオブジェクトA，Bがオクルージョンにより一つのオブジェクトCに統合されると、時刻t1では、この統合オブジェクトCから各オブジェクトA，Bと類似する上側部分Kaと下側部分Kbが分割される。

各部分Ka，Kbは、それぞれ統合前の各オブジェクトA，Bと類似するはずなので、オブジェクトCの各部分Ka，Kbには、それぞれオブジェクトAの識別子IDa，オブジェクトBの識別子IDbが割り当てられて今後の追跡対象とされる。統合オブジェクトCについては追跡対象から除外される。

次の時刻t2では、今回フレームで検知された統合オブジェクトCから、前回フレームにおいて分割された各部分に相当するオブジェクトKa，Kbと類似する右側部分および左側部分が分割され、それぞれにオブジェクトKaの識別子IDaおよびオブジェクトKbの識別子IDbが割り当てられて今後の追跡対象とされる。統合オブジェクトCについては追跡対象から除外される。

次の時刻t3では、今回フレームで検知された統合オブジェクトCから、前回フレームにおいて分割された各部分に相当するオブジェクトKa，Kbと類似する下側部分および上側部分が分割され、それぞれにオブジェクトKaの識別子IDaおよびオブジェクトKbの識別子IDbが割り当てられて今後の追跡対象とされる。統合オブジェクトCについては追跡対象から除外される。

その後、統合オブジェクトCのオクルージョンが解消してオブジェクトA，Bが独立して検知されると、時刻t4では、前回フレームで分割された下側部分に相当するオブジェクトKaおよび上側部分に相当するオブジェクトKbが、それぞれオブジェクトA，Bと対応付けられるので、オブジェクトAには識別子IDa，オブジェクトBには識別子IDbを正しく割り当てることが可能になる。

オブジェクトの追跡は前記デプスモデルxを用いたパーティクルフィルタに基づいて実行される。本実施形態では、次式(6)に示したように、前回フレームのオクルージョン状態ンではないオブジェクトが重み付けされた標準サンプルとされる。

デプス類似モデルの重み要素Δは、観察対象フレームZ0〜Zt-1を用いて次式(7)で与えられる。

ここでは、次式(8)に示したように、最大で５つの前回フレームを観察してオブジェクト追跡を行う場合について説明する。

Dは次式(9)で与えられ、現在のオブジェクトと参照フレームのオブジェクトとの、上式(1)に基づいて計算されるデプスモデルの類似性の計測結果である。類似性は重心のユークリッド距離と各オブジェクトの深さとに基づいて計算される。

ここでは、追跡において離れた一対のオブジェクトが誤って対応付けられないように重心に高い得点を与えるために、定数α=0.5、β=0.1に決定される。現在のオブジェクトのデプス値の分散σは、検知されたオブジェクト間の距離の範囲内であるように、類似性測定においてデプス値コンポーネントと呼ばれる。このように、追跡はt_AVGフレームのオブジェクトの重心との距離が最小となるオブジェクトを現在フレームt内で見つけることである。

ここで、Iは基準フレーム内で検知されたオブジェクト数（５つのフレームでの平均）である。したがって、フレームtのj番目のオブジェクトにはフレームｔ_AVG内でcが最小値を与えるオブジェクトのラベルLが割り当てられる。

以上、本発明の実施形態に係るオブジェクト追跡装置について説明したが、本発明はこれのみに限定されるものではなく、当該オブジェクト追跡装置と同様の処理を行うオブジェクト追跡方法であっても良いし、コンピュータに当該追跡方法を実行させるためのオブジェクト追跡プログラムであっても良い。

１０…オブジェクト検知部，２０…矩形領域設定部，３０…オクルージョン判定部，３０ａ…面積計算部，４０…ID割当実行部，４０ａ…統合オブジェクト分割部，４０ｂ…オブジェクト対応付け部，５０…動線表示部

Claims (11)

1. 各ピクセルが奥行情報を有するフレーム画像上でオブジェクトを追跡するオブジェクト追跡装置において、
   奥行情報に基づいて各フレーム画像上でオブジェクトを検知する手段と、
   今回フレームで検知されたオブジェクトがオクルージョンにより生じた統合オブジェクトであるか否かを判定する手段と、
   統合オブジェクトから前回フレームの各オブジェクトと奥行情報が類似する部分を追跡対象のオブジェクト部分として分割する手段と、
   フレーム画像間で各オブジェクトおよび各オブジェクト部分をその類似度に基づいて追跡する手段とを具備したことを特徴とするオブジェクト追跡装置。
2. 前記統合オブジェクトであるか否かを判定する手段は、今回フレームで検知されたオブジェクトと前回フレームで検知された複数のオブジェクトとのそれぞれの重畳範囲の面積の割合が所定の閾値以上であると当該今回フレームで検知されたオブジェクトを統合オブジェクトと判定することを特徴とする請求項１に記載のオブジェクト追跡装置。
3. 前記分割する手段は、統合オブジェクトから、前回フレームの各オブジェクトと奥行情報の配置が類似する各重畳範囲を追跡対象のオブジェクトとして分割することを特徴とする請求項１または２に記載のオブジェクト追跡装置。
4. 前記奥行情報の配置の類似が、前回フレームの各オブジェクトの奥行情報と今回フレームにおける各重畳範囲の奥行情報とのバタチャリヤ距離に基づいて判定されることを特徴とする請求項３に記載のオブジェクト追跡装置。
5. 前記追跡する手段は、フレーム画像間での各オブジェクトの類似度をパーティクルフィルタに基づいて計算することを特徴とする請求項１ないし４のいずれかに記載のオブジェクト追跡装置。
6. 各ピクセルが奥行情報を有するフレーム画像上で、コンピュータがオブジェクトを追跡するオブジェクト追跡方法において、
   奥行情報に基づいて各フレーム画像上でオブジェクトを検知する手順と、
   今回フレームで検知されたオブジェクトがオクルージョンにより生じた統合オブジェクトであるか否かを判定する手順と、
   統合オブジェクトから前回フレームの各オブジェクトと奥行情報が類似する部分を追跡対象のオブジェクト部分として分割する手順と、
   フレーム画像間で各オブジェクトおよび各オブジェクト部分をその類似度に基づいて追跡する手順とを含むことを特徴とするオブジェクト追跡方法。
7. 前記統合オブジェクトであるか否かを判定する手順では、今回フレームで検知されたオブジェクトと前回フレームで検知された複数のオブジェクトとのそれぞれの重畳範囲の面積の割合が所定の閾値以上であると当該今回フレームで検知されたオブジェクトを統合オブジェクトと判定することを特徴とする請求項６に記載のオブジェクト追跡方法。
8. 前記分割する手順では、統合オブジェクトから、前回フレームの各オブジェクトと奥行情報の配置が類似する各重畳範囲を追跡対象のオブジェクトとして分割することを特徴とする請求項６または７に記載のオブジェクト追跡方法。
9. 各ピクセルが奥行情報を有するフレーム画像上で、コンピュータにオブジェクトを追跡させるオブジェクト追跡プログラムにおいて、
   奥行情報に基づいて各フレーム画像上でオブジェクトを検知する手順と、
   今回フレームで検知されたオブジェクトがオクルージョンにより生じた統合オブジェクトであるか否かを判定する手順と、
   統合オブジェクトから前回フレームの各オブジェクトと奥行情報が類似する部分を追跡対象のオブジェクト部分として分割する手順と、
   フレーム画像間で各オブジェクトおよび各オブジェクト部分をその類似度に基づいて追跡する手順とを、コンピュータに実行させるためのオブジェクト追跡プログラム。
10. 前記統合オブジェクトであるか否かを判定する手順では、今回フレームで検知されたオブジェクトと前回フレームで検知された複数のオブジェクトとのそれぞれの重畳範囲の面積の割合が所定の閾値以上であると当該今回フレームで検知されたオブジェクトを統合オブジェクトと判定することを特徴とする請求項９に記載のオブジェクト追跡プログラム。
11. 前記分割する手順では、統合オブジェクトから、前回フレームの各オブジェクトと奥行情報の配置が類似する各重畳範囲を追跡対象のオブジェクトとして分割することを特徴とする請求項９または１０に記載のオブジェクト追跡プログラム。