JP6377533B2 - オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法 - Google Patents

Description

本発明は、物体を撮影可能なカメラから取得される時系列画像群を解析して当該物体を追跡する物体追跡技術に関する。

監視やマーケティングの目的をもって、カメラで撮影され生成された時系列の画像群を用いて、移動する物体を追跡する技術が開発されている。追跡する物体としては、人物や乗り物等、撮影可能な様々なものが対象となる。この時系列画像群に基づく物体の追跡においては、追跡対象である物体が他の物体の背後に回ることもあり得る。この場合、撮影画像におけるこの物体の領域が他の物体の領域と重畳することで、この物体の一部又は全部が他の物体に隠れてしまい、これが原因となって、この物体の追跡を失敗してしまうという問題が生じることがある。

ここで、追跡対象である物体が他の物体と重なって撮影され、生成された撮影画像において、この物体の領域が他の物体の領域と重畳した状態となることを、オクルージョン（occlusion）と呼ぶ。従来、オクルージョンが発生しても正確に物体を追跡することができるように、様々な技術が考案されてきた。

例えば、特許文献１や非特許文献１には、物体追跡の問題を、時空間画像の領域分割であると捉えて解く手法が開示されている。特に、特許文献１に記載された技術では、時系列の各画像が複数のブロックに分割され、画像中の移動物体を示す識別符号がこの移動物体に対応するブロックに付され、次いで、時系列の各画像から抽出された移動物体の輪郭に基づいて、ブロックの識別符号が補正されることによって追跡が行われる。

また、特許文献２や特許文献３には、移動体を複数の部分に分割して追跡する手法が開示されている。例えば、特許文献２に記載された技術では、複数の移動物体が交差した状態が検知された際、交差した状態の生じる以前の画像を用いて、交差した状態となった移動物体の各々について複数のテンプレートを生成し、これら複数のテンプレートを用いて、交差した状態の移動物体の各々を追跡する。

特開２０１０−２４４２０７号公報 特開２００８−２５０７４６号公報 特開２０１４−１９１３９３号公報

Chen, Sheng、Fern, Alan、及びTodorovic, Sinisa、「Multi-Object Tracking via Constrained Sequential Labeling」、Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、pp.4321-4328、2014

しかしながら、特許文献１〜３や非特許文献１に記載されたような従来技術では、カメラで生成された画像を即座に処理するオンライン処理によって、物体を追跡することが困難であるという問題が生じていた。

例えば、特許文献1や非特許文献1のように時空間画像を領域分割することによって物体追跡を図る技術では、撮りためられた時系列画像群から時間を遡って物体を追跡するため、刻々に生成される時系列画像群をオンラインで処理することが難しい。

また、特許文献２や特許文献３に記載されたような技術では、対象を複数の部分に分割して追跡することによりオクルージョンに対処するのであるが、各部分を的確に検出することは容易ではない。また、最終的に各部分を組み合わせて物体を構成しなければならないが、その際、各部分の対応付けを誤ることが多くなるとの問題も生じてしまう。

いずれにせよ、以上に述べたような従来技術をもってしても、又はそれらを組み合わせたとしても、オンライン処理によって物体を正確に追跡することは非常に困難であった。

そこで、本発明は、オクルージョンが発生した場合でも、対象物体の位置を即座に且つ正確に把握して追跡を行うことができる装置、プログラム及び方法を提供することを目的とする。

本発明によれば、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置であって、
当該物体を含む取得された画像を用いて当該物体についての学習を行う第１の識別器によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する第１の物体追跡手段と、
識別された当該物体の領域にオクルージョン（occlusion）が発生しているか否かを判定するオクルージョン判定手段と、
オクルージョンが発生したと判定された場合、当該物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて当該物体についての学習を行う第２の識別器によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する第２の物体追跡手段と
を有する物体追跡装置が提供される。

この本発明による物体追跡装置において、オクルージョンが発生したと判定された際、当該物体を追跡する手段を、第１の物体追跡手段から第２の物体追跡手段へ切り替える物体追跡制御手段を更に有することも好ましい。

また、本発明による物体追跡装置の一実施形態として、本物体追跡装置は、当該物体を撮影可能な複数のカメラの各々から時系列の画像群を取得可能であり、
物体追跡制御手段は、オクルージョンが発生したと判定された際、物体識別対象の画像において当該物体の領域の上方にある他方の物体の領域が、当該画像を生成したカメラとは別のカメラによって生成された画像を用いて識別されているならば、第１の物体追跡手段及び第２の物体追跡手段に対し、当該画像を生成したカメラから取得される画像による当該他方の物体の追跡を終了させる又は開始させないことも好ましい。

さらに、本発明による物体追跡装置において、第２の物体追跡手段は、オクルージョン外領域の面積又は当該面積の割合が所定上限閾値以上である場合に、及び／又は所定下限閾値未満である場合に、当該物体の追跡を終了する又は開始しないことも好ましい。

また、本発明による物体追跡装置の他の実施形態として、
追跡対象の当該物体に識別子を付与し、当該物体を管理する識別子管理手段と、
所定の特徴量を用いて学習を行った第３の識別器によって、物体識別対象の画像における出現した又は追跡されていない物体を検出可能な物体検出手段と
を更に有し、
識別子管理手段は、当該検出された物体と、過去に又は既に当該識別子を付与された既知物体とを比較し、当該検出された物体に対し、同一物体であると判定された既知物体に付与された識別子を付与することも好ましい。

ここで、上記の識別子管理手段は具体的に、当該画像から算出される両物体間の距離が、当該既知物体の移動速度を考慮した現時点での両物体間の推定距離未満であって、且つ当該検出された物体の領域と当該既知物体の領域とから決定される類似度が所定閾値よりも大きい場合、当該検出された物体に対し、当該既知物体に付与されたものと同一の識別子を付与し、それ以外の場合、当該検出された物体に対し、新たな識別子を付与することも好ましい。

さらに、本発明による物体追跡装置において、オクルージョン判定手段は、識別された当該物体の領域と、同じ物体識別対象の画像において識別された他の物体の領域との間のオーバーラップの度合いに基づいて、当該物体の領域にオクルージョンが発生しているか否かを判定することも好ましい。

本発明によれば、また、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
当該物体を含む取得された画像を用いて当該物体についての学習を行う第１の識別器によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する第１の物体追跡手段と、
識別された当該物体の領域にオクルージョンが発生しているか否かを判定するオクルージョン判定手段と、
オクルージョンが発生したと判定された場合、当該物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて当該物体についての学習を行う第２の識別器によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する第２の物体追跡手段と
してコンピュータを機能させる物体追跡プログラムが提供される。

本発明によれば、さらに、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡する方法であって、
当該物体を含む取得された画像を用いて当該物体についての学習を行う第１の識別器によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する第１のステップと、
識別された当該物体の領域にオクルージョンが発生しているか否かを判定する第２のステップと、
オクルージョンが発生したと判定された場合、当該物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて当該物体についての学習を行う第２の識別器によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する第３のステップと
を有する物体追跡方法が提供される。

本発明の物体追跡装置、プログラム及び方法によれば、オクルージョンが発生した場合でも、対象物体の位置を即座に且つ正確に把握して追跡を行うことができる。

本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。 本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。 本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。 本発明に係る識別器で処理される特徴量の一例を説明するための模式図である。 追跡対象物体の画像領域を予測する方法を説明するための模式図である。 本発明に係る識別器での学習処理の一形態を説明するための模式図である。 オーバーラップ領域を説明するための模式図である。 オクルージョン外領域を説明するための模式図である。 本発明による物体追跡方法における物体追跡手段の制御処理の一実施形態を示すフローチャートである。 対象物体の追跡を終了した後に再度追跡を開始する実施形態を説明するための模式図である。 本発明による物体追跡方法における識別子付与処理の一実施形態を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［物体追跡システム］
図１は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。

図１に示した本実施形態の物体追跡システムは、
（ａ）追跡対象の物体を撮影可能であり、撮影した画像の情報を、通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ２と、
（ｂ）カメラ２から通信ネットワークを介して取得される時系列の画像群を用いて当該物体を追跡可能な物体追跡装置１と
を備えている。ここで、追跡対象となる物体には、人物、動物、乗り物や、その他移動可能な物理対象等、撮影可能であれば様々なものが該当する。

また、画像情報の伝送路である通信ネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ(Local Area Network)とすることができる。または、ＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）等の無線系アクセスネットワークを介し、インターネットを経由してカメラ２と物体追跡装置１とを通信接続させるものであってもよい。

さらに、光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系アクセスネットワークを介しインターネットを経由して、カメラ２と物体追跡装置１とが通信接続されてもよい。また、変更態様として、カメラ２と物体追跡装置１とは直接有線で接続されてもよい。さらに、複数のカメラ２から出力される画像情報を取りまとめて物体追跡装置１に送信可能な（図示していない）カメラ制御装置が設けられていてもよい。

同じく図１に示すように、物体追跡装置１は、
（ｂ１）取得した時系列の画像群を用いて、対象の物体を追跡する物体追跡部１１２と、
（ｂ２）物体追跡部１１２によって追跡されている物体の観測対象空間での位置を推定する物体位置推定部１１６と
を有する。

このうち、物体追跡部１１２は、追跡対象の物体毎に識別器を割り当て、当該識別器を用いて各画像上での当該物体の領域を識別する。この識別器は、画像中のある領域に追跡対象物体が写っているか否かの２値判定を行い、画像中に追跡対象物体が写っていると推定される領域を識別する。

また、物体位置推定部１１６は、画像上で識別された追跡対象物体の領域から、ある時刻における画像上での当該物体の位置ｑ(u, v)を算出する。ここで、(u, v)は、位置ｑの画像座標系における座標である。次いで、この位置ｑ(u, v)を変換して観測対象空間上の位置ｐ(x, y, z)を算出し、追跡対象物体の実空間（観測対象空間）での位置を推定する。ここで、(x, y, z)は、観測対象空間上に張られた世界座標系における位置ｐの座標である。尚、画像座標系の位置ｑから世界座標系の位置ｐへの変換は、予めキャリブレーションにより各カメラ２についての３次元の設置位置及び撮影向きに係る外部パラメータを設定しておくことによって決定することができる。

これらの物体追跡部１１２及び物体位置推定部１１６によって識別され位置を推定された物体の位置ｑ(u, v)が、位置ｑ'(u', v')へ変化した場合、当該物体は、実空間（観測対象空間）において位置ｐ(x, y, z)から位置ｐ'(x', y', z')へ移動したことが推定される。このように移動物体の追跡も可能となるのである。

ここで、本実施形態の物体追跡部１１２は、追跡対象物体の画像領域においてオクルージョンが発生した際にも適切な追跡が実施可能なように構成されている。このオクルージョンとは、追跡対象物体が他の物体と重なって撮影され、生成された撮影画像において、この物体の領域が他の物体の領域と重畳した状態になることである。物体追跡部１１２は、具体的には、
（Ａ）追跡対象の物体を含む取得された画像を用いて当該物体についての学習を行う「第１識別器」によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する一方、
（Ｂ）オクルージョンが発生したと判定された場合、「オクルージョン外領域」を用いて当該物体についての学習を行う「第２識別器」によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する
との機能を発揮する。

ここで、「オクルージョン外領域」とは、追跡対象の物体の領域におけるオクルージョンの及んでいない領域を指す。後述するように、互いに重畳する物体における領域の重畳した部分（オーバーラップ領域）に対して上方となるような追跡対象物体の領域部分を、オクルージョン外領域とすることができる。

このように、物体追跡装置１では、学習について相違する互いに異なる種類の識別器を状況によって使い分けて物体の領域を識別する。特に、追跡対象の物体の領域にオクルージョンが発生した場合、使用する識別器の種別を、「第１識別器」からオクルージョン専用の「第２識別器」に切り替える。この「第２識別器」は、「オクルージョン外領域」を用いて学習を行うので、対象物体全体の領域について学習を行う場合と比較して、追跡困難となるオクルージョン発生下でもより的確に、対象物体の有無やその位置を判断し決定することができる。

即ち、追跡困難度に応じて識別器を使い分けることによって、オクルージョンが発生した場合でも、対象物体の位置を正確に把握して、物体固有の識別子IDを付与しつつ追跡を行うことが可能となるのである。

さらに、「第１識別器」と「第２識別器」とは、それぞれに適する内容をもって互いに異なる学習を行う。即ち、学習に用いるべき画像対象が異なる各状況に応じて、学習させる識別器の種別を適宜選んで使用している。これにより、追跡対象である物体毎に設定された各識別器に、誤った又は不適切な画像データで学習させてしまう事態を回避し、当該識別器における高い判定精度を維持することが可能となる。その結果、追跡対象物体をより的確に識別することができるのである。

また、物体追跡装置１では、「第１識別器」及び「第２識別器」のいずれに対しても、カメラ２から取得した時系列の各画像を用いて即座に、即ちオンラインで学習させることができる。その結果、追跡対象物体の位置を即座に把握して追跡を行うことが可能となるのである。また、対象物体の見え方が刻々と変化しても、同一の物体であると認識することができるので、当該物体に固有の識別子IDを付与し続けながら、適切な追跡を続行することが容易になる。

［装置機能概要］
図２は、本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。

図２によれば、本実施形態の物体追跡装置１は、カメラ２から解析対象の画像を取得した際、当初、追跡対象の物体に対応した第１識別器に対し、当該画像を用いてオンラインで学習させつつ、２値判定を行わせて、当該物体を追跡する。ここで、追跡対象物体の数だけの第１識別器が使用される。この際、各物体には当該物体固有の識別子IDが継続して付与される。

また、物体追跡装置１は、上記の追跡処理と並行して、検出処理を行う。具体的には、新規の又は追跡されていない可能性のある物体が、取得された画像上に写っていないか否かを学習済みの第３識別器を用いて判定し、このような物体の領域が当該画像上に出現した際に当該物体を検出したとする。

物体が検出された際、物体追跡装置１は、新規に追跡を開始する前に、検出された物体と過去に追跡していた物体との類似度を算出し、この類似度が所定以上に高い場合に、一旦追跡が終了した物体が撮影可能な空間内に復帰したとみなす。この場合、次いで、類似度の高い過去の物体と同一の識別子IDを検出物体に付与して、即ち識別子IDを統合して追跡を再開する。一方、算出した類似度が所定よりも低い場合、新規の物体が撮影可能な空間内に出現したとみなし、新規の識別子IDを検出物体に付与する。

さらに、物体追跡装置１は、オクルージョンの発生（又は終了）を監視する。ここで、オクルージョンが発生していない場合（又は終了した場合）、第１識別器による追跡処理を続行する（又は開始する）。一方、オクルージョンが発生した場合（又は生じている場合）、第１識別器に代えて、オクルージョン専用の第２識別器による追跡処理を開始する（又は続行する）。この場合、追跡に用いられる識別器は切り替えられるが、追跡対象物体に付与された識別子IDは継続してそのまま使用される。次いで、再び時系列で新たな画像を取得して、図２に示したような処理のサイクルを繰り返す。

尚、上記のサイクルにおいて、オクルージョンが発生した場合でも、複数のカメラ２が設置された状況で別のカメラ２から取得された画像ではオクルージョンが発生していなければ、この画像を用いて第１識別器による追跡を行うことも好ましい。また、上記のサイクルには示されていないが、上述した「オクルージョン外領域」が所定閾値よりも小さい場合、第２識別器によるその後の追跡は困難となることが予測されるので、一旦追跡を終了することも好ましい。この場合、上記の検出処理において再度検出された際に、同一の識別子IDをもって追跡を再開することも可能となる。また、撮影可能な空間外に追跡対象物体が移動した場合も一旦追跡を終了するが、同じく上記の検出処理において再度検出された際に、同一の識別子IDをもって追跡を再開することになる。

以上に説明したように、物体追跡装置１は、１つ以上のカメラ２からの時系列画像群を用いて追跡と同時に検出処理も行っているので、物体又は物体間における様々の状況に合わせて、的確な且つ統合的な追跡を実施することができる。

［装置構成、物体追跡方法］
図３は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。

図３によれば、物体追跡装置１は、１つ又は複数のカメラ２と通信接続可能な通信インタフェース１０１と、画像蓄積部１０２と、ＩＤ蓄積部１０３と、追跡物体管理部１０４と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、物体追跡装置１のコンピュータを機能させるプログラムを実行することによって、物体追跡機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、物体検出部１１１と、物体追跡部１１２と、オクルージョン判定部１１３と、物体追跡制御部１１４と、ＩＤ（識別子）管理部１１５と、物体位置推定部１１６と、通信制御部１２１とを有する。また、物体追跡部１１２は、第１物体追跡部１１２ａと、第２物体追跡部１１２ｂとを有することも好ましい。さらに、オクルージョン判定部１１３は、オーバーラップ領域算出部１１３ａと、オクルージョン外領域算出部１１３ｂとを有することも好ましい。また、ＩＤ管理部１１５は、物体統合部１１５ａと、物体登録部１１５ｂとを有することも好ましい。ここで、図３における物体追跡装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による物体追跡方法の一実施形態としても理解される。

図３において、１つ又は複数のカメラ２は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。また、カメラ２又は（図示していない）カメラ制御装置は、カメラ２で撮影された物体の画像を含む撮影画像データを生成し、当該データを時系列に又はバッチで物体追跡装置１に送信する機能を有する。また、カメラ２は、可動であって設置位置、撮影向きや高さを変更することができ、この変更のための制御信号を受信し処理する機能を有していることも好ましい。

通信インタフェース１０１は、カメラ２又はカメラ制御装置から時系列の画像群である撮影画像データを、通信ネットワークを介して受信する。通信インタフェース１０１を使用した送受信及び通信データ処理の制御は、通信制御部１２１によって行われ、取得された撮影画像データは、画像蓄積部１０２に蓄積される。ここで、この撮影画像データは、カメラ２又はカメラ制御装置から時系列順に呼び出されて取得されたものであってもよく、リアルタイムに一定時間間隔でキャプチャされた画像を順に取得したものであってもよい。

物体追跡部１１２は、
（ａ）追跡対象の物体を含む刻々の新たな画像を用いて当該物体についての学習を行う第１識別器によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する第１物体追跡部１１２ａと、
（ｂ）オクルージョンが発生したと判定された場合、当該物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて当該物体についての学習を行う第２識別器によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する第２物体追跡部１１２ｂと
を有する。上記の第１識別器及び第２識別器は、画像上の領域を特徴量化し、この特徴量（ベクトル）を用いて学習を行う。また、上記のオクルージョン外領域は、後述するように、オクルージョン判定部１１３のオクルージョン外領域算出部１１３ｂで算出されることができる。

図４は、本発明に係る識別器で処理される特徴量の一例を説明するための模式図である。

図４によれば、追跡対象としての人物の画像領域に対し、当該領域内のピクセルについての輝度ヒストグラムが生成されている。この画像領域の形状は、矩形や台形等の四角形とすることができるが、対象物体に合わせて種々のものが採用可能である。また、輝度ヒストグラムは、輝度値０〜２５５の範囲を複数の区間に分け、各区間に属する輝度値を有するピクセルの数（度数）を柱状グラフで示したものである。図４には、輝度範囲を６つの区間に分けた場合の例を示している。

ここで、特徴量は、各輝度区間の度数（ピクセル数）を成分としたベクトルで表される。図４の例では、６次元の特徴量ベクトルが生成される。尚、当然に、特徴量の内容及び次元は、この例に限定されるものではない。追跡対象の物体の画像上での特徴を表す量ならば、種々のものが特徴量の成分として採用可能である。

図５は、追跡対象物体の画像領域を予測する方法を説明するための模式図である。

図５には、単位時間１つ分前の時刻ｔ＝Ｔ−１での追跡対象物体の画像領域に基づき、時刻ｔ＝０，・・・，Ｔ−１まで学習された識別器を用いて、時刻ｔ＝Ｔでの当該物体の画像領域を推定する手法が示されている。具体的には、最初に、スライディングウィンドウ方式により、時刻ｔ＝Ｔ−１での追跡対象物体の画像領域の位置周辺に、複数の候補領域を設定する。次いで、これらの切り出された候補領域のうちで類似度の最も大きいベスト領域を抽出し、このベスト領域を時刻ｔ＝Ｔでの当該物体の画像領域に決定する。ここで、類似度は、後に式（１）を用いて説明するように、識別器が算出した識別境界面からの符号付距離とすることができる。

図６は、本発明に係る識別器での学習処理の一形態を説明するための模式図である。

図６によれば、識別器は、取得される時系列の各画像を用いて刻々に学習を行う。この識別器には、第１識別器及び第２識別器のいずれもが該当する。識別器には、教師あり機械学習であれば種々のものが採用可能であるが、サポートベクタマシン（ＳＶＭ）であることも好ましい。具体的に学習の内容としては、追跡対象物体の領域に対応付けられる特徴量に正のラベルを付与し、それ以外の領域に対応付けられる特徴量に負のラベルを付与して、これらの特徴量を特徴空間内に配置する。次いで、特徴空間内においてラベルの正負を区分けする識別境界面を算出する。このように学習として取得した識別境界面を基準として、以後、判定を実施することができる。

ここで、ある特徴量を有する画像領域の類似度Ｒは、次式
（１） Ｒ＝SIN×ｄ
で算出される。上式において、SINは、特徴空間において当該特徴量が負のラベル側に存在していれば−１、正のラベル側に存在していれば１となる。また、ｄは、特徴空間内における当該特徴量と識別境界面との距離である。尚、識別器を用いた追跡に係る手法の詳細は、例えば、非特許文献である、S. Hare、A. Saffari及びP. H. S. Torr、「Struck: Structured Output Tracking with Kernels」、publications of International Conference on Computer Vision (ICCV), 2011に記載されている。

図３に戻って、オクルージョン判定部１１３は、例えば所定時間間隔で、現在登録されており識別子IDの付与された物体の領域にオクルージョンが発生しているか否かを判定する。具体的には、取得した物体識別対象の画像において識別された物体の領域と、（同一カメラ２から取得された）同じ画像において識別された他の物体の領域との間のオーバーラップの度合いであるオーバーラップ率に基づいて、当該物体の領域にオクルージョンが発生しているか否かを判定することも好ましい。この場合、オーバーラップ率は、オーバーラップ領域算出部１１３においてオーバーラップ領域の面積（例えばピクセル数）Ｓ_OVに基づいて算出される。

図７は、オーバーラップ領域を説明するための模式図である。

図７によれば、１つの物体識別対象の画像に、物体１の画像領域Ａと物体２の画像領域Ｂとが存在し、両画像領域が重畳している。この重畳した画像部分がオーバーラップ領域となる。オーバーラップ領域算出部１１３（図３）は、このオーバーラップ領域の面積Ｓ_OVから物体１及び２のオーバーラップ率OV₁及びOV₂を算出する。具体的には、次式
（２） OV₁＝Ｓ_OV／Ｓ_A，OV₂＝Ｓ_OV／Ｓ_B
を用いて算出する。ここで、Ｓ_A及びＳ_Bはそれぞれ、画像領域Ａ及びＢの面積（例えばピクセル数）である。

オクルージョン判定部１１３（図３）は、算出されたオーバーラップ率OV₁及びOV₂のうちより高い方の値が、所定閾値よりも大きければオクルージョンが発生していると判定し、それ以外の場合、オクルージョンは発生していないと判定することができる。また、変更態様として、より上方にある領域（図７では領域Ｂ）に係るオーバーラップ率（OV₂）が所定閾値よりも大きければオクルージョンが発生していると判定することも好ましい。

図３に戻って、物体追跡制御部１１４は、物体追跡部１１２における物体追跡態様を制御する。例えば、オクルージョンが発生したと判定された際、物体追跡部１１２に対し、物体を追跡する手段を第１物体追跡部１１２ａから第２物体追跡ｂ１１２ｂへ切り替えさせる。ここで、物体追跡制御部１１４は、このように追跡対象物体の領域同士が重畳することでオクルージョンが発生した際、画像上においてより上方に位置する物体の領域のうちでオクルージョンの及んでいないオクルージョン外領域を用いた追跡手段に切り替えることも好ましい。

尚、一般に、画像領域の重畳した物体のうち、より上方に位置する物体は、この画像を出力したカメラ２の位置から見てより奥に存在し、他方の物体によってその一部が隠れることになる。即ち、上方に位置する物体がオクルージョンの影響を強く受ける。従って、この上方の物体のオクルージョン外領域に着目することが重要となるのである。

また、物体追跡制御部１１４は、物体を撮影可能な複数のカメラ２の各々から時系列画像群を取得可能な実施形態において、オクルージョンの発生した画像を出力したカメラ２から取得された画像群を用いた物体追跡から、オクルージョンの発生していない画像を出力したカメラ２から取得された画像群を用いた物体追跡へ切り替えることも好ましい。具体的には、オクルージョンが発生したと判定された際、物体識別対象の画像において一方の物体の領域の上方にある他方の物体の領域が、当該画像を生成したカメラ２とは別のカメラ２によって生成された画像を用いて識別されているならば、物体追跡部１１２（第１物体追跡部１１２ａ及び第２物体追跡部１１２ｂ）に対し、オクルージョンの発生した当該画像を生成したカメラ２から取得される画像による他方の物体の追跡を終了させる又は開始させないことも好ましい。

さらに、物体追跡制御部１１４は、第２物体追跡部１１２ｂに対し、物体１及び２のオーバーラップ率OV₁及びOV₂のいずれもが所定閾値以下である場合、オクルージョンが消滅したとして追跡対象の物体の追跡を終了させることも好ましい。

また、変更態様として、物体追跡制御部１１４は、第２物体追跡部１１２ｂに対し、オクルージョン外領域の面積Ｓ_EC又は面積Ｓ_ECの割合が所定の上限閾値以上である場合、オクルージョンが消滅したとして追跡対象の物体の追跡を終了させることも好ましい。ここで、オクルージョン外領域の面積Ｓ_ECは、オクルージョン判定部１１３のオクルージョン外領域算出部１１３ｂで算出することができる。

さらに、物体追跡制御部１１４は、第２物体追跡部１１２ｂに対し、オクルージョン外領域の面積Ｓ_EC又は面積Ｓ_ECの割合が所定の下限閾値未満である場合、追跡対象の物体の追跡を終了させることも好ましい。

図８は、オクルージョン外領域を説明するための模式図である。

図８によれば、物体１の画像領域Ａ及び物体２の画像領域Ｂは互いに重畳しており、画像領域Ｂは、画像領域Ａよりもより上方に位置している。言い換えると、画像領域Ｂは、画面座標系の縦軸（ｖ軸）方向のある直線上において、画像領域Ａ内の最上点よりも上方に位置する領域部分を有する。このような状況下で、オクルージョン外領域は、画像領域Ｂのうち領域Ａと重畳していない（オーバーラップ領域以外の）領域部分の全部又は一部を反映する領域として定義することができる。例えば、図８に示したように、画像領域Ｂのうち、全オーバーラップ領域に対し上方となるような領域部分を、オクルージョン外領域とすることも好ましい。

ここで、同じく図８に示すように、物体２のオクルージョン外領域の面積Ｓ_ECが所定の下限面積閾値未満へ、又は領域Ｂの面積に対する面積Ｓ_ECの割合Ｓ_EC／Ｓ_Bが所定の下限割合閾値未満へ変化した場合、物体２の第２物体追跡部１１２ｂによる追跡は終了する。

図９は、本発明による物体追跡方法における物体追跡手段の制御処理の一実施形態を示すフローチャートである。この物体追跡制御処理は、主にオクルージョン判定部１１３及び物体追跡制御部１１４で実行される。また、図９に示した実施形態では、当初、第１識別器が物体１及び物体２の追跡を行っているが、物体１の領域Ａと物体２の領域Ｂとが重畳し、図８に示したようなオクルージョンが発生したものとする。

（Ｓ１０１）画像上でより上方に位置する領域Ｂに係る物体２が、当該画像を出力したものとは別のカメラ２によっても追跡されているかどうか、即ち他のカメラ２から取得された画像にも映っているか否かを調査し判定する。

（Ｓ１１１）ステップＳ１０１で真の判定、即ち別のカメラ２でも追跡中である場合、この別のカメラ２による異なった視点から物体２の位置が正確に算出される可能性があるため、現在のカメラ２から取得される画像による物体２の追跡を終了させる。
ここで、この別のカメラ２から取得される画像による物体２の追跡に切り替えることも好ましい。尚、この別のカメラ２でも物体２の領域についてオクルージョンが発生している場合、さらに他のカメラ２によって追跡されているか否かを判定し、最終的に、オクルージョンの発生していない又はオクルージョンの発生の度合いが最も小さい画像を出力したカメラ２の画像による物体２の追跡に切り替えることも好ましい。

また、ステップＳ１０１は、追跡対象物体を撮影可能なカメラ２が複数設置されている実施形態でのみ採用されるステップである。従って、カメラ２が１つだけ設置されている場合、ステップＳ１０１は省略し、次のステップＳ１０２から処理を開始することができる。

（Ｓ１０２）ステップＳ１０１で偽の判定、即ち別のカメラ２では追跡していない場合、又はカメラ２が１つだけ設置されている場合、物体２の領域におけるオクルージョン外領域の面積Ｓ_ECを算出する。
（Ｓ１０３）オクルージョン外領域の面積Ｓ_ECが所定下限閾値θよりも小さいか否かを判定する。ここで、真（Ｓ_EC＜θ）の判定を行った場合、この後の的確な追跡は困難であると判断して、ステップＳ１１１に移行し、現在のカメラ２から取得される画像による物体２の追跡を一旦終了させる。

（Ｓ１０４）一方、ステップＳ１０３で偽（Ｓ_EC≧θ）の判定を行った場合、物体２の追跡処理を行う識別器を、オクルージョン発生時専用の第２識別器に切り替えて、物体２の追跡を引き続き行う。この場合、物体追跡部１１２（図３）は、オクルージョン外領域を新規に追跡対象として登録するとともに物体２を引き続き同一の識別子IDをもって追跡する旨を、ＩＤ管理部１１５（図３）に通知することも好ましい。

以上に述べたフローにより、オクルージョン発生直後の物体追跡制御処理は終了するが、オクルージョンが引き続き発生している場合又は新たに発生した場合、再度ステップＳ１０１に移行し、刻々と取得される時系列画像を用いた追跡制御処理が続行することになる。

図３に戻って、物体検出部１１１は、所定の特徴量を用いて学習を行った第３の識別器によって、物体識別対象の画像における出現した又は追跡されていない物体を検出可能な機能部である。ここで、人物を追跡対象とする場合、学習には人物検出に適した特徴量を用いる。物体検出のための特徴量としては、例えばＨＯＧ特徴量を使用することも好ましい。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。ＨＯＧ特徴量を用いた人物検出技術については、例えば、非特許文献であるDalal. N及びTriggs. B、「Histograms of Oriented Gradients for Human Detection」、proceedings of IEEE Computer Vision and Pattern Recognition (CVPR)、pp. 886-893、2005に記載されている。

また、物体検出部１１１は、画像蓄積部１０２から入力した画像から物体を検出した際、新規登録の可能性がある検出した物体の情報を、ＩＤ管理部１１５へ通知する。

図１０は、対象物体の追跡を終了した後、検出機能によって追跡を再開する実施形態を説明するための模式図である。

図１０（Ａ）において破線枠で示された追跡終了物体は、図９のステップＳ１０３においてオクルージョン外領域の面積Ｓ_ECが閾値θよりも小さいので（Ｓ_EC＜θ）、第２識別器による追跡が終了している。ここで、本実施形態では図２に示すように追跡処理と並行して検出処理が行われているので、この追跡終了物体も、オクルージョンが消滅した後には再び検出されることになる。この際、後に説明するように、ＩＤ管理部１１５の物体統合部１１５ａ（図３）によって先に使用された識別子IDが再度付与されて、この追跡終了物体の第１識別器による追跡が再開される。

このように、本実施形態では、当初第１識別器によって追跡されていいた物体についても、オクルージョンの発生した後は、追跡手段が第２識別器に切り替えられたり、追跡自体が終了したり、さらには再び第１識別器によって追跡が再開されたりする。これにより、第１識別器が、オクルージョンの存在によって不適切な学習をしてしまう事態を回避し、オクルージョンが発生しても第１識別器による物体の識別精度を維持することができる。また、オクルージョンの発生中のみ、専用の第２識別器を用いて追跡を継続するので、オクルージョンが発生しても統合された一貫性のある追跡を実現することができる。さらに、オクルージョンの過度の進行等によって追跡が失敗した場合でも、並行して常時稼働している検出機能によって、一貫性のある追跡に復帰することが可能となる。

次に、図１０（Ｂ）に、検出機能によって追跡が再開される他の例を示す。図１０（Ａ）において破線枠で示された追跡終了物体は、当該物体の画像領域における所定以上の部分が画像範囲外に出てしまったので、第１識別器による追跡が終了している。ここで、この場合でも図２に示すように追跡処理と並行して検出処理が行われているので、この追跡終了物体も、所定以上の領域部分が画像内に再び現れた場合、再度検出されることになる。この際、後に説明するように、ＩＤ管理部１１５の物体統合部１１５ａ（図３）によって先に使用された識別子IDが再度付与されて、この追跡終了物体の第１識別器による追跡が再開される。

以上説明したように、図１０（Ａ）及び（Ｂ）に示した状況では、無理に物体の追跡を続行するのではなく、一旦意図的に当該物体をロストさせ、再度検出した際、即ち追跡が容易になった段階で追跡を再開する。これにより、追跡に使用する識別器が不適切な学習をすることを阻止し、当該識別器による判定精度を維持することができる。尚、追跡を終了してから再開するまでの物体の軌跡は、例えば線形補間によって推定することも好ましい。

図３に戻って、ＩＤ管理部１１５は、物体統合部１１５ａと、物体登録部１１５ｂとを有する。このうち物体統合部１１５ａは、物体検出部１１１から通知のあった検出された物体と、過去に識別子IDを付与された既知物体とを比較し、検出された物体に対し、同一物体であると判定された既知物体に付与された識別子IDを付与する旨を決定する。物体統合部１１５ａは、具体的に、
（ａ）（例えば複数のカメラ２から取得された）物体識別対象の画像から算出される両物体間の距離ｄが、既知物体の移動速度ｖを考慮した現時点での両物体間の推定距離未満であって、且つ検出された物体の領域と既知物体の領域とから決定される類似度Ｒ_dが所定閾値αよりも大きい場合、検出された物体に対し、既知物体に付与されたものと同一の識別子を付与することを決定し、
（ｂ）それ以外の場合、検出された物体に対し、新たな識別子IDを付与することを決定する。

一方、物体登録部１１５ｂは、この検出された物体に識別子IDを付与し、当該物体を登録し管理する。検出された物体の画像領域に係る情報と、付与された識別子IDとが対応付けられてＩＤ蓄積部１０３に蓄積されることも好ましい。また、物体追跡部１１２からの問い合わせへの応答として又は必要時に適宜、追跡対象物体に付与された識別子IDの情報を物体追跡部１１２に通知することも好ましい。

図１１は、本発明による物体追跡方法における識別子付与処理の一実施形態を示すフローチャートである。この識別子付与処理は、主に物体検出部１１１からの通知を受けてＩＤ管理部１１５で実行される。また、図１１に示した実施形態では、検出された検出物体と既に識別された追跡中の既知物体とが、物体識別対象の画像に写っているものとする。

（Ｓ２０１）検出物体と既知物体との観測対象空間（実空間）での距離ｄを算出し、既知物体の現時点までにおける平均移動速度ｖを算出して、次式で示される条件
（３） ｄ＜ｖ×Δｔ
が満たされるか否かを判定する。ここで、Δｔは、判定時点での時刻と最後に既知物体を識別した時刻との差である。

（Ｓ２１１）ステップＳ２０１で偽（ｄ≧ｖ×Δｔ）の判定を行った場合、検出物体と既知物体とは異なる物体であるとして、検出物体に新規の識別子IDを付与し、本検出物体に対する識別子付与処理を終了する。
（Ｓ２０２）一方、ステップＳ２０１で真（ｄ＜ｖ×Δｔ）の判定を行った場合、既知物体の識別器が出力する検出物体についての信頼度を両者間の類似度Ｒ_dに決定する。

（Ｓ２０３）決定された類似度Ｒ_dが所定閾値αを超えているか否かを判定する。ここで偽（Ｒ_d≦α）の判定を行った場合、ステップＳ２１１に移行し、検出物体と既知物体とは異なる物体であるとして、検出物体に新規の識別子IDを付与する。
（Ｓ２０４）一方、ステップＳ２０３で真（Ｒ_d＞α）の判定を行った場合、検出物体と既知物体とは同一の物体であるとして、既知物体に付与したものと同一の識別子IDを検出物体に付与する。ここで、さらに、既知物体が、検出物体を発見した画像を出力したカメラ２によって現時点で追跡されているか否かを判定し、現在追跡中であれば、今回の検出物体は無視し、追跡していなければ、検出物体に同一識別子IDを付与して追跡を再開することも好ましい。以上により、本検出物体に対する識別子付与処理を終了する。

図３に戻って、物体位置推定部１１６は、物体追跡部１１２で決定された、最新の時刻又は所定の時間範囲内の各時刻における追跡対象物体の領域に基づいて、追跡対象物体の当該時刻での観測対象空間（実空間）における位置ｐ(x, y, z)を算出する。ここで、識別子IDと推定された位置ｐとを対応付けた物体追跡結果が、追跡物体管理部１０４に蓄積されることも好ましい。この物体追跡結果は、例えば外部の情報処理装置からの要求に応じ、通信制御部１２１及び通信インタフェース１０１を介して、当該外部の情報処理装置宛てに送信されることも好ましい。

以上詳細に説明したように、本発明によれば、追跡の困難となるオクルージョンが発生した場合、使用する識別器の種別をオクルージョン専用の第２識別器に切り替え、オンラインでの学習を実施しながら追跡処理を続行する。これにより、オクルージョンが発生した場合でも、対象物体の位置を即座に且つ正確に把握して追跡を行うことができる。

さらに、オクルージョンが発生した場合、第１識別器が誤った又は不適切な画像データで学習してしまう事態を回避することがききるので、第１識別器における高い判定精度を維持することが可能となる。その結果、追跡対象物体をより的確に識別することができる。

また、本発明の構成及び方法は、例えば、多数の人物や物体が移動する場を監視する監視システムや、商店街や商業施設内での人の移動経路を調査するためのマーケティング調査システム等、互いに行き交う移動物体の追跡が必要となる様々な系に適用可能である。

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 物体追跡装置
１０１ 通信インタフェース
１０２ 画像蓄積部
１０３ ＩＤ蓄積部
１０４ 追跡物体管理部
１１１ 物体検出部
１１２ 物体追跡部
１１２ａ 第１物体追跡部
１１２ｂ 第２物体追跡部
１１３ オクルージョン判定部
１１３ａ オーバーラップ領域算出部
１１３ｂ オクルージョン外領域算出部
１１４ 物体追跡制御部
１１５ ＩＤ管理部
１１５ａ 物体統合部
１１５ｂ 物体登録部
１１６ 物体位置推定部
１２１ 通信制御部
２ カメラ

Claims (9)

1. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置であって、
   当該物体を含む取得された画像を用いて当該物体についての学習を行う第１の識別器によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する第１の物体追跡手段と、
   識別された当該物体の領域にオクルージョン（occlusion）が発生しているか否かを判定するオクルージョン判定手段と、
   オクルージョンが発生したと判定された場合、当該物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて当該物体についての学習を行う第２の識別器によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する第２の物体追跡手段と
   を有することを特徴とする物体追跡装置。
2. オクルージョンが発生したと判定された際、当該物体を追跡する手段を、前記第１の物体追跡手段から前記第２の物体追跡手段へ切り替える物体追跡制御手段を更に有することを特徴とする請求項１に記載の物体追跡装置。
3. 前記物体追跡装置は、当該物体を撮影可能な複数のカメラの各々から時系列の画像群を取得可能であり、
   前記物体追跡制御手段は、オクルージョンが発生したと判定された際、物体識別対象の画像において当該物体の領域の上方にある他方の物体の領域が、当該画像を生成したカメラとは別のカメラによって生成された画像を用いて識別されているならば、前記第１の物体追跡手段及び前記第２の物体追跡手段に対し、当該画像を生成したカメラから取得される画像による当該他方の物体の追跡を終了させる又は開始させないことを特徴とする請求項２に記載の物体追跡装置。
4. 前記第２の物体追跡手段は、オクルージョン外領域の面積又は当該面積の割合が所定上限閾値以上である場合に、及び／又は所定下限閾値未満である場合に、当該物体の追跡を終了する又は開始しないことを特徴とする請求項１から３のいずれか１項に記載の物体追跡装置。
5. 追跡対象の当該物体に識別子を付与し、当該物体を管理する識別子管理手段と、
   所定の特徴量を用いて学習を行った第３の識別器によって、物体識別対象の画像における出現した又は追跡されていない物体を検出可能な物体検出手段と
   を更に有し、
   前記識別子管理手段は、当該検出された物体と、過去に又は既に当該識別子を付与された既知物体とを比較し、当該検出された物体に対し、同一物体であると判定された既知物体に付与された識別子を付与する
   ことを特徴する請求項１から４のいずれか１項に記載の物体追跡装置。
6. 前記識別子管理手段は、当該画像から算出される両物体間の距離が、当該既知物体の移動速度を考慮した現時点での両物体間の推定距離未満であって、且つ当該検出された物体の領域と当該既知物体の領域とから決定される類似度が所定閾値よりも大きい場合、当該検出された物体に対し、当該既知物体に付与されたものと同一の識別子を付与し、それ以外の場合、当該検出された物体に対し、新たな識別子を付与する
   ことを特徴する請求項５に記載の物体追跡装置。
7. 前記オクルージョン判定手段は、識別された当該物体の領域と、同じ物体識別対象の画像において識別された他の物体の領域との間のオーバーラップの度合いに基づいて、当該物体の領域にオクルージョンが発生しているか否かを判定することを特徴とする請求項１から６のいずれか１項に記載の物体追跡装置。
8. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
   当該物体を含む取得された画像を用いて当該物体についての学習を行う第１の識別器によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する第１の物体追跡手段と、
   識別された当該物体の領域にオクルージョンが発生しているか否かを判定するオクルージョン判定手段と、
   オクルージョンが発生したと判定された場合、当該物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて当該物体についての学習を行う第２の識別器によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する第２の物体追跡手段と
   してコンピュータを機能させることを特徴とする物体追跡プログラム。
9. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡する方法であって、
   当該物体を含む取得された画像を用いて当該物体についての学習を行う第１の識別器によって、物体識別対象の各画像における当該物体の領域を識別して当該物体を追跡する第１のステップと、
   識別された当該物体の領域にオクルージョンが発生しているか否かを判定する第２のステップと、
   オクルージョンが発生したと判定された場合、当該物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて当該物体についての学習を行う第２の識別器によって、物体識別対象の各画像における当該物体に係る部分を識別して当該物体を追跡する第３のステップと
   を有することを特徴とする物体追跡方法。

Images