JP6893249B2 - ターゲット追跡方法、装置、電子機器及び記憶媒体 - Google Patents

Description

本願は、２０１７年０７月１４日に中国国家知識産権局に提出された、出願番号が２０１７１０５７３０２５．４で、発明の名称が「ターゲット追跡方法、装置及び電子機器」である中国特許出願の優先権を主張し、その内容を全て参照により本願に組み込むものとする。

本願は、コンピュータの技術分野に関し、特にターゲット追跡方法、装置、電子機器及び記憶媒体に関する。

撮像機器が豊富になるにつれて、室内外にかかわらず、カメラなどの撮像機器を多く配置して、撮像機器によって収集された画像データにより、その中の追跡ターゲットに対してターゲット検出（ｔｒａｃｋｉｎｇ ｂｙ ｄｅｔｅｃｔｉｏｎ）をいつでも行うことにより、ターゲット追跡を実現することができる。

しかしながら、ターゲット追跡過程において、追跡ターゲット（例えば、人物）に姿勢変化が生じて、ターゲット検出により２つの異なる追跡ターゲットを取得することを引き起こす可能性があり、また、画像データの非連続的な収集のため、追跡ターゲットが消えるか又はもう一度現れて、ターゲット検出により２つの異なる追跡ターゲットを取得することを引き起こす可能性が依然としてある。

以上から分かるように、従来のターゲット追跡には、依然として、正確性が高くないという欠点が存在している。

上記技術的課題を解決するために、本願は、ターゲット追跡方法、装置、電子機器及び記憶媒体を提供する。

本願は、以下の技術手段を採用する。

ターゲット追跡方法は、画像データを取得し、前記画像データに対してターゲット検出を行って、追跡ターゲットに一対一で対応する少なくとも１つのターゲットインスタンスを取得することと、少なくとも１つの前記ターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成することと、前記トラックセグメント中のターゲットインスタンスにより、前記トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得することと、前記トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得することと、前記トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成することと、を含む。

ターゲット追跡装置は、画像データを取得し、前記画像データに対してターゲット検出を行って、追跡ターゲットに一対一で対応する少なくとも１つのターゲットインスタンスを取得するためのターゲットインスタンス取得モジュールと、少なくとも１つの前記ターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成するためのトラックセグメント取得モジュールと、前記トラックセグメント中のターゲットインスタンスにより、前記トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得するための特徴情報取得モジュールと、前記トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得するためのカテゴリ分布取得モジュールと、前記トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成するための追跡結果取得モジュールと、を含む。

電子機器は、１つ又は複数のプロセッサと、前記プロセッサによって実行されると、上述のようなターゲット追跡方法を実現するコンピュータ読み取り可能な命令が記憶されている１つ又は複数のメモリと、を含む。

コンピュータ読み取り可能な記憶媒体には、プロセッサによって実行されると、上述のようなターゲット追跡方法を実現するコンピュータプログラムが記憶されている。

従来の技術に比べると、本願は、以下の有益な効果を有する。

取得された画像データに対してターゲット検出を行うことにより、追跡ターゲットを含む少なくとも１つのターゲットインスタンスを取得し、少なくとも１つのターゲットインスタンスに対して同じ追跡ターゲットの検索を行って、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成することにより、トラックセグメント中のターゲットインスタンスによりトラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得し、かつトラックセグメント特徴情報に応じて、トラックセグメントに対してクラスタ化を行うことで、クラスタ化で取得されたトラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成し、これにより、同じ追跡ターゲットを含む全てのターゲットインスタンスを連結してトラックセグメントを形成することと、トラックセグメント特徴情報に応じて、トラックセグメントに対してクラスタ化を行うこととにより、ターゲット追跡結果中の連結された全てのトラックセグメントも同じ追跡ターゲットを含み、これによって、正確なターゲット追跡を実現し、ひいては、従来の技術に存在している、ターゲット追跡の正確性が高くないという問題が解決される。

理解すべきことは、以上の一般的な説明及び後述の詳細な説明は、単に例示的および説明的なものであり、本願を限定するものではないことである。

ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本願に適合する実施例を示すと共に、明細書ととともに本願の原理を解釈するためのものである。
本願に係る実施環境の概略図である。 例示的な一実施例に係るサーバのハードウエア構成ブロック図である。 例示的な一実施例に係るターゲット追跡方法のフローチャートである。 図３の対応実施例におけるステップ３５０の一実施例のフローチャートである。 本願に係る、追跡ターゲットが人物である場合のターゲットインスタンスの概略図である。 図４の対応実施例におけるステップ３５１の一実施例のフローチャートである。 図４の対応実施例におけるステップ３５３の一実施例のフローチャートである。 図３の対応実施例におけるステップ３７０の一実施例のフローチャートである。 図８の対応実施例におけるステップ３７１の一実施例のフローチャートである。 例示的な一実施例によるターゲット追跡装置のブロック図である。 図１０の対応実施例における特徴情報取得モジュール７５０の一実施例のブロック図である。 図１１の対応実施例におけるターゲット特徴構築ユニット７５１の実施例のブロック図である。 図１１の対応実施例におけるトラックセグメント特徴構築ユニット７５３の実施例のブロック図である。 図１０の対応実施例におけるカテゴリ分布取得モジュール７７０の実施例のブロック図である。 図１０の対応実施例におけるカテゴリ分布取得モジュール７７０の別の実施例のブロック図である。 図１５の対応実施例における第１の尤度算出ユニット７７１の実施例のブロック図である。 図１０の対応実施例におけるカテゴリ分布取得モジュール７７０の別の実施例のブロック図である。

ここで、図面に示された例示的な実施例を詳細に説明する。以下の説明において、図面を言及するとき、特に説明しない限り、異なる図面における同じ番号は、同じ又は類似要素を示す。以下の例示的な実施例に記載の実施形態は、添付された特許請求の範囲に詳細に記載される、本願の一部の局面に一致する装置及び方法の例である。

図１は、ターゲット追跡方法に係る実施環境の概略図である。該実施環境は、サーバ１００と、各箇所に配置されたいくつかの撮像機器２００とを含む。

ここで、撮像機器２００は、画像データの収集に使用可能なカメラ、ビデオ、キャメラ等の電子機器であってもよい。それに応じて、画像データは、動画、写真等を含むが、これらに限定されない。

当該実施環境において、サーバ１００は、撮像機器２００とのインタラクションにより、撮像機器２００によって収集された画像データを取得し、さらに画像データによりその中の追跡ターゲットに対してターゲット検出を行うことにより、ターゲット追跡を実現する。

図２は、例示的な一実施例に係るサーバ１００のハードウエア構成ブロック図である。なお、当該サーバ１００は、本願に適する一例に過ぎず、本願の使用範囲を限定するためのものではない。当該サーバ１００は、図２に示す例示的なサーバ１００のうちの１つ又は複数の部品に依存する又はそれらを有する必要があると解釈されてはならない。

当該サーバ１００のハードウェア構成は、配置又は性能が異なうことによって大きな違いが生じる可能性があり、図２に示すように、サーバ１００は、電源１１０、インタフェース１３０、少なくとも１つの記憶媒体１５０、及び少なくとも１つの中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）１７０を含む。

ここで、電源１１０は、サーバ１００の各ハードウェアデバイスに作動電圧を提供する。

インタフェース１３０は、外部機器と通信するための、少なくとも１つの有線又は無線ネットワークインタフェース１３１、少なくとも１つのシリアルパラレル変換インタフェース１３３、少なくとも１つの入出力インタフェース１３５及び少なくとも１つのＵＳＢインタフェース１３７等を含む。

記憶媒体１５０は、リソース記憶用の担体として、ランダム記憶媒体、磁気ディスク又は光ディスクであってもよく、それらに記憶されているリソースは、オペレーティングシステム１５１、アプリケーションプログラム１５３及びデータ１５５等を含み、記憶態様は、一時的記憶又は永続記憶であってもよい。オペレーティングシステム１５１は、サーバ１００の各ハードウェアデバイス及びアプリケーションプログラム１５３を管理及び制御して、中央処理装置１７０による大量データ１５５の算出及び処理を実現し、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ ＯＳ Ｘ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）等であってもよい。アプリケーションプログラム１５３はオペレーティングシステム１５１に基づいて、少なくとも１つの特定の作業を完了するコンピュータプログラムであり、少なくとも１つのモジュール（図２に示されていない）を含み、各モジュールは、それぞれサーバ１００に対する一連の操作命令を含んでもよい。データ１５５は、磁気ディスクに記憶されている写真、ピクチャー等であってもよい。

中央処理装置１７０は、１つ又は複数のプロセッサを含んでもよく、かつバスを介して記憶媒体１５０と通信するように設置されて、記憶媒体１５０中の大量データ１５５を演算し処理する。

以上に詳細に説明したように、本願に適用されるサーバ１００は、中央処理装置１７０が記憶媒体１５０に記憶されている一連の操作命令を読み取るという形でターゲット追跡を行う。

また、ハードウェア回路又はハードウェア回路とソフトウェア命令との組み合わせによっても、同様に本願の発明を実現できるため、本願の実現は、何らかの特定のハードウェア回路、ソフトウェア及びその両者の組み合わせに限定されない。

図３を参照すると、例示的な一実施例では、ターゲット追跡方法は、図１に示す実施環境におけるサーバ１００に適用され、当該サーバ１００は当該例示的な実施例では、図２に示すハードウェア構成であってもよい。

図３に示すように、このようなターゲット追跡方法は、サーバ１００によって実行されてもよく、以下のステップを含んでもよい。

ステップ３１０では、画像データを取得し、画像データに対してターゲット検出を行って、少なくとも１つのターゲットインスタンスを取得する。

ここで、画像データは、動的画像データと静的画像データを含む。動的画像データとは、マルチフレーム画像を含む動画等の動的画像であり、動的画像データに対して、静的画像データは、１フレームの画像を含むピクチャー等の静的画像であってもよい。これを基に、本実施例におけるターゲット追跡は、マルチフレーム画像の動画に基づいて行われてもよく、シングルフレーム画像のピクチャーに基づいて行われてもよい。

画像データは、撮像機器によってリアルタイムに収集される画像データからのものでもよく、サーバに予め記憶された画像データであってもよい。つまり、撮像機器が画像データを収集した後、サーバは当該画像データを、リアルタイムに処理してもよく、予め記憶してから処理してもよい。例えば、サーバは処理タスクが少ない場合に処理するか、或いは、操作者による指定時間に処理する。これにより、本願の取得する画像データは、撮像機器によってその場で収集される画像データであってもよく、サーバに予め記憶された画像データであってもよく、即ち、ある履歴時間の撮像機器によって収集された画像データを呼び出して取得される画像データであり、ここでは限定しない。

撮像機器は、建造物内部の天井板の一つの隅、建造物外部の灯柱、インテリジェントロボット等のクライアントデバイスなどの各箇所に配置されてもよく、それに応じて、画像データは撮像機器が配置された任意のシーンにおける任意の画像であってもよく、建造物内部の任意の画像であってもよく、建造物外部の任意の画像であってもよく、ここでは限定しない。

追跡ターゲットとは、任意のシーンにおける画像上の任意の対象であり、例えば、画像中のある人物、ある車又はある携帯電話等であり、ここでは限定しない。

画像データのターゲット検出は、ターゲット検出モデルにより実現される。例えば、ターゲット検出モデルは、変形可能部品モデルであってもよく、単一ガウスモデル、混合ガウスモデル等であってもよく、ここでは限定しない。当該ターゲット検出モデルは、画像データに対してターゲット検出を行う前にサーバにより予め作成されるものである。

画像データは撮像機器が配置された任意のシーンにおける任意の画像であるため、常にある画像に１つの追跡ターゲットが存在し、ある画像に複数の追跡ターゲットが存在するが、ある画像にはどんな追跡ターゲットも存在しないという現象が出現するため、ターゲットインスタンスとは、１つの追跡ターゲットを含む画像データを指すと理解できる。

なお、同一の画像データから、ターゲットインスタンスを取得することができない場合、即ち当該画像データに指示される画像にどんな追跡ターゲットも存在しない場合もあるし、複数のターゲットインスタンスを取得する場合、即ち当該画像データに指示される画像に複数の追跡ターゲットが含まれる場合もあり、追跡ターゲットはターゲットインスタンスに一対一に対応する。

さらに、画像データから取得可能なターゲットインスタンスの数量にかかわらず、これらのターゲットインスタンスは時間的にお互いに重なり、即ち、画像データに含まれる複数のターゲットインスタンスは、撮像機器によって同一の収集時間に収集される画像データから取得される。

これにより、予め作成されたターゲット検出モデルにより画像データに対してターゲット検出を行うと、１つの追跡ターゲットを含む少なくとも１つのターゲットインスタンスを取得することができる。

さらに、画像データは、マルチフレーム画像の動画であってもよく、シングルフレーム画像のピクチャーであってもよいため、画像データは、フレームを単位としてターゲット検出を行い、即ち１フレームの画像をターゲット検出モデルの入力とすることにより、画像データのターゲット検出過程を実施する。

ステップ３３０では、少なくとも１つのターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成する。

なお、まず、ＫＬＴアルゴリズムなどの追跡アルゴリズムを事前設定し、多くのターゲットインスタンスにおいてそれらに含まれる全ての追跡ターゲットに対してグローバル検索を行うために用いられることにより、追跡ターゲットの追跡を実現し、即ち、多くのターゲットインスタンスから同じ追跡ターゲットを見つけ出す。

これにより、追跡アルゴリズムを事前設定すれば、同じ追跡ターゲットを含むターゲットインスタンスを取得でき、さらに同じ追跡ターゲットを含む全てのターゲットインスタンスを連結してトラックセグメントを形成する。

例えば、ターゲットインスタンスＡ１に追跡ターゲットＡが含まれ、ターゲットインスタンスＡ２に追跡ターゲットＢが含まれ、ターゲットインスタンスＡ３に追跡ターゲットＡが含まれており、それに応じて、トラックセグメント１は、追跡ターゲットＡを含むターゲットインスタンスＡ１、Ａ３を連結して形成され、トラックセグメント２は、追跡ターゲットＢを含むターゲットインスタンスＡ２を連結して形成される。

理解すべきことは、画像データの収集には時間順があり、つまり、ターゲットインスタンスの間にも時間順があるということである。

したがって、トラックセグメントの取得中に、時間順に従って、同じ追跡ターゲットを含むターゲットインスタンスを連結する。

依然として上述した例で説明すると、トラックセグメント１中の一番目のターゲットインスタンスはＡ１であり、二番目のターゲットインスタンスはＡ３である。なお、時間の増加につれて、トラックセグメントに含まれるターゲットインスタンスの数も増加し、例えば、三番目のターゲットインスタンス、四番目のターゲットインスタンス、……、最後の一つのターゲットインスタンスが時間順でトラックセグメント１に連続的に追加されることになる。

ステップ３５０では、トラックセグメント中のターゲットインスタンスにより、トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得する。

トラックセグメント特徴情報は、全体及び／又は一部のトラックセグメントの正確な説明を実現するためであり、情報としてトラックセグメントを一意に識別する。トラックセグメント中のターゲットインスタンスに含まれる追跡ターゲットが異なると、トラックセグメントが異なり、さらにトラックセグメント特徴情報もお互いに異なるものになると理解できる。

これにより、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成すれば、トラックセグメント中のターゲットインスタンスにより、当該トラックセグメントに対応するトラックセグメント特徴情報を取得することができる。

具体的には、トラックセグメント特徴情報は、トラックセグメント中のターゲットインスタンスにより、トラックセグメントに対して特徴構築を行って取得される。

さらに、特徴構築は、ターゲットインスタンスに対するターゲット特徴構築、トラックセグメントに対する局所的特徴構築及び大局的特徴構築を含むが、これらに限定されない。それに応じて、トラックセグメント特徴情報は、ターゲット特徴情報、局所的特徴情報及び大局的特徴情報を含むが、これらに限定されない。

またさらに、ターゲット特徴情報は、それに対応するターゲットインスタンスに含まれる追跡ターゲットに関連する。局所的特徴情報は、それに対応するトラックセグメント中の少なくとも１つのターゲットインスタンスに関連し、例えば、局所的特徴情報は、トラックセグメント中の一番目のターゲットインスタンスと最後の一つのターゲットインスタンスに関連する。大局的特徴情報は、それに対応するトラックセグメント中の全てのターゲットインスタンスに関連する。

ステップ３７０では、トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得する。

本実施例では、クラスタ化とは、異なる追跡ターゲットに応じて、指定されたトラックセグメントを複数の異なるカテゴリに分ける過程であり、即ち、クラスタ化により、カテゴリは追跡ターゲットに一対一に対応する。

なお、指定されたトラックセグメントとは、クラスタ化を必要とするトラックセグメントのことであり、前述のステップ３３０で取得された全てのトラックセグメントであってもよく、これらの全てのトラックセグメント中のクラスタ化を必要とする任意の数のトラックセグメントであってもよい。

前記のように、トラックセグメント中のターゲットインスタンスに含まれる追跡ターゲットが異なると、トラックセグメントが異なり、さらにトラックセグメント特徴情報もお互いに異なるものになる。換言すれば、トラックセグメント特徴情報は、追跡ターゲットを示してもよいため、追跡ターゲットがどのシーンに出現しても、即ちどの画像データに収集されても（どのターゲットインスタンスに含まれても）、それに対応するトラックセグメント特徴情報が非常に高い類似性、ひいては一致性を有する。

これにより、トラックセグメント特徴情報によりトラックセグメントのクラスタ化を行うことができ、即ち、非常に類似し、ひいては一致するトラックセグメント特徴情報の場合、それに対応するトラックセグメント中のターゲットインスタンスに含まれる追跡ターゲットが同じであると見なすことができ、即ち、それに対応するトラックセグメントが同一のカテゴリに属し、これとは逆に、類似せず、且つ一致しないトラックセグメント特徴情報の場合、それに対応するトラックセグメント中のターゲットインスタンスに含まれる追跡ターゲットが異なると見なすことができ、即ち、それに対応するトラックセグメントが異なるカテゴリに属する。

これを基に、トラックセグメントのカテゴリ分布とは、異なるカテゴリに含まれるトラックセグメント及びトラックセグメントの数である。ここで、異なるカテゴリは、異なる追跡ターゲットに対するものであり、例えば、カテゴリＡに属する全てのトラックセグメントでは、ターゲットインスタンスに含まれる追跡ターゲットがＢであるが、カテゴリＣに属する全てのトラックセグメントでは、ターゲットインスタンスに含まれる追跡ターゲットがＤである。

例えば、ディリクレ混合モデルにより、指定されたトラックセグメントのクラスタ化を実現する。具体的には、指定されたトラックセグメントに対応するトラックセグメント特徴情報をディリクレ混合モデルの入力とし、ディリクレ混合モデルにより、指定されたトラックセグメントに対してクラスタ化を行って、当該指定されたトラックセグメントの属するカテゴリを出力して取得する。さらに、複数の指定されたトラックセグメントに対してトラックセグメント特徴情報の入力を行うと、トラックセグメントのカテゴリ分布を出力して取得することができる。

もちろん、実際の適用シーンの必要に応じて、トラックセグメントのクラスタ化に用いられるクラスタ化アルゴリズムを柔軟に調整することにより、ターゲット追跡の正確性を向上させることができる。

上記過程において、クラスタ化によりターゲット追跡の排他制約を実現し、即ち同じ追跡ターゲットが異なるカテゴリに属する可能性はなく、ターゲット追跡の正確性に信頼できる保証を簡単かつ効果的に提供する。

ステップ３９０では、トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成する。

一つのトラックセグメントは、同じ追跡ターゲットを含む少なくとも１つのターゲットインスタンスを連結して形成され、さらに、前述のステップにより、同一のカテゴリに分類されるトラックセグメントでは、ターゲットインスタンスに含まれる追跡ターゲットが依然として同じであるようにし、したがって、同一のカテゴリのトラックセグメントを連結して形成されるターゲット追跡結果は、必然的に同じ追跡ターゲットに基づくものであり、即ちターゲット追跡結果は、唯一の追跡ターゲットに対応し、これにより、正確なターゲット追跡を実現する。

またさらに、異なるカテゴリ中のトラックセグメントを連結して形成される複数のターゲット追跡結果に対して、マルチターゲット追跡を実現することができる。

ここで、ターゲット追跡結果の連結は、トラックセグメントの時間順で行われる。例えば、トラックセグメント１の最後の一つのターゲットインスタンスが時間的にトラックセグメント２の一番目のターゲットインスタンスよりも前であれば、トラックセグメント１の時間がトラックセグメント２よりも前であり、それに応じて、ターゲット追跡結果では、トラックセグメント１がトラックセグメント２よりも前に連結される。

上述した過程により、トラックセグメント特徴情報の作用下で、同じ追跡ターゲットに基づいて複数のトラックセグメントを分類することにより、同じ追跡ターゲットのターゲット追跡結果を取得することが可能になり、これにより、ターゲット追跡の過程において、追跡ターゲットが消えるか又はもう一度現れるか否かにかかわらず、必要に応じて任意の複数の追跡ターゲットのマルチターゲット追跡を実現することができる。

図４を参照すると、例示的な一実施例では、ステップ３５０は、以下のステップを含んでもよい。

ステップ３５１では、トラックセグメント中のターゲットインスタンスに対してターゲット特徴構築を行って、ターゲット特徴情報を取得する。

ターゲット特徴情報は、ターゲットインスタンスに対して行われたターゲット特徴構築により、ターゲットインスタンスに対する正確な説明を実現するためである。さらに、当該ターゲット特徴情報は、対応するターゲットインスタンスに含まれる追跡ターゲットに関連し、さらに情報として追跡ターゲットを一意に識別する。

理解すべきことは、追跡ターゲットが異なると、ターゲット特徴情報は異なることになる。例えば、追跡ターゲットが画像中のある人物であると、ターゲット特徴情報は、人物の視覚特徴ベクトルと構造特徴ベクトルを含めばよく、追跡ターゲットが画像中のある車であると、ターゲット特徴情報は、車のナンバープレート番号を含めばよく、追跡ターゲットが画像中のある携帯電話であると、ターゲット特徴情報は、機器識別コード又は機器信号を含めばよい。

ここで、ターゲット特徴情報について、一々列挙せず、異なる追跡ターゲットは、いずれもそれに対応するターゲット特徴情報を有するため、このような追跡ターゲットを正確に説明し識別することに寄与する。

ステップ３５３では、ターゲット特徴情報に基づいて、トラックセグメントに対して局所的特徴構築と大局的特徴構築をそれぞれ行って、局所的特徴情報と大局的特徴情報を取得する。

なお、まず、局所的特徴情報は、トラックセグメントに対して行われた局所的特徴構築により、一部のトラックセグメントの正確な説明を実現するためのものである。

さらに、当該局所的特徴情報は、対応するトラックセグメント中の少なくとも１つのターゲットインスタンスに関連する。例えば、当該局所的特徴情報は、対応するトラックセグメント中の一番目のターゲットインスタンスと最後の一つのターゲットインスタンスに関連する。

このために、局所的特徴情報は、当該少なくとも１つのターゲットインスタンスに対応するターゲット特徴情報によって定義されてもよい。例えば、ターゲット特徴情報が追跡ターゲットの視覚特徴ベクトルを含むと、当該少なくとも１つのターゲットインスタンスに対応するターゲット特徴情報から視覚特徴ベクトルを抽出して、当該視覚特徴ベクトルを局所的特徴情報とする。

次に、大局的特徴情報は、トラックセグメントに対して行われた大局的特徴構築により、全体のトラックセグメントの正確な説明を実現するためのものである。

さらに、当該大局的特徴情報は、対応するトラックセグメント中の全てのターゲットインスタンスに関連する。

このために、大局的特徴情報は、全てのターゲットインスタンスにそれぞれ対応するターゲット特徴情報によって定義されてもよい。依然として上述した例で説明すると、ターゲット特徴情報が追跡ターゲットの構造特徴ベクトルを含むと、全てのターゲットインスタンスにそれぞれ対応するターゲット特徴情報から構造特徴ベクトルを抽出して、これらの構造特徴ベクトルにより大局的特徴情報を取得する。

ステップ３５５では、局所的特徴情報と大局的特徴情報に基づいて、トラックセグメント特徴情報を生成する。

前記のように、トラックセグメント特徴情報は、全体及び／又は一部のトラックセグメントの正確な説明を実現するためのものであり、局所的特徴情報と大局的特徴情報を取得すれば、それに応じて、局所的特徴情報と大局的特徴情報を含むトラックセグメント特徴情報を取得することができる。

上述のような過程により、異なる追跡ターゲットに応じて、指定されたトラックセグメントを複数の異なるカテゴリに対応して分ける過程に十分な依拠を提供し、即ち非常に高い類似性、ひいては一致性を有するトラックセグメント特徴情報は、同じ追跡ターゲットを示す。

さらに、例示的な一実施例では、ステップ３１０で画像データに対してターゲット検出を行って、少なくとも１つのターゲットインスタンスを取得することは、以下のステップを含んでもよい。

予め作成された変形可能部品モデルにより、画像データ中の追跡ターゲットの複数の変形可能部品に対して表記情報による識別を行って、少なくとも１つの前記ターゲットインスタンスを取得する。

ここで、ターゲットインスタンスは、表記情報によって識別された追跡ターゲットの変形可能部品に対応する。

画像データに対して、変形可能部品モデルによって行われるターゲット検出により、取得される追跡ターゲットは、非剛体ターゲットである。当該非剛体ターゲットとは、ターゲット追跡過程において形態変化が生じる追跡ターゲットであり、例えば、人物、動物又は他の変形可能な物体である。

具体的には、変形可能部品モデルは、追跡ターゲットを大局的矩形ブロックと複数の部品矩形ブロックとして示され、前記大局とは追跡ターゲットの全体を指し、前記部品とは追跡ターゲットの変形可能部品を指す。

ここで、大局的矩形ブロックと部品矩形ブロックにより表記された画像をターゲットインスタンスにおいて表記情報として定義することにより、追跡ターゲットの複数の変形可能部品がターゲットインスタンスにおいて複数の表記情報によって識別されるようにする。

追跡ターゲットが人物であることを例として説明すると、図５に示すように、人物を大局的矩形ブロックと６つの部品矩形ブロックとして示し、前記大局は人物全体を指し、前記部品は人物の頭部、左手、右手、左足、右足、左右脚等の変形可能部品を指す。それに応じて、人物の変形可能部品はターゲットインスタンスにおいて７つの標準情報によって識別される。

もちろん、実際の適用シーンの必要に応じて、部品矩形ブロックの数を柔軟に調整することにより、異なる適用シーンでのターゲット追跡の正確性に対する異なる要求を満たすことができる。

それに応じて、図６を参照すると、ステップ３５１は、以下のステップを含んでもよい。

ステップ３５１１では、追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルを取得する。

具体的には、複数の表記情報に対してヒストグラム特徴ベクトルの抽出を行い、抽出されたヒストグラム特徴ベクトルを追跡ターゲットの視覚特徴ベクトルとする。

ここで、ヒストグラム特徴ベクトルは、方向勾配ヒストグラム特徴ベクトルと色ヒストグラム特徴ベクトルを含む。当該方向勾配ヒストグラム特徴ベクトルは、追跡ターゲットのテクスチャ特徴を説明し、色ヒストグラム特徴ベクトルは、追跡ターゲットの色特徴を説明する。

ヒストグラム特徴ベクトルの抽出過程は、実質的に複数の表記情報によって識別された変形可能部品に対して行われる。例えば、表記情報で人物の頭部を識別することは、当該人物頭部の所在する部品矩形ブロックによって表記された画像に対してヒストグラム特徴ベクトルの抽出を行うことである。

これを基に、上記抽出されたヒストグラム特徴ベクトルで追跡ターゲットの視覚特徴ベクトルを定義することで、追跡ターゲットの外部見掛け情報を反映する。

例えば、そのうちの１つの表記情報に対して、方向勾配ヒストグラム特徴ベクトルがａ１であり、色ヒストグラム特徴ベクトルがｂ１であると、当該表記情報から視覚特徴ベクトル｛ａ１，ｂ１｝を取得する。

これによって類推すれば、表記情報の数の増加につれて、それらから生成される視覚特徴ベクトルの長さもそれに応じて長くなるため、追跡ターゲットの説明の正確性を向上させることに寄与する。

例えば、８つの表記情報から取得される視覚特徴ベクトルは、｛ａ１，ｂ１，ａ２，ｂ２，ａ３，ｂ３，ａ４，ｂ４，ａ５，ｂ５，ａ６，ｂ６，ａ７，ｂ７，ａ８，ｂ８｝である。

そのうちの一つの表記情報によって識別された変形可能部品をアンカー点として、残りの表記情報によって識別された変形可能部品とアンカー点との間の位置ずれを算出し、かつ算出されたずれ値を追跡ターゲットの構造特徴ベクトルとする。

依然として上述した例で説明すると、表記情報はターゲットインスタンスにおいて人物の変形可能部品を識別するためのものである。好ましくは、人物の変形可能部品は、ターゲットインスタンスにおいて８つの表記情報によって識別され、即ち大局的矩形ブロックで表記される画像は、人物の頭部を示し、７つの部品矩形ブロックで表記される画像は、それぞれ人物の左手、右手、胴体、左足、右足、左脚、右脚等の部品を示す。

ここで、人物の頭部をアンカー点として、人物の頭部と残りの人物の部品から算出されたずれ値は７つあり、これにより、追跡ターゲットが人物であるときの構造特徴ベクトルを取得して、追跡ターゲットが人物であるときの内部構造情報を反映する。

例えば、ずれ値がそれぞれｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６、ｃ７であると、構造特徴ベクトルは｛ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，ｃ６，ｃ７｝である。

ステップ３５１３では、追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルに基づいて、ターゲットインスタンスに対応するターゲット特徴情報を生成する。

追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルを取得すれば、ターゲットインスタンスの正確な説明を実現することができ、即ちターゲットインスタンスに対応するターゲット特徴情報は、追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルとを含み、さらに情報として人物の追跡ターゲットを一意に識別する。

上記過程において、ターゲット特徴情報により追跡ターゲットの外部見掛け情報と内部構造情報を反映することにより、ターゲットの追跡を正確に説明し、その後のターゲット追跡を正確に実現することに寄与する。

図７を参照すると、例示的な一実施例では、ステップ３５３は、以下のステップを含んでもよい。

ステップ３５３１では、トラックセグメントから少なくとも１つのターゲットインスタンスを抽出し、当該少なくとも１つのターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルをトラックセグメントに対応する局所的特徴情報とする。

前記のように、局所的特徴情報は、対応するトラックセグメント中の少なくとも１つのターゲットインスタンスに関連する。局所的特徴情報は、当該少なくとも１つのターゲットインスタンスに対応するターゲット特徴情報によって定義されてもよい。

好ましくは、局所的特徴情報は、対応するトラックセグメント中の一番目のターゲットインスタンスと最後の一つのターゲットインスタンスに関連する。

具体的には、時間順でトラックセグメントから一番目のターゲットインスタンスと最後の一つのターゲットインスタンスを抽出して、当該一番目のターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを取得し、かつ当該最後の一つのターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを取得することにより、トラックセグメントに対応する局所的特徴情報は上記２つの視覚特徴ベクトルを含む。

この過程において、局所的特徴情報はトラックセグメント中の少なくとも１つのターゲットインスタンスに含まれる追跡ターゲットの正確な説明であると見なすことができ、即ち一部のトラックセグメントの正確な説明を実現し、さらにその後のターゲット追跡を正確に実現することに寄与する。

ステップ３５３３では、トラックセグメント中のターゲットインスタンスに対して、対応するターゲット特徴情報中の構造特徴ベクトルの平均値を算出し、当該構造特徴ベクトルに基づいて共分散演算を行って共分散行列を取得する。

ステップ３５３５では、平均値と共分散行列をトラックセグメントに対応する大局的特徴情報とする。

前記のように、大局的特徴情報は、対応するトラックセグメント中の全てのターゲットインスタンスに関連する。大局的特徴情報は、全てのターゲットインスタンスにそれぞれ対応するターゲット特徴情報によって定義されてもよい。

具体的には、全てのターゲットインスタンスに対応するターゲット特徴情報中の各構造特徴ベクトルにより、平均値と共分散行列の演算を行って、平均値と共分散行列をトラックセグメントに対応する大局的特徴情報として定義する。

ここで、ターゲットインスタンスに対応するターゲット構造特徴情報中の構造特徴ベクトルを要素とし、共分散行列中の要素は上記の各要素間の共分散を指す。

この過程において、大局的特徴情報により、トラックセグメント中の全てのターゲットインスタンスに平均化と相関除去を行うことにより、全体のトラックセグメントに対する正確な説明を実現し、その後のターゲット追跡を正確に実現することに寄与する。

図８を参照すると、例示的な一実施例では、ステップ３７０は、以下のステップを含んでもよい。

ステップ３７１では、予め定義された少なくとも１つのカテゴリに対して、トラックセグメント特徴情報に基づいて、指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度をそれぞれ算出する。

カテゴリとは、少なくとも１つのトラックセグメントを含む集合であり、当該集合において、全てのトラックセグメント中の各ターゲットインスタンスに含まれる追跡ターゲットが同じである。

前記のように、非常に類似し、ひいては一致するトラックセグメント特徴情報は、それに対応するトラックセグメント中のターゲットインスタンスに含まれる追跡ターゲットが同じであると見なすことができ、即ち、それに対応するトラックセグメントが同一のカテゴリに属する。

換言すれば、あるカテゴリ中のトラックセグメントと指定されたトラックセグメントとが、非常に類似し、ひいては一致するトラックセグメント特徴情報を有すると、当該指定されたトラックセグメントは当該カテゴリに属する可能性がとても高い。

これにより、トラックセグメントのクラスタ化を行う前に、まずトラックセグメント特徴情報に基づいて、指定されたトラックセグメントと各カテゴリとの尤度を取得することにより、指定されたトラックセグメントとカテゴリ中の各トラックセグメントとの間に、非常に類似し、ひいては一致するトラックセグメント特徴情報が存在するか否かを知ることになる。

ステップ３７３では、尤度に基づいて、指定されたトラックセグメントの少なくとも１つのカテゴリにおける一様分布に従う確率を算出する。

なお、指定されたトラックセグメントと各カテゴリとの尤度を算出して取得した後、まず取得された尤度に対して正規化処理を行って、確率算出が行われる各尤度が同一のオーダにあることを保証することにより、確率算出の正確性を向上させることに寄与し、ひいてはターゲット追跡の正確性を向上させることに寄与する。

ステップ３７５では、指定されたトラックセグメントを最大確率に対応するカテゴリに分類する。

ステップ３７７では、指定されたトラックセグメントのクラスタ化が完了されると、トラックセグメントのカテゴリ分布を形成する。

クラスタ化を必要とする、指定されたトラックセグメントがいずれも同じ又は異なるカテゴリに分類されると、１回のクラスタ化を完了し、このとき、クラスタ化結果はトラックセグメントのカテゴリ分布である。

さらに、ターゲット追跡の正確性を向上させるために、複数回のクラスタ化を行い、かつ最終回のクラスタ化結果をトラックセグメントのカテゴリ分布とすることができる。ここで、クラスタ化の反復回数は、実際の適用シーンの必要に応じて柔軟に調整することができる。

例示的な一実施例では、上述した方法は、ステップ３７１の前に、さらに以下のステップを含んでもよい。

そのうちの一つのカテゴリ中のトラックセグメントに含まれるターゲットインスタンスに対して、その中には、指定されたトラックセグメントと時間的にお互いに重なるターゲットインスタンスを含むトラックセグメントが存在するか否かを判断する。

存在する場合、指定されたトラックセグメントとそのうちの一つのカテゴリとの尤度をゼロに設定する。

前記のように、時間的にお互いに重なるターゲットインスタンスは、撮像機器によって同じ収集時間に収集された画像データから取得される。つまり、これらのターゲットインスタンスは、同一の画像データからのものである。

同一の画像データに一つだけではない追跡ターゲットが含まれる可能性があり、それに応じて、ターゲット検出により、異なる追跡ターゲットを含む複数のターゲットインスタンスを取得する可能性があり、これらの複数のターゲットインスタンスが連結されて複数のトラックセグメントを形成することにより、これらの複数のトラックセグメントは同一のカテゴリに属する可能性がない、と理解できる。

このため、指定されたトラックセグメントとそのうちの一つのカテゴリ中のあるトラックセグメントとが、時間的にお互いに重なるターゲットインスタンスを有すると、当該指定されたトラックセグメントが当該そのうちの一つのカテゴリに属する可能性がないことを示す。つまり、当該指定されたトラックセグメントと当該そのうちの一つのカテゴリとの尤度は、必然的にゼロになる。

以上から分かるように、そのうちの一つのカテゴリ中のあるトラックセグメントが、指定されたトラックセグメントと時間的にお互いに重なるターゲットインスタンスを含むと、当該指定されたトラックセグメントと当該そのうちの一つのカテゴリとの尤度算出を行う必要がなく、当該指定されたトラックセグメントと当該そのうちの一つのカテゴリとの尤度を直接ゼロに設定することができる。

上述した実施例の組み合わせにより、追跡ターゲットの排他制約を実現し、即ち同一の画像データ中の異なる追跡ターゲットに対応するトラックセグメントが同一のカテゴリに属する可能性はなく、ターゲット追跡の正確性をより簡単かつ効果的に保証する。

図９を参照すると、例示的な一実施例では、ステップ３７１は、以下のステップを含んでもよい。

ステップ３７１１では、指定されたトラックセグメント中の少なくとも１つのターゲットインスタンスに対して、そのうちの一つのカテゴリから当該少なくとも１つのターゲットインスタンスとの時間的距離が最も近いターゲットインスタンスの所在するトラックセグメントを取得する。

好ましくは、指定されたトラックセグメント中の一番目のターゲットインスタンスと最後の一つのターゲットインスタンスで、尤度算出を行う。

理解すべきことは、ターゲット追跡結果の連結はトラックセグメントの時間順で行われるため、同一のカテゴリ中の各トラックセグメントは必ず時間順を有し、かつ各トラックセグメント中のターゲットインスタンスも時間順を有し、即ち、先に連結されたトラックセグメント中の最後の一つのターゲットインスタンスは、時間軸において後に連結されたトラックセグメント中の一番目のターゲットインスタンスよりも前である。

それに応じて、そのうちの一つのカテゴリにおいて、指定されたトラックセグメント中の一番目のターゲットインスタンスとの時間的距離が最も近いのは、当該カテゴリ中のあるトラックセグメント中の最後の一つのターゲットインスタンスである。

指定されたトラックセグメント中の最後の一つのターゲットインスタンスとの時間的距離が最も近いのは、当該カテゴリ中のあるトラックセグメント中の一番目のターゲットインスタンスである。

ステップ３７１３では、これらのトラックセグメントにそれぞれ対応する局所的特徴情報に基づいて、指定されたトラックセグメントと取得されたトラックセグメントとの局所的類似度を算出する。

なお、これらのトラックセグメントとは、指定されたトラックセグメントと取得されたトラックセグメントを指し、それに応じて、これらのトラックセグメントにそれぞれ対応する局所的特徴情報とは、指定されたトラックセグメントの局所的特徴情報と取得されたトラックセグメントの局所的特徴情報を指す。

ステップ３７１５では、指定されたトラックセグメントに対応する大局的特徴情報とそのうちの一つのカテゴリのカテゴリパラメータに基づいて、指定されたトラックセグメントとそのうちの一つのカテゴリとの大局的類似度を算出する。

ステップ３７１７では、局所的類似度と大局的類似度により、指定されたトラックセグメントとそのうちの一つのカテゴリとの尤度を算出して取得する。

具体的には、指定されたトラックセグメントとそのうちの一つのカテゴリに対して、両者の尤度の算出用の数式は、

である。

ここで、ｆは、指定されたトラックセグメントとそのうちの一つのカテゴリとの尤度を示す。

ｘ_ｉはｉ番目の指定されたトラックセグメントを示す。（φ_ｋ，ｘ_ｋ，［］）はそのうちの一つのカテゴリを示し、当該そのうちの一つのカテゴリはトラックセグメントのカテゴリ分布中のｋ番目のカテゴリであり、当該ｋ番目のカテゴリには、複数のトラックセグメントが含まれ、［］で示す。

第１のｓにおいて、Ａ_ｉ ^ｈｅａｄはｉ番目の指定されたトラックセグメント中の一番目のターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを示し、Ａ_ｋ，ｍ ^ｔａｉｌはｋ番目のカテゴリにおけるｍ番目のトラックセグメント中の最後の一つのターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを示す。

第２のｓにおいて、Ａ_ｉ ^ｔａｉｌはｉ番目の指定されたトラックセグメント中の最後の一つのターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを示し、Ａ_ｋ，ｎ ^ｈｅａｄはｋ番目のカテゴリにおけるｎ番目のトラックセグメント中の一番目のターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを示す。

第３のｐにおいて、Ｄ_ｉとＶ_ｉはそれぞれｉ番目の指定されたトラックセグメントに対応する大局的特徴情報中の平均値と共分散行列を示す。φ_ｋはｋ番目のカテゴリのカテゴリパラメータであり、当該カテゴリパラメータは、ｋ番目のカテゴリ内の全てのトラックセグメント［］に対するものであり、それに対応する大局的特徴情報中の平均値と共分散行列でガウスモデル作成を行う過程から取得される。

さらに、関数ｓは、上述した２つのターゲットインスタンスに対して、両者に対応する視覚特徴ベクトル中の各ヒストグラム特徴ベクトル間の類似度をそれぞれ算出し、その後に、算出された全てのヒストグラム特徴ベクトルを累積することにより、ｉ番目の指定されたトラックセグメントとｋ番目のカテゴリにおけるｍ番目のトラックセグメント及びｎ番目のトラックセグメントとの局所的類似度を取得することを示す。ここで、ヒストグラム特徴ベクトルは、方向勾配ヒストグラム特徴ベクトルと色ヒストグラム特徴ベクトルを含む。

関数ｐは、ｋ番目のカテゴリ内の全てのトラックセグメント［］とｉ番目の指定されたトラックセグメントの各々に対して、両者に対応する大局的特徴情報中の平均値と共分散行列でガウスモデル作成を行い、その後にモデル作成により取得された２つのガウスモデル間の距離を比較し、さらに比較結果を指定されたトラックセグメントとそのうちの一つのカテゴリとの大局的類似度に変換することを示す。

またさらに、それぞれ算出してｉ番目の指定されたトラックセグメントとｋ番目のカテゴリにおけるｍ番目のトラックセグメントとの局所的類似度ｓ１、ｉ番目の指定されたトラックセグメントとｋ番目のカテゴリにおけるｎ番目のトラックセグメントとの局所的類似度ｓ２、及びｉ番目の指定されたトラックセグメントとｋ番目のカテゴリとの大局的類似度Ｐを取得すれば、上記数式によりｉ番目の指定されたトラックセグメントとｋ番目のカテゴリとの尤度ｆを算出することができる。

例示的な一実施例では、上述した方法は、ステップ３７７の前に、さらに以下のステップを含んでもよい。

クラスタ化の反復回数が予め設定された反復閾値を満たすか否かを判断する。

例えば、予め設定された反復閾値を５００回に設定し、もちろん、当該予め設定された反復閾値は実際の必要に応じて柔軟に設定することができる。例えば、ターゲット追跡の正確性を向上させるためには、予め設定された反復閾値を高くし、サーバの処理負荷を軽減するためには、予め設定された反復閾値を低くする。

クラスタ化の反復回数が予め設定された反復閾値を満たすと、クラスタ化の反復過程を停止させ、最終回のクラスタ化結果をトラックセグメントのカテゴリ分布とし、即ちステップ３７７に進む。

これとは逆に、クラスタ化の反復回数が予め設定された反復閾値を満たさないと、カテゴリパラメータの更新をトリガし、かつカテゴリパラメータが更新された少なくとも１つのカテゴリに対して、トラックセグメント特徴情報に基づいて、指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出し、即ちクラスタ化の反復回数が予め設定された反復閾値に達するまでステップ３７１に戻る。

また、異なる適用シーンに応じて、ループ反復の停止条件を柔軟に設定してもよく、また算出時間が予め設定された算出時間になるとループ反復を停止させてもよく、或いは、クラスタ化結果が常に不変のままであると、ループ反復を停止させる。

上記実施例の作用下で、ループ反復の態様でクラスタ化の正確性を向上させて、ターゲット追跡結果の基づく追跡ターゲットをより一致させることにより、ターゲット追跡の正確性をさらに向上させることに寄与する。

以下、本願の装置の実施例であり、本願に係るターゲット追跡方法を実行することに使われることができる。本願の装置の実施例に開示されない詳細について、本願に係るターゲット追跡方法の実施例を参照する。

図１０を参照すると、例示的な一実施例では、ターゲット追跡装置７００は、ターゲットインスタンス取得モジュール７１０、トラックセグメント取得モジュール７３０、特徴情報取得モジュール７５０、カテゴリ分布取得モジュール７７０及び追跡結果取得モジュール７９０を含むが、これらに限定されない。

ここで、ターゲットインスタンス取得モジュール７１０は、画像データを取得し、画像データに対してターゲット検出を行って、少なくとも１つのターゲットインスタンスを取得するためのものである。ターゲットインスタンスは、追跡ターゲットに一対一で対応する。

トラックセグメント取得モジュール７３０は、少なくとも１つのターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成するためのものである。

特徴情報取得モジュール７５０は、トラックセグメント中のターゲットインスタンスにより、トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得するためのものである。

カテゴリ分布取得モジュール７７０は、トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得するためのものである。

追跡結果取得モジュール７９０は、トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成するためのものである。

図１１を参照すると、例示的な一実施例では、特徴情報取得モジュール７５０は、ターゲット特徴構築ユニット７５１、トラックセグメント特徴構築ユニット７５３及び特徴情報定義ユニット７５５を含むが、これらに限定されない。

ここで、ターゲット特徴構築ユニット７５１は、トラックセグメント中のターゲットインスタンスに対してターゲット特徴構築を行って、ターゲット特徴情報を取得するためのものである。

トラックセグメント特徴構築ユニット７５３は、ターゲット特徴情報に応じて、トラックセグメントに対して局所的特徴構築と大局的特徴構築をそれぞれ行って、局所的特徴情報と大局的特徴情報を取得するためのものである。

特徴情報定義ユニット７５５は、局所的特徴情報と大局的特徴情報に基づいて、トラックセグメント特徴情報を生成するためのものである。

例示的な一実施例では、ターゲットインスタンス取得モジュールは、表記情報識別ユニットを含む。

ここで、表記情報識別ユニットは、予め作成された変形可能部品モデルにより、画像データ中の追跡ターゲットの複数の変形可能部品に対して表記情報による識別を行って、少なくとも１つのターゲットインスタンスを取得するためのものである。ターゲットインスタンスは、追跡ターゲットの変形可能部品に対応し、表記情報によって識別される。

それに応じて、図１２を参照すると、ターゲット特徴構築ユニット７５１は、特徴ベクトル取得サブユニット７５１１と特徴情報構成サブユニット７５１３を含むが、これらに限定されない。

ここで、特徴ベクトル取得サブユニット７５１１は、追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルを取得するためのものである。

具体的には、複数の表記情報に対してヒストグラム特徴ベクトルの抽出を行い、抽出されたヒストグラム特徴ベクトルを追跡ターゲットの視覚特徴ベクトルとする。そして、そのうちの一つの表記情報によって識別された変形可能部品をアンカー点として、残りの表記情報によって識別された変形可能部品とアンカー点との間の位置ずれを算出し、かつ算出されたずれ値を追跡ターゲットの構造特徴ベクトルとする。

特徴情報構成サブユニット７５１３は、追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルに基づいて、ターゲットインスタンスに対応するターゲット特徴情報を生成するためのものである。

図１３を参照すると、例示的な一実施例では、トラックセグメント特徴構築ユニット７５３は、局所的特徴情報定義サブユニット７５３１、構造特徴ベクトル算出サブユニット７５３３及び大局的特徴情報定義サブユニット７５３５を含むが、これらに限定されない。

ここで、局所的特徴情報定義サブユニット７５３１は、トラックセグメントから少なくとも１つのターゲットインスタンスを抽出し、当該少なくとも１つのターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルをトラックセグメントに対応する局所的特徴情報とする。

構造特徴ベクトル算出サブユニット７５３３は、トラックセグメント中のターゲットインスタンスに対して、対応するターゲット特徴情報中の構造特徴ベクトルの平均値を算出し、当該構造特徴ベクトルに基づいて共分散演算を行って共分散行列を取得するためのものである。

大局的特徴情報定義サブユニット７５３５は、平均値と共分散行列をトラックセグメントに対応する大局的特徴情報とするためのものである。

図１４を参照すると、例示的な一実施例では、カテゴリ分布取得モジュール７７０は、第１の尤度算出ユニット７７１、確率算出ユニット７７３、クラスタ化ユニット７７５及びカテゴリ分布形成ユニット７７７を含むが、これらに限定されない。

ここで、第１の尤度算出ユニット７７１は、予め定義された少なくとも１つのカテゴリに対して、トラックセグメント特徴情報に基づいて、指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出するためのものである。

確率算出ユニット７７３は、尤度に基づいて、指定されたトラックセグメントの少なくとも１つのカテゴリにおける一様分布に従う確率を算出するためのものである。

クラスタ化ユニット７７５は、指定されたトラックセグメントを最大確率に対応するカテゴリに分類するためのものである。

カテゴリ分布形成ユニット７７７は、指定されたトラックセグメントのクラスタ化が完了されると、トラックセグメントのカテゴリ分布を形成するためのものである。

図１５を参照すると、例示的な一実施例では、カテゴリ分布取得モジュール７７０は、さらに重複判断ユニット８１０と尤度設定ユニット８３０を含むが、これらに限定されない。

ここで、重複判断ユニット８１０は、そのうちの一つのカテゴリ中のトラックセグメントに含まれるターゲットインスタンスに対して、その中には、指定されたトラックセグメントと時間的にお互いに重なるターゲットインスタンスを含むトラックセグメントが存在するか否かを判断するためのものである。存在する場合、尤度設定ユニットに通知する。

尤度設定ユニット８３０は、指定されたトラックセグメントとそのうちの一つのカテゴリとの尤度をゼロに設定するためのものである。

図１６を参照すると、例示的な一実施例では、第１の尤度算出ユニット７７１は、トラックセグメント取得サブユニット７７１１、局所的類似度算出サブユニット７７１３、大局的類似度算出サブユニット７７１５及び尤度算出サブユニット７７１７を含むが、これらに限定されない。

ここで、トラックセグメント取得サブユニット７７１１は、指定されたトラックセグメント中の少なくとも１つのターゲットインスタンスに対して、そのうちの一つのカテゴリから当該少なくとも１つのターゲットインスタンスとの時間的距離が最も近いターゲットインスタンスの所在するトラックセグメントを取得するためのものである。

局所的類似度算出サブユニット７７１３は、これらのトラックセグメントにそれぞれ対応する局所的特徴情報に基づいて、指定されたトラックセグメントと取得されたトラックセグメントとの局所的類似度を算出するためのものである。

大局的類似度算出サブユニット７７１５は、指定されたトラックセグメントに対応する大局的特徴情報とそのうちの一つのカテゴリのカテゴリパラメータに基づいて、指定されたトラックセグメントとそのうちの一つのカテゴリとの大局的類似度を算出するためのものである。

尤度算出サブユニット７７１７は、局所的類似度と大局的類似度により、指定されたトラックセグメントとそのうちの一つのカテゴリとの尤度を算出して取得するためのものである。

図１７を参照すると、例示的な一実施例では、カテゴリ分布取得モジュール７７０は、さらに反復判断ユニット９１０と第２の尤度算出ユニット９３０を含むが、これらに限定されない。

ここで、反復判断ユニット９１０は、クラスタ化の反復回数が予め設定された反復閾値を満たすか否かを判断するためのものである。満たさないと、第２の尤度算出ユニットに通知する。

第２の尤度算出ユニット９３０は、カテゴリパラメータの更新をトリガし、かつカテゴリパラメータが更新された少なくとも１つのカテゴリに対して、トラックセグメント特徴情報に基づいて、指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出するためのものである。

なお、上記実施例によるターゲット追跡装置は、ターゲット追跡処理を行う場合、上記各機能モジュールの分割のみを例に挙げて説明されたが、実際の応用において、必要に応じて上記機能の割り当てを異なる機能モジュールにより完了することができ、即ちターゲット追跡装置の内部構造を異なる機能モジュールに分割することにより、以上に説明した全て又は一部の機能を完了する。

また、上記実施例によるターゲット追跡装置とターゲット追跡方法の実施例は同じ思想に属し、各モジュールが動作を実行する具体的な態様については方法の実施例で詳細に説明したので、ここで説明を省略する。

例示的な一実施例では、電子機器は、１つ又は複数のプロセッサと１つ又は複数のメモリを含む。

ここで、メモリには、プロセッサによって実行されると、上述のような各実施例のターゲット追跡方法を実現するコンピュータ読み取り可能な命令が記憶されている。

例示的な一実施例では、コンピュータ読み取り可能な記憶媒体には、プロセッサによって実行されると、上述のような各実施例のターゲット追跡方法を実現するコンピュータプログラムが記憶されている。

上記内容は、本願の好ましい実施例に過ぎず、本願の実施形態を限定するものではなく、当業者であれば、本願の主な思想と精神に基づいて、対応する変更又は修正を非常に容易に行うことができるため、本願の保護範囲は、特許請求の範囲によって求められる範囲である。

Claims (11)

1. サーバによって実行されるターゲット追跡方法であって、
   画像データを取得し、前記画像データに対してターゲット検出を行って、追跡ターゲットに一対一で対応する少なくとも１つのターゲットインスタンスを取得するステップと、
   少なくとも１つの前記ターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成するステップと、
   前記トラックセグメント中のターゲットインスタンスにより、前記トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得するステップと、
   前記トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得するステップと、
   前記トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成するステップと、を含み、
   前記トラックセグメント中のターゲットインスタンスにより、前記トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得するステップは、
   前記トラックセグメント中のターゲットインスタンスに対してターゲット特徴構築を行って、ターゲット特徴情報を取得するステップと、
   前記ターゲット特徴情報に応じて、前記トラックセグメントに対して局所的特徴構築と大局的特徴構築をそれぞれ行って、局所的特徴情報と大局的特徴情報を取得するステップと、
   前記局所的特徴情報と大局的特徴情報に基づいて、前記トラックセグメント特徴情報を生成するステップと、を含み、
   前記画像データに対してターゲット検出を行って、少なくとも１つのターゲットインスタンスを取得するステップは、
   予め作成された変形可能部品モデルにより、前記画像データ中の追跡ターゲットの複数の変形可能部品に対して表記情報による識別を行って、表記情報によって識別された追跡ターゲットの変形可能部品に対応する少なくとも１つの前記ターゲットインスタンスを取得するステップを含み、
   それに応じて、前記トラックセグメント中のターゲットインスタンスに対してターゲット特徴構築を行って、ターゲット特徴情報を取得するステップは、
   前記追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルを取得するステップと、
   前記追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルに基づいて、前記ターゲットインスタンスに対応するターゲット特徴情報を生成するステップと、を含み、
   前記追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルを取得するステップは、
   複数の表記情報に対してヒストグラム特徴ベクトルの抽出を行い、抽出されたヒストグラム特徴ベクトルを前記追跡ターゲットの視覚特徴ベクトルとするステップと、
   そのうちの一つの表記情報によって識別された変形可能部品をアンカー点として、残りの表記情報によって識別された変形可能部品と前記アンカー点との間の位置ずれを算出して、算出されたずれ値を前記追跡ターゲットの構造特徴ベクトルとするステップと、を含むターゲット追跡方法。
2. 前記ターゲット特徴情報に応じて、前記トラックセグメントに対して局所的特徴構築と大局的特徴構築をそれぞれ行って、局所的特徴情報と大局的特徴情報を取得するステップは、
   前記トラックセグメントから少なくとも１つのターゲットインスタンスを抽出し、当該少なくとも１つのターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを前記トラックセグメントに対応する局所的特徴情報とするステップと、
   前記トラックセグメント中のターゲットインスタンスに対して、対応するターゲット特徴情報中の構造特徴ベクトルの平均値を算出し、当該構造特徴ベクトルに基づいて共分散演算を行って共分散行列を取得するステップと、
   前記平均値と共分散行列を前記トラックセグメントに対応する大局的特徴情報とするステップと、を含む請求項１に記載の方法。
3. サーバによって実行されるターゲット追跡方法であって、
   画像データを取得し、前記画像データに対してターゲット検出を行って、追跡ターゲットに一対一で対応する少なくとも１つのターゲットインスタンスを取得するステップと、
   少なくとも１つの前記ターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成するステップと、
   前記トラックセグメント中のターゲットインスタンスにより、前記トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得するステップと、
   前記トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得するステップと、
   前記トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成するステップと、を含み、
   前記トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得するステップは、
   予め定義された少なくとも１つのカテゴリに対して、前記トラックセグメント特徴情報に基づいて、前記指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出するステップと、
   前記尤度に基づいて、前記指定されたトラックセグメントの少なくとも１つのカテゴリにおける一様分布に従う確率を算出するステップと、
   前記指定されたトラックセグメントを最大確率に対応するカテゴリに分類するステップと、
   指定されたトラックセグメントのクラスタ化が完了されると、前記トラックセグメントのカテゴリ分布を形成するステップと、を含む方法。
4. 予め定義された少なくとも１つのカテゴリに対して、前記トラックセグメント特徴情報に基づいて、前記指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出する前に、さらに、
   そのうちの一つのカテゴリ中のトラックセグメントに含まれるターゲットインスタンスに対して、前記そのうちの一つのカテゴリ中のトラックセグメントには、前記指定されたトラックセグメントと時間的にお互いに重なるターゲットインスタンスを含むトラックセグメントが存在するか否かを判断するステップと、
   存在する場合、前記指定されたトラックセグメントと前記そのうちの一つのカテゴリとの尤度をゼロに設定するステップと、を含む請求項３に記載の方法。
5. 予め定義された少なくとも１つのカテゴリに対して、前記トラックセグメント特徴情報に基づいて、前記指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出するステップは、
   前記指定されたトラックセグメント中の少なくとも１つのターゲットインスタンスに対して、そのうちの一つのカテゴリから当該少なくとも１つのターゲットインスタンスとの時間的距離が最も近いターゲットインスタンスの所在するトラックセグメントを取得するステップと、
   これらのトラックセグメントにそれぞれ対応する局所的特徴情報に基づいて、前記指定されたトラックセグメントと、取得されたトラックセグメントとの局所的類似度を算出するステップと、
   前記指定されたトラックセグメントに対応する大局的特徴情報と前記そのうちの一つのカテゴリのカテゴリパラメータに基づいて、前記指定されたトラックセグメントと前記そのうちの一つのカテゴリとの大局的類似度を算出するステップと、
   前記局所的類似度と大局的類似度により、前記指定されたトラックセグメントと前記そのうちの一つのカテゴリとの尤度を算出して取得するステップと、を含む請求項３に記載の方法。
6. 指定されたトラックセグメントのクラスタ化が完了されると、前記トラックセグメントのカテゴリ分布を形成する前に、さらに、
   前記クラスタ化の反復回数が予め設定された反復閾値を満たすか否かを判断するステップと、
   満たさない場合、カテゴリパラメータの更新をトリガし、かつカテゴリパラメータが更新された少なくとも１つのカテゴリに対して、前記トラックセグメント特徴情報に基づいて、前記指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出するステップと、を含む請求項５に記載の方法。
7. サーバに設置されたターゲット追跡装置であって、
   画像データを取得し、前記画像データに対してターゲット検出を行って、追跡ターゲットに一対一で対応する少なくとも１つのターゲットインスタンスを取得するためのターゲットインスタンス取得モジュールと、
   少なくとも１つの前記ターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成するためのトラックセグメント取得モジュールと、
   前記トラックセグメント中のターゲットインスタンスにより、前記トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得するための特徴情報取得モジュールと、
   前記トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得するためのカテゴリ分布取得モジュールと、
   前記トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成するための追跡結果取得モジュールと、を含み、
   前記特徴情報取得モジュールは、
   前記トラックセグメント中のターゲットインスタンスに対してターゲット特徴構築を行って、ターゲット特徴情報を取得するためのターゲット特徴構築ユニットと、
   前記ターゲット特徴情報に応じて、前記トラックセグメントに対して局所的特徴構築と大局的特徴構築をそれぞれ行って、局所的特徴情報と大局的特徴情報を取得するためのトラックセグメント特徴構築ユニットと、
   前記局所的特徴情報と大局的特徴情報に基づいて、前記トラックセグメント特徴情報を生成するための特徴情報定義ユニットと、を含み、
   前記ターゲットインスタンス取得モジュールは、
   予め作成された変形可能部品モデルにより、前記画像データ中の追跡ターゲットの複数の変形可能部品に対して表記情報による識別を行って、表記情報によって識別された追跡ターゲットの変形可能部品に対応する少なくとも１つの前記ターゲットインスタンスを取得するための表記情報識別ユニットを含み、
   それに応じて、前記ターゲット特徴構築ユニットは、
   前記追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルを取得するための特徴ベクトル取得サブユニットと、
   前記追跡ターゲットの視覚特徴ベクトルと構造特徴ベクトルに基づいて、前記ターゲットインスタンスに対応するターゲット特徴情報を生成するための特徴情報構成サブユニットと、を含み、
   前記特徴ベクトル取得サブユニットは、
   複数の表記情報に対してヒストグラム特徴ベクトルの抽出を行い、抽出されたヒストグラム特徴ベクトルを前記追跡ターゲットの視覚特徴ベクトルとし、且つ、
   そのうちの一つの表記情報によって識別された変形可能部品をアンカー点として、残りの表記情報によって識別された変形可能部品と前記アンカー点との間の位置ずれを算出して、算出されたずれ値を前記追跡ターゲットの構造特徴ベクトルとするターゲット追跡装置。
8. 前記トラックセグメント特徴構築ユニットは、
   前記トラックセグメントから少なくとも１つのターゲットインスタンスを抽出し、当該少なくとも１つのターゲットインスタンスに対応するターゲット特徴情報中の視覚特徴ベクトルを前記トラックセグメントに対応する局所的特徴情報とするための局所的特徴情報定義サブユニットと、
   前記トラックセグメント中のターゲットインスタンスに対して、対応するターゲット特徴情報中の構造特徴ベクトルの平均値を算出し、当該構造特徴ベクトルに基づいて共分散演算を行って共分散行列を取得するための構造特徴ベクトル算出サブユニットと、
   前記平均値と共分散行列を前記トラックセグメントに対応する大局的特徴情報とするための大局的特徴情報定義サブユニットと、を含む請求項７に記載の装置。
9. サーバに設置されたターゲット追跡装置であって、
   画像データを取得し、前記画像データに対してターゲット検出を行って、追跡ターゲットに一対一で対応する少なくとも１つのターゲットインスタンスを取得するためのターゲットインスタンス取得モジュールと、
   少なくとも１つの前記ターゲットインスタンスから、同じ追跡ターゲットを含むターゲットインスタンスを検索し、同じ追跡ターゲットを含むターゲットインスタンスを連結してトラックセグメントを形成するためのトラックセグメント取得モジュールと、
   前記トラックセグメント中のターゲットインスタンスにより、前記トラックセグメントに対して特徴構築を行って、トラックセグメント特徴情報を取得するための特徴情報取得モジュールと、
   前記トラックセグメント特徴情報に基づいて、指定されたトラックセグメントに対してクラスタ化を行って、トラックセグメントのカテゴリ分布を取得するためのカテゴリ分布取得モジュールと、
   前記トラックセグメントのカテゴリ分布において、同一のカテゴリのトラックセグメントを連結してターゲット追跡結果を形成するための追跡結果取得モジュールと、を含み、
   前記カテゴリ分布取得モジュールは、
   予め定義された少なくとも１つのカテゴリに対して、前記トラックセグメント特徴情報に基づいて、前記指定されたトラックセグメントと少なくとも１つのカテゴリとの尤度を算出するための第１の尤度算出ユニットと、
   前記尤度に基づいて、前記指定されたトラックセグメントの少なくとも１つのカテゴリにおける一様分布に従う確率を算出するための確率算出ユニットと、
   前記指定されたトラックセグメントを最大確率に対応するカテゴリに分類するためのクラスタ化ユニットと、
   指定されたトラックセグメントのクラスタ化が完了されると、前記トラックセグメントのカテゴリ分布を形成するためのカテゴリ分布形成ユニットと、を含む装置。
10. １つ又は複数のプロセッサと、
    前記プロセッサによって実行されると、請求項１〜６のいずれか１項に記載のターゲット追跡方法を実現するコンピュータ読み取り可能な命令が記憶されている１つ又は複数のメモリと、を含む電子機器。
11. プロセッサによって実行されると、請求項１〜６のいずれか１項に記載のターゲット追跡方法を実現するコンピュータプログラム。

Images