JP6944598B2 - 目標追跡方法及び装置、記憶媒体 - Google Patents

目標追跡方法及び装置、記憶媒体 Download PDF

Info

Publication number
JP6944598B2
JP6944598B2 JP2020533117A JP2020533117A JP6944598B2 JP 6944598 B2 JP6944598 B2 JP 6944598B2 JP 2020533117 A JP2020533117 A JP 2020533117A JP 2020533117 A JP2020533117 A JP 2020533117A JP 6944598 B2 JP6944598 B2 JP 6944598B2
Authority
JP
Japan
Prior art keywords
target
blocking
position information
similarity
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020533117A
Other languages
English (en)
Other versions
JP2021514498A (ja
Inventor
▲馮▼▲うぇい▼▲韜▼
胡智昊
武▲偉▼
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2021514498A publication Critical patent/JP2021514498A/ja
Application granted granted Critical
Publication of JP6944598B2 publication Critical patent/JP6944598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

（関連出願の相互参照）
本願は、出願番号が２０１９１００４５２４７．８で、出願日が２０１９年１月１７日である中国特許出願に基づいて提出され、且つこの中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示は、画像処理に関するが、それに限定されなく、特に、目標追跡方法及び装置、記憶媒体に関する。
マルチ対象追跡（ＭＯＴ：Ｍｕｌｔｉ−Ｏｂｊｅｃｔ−Ｔｒａｃｋｉｎｇ）は、映像監視システムや自動運転自動車のような映像分析システムの重要な構成部分となっている。従来のマルチ対象追跡アルゴリズムは、多種の特徴を直接利用して軌跡関係を処理するもの、単一目標追跡を行ってから軌跡関連関係を処理するものという２種類に大別されているが、以上の２種の追跡アルゴリズムは、いずれも目標を正確に追跡することができない。
本実施例は、目標追跡方法及び装置、記憶媒体を提供する。
本開示の技術的解決手段は、以下のように実現される。
本実施例は目標追跡方法を提供し、前記方法は、
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及びび遮断対象に対応する予測遮断対象位置情報を決定するステップであって、前記遮断対象は前記第１目標対象に最も近い目標であるステップと、
前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、
前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定するステップと、
前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するステップと、を含む。
上記方法において、前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定する前記ステップは、
前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定するステップと、
前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定するステップと、
前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するステップと、を含む。
上記方法において、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定する前記ステップは、
前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定するステップと、
前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定するステップと、
前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するステップと、を含む。
上記方法において、第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定する前記ステップは、
単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するステップを含む。
上記方法において、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する前記ステップは、
歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するステップを含む。
上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定するステップと、
前記目標軌跡関連関係によって、前記第２目標対象から前記第１目標対象に関連する目標を検索して、前記第１目標対象の追跡軌跡を決定するステップと、を含む。
上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するステップと、
前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定するステップと、
前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して、前記目標軌跡関連関係とするステップと、を含む。
上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、前記方法は、
前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するステップと、
前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するステップと、を更に含む。
上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、前記方法は、
前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるステップを更に含み、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である。
上記方法において、前記方法は、
前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するステップを更に含む。
上記方法において、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得する前記ステップは、
前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するステップを含む。
上記方法において、前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である。
本実施例は目標追跡装置を提供し、前記装置は、
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される第１決定モジュールと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するように構成される第２決定モジュールと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するように構成される軌跡追跡モジュールと、を含む。
上記装置において、前記第１決定モジュールは、更に、前記予測目標位置情報及び前記現在目標位置情報に基づいて前記目標位置類似度を決定し、前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記目標外観類似度シーケンスを決定し、前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するように構成される。
上記装置において、前記第１決定モジュールは、更に、前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて前記遮断対象位置類似度を決定し、前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記遮断対象外観類似度を決定し、前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するように構成される。
上記装置において、前記第１決定モジュールは、更に、単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するように構成される。
上記装置において、前記第１決定モジュールは、更に、歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するように構成される。
上記装置において、前記軌跡追跡モジュールは、更に、前記目標類似度情報及び前記遮断対象類似度情報に基づいて前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定し、前記目標軌跡関連関係によって前記第２目標対象から前記第１目標対象に関連する目標を検索して前記第１目標対象の追跡軌跡を決定するように構成される。
上記装置において、前記軌跡追跡モジュールは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するように構成される入力サブモジュールと、
更に、前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して前記目標軌跡関連関係とするように構成される第３決定サブモジュールと、を含む。
上記装置において、前記軌跡追跡モジュールは、
更に、前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するように構成される取得サブモジュールを更に含み、
前記第３決定サブモジュールは、更に、前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するように構成される。
上記装置において、前記装置は、
更に、前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるように構成される添加モジュールを更に含み、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である。
上記装置において、前記第２決定モジュールは、更に、前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するように構成される。
上記装置において、前記取得サブモジュールは、更に、前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するように構成される。
上記装置において、前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である。
本実施例は、プロセッサ、メモリ及び通信バスを含み、前記プロセッサが前記メモリに記憶された動作プログラムを実行する時に上記のいずれか一項に記載の目標追跡方法を実現する目標追跡装置を提供する。
本実施例は、プロセッサにより実行される時に上記のいずれか一項に記載の目標追跡方法を実現するコンピュータプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体を提供する。
本実施例は、プロセッサにより実行される時に、上記の目標追跡方法を実現できるコンピュータプログラム製品を更に提供する。
本実施例は目標追跡方法及び装置、記憶媒体を開示する。前記方法は、現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定するステップと、現在画像フレームの前の履歴画像フレームシーケンスに基づいて、第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、予測目標位置情報、履歴目標外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、第１目標対象と第２目標対象との間の目標類似度情報を決定するステップと、予測遮断対象位置情報、履歴遮断対象外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、目標類似度情報及び遮断対象類似度情報に基づいて、第１目標対象の追跡軌跡を決定するステップと、を含んでよい。上記方法の解決手段を採用することによって、目標追跡装置は、現在画像フレームに隣接する履歴画像フレームに基づいて遮断対象の予測遮断対象位置情報を決定し、現在画像フレームの前の履歴画像フレームシーケンスに基づいて遮断対象の履歴遮断対象外観特徴シーケンスを決定し、遮断対象の予測遮断対象位置情報と履歴遮断対象外観特徴シーケンスを融合し、履歴画像フレーム中の第１目標対象の追跡軌跡を決定する。それによって、目標を追跡する時に、遮断対象の予測遮断対象位置情報及び履歴遮断対象外観特徴シーケンスが利用されたので、遮断対象が目標追跡に与える影響が低減され、目標追跡の正確性が高くなった。
例えば、本願は以下の項目を提供する。
（項目１）
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定するステップであって、前記遮断対象は前記第１目標対象に最も近い目標であるステップと、
前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、
前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定するステップと、
前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するステップと、を含む目標追跡方法。
（項目２）
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定する前記ステップは、
前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定するステップと、
前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定するステップと、
前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するステップと、を含む項目１に記載の方法。
（項目３）
前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定する前記ステップは、
前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定するステップと、
前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定するステップと、
前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するステップと、を含む項目１に記載の方法。
（項目４）
第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定する前記ステップは、
単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するステップを含む項目１に記載の方法。
（項目５）
前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する前記ステップは、
歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するステップを含む項目１に記載の方法。
（項目６）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定するステップと、
前記目標軌跡関連関係によって、前記第２目標対象から前記第１目標対象に関連する目標を検索して、前記第１目標対象の追跡軌跡を決定するステップと、を含む項目１に記載の方法。
（項目７）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するステップと、
前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定するステップと、
前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して、前記目標軌跡関連関係とするステップと、を含む項目６に記載の方法。
（項目８）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された場合に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するステップと、
前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するステップと、を更に含む項目６に記載の方法。
（項目９）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された場合に、次のラウンドの関連関係に前記第４目標対象を加えるステップであって、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係であるステップと、を更に含む項目６に記載の方法。
（項目１０）
前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するステップを更に含む項目４に記載の方法。
（項目１１）
前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得する前記ステップは、
前記第３目標対象の信頼度値が所定の信頼度値を満たした場合に、前記予測目標位置情報を取得するステップを含む項目８に記載の方法。
（項目１２）
前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である項目１〜１１のいずれか一項に記載の方法。
（項目１３）
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される第１決定モジュールと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するための第２決定モジュールと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するための軌跡追跡モジュールと、を含む目標追跡装置。
（項目１４）
前記第１決定モジュールは、更に、前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定し、前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定し、前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するために用いられる項目１３に記載の装置。
（項目１５）
前記第１決定モジュールは、更に、前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定し、前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定し、前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するために用いられる項目１３に記載の装置。
（項目１６）
前記第１決定モジュールは、更に、単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するために用いられる項目１３に記載の装置。
（項目１７）
前記第１決定モジュールは、更に、歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するために用いられる項目１３に記載の装置。
（項目１８）
前記軌跡追跡モジュールは、更に、前記目標類似度情報及び前記遮断対象類似度情報に基づいて前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定し、前記目標軌跡関連関係によって前記第２目標対象から前記第１目標対象に関連する目標を検索して前記第１目標対象の追跡軌跡を決定するために用いられる項目１３に記載の装置。
（項目１９）
前記軌跡追跡モジュールは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するための入力サブモジュールと、
更に、前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して前記目標軌跡関連関係とするための第３決定サブモジュールと、を含む項目１８に記載の装置。
（項目２０）
前記軌跡追跡モジュールは、
更に、前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するための取得サブモジュールを更に含み、
前記第３決定サブモジュールは、更に、前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するために用いられる項目１９に記載の装置。
（項目２１）
更に、前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるための添加モジュールを更に含み、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である項目１８に記載の装置。
（項目２２）
前記第２決定モジュールは、更に、前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するために用いられる項目１６に記載の装置。
（項目２３）
前記取得サブモジュールは、更に、前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するために用いられる項目２０に記載の装置。
（項目２４）
前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である項目１３〜２３のいずれか一項に記載の装置。
（項目２５）
プロセッサ、メモリ及び通信バスを含み、前記プロセッサが前記メモリに記憶された動作プログラムを実行する時に項目１〜１２のいずれか一項に記載の方法を実現する目標追跡装置。
（項目２６）
プロセッサにより実行される時に項目１〜１２のいずれか一項に記載の方法を実現するコンピュータプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体。
（項目２７）
プロセッサにより実行される時に、項目１〜１２のいずれか一項に記載の方法を実現できるコンピュータプログラム製品。
本実施例で提供される目標追跡方法のフローチャートである。 本実施例で提供される例示的な目標追跡方法のフローチャートである。 本実施例で提供される目標追跡装置の構造模式図１である。 本実施例で提供される目標追跡装置の構造模式図２である。
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
ここで説明される具体的な実施例は、本開示を解釈するためのものに過ぎないことを理解すべきである。本開示を限定するためのものではない。
本実施例は、目標追跡方法を開示し、図１に示すように、この方法は、各種の追跡装置に利用可能であり、以下のステップを含んでよい。
Ｓ１０１において、現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標である。
前記追跡装置は、追跡端末及び／又は追跡サーバを含んでよい。
前記追跡装置は、画像を処理可能な画像処理装置を含んでよい。例えば、この画像処理装置は、画像フレームを取得して、プロセッサによって画像フレームを処理して目標を追跡することができる画像取得モジュール（例えば、単眼又は複眼カメラ）を含んでよい。更に例えば、この画像処理装置は、画像を自ら取得せず、画像取得装置から画像フレームを受信して、画像取得装置から受信された画像フレームに対して画像処理を行って目標追跡を実現してもよい。
前記追跡サーバはネットワーク側に位置してよく、画像取得装置は取得した画像フレームを前記追跡サーバにアップロードしてよく、追跡サーバは画像フレームを受信した後目標を追跡する。
前記目標追跡方法は様々な適用シーンに用いてよく、例えば、前記目標追跡方法が安全保護分野に利用される時に、前記追跡装置は安全保護装置であってよい。工場内の区域又は住宅区域に入場する人及び／又は車両を監視するために、工場、商業ビル又は住宅区域の出入り口には一般的に各種のセキュリティ管理のための装置が設置されており、この時に、前記追跡装置は取得された映像に基づいて映像に含まれる画像フレームを分析して、人及び／又は車両の追跡を実現する。
前記目標追跡方法は更に道路交通の分野に用いてよく、道路両側に前記画像フレームを取得する画像取得装置が設置されており、追跡装置はこれらの画像フレームを取得した後画像を分析して目標を追跡し、それによって道路交通法に違反した人又は車両を追跡する。
ある実施例では、前記現在画像フレームは現時点で処理されている画像フレームであり、前記履歴画像フレームは現在画像フレームの前に取得された画像フレームである。例えば、現在画像フレームが第１時刻で取得された画像フレームであり、前記履歴画像フレームが第２時刻で取得された画像フレームであるとすれば、前記第２時刻が前記第１時刻より早い。
本実施例で提供される目標追跡方法は、動画の中で複数の目標を追跡するシーンに適用される。
本実施例では、前記第１目標対象は追跡される目標であり、例えば、履歴画像フレーム中の目標は歩行者、車両等であってよく、具体的に実際に応じて選択可能であり、本実施例は具体的に限定するものではない。前記第１目標対象は追跡される複数の目標中の１つであってよい。
本実施例では、目標追跡装置は、履歴画像フレームから第１目標対象及び第１目標対象に最も近い遮断対象を決定した後、単一目標追跡を実現可能なニューラルネットワークを用いて、第１目標対象の予測目標位置情報及び遮断対象の予測遮断対象位置情報を決定する。
本実施例では、単一目標追跡を実現可能なニューラルネットワークとしては、単一目標追跡アルゴリズムで構成されたネットワークを用いてよい。
本実施例では、目標追跡装置は、履歴画像フレームから第１目標対象を含む目標外接矩形を画定した後、いずれか２つの目標外接矩形の共通部分を求めて得られた共通面積を、対応する２つの目標外接矩形の合併部分を求めて得られた合併面積で除算した値が最も大きい１つの別の目標対象を、第１目標対象に最も近い遮断対象とする。
本実施例では、目標追跡装置は、現在画像フレームの前の１フレームの隣接画像を取得して履歴画像フレームとし、且つ単一目標追跡アルゴリズムを用いて、第１目標対象の現在画像フレームでの予測目標位置情報及び遮断対象の現在画像フレームでの予測遮断対象位置情報を決定する。
ある実施例では、単一目標追跡アルゴリズムは、シャム領域候補ネットワーク（Ｓｉａｍｅｓｅ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）方法、シャム完全畳み込みネットワーク（Ｓｉａｍｅｓｅ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ）方法等を含み、具体的には実際に応じて選択可能であり、本実施例は具体的に限定しない。
本実施例では、位置情報は、座標情報又は経度緯度情報を含んでよく、具体的には実際に応じて選択可能であり、本実施例は具体的に限定しない。
Ｓ１０２において、現在画像フレームの前の履歴画像フレームシーケンスに基づいて、第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する。
本実施例では、目標追跡装置は、現在画像フレームの前の履歴画像フレームシーケンスに基づいて、第１目標対象及び第１目標対象に最も近い遮断対象を決定した、歩行者再識別アルゴリズムを用いて第１目標対象の履歴目標外観特徴シーケンス及び遮断対象の履歴遮断対象外観特徴シーケンスを決定する。
本実施例では、目標追跡装置は、履歴画像フレームシーケンスとして現在画像フレームの前の連続した複数フレームの画像を取得し、歩行者再識別を実現可能なニューラルネットワークを用いて第１目標対象の履歴目標外観特徴シーケンス及び遮断対象の履歴遮断対象外観特徴シーケンスを決定する。
本実施例では、履歴目標外観特徴シーケンス中の特徴個数及び履歴遮断対象外観特徴シーケンス中の特徴個数は、履歴画像フレームシーケンスのフレーム数に一対一に対応し、具体的には実際に応じて選択可能であり、本実施例は具体的に限定しない。
本実施例では、歩行者再識別を実現可能なニューラルネットワークとしては、歩行者再識別アルゴリズムで構成されたネットワークを用いてよい。
本実施例では、歩行者再識別アルゴリズムは、Ｉｎｃｅｐｔｉｏｎ−ｖ４モデルを含む。
本実施例では、第１目標対象の個数は複数である。
Ｓ１０１とＳ１０２がＳ１０３の前の２つの並列ステップであり、Ｓ１０１とＳ１０２が絶対な時系列関係にならなく、具体的には実際に応じて選択可能であり、両者の実行順序が本実施例により限定されないことを説明する必要がある。
Ｓ１０３において、現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定する。
目標追跡装置は、第１目標対象に対応する予測目標位置情報及び履歴目標外観特徴シーケンス、遮断対象に対応する予測遮断対象位置情報及び履歴遮断対象外観特徴シーケンスを決定した後、現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定する。
本実施例では、目標追跡装置は、現在画像フレームに基づいて、第２目標対象及び第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定する。
本実施例では、第１目標対象は第２目標対象に対して少なくとも一部がマッチング可能であり、即ち、第１目標対象中の少なくとも一部の目標が第２目標対象中の少なくとも一部の目標とマッチング可能である。
本実施例では、第２目標対象の対象は複数である。
Ｓ１０４において、予測目標位置情報、履歴目標外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、第１目標対象と第２目標対象との間の目標類似度情報を決定する。
目標追跡装置は、現在画像フレームから、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定した後、予測目標位置情報、履歴目標外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、第１目標対象と第２目標対象との間の目標類似度情報を決定する。
本実施例では、目標追跡装置は、予測目標位置情報及び現在目標位置情報に基づいて目標位置類似度を決定し、履歴目標外観特徴シーケンス及び現在目標外観特徴に基づいて目標外観類似度シーケンスを決定し、次に、目標位置類似度及び目標外観類似度シーケンスを第１目標対象及び第２目標対象との間の目標類似度情報として決定する。
本実施例では、目標追跡装置は、予測目標位置情報と現在目標位置情報に対して類似度計算を行って目標位置類似度を得、履歴目標外観特徴シーケンスと現在目標外観特徴に対して類似度計算を行って目標外観類似度シーケンスを得る。
Ｓ１０５において、予測遮断対象位置情報、履歴遮断対象外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、遮断対象類似度情報を決定する。
目標追跡装置は、現在画像フレームから、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定した後、予測遮断対象位置情報、履歴遮断対象外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、遮断対象類似度情報を決定する。
本実施例では、目標追跡装置は、予測遮断対象位置情報及び現在目標位置情報に基づいて遮断対象位置類似度を決定し、履歴遮断対象外観特徴シーケンス及び現在目標外観特徴に基づいて遮断対象外観類似度を決定し、続いて、遮断対象位置類似度及び遮断対象外観類似度を遮断対象類似度情報として決定する。
本実施例では、目標追跡装置は、予測遮断対象位置情報及び現在目標位置情報に対して類似度計算を行って遮断対象位置類似度を得、履歴遮断対象外観特徴シーケンスと現在目標外観特徴に対して類似度計算を行って遮断対象外観類似度を得る。
本実施例では、目標位置類似度は、目標外接矩形の共通面積を合併面積で除算した値であり、目標外観類似度シーケンスは、外観特徴のコサイン夾角である。
遮断対象位置類似度の計算過程と目標位置類似度の計算過程が同様であり、遮断対象外観類似度と目標外観類似度シーケンスの計算過程が同様であることを説明する必要があり、ここで詳しい説明を省略する。
Ｓ１０４とＳ１０５がＳ１０３の後且つＳ１０６の前の２つの並列ステップであり、Ｓ１０４とＳ１０５が絶対な時系列関係にならなく、具体的には実際に応じて選択可能であり、両者の実行順序が本実施例により限定されないことを説明する必要がある。
Ｓ１０６において、目標類似度情報及び遮断対象類似度情報に基づいて、第１目標対象の追跡軌跡を決定する。
目標追跡装置は、目標類似度情報及び遮断対象類似度情報を決定した後、目標類似度情報及び遮断対象類似度情報に基づいて第１目標対象の追跡軌跡を決定する。
本実施例では、目標追跡装置は、目標類似度情報及び遮断対象類似度情報に基づいて第１目標対象と第２目標対象との間の目標軌跡関連関係を決定し、目標軌跡関連関係によって第２目標対象から第１目標対象に関連する目標を検索して第１目標対象の追跡軌跡を決定する。
本実施例では、目標追跡装置は、目標類似度情報及び遮断対象類似度情報を事前設定された分類器に入力し、続いて、事前設定された分類器を用いて、第１目標対象と第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して目標軌跡関連関係とする。
本実施例では、事前設定された分類器は、多種の軌跡関連関係中のそれぞれの関連目標の間の判定得点を出力した後、それぞれの軌跡関連関係中の判定得点を重ね、この軌跡関連関係に対応する判定得点を得、それで多種の軌跡関連関係の複数の判定得点が得られた。
本実施例では、目標追跡装置は、特定の軌跡関連アルゴリズムを用いて履歴画像フレームにおける第１目標対象と現在画像フレーム中の第２目標対象に対して軌跡を関連付けて、第１目標対象と第２目標対象との間の多種の軌跡関連関係を得る。
本実施例では、分類器としては勾配ブースティング決定木（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）モデルを採用する。
本実施例では、特定の軌跡関連アルゴリズムは二部グラフの最大重みマッチングアルゴリズム、即ち最小費用最大流アルゴリズムである。
ある実施例では、目標追跡装置は、目標軌跡関連関係を決定した後、目標関連関係中の第１目標対象から第２目標対象に関連する目標を決定することになり、目標関連関係中の第１目標対象から第２目標対象と関連しない第３目標対象を決定した時に、第３目標対象の信頼度値に基づいて、予測目標位置情報を取得し、続いて、目標関連関係及び予測目標位置情報によって第１目標対象の追跡軌跡を決定する。
一例として、目標追跡装置は、第１目標対象から第２目標対象と関連しない第３目標対象を決定した時に、履歴画像フレーム中の第３目標対象が現在画像フレームで現れなかったと判断する。この時に、目標追跡装置は、第３目標対象の信頼度値が所定の信頼度閾値を満たさないことから、第３目標対象が現在画像フレームで現れなかったと決定する。第３目標対象の信頼度値が所定の信頼度閾値を満たした時に、第３目標対象が現在画像フレーム中で遮断対象に遮断されたと決定する。この時に、目標追跡装置は第３目標対象に対応する予測目標位置情報に基づいて、第３目標対象の現在画像フレームでの位置を予測する。
ある実施例では、目標追跡装置は、目標関連関係中の第２目標対象から第１目標対象に関連する目標を決定することになり、目標関連関係中の第２目標対象から第１目標対象と関連しない第４目標対象を決定した時に、次のラウンドの関連関係に第４目標対象を加え、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である。
一例として、目標追跡装置は、第２目標対象から第１目標対象と関連しない第４目標対象を決定出した時に、第４目標対象が新しく増加した目標対象であることを示し、この時に、第４目標対象に対して目標追跡を行う。
本実施例では、目標関連関係において、第１目標対象と第２目標対象の中のマッチング可能な目標対象が二次元組を構成し、第１目標対象と第２目標対象の中のマッチング不可能な目標対象が一次元組を構成し、目標追跡装置は一次元組から第２目標対象中の目標対象を検索して、第１目標対象と関連しない第４目標対象とし、一次元組から第１目標対象中の目標対象を検索して、第２目標対象と関連しない第３目標対象とする。
本実施例では、目標追跡装置は、単一目標追跡アルゴリズムを用いて、第１目標対象に対応する信頼度値及び予測目標位置情報をそれぞれ計算する。
本実施例では、目標追跡装置は、第３目標対象に対応する信頼度値と所定の信頼度値を比較し、第３目標対象に対応する信頼度値が所定の信頼度値を満たした時に、予測目標位置情報を取得する。
本実施例中の単一目標追跡アルゴリズム、歩行者再識別アルゴリズム、事前設定された分類器及び特定の軌跡関連アルゴリズムがいずれも置換可能アルゴリズムであり、具体的には実際に応じて選択可能であり、具体的に本実施例によって限定されないことを説明する必要がある。
本実施例では、目標追跡装置は目標関連関係から映像中の異なる目標対象の移動軌跡を決定し、更に目標対象を追跡することができる。
一例として、図２に示すように、短期トレールにおいて、Ｅｘテンプレートを単一目標追跡アルゴリズム（ＳＯＴ：Ｓｉｎｇｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ）サブネットワークに入力してｔ＋１時刻の予測目標位置情報
Figure 0006944598
及び信頼度（Ｓｃｏｒｅ ｍａｐ）を取得し、続いて、検出されたｔ＋１時刻の現在目標位置情報
Figure 0006944598
に対して類似度計算を行って目標位置類似度
Figure 0006944598
を取得し、また、長期トレールにおいて、
Figure 0006944598
に対応する現在画像領域Ｉｔ＋１，
Figure 0006944598
を歩行者再識別（ＲｅＩＤ、Ｐｅｒｓｏｎ Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）サブネットワークに入力して現在目標外観特徴
Figure 0006944598
を取得し、現在目標の履歴画像フレームでの履歴画像領域
Figure 0006944598
を取得し、履歴画像領域をＲｅＩＤサブネットワークに入力して履歴目標外観特徴シーケンス
Figure 0006944598
を取得し、続いて、現在目標外観特徴と履歴目標外観特徴シーケンスとの間の類似度を順に計算し、目標外観類似度シーケンス
Figure 0006944598
を取得し、続いて、目標位置類似度及び目標外観類似度シーケンスを遮断対象感受性分類器（ＳＡＣ：Ｓｗｉｔｃｈｅｒ−Ａｗａｒｅ Ｃｌａｓｓｉｆｉｅｒ）中に入力して多種の軌跡関連関係の複数の判定得点を取得し、続いて、多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して目標軌跡関連関係とする。
目標追跡装置は、現在画像フレームに隣接する履歴画像フレームに基づいて遮断対象の予測遮断対象位置情報を決定し、現在画像フレームの前の履歴画像フレームシーケンスに基づいて遮断対象の履歴遮断対象外観特徴シーケンスを決定し、遮断対象の予測遮断対象位置情報と履歴遮断対象外観特徴シーケンスを融合し、履歴画像フレーム中の第１目標対象の追跡軌跡を決定することになり、それによって、目標を追跡する時に、遮断対象の予測遮断対象位置情報及び履歴遮断対象外観特徴シーケンスが利用されたので、遮断対象が目標追跡に与える影響が低減され、目標追跡の正確性が高くなったことが理解可能である。
本実施例は、図３に示すように、第１決定モジュール１０、第２決定モジュール１１及び軌跡追跡モジュール１２を含んでよい目標追跡装置１を提供する。
第１決定モジュール１０は、現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される。
第２決定モジュール１１は、前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するように構成される。
軌跡追跡モジュール１２は、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するように構成される。
ある実施例では、前記第１決定モジュール１０は、更に、前記予測目標位置情報及び前記現在目標位置情報に基づいて前記目標位置類似度を決定し、前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記目標外観類似度シーケンスを決定し、前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するように構成される。
ある実施例では、前記第１決定モジュール１０は、更に、前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて前記遮断対象位置類似度を決定し、前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記遮断対象外観類似度を決定し、前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するように構成される。
ある実施例では、前記第１決定モジュール１０は、更に、単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するように構成される。
ある実施例では、前記第１決定モジュール１０は、更に、歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するように構成される。
ある実施例では、前記軌跡追跡モジュール１２は、更に、前記目標類似度情報及び前記遮断対象類似度情報に基づいて前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定し、前記目標軌跡関連関係によって前記第２目標対象から前記第１目標対象に関連する目標を検索して前記第１目標対象の追跡軌跡を決定するように構成される。
ある実施例では、前記軌跡追跡モジュール１２は、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するように構成される入力サブモジュール１２０と、
更に、前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して前記目標軌跡関連関係とするように構成される第３決定サブモジュール１２１と、を含む。
ある実施例では、前記軌跡追跡モジュール１２は、
更に、前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するように構成される取得サブモジュール１２２を更に含み、
前記第３決定サブモジュール１２１は、更に、前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するように構成される。
ある実施例では、前記装置は、
更に、前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるように構成される添加モジュール１３であって、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である添加モジュール１３を更に含む。
ある実施例では、前記第２決定モジュール１１は、更に、前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するように構成される。
ある実施例では、前記取得サブモジュール１２２は、更に、前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するように構成される。
ある実施例では、前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である。
図４は本実施例で提供される目標追跡装置１の構造模式図１であり、実際に適用する際に、上記実施例に基づく同一開示の構想によれば、図４に示すように、本実施例の目標追跡装置１は、プロセッサ１４、メモリ１５及び通信バス１６を含む。前記第１決定モジュール１０、前記第２決定モジュール１１、前記軌跡追跡モジュール１２、前記入力サブモジュール１２０、前記第３決定サブモジュール１２１、取得サブモジュール１２２及び添加モジュール１３は、プロセッサ１によって実現される。
具体的な実施例の過程で、上記プロセッサ１４は、専用集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ディジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ディジタル信号処理画像表示装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラム可能論理デバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＵ、制御器、マイクロコントローラ、マイクロプロセッサの中の少なくとも１種のものであってよい。異なる装置によっては、上記プロセッサ機能を実現するための電子デバイスが他のものであってよく、本実施例により具体的に限定されないことが理解可能である。
本開示の実施例では、上記通信バス１６はプロセッサ１４とメモリ１５との間の接続通信を実現するためのものであり、上記プロセッサ１４はメモリ１５に記憶された動作プログラムを実行して上記実施例の方法を実現するためのものである。
本実施例は、プロセッサにより実行される時に上記実施例の方法を実現する、１つ又は複数のプロセッサによって実行可能な１つ又は複数のプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体を提供する。
本実施例は、プロセッサにより実行される時に、上記のいずれか１つの技術的解決手段の目標追跡方法を実現できるコンピュータプログラム製品を更に提供する。
本明細書において、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品または装置は、それらの要素のみならず、明示されていない他の要素、またはこのようなプロセス、方法、物品または装置に固有の要素をも含むことを説明する必要がある。特に断らない限り、語句「一つの……を含む」により限定される要素は、該要素を含むプロセス、方法、物品または装置に別の同じ要素がさらに存在することを排除するものではない。
以上の実施形態に対する説明によって、当業者であれば上記実施例の方法はソフトウェアと必要な共通ハードウェアプラットフォームとの組み合わせという形態で実現できることを明らかに理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本開示の技術的解決手段は実質的にまたは関連技術に寄与する部分はソフトウェアの形で実施することができ、該コンピュータソフトウェア製品は記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、画像表示装置（携帯電話、コンピュータ、サーバ、エアコン、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法を実行させる複数の命令を含む。
上述したものは、本開示の保護範囲を限定するためのものではなく、本開示の好ましい実施例に過ぎない。

Claims (16)

  1. 現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定するステップであって、前記遮断対象は前記第１目標対象に最も近い目標であるステップと、
    前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、
    前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、
    前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定するステップと、
    前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、
    前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するステップと、を含む目標追跡方法。
  2. 前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定する前記ステップは、
    前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定するステップと、
    前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定するステップと、
    前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するステップと、を含む請求項１に記載の方法。
  3. 前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定する前記ステップは、
    前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定するステップと、
    前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定するステップと、
    前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するステップと、を含む請求項１に記載の方法。
  4. 第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定する前記ステップは、
    単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するステップを含む請求項１に記載の方法。
  5. 前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する前記ステップは、
    歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するステップを含む請求項１に記載の方法。
  6. 前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定する前記ステップは、
    前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定するステップと、
    前記目標軌跡関連関係によって、前記第２目標対象から前記第１目標対象に関連する目標を検索して、前記第１目標対象の追跡軌跡を決定するステップと、を含む請求項１に記載の方法。
  7. 前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップは、
    前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するステップと、
    前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定するステップと、
    前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して、前記目標軌跡関連関係とするステップと、を含む請求項６に記載の方法。
  8. 前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
    前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された場合に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するステップと、
    前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するステップと、を更に含む請求項６に記載の方法。
  9. 前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
    前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された場合に、次のラウンドの関連関係に前記第４目標対象を加えるステップであって、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係であるステップと、を更に含む請求項６に記載の方法。
  10. 前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するステップを更に含む請求項４に記載の方法。
  11. 前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得する前記ステップは、
    前記第３目標対象の信頼度値が所定の信頼度値を満たした場合に、前記予測目標位置情報を取得するステップを含む請求項８に記載の方法。
  12. 前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である請求項１〜１１のいずれか一項に記載の方法。
  13. 現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される第１決定モジュールと、
    前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するための第２決定モジュールと、
    前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するための軌跡追跡モジュールと、を含む目標追跡装置。
  14. プロセッサ、メモリ及び通信バスを含み、前記プロセッサが前記メモリに記憶された動作プログラムを実行する時に請求項１〜１２のいずれか一項に記載の方法を実現する目標追跡装置。
  15. プロセッサにより実行される時に請求項１〜１２のいずれか一項に記載の方法を実現するコンピュータプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体。
  16. プロセッサに、請求項１〜１２のいずれか一項に記載の方法を実行させるコンピュータプログラム。



JP2020533117A 2019-01-17 2019-10-14 目標追跡方法及び装置、記憶媒体 Active JP6944598B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910045247.8 2019-01-17
CN201910045247.8A CN109816701B (zh) 2019-01-17 2019-01-17 一种目标跟踪方法及装置、存储介质
PCT/CN2019/111038 WO2020147348A1 (zh) 2019-01-17 2019-10-14 一种目标跟踪方法及装置、存储介质

Publications (2)

Publication Number Publication Date
JP2021514498A JP2021514498A (ja) 2021-06-10
JP6944598B2 true JP6944598B2 (ja) 2021-10-06

Family

ID=66604404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020533117A Active JP6944598B2 (ja) 2019-01-17 2019-10-14 目標追跡方法及び装置、記憶媒体

Country Status (7)

Country Link
US (1) US20200364882A1 (ja)
JP (1) JP6944598B2 (ja)
KR (1) KR102444769B1 (ja)
CN (1) CN109816701B (ja)
SG (1) SG11202007604XA (ja)
TW (1) TWI715320B (ja)
WO (1) WO2020147348A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN110197502B (zh) * 2019-06-06 2021-01-22 山东工商学院 一种基于身份再识别的多目标跟踪方法及系统
US11679764B2 (en) * 2019-06-28 2023-06-20 Baidu Usa Llc Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle
CN110414443A (zh) * 2019-07-31 2019-11-05 苏州市科远软件技术开发有限公司 一种目标跟踪方法、装置及枪球联动跟踪方法
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN110517293A (zh) 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、系统和计算机可读存储介质
CN110533685B (zh) * 2019-08-30 2023-10-24 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110751205A (zh) * 2019-10-17 2020-02-04 北京百度网讯科技有限公司 物体关联方法、装置、设备和介质
US11043003B2 (en) * 2019-11-18 2021-06-22 Waymo Llc Interacted object detection neural network
KR102311798B1 (ko) * 2019-12-12 2021-10-08 포항공과대학교 산학협력단 다중 객체 추적 방법 및 장치
CN111402293B (zh) * 2020-03-10 2023-11-14 北京邮电大学 面向智能交通的一种车辆跟踪方法及装置
CN112084914B (zh) * 2020-08-31 2024-04-26 的卢技术有限公司 一种融合空间运动和表观特征学习的多目标跟踪方法
CN112288775B (zh) * 2020-10-23 2022-04-15 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
CN112528932B (zh) * 2020-12-22 2023-12-08 阿波罗智联(北京)科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
KR102405955B1 (ko) * 2020-12-29 2022-06-08 현대위아 주식회사 다수의 모바일 로봇 경로 분석 시스템 및 방법
CN112734802B (zh) * 2020-12-31 2024-02-09 杭州海康威视系统技术有限公司 一种轨迹获取方法及装置
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN113420697B (zh) * 2021-07-01 2022-12-09 中科人工智能创新技术研究院(青岛)有限公司 基于表观和形状特征的换装视频行人重识别方法及系统
CN113689465A (zh) * 2021-07-16 2021-11-23 地平线(上海)人工智能技术有限公司 对目标对象进行预测的方法及装置、存储介质及电子设备
CN113674317B (zh) * 2021-08-10 2024-04-26 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN113808162B (zh) * 2021-08-26 2024-01-23 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN113793031B (zh) * 2021-09-15 2023-09-29 中海油安全技术服务有限公司 海底管线风险预测方法及装置
CN113870312B (zh) * 2021-09-30 2023-09-22 四川大学 基于孪生网络的单目标跟踪方法
CN115035158B (zh) * 2022-06-05 2023-11-17 东北石油大学 目标跟踪的方法及装置、电子设备和存储介质
CN115641359B (zh) * 2022-10-17 2023-10-31 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1859411B1 (en) * 2005-03-17 2010-11-03 BRITISH TELECOMMUNICATIONS public limited company Tracking objects in a video sequence
GB2452512B (en) * 2007-09-05 2012-02-29 Sony Corp Apparatus and method of object tracking
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
WO2011060385A1 (en) * 2009-11-13 2011-05-19 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
US8600106B1 (en) * 2010-08-31 2013-12-03 Adobe Systems Incorporated Method and apparatus for tracking objects within a video frame sequence
JP2015198592A (ja) * 2014-04-07 2015-11-12 コニカミノルタ株式会社 細胞配列チップおよび細胞の配列方法
US9390328B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Static occlusion handling using directional pixel replication in regularized motion environments
JP6474126B2 (ja) * 2015-02-27 2019-02-27 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
CN105631896B (zh) * 2015-12-18 2018-03-02 武汉大学 一种基于混合分类器决策的压缩感知跟踪方法
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
JP6614611B2 (ja) * 2016-02-29 2019-12-04 Ｋｄｄｉ株式会社 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
JP6504711B2 (ja) * 2016-03-29 2019-04-24 Kddi株式会社 画像処理装置
JP6465068B2 (ja) * 2016-04-28 2019-02-06 株式会社村田製作所 コイル部品
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
JP6439757B2 (ja) * 2016-07-08 2018-12-19 オムロン株式会社 画像処理装置および画像処理方法
CN106355604B (zh) * 2016-08-22 2019-10-18 杭州保新科技有限公司 图像目标跟踪方法与系统
WO2018081156A1 (en) * 2016-10-25 2018-05-03 Vmaxx Inc. Vision based target tracking using tracklets
CN106846373B (zh) * 2016-11-16 2019-07-05 浙江工业大学 一种融合目标外观模型和博弈论的视频目标互遮挡处理方法
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
KR101866338B1 (ko) * 2017-01-23 2018-06-11 광주과학기술원 상대적 외형 특징 및 모션 패턴을 통한 다중 객체 추적 방법 및 이에 관한 컴퓨터 판독가능 저장 매체
US10373369B2 (en) * 2017-03-16 2019-08-06 Qualcomm Technologies, Inc. Three-dimensional pose estimation of symmetrical objects
CN108875465B (zh) * 2017-05-26 2020-12-11 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN108470353A (zh) * 2018-03-01 2018-08-31 腾讯科技（深圳）有限公司 一种目标跟踪方法、装置和存储介质
US10977827B2 (en) * 2018-03-27 2021-04-13 J. William Mauchly Multiview estimation of 6D pose
CN108573496B (zh) * 2018-03-29 2020-08-11 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN108986138A (zh) * 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标跟踪方法及设备
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
CN109145781B (zh) * 2018-08-03 2021-05-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
US11948312B2 (en) * 2019-04-17 2024-04-02 Nec Corporation Object detection/tracking device, method, and program recording medium

Also Published As

Publication number Publication date
CN109816701B (zh) 2021-07-27
WO2020147348A1 (zh) 2020-07-23
TWI715320B (zh) 2021-01-01
KR20200100792A (ko) 2020-08-26
CN109816701A (zh) 2019-05-28
TW202029129A (zh) 2020-08-01
US20200364882A1 (en) 2020-11-19
KR102444769B1 (ko) 2022-09-19
JP2021514498A (ja) 2021-06-10
SG11202007604XA (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP6944598B2 (ja) 目標追跡方法及び装置、記憶媒体
CN110516556B (zh) 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
Son et al. Robust multi-lane detection and tracking using adaptive threshold and lane classification
CN106934817B (zh) 基于多属性的多目标跟踪方法及装置
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
JP7078021B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111292352B (zh) 多目标跟踪方法、装置、设备及存储介质
KR101326943B1 (ko) 추월차량 경고 시스템 및 추월차량 경고 방법
CN111505690B (zh) 实时检测应急车辆并规划行驶路径的方法及装置
CN112037257B (zh) 一种目标跟踪方法、终端及其计算机可读存储介质
CN113740837A (zh) 一种障碍物跟踪方法、装置、设备及存储介质
CN111275737A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN116645396A (zh) 轨迹确定方法、装置、计算机可读存储介质及电子设备
CN117242489A (zh) 目标跟踪方法及装置、电子设备、计算机可读介质
KR102494953B1 (ko) 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
CN112070802B (zh) 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN112800841A (zh) 一种行人计数方法、装置、系统及计算机可读存储介质
CN111986231A (zh) 一种多目标跟踪方法及系统
CN109344776B (zh) 数据处理方法
CN110781730A (zh) 智能驾驶感知方法及感知装置
CN115171185A (zh) 基于时空相关性的跨摄像头人脸跟踪方法、设备及介质
CN112116634B (zh) 一种半在线机置的多目标跟踪方法
CN114445787A (zh) 非机动车重识别方法及相关设备
CN112183204A (zh) 一种停车事件的检测方法和装置
CN112287846A (zh) 目标人物跟随方法、装置、可移动机器人及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210910

R150 Certificate of patent or registration of utility model

Ref document number: 6944598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250