JP7073527B2 - 目標対象物追跡方法及び装置、電子機器並びに記憶媒体 - Google Patents

目標対象物追跡方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7073527B2
JP7073527B2 JP2020554360A JP2020554360A JP7073527B2 JP 7073527 B2 JP7073527 B2 JP 7073527B2 JP 2020554360 A JP2020554360 A JP 2020554360A JP 2020554360 A JP2020554360 A JP 2020554360A JP 7073527 B2 JP7073527 B2 JP 7073527B2
Authority
JP
Japan
Prior art keywords
target object
image
information
identification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020554360A
Other languages
English (en)
Other versions
JP2021508900A (ja
Inventor
晶 王
広程 張
蔚琳 李
斌 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2021508900A publication Critical patent/JP2021508900A/ja
Application granted granted Critical
Publication of JP7073527B2 publication Critical patent/JP7073527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

本開示は、セキュリティ技術に関し、特に、目標対象物追跡方法及び装置、電子機器並びに記憶媒体に関する。
情報技術の発展につれて、目標対象物を追跡する追跡情報が必要される場合が多くなる。例えば、公安等のセキュリティ管理部門では、追跡情報を用いて容疑者を見張ることにより、逮捕成功率を高めることができる。
これに鑑みて、本開示は、目標対象物追跡の技術的手段を提供する。
本開示の一方面によれば、目標対象物の第1の参照画像を取得することと、前記第1の参照画像により、時間情報と場所情報が含まれている被分析画像から前記目標対象物の時間情報と場所情報を特定することと、前記目標対象物の前記時間情報と前記場所情報により、前記目標対象物の軌跡を特定することと、前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することと、を含む目標対象物追跡方法を提供する。
可能な一実施形態では、前記方法は、目標対象物の第1の参照画像を取得した後に、前記目標対象物の識別情報を特定することを更に含み、前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することは、前記目標対象物の軌跡と前記目標対象物の識別情報により、前記目標対象物を追跡するための追跡情報を生成することを含む。
可能な一実施形態では、前記目標対象物の識別情報を特定することは、前記目標対象物の第1の参照画像により、対象物の識別情報が含まれている識別画像を含む識別画像データベースから前記目標対象物を検出することと、前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定することと、を含む。
可能な一実施形態では、前記目標対象物の識別情報を特定することは、前記目標対象物の第1の参照画像により前記識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から鮮明度が前記第1の参照画像の鮮明度より高い前記目標対象物の第2の参照画像を特定することと、前記目標対象物の第2の参照画像により、前記識別画像データベースから前記目標対象物を検出することと、前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定することと、を更に含む。
可能な一実施形態では、前記方法は、前記被分析画像から前記目標対象物の関連対象物を特定することと、前記関連対象物の軌跡を特定することと、を更に含み、前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することは、前記目標対象物の軌跡と前記関連対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することを含む。
可能な一実施形態では、前記被分析画像から前記目標対象物の関連対象物を特定することは、前記被分析画像から前記目標対象物が含まれている目標画像を特定することと、前記目標画像から前記目標対象物の関連対象物を特定することと、を含む。
可能な一実施形態では、前記目標画像から前記目標対象物の関連対象物を特定することは、前記目標画像から前記目標対象物の関連対象物候補を特定することと、前記被分析画像から前記関連対象物候補を検出することと、検出された前記関連対象物候補により、前記被分析画像から前記関連対象物候補の時間情報と場所情報を特定することと、前記関連対象物候補の時間情報と場所情報により、前記関連対象物候補の軌跡を特定することと、前記関連対象物候補の軌跡と前記目標対象物の軌跡の重なり度が重なり度閾値より大きい場合、前記関連対象物候補を前記目標対象物の関連対象物と特定することと、を含む。
本開示の一方面によれば、目標対象物の第1の参照画像を取得するための第1の参照画像取得モジュールと、前記第1の参照画像により、時間情報と場所情報が含まれている被分析画像から前記目標対象物の時間情報と場所情報を特定するための情報特定モジュールと、前記目標対象物の前記時間情報と前記場所情報により、前記目標対象物の軌跡を特定するための軌跡特定モジュールと、前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成するための追跡情報生成モジュールと、を含む目標対象物追跡装置を提供する。
可能な一実施形態では、前記装置は、前記目標対象物の識別情報を特定するための第1の識別情報特定モジュールを更に含み、前記追跡情報生成モジュールは、前記目標対象物の軌跡と前記目標対象物の識別情報により、前記目標対象物を追跡するための追跡情報を生成するための第1の追跡情報生成サブモジュールを含む。
可能な一実施形態では、前記第1の識別情報特定モジュールは、前記目標対象物の第1の参照画像により、対象物の識別情報が含まれている識別画像を含む識別画像データベースから前記目標対象物を検出するための第1の検出サブモジュールと、前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定するための第1の識別情報特定サブモジュールと、を含む。
可能な一実施形態では、前記第1の識別情報特定モジュールは、前記目標対象物の第1の参照画像により前記識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から鮮明度が前記第1の参照画像の鮮明度より高い前記目標対象物の第2の参照画像を特定するための第2の参照画像取得サブモジュールと、前記目標対象物の第2の参照画像により、前記識別画像データベースから前記目標対象物を検出するための第2の検出サブモジュールと、前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定するための第2の識別情報特定サブモジュールと、を更に含む。
可能な一実施形態では、前記装置は、前記被分析画像から前記目標対象物の関連対象物を特定するための関連対象物特定モジュールと、前記関連対象物の軌跡を特定するための関連対象物軌跡特定モジュールと、を更に含み、前記追跡情報生成モジュールは、前記目標対象物の軌跡と前記関連対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成するための第2の追跡情報生成サブモジュールを含む。
可能な一実施形態では、前記関連対象物特定モジュールは、前記被分析画像から前記目標対象物が含まれている目標画像を特定するための目標画像特定サブモジュールと、前記目標画像から前記目標対象物の関連対象物を特定するための第1の関連対象物特定サブモジュールと、を含む。
可能な一実施形態では、前記第1の関連対象物特定サブモジュールは、前記目標画像から前記目標対象物の関連対象物候補を特定するための関連対象物候補特定ユニットと、前記被分析画像から前記関連対象物候補を検出するための関連対象物候補検出ユニットと、検出された前記関連対象物候補により、前記被分析画像から前記関連対象物候補の時間情報と場所情報を特定するための関連対象物候補情報特定ユニットと、前記関連対象物候補の時間情報と場所情報により、前記関連対象物候補の軌跡を特定するための関連対象物候補軌跡特定ユニットと、前記関連対象物候補の軌跡と前記目標対象物の軌跡の重なり度が重なり度閾値より大きい場合に、前記関連対象物候補を前記目標対象物の関連対象物と特定するための第2の関連対象物特定ユニットと、を含む。
本開示の一方面によれば、上記目標対象物追跡方法を実現するように構成されるプロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含む電子機器を提供する。
本開示の一方面によれば、コンピュータプログラムコマンドを記憶したコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記目標対象物追跡方法が実現されるコンピュータ読み取り可能な記憶媒体を提供する。
本開示の一方面によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器上で作動すると、前記電子機器におけるプロセッサに上記目標対象物追跡方法を実行させるコンピュータプログラムを提供する。
本開示の実施例では、目標対象物の第1の参照画像により被分析画像から目標対象物の時間情報と場所情報を特定することができる。目標対象物の時間情報と場所情報により目標対象物の軌跡を特定した後、目標対象物の軌跡により目標対象物を追跡するための追跡情報を生成する。目標対象物の第1の参照画像により被分析画像から目標対象物の軌跡を特定し、目標対象物の軌跡により得られた目標対象物の追跡情報の正確率が高くて、目標対象物追跡の成功率を高めることができる。
以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び方面は明瞭になる。
明細書に含まれ且つ明細書の一部を構成する図面は、明細書と共に本開示の例示的な実施例、特徴及び方面を示し、更に本開示の原理を解釈するために用いられる。
例示的実施例に係る目標対象物追跡方法のフローチャートである。 例示的実施例に係る目標対象物追跡方法のフローチャートである。 例示的実施例に係る目標対象物追跡方法のステップS50のフローチャートである。 例示的実施例に係る目標対象物追跡方法のステップS50のフローチャートである。 例示的実施例に係る目標対象物追跡方法のフローチャートである。 例示的実施例に係る目標対象物追跡方法のステップS60のフローチャートである。 例示的実施例に係る目標対象物追跡装置のブロック図である。 例示的実施例に係る目標対象物追跡装置のブロック図である。 例示的実施例に係る電子機器のブロック図である。
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を作る必要がない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくても、本開示が実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。
図1は例示的実施例に係る目標対象物追跡方法のフローチャートである。図1に示すように、前記目標対象物追跡方法は以下のステップを含む。
ステップS10、目標対象物の第1の参照画像を取得する。
可能な一実施形態では、目標対象物は人、動物、植物、建物等の各種の対象物を含んでよい。目標対象物は1つであってもよく、複数であってもよい。目標対象物は1種の対象物であってもよく、多種の対象物の組合であってもよい。
目標対象物の第1の参照画像は、目標対象物の写真又は肖像等を含んでよい。第1の参照画像は静的画像であってもよく、ビデオストリーム内のフレーム画像であってもよい。第1の参照画像において前記目標対象物の画像のみを含んでもよく、他の対象物の画像を含んでもよい。第1の参照画像は1枚の目標対象物の画像を含んでもよく、複数枚の目標対象物の画像を含んでもよい。
ステップS20、前記第1の参照画像により、時間情報と場所情報が含まれている被分析画像から前記目標対象物の時間情報と場所情報を特定する。
可能な一実施形態では、被分析画像は元の撮影画像を含んでよく、例えば被分析画像は監視カメラにより撮影された画像であってよい。被分析画像には複数の対象物を含んでもよく、単一の対象物を含んでもよい。例えば、混雑の場所の監視カメラにより撮影された監視画像を被分析画像と特定した場合に、撮影された監視画像Aに複数の対象物を含んでよい。
被分析画像は元の撮影画像から切り出した画像を含んでもよい。例えば、監視カメラにより撮影された元の画像に対して顔認識を行って、元の画像内の各対象物の検出結果、例えば各対象物の検出枠を取得する。各対象物の検出結果により元の画像から対応する画像を切り出して、各対象物の被分析画像を取得してよい。例えば、インターネットカフェの監視カメラにより撮影された監視画像Bに、人1、人2及び人3の合計3つの対象物を含む。顔認識技術を用いて監視画像Bから3つの対象物の検出枠を検出する。3つの検出枠により監視画像Bから対応する画像を切り出して、人1の被分析画像1、人2の被分析画像2及び人3の被分析画像3を取得することができる。この時に、各被分析画像に1つの対象物のみを含む。
被分析画像の時間情報は前記被分析画像が撮影された時間を含んでよい。被分析画像の場所情報は前記被分析画像が撮影された場所を含んでよい。例えば、前記被分析画像が監視カメラにより撮影された監視画像である場合、監視画像の撮影時間により前記被分析画像の時間情報を特定し、前記カメラの取付位置により前記被分析画像の場所情報を特定することができる。場所情報は経度緯度情報と郵便住所情報を含んでよい。
第1の参照画像に対して目標対象物の検出を行い、目標対象物の検出結果を取得してよい。画像認識技術を用いて第1の参照画像から目標対象物を検出することができる。また、第1の参照画像を対応するニューラルネットワークに入力し、ニューラルネットワークの出力結果により被分析画像から目標対象物を検出することもできる。
第1の参照画像から検出された目標対象物により、被分析画像に対して目標対象物の検出を行ってよい。被分析画像から目標対象物が検出された場合に、検出された目標対象物の所在する被分析画像の時間情報と場所情報により、目標対象物の時間情報と場所情報を取得することができる。
被分析画像が複数含まれて、目標対象物の複数の時間情報と場所情報を取得してよい。
ステップS30、前記目標対象物の前記時間情報と前記場所情報により前記目標対象物の軌跡を特定する。
可能な一実施形態では、目標対象物の時間情報と場所情報は一対一に対応してよい。目標対象物の時間情報により、時間の先後順序で場所情報を関連付けて目標対象物の軌跡を取得することができる。例えば、目標対象物のリスト方式の軌跡を取得する。
また、地図において目標対象物の時間情報と場所情報をマーキングし、且つマーキングされた前記場所情報と時間情報により、時間の先後順序で地図での各マークを順に連結して、目標対象物の線形の軌跡を取得することもできる。地図での目標対象物の線形軌跡がより直感的なものである。
目標対象物の時間情報と場所情報が1対しかない場合に、目標対象物の軌跡は1つの時間点に対応する場所であってよい。
ステップS40、前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成する。
可能な一実施形態では、目標対象物の軌跡により、目標対象物の活動規律を特定したり、目標対象物がよく出現する時間及び/又は場所を特定したりすることができ、目標対象物の出現可能な時間と場所を予測し、且つ予測結果により前記目標対象物を追跡するための追跡情報を生成することができる。例えば、セキュリティ管理部門は、容疑者の軌跡により容疑者がよく出現する時間と場所を特定し、容疑者の軌跡により出現可能な時間と場所を予測し、且つ予測結果により容疑者に対する追跡情報を生成することができ、容疑者追跡の成功率を高めることができる。
本実施例では、目標対象物の第1の参照画像により、被分析画像から目標対象物の時間情報と場所情報を特定することができる。目標対象物の時間情報と場所情報により目標対象物の軌跡を特定した後、目標対象物の軌跡により目標対象物を追跡するための追跡情報を生成する。目標対象物の第1の参照画像により被分析画像から目標対象物の軌跡を特定し、目標対象物の軌跡により得られた目標対象物の追跡情報の正確率が高くて、目標対象物追跡の成功率を高めることができる。
図2は例示的実施例に係る目標対象物追跡方法のフローチャートである。図2に示すように、前記目標対象物追跡方法は、ステップS10の後に、前記目標対象物の識別情報を特定するステップS50を更に含む。
可能な一実施形態では、目標対象物の識別情報は目標対象物の名称、属性、特徴等の情報を含んでよい。識別情報を用いて目標対象物を他の対象物と区別することができる。識別情報を用いて目標対象物のより全面的な情報を取得することができる。
例えば、目標対象物が人である場合に、識別情報は目標対象物の身分証明書情報、犯罪歴情報、社会関係情報等を含んでよい。
必要に応じて複数の識別情報ベースを構築することできる。必要に応じて対応する識別情報ベースで検索することができる。必要に応じて、予め設定された目標対象物の識別情報を取得することができる。必要に応じて目標対象物の予め設定された識別情報を取得することもできる。例えば、目標対象物が人である場合に、身分証明書情報ベースを構築してよい。必要に応じて年齢範囲が20歳-40歳の容疑者の身分証明書情報を取得することができる。年齢範囲が20歳-40歳の容疑者の住所情報を取得することもできる。
ステップS40は、前記目標対象物の軌跡と前記目標対象物の識別情報により、前記目標対象物を追跡するための追跡情報を生成するステップS41を含む。
可能な一実施形態では、目標対象物の軌跡に加えて目標対象物の識別情報により、追跡情報を取得することができる。例えば、目標対象物の識別情報により、目標対象物の年齢、身長、体重等の特徴を特定し、生成する追跡情報に目標対象物の年齢、身長、体重等の特徴を含ませて、より全面的な目標対象物の情報を追跡情報の利用者に取得させることができる。
本実施例では、目標対象物の識別情報を特定し、目標対象物の軌跡と識別情報により目標対象物を追跡するための追跡情報を生成する。識別情報を用いることで、より全面的且つ正確な追跡情報を取得できる。生成した追跡情報が目標対象物追跡に用いられる場合に、識別情報により目標対象物追跡の成功率を高めることができる。
図3は例示的実施例に係る目標対象物追跡方法のステップS50のフローチャートである。図3に示すように、前記目標対象物追跡方法のステップS50は以下のステップを含む。
ステップS51、前記目標対象物の第1の参照画像により、対象物の識別情報が含まれている識別画像を含む識別画像データベースから前記目標対象物を検出する。
可能な一実施形態では、識別画像データベースに複数の目標対象物の識別画像を含み、且つ各識別画像に目標対象物の識別情報を含む。必要に応じて設定条件を満たす対象物に対して識別画像データベースを構築してよい。例えば、犯罪歴がある対象物に対して識別画像データベースを構築してよい。設定された識別範囲を満たす対象物の識別画像データベースを構築してよい。例えば、設定された年齢範囲、設定された性別等の識別情報を満たす対象物の識別画像データベースを構築してよい。
第1の参照画像内の目標対象物により識別画像データベース内の識別画像から前記目標対象物を検出できる。画像認識等の技術を用いて識別画像データベースから目標対象物を検出できる。また、目標対象物の第1の参照画像をニューラルネットワークに入力し、ニューラルネットワークの出力結果により識別画像データベースから目標対象物を検出することもできる。
例えば、識別画像データベースは身分証明書情報ベースを含んでよい。身分証明書情報ベース内の識別画像は、各人の身分証明書上の写真を含んでよい。各識別画像は更に各人の身分証明書上の氏名、住所、年齢等の身分証明書情報を含む。容疑者Aの写真1により身分証明書情報ベース内の写真から容疑者Aを検出できる。
ステップS52、前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定する。
可能な一実施形態では、識別画像データベースから目標対象物が検出された場合に、検出結果により目標対象物に対応する識別画像を特定し、目標対象物に対応する識別情報を特定することができる。例えば、身分証明書情報ベースから容疑者Aの身分証明書写真が検出された場合に、検出結果により容疑者Aの氏名、年齢、住所等の身分証明書上の識別情報を特定できる。
本実施例では、目標対象物の第1の参照画像により、識別画像データベースから目標対象物の識別情報を特定できる。識別画像データベースを用いることで、目標対象物を容易且つ正確に検出でき、最終的に生成する目標対象物の追跡情報がより正確になる。
図4は例示的実施例に係る目標対象物追跡方法のステップS50のフローチャートである。図4に示すように、前記目標対象物追跡方法のステップS50は、更に以下のステップを含む。
ステップS53、前記目標対象物の第1の参照画像により前記識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から鮮明度が前記第1の参照画像の鮮明度より高い前記目標対象物の第2の参照画像を特定する。
可能な一実施形態では、撮影角度、撮影環境によって、第1の参照画像内の目標対象物の鮮明度と特徴が異なることがある。第1の参照画像内の目標対象物の鮮明度が悪く又は特徴が不完全である場合に、識別画像データベースから目標対象物を検出できないことがある。
第1の参照画像により識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から鮮明度が前記第1の参照画像の鮮明度より高い前記目標対象物の第2の参照画像を特定してよい。被分析画像データベースには複数の候補対象物の画像を含んでよく、被分析画像内の候補対象物と第1の参照画像内の目標対象物との類似度により、被分析画像から目標対象物を特定できる。また、目標対象物の特定結果により被分析画像から目標対象物の第2の参照画像を特定する。
可能な一実施形態では、被分析画像内の候補対象物と目標対象物との類似度が類似度閾値より大きい場合に、候補対象物を目標対象物と特定できる。
例えば、容疑者Bの写真3は撮影時間が夜であるため、鮮明度が悪く、写真3により識別画像データベースから容疑者Bを検出することができない。容疑者Bの写真3により被分析画像データベースから容疑者Bの画像4を特定できる。画像4の鮮明度が写真3の鮮明度より高い。画像4内の容疑者Bがより鮮明であり、及び/又は容疑者Bの特徴がより全面的である。
ステップS54、前記目標対象物の第2の参照画像により、前記識別画像データベースから前記目標対象物を検出する。
可能な一実施形態では、特定された目標対象物の第2の参照画像により識別画像データベースから目標対象物を検出し続けることができる。例えば、容疑者Bの画像4により、識別画像データベースから容疑者Bを検出し続けることができる。第2の参照画像の鮮明度が第1の参照画像の鮮明度より高いため、識別画像データベースから目標対象物が検出された成功率を高めることができる。
ステップS55、前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定する。
可能な一実施形態では、第2の参照画像により識別画像データベースから目標対象物を検出した場合に、検出結果により目標対象物の識別情報を取得することができる。例えば、容疑者Bの画像4により身分証明書情報ベースから容疑者Bの身分証明書写真を検出した後、容疑者Bの氏名、年齢及び住所等の身分証明書上の識別情報を取得することができる。
本実施例では、目標対象物の第1の参照画像により識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から前記目標対象物の第2の参照画像を特定し、第2の参照画像により識別画像データベースから目標対象物を検出し、目標対象物の識別情報を取得することができる。第1の参照画像が鮮明でない場合に、第2の参照画像により目標対象物の識別情報を取得でき、目標対象物の識別情報の取得成功率が高められる。
図5は例示的実施例に係る目標対象物追跡方法のフローチャートである。図5に示すように、前記目標対象物追跡方法は以下のステップを更に含む。
ステップS60、前記被分析画像から前記目標対象物に関連する関連対象物を特定する。
可能な一実施形態では、目標対象物の関連対象物は、目標対象物と異なる時間で同一な場所で出現する対象物を含んでもよく、目標対象物と同じ時間で同一な場所で出現する対象物を含んでもよい。例えば、関連対象物は目標対象物と異なる時間で場所1、場所2で出現した対象物を含んでもよく、目標対象物と同じな3つの時間で同時に場所3で出現した対象物を含んでもよい。必要に応じて目標対象物の関連対象物を特定できる。
被分析画像から目標対象物と同一な場所で出現した候補対象物を検出し、予め設定された関連対象物特定条件に従って候補対象物から関連対象物を特定することができる。
目標対象物に複数の関連対象物を関連させてもよい。
ステップS70、前記関連対象物の軌跡を特定する。
可能な一実施形態では、関連対象物の所在する画像により、被分析画像から関連対象物の時間情報と場所情報を特定し、関連対象物の時間情報と場所情報により、関連対象物の軌跡を特定することができる。関連対象物の軌跡特定のプロセスは、目標対象物の軌跡生成のプロセスと類似する。図1に示す実施例における目標対象物の軌跡生成のプロセスを参照してよい。
ステップS40は、前記目標対象物の軌跡と前記関連対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成するステップS42を含む。
可能な一実施形態では、目標対象物の軌跡において目標対象物の時間情報と場所情報が多い場合に、より限定的に目標対象物を追跡するために、目標対象物の軌跡と関連対象物の軌跡により目標対象物と関連対象物の交差軌跡を生成し、交差軌跡を用いて目標対象物を追跡するための追跡情報を生成することができる。
目標対象物の軌跡において目標対象物の時間情報と場所情報が少ない場合に、より有用な追跡情報を生成するために、目標対象物の軌跡と関連対象物の軌跡を組み合わせて組合せ軌跡を生成し、組合せ軌跡を用いて目標対象物を追跡するための追跡情報を生成することができる。
本実施例では、被分析画像から目標対象物の関連対象物を特定し、関連対象物の軌跡と目標対象物の軌跡により目標対象物を追跡するための追跡軌跡を生成する。関連対象物の軌跡を用いることで、目標対象物の軌跡を補足したり、修正したりして、より正確な追跡情報を生成することができる。
図6は例示的実施例に係る目標対象物追跡方法のステップS60のフローチャートである。図6に示すように、前記目標対象物追跡方法のステップS60は、
前記被分析画像から前記目標対象物が含まれている目標画像を特定するステップS61と、
前記目標画像から前記目標対象物の関連対象物を特定するステップS62と、を含む。
可能な一実施形態では、被分析画像から前記目標対象物が含まれている目標画像を特定できる。目標画像は目標対象物の所在する被分析画像であってよい。
被分析画像から目標対象物の複数の目標画像を特定できる。目標画像には目標対象物以外の1つ又は複数の他の対象物を含んでよい。各目標画像に含まれる他の対象物は異なってよい。必要に応じて、異なる関連対象物選択条件に従って目標画像から関連対象物を特定してよい。例えば、目標画像で出現した他の対象物を全て関連対象物と特定してよい。また、各目標画像で出現した回数が回数閾値より大きい他の対象物を関連対象物と特定してよい。
例えば、目標対象物1の目標画像は目標画像1、目標画像2及び目標画像3の3つものがある。ここで、目標画像1には目標対象物に加えて、対象物A、対象物B及び対象物Cを含む。目標画像2には目標対象物に加えて、対象物B、対象物C、対象物D及び対象物Eを含む。目標画像3には目標対象物に加えて、対象物A、対象物C、対象物D及び対象物Eを含む。出現回数が回数閾値より大きいという関連対象物選択条件に従って、出現回数が2回より大きい対象物Cを目標対象物の関連対象物と特定することができる。また、同一な場所で出現したという関連対象物選択条件に従って、対象物A~対象物Eを全て目標対象物の関連対象物と特定することができる。
本実施例では、被分析画像から目標対象物の目標画像を特定した後、目標画像から関連対象物を特定する。目標画像を用いることで、関連対象物を容易且つ正確に特定できる。
可能な一実施形態では、前記目標対象物追跡方法のステップS62は、
前記目標画像から前記目標対象物の関連対象物候補を特定するステップと、
前記被分析画像から前記関連対象物候補を検出するステップと、
検出された前記関連対象物候補により、前記被分析画像から前記関連対象物候補の時間情報と場所情報を特定するステップと、
前記関連対象物候補の時間情報と場所情報により、前記関連対象物候補の軌跡を特定するステップと、
前記関連対象物候補の軌跡と前記目標対象物の軌跡の重なり度が重なり度閾値より大きい時に、前記関連対象物候補を前記目標対象物の関連対象物と特定するステップと、を含む。
可能な一実施形態では、必要に応じて目標画像から関連対象物候補を特定してよい。例えば、目標対象物の目標画像で出現した他の対象物を関連対象物候補と特定してよい。
目標画像内の関連対象物候補により被分析画像において検出することができる。画像認識技術を用いて被分析画像から関連対象物候補を認識することができる。また、目標画像内の関連対象物候補をニューラルネットワークに入力し、ニューラルネットワークを用いて被分析画像から関連対象物候補を検出することもできる。
被分析画像から関連対象物候補が検出された場合に、関連対象物候補が含まれている被分析画像の時間情報と場所情報により関連対象物候補の時間情報と場所情報を特定することができる。関連対象物候補の複数の時間情報と場所情報を特定できる。
関連対象物候補の時間情報と場所情報により、関連対象物候補の軌跡を取得することができる。例えば、時間順序で関連対象物候補の場所情報を関連付けて関連対象物候補の軌跡を取得することができる。また、地図において関連対象物候補の時間情報と場所情報をマーキングし、時間順序で各場所を線形連結して、関連対象物候補の線形の軌跡を取得することもできる。
必要に応じて重なり度閾値を設定し、関連対象物候補の軌跡と目標対象物の軌跡の重なり度が重なり度閾値より大きい場合に、関連対象物候補を目標対象物の関連対象物と特定してよい。関連対象物候補の軌跡と目標対象物の軌跡との重なりは、関連対象物候補の時間情報と場所情報が完全に重なっていることを含んでもよく、関連対象物候補の時間情報と目標対象物の時間情報が設定された時間範囲内で重なっていること、及び/又は関連対象物候補の場所情報と目標対象物の場所情報が設定された地理的範囲内で重なっていることを含んでもよい。
本実施例では、関連対象物候補の軌跡、目標対象物との重なり度及び重なり度閾値により目標対象物の関連対象物を特定する。関連対象物と目標対象物とは密接な関連関係がある。関連対象物の軌跡は、追跡情報の修正と補足に寄与する。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。
図7は例示的実施例に係る目標対象物追跡装置のブロック図である。図7に示すように、前記目標対象物追跡装置は、
目標対象物の第1の参照画像を取得するための第1の参照画像取得モジュール10と、
前記第1の参照画像により、時間情報と場所情報が含まれている被分析画像から前記目標対象物の時間情報と場所情報を特定するための情報特定モジュール20と、
前記目標対象物の前記時間情報と前記場所情報により、前記目標対象物の軌跡を特定するための軌跡特定モジュール30と、
前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成するための追跡情報生成モジュール40と、を含む。
図8は例示的実施例に係る目標対象物追跡装置のブロック図である。図8に示すように、可能な一実施形態では、前記装置は、
前記目標対象物の識別情報を特定するための第1の識別情報特定モジュール50を更に含み、
前記追跡情報生成モジュール40は、
前記目標対象物の軌跡と前記目標対象物の識別情報により、前記目標対象物を追跡するための追跡情報を生成するための第1の追跡情報生成サブモジュール41を含む。
可能な一実施形態では、前記第1の識別情報特定モジュール50は、
前記目標対象物の第1の参照画像により、対象物の識別情報が含まれている識別画像を含む識別画像データベースから前記目標対象物を検出するための第1の検出サブモジュール51と、
前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定するための第1の識別情報特定サブモジュール52と、を含む。
可能な一実施形態では、前記第1の識別情報特定モジュール50は、
前記目標対象物の第1の参照画像により前記識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から鮮明度が前記第1の参照画像の鮮明度より高い前記目標対象物の第2の参照画像を特定するための第2の参照画像取得サブモジュール53と、
前記目標対象物の第2の参照画像により、前記識別画像データベースから前記目標対象物を検出するための第2の検出サブモジュール54と、
前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定するための第2の識別情報特定サブモジュール55と、を更に含む。
可能な一実施形態では、前記装置は、
前記被分析画像から前記目標対象物の関連対象物を特定するための関連対象物特定モジュール60と、
前記関連対象物の軌跡を特定するための関連対象物軌跡特定モジュール70と、を更に含み、
前記追跡情報生成モジュール40は、
前記目標対象物の軌跡と前記関連対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成するための第2の追跡情報生成サブモジュール42を含む。
可能な一実施形態では、前記関連対象物特定モジュール60は、
前記被分析画像から前記目標対象物が含まれている目標画像を特定するための目標画像特定サブモジュール61と、
前記目標画像から前記目標対象物の関連対象物を特定するための第1の関連対象物特定サブモジュール62と、を含む。
可能な一実施形態では、前記第1の関連対象物特定サブモジュール62は、
前記目標画像から前記目標対象物の関連対象物候補を特定するための関連対象物候補特定ユニットと、
前記被分析画像から前記関連対象物候補を検出するための関連対象物候補検出ユニットと、
検出された前記関連対象物候補により、前記被分析画像から前記関連対象物候補の時間情報と場所情報を特定するための関連対象物候補情報特定ユニットと、
前記関連対象物候補の時間情報と場所情報により、前記関連対象物候補の軌跡を特定するための関連対象物候補軌跡特定ユニットと、
前記関連対象物候補の軌跡と前記目標対象物の軌跡の重なり度が重なり度閾値より大きい場合に、前記関連対象物候補を前記目標対象物の関連対象物と特定するための第2の関連対象物特定ユニットと、を含む。
いくつかの実施例では、本開示の実施例で提供される装置が備えている機能又はモジュールは、上述の方法の実施例で説明した方法を実行するために用いられることができる。具体的な実現については上述した方法の実施例に対する説明を参照してよく、簡潔化するために、ここで詳細な説明を省略する。
本開示の実施例は、直接又は間接的に実行可能なコマンドを呼び出すことによって上記目標対象物追跡方法を実行するプロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含む電子機器を更に提供する。
本開示の実施例は、コンピュータプログラムコマンドを記憶したコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記目標対象物追跡方法が実現されるコンピュータ読み取り可能な記憶媒体を更に提供する。コンピュータ読み取り可能な記憶媒体は、非揮発性コンピュータ読み取り可能な記憶媒体であってもよいし、揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例は、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器上で作動すると、前記電子機器におけるプロセッサを上記目標対象物追跡方法を実行させるコンピュータプログラムを更に提供する。
図9は例示的実施例に係る電子機器のブロック図である。例えば、電子機器は端末、サーバ又は他の形態の機器として提供される。例えば、電子機器は目標対象物追跡装置1900を含んでよい。図9を参照すると、機器1900は、一つ以上のプロセッサを含む処理コンポーネント1922、および、処理コンポーネント1922によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ1932を代表とするメモリ資源を含む。メモリ1932に記憶されたアプリケーションプログラムはそれぞれが一つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント1922は命令を実行することによって上記方法を実行するように構成される。
機器1900はさらに、機器1900の電源管理を実行するように構成された電源コンポーネント1926、機器1900をネットワークに接続するように構成された有線または無線ネットワークインターフェイス1950、および入出力(I/O)インターフェイス1958を含んでもよい。機器1900はメモリ1932に記憶されたオペレーティングシステム、例えばWindows(登録商標)ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTMまたは類似するものに基づいて動作できる。
例示的な実施例では、さらに、コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ1932が提供され、上記コンピュータプログラム命令が機器1900の処理コンポーネント1922によって実行されると上記方法を実行することができる。
本開示はシステム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
コンピュータ読み取り可能な記憶媒体は命令実行装置により使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例(非網羅的リスト)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波(例えば、光ファイバーケーブルを通過するパルス光)、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算/処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび/または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび/またはエッジサーバを含んでもよい。各計算/処理機器内のネットワークアダプタカードまたはネットワークインターフェイスはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算/処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを経由して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより本開示の各方面を実現するようにしてもよい。
なお、ここで本開示の実施例に係る方法、装置(システム)およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照しながら本開示の各方面を説明しが、フローチャートおよび/またはブロック図の各ブロックおよびフローチャートおよび/またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および/または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作の各方面を実現するための命令を有する製品を含む。
コンピュータ読み取り可能なプログラムをコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現する。
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は、指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異って実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
本願は、2018年6月1日に中国特許局に提出された、出願番号201810558523.6、発明の名称「目標対象物追跡方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

Claims (11)

  1. 目標対象物の第1の参照画像を取得することと、
    前記第1の参照画像により、時間情報と場所情報が含まれている被分析画像から前記目標対象物の時間情報と場所情報を特定することと、
    前記目標対象物の前記時間情報と前記場所情報により、前記目標対象物の軌跡を特定することと、
    前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することと
    前記被分析画像から前記目標対象物の関連対象物を特定することと、
    前記関連対象物の軌跡を特定することと、を含み、
    前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することは、
    前記目標対象物の軌跡と前記関連対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することを含み、
    前記被分析画像から前記目標対象物の関連対象物を特定することは、
    前記被分析画像から前記目標対象物が含まれている目標画像を特定することと、
    前記目標画像から前記目標対象物の関連対象物を特定することと、を含み、
    前記目標画像から前記目標対象物の関連対象物を特定することは、
    前記目標画像から前記目標対象物の関連対象物候補を特定することと、
    前記被分析画像から前記関連対象物候補を検出することと、
    検出された前記関連対象物候補により、前記被分析画像から前記関連対象物候補の時間情報と場所情報を特定することと、
    前記関連対象物候補の時間情報と場所情報により、前記関連対象物候補の軌跡を特定することと、
    前記関連対象物候補の軌跡と前記目標対象物の軌跡の重なり度が重なり度閾値より大きい場合に、前記関連対象物候補を前記目標対象物の関連対象物と特定することと、を含むことを特徴とする目標対象物追跡方法。
  2. 目標対象物の第1の参照画像を取得した後に、
    前記目標対象物の識別情報を特定することを更に含み、
    前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成することは、
    前記目標対象物の軌跡と前記目標対象物の識別情報により、前記目標対象物を追跡するための追跡情報を生成することを含むことを特徴とする請求項1に記載の方法。
  3. 前記目標対象物の識別情報を特定することは、
    前記目標対象物の第1の参照画像により、対象物の識別情報が含まれている識別画像を含む識別画像データベースから前記目標対象物を検出することと、
    前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定することと、を含むことを特徴とする請求項2に記載の方法。
  4. 前記目標対象物の識別情報を特定することは、
    前記目標対象物の第1の参照画像により前記識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から鮮明度が前記第1の参照画像の鮮明度より高い前記目標対象物の第2の参照画像を特定することと、
    前記目標対象物の第2の参照画像により、前記識別画像データベースから前記目標対象物を検出することと、
    前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定することと、を更に含むことを特徴とする請求項3に記載の方法。
  5. 目標対象物の第1の参照画像を取得するための第1の参照画像取得モジュールと、
    前記第1の参照画像により、時間情報と場所情報が含まれている被分析画像から前記目標対象物の時間情報と場所情報を特定するための情報特定モジュールと、
    前記目標対象物の前記時間情報と前記場所情報により、前記目標対象物の軌跡を特定するための軌跡特定モジュールと、
    前記目標対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成するための追跡情報生成モジュールと
    前記被分析画像から前記目標対象物の関連対象物を特定するための関連対象物特定モジュールと、
    前記関連対象物の軌跡を特定するための関連対象物軌跡特定モジュールと、を含み、
    前記追跡情報生成モジュールは、
    前記目標対象物の軌跡と前記関連対象物の軌跡により、前記目標対象物を追跡するための追跡情報を生成するための第2の追跡情報生成サブモジュールを含み、
    前記関連対象物特定モジュールは、
    前記被分析画像から前記目標対象物が含まれている目標画像を特定するための目標画像特定サブモジュールと、
    前記目標画像から前記目標対象物の関連対象物を特定するための第1の関連対象物特定サブモジュールと、を含み、
    前記第1の関連対象物特定サブモジュールは、
    前記目標画像から前記目標対象物の関連対象物候補を特定するための関連対象物候補特定ユニットと、
    前記被分析画像から前記関連対象物候補を検出するための関連対象物候補検出ユニットと、
    検出された前記関連対象物候補により、前記被分析画像から前記関連対象物候補の時間情報と場所情報を特定するための関連対象物候補情報特定ユニットと、
    前記関連対象物候補の時間情報と場所情報により、前記関連対象物候補の軌跡を特定するための関連対象物候補軌跡特定ユニットと、
    前記関連対象物候補の軌跡と前記目標対象物の軌跡の重なり度が重なり度閾値より大きい時に、前記関連対象物候補を前記目標対象物の関連対象物と特定するための第2の関連対象物特定ユニットと、を含むことを特徴とする目標対象物追跡装置。
  6. 前記目標対象物の識別情報を特定するための第1の識別情報特定モジュールを更に含み、
    前記追跡情報生成モジュールは、
    前記目標対象物の軌跡と前記目標対象物の識別情報により、前記目標対象物を追跡するための追跡情報を生成するための第1の追跡情報生成サブモジュールを含むことを特徴とする請求項に記載の装置。
  7. 前記第1の識別情報特定モジュールは、
    前記目標対象物の第1の参照画像により、対象物の識別情報が含まれている識別画像を含む識別画像データベースから前記目標対象物を検出するための第1の検出サブモジュールと、
    前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定するための第1の識別情報特定サブモジュールと、を含むことを特徴とする請求項に記載の装置。
  8. 前記第1の識別情報特定モジュールは、
    前記目標対象物の第1の参照画像により前記識別画像データベースから目標対象物を検出できない場合に、前記被分析画像から鮮明度が前記第1の参照画像の鮮明度より高い前記目標対象物の第2の参照画像を特定するための第2の参照画像取得サブモジュールと、
    前記目標対象物の第2の参照画像により、前記識別画像データベースから前記目標対象物を検出するための第2の検出サブモジュールと、
    前記識別画像データベースから検出された目標対象物により、前記目標対象物の識別情報を特定するための第2の識別情報特定サブモジュールと、を更に含むことを特徴とする請求項に記載の装置。
  9. 請求項1~のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
    プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含むことを特徴とする電子機器。
  10. コンピュータプログラムコマンドを記憶したコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項1~のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ読み取り可能な記憶媒体。
  11. コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器上で作動すると、前記電子機器におけるプロセッサに請求項1~のいずれか一項に記載の方法を実行させることを特徴とするコンピュータプログラム。
JP2020554360A 2018-06-01 2019-05-16 目標対象物追跡方法及び装置、電子機器並びに記憶媒体 Active JP7073527B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810558523.6 2018-06-01
CN201810558523.6A CN108897777B (zh) 2018-06-01 2018-06-01 目标对象追踪方法及装置、电子设备和存储介质
PCT/CN2019/087261 WO2019228194A1 (zh) 2018-06-01 2019-05-16 目标对象追踪方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021508900A JP2021508900A (ja) 2021-03-11
JP7073527B2 true JP7073527B2 (ja) 2022-05-23

Family

ID=64344001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554360A Active JP7073527B2 (ja) 2018-06-01 2019-05-16 目標対象物追跡方法及び装置、電子機器並びに記憶媒体

Country Status (5)

Country Link
US (2) US11195284B2 (ja)
JP (1) JP7073527B2 (ja)
CN (1) CN108897777B (ja)
SG (1) SG11202005970QA (ja)
WO (1) WO2019228194A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897777B (zh) * 2018-06-01 2022-06-17 深圳市商汤科技有限公司 目标对象追踪方法及装置、电子设备和存储介质
CN109547748B (zh) * 2018-12-07 2021-06-11 苏州科达科技股份有限公司 对象落脚点确定方法、装置及存储介质
CN112771566A (zh) * 2018-12-24 2021-05-07 华为技术有限公司 图像处理装置和图像处理方法
CN111385834B (zh) * 2018-12-27 2023-08-18 深圳市大数据研究院 对象识别方法、装置、电子设备及计算机可读存储介质
CN111382627B (zh) * 2018-12-28 2024-03-26 成都云天励飞技术有限公司 同行判定方法及相关产品
CN109800329B (zh) * 2018-12-28 2021-07-02 上海依图网络科技有限公司 一种监控方法及装置
CN109800664B (zh) * 2018-12-28 2024-01-12 上海依图网络科技有限公司 一种确定路人轨迹的方法及装置
CN109740004B (zh) * 2018-12-28 2023-07-11 上海依图网络科技有限公司 一种归档方法及装置
CN109784220B (zh) * 2018-12-28 2022-06-17 上海依图网络科技有限公司 一种确定路人轨迹的方法及装置
CN111429476B (zh) * 2019-01-09 2023-10-20 杭州海康威视系统技术有限公司 确定目标人物行动轨迹的方法和装置
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111524160A (zh) * 2019-02-01 2020-08-11 深圳市商汤科技有限公司 轨迹信息获取方法及装置、电子设备和存储介质
CN110110690B (zh) * 2019-05-16 2023-04-07 廊坊鑫良基科技有限公司 一种目标行人追踪方法、装置、设备及存储介质
CN110659560B (zh) * 2019-08-05 2022-06-28 深圳市优必选科技股份有限公司 一种关联对象的识别方法及系统
CN110502651B (zh) * 2019-08-15 2022-08-02 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111126807B (zh) * 2019-12-12 2023-10-10 浙江大华技术股份有限公司 行程切分方法和装置、存储介质及电子装置
CN111010547A (zh) * 2019-12-23 2020-04-14 浙江大华技术股份有限公司 目标对象的追踪方法及装置、存储介质、电子装置
CN113326410B (zh) * 2020-02-28 2024-02-13 拓尔思天行网安信息技术有限责任公司 基于时空关联的关系人行为轨迹分析方法和装置
CN112037927A (zh) * 2020-08-24 2020-12-04 北京金山云网络技术有限公司 与被追踪人关联的同行人确定方法、装置及电子设备
CN112040186B (zh) * 2020-08-28 2023-01-31 北京市商汤科技开发有限公司 目标对象的活动区域确定方法、装置、设备及存储介质
CN113487651B (zh) * 2021-06-17 2022-07-05 超节点创新科技(深圳)有限公司 行李跟踪方法、装置、设备及可读存储介质
KR102473801B1 (ko) * 2021-07-07 2022-12-05 주식회사 딥핑소스 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치
US11388330B1 (en) * 2021-07-07 2022-07-12 Deeping Source Inc. Method for tracking target objects in a specific space, and device using the same
CN114185964A (zh) * 2021-12-03 2022-03-15 深圳市商汤科技有限公司 数据处理方法、装置、设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236255A (ja) 2005-02-28 2006-09-07 Mitsubishi Electric Corp 人物追跡装置および人物追跡システム
CN106056110A (zh) 2016-08-09 2016-10-26 成都联众智科技有限公司 交通监控视频中的人脸检测跟踪方法
US20160373661A1 (en) 2015-06-16 2016-12-22 Chengdu Ck Technology Co., Ltd. Camera system for generating images with movement trajectories
CN107665495A (zh) 2016-07-26 2018-02-06 佳能株式会社 对象跟踪方法及对象跟踪装置
US20180158197A1 (en) 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631972A (en) * 1995-05-04 1997-05-20 Ferris; Stephen Hyperladder fingerprint matcher
JP2006236225A (ja) 2005-02-28 2006-09-07 Toshiba Corp 渋滞検出装置、渋滞情報提供装置
IL204089A (en) * 2010-02-21 2014-06-30 Elbit Systems Ltd A method and system for detection and tracking based on frequency multiplicity and multiplicity
JP5349367B2 (ja) * 2010-02-26 2013-11-20 セコム株式会社 移動物体追跡装置
TWI425454B (zh) * 2010-12-28 2014-02-01 Ind Tech Res Inst 行車路徑重建方法、系統及電腦程式產品
CN103430214B (zh) * 2011-03-28 2016-10-26 日本电气株式会社 人员跟踪设备和人员跟踪方法
JP5921329B2 (ja) * 2012-05-17 2016-05-24 キヤノン株式会社 映像処理装置、追尾物体の管理方法、および、プログラム
CN102843547B (zh) * 2012-08-01 2014-01-08 安科智慧城市技术(中国)有限公司 一种嫌疑目标智能追踪方法和系统
JP6310093B2 (ja) * 2014-11-12 2018-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 目標物体の検出方法、検出装置及びロボット
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
CN106203458B (zh) * 2015-04-29 2020-03-06 杭州海康威视数字技术股份有限公司 人群视频分析方法及系统
CN105138954B (zh) * 2015-07-12 2019-06-04 上海微桥电子科技有限公司 一种图像自动筛选查询识别系统
CN105574393A (zh) * 2015-07-31 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种应用程序访问方法及终端
CN105205155B (zh) * 2015-09-25 2019-05-03 珠海世纪鼎利科技股份有限公司 一种大数据犯罪同伙的筛查系统和方法
CN105404890B (zh) * 2015-10-13 2018-10-16 广西师范学院 一种顾及轨迹时空语义的犯罪团伙判别方法
CN105354548B (zh) * 2015-10-30 2018-10-26 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN105976399A (zh) * 2016-04-29 2016-09-28 北京航空航天大学 一种基于sift特征匹配的运动目标检测方法
CN106127142A (zh) * 2016-06-21 2016-11-16 北京小米移动软件有限公司 对象追踪方法及装置
CN106303442B (zh) * 2016-08-26 2020-05-26 浙江大华技术股份有限公司 追踪路径拓扑结构建立方法、目标对象追踪方法及设备
CN106650652A (zh) * 2016-12-14 2017-05-10 黄先开 基于人脸识别技术的轨迹跟踪系统及其方法
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统
CN108052882A (zh) * 2017-11-30 2018-05-18 广东云储物联视界科技有限公司 一种智能安防监控系统的操作方法
CN108897777B (zh) * 2018-06-01 2022-06-17 深圳市商汤科技有限公司 目标对象追踪方法及装置、电子设备和存储介质
CN109658572B (zh) * 2018-12-21 2020-09-15 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236255A (ja) 2005-02-28 2006-09-07 Mitsubishi Electric Corp 人物追跡装置および人物追跡システム
US20160373661A1 (en) 2015-06-16 2016-12-22 Chengdu Ck Technology Co., Ltd. Camera system for generating images with movement trajectories
CN107665495A (zh) 2016-07-26 2018-02-06 佳能株式会社 对象跟踪方法及对象跟踪装置
CN106056110A (zh) 2016-08-09 2016-10-26 成都联众智科技有限公司 交通监控视频中的人脸检测跟踪方法
US20180158197A1 (en) 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors

Also Published As

Publication number Publication date
US11195284B2 (en) 2021-12-07
SG11202005970QA (en) 2020-07-29
CN108897777B (zh) 2022-06-17
US20220044417A1 (en) 2022-02-10
US20200327678A1 (en) 2020-10-15
CN108897777A (zh) 2018-11-27
JP2021508900A (ja) 2021-03-11
WO2019228194A1 (zh) 2019-12-05

Similar Documents

Publication Publication Date Title
JP7073527B2 (ja) 目標対象物追跡方法及び装置、電子機器並びに記憶媒体
EP3382643B1 (en) Automated object tracking in a video feed using machine learning
US20140310517A1 (en) Identification and classification of web traffic inside encrypted network tunnels
JP6823449B2 (ja) 画像検出デバイスを動作させる方法およびコンピュータ・プログラム製品(サッカードを使用する視覚オブジェクトおよびイベントの検出および予測システム)
US10147230B2 (en) Dynamic video visualization
US9734411B2 (en) Locating objects using images from portable devices
WO2022068320A1 (en) Computer automated interactive activity recognition based on keypoint detection
Turtiainen et al. Towards large-scale, automated, accurate detection of CCTV camera objects using computer vision. Applications and implications for privacy, safety, and cybersecurity.(Preprint)
US11106916B2 (en) Identifying segment starting locations in video compilations
CN108876817B (zh) 交叉轨迹分析方法及装置、电子设备和存储介质
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
US20220383522A1 (en) Semi-automatic data collection and association for multi-camera tracking
US11176504B2 (en) Identifying changes in health and status of assets from continuous image feeds in near real time
US20180232890A1 (en) Detecting Hand-Eye Coordination in Real Time by Combining Camera Eye Tracking and Wearable Sensing
KR101826669B1 (ko) 동영상 검색 시스템 및 그 방법
CN109033264B (zh) 视频分析方法及装置、电子设备和存储介质
US9992407B2 (en) Image context based camera configuration
US10839224B2 (en) Multivariate probability distribution based sports highlight detection
US11295543B2 (en) Object detection in an image
US11558550B1 (en) Privacy-protecting multi-pass street-view photo-stitch
US11645766B2 (en) Dynamic sampling for object recognition
US10783616B2 (en) Method and apparatus for sharing and downloading light field image
CN104268445A (zh) 防止图片二次传播的方法及装置
GB2605236A (en) Difference-guided video analysis
CN117197715A (zh) 视频流处理模型的训练方法、视频流处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220511

R150 Certificate of patent or registration of utility model

Ref document number: 7073527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150