JP6893564B2 - ターゲット識別方法、装置、記憶媒体および電子機器 - Google Patents

ターゲット識別方法、装置、記憶媒体および電子機器 Download PDF

Info

Publication number
JP6893564B2
JP6893564B2 JP2019557616A JP2019557616A JP6893564B2 JP 6893564 B2 JP6893564 B2 JP 6893564B2 JP 2019557616 A JP2019557616 A JP 2019557616A JP 2019557616 A JP2019557616 A JP 2019557616A JP 6893564 B2 JP6893564 B2 JP 6893564B2
Authority
JP
Japan
Prior art keywords
image
target
path
information
waiting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019557616A
Other languages
English (en)
Other versions
JP2020519989A (ja
Inventor
イエンタオ シェン
イエンタオ シェン
トン シアオ
トン シアオ
ホンション リー
ホンション リー
シュワイ イー
シュワイ イー
シャオガン ワン
シャオガン ワン
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2020519989A publication Critical patent/JP2020519989A/ja
Application granted granted Critical
Publication of JP6893564B2 publication Critical patent/JP6893564B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

（関連出願の相互参照）
本願は２０１７年０７月２８日に出願された、出願番号２０１７１０６３３６０４．３の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本発明の実施例は人工知能の技術分野に関し、特にターゲット識別方法、装置、記憶媒体および電子機器に関する。
交通手段の再識別、例えば車両の再識別は、コンピュータビジョンおよび公共安全分野における重要な内容であり、それは交通手段の検出および追跡、走行経路推定および異常行動検出など様々な点で重要な応用価値を有する。
大部の交通手段の再識別技術は、交通手段の外観情報に基づいて判断しており、歩行者の再識別とは異なり、交通手段の外観情報のみによる交通手段の再識別には、多数の交通手段、例えば車両は外観（例えば色、車種、ボディデザインなど）の類似度が非常に高いという難点がある。特に同一ブランドの同一様式の各交通手段同士では、その差異が一層小さくなる。交通手段の識別情報、例えば車両のナンバープレート情報、および交通手段のインテリア、例えば車のインテリアなどの独特の細部情報に依存する検出および識別は、監視カメラの視野角が理想的でなく、照明環境が悪く、レンズがぼやけるなどの要因により、検出および識別のロバスト性が低下し、検出および識別結果が不正確になる。
本発明の実施例はターゲット識別の技術的解決手段を提供する。
本発明の実施例の第一態様によれば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得することと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成することと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することと、を含むターゲット識別方法が提供される。
一実施例では、前記確定待ちのターゲットは交通手段である。
一実施例では、前記第一画像および前記第二画像に基づき、予測経路を生成する前記ステップの前に、前記方法はさらに、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定することを含み、前記第一画像および前記第二画像に基づき、予測経路を生成する前記ステップは、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成することを含む。
一実施例では、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するステップは、前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をシャム畳み込みニューラルネットワーク（Ｓｉａｍｅｓｅ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｓｉａｍｅｓｅ−ＣＮＮ）に入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることを含む。
一実施例では、前記第一画像および前記第二画像に基づき、予測経路を生成する前記ステップは、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成することを含む。
一実施例では、確率モデルによって前記確定待ちのターゲットの予測経路を生成する前記ステップは、取得した画像セットから鎖状マルコフ確率場モデル（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ、ＭＲＦ）によって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すことと、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成することと、を含む。
一実施例では、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成する前記ステップは、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成することを含む。
一実施例では、取得した画像セットからＭＲＦによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出す前記ステップは、前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得することと、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成することと、各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する１つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定することと、を含む。
一実施例では、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした予測経路を生成する前記ステップは、各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成することと、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成することと、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することと、を含む。
一実施例では、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定する前記ステップは、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得することと、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算することと、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することと、を含む。
一実施例では、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定するステップは、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することを含む。
一実施例では、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するステップは、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得することと、隣接画像の空間情報に基づき、隣接画像の空間差異を取得することと、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することと、取得した前記予測経路における隣接画像の時間差異、空間差異および特徴差異を長短期記憶ネットワーク（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ、ＬＳＴＭ）に入力し、前記予測経路の確定待ちのターゲットの識別確率を得ることと、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することと、を含む。
一実施例では、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するステップは、Ｓｉａｍｅｓｅ−ＣＮＮによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得することと、それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することと、を含む。
本発明の実施例の第二態様によれば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュールと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュールと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュールと、を含むターゲット識別装置が提供される。
一実施例では、前記確定待ちのターゲットは交通手段である。
一実施例では、前記装置はさらに、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するように構成された第二確定モジュールを含み、前記生成モジュールは、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成するように構成された第一生成サブモジュールを含む。
一実施例では、前記第二確定モジュールは、前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をＳｉａｍｅｓｅ−ＣＮＮに入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得るように構成された第一確定サブモジュールを含む。
一実施例では、前記生成モジュールは、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成するように構成された第二生成サブモジュールを含む。
一実施例では、前記第二生成サブモジュールは、取得した画像セットからＭＲＦによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すように構成された第一確定ユニットと、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成するように構成された第一生成ユニットと、を含む。
一実施例では、前記第一生成ユニットは、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成するように構成された第二生成ユニットを含む。
一実施例では、前記第一確定ユニットは、前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得し、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成し、各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する１つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定するように構成される。
一実施例では、前記第二生成ユニットは、各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成し、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
一実施例では、前記第二生成ユニットはさらに、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得し、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算し、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
一実施例では、前記第一確定モジュールは、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定サブモジュールを含む。
一実施例では、前記第二確定サブモジュールは、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成された第一取得ユニットと、得られた前記予測経路における隣接画像の時間差異、空間差異および特徴差異をＬＳＴＭに入力し、前記予測経路の確定待ちのターゲットの識別確率を得るように構成された第二取得ユニットと、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定ユニットと、を含む。
一実施例では、前記第一取得ユニットは、Ｓｉａｍｅｓｅ−ＣＮＮによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得し、それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成される。
本発明の実施例の第三態様によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体であって、前記プログラム命令はプロセッサに実行される時に本発明の実施例の第一態様に記載のターゲット識別方法のステップを実現するコンピュータ読み取り可能記憶媒体が提供される。
本発明の実施例の第四態様によれば、プロセッサ、メモリ、通信要素および通信バスを含み、前記プロセッサ、前記メモリおよび前記通信要素は前記通信バスによって互いに通信し、前記メモリは前記プロセッサに本発明の実施例の第一態様に記載のターゲット識別方法のステップを実行させる少なくとも一つの実行可能命令を記憶するために用いられる電子機器が提供される。
本発明の実施例が提供する技術的解決手段によれば、第一画像および第二画像に含まれる情報に基づき、確定待ちのターゲットが通り過ぎ得る予測経路を生成し、該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
本発明の実施例１に係るターゲット識別方法のフローチャートである。 本発明の実施例２に係るターゲット識別方法のフローチャートである。 本発明の実施例３に係るターゲット識別方法のフローチャートである。 本発明の実施例４に係るターゲット識別装置の構成ブロック図である。 本発明の実施例５に係るターゲット識別装置の構成ブロック図である。 本発明の実施例６に係るターゲット識別装置の構成ブロック図である。 本発明の実施例７に係る電子機器の構成模式図である。
以下に図面（複数の図面における同じ符号は同じ要素を表す）と実施例を関連付けて、本発明の実施例の具体的な実施形態をさらに詳細に説明する。以下の実施例は本発明を説明するためのものであり、本発明の範囲を限定するものではない。
当業者であれば、本発明の実施例における「第一」、「第二」などの用語は異なるステップ、機器またはモジュールなどを区別するためのものに過ぎず、なんらの確定の技術的意味も有さず、またそれらの間の必然的な論理的順序を表すものでもない。
実施例１
図１は本発明の実施例１に係るターゲット識別方法のフローチャートである。図１に示すように、本実施例のターゲット識別方法は以下のステップを含む。
ステップＳ１０２で、第一画像および第二画像を取得する。
具体的な実施形態では、画像に含まれる内容から言えば、前記第一画像および前記第二画像にはいずれも確定待ちのターゲットが含まれる。画像の種類から言えば、前記第一画像も前記第二画像も撮影された静的画像、または映像フレームシーケンスにおける映像画像などであってもよい。具体的には、前記確定待ちのターゲットは歩行者、無人機および交通手段などを含んでもよい。なお、本実施例はこれに限定されず、いかなる移動可能な物体も確定待ちのターゲットの範囲内に含まれることを理解すべきである。
ステップＳ１０４で、前記第一画像および前記第二画像に基づき、予測経路を生成する。
ここで、前記予測経路の両端はそれぞれ前記第一画像および前記第二画像に対応する。本発明の実施例では、前記第一画像および前記第二画像に含まれる確定待ちのターゲットの特徴情報、ならびに、前記第一画像および前記第二画像に含まれる時空間情報に基づいて確定待ちのターゲットの走行経路を予測し、経路予測結果によって確定待ちのターゲット識別の確実度を向上させることができる。具体的には、前記第一画像および前記第二画像に含まれる情報をもとに、さらに画像における確定待ちのターゲットの可能な走行経路を見出さなければならない。ここで、該走行経路において撮影された確定待ちのターゲットの画像はいずれも前記第一画像および前記第二画像と時空間的な関連関係を有するべきである。
ステップＳ１０６で、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定する。
ここで、有効性判断はある予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性、即ち前記第一画像における確定待ちのターゲットと前記第二画像における確定待ちのターゲットが同じである可能性も高くなる。具体的な実施形態では、前記有効性判断の結果は具体的に有効確率であってもよいし、「有効であるかどうか」のままであってもよい。
本実施例が提供するターゲット識別方法によれば、第一画像および第二画像に含まれる情報に基づき、確定待ちのターゲットが通り過ぎ得る予測経路を生成し、該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
本実施例のターゲット識別方法は画像またはデータ処理能力を有する任意の適当な機器によって実行可能であり、前記機器は、カメラ、端末、移動端末、ＰＣ、サーバ、車載機器、娯楽機器、広告機器、携帯情報端末（ＰＤＡ）、タブレット、ノートパソコン、携帯型ゲーム機、スマートメガネ、スマートウォッチ、ウェアラブル機器、仮想表示装置または表示拡張機器（例えばＧｏｏｇｌｅ Ｇｌａｓｓ、Ｏｃｕｌｕｓ Ｒｉｆｔ、Ｈｏｌｏｌｅｎｓ、Ｇｅａｒ ＶＲ）などを含むが、これらに限定されない。
実施例２
図２を参照すると、本発明の実施例２に係るターゲット識別方法のフローチャートが示される。
本実施例では、確定待ちのターゲットが交通手段である場合を例にし、本発明の実施例のターゲット識別方法を説明するが、当業者であれば、実際の適用では、他の確定待ちのターゲットについて本実施例を参照することで対応するターゲット識別動作を実現することができることを理解すべきである。
本実施例のターゲット識別方法は以下のステップを含む。
ステップＳ２０２で、第一画像および第二画像を取得する。
具体的な実施形態では、前記第一画像および前記第二画像にはいずれも確定待ちのターゲットが含まれ、かつ前記確定待ちのターゲットは交通手段である。
ステップＳ２０４で、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成する。
歩行者の通行経路に比べ、交通手段の走行経路はより安定し、より規則正しく、判断および識別の正解率がより高いため、交通手段の特徴情報（交通手段の外観を特徴付け可能）と画像の時空間情報を組み合わせて交通手段の走行経路を予測し、経路予測結果によって交通手段識別の確実度を向上させることができる。
ここで、画像の時間情報は画像を撮影する時間を示すためのものであり、確定待ちのターゲット（例えば交通手段）が撮影機器のそばを通り過ぎる時間と見なしてもよく、画像の空間情報は画像を撮影する位置を示すためのものであり、撮影機器が存在する位置と見なしてもよいし、確定待ちのターゲット例えば交通手段が撮影される時に存在する位置と見なしてもよく、画像の特徴情報は画像における確定待ちのターゲットの特徴、例えば交通手段の特徴を示すためのものであり、該特徴によって確定交通手段の外観などの情報を確定可能である。なお、本実施例に係る画像に含まれる情報は、画像の時間情報、画像の空間情報および画像の特徴情報を含むことができるが、これらに限定されないことを理解すべきである。
具体的な実施形態では、前記確率モデルはＭＲＦであってもよい。
確率場は同一サンプル空間に対応する確率変数の集合と見なしてもよい。一般的には、これらの確率変数同士に依存関係が存在する場合、該確率場は実際的な意味を有するように見なされてもよい。確率場は、位置（ｓｉｔｅ）および位相空間（ｐｈａｓｅ ｓｐａｃｅ）という二つの要素を含み、各位置に何らかの分布に従って位相空間の一つの値をランダムに付与すると、その全体は確率場と呼ばれるようになる。
ＭＲＦはＭａｒｋｏｖ性のある確率場である。Ｍａｒｋｏｖ性とは、確率変数系列を時間の前後関係に従って順に並び替える場合、第Ｎ＋１の時点の分布特性が、Ｎ時刻以前の確率変数の値に関係しないことをいう。一つのＭＲＦは一つの無向グラフに対応し、この無向グラフにおける各ノードはそれぞれ一つの確率変数に対応し、ノード間のリンクはノードに対応する確率変数同士に確率依存関係が存在することを示す。従って、ＭＲＦの構造は実質的に事前知識、即ち、どの変数の間における依存関係を考慮する必要があるか、そしてどれを無視してもよいかを反映する。
本実施例では、ＭＲＦによって第一画像および第二画像における確定待ちのターゲットの少なくとも一つの予測経路を生成し、続いて、該経路から前記確定待ちのターゲットの予測経路として最適経路を確定することができる。具体的には、第一画像の特徴情報、第一画像の時間情報、第一画像の空間情報、第二画像の特徴情報、第二画像の時間情報、および第二画像の空間情報に基づき、ＭＲＦによって前記確定待ちのターゲットの予測経路を生成することができる。一実施例では、取得した画像セットから鎖状ＭＲＦによって、前記確定待ちのターゲットの情報が含まれる、第一画像と第二画像のいずれもと時空間系列関係を有する全ての画像を確定し、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成することができる。
ここで、時空間データとは同時に時間および空間次元を有するデータをいい、時間および空間の二つの次元の情報を含む。地理学では、連続的な時空間データはいずれも離散化やサンプリングによって抽出および記憶されるため、時空間データは空間的に関連関係を有する時系列集合、即ち時空間系列と見なされてもよい。該集合内のデータは時空間系列関係を有するデータと見なされてもよい。具体的には、第一画像と第二画像のいずれもと時空間系列関係を有する全ての画像とは該全ての画像に含まれる時空間データが第一画像に含まれる時空間データおよび第二画像に含まれる時空間データとそれぞれ時間的および空間的に関連することをいう。
通常、第一画像を経路の先頭ノード画像とし、第二画像を経路の末尾ノード画像とし、鎖状ＭＲＦによって確定された全ての画像に対応する時間情報および空間情報に基づき、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成することができる。
ここで、取得した画像セットから鎖状ＭＲＦによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出す場合、第一画像の空間情報に対応する位置を開始位置とし、第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得し、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成し、各機器経路に対して、第一画像の時間情報に対応する時間を開始時間とし、第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する１つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定することができる。
さらに、確定し出した全ての画像に対応する時間情報および空間情報に基づき、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした予測経路を生成する場合、各機器経路に対して、確定した画像の時系列関係に基づいて互いに接続された時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成し、各機器経路に対応する画像経路から、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することができる。
ここで、各機器経路に対応する画像経路から、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定する場合、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得し、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算し、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することができる。
本実施例における確定待ちのターゲットが交通手段である場合を例にし、道路網における交通手段の走行経路は鎖状ＭＲＦであり、鎖における各ノードはカメラであり、ノードの変数空間は該カメラにより撮影された画像、画像の撮影時間および場所からなった三要素組み合わせであると仮定する。同一交通手段であるかどうかを識別する必要がある一対の画像、およびそれらの間での可能な監視カメラ（可能な監視カメラは事前情報に属し、任意の適当な方式、例えばデータ訓練セットにおいて統計することで得られ得る）を任意に指定し、隣接カメラの間での一対ずつの画像およびそれらの間の時空間差異をＳｉａｍｅｓｅ−ＣＮＮに入力し、道路綱における一対ずつの隣接する監視カメラが撮影した画像における交通手段が同一交通手段である確率を算出する。ここで、Ｓｉａｍｅｓｅ−ＣＮＮはＭＲＦにおける隣接ノードのポテンシャル関数と見なしてもよく、最大部分列和（Ｍａｘ−Ｓｕｍ）アルゴリズムによって、ポテンシャル関数の積の値を最小化（最適化）し、それによって可能性が最も高い予測経路を得ることができる。該予測経路は該交通手段が通り過ぎるカメラの地理的位置、撮影される時間および撮影される画像の関連情報を含む。
例えば、ｐは第一画像の情報（特徴情報、時間情報および空間情報を含む）を表し、ｑは第二画像の情報（特徴情報、時間情報および空間情報を含む）を表すように設定すると、鎖状ＭＲＦによって複数の可能な予測経路から最適経路を確定する一形態は下式（１）を最大化するように実現できる。
Figure 0006893564
 ここで、Ｐは予測経路（即ち交通手段が通り過ぎ得る予測経路）を表し、Ｘはカメラを表し、Ｎは予測経路におけるカメラの数を表し、Ｘ１からＸＮのようになり、ｘ1はＸ１が撮影した前記交通手段の画像の情報を表し、以降同様に、ｘNはＸＮが撮影した前記交通手段の画像の情報を表し、φ（）はポテンシャル関数（即ちＳｉａｍｅｓｅ−ＣＮＮの出力であって、０〜１の間の確率値であるもの）を表し、φ（ｘi,ｘi+1）はｘiとｘi+1との間のポテンシャル関数ペアを表し、ｘiおよびｘi+1は同一交通手段の情報を含むものと想定される。ｘiおよびｘi+1は実際に同一交通手段の情報を含む場合、φ（ｘi,ｘi+1）は大きな値になり、そうでなければ、小さな値になる。
上式（１）を最大化する時、式（２）に記載の時間によって制限し、式（２）に式（３）を満たさせることができる。即ち、
Figure 0006893564
Figure 0006893564
 ここで、ｔは時間を表し、ｋi *およびｋi+1 *はｘiに対応する画像の情報の最適選択およびｘi+1に対応する画像の情報の最適選択をそれぞれ表し、Ｘはカメラを表し、Ｎは予測経路におけるカメラの数を表し、Ｘ１からＸＮのようになり、ｘ1はＸ１が撮影した前記交通手段の画像の情報を表し、以降同様に、ｘNはＸＮが撮影した前記交通手段の画像の情報を表す。
上式（１）、（２）および（３）中、画像の情報はいずれも画像の時間情報、空間情報および特徴情報を含む。
上式（１）、（２）および（３）に基づき、上式（１）を下式（４）として最適化し、それによって最適経路、即ち、交通手段が通り過ぎ得る確率が最大な経路を得ることができる。
Figure 0006893564
 上記プロセスによって、前記交通手段が最も通り過ぎ得る予測経路を確定できる。
例えば、第一画像を予測経路の先頭ノードＡとし、第二画像を予測経路の末尾ノードＤとすると、撮影機器間の位置関係によれば、車両の可能な走行経路は、経路１：Ａ−＞Ｂ−＞Ｃ−＞Ｄ、経路２：Ａ−＞Ｅ−＞Ｄ、経路３：Ａ−＞Ｆ−＞Ｇ−＞Ｈ−＞Ｄを含む。上式（４）によって計算し、経路１の確率が８５％、経路２の確率が９５％、経路３の確率が７０％であると確定すると、経路２を交通手段の予測経路として確定できる。
説明すべきは、上記プロセスは鎖状ＭＲＦを例にしたが、実際の適用では、当業者は他の適当な方式で前記確定待ちのターゲットの予測経路の生成を実現できることである。例えば、深層ニューラルネットワークによって第一画像および第二画像の背景情報を検出し、それによって前記確定待ちのターゲットの予測経路を生成する。
ステップＳ２０６で、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定する。
ここで、前記ニューラルネットワークは特徴抽出またはターゲット識別を実現可能な任意の適当なニューラルネットワークであってもよく、畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、敵対的ニューラルネットワークのうちの生成ニューラルネットワークなどを含むが、これらに限定されない。ニューラルネットワークにおける具体的な構造は当業者によって実際の要求、例えば畳み込み層の数、畳み込みカーネルの大きさ、チャネル数などに応じて設定してもよく、本発明の実施例はこれを限定しない。
具体的な実施形態では、前記ニューラルネットワークはＬＳＴＭであってもよい。ＬＳＴＭは時間再帰ニューラルネットワークで、リカレントニューラルネットワーク（ＲＮＮ）のバリエーションであり、特に系列情報の処理に役立つ。本発明の実施例では、交通手段の予測経路は系列情報と見なされてもよく、ＬＳＴＭを用いてそれを処理し、それによって予測経路の有効性を確定する。
有効性判断はある予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。
本実施例では、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得し、得られた前記予測経路における隣接画像の時間差異、空間差異および特徴差異をＬＳＴＭに入力し、前記予測経路の確定待ちのターゲットの識別確率を得て、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することができる。ここで、確定待ちのターゲットが同一確定待ちのターゲットであるかどうかの判断基準は具体的に当業者によって実際の要求に応じて設定してもよく、本発明の実施例はこれを限定しない。
ここで、隣接画像の時間差異は両者の時間情報を減算することで得ることができ、隣接画像の空間差異は両者間の距離を計算することで得ることができ、隣接画像の特徴差異は両者の特徴ベクトルを減算することで得ることができる。実行可能な一形態では、隣接画像の特徴差異を取得する時、Ｓｉａｍｅｓｅ−ＣＮＮを使用し、Ｓｉａｍｅｓｅ−ＣＮＮによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得し、そしてそれぞれ取得した特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することができる。ここで、本ステップでのＳｉａｍｅｓｅ−ＣＮＮはステップＳ２０４でのＳｉａｍｅｓｅ−ＣＮＮと同じであってもなくてもよい。
本実施例では、ＭＲＦによって任意の二つの交通手段画像間の走行経路を得た後、該走行経路が有効であるかどうかを判断する必要、即ち有効性判断を行う必要がある。ここで、有効とは該走行経路が同一交通手段の走行し得る経路であることをいい、逆に言えば、無効経路となる。本実施例では、ＬＳＴＭを用いて判断するという判断方式を採用し、該ＬＳＴＭの入力は経路における隣接ノード間の時間差（即ち時間差異）、距離差（即ち空間差異）、およびそれらの外観差異（即ち特徴差異）であり、前述したように、外観差異は二つの画像をＳｉａｍｅｓｅ−ＣＮＮに入力した後に出力された特徴ベクトルをそのまま減算することで得ることができる。該ＬＳＴＭの出力は確率値であり、該確率値によって予測経路が有効であるかどうかを判断し、さらに二つの画像における交通手段が実際に同一交通手段であるかどうかを判断することができる。
以上からわかるように、本実施例により、第一画像および第二画像に含まれる時空間情報および特徴情報に基づき、画像における確定待ちのターゲットが通り過ぎ得る予測経路を生成し、該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
本実施例のターゲット識別方法は画像またはデータ処理能力を有する任意の適当な機器によって実行可能であり、前記機器は、カメラ、端末、移動端末、ＰＣ、サーバ、車載機器、娯楽機器、広告機器、携帯情報端末（ＰＤＡ）、タブレット、ノートパソコン、携帯型ゲーム機、スマートメガネ、スマートウォッチ、ウェアラブル機器、仮想表示装置または表示拡張機器（例えばＧｏｏｇｌｅ Ｇｌａｓｓ、Ｏｃｕｌｕｓ Ｒｉｆｔ、Ｈｏｌｏｌｅｎｓ、Ｇｅａｒ ＶＲ）などを含むが、これらに限定されない。
実施例３
図３を参照すると、本発明の実施例３に係るターゲット識別方法のフローチャートが示される。本実施例では、確定待ちのターゲットが交通手段である場合を例にし、本発明の実施例のターゲット識別方法を説明するが、当業者であれば、実際の適用では、他の確定待ちのターゲットについて本実施例を参照することで対応するターゲット識別動作を実現することができることを理解すべきである。
本実施例のターゲット識別方法は以下のステップを含む。
ステップＳ３０２で、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定する。
ここで、第一画像も第二画像も確定待ちのターゲットの情報を含んでいる。
本発明の実施例では、第一画像と第二画像は時空間系列関係を有し、かついずれも対応する確定待ちのターゲットの情報を含んでおり、画像の時間情報、空間情報、画像特徴情報を総合的に考慮する上で、当業者は任意の適当な方法を用いてこの二つの画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を予備的に確定することができる。
実行可能な一解決手段では、Ｓｉａｍｅｓｅ−ＣＮＮを用いて前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることができる。
Ｓｉａｍｅｓｅ−ＣＮＮは少なくとも二つの分岐を有するＣＮＮであり、複数の入力を同時に受信し、該複数の入力の類似度（確率の形式で表してもよい）を出力することができる。二分岐を例にすると、二分岐によってＳｉａｍｅｓｅ−ＣＮＮに同時に二つの画像を入力し、Ｓｉａｍｅｓｅ−ＣＮＮにこの二つの画像間の類似度、または、二つの画像が類似するかどうかに対する判断結果を出力させることができる。本実施例におけるＳｉａｍｅｓｅ−ＣＮＮは三つの分岐を含み、そのうち二つは入力された画像を受信するために用いられ、残りの一つは入力された二つの画像間の時間情報の差異（時間差異）および空間情報の差異（空間差異）を受信するために用いられる。入力された画像を検出することで画像におけるターゲット（本実施例では交通手段）の特徴面での類似度（例えば外観類似度）を出力し、および、入力された時間情報の差異および空間情報の差異を検出することで画像におけるターゲットの時空間面での類似度を出力する。この二つの面での類似度に基づき、画像におけるターゲット、例えば本実施例における交通手段が同一ターゲットである初歩的同一確率値をさらに確定することができる。
以上からわかるように、本実施例では、第一画像および第二画像、ならびに、第一画像と第二画像との間の時間情報の差異および空間情報の差異をＳｉａｍｅｓｅ−ＣＮＮに入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることができる。初歩的同一確率値を得てから、前記初歩的同一確率値によって前記第一画像および第二画像において同じ確定待ちのターゲットがあることを予備的に確定する。具体的には、前記初歩的同一確率値を所定値と比較し、前記初歩的同一確率値が所定値以下である場合、前記第一画像および第二画像において同じ確定待ちのターゲットがないと確定し、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および第二画像において同じ確定待ちのターゲットがあると予備的に確定する。ここで、前記所定値は当業者によって実際の状況に応じて適当に設定してもよく、本発明の実施例はこれを限定しない。
Ｓｉａｍｅｓｅ−ＣＮＮは時空間情報を有する二つの画像におけるターゲット例えば交通手段の類似度を効果的に判断可能であるが、Ｓｉａｍｅｓｅ−ＣＮＮに限られず、類似機能を有するまたは同じ目的を達成可能な他の形態またはニューラルネットワークも同様に本発明の実施例の解決手段に適する。
ステップＳ３０４で、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成する。
歩行者の通行経路に比べ、確定待ちのターゲット例えば交通手段の走行経路はより規則正しいため、交通手段の特徴情報（交通手段の外観を特徴付け可能）および時空間情報を組み合わせて交通手段の経路を推定し、経路推定結果によって交通手段の再識別の確実度を向上させることができる。
前述したように、第一画像および第二画像は時空間系列関係を有する画像であり、これをもとに、画像における交通手段の可能な走行経路をさらに見出さなければならない。ここで、該走行経路において撮影された交通手段の画像はいずれも第一画像および第二画像と時空間系列関係を有するべきである。
具体的な実施形態では、第一画像の情報および第二画像の情報に基づき、ＭＲＦを用いて前記確定待ちのターゲットの予測経路を生成する。具体的な実現プロセスは上記実施３におけるステップＳ２０４に類似し、ここでは説明を省略する。
ステップＳ３０６で、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを再識別する。
ここで、有効性判断はある予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。
例えば、場合によって、予備的に確定した結果そのものが誤ったこともあり、つまり、第一画像における交通手段および第二画像における交通手段は同一交通手段であり得ないが、同一交通手段として誤って識別することがある。両者が同一交通手段でないと、両者は可能な合理的時間範囲内で同じ走行経路を有する確率が低いため、第一画像の情報および第二画像の情報に基づいて有効性が低い予測経路が存在することを確定し、これにより第一画像および第二画像における交通手段が同一交通手段であるかどうかに対する再判断および識別を実現することができる。
具体的な実施形態では、ＬＳＴＭによって、前記予測経路の有効性を判断し、判断結果に基づいて前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを再識別する。具体的な実現プロセスは上記実施２におけるステップＳ２０６に類似し、ここでは説明を省略する。
本実施例が提供するターゲット識別方法によれば、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同じであると予備的に確定した上で、該確定待ちのターゲットが通り過ぎ得る予測経路を確定し、さらに、該予測経路の有効性を判断し、予備的に確定した結果が正確であるかどうかを判定することで、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかに対する再識別を実現する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に再検出および識別可能である。
本実施例のターゲット識別方法は画像またはデータ処理能力を有する任意の適当な機器によって実行可能であり、前記機器は、カメラ、端末、移動端末、ＰＣ、サーバ、車載機器、娯楽機器、広告機器、携帯情報端末（ＰＤＡ）、タブレット、ノートパソコン、携帯型ゲーム機、スマートメガネ、スマートウォッチ、ウェアラブル機器、仮想表示装置または表示拡張機器（例えばＧｏｏｇｌｅ Ｇｌａｓｓ、Ｏｃｕｌｕｓ Ｒｉｆｔ、Ｈｏｌｏｌｅｎｓ、Ｇｅａｒ ＶＲ）などを含むが、これらに限定されない。
実施例４
同じ技術思想に基づき、図４は本発明の実施例４に係るターゲット識別装置を示す構成模式図である。実施例１に記載のターゲット識別方法のフローを実行するために用いることができる。
図４を参照すると、該ターゲット識別装置は、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュール４０１と、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュール４０２と、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュール４０３と、を含む。
本実施例が提供するターゲット識別装置によって、第一画像および第二画像に含まれる情報に基づき、確定待ちのターゲットが通り過ぎ得る予測経路を生成し、そして該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
実施例５
同じ技術思想に基づき、図５は本発明の実施例５に係るターゲット識別装置を示す構成模式図である。実施例２に記載のターゲット識別方法のフローを実行するために用いることができる。
図５を参照すると、該ターゲット識別装置は、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュール５０１と、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュール５０２と、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュール５０３と、を含む。
一実施例では、前記生成モジュール５０２は、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成するように構成された第二生成サブモジュール５０２１を含む。
一実施例では、前記第二生成サブモジュール５０２１は、取得した画像セットからＭＲＦによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すように構成された第一確定ユニット５０２２と、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成するように構成された第一生成ユニット５０２３と、を含む。
一実施例では、前記第一生成ユニット５０２３は、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成するように構成された第二生成ユニット５０２４を含む。
一実施例では、前記第一確定ユニット５０２２は、前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得し、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成し、各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する１つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定するように構成される。
一実施例では、前記第二生成ユニット５０２４は、各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成し、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
一実施例では、前記第二生成ユニット５０２４はさらに、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得し、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算し、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
一実施例では、前記第一確定モジュール５０３は、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定サブモジュール５０３１を含む。
一実施例では、前記第二確定サブモジュール５０３１は、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成された第一取得ユニット５０３２と、得られた前記予測経路における隣接画像の時間差異、空間差異および特徴差異をＬＳＴＭに入力し、前記予測経路の確定待ちのターゲットの識別確率を得るように構成された第二取得ユニット５０３３と、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定ユニット５０３４と、を含む。
一実施例では、前記第一取得ユニット５０３２は、Ｓｉａｍｅｓｅ−ＣＮＮによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得し、それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成される。
説明すべきは、本発明の実施例が提供するターゲット識別装置がさらに関する具体的な詳細については、本発明の実施例が提供するターゲット識別方法において詳細に説明しており、ここでは説明を省略する。
実施例６
同じ技術思想に基づき、図６は本発明の実施例６に係るターゲット識別装置を示す構成模式図である。実施例３に記載のターゲット識別方法のフローを実行するために用いることができる。
図６を参照すると、該ターゲット識別装置は、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュール６０１と、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュール６０３と、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定するように構成された第一確定モジュール６０４と、を含む。
一実施例では、前記確定待ちのターゲットは交通手段である。
一実施例では、前記装置はさらに、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するように構成された第二確定モジュール６０２を含み、それに対して、前記生成モジュール６０３は、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成するように構成された第一生成サブモジュール６０３１を含む。
一実施例では、前記第二確定モジュール６０２は、前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をＳｉａｍｅｓｅ−ＣＮＮに入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得るように構成された第一確定サブモジュール６０２１を含む。
説明すべきは、本発明の実施例が提供するターゲット識別装置がさらに関する具体的な詳細については、本発明の実施例が提供するターゲット識別方法において詳細に説明しており、ここでは説明を省略する。
実施例７
本発明の実施例７は電子機器を提供し、例えば移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどであってもよい。以下に図７を参照すると、本発明の実施例の端末機器またはサーバの実現に適する電子機器７００の構成模式図が示される。図７に示すように、電子機器７００は一つ以上のプロセッサ、通信要素などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）７０１、および／または一つ以上の画像処理装置（ＧＰＵ）７１３などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）７０２に記憶されている実行可能命令または記憶部分７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信要素は通信コンポーネント７１２および／または通信インタフェース７０９を含む。ここで、通信コンポーネント７１２はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されず、通信インタフェース７０９はＬＡＮカード、モデムのネットワークインタフェースカードなどの通信インタフェースを含み、かつインターネットなどのネットワークによって通信処理を実行する。
プロセッサは読み取り専用メモリ７０２および／またはランダムアクセスメモリ７０３と通信して実行可能命令を実行し、通信バス７０４を介して通信コンポーネント７１２と接続し、通信コンポーネント７１２によって他の目標機器と通信し、それにより本発明の実施例が提供するいずれか一項のターゲット識別方法に対応する動作、例えば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得することと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成することと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定することと、を完了することができる。
また、ＲＡＭ７０３には、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ７０１またはＧＰＵ７１３、ＲＯＭ７０２およびＲＡＭ７０３は通信バス７０４を介して互いに接続される。ＲＡＭ７０３が存在する場合、ＲＯＭ７０２は任意選択的なモジュールとなる。ＲＡＭ７０３は実行可能命令を記憶するか、または動作時にＲＯＭ７０２へ実行可能命令を書き込み、実行可能命令によってプロセッサは上記通信方法に対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース７０５も通信バス７０４に接続される。通信コンポーネント７１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつ通信バスリンクに存在する。
キーボード、マウスなどを含む入力部分７０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分７０７、ハードディスクなどを含む記憶部分７０８、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信インタフェース７０９といった部品は、Ｉ／Ｏインタフェース７０５に接続される。ドライバ７１０も必要に応じてＩ／Ｏインタフェース７０５に接続される。取り外し可能な媒体７１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ７１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分７０８にインストールされる。
説明すべきは、図７に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記図７の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信要素は分離設置してもよいし、またＣＰＵまたはＧＰＵに統合してもよいなどである。これらの置換可能な実施形態はいずれも本発明の保護範囲に属する。
特に、本発明の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現可能である。例えば、本発明の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本発明の実施例により提供される方法を実行するステップに対応する命令、例えば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得することと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成することと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定することと、を含むことができる。このような実施例では、該コンピュータプログラムは通信要素によってネットワークからダウンロードおよびインストールでき、および／または取り外し可能な媒体７１１からインストールできる。該コンピュータプログラムはプロセッサに実行される時、本発明の実施例の方法に限定された上記機能を実行する。
また、本発明の実施例の目的を達成するために、実施上の要求に応じて、本発明の実施例において説明した各部品／ステップをより多くの部品／ステップに分解してもよいし、二つ以上の部品／ステップまたは部品／ステップの一部の動作を新たな部品／ステップとして組み合わせてもよいことに留意されたい。
本発明の実施例に係る上記方法はハードウェア、ファームウェアにおいて実現されてもよいし、または記録媒体（例えばＣＤＲＯＭ、ＲＡＭ、フロッピーディスク、ハードディスクまたは磁気光ディスク）に記憶可能なソフトウェアまたはコンピュータコードとして実現されてもよいし、またはネットワークからダウンロードされた元々遠隔記録媒体または非一時的機器可読媒体に記憶されかつローカル記憶媒体に記憶しようとされるコンピュータコードとして実現されてもよく、それによりここで記述した方法は共通コンピュータ、専用プロセッサまたはプログラマブルもしくは専用ハードウェア（例えばＡＳＩＣまたはＦＰＧＡ）を使用する記録媒体に記憶されたようなソフトウェアによって処理可能になる。なお、コンピュータ、プロセッサ、マイクロプロセッサコントローラまたはプログラマブルハードウェアはソフトウェアまたはコンピュータコードを記憶または受信可能な記憶コンポーネント（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなど）を含み、前記ソフトウェアまたはコンピュータコードはコンピュータ、プロセッサまたはハードウェアにアクセスされかつ実行される時、ここで記述した処理方法を実現する。また、共通コンピュータがここで示した処理を実現するためのコードにアクセスする時、コードの実行により共通コンピュータはここで示した処理を実行するための専用コンピュータに変換される。
当業者によって理解されるように、本明細書に開示された実施例と関連付けて説明した各例のユニットおよび方法のステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実現可能である。これらの機能は果たしてハードウェアとソフトウェアのどちらの形で実行するかは、技術的解決手段の確定の応用および設計上の制約条件によって決められる。当業者は説明される機能を各確定の応用について異なる方法を用いて実現することができるが、このような実現は本発明の実施例の範囲を超えるものと理解すべきではない。
以上の実施形態は本発明の実施例を説明するためのものに過ぎず、本発明の実施例を制限するものではなく、関連分野の当業者であれば、本発明の実施例の精神および範囲から逸脱することなく、さらに様々な変更および変形を行うことができるため、全ての均等の技術的解決手段も本発明の実施例の範疇に属するものとし、本発明の実施例の特許保護範囲は請求項により限定されるべきである。

Claims (28)

  1. 第一画像および第二画像を取得することであって、前記第一画像および前記第二画像がいずれも確定待ちのターゲットを含む、ことと、
    前記第一画像および前記第二画像に基づき、予測経路を生成することであって、前記予測経路の両端がそれぞれ前記第一画像および前記第二画像に対応する、ことと、
    前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することと、を含む、ターゲット識別方法。
  2. 前記確定待ちのターゲットは交通手段である、請求項１に記載の方法。
  3. 前記第一画像および前記第二画像に基づき、予測経路を生成するステップの前に、さらに、
    前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定することを含み、
    前記第一画像および前記第二画像に基づき、予測経路を生成するステップは、
    前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成することを含む、請求項１に記載の方法。
  4. 前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するステップは、
    前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をシャム畳み込みニューラルネットワーク（Ｓｉａｍｅｓｅ−ＣＮＮ）に入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることを含む、請求項３に記載の方法。
  5. 前記第一画像および前記第二画像に基づき、予測経路を生成するステップは、
    前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成することを含む、請求項１から４のいずれか一項に記載の方法。
  6. 確率モデルによって前記確定待ちのターゲットの予測経路を生成するステップは、
    得られた画像セットから鎖状マルコフ確率場モデル（ＭＲＦ）によって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すことと、
    確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成することと、を含む、請求項５に記載の方法。
  7. 確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成するステップは、
    確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、予測経路を生成することであって、前記予測経路が、前記先頭ノードおよび前記末尾ノードに対応する以外に、さらに少なくとも一つの中間ノードに対応すること、を含む、請求項６に記載の方法。
  8. 得られた画像セットから鎖状マルコフ確率場モデル（ＭＲＦ）によって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すステップは、
    前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得することと、
    全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、少なくとも一つの機器経路を生成することであって、各機器経路が、前記起点の撮影機器および前記終点の撮影機器以外に、少なくとも一つの他の撮影機器の情報をさらに含む、ことと、
    各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する１つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定することと、を含む、請求項７に記載の方法。
  9. 確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした予測経路を生成するステップは、
    各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成することと、
    各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することと、を含む、請求項８に記載の方法。
  10. 各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するステップは、
    各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得することと、
    前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算することと、
    各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することと、を含む、請求項９に記載の方法。
  11. 前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するステップは、
    ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することを含む、請求項１から１０のいずれか一項に記載の方法。
  12. ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するステップは、
    前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することと、
    取得した前記予測経路における隣接画像の時間差異、空間差異および特徴差異を長短期記憶ネットワーク（ＬＳＴＭ）に入力し、前記予測経路の確定待ちのターゲットの識別確率を取得することと、
    前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することと、を含む、請求項１１に記載の方法。
  13. 隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するステップは、
    Ｓｉａｍｅｓｅ−ＣＮＮによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得することと、
    それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することと、を含む、請求項１２に記載の方法。
  14. 第一画像および第二画像を取得するように構成された取得モジュールであって、前記第一画像および前記第二画像がいずれも確定待ちのターゲットを含む、取得モジュールと、
    前記第一画像および前記第二画像に基づき、予測経路を生成するように構成された生成モジュールであって、前記予測経路の両端がそれぞれ前記第一画像および前記第二画像に対応する、生成モジュールと、
    前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュールと、を含む、ターゲット識別装置。
  15. 前記確定待ちのターゲットは交通手段である、請求項１４に記載の装置。
  16. さらに、
    前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するように構成された第二確定モジュールを含み、
    前記生成モジュールは、
    前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成するように構成された第一生成サブモジュールを含む、請求項１４に記載の装置。
  17. 前記第二確定モジュールは、
    前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をシャム畳み込みニューラルネットワーク（Ｓｉａｍｅｓｅ−ＣＮＮ）に入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得るように構成された第一確定サブモジュールを含む、請求項１６に記載の装置。
  18. 前記生成モジュールは、
    前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成するように構成された第
    二生成サブモジュールを含む、請求項１４から１７のいずれか一項に記載の装置。
  19. 前記第二生成サブモジュールは、
    得られた画像セットから鎖状マルコフ確率場モデル（ＭＲＦ）によって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すように構成された第一確定ユニットと、
    確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成するように構成された第一生成ユニットと、を含む、請求項１８に記載の装置。
  20. 前記第一生成ユニットは、
    確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、予測経路を生成するように構成された第二生成ユニットであって、前記予測経路が、前記先頭ノードおよび前記末尾ノードに対応する以外に、さらに少なくとも一つの中間ノードに対応する第二生成ユニットを含む、請求項１９に記載の装置。
  21. 前記第一確定ユニットは、
    前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得し、
    全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、少なくとも一つの機器経路を生成し、各機器経路が、前記起点の撮影機器および前記終点の撮影機器以外に、少なくとも一つの他の撮影機器の情報をさらに含み、
    各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する１つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定するように構成される、請求項２０に記載の装置。
  22. 前記第二生成ユニットは、
    各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成し、
    各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される、請求項２１に記載の装置。
  23. 前記第二生成ユニットはさらに、
    各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得し、
    前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算し、
    各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される、請求項２２に記載の装置。
  24. 前記第一確定モジュールは、
    ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定サブモジュールを含む、請求項１４から２３のいずれか一項に記載の装置。
  25. 前記第二確定サブモジュールは、
    前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成された第一取得ユニットと、
    取得した前記予測経路における隣接画像の時間差異、空間差異および特徴差異を長短期記憶ネットワーク（ＬＳＴＭ）に入力し、前記予測経路の確定待ちのターゲットの識別確率を取得するように構成された第二取得ユニットと、
    前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定ユニットと、を含む、請求項２４に記載の装置。
  26. 前記第一取得ユニットは、
    Ｓｉａｍｅｓｅ−ＣＮＮによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得し、
    それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成される、請求項２５に記載の装置。
  27. コンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体であって、前記プログラム命令がプロセッサに実行される時に請求項１から１３のいずれか一項に記載のターゲット識別方法のステップを実現する、コンピュータ読み取り可能記憶媒体。
  28. プロセッサ、メモリ、通信要素および通信バスを含み、前記プロセッサ、前記メモリおよび前記通信要素は前記通信バスによって互いに通信し、
    前記メモリは、前記プロセッサに請求項１から１３のいずれか一項に記載のターゲット識別方法のステップを実行させる少なくとも一つの実行可能命令を記憶するために用いられる、電子機器。
JP2019557616A 2017-07-28 2018-07-27 ターゲット識別方法、装置、記憶媒体および電子機器 Active JP6893564B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710633604.3A CN108229292A (zh) 2017-07-28 2017-07-28 目标识别方法、装置、存储介质和电子设备
CN201710633604.3 2017-07-28
PCT/CN2018/097374 WO2019020103A1 (zh) 2017-07-28 2018-07-27 目标识别方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
JP2020519989A JP2020519989A (ja) 2020-07-02
JP6893564B2 true JP6893564B2 (ja) 2021-06-23

Family

ID=62654256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557616A Active JP6893564B2 (ja) 2017-07-28 2018-07-27 ターゲット識別方法、装置、記憶媒体および電子機器

Country Status (6)

Country Link
US (3) US11200682B2 (ja)
JP (1) JP6893564B2 (ja)
KR (1) KR102339323B1 (ja)
CN (1) CN108229292A (ja)
SG (1) SG11201911625YA (ja)
WO (1) WO2019020103A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229292A (zh) 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
CN108921811B (zh) * 2018-04-03 2020-06-30 阿里巴巴集团控股有限公司 检测物品损伤的方法和装置、物品损伤检测器
CN109508787A (zh) * 2018-10-16 2019-03-22 深圳大学 用于超声位移估计的神经网络模型训练方法及系统
CN111160067A (zh) * 2018-11-07 2020-05-15 北京奇虎科技有限公司 危险识别方法、装置、电子设备及计算机可读存储介质
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN109726684B (zh) * 2018-12-29 2021-02-19 百度在线网络技术（北京）有限公司 一种地标元素获取方法和地标元素获取系统
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
WO2021003379A1 (en) 2019-07-03 2021-01-07 Waymo Llc Agent trajectory prediction using anchor trajectories
CN110443828A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110490906A (zh) * 2019-08-20 2019-11-22 南京邮电大学 一种基于孪生卷积网络和长短期记忆网络的实时视觉目标跟踪方法
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技（深圳）有限公司 基于人工智能的对象识别方法、装置、设备及存储介质
CN110991413B (zh) * 2019-12-20 2020-12-15 西南交通大学 一种基于ReID的跑步检测方法
CN112766301B (zh) * 2020-12-11 2024-04-12 南京富岛信息工程有限公司 一种采油机示功图相似性判断方法
CN113627260A (zh) * 2021-07-12 2021-11-09 科大讯飞股份有限公司 识别手写汉字的笔顺的方法、系统和计算设备
CN113673412B (zh) * 2021-08-17 2023-09-26 驭势（上海）汽车科技有限公司 关键目标物的识别方法、装置、计算机设备及存储介质
CN113688776B (zh) * 2021-09-06 2023-10-20 北京航空航天大学 一种用于跨视场目标重识别的时空约束模型构建方法
CN114338974A (zh) * 2021-12-02 2022-04-12 深圳市领航卫士安全技术有限公司 多通道的活动路径确定方法、装置、设备及存储介质
CN114783003B (zh) * 2022-06-23 2022-09-20 之江实验室 一种基于局部特征注意力的行人重识别方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208844A (ja) * 2000-01-25 2001-08-03 Sumitomo Electric Ind Ltd 光学式車両感知装置および光学式車両感知方法
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
JP4447309B2 (ja) * 2003-12-25 2010-04-07 財団法人生産技術研究奨励会 交差点交通量計測装置および交差点交通量計測方法
US9002060B2 (en) * 2012-06-28 2015-04-07 International Business Machines Corporation Object retrieval in video data using complementary detectors
JP5941987B2 (ja) * 2012-08-08 2016-06-29 株式会社日立製作所 交通量予測装置および方法
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
JP6439571B2 (ja) * 2015-04-28 2018-12-19 オムロン株式会社 交通情報収集装置、交通情報収集方法、および交通情報収集プログラム
CN105095362B (zh) * 2015-06-25 2019-02-22 深圳码隆科技有限公司 一种基于目标对象的图像显示方法和装置
JP6521835B2 (ja) * 2015-10-27 2019-05-29 日本電信電話株式会社 移動経路予測装置、移動経路予測方法、及び移動経路予測プログラム
JP6433877B2 (ja) * 2015-10-27 2018-12-05 日本電信電話株式会社 目的地予測装置、目的地予測方法、及び目的地予測プログラム
WO2017122086A1 (en) * 2016-01-11 2017-07-20 Mobileye Vision Technologies Ltd. Systems and methods for augmenting upright object detection
CN106326837B (zh) * 2016-08-09 2019-09-17 北京旷视科技有限公司 对象追踪方法和装置
CN106778517A (zh) * 2016-11-25 2017-05-31 河南高速公路驻信段改扩建工程有限公司 一种监控视频序列图像车辆再识别的方法
CN106650660A (zh) * 2016-12-19 2017-05-10 深圳市华尊科技股份有限公司 一种车型识别方法及终端
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN108229292A (zh) 2018-06-29
KR20190128724A (ko) 2019-11-18
US20220051417A1 (en) 2022-02-17
JP2020519989A (ja) 2020-07-02
US11200682B2 (en) 2021-12-14
US20200005090A1 (en) 2020-01-02
WO2019020103A1 (zh) 2019-01-31
KR102339323B1 (ko) 2021-12-14
US20220058812A1 (en) 2022-02-24
SG11201911625YA (en) 2020-01-30

Similar Documents

Publication Publication Date Title
JP6893564B2 (ja) ターゲット識別方法、装置、記憶媒体および電子機器
CN109188457B (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
JP7335274B2 (ja) ジオロケーションの予測のためのシステムおよび方法
US20180300549A1 (en) Road detecting method and apparatus
US10037607B2 (en) Topology determination for non-overlapping camera network
CN110033386B (zh) 车辆事故的鉴定方法及装置、电子设备
WO2020232909A1 (zh) 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质
JP2019145174A (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
CN111767750A (zh) 图像处理方法和装置
JP2024533864A (ja) ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するための方法およびシステム
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN115546705A (zh) 目标识别方法、终端设备及存储介质
CN114429641A (zh) 一种时序动作检测方法、装置、存储介质及终端
CN116579460A (zh) 信息预测方法、装置、计算机设备和存储介质
CN111553474A (zh) 船只检测模型训练方法及基于无人机视频的船只跟踪方法
US20230410523A1 (en) Information processing apparatus, control method, and program
CN111310595A (zh) 用于生成信息的方法和装置
CN111611836A (zh) 基于背景消除法的船只检测模型训练及船只跟踪方法
CN112150529A (zh) 一种图像特征点的深度信息确定方法及装置
CN115393423A (zh) 目标检测方法和装置
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
Sen et al. Pothole detection system using object detection through dash cam video feed
CN114596580B (zh) 一种多人体目标识别方法、系统、设备及介质
CN118262099A (zh) 图像遮挡识别方法、装置、设备及介质
CN117830354A (zh) 轨迹的获取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210601

R150 Certificate of patent or registration of utility model

Ref document number: 6893564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250