JP7058669B2 - 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス - Google Patents

車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス Download PDF

Info

Publication number
JP7058669B2
JP7058669B2 JP2019562381A JP2019562381A JP7058669B2 JP 7058669 B2 JP7058669 B2 JP 7058669B2 JP 2019562381 A JP2019562381 A JP 2019562381A JP 2019562381 A JP2019562381 A JP 2019562381A JP 7058669 B2 JP7058669 B2 JP 7058669B2
Authority
JP
Japan
Prior art keywords
vehicle
feature
region
image
waiting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019562381A
Other languages
English (en)
Other versions
JP2020520512A (ja
Inventor
シュワイ イー
チョンダオ ワン
ルーミン タン
ジュンジエ イエン
シャオガン ワン
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2020520512A publication Critical patent/JP2020520512A/ja
Application granted granted Critical
Publication of JP7058669B2 publication Critical patent/JP7058669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Description

（関連出願の相互参照）
本願は、２０１７年６月２８日に中国特許局に提出された、出願番号ＣＮ２０１７１０５０７７７８．５、発明の名称「車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願の実施例は、人工知能技術に関し、特に、車両外観特徴識別方法、装置、記憶媒体及び電子デバイス、ならびに車両検索方法、装置、記憶媒体及び電子デバイスに関する。
車両の検索タスクとは、検索待ちの車両の画像を提示すると、大規模の車両画像データベースから車両画像中の車両の全ての画像を検索することを指している。
本願の実施例の目的は、車両の外観特徴を識別するための技術手段及び車両を検索するための技術手段を提供することである。
本願の実施例の第１の態様によれば、識別待ち画像から目標車両の複数の領域分割結果を取得するステップと、前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するステップと、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するステップと、を含む車両外観特徴識別方法を提供する。
また、前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応してもよい。
また、前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含んでもよい。
また、前記識別待ち画像から目標車両の複数の領域分割結果を取得するステップは、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップを含んでもよい。
また、前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、その内に、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップは、前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得するステップと、前記第１の計算層によって、前記複数のキーポイントを分類して複数のキーポイントクラスタを取得し、複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するステップとを含んでもよい。
また、前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するステップを含んでもよい。
また、前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、その内に、前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有する。
また、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するステップと、前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するステップと、前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するステップと、を含んでもよい。
また、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するステップと、前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するステップと、前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するステップと、を更に含んでもよい。
また、前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行う前に、前記方法は、前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするステップを更に含んでもよい。
また、前記グローバル特徴データと複数の前記領域特徴データとを融合する前記ステップは、特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップを含んでもよい。
また、前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、その内に、前記特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップは、前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するステップと、前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するステップと、前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するステップと、を含んでもよい。
また、前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得する前記ステップは、複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得するステップと、前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得するステップと、前記集合中のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するステップと、を含んでもよい。
また、前記第１の特徴抽出層は砂時計型ネットワーク構造であってもよい。
本願の実施例の第２の態様によれば、車両検索方法を提供する。前記方法は、本願の実施例の第１の態様に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得するステップと、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するステップと、を含む。
また、前記選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するステップは、前記目標車両の外観特徴ベクトルと前記選択待ち車両画像ライブラリの中の複数の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離をそれぞれ決定するステップと、前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含んでもよい。
また、前記方法は、前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するステップと、前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するステップと、前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を更に含んでもよい。
また、前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定する前記ステップは、前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得するステップと、それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定するステップと、前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含んでもよい。
本願の実施例の第３の態様によれば、車両外観特徴識別装置を提供する。前記装置は、識別待ち画像から目標車両の複数の領域分割結果を取得するための第１の取得モジュールと、前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するための抽出モジュールと、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するための融合モジュールと、を備える。
また、前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応してもよい。
また、前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含んでもよい。
また、前記第１の取得モジュールは、領域抽出用の第１のニューラルネットワークによって、前記識別待ち画像から前記目標車両の複数の領域分割結果を取得するための取得サブモジュールを含んでもよい。
また、前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、その内に、前記取得サブモジュールは、前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得し、前記第１の計算層によって、前記複数のキーポイントを分類して複数のキーポイントクラスタを取得し、複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するために用いられてもよい。
また、前記抽出モジュールは、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するための抽出サブモジュールを含んでもよい。
また、前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、その内に、前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有してもよい。
また、前記抽出サブモジュールは、前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するための第１の特徴抽出ユニットと、前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するための第２の特徴抽出ユニットと、前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するための第１のプーリングユニットと、を含んでもよい。
また、前記抽出サブモジュールは、前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するための第１の計算ユニットと、前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するための第３の特徴抽出ユニットと、前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するための第２のプーリングユニットと、を更に含んでもよい。
また、前記抽出サブモジュールは、前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするための第２の計算ユニットを更に含んでもよい。
また、前記融合モジュールは、特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するための融合サブモジュールを含んでもよい。
また、前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、その内に、前記融合サブモジュールは、前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するための第１の取得ユニットと、前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するための第３の計算ユニットと、前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するためのマッピングユニットと、を含んでもよい。
また、前記第１の取得ユニットは、複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得し、前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得し、前記集合中の複数のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するために用いられてもよい。
また、前記第１の特徴抽出層は砂時計型ネットワーク構造であってもよい。
本願の実施例の第４の態様によれば、車両検索装置を提供する。前記装置は、本願の実施例の第３の態様に記載の装置を用いて検索待ち画像中の目標車両の外観特徴データを取得するための第２の取得モジュールと、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するための検索モジュールと、を含む。
また、前記検索モジュールは、前記目標車両の外観特徴ベクトルのそれぞれと前記選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定し、前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
また、前記装置は、前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するための第３の取得モジュールと、前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するための第１の決定モジュールと、前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するための第２の決定モジュールと、を更に含んでもよい。
また、前記第２の決定モジュールは、前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得し、それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定し、前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
本願の実施例の第５の態様によれば、コンピュータプログラムコマンドが記憶され、前記プログラムコマンドをプロセッサーで実行する時に本願の実施例の第１の態様に記載の車両外観特徴識別方法を実現するコンピュータ可読記憶媒体を提供する。
本願の実施例の第６の態様によれば、コンピュータプログラムコマンドが記憶され、前記プログラムコマンドをプロセッサーで実行する時に本願の実施例の第２の態様に記載の車両検索方法を実現するコンピュータ可読記憶媒体を提供する。
本願の実施例の第７の態様によれば、第１のプロセッサーと、第１のメモリと、第１の通信デバイスと第１の通信バスとを備え、前記第１のプロセッサー、前記第１のメモリ及び前記第１の通信デバイスが前記第１の通信バスを介して互いに通信し、前記第１のメモリが少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第１のプロセッサーに本願の実施例の第１の態様に記載の車両外観特徴識別方法を実行させる電子デバイスを提供する。
本願の実施例の第８の態様によれば、第２のプロセッサーと、第２のメモリと、第２の通信デバイスと第２の通信バスとを備え、前記第２のプロセッサー、前記第２のメモリ及び前記第２の通信デバイスが前記第２の通信バスを介して互いに通信し、前記第２のメモリが少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第２のプロセッサーに本願の実施例の第２の態様に記載の車両検索方法を実行させる電子デバイスを提供する。
本願の実施例の車両外観特徴識別方法によれば、識別待ち画像から目標車両の複数の領域分割結果を取得し、そして前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出して、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するものであり、本願の実施例の車両外観特徴識別方法は、従来技術における車両外観特徴の取得方法に比べて、本願の実施例で識別して得られた車両外観特徴にはグローバル特徴に加えて更に車両外観のローカル領域の特徴を含み得るので、ローカル領域特徴によって目標車両の細部情報を表し、より正確に車両の外観を表すことができる。また、本願の実施例で識別して得られた車両外観特徴によって異なる車両画像中の車両外観特徴を直接比較することができ、異なる車両画像間の異なる領域を比較できない問題を解決する。
以下、図面及び実施例を通じて本願の技術手段をさらに詳しく説明する。
本願の車両外観特徴識別方法による一実施例のフローチャートである。 本願の車両外観特徴識別方法による別の実施例のフローチャートである。 図２の方法実施例を実施する車両キーポイントの分布の模式図である。 図２の方法実施例を実施するネットワークフレームの模式図である。 図２の方法実施例を実施する車両領域分割結果の模式図である。 図２の方法実施例を実施する車両領域の重み値の模式図である。 本願の車両検索方法による一実施例のフローチャートである。 本願の車両検索方法による別の実施例のフローチャートである。 図８の方法実施例を実施する車両の類似距離の模式図である。 本願の車両外観特徴識別装置による一実施例の構造模式図である。 本願の車両外観特徴識別装置による別の実施例の構造模式図である。 本願の車両検索装置による一実施例の構造模式図である。 本願の車両検索装置による別の実施例の構造模式図である。 本願の実施例の端末機器またはサーバを実現するのに適した電子デバイスの一実施例の構造模式図である。 本願の実施例の端末機器またはサーバを実現するのに適した電子デバイスの別の実施例の構造模式図である。
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
図面を参照して、以下の詳細な説明からより明確に本願を理解することができる。
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材およびステップの相対的配置、数式および値は本願の範囲を限定するものではないことに注意すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願およびその適用または使用へのなんらの制限にもならない。
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
本願の実施例は端末機器、コンピュータシステム、サーバなどの電子デバイスに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子デバイスとの併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサーに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
端末機器、コンピュータシステム、サーバなどの電子デバイスはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記載できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでもよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
図１は本願の車両外観特徴識別方法による一実施例のフローチャートである。
図１を参照して、ステップＳ１０１では、識別待ち画像から目標車両の複数の領域分割結果を取得する。
本実施例では、画像に含まれる内容から見て、識別待ち画像は目標車両の一部を含む画像であっても、目標車両全体を含む画像等であってもよい。画像の種類から見て、識別待ち画像は撮影された静止画像、ビデオフレームシーケンス中のビデオ画像、合成画像等であってもよい。複数領域分割結果は、それぞれ、目標車両の異なる方位の領域に対応する。また、複数の領域分割結果は、目標車両の前側、後側、左側及び右側の分割結果を含むが、これらに限定されない。勿論、本願の実施例では、複数の領域分割結果は、目標車両の前側、後側、左側及び右側の４つの領域の分割結果を含むのに限定されない。例えば、複数の領域分割結果は、目標車両の前側、後側、左側、右側、上面及び下面の６つの領域の分割結果を含んでも良く、複数の領域分割結果は、目標車両の正前、正後、正左、正右、左前、右前、左後及び右後の８つの領域の分割結果を含んでもよい。その内に、領域分割結果は単一チャンネルのウェイトマップであり、領域分割結果中の値の大きさは、識別待ち画像中の対応位置の重要度を示し、即ち、領域分割結果中の値が大きいほど識別待ち画像中の対応位置の重要度が高く、領域分割結果中の値が小さいほど識別待ち画像中の対応位置の重要度が低いことを示す。
任意選択的な一例では、該ステップＳ１０１は、メモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、またはプロセッサーによって実現される第１の取得モジュール５０１によって実行されてもよい。
ステップＳ１０２では、複数の領域分割結果に基づき、識別待ち画像からグローバル特徴データと複数の領域特徴データを抽出する。
その内に、グローバル特徴データと複数の領域特徴データは、目標車両のグローバル特徴データ及び複数の領域特徴データであり、グローバル特徴データはベクトルによって表されるグローバル特徴であり得、領域特徴データはベクトルによって表される領域特徴であり得る。
任意選択的な一例では、該ステップＳ１０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される抽出モジュール５０２によって実行されてもよい。
ステップＳ１０３では、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得する。
その内に、グローバル特徴データと領域特徴データの両方がベクトルによって表される場合に、グローバル特徴ベクトルの次元は領域特徴ベクトルの次元と同じである。目標車両の外観特徴データは、目標車両の複数のローカル領域の特徴と目標車両のグローバル領域の特徴とを含む。
任意選択的な一例では、該ステップＳ１０３はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される融合モジュール５０３によって実行されてもよい。
本実施例の車両外観特徴識別方法によれば、識別待ち画像から目標車両の複数の領域分割結果を取得し、そして前記複数の領域分割結果に基づいて、識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出して、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するものであり、本実施例の車両外観特徴識別方法は、従来技術における車両外観特徴の取得方法に比べて、本実施例で識別して得られた車両外観特徴にはグローバル特徴に加えて更に車両外観のローカル領域の特徴を含み得るので、ローカル領域特徴によって目標車両の細部情報を表し、より正確に車両の外観を表すことができる。また、本実施例で識別して得られた車両外観特徴によって異なる車両画像中の車両外観特徴を直接比較することができ、異なる車両画像間の異なる領域を比較できない問題を解決する。
本実施例の車両外観特徴識別方法はデータ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。
図２は本願の車両外観特徴識別方法による別の実施例のフローチャートである。
図２を参照して、ステップＳ２０１では、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から目標車両の複数の領域分割結果を取得する。
任意選択的な一例では、該ステップＳ２０１はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される取得サブモジュール６０１１によって実行されてもよい。
その内に、第１のニューラルネットワークは領域抽出または目標対象識別を実現可能な任意の適切なニューラルネットワークであれば良く、例えば畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、アンチニューラルネットワーク中の生成ネットワーク等を含むが、これらに限定されない。ニューラルネットワークにおける構造の設置は、畳み込み層の層数、畳み込みカーネルのサイズ、チャンネル数などの実際の必要性に従って当業者によって適切に設定することができ、これは本願の実施例に限定されない。本願の実施例では、第１のニューラルネットワークは、第１の特徴抽出層と、第１の特徴抽出層の端部に接続される第１の計算層とを有する。
また、該ステップＳ２０１は、第１の特徴抽出層によって識別待ち画像に対して特徴抽出を行い、目標車両の複数のキーポイントを取得するステップと、第１の計算層によって複数のキーポイントを分類し、複数のキーポイントクラスタを取得し、かつ複数のキーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数のキーポイントクラスタに対応する領域分割結果を取得するステップと、を含む。
車両は単色であり、いくつかの車両のクロマトグラムは非常に類似しているので、車両の色から区別することは困難である。本実施例は、車両のキーポイントに基づき車両の領域特徴を抽出する。このようにして、車両の細部の特徴の多くは領域特徴によって良く表されることができる。本実施例中の車両キーポイントは、車両の境界点またはコーナー点ではなく、車両上の著しく異なる位置または車輪、照明器具、ロゴ、リアミラー、ナンバープレートなどの車両の主要構成部品である。図３は図２の方法実施例を実施する車両キーポイントの分布の模式図である。図３に示すように、本実施例中の車両キーポイントは、車両の左前輪１、左後輪２、右前輪３、右後輪４、右防曇灯５、左防曇灯６、右フロントヘッドライト７、左フロントヘッドライト８、フロントカーロゴ９、フロントナンバープレート１０、左リアミラー１１、右リアミラー１２、ルーフの右前角１３、ルーフの左前角１４、ルーフの左後角１５、ルーフの右後角１６、左テールライト１７、右テールライト１８、後部カーロゴ１９、及び後部ナンバープレート２０を含む。これにより、車両の細部の特徴は領域特徴によって表され、より正確に車両の外観を表すことができる。
任意選択的な実施形態では、第１の特徴抽出層は、入力した車両画像中の２０個の車両キーポイントのうちの車両キーポイントに対して特徴抽出を行い、複数の車両キーポイントの応答特徴マップを取得する。その内に、第１の特徴抽出層は砂時計型ネットワーク構造であり得る。該ステップを実行する前に、該第１の特徴抽出層をトレーニングする必要がある。第１の特徴抽出層のトレーニング過程は、マークされた車両キーポイントの目標応答特徴マップをマークされたキーポイント位置の周囲のガウスカーネルとして設計し、次にマークされた車両キーポイントを含む車両画像を第１の特徴抽出層に入力し、第１の特徴抽出層の予測結果が目標ガウスカーネルに近いかどうかを判定し、目標ガウスカーネルに近づかない場合に、予測結果と目標ガウスカーネルの相違に応じて第１の特徴抽出層のパラメータを調整し、反復学習を繰り返すことである。その内に、第１の特徴抽出層によりマークの車両キーポイントに対する予測結果はマークされた車両キーポイントの応答特徴マップに対応するガウスカーネルであり、予測結果と目標ガウスカーネルの相違はクロスエントロピーであり得る。図４は図２の方法実施例を実施するネットワークフレームの模式図である。図４に示すように、第１のニューラルネットワーク（ａ）中のマーカー回帰機器は第１の特徴抽出層の表現形式である。
本実施例では、特定の角度で撮影された車両画像中の車両にいくつかの見えない領域がよくある。目に見えない車両キーポイントの問題を対処するために、車両キーポイント間の幾何学的関係を十分に利用して、２０個の車両キーポイントを４つのクラスタ、例えば、Ｃ１＝［５、６、７、８、９、１０、１３、１４］、Ｃ２＝［１５、１６、１７、１８、１９、２０］、Ｃ３＝［１、２、６、８、１１、１４、１５、１７］及びＣ４＝［３、４、５、７、１２、１３、１６、１８］に割り当て、図４の（ａ）に示すように、４つのクラスタ中の車両キーポイントは、それぞれ車両の正面、背面、左側及び右側に対応し、そして複数のクラスタ中のキーポイントの特徴マップを融合し、車両の正面分割結果、背面分割結果、左側分割結果及び右側分割結果を取得する。
図５は図２の方法実施例を実施する車両領域分割結果の模式図である。図５に示すように、左側が順に３つの車両画像であり、右側が順にそれぞれの車両画像の正面分割結果、背面分割結果、左側分割結果及び右側分割結果であり、図から分かるように、一般に車両画像中の車両不可視領域の分割結果よりも車両可視領域の分割結果がより高い応答を有し、これは、第１の特徴抽出層が車両キーポイントを予測できるだけでなく、不可視車両キーポイントから可視車両キーポイントを分けられる。
ステップＳ２０２では、複数の領域分割結果に基づき、特徴抽出用の第２のニューラルネットワークによって識別待ち画像中から目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する。
任意選択的な一例では、該ステップＳ２０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される抽出サブモジュール６０２１によって実行されてもよい。
その内に、第２のニューラルネットワークは特徴抽出または目標対象識別を実現できる任意の適切なニューラルネットワークであれば良く、例えば畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、アンチニューラルネットワーク中の生成ネットワーク等を含むが、これらに限定されない。ニューラルネットワークにおける構造の設置は、畳み込み層の層数、畳み込みカーネルのサイズ、チャンネル数などの実際の必要性に従って当業者によって適切に設定することができ、これは本願の実施例に限定されない。本実施例では、第２のニューラルネットワークは、第１の処理サブネットと、それぞれ第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、その内に、第１の処理サブネットは第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、第２の処理サブネットは第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有する。その内に、第２の特徴抽出層は３つの畳み込み層と２つの起動モジュール（Ｉｎｃｅｐｔｉｏｎ Ｍｏｄｕｌｅ）を有し、起動モジュールは畳み込み演算及びプーリング操作を実行することができる。
また、該ステップＳ２０２は、第２の特徴抽出層によって識別待ち画像に対して畳み込み演算及びプーリング操作を行い、目標車両のグローバル特徴マップを取得するステップと、第１の起動モジュールによってグローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、目標車両の第１の特徴マップ集合を取得するステップと、第１のプーリング層によって第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、目標車両のグローバル特徴ベクトルを取得するステップと、を含む。
任意選択的な実施形態では、まず識別待ち画像のサイズが１９２＊１９２になるように識別待ち画像をスケーリングし、その後スケーリングした画像を３つの畳み込み層と２つの起動モジュールからなる第２の特徴抽出層に入力し、第２の特徴抽出層によってスケーリングした画像に対して畳み込み演算及びプーリング操作を行い、空間サイズが１２＊１２であるグローバル特徴マップを取得する。そして、第１の起動モジュールによってグローバル特徴マップに対して再度畳み込み演算及びプーリング操作を行い、空間サイズが６＊６である特徴マップの集合を取得する。最後に、第１のプーリング層によって集合中の特徴マップに対してグローバル平均プーリング操作を行い、１５３６次元のグローバル特徴ベクトルを取得する。
また、該ステップＳ２０２は、第２の計算層によって複数の領域分割結果のそれぞれとグローバル特徴マップとを点乗算を行い、複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するステップと、第２の起動モジュールによって複数の領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の領域分割結果に対応する第２の特徴マップ集合を取得するステップと、第２のプーリング層によって複数の領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の領域分割結果に対応する第１の領域特徴ベクトルを取得するステップと、を更に含む。
また、第２の計算層によって複数の領域分割結果のそれぞれとグローバル特徴マップとを点乗算を行う前に、方法は、第２の計算層によって複数の領域分割結果のそれぞれをグローバル特徴マップのサイズと同じサイズまでスケーリングするステップを更に含む。これにより、最後に取得した領域特徴ベクトルの次元とグローバル特徴ベクトルの次元とが同じであることを確保できる。
任意選択的な実施形態では、まず車両の正面分割結果、背面分割結果、左側分割結果及び右側分割結果のそれぞれをグローバル特徴マップのサイズと同じサイズ、即ち１２＊１２のサイズまでスケーリングする。その後、スケーリングした正面分割結果、背面分割結果、左側分割結果及び右側分割結果のそれぞれとグローバル特徴マップとを点乗算を行い、車両の正面特徴マップ、背面特徴マップ、左側特徴マップ及び右側特徴マップを取得する。また、その後第２の起動モジュールによって車両の正面特徴マップ、背面特徴マップ、左側特徴マップ及び右側特徴マップのそれぞれに対して畳み込み演算及びプーリング操作を行い、ローカル特徴マップのそれぞれに対応する特徴マップ集合を取得し、該特徴マップ集合中の特徴マップの空間サイズが６＊６である。最後に、第２のプーリング層によって複数のローカル特徴マップに対応する特徴マップ集合中の特徴マップのそれぞれに対してグローバル最大プーリング操作を行い、車両の正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルを取得し、且つローカル領域の特徴ベクトルの次元がすべて１５３６次元である。複数のローカル特徴マップに対応する特徴マップ集合中の特徴マップのそれぞれに対してグローバル最大プーリング操作を行うのは、最大応答が１つのローカル領域から特徴を抽出するのにより適しているからである。
図４の（ｂ）部分に示すように、第２のニューラルネットワークを２段階に分けられ、グローバル特徴とローカル特徴はトランク及びブランチ形式でそれぞれ抽出されて得るものである。その内に、第１の段階は、識別待ち画像に対して畳み込み演算及びプーリング操作を行い、識別待ち画像のグローバル特徴マップを取得する。第２の段階は、５つのブランチ、１つのグローバルブランチと４つのローカル領域ブランチを含む。その内に、グローバルブランチは、グローバル特徴マップに対して上記の実施例のような処理を行い、グローバル特徴ベクトルを取得し、ローカル領域ブランチは、グローバル特徴マップを参照して指定された領域分割結果に対してそれぞれ上記の実施例のような処理を行い、対応するローカル特徴ベクトルを取得する。
ステップＳ２０３では、特徴融合用の第３のニューラルネットワークによって目標車両のグローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得する。
任意選択的な一例では、該ステップＳ２０３はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される融合サブモジュール６０３１によって実行されてもよい。
その内に、第３のニューラルネットワークは特徴融合を実現可能な任意の適切なニューラルネットワークであれば良く、例えば畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、アンチニューラルネットワーク中の生成ネットワーク等を含むが、これらに限定されない。ニューラルネットワークにおける構造の設置は、畳み込み層の層数、畳み込みカーネルのサイズ、チャンネル数などの実際の必要性に従って当業者によって適切に設定することができ、これは本願の実施例に限定されない。本実施例では、第３のニューラルネットワークは第２のニューラルネットワークの複数の出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有する。
また、該ステップＳ２０３は、第１の完全接続層によって複数の第１の領域特徴ベクトルの重み値を取得するステップと、第３の計算層によって重み値に基づき、複数の第１の領域特徴ベクトルのそれぞれを重み付け、対応する複数の第２の領域特徴ベクトルを取得するステップと、第２の完全接続層によって複数の第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、目標車両の外観特徴ベクトルを取得するステップと、を含む。
また、第１の完全接続層によって複数の第１の領域特徴ベクトルの重み値を取得するステップは、複数の第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得するステップと、第１の完全接続層によってステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、第１の領域特徴ベクトルに対応するスカラーの集合を取得するステップと、集合中の少なくとも１つのスカラーに対して正規化操作を行い、第１の領域特徴ベクトルの重み値を取得するステップと、を含む。
任意選択的な実施形態では、以下の操作を含む。
車両の正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルに対してステッチ操作を行い、その後ステッチされた正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルを第１の完全接続層に入力し、第１の完全接続層によってこれらの４つの特徴ベクトルに対してマッピング操作を行い、スカラー集合を取得する。
Ｓｏｆｔｍａｘ関数によってスカラー集合中のスカラーに対して正規化操作を行い、正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルの重み値をそれぞれ取得する。
対応する重み値に基づいて正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルのそれぞれに対して重み付けを行い、重み付けられた正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルを取得する。
重み付けられた正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルとグローバル特徴ベクトルに対してステッチ操作を行う。
第２の完全接続層によってステッチされた重み付けローカル特徴ベクトルとグローバル特徴ベクトルに対してマッピング操作を行い、図４の（ｃ）部分に示すように、２５６次元の車両外観特徴ベクトルを取得する。
特徴の融合過程中に、第３のニューラルネットワークは学習により異なる車両領域の特徴ベクトルの重み値を取得する。異なる車両領域の特徴は異なる重要度を有し、車両画像中の車両可視領域の特徴はより大きな重みが保持されるか与えられ得るが、車両画像中の車両不可視領域の特徴は競合過程中において排除されるか小さな重みが与えられる。例えば、車両画像中の車両の向きは左前方であり、車両の左側及び前側が見えるので、これら２つの面の特徴は相対的に重要であり、対応する特徴ベクトルの重み値は相対的に大きく、該車両の後側及び右側が見えないので、これらの２つの面の特徴を抽出できるが、この２の面の特徴ベクトルの重み値が相対的に小さい。このようにして、車両画像中の車両可視領域の車両キーポイントは最後の車両外観特徴ベクトル対する貢献がより高く、車両画像中の車両不可視領域の車両キーポイントは相対的に小さな重み値により最後の車両外観特徴ベクトルに対する影響が低減される。これにより、より正確に車両の外観を表すことができる。
図６は図２の方法実施例を実施する車両領域の重み値の模式図である。図６に示すように、（ａ）部分は入力された１つの車両の３つ異なる角度で撮影された画像、及びそれぞれの角度で撮影された画像中の車両正面、車両背面、車両左側および車両右側の重み値を示し、（ｂ）部分は集合中から選択された車両画像の車両外観特徴の２次元空間での試験投影結果を示し、（ｃ）部分は入力されたもう１つの車両の３つの異なる角度で撮影された画像、及びそれぞれの角度で撮影された画像中の車両正面、車両背面、車両左側および車両右側の重み値を示す。図から分かるように、車両画像の撮影角度を問わず、同じ車両の外観特徴を集計することができる。従って、本実施例で識別して得られた車両外観特徴は識別する車両画像の撮影角度とは関係なく、異なる車両画像中の車両外観特徴を直接比較することができ、異なる車両画像間の異なる領域を比較できない問題を解決する。また、図の（ａ）部分と（ｃ）部分に入力された車両画像と対応する２つのクラスタの学習重みを示し、これらの学習重みに基づき車両外観のローカル領域特徴を融合し、車両画像中の車両不可視面の重み値よりも車両可視面の重み値がやや高いことが分かる。
尚、選択可能なトレーニング戦略を採用して第２のニューラルネットワークと第３のニューラルネットワークをトレーニングすることができ、該トレーニング戦略は、以下の４つのステップを含む。（ｉ）第２のニューラルネットワークの第１の段階のトランクネットワークと第２の段階のグローバルブランチはランダム初期化からトレーニングされ、すべての画像領域のグローバル特徴によって監視される。（ｉｉ）第１の段階のトランクネットワークのトレーニングが完了した後、第２の段階のグローバルブランチとローカルブランチとが同じ構造を有するので、第２の段階のグローバルブランチの初期化パラメータを使用して第２の段階の４つのローカルブランチをトレーニングすることができる。また、４つのローカルブランチのトレーニングは所与の分類ラベルによって別々に監視される。（ｉｉｉ）第１の段階のトランクネットワーク及び第２の段階のブランチのトレーニングが完了した後、第３のニューラルネットワークをトレーニングする。（ｉｖ）上記のステップを通じて学習されたパラメータを有するニューラルネットワークを初期化し、且つパラメータを組み合わせて微調整する。第２のニューラルネットワーク及び第３のニューラルネットワークをトレーニングする時に、既存の車両データベース及びＳｏｆｔｍａｘ分類損失を使用することができる。
任意の選択可能な応用では、本実施例で識別して得られた車両外観特徴は、車両を表すためだけでなく、例えば粗分化車型、細分化車型、車両の色などの車両属性を分析するためにも用いられ、また本実施例で識別して得られた車両外観特徴を利用して車両の分類、識別及び検索を行うことができる。
本実施例の車両外観特徴識別方法によれば、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から目標車両の複数の領域分割結果を取得し、その後複数の領域分割結果に基づき、特徴抽出用の第２のニューラルネットワークによって識別待ち画像から目標車両のグローバル特徴データ及び複数の領域特徴データを抽出し、また特徴融合用の第３のニューラルネットワークによって目標車両のグローバル特徴データと複数の領域特徴データを融合して、目標車両の外観特徴データを取得するので、本実施例の車両外観特徴識別方法は、従来技術における車両外観特徴の取得方法に比べて、本実施例で識別して得られた車両外観特徴はグローバル特徴に加えて車両外観のローカル領域の特徴を含み、ローカル領域特徴によって目標車両の細部情報を示し、より正確に車両の外観を表すことができる。また、本実施例で識別して得られた車両外観特徴によって、異なる車両画像中の車両外観特徴を直接比較でき、異なる車両画像間の異なる領域を比較できない問題を解決する。
本実施例の車両外観特徴識別方法はデータ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。
図７は本願の車両検索方法による一実施例のフローチャートである。
図７を参照して、ステップＳ３０１では、車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得する。
本実施例では、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得することができる。その内に、外観特徴データはベクトルによって示されたデータであり得る。画像に含まれる内容から見て、検索待ち画像は目標車両の一部を含む画像であっても良く、目標車両全体を含む画像等であってもよい。画像の種類から見て、検索待ち画像は撮影された静止画像、ビデオフレームシーケンス中のビデオ画像、または合成画像等であってもよい。
任意選択的な一例では、該ステップＳ３０１はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される第２の取得モジュール７０１によって実行されてもよい。
ステップＳ３０２では、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索する。
任意選択的な一例では、該ステップＳ３０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される検索モジュール７０２によって実行されてもよい。
任意選択的な実施形態では、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって選択待ち車両画像ライブラリ中の複数の選択待ち車両画像中の車両の外観特徴データを取得し、目標車両の外観特徴データのそれぞれを選択待ち車両画像中の車両の外観特徴データと比較して、目標車両の外観特徴データにマッチイングする目標選択待ち車両画像を取得することができる。
本願の例示的な実施例の目的は、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索することによって、車両検索の精度を向上させる車両検索方法を提供することである。
本実施例の車両検索方法はデータ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。
図８は本願の車両検索方法による別の実施例のフローチャートである。
図８を参照して、ステップＳ４０１では、車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得する。
任意選択的な一例では、該ステップＳ４０１はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される第２の取得モジュール８０４によって実行されてもよい。
該ステップＳ４０１は、上記のステップＳ３０１と同じであるため、ここで詳細な説明は繰り返さない。
ステップＳ４０２では、目標車両の外観特徴ベクトルのそれぞれと選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定する。
任意選択的な一例では、該ステップＳ４０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される検索モジュール８０５によって実行されてもよい。
本実施例では、当業者は、既存のコサイン距離計算式に従って目標車両の外観特徴ベクトルのそれぞれと選択待ち車両画像中の車両の外観特徴ベクトルとのコサイン距離を算出することができる。
ステップＳ４０３では、コサイン距離に基づき目標車両にマッチイングする目標選択待ち車両画像を決定する。
任意選択的な一例では、該ステップＳ４０３はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される検索モジュール８０５によって実行されてもよい。
任意選択的な実施形態では、目標車両の外観特徴ベクトルと選択待ち車両画像中の車両の外観特徴ベクトルとのコサイン距離が第１の予設閾値以上である時に、該選択待ち車両画像を目標車両にマッチイングする目標選択待ち車両画像として決定することができる。その内に、当業者は試験によって第１の予設閾値を得ることができる。勿論、本願の実施例はこれに限定されない。
また、方法は、検索待ち画像の撮影時間及び／又は撮影位置及び複数の選択待ち車両画像の撮影時間及び／又は撮影位置を取得するステップと、撮影時間及び／又は撮影位置に基づいて目標車両と複数の選択待ち車両画像中の車両との時空間距離を決定するステップと、コサイン距離及び時空間距離に基づいて選択待ち車両画像ライブラリ中の目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を更に含む。これにより、車両検索の精度をさらに向上させることができる。
また、コサイン距離及び時空間距離に基づいて選択待ち車両画像ライブラリ中の目標車両にマッチイングする目標選択待ち車両画像を決定するステップは、コサイン距離に基づいて選択待ち車両画像ライブラリ中から複数の選択待ち車両画像を取得するステップと、選択待ち車両画像の撮影時間及び撮影位置を基づいて、選択待ち車両画像と目標車両の時空間マッチイング確率をそれぞれ決定するステップと、コサイン距離及び時空間マッチイング確率に基づいて、目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含む。
その内に、車両画像の時空間情報は、車両検索の再現率を大幅に向上させることができる。検索する車両画像の撮影時間と撮影位置が分かっていれば、統計的モデル化により、車両画像における別の時間及び別の場所における車両の出現確率を求めることができる。これは検索タスクに非常に効果的である。その内に、時空間マッチイング確率は、選択待ち車両画像と目標車両画像の撮影時間及び撮影位置とによって決定される。要するに、時空間マッチイング確率とは、選択待ち車両画像の撮影時間及び撮影位置における目標車両の出現確率であり、それは車両画像の撮影時間及び撮影位置に応じて統計的モデル化されたものである。また、時空間マッチイング確率とは、２つのカメラ間の車両遷移時間間隔の条件付き確率であり、以下の式１によって算出することができる。
実際の応用シーンでは、特に外観が個人用の装飾なしで同じ外装を有する場合、車両の外観特徴は他の車両から車両を区別するのに十分でないかもしれない。しかしながら、モニタリング応用では、車両画像の撮影時間及び撮影位置は容易に入手可能である。この２つのカメラ間の車両遷移時間間隔を分析することによって、本願の発明者は、少なくとも１対のカメラについて、車両遷移時間間隔が確率分布を満たすランダム変数としてシミュレートすることができることを見だした。車両遷移時間間隔のガウス様及びロングテール特性のために、対数正規分布を使用してこのランダム変数をシミュレートすることができる。車両がカメラから離れることを
Figure 0007058669000001
とし、車両がカメラに入ることを
Figure 0007058669000002
とすると、
Figure 0007058669000003
と
Figure 0007058669000004
間の車両遷移時間間隔
Figure 0007058669000005
の条件付き確率が以下の式１によって算出される。

Figure 0007058669000006
式１
ただし、
Figure 0007058669000007
は各カメラ対
Figure 0007058669000008
の推定パラメータをそれぞれ示し、車両遷移時間間隔
Figure 0007058669000009
は２つの車両画像の撮影時間の絶対値であり、推定パラメータは以下の対数尤度関数を最大化して算出される。
Figure 0007058669000010

ただし、
Figure 0007058669000011
はトレーニング集合からサンプリングされた各カメラ対
Figure 0007058669000012
の２つのカメラ間の車両遷移時間間隔を示し、
Figure 0007058669000013
はトレーニング集合中の２つのカメラ間の車両遷移時間間隔のサンプルを含む。

Figure 0007058669000014
と
Figure 0007058669000015
間の車両遷移時間間隔
Figure 0007058669000016
の条件付き確率を得た後、以下の式２によって２つの車両画像間の車両の時空間距離を算出することができる。

Figure 0007058669000017
式２
ただし、条件付き確率が高いほど、２つの車両画像間の車両の時空間距離が小さくなる。
最後に、以下の式３によって２つの車両画像間の類似距離を算出することができる。
Figure 0007058669000018
式３
ただし、Ｄａは２つの車両画像間の車両外観特徴ベクトルのコサイン距離を示し、Ｄｓは２つの車両画像間の車両の時空間距離を示し、Ｄは２つの車両画像間の車両の類似距離を示し、αのサイズは２であり、βのサイズは０．１である。その内に、２つの車両画像間の車両の類似距離が小さいほど、２つの車両画像間の車両が類似している。
目標車両と選択待ち車両画像中の車両の類似距離が第２の予設閾値以下である時に、該選択待ち車両画像を目標車両にマッチイングする目標選択待ち車両画像として決定することができる。その内に、当業者は試験によって第２の予設閾値を得ることができる。勿論、本願の実施例はこれに限定されない。
図９は図８の方法実施例を実施する車両の類似距離の模式図である。図９に示すように、上方の第１段のボックス中の画像は、コサイン距離に応じてソートされた上から５段目の選択待ち車両画像であり、上方の第１段の最も左の画像は目標車両の画像であり、下方の一段の画像は選択待ち車両画像と目標車両画像の時空間距離に基づき並べ替えて得られた結果である。また、式１によって、目標車両画像と選択待ち車両画像の撮影時間値及び目標車両画像と選択待ち車両画像の撮影カメラの番号に従って車両遷移時間間隔の条件付き確率を算出する。その後、式２によって車両遷移時間間隔の条件付き確率に基づき目標車両画像と選択待ち車両画像間の車両の時空間距離を算出し、さらに式３によって既知のコサイン距離及び算出された時空間距離に基づいて目標車両画像と選択待ち車両画像間の車両の類似距離を算出する。最後に、目標車両画像と選択待ち車両画像間の車両の類似距離に基づき選択待ち車両画像のソート結果を並べ替え、選択待ち車両画像の並べ替え結果を取得する。
本願の例示的な実施例の目的は、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索することによって、車両検索の精度を向上させることができる車両検索方法を提出することである。
本実施例の車両検索方法は、データ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。あるいは、本願の実施例によって提供される任意の方法は、プロセッサーで実行され、例えばプロセッサーによってメモリに記憶した対応のコマンドを呼び出し本願の実施例で提供される任意の方法を実行することができる。以下で詳細な説明は繰り返さない。
当業者であれば、上記の方法実施例を実現するステップの全部または一部をプログラムコマンドに関連するハードウェアを使用して実施することがきることを理解すべきであり、プログラムがコンピュータ可読記憶媒体中に記憶され得、該プログラムを実行する時に、上記方法実施例を含むステップを実行し、前記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能な各種媒体を含む。
同様の技術的思想に基づいて、図１０は本願の車両外観特徴識別装置による一実施例の構造模式図である。実施例１のような車両外観特徴識別方法のフローを実施するために用いられる。
図１０を参照して、該車両外観特徴識別装置は第１の取得モジュール５０１、抽出モジュール５０２、及び融合モジュール５０３を含む。
第１の取得モジュール５０１は、識別待ち画像から目標車両の複数の領域分割結果を取得するために用いられる。
抽出モジュール５０２は、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出するために用いられる。
融合モジュール５０３は、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得するために用いられる。
本実施例で提供される車両外観特徴識別装置によって、目標車両を含む識別待ち画像中から、目標車両の複数の領域分割結果を取得し、その後複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出し、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得し、本実施例で識別して得られた車両外観特徴は車両外観のローカル領域の特徴を含むので、より正確に車両の外観を表すことができる。また、本実施例で識別して得られた車両外観特徴によって異なる車両画像中の車両外観特徴を直接比較でき、異なる車両画像間の異なる領域を比較できない問題を解決する。
同様の技術的思想に基づいて、図１１は本願の車両外観特徴識別装置による別の実施例の構造模式図である。実施例２のような車両外観特徴識別方法のフローを実施することに用いられる。
図１１を参照して、該車両外観特徴識別装置は、第１の取得モジュール６０１、抽出モジュール６０２、及び融合モジュール６０３を含む。その内に、第１の取得モジュール６０１は、識別待ち画像から目標車両の複数の領域分割結果を取得するために用いられ、抽出モジュール６０２は、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出するために用いられ、融合モジュール６０３は、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得するために用いられる。
また、複数の領域分割結果はそれぞれ目標車両の異なる方位の領域に対応してもよい。
また、複数の領域分割結果は目標車両の前側、後側、左側及び右側の分割結果を含んでもよい。
また、第１の取得モジュール６０１は、領域抽出用の第１のニューラルネットワークによって識別待ち画像中から目標車両の複数の領域分割結果を取得するための取得サブモジュール６０１１を含んでもよい。
また、第１のニューラルネットワークは、第１の特徴抽出層と、第１の特徴抽出層の端部に接続される第１の計算層を有し、その内に、取得サブモジュール６０１１は、第１の特徴抽出層によって識別待ち画像に対して特徴抽出を行い、目標車両の複数のキーポイントを取得し、第１の計算層によって複数のキーポイントを分類し、複数のキーポイントクラスタを取得し、そして複数のキーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数のキーポイントクラスタに対応する領域分割結果を取得するために用いられてもよい。
また、抽出モジュール６０２は、複数の領域分割結果に基づき、特徴抽出用の第２のニューラルネットワークによって識別待ち画像中から目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するための抽出サブモジュール６０２１を含んでもよい。
また、第２のニューラルネットワークは、第１の処理サブネットと、第１の処理サブネットの出力端にそれぞれ接続される複数の第２の処理サブネットを有し、その内に、第１の処理サブネットは第２の特徴抽出層、第１の起動モジュール、及び第１のプーリング層を有し、第２の処理サブネットは、第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール、及び第２のプーリング層を有しても良い。
また、抽出サブモジュール６０２１は、第２の特徴抽出層によって識別待ち画像に対して畳み込み演算及びプーリング操作を行い、目標車両のグローバル特徴マップを取得するための第１の特徴抽出ユニット６０２２と、第１の起動モジュールによってグローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、目標車両の第１の特徴マップ集合を取得するための第２の特徴抽出ユニット６０２３と、第１のプーリング層によって第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、目標車両のグローバル特徴ベクトルを取得するための第１のプーリングユニット６０２４と、を含んでもよい。
また、抽出サブモジュール６０２１は、第２の計算層によって複数の領域分割結果とそれぞれグローバル特徴マップとを点乗算を行い、複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するための第１の計算ユニット６０２６と、第２の起動モジュールによって複数の領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の領域分割結果に対応する第２の特徴マップ集合を取得するための第３の特徴抽出ユニット６０２７と、第２のプーリング層によって複数の領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の領域分割結果に対応する第１の領域特徴ベクトルを取得するための第２のプーリングユニット６０２８と、を更に含んでもよい。
また、抽出サブモジュール６０２１は、第２の計算層によって複数の領域分割結果のそれぞれをグローバル特徴マップのサイズと同じサイズまでスケーリングするための第２の計算ユニット６０２５を更に含んでもよい。
また、融合モジュール６０３は、特徴融合用の第３のニューラルネットワークによって目標車両のグローバル特徴データと複数の領域特徴データを融合するための融合サブモジュール６０３１を含んでもよい。
また、第３のニューラルネットワークは、第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層、及び第２の完全接続層を有し、その内に、融合サブモジュール６０３１は、第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するための第１の取得ユニット６０３２と、第３の計算層によって重み値に基づいて複数の第１の領域特徴ベクトルのそれぞれに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するための第３の計算ユニット６０３３と、第２の完全接続層によって複数の第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、目標車両の外観特徴ベクトルを取得するためのマッピングユニット６０３４と、を含んでもよい。
また、第１の取得ユニット６０３２は、複数の第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得し、第１の完全接続層によってステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の第１の領域特徴ベクトルに対応するスカラーの集合を取得し、集合中の複数のスカラーに対して正規化操作を行い、複数の第１の領域特徴ベクトルの重み値を取得するために用いられてもよい。
また、第１の特徴抽出層は砂時計型ネットワーク構造であってもよい。
なお、本願の実施例によって提供される車両外観特徴識別装置の具体的な内容については、本願の実施例によって提供される車両外観特徴識別方法において詳細に説明したので、ここでは説明を省略する。
同様の技術的思想に基づいて、図１２は本願の車両検索装置による一実施例の構造模式図である。実施例３のような車両検索方法のフローを実施するために用いられる。
図１２を参照して、該車両検索装置は、第２の取得モジュール７０１と、検索モジュール７０２とを含む。
第２の取得モジュール７０１は、実施例５または実施例６の装置を使用して検索待ち画像中から目標車両の外観特徴データを取得するために用いられる。
検索モジュール７０２は、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索するために用いられる。
本願の例示的な実施例の目的は、上記の実施例５または上記の実施例６で提供される車両外観特徴識別装置によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索することによって、車両検索の精度を向上させることができる車両検索装置を提出することである。
同様の技術的思想に基づいて、図１３は本願の車両検索装置による別の実施例の構造模式図である。実施例４のような車両検索方法のフローを実施するために用いられる。
図１３を参照して、該車両検索装置は、第２の取得モジュール８０４と検索モジュール８０５とを含む。第２の取得モジュール８０４は、実施例５または実施例６の装置によって検索待ち画像中の目標車両の外観特徴データを取得するために用いられ、検索モジュール８０５は、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索するために用いられる。
また、検索モジュール８０５は、目標車両の外観特徴ベクトルのそれぞれと選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定し、コサイン距離に基づき目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
また、本実施例装置は、検索待ち画像の撮影時間及び／又は撮影位置及び複数の選択待ち車両画像の撮影時間及び／又は撮影位置を取得するための第３の取得モジュール８０１と、撮影時間及び／又は撮影位置に基づき目標車両と複数の選択待ち車両画像中の車両との時空間距離を決定するための第１の決定モジュール８０２と、コサイン距離及び時空間距離に基づき選択待ち車両画像ライブラリ中の目標車両にマッチイングする目標選択待ち車両画像を決定するための第２の決定モジュール８０３と、を更に含んでもよい。
また、第２の決定モジュール８０３は、コサイン距離に基づき、選択待ち車両画像ライブラリ中から複数の選択待ち車両画像を取得し、それぞれ選択待ち車両画像の撮影時間及び撮影位置に基づき、選択待ち車両画像と目標車両の時空間マッチイング確率を決定し、コサイン距離及び時空間マッチイング確率に基づいて、目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
なお、本願の実施例により提供される車両検索装置の具体的な内容については、本願の実施例によって提供される車両検索方法において詳細に説明したので、ここでは説明は繰り返されない。
本願の実施例は、電子デバイス、例えば携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバ等を更に提供する。以下、図１４を参照して、それは本願の実施例の端末機器またはサーバを実現するのに適する電子デバイス９００の一実施例の構造模式図である。図１４に示すように、電子デバイス９００は、１つまたは複数の第１のプロセッサーと、第１の通信デバイス等を含み、１つまたは複数の第１のプロセッサーは例えば１つまたは複数の中央処理ユニット（ＣＰＵ）９０１、及び／又は１つまたは複数の画像プロセッサー（ＧＰＵ）９１３等であり、第１のプロセッサーは、読み取り専用メモリ（ＲＯＭ）９０２に記憶した実行可能コマンドまたは記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされた実行可能コマンドを実行することによって、各種の適当な動作及び処理を実行することができる。本実施例では、読み取り専用メモリ９０２とランダムアクセスメモリ９０３とをまとめて第１のメモリと呼ぶ。第１の通信デバイスは、通信アセンブル９１２及び／又は通信インタフェース９０９を含む。その内に、通信アセンブル９１２は、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むネットワークカードを含むが、これに限定されなく、通信インタフェース９０９は、ＬＡＮカード、モデムなどのようなネットワークインタフェースカードを含む通信インタフェースであり、通信インタフェース９０９はインターネットのようなネットワークを介して通信処理を行う。
第１のプロセッサーは、読み取り専用メモリ９０２及び／又はランダムアクセスメモリ９０３と通信して実行可能コマンドを実行し、第１の通信バス９０４を介して通信アセンブル９１２と接続され、通信アセンブル９１２を介して他のターゲットデバイスと通信し得、本願の実施例によって提供されるいずれかの車両外観特徴識別方法に対応する操作を行い、例えば、識別待ち画像から目標車両の複数の領域分割結果を取得し、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出し、グローバル特徴データと複数の領域特徴データを融合して、目標車両の外観特徴データを取得する。
また、ＲＡＭ９０３には、装置の動作に必要な各種プログラムやデータを格納することができる。ＣＰＵ９０１またはＧＰＵ９１３、ＲＯＭ９０２及びＲＡＭ９０３は、第１の通信バス９０４を介して相互に接続される。ＲＡＭ９０３を有する場合に、ＲＯＭ９０２は任意選択のモジュールである。ＲＡＭ９０３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ９０２に書き込み、実行可能コマンドによって第１のプロセッサーに上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース９０５も第１の通信バス９０４に接続される。通信アセンブル９１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
キーボード、マウス等を含む入力部９０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）等及びスピーカ等を含む出力部９０７と、ハードディスク等を含む記憶部９０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信インタフェース９０９などがＩ／Ｏインタフェース９０５に接続されている。ドライブ９１０も必要に応じてＩ／Ｏインタフェース９０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体９１１は、必要に応じてドライブ９１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部９０８にインストールする。
なお、図１４に示す構造は任意選択的な一実施例に過ぎず、具体的な実践では、実際の必要に応じて上記の図１４の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置の実施例を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信デバイスは分離設置してもよく、またＣＰＵまたはＧＰＵに統合してもよいことである。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法を実行するステップに対応するコマンド、例えば識別待ち画像から目標車両の複数の領域分割結果を取得し、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出し、グローバル特徴データと複数の領域特徴データを融合して、目標車両の外観特徴データを取得する。このような実施例では、該コンピュータプログラムは通信デバイスを介してネットワークからダウンロード及びでき、及び／又はリムーバブル媒体９１１からインストールできる。第１のプロセッサーは該コンピュータプログラムを実行する時、本願の実施例の方法に特定された上記機能を実行する。
本願の実施例はさらに、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどの電子デバイスを提供する。以下、図１５を参照して、それは本願の実施例の端末機器またはサーバを実現するのに適する電子デバイス１０００の別の実施例の構造模式図である。図１５に示すように、電子デバイス１０００は、１つまたは複数の第２のプロセッサー、第２の通信デバイス等を含み、前記１つまたは複数の第２のプロセッサーは、例えば１つまたは複数の中央処理ユニット（ＣＰＵ）１００１、及び／又は１つまたは複数の画像プロセッサー（ＧＰＵ）１０１３等であり、第２のプロセッサーは読み取り専用メモリ（ＲＯＭ）１００２に記憶した実行可能コマンドまたは記憶部１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードした実行可能コマンドによって各種の適当な動作及び処理を実行することができる。本実施例では、第２の読み取り専用メモリ１００２とランダムアクセスメモリ１００３とをまとめて第２のメモリと呼ぶ。第２の通信デバイスは通信アセンブル１０１２及び／又は通信インタフェース１００９を含む。その内に、通信アセンブル１０１２はＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むネットワークカードを含むが、これに限定されなく、通信インタフェース１００９はＬＡＮカード、モデム等のネットワークインタフェースカードを含む通信インタフェースであり、通信インタフェース１００９はインターネットのようなネットワークを介して通信処理を行う。
第２のプロセッサーは、読み取り専用メモリ１００２及び／又はランダムアクセスメモリ１００３と通信して実行可能コマンドを実行し、第２の通信バス１００４を介して通信アセンブル１０１２と接続され、通信アセンブル１０１２を介して他のターゲットデバイスと通信し得、本願の実施例によって提供されるいずれかの車両検索方法に対応する操作を行い、例えば、上記の実施例１または実施例２に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索する。
また、ＲＡＭ１００３には、装置の動作に必要な各種プログラムやデータを格納することができる。ＣＰＵ１００１またはＧＰＵ１０１３、ＲＯＭ１００２及びＲＡＭ１００３は、第２の通信バス１００４を介して相互に接続される。ＲＡＭ１００３を有する場合に、ＲＯＭ１００２は任意選択のモジュールである。ＲＡＭ１００３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ１００２に書き込み、実行可能コマンドによって第２のプロセッサーに上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース１００５も第２の通信バス１００４に接続される。通信アセンブル１０１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
キーボード、マウス等を含む入力部１００６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）等及びスピーカ等を含む出力部１００７と、ハードディスク等を含む記憶部１００８と、ＬＡＮカード、モデム等のネットワークインタフェースカードを含む通信インタフェース１００９などがＩ／Ｏインタフェース１００５に接続されている。ドライブ１０１０も必要に応じてＩ／Ｏインタフェース１００５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１０１１は、必要に応じてドライブ１０１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部１００８にインストールする。
なお、図１５に示す構造は任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記の図１５の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置の実施例を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信デバイスは分離設置してもよく、またＣＰＵまたはＧＰＵに統合してもよいことである。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法を実行するステップに対応するコマンド、例えば、上記の実施例１または実施例２に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索する。このような実施例では、該コンピュータプログラムは通信デバイスを介してネットワークからダウンロード及びでき、及び／又はリムーバブル媒体１０１１からインストールできる。第２のプロセッサーは該コンピュータプログラムを実行する時、本願の実施例の方法に特定された上記機能を実行する。
なお、本願の実施例の目的を実現するために、実施の必要に応じて、本願に記載の各部材／ステップをより多くの部件／ステップに分割しても良く、２つ以上の部材／ステップまたは部材／ステップの一部操作を新しい部材／ステップに組合わせてもよい。
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明を参照すればよい。
本願の方法および装置は、いくつかの方法で実施することができる。例えば、本願の方法および装置は、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせで実現できる。前記方法のステップの上記順序は説明のためのものであり、本願の方法のステップは特に明記しない限り、上記で具体的に説明された順序に限定されない。さらに、いくつの実施例では、本願は記録媒体に記録されたプログラムとして実施され得、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムを記録した記録媒体も包含する。
本願の説明は、全部ではなく、一部の例示及び説明のために提示されたものであり、本願はこれらに限定されない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者は本願を理解して特定用途に適した各種修正を加えた各種実施例を設計可能にするように選択され説明されたものである。

Claims (22)

  1. 識別待ち画像から目標車両の複数の領域分割結果を取得するステップと、
    前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するステップと、
    前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するステップと、を含み、
    前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応し、
    前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含むことを特徴とする車両外観特徴識別方法。
  2. 前記識別待ち画像から目標車両の複数の領域分割結果を取得するステップは、
    領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップを含むことを特徴とする請求項１に記載の方法。
  3. 前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、
    領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップは、
    前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得するステップと、
    前記第１の計算層によって前記複数のキーポイントを分類し、複数のキーポイントクラスタを取得し、且つ複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するステップと、を含むことを特徴とする請求項２に記載の方法。
  4. 前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
    前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するステップを含むことを特徴とする請求項１～３のいずれか１項に記載の方法。
  5. 前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、
    前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有することを特徴とする請求項４に記載の方法。
  6. 前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
    前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するステップと、
    前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するステップと、
    前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するステップと、を含むことを特徴とする請求項５に記載の方法。
  7. 前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
    前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するステップと、
    前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するステップと、
    前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するステップと、を更に含むことを特徴とする請求項６に記載の方法。
  8. 前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行う前に、前記方法は、更に
    前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするステップを含むことを特徴とする請求項７に記載の方法。
  9. 前記グローバル特徴データと複数の前記領域特徴データとを融合する前記ステップは、
    特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップを含むことを特徴とする請求項４～８のいずれか１項に記載の方法。
  10. 前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、
    前記特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップは、
    前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するステップと、
    前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するステップと、
    前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するステップと、を含むことを特徴とする請求項９に記載の方法。
  11. 前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得する前記ステップは、
    複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得するステップと、
    前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得するステップと、
    前記集合中のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するステップと、を含むことを特徴とする請求項１０に記載の方法。
  12. 前記第１の特徴抽出層は砂時計型ネットワーク構造であることを特徴とする請求項３に記載の方法。
  13. 請求項１～１２のいずれか１項に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得するステップと、
    選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するステップと、を含むことを特徴とする車両検索方法。
  14. 選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索する前記ステップは、
    前記目標車両の外観特徴ベクトルのそれぞれと前記選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定するステップと、
    前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含むことを特徴とする請求項１３に記載の方法。
  15. 前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するステップと、
    前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するステップと、
    前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を更に含むことを特徴とする請求項１４に記載の方法。
  16. 前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定する前記ステップは、
    前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得するステップと、
    それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定するステップと、
    前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含むことを特徴とする請求項１５に記載の方法。
  17. 識別待ち画像から目標車両の複数の領域分割結果を取得するための第１の取得モジュールと、
    前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するための抽出モジュールと、
    前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するための融合モジュールと、を含み、
    前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応し、
    前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含むことを特徴とする車両外観特徴識別装置。
  18. 請求項１７に記載の装置によって検索待ち画像中の目標車両の外観特徴データを取得するための第２の取得モジュールと、
    選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するための検索モジュールと、を含むことを特徴とする車両検索装置。
  19. コンピュータプログラムコマンドが記憶され、プロセッサーによって前記プログラムコマンドを実行する時に請求項１～１２のいずれか１項に記載の車両外観特徴識別方法のステップを実現するコンピュータ可読記憶媒体。
  20. コンピュータプログラムコマンドが記憶され、プロセッサーによって前記プログラムコマンドを実行する時に請求項１３～１６のいずれか１項に記載の車両検索方法のステップを実現するコンピュータ可読記憶媒体。
  21. 第１のプロセッサーと、第１のメモリと、第１の通信デバイスと、第１の通信バスとを含み、前記第１のプロセッサー、前記第１のメモリ及び前記第１の通信デバイスは前記第１の通信バスを介して相互に通信を行い、
    前記第１のメモリは少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第１のプロセッサーに請求項１～１２のいずれか１項に記載の車両外観特徴識別方法のステップを実行させる電子デバイス。
  22. 第２のプロセッサーと、第２のメモリと、第２の通信デバイスと、第２の通信バスを含み、前記第２のプロセッサー、前記第２のメモリ及び前記第２の通信デバイスは前記第２の通信バスを介して相互に通信を行い、
    前記第２のメモリは少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第２のプロセッサーに請求項１３～１６のいずれか１項に記載の車両検索方法のステップを実行させる電子デバイス。
JP2019562381A 2017-06-28 2018-06-27 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス Active JP7058669B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710507778.5 2017-06-28
CN201710507778.5A CN108229468B (zh) 2017-06-28 2017-06-28 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
PCT/CN2018/093165 WO2019001481A1 (zh) 2017-06-28 2018-06-27 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
JP2020520512A JP2020520512A (ja) 2020-07-09
JP7058669B2 true JP7058669B2 (ja) 2022-04-22

Family

ID=62658096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019562381A Active JP7058669B2 (ja) 2017-06-28 2018-06-27 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス

Country Status (4)

Country Link
US (3) US11232318B2 (ja)
JP (1) JP7058669B2 (ja)
CN (1) CN108229468B (ja)
WO (1) WO2019001481A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
WO2019045033A1 (ja) * 2017-09-04 2019-03-07 日本電気株式会社 情報処理システム、情報処理方法及び記憶媒体
CN109086690B (zh) * 2018-07-13 2021-06-22 北京旷视科技有限公司 图像特征提取方法、目标识别方法及对应装置
CN110851640B (zh) * 2018-07-24 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像搜索方法、装置及系统
CN109145777A (zh) * 2018-08-01 2019-01-04 北京旷视科技有限公司 车辆重识别方法、装置及系统
EP3623996A1 (en) * 2018-09-12 2020-03-18 Aptiv Technologies Limited Method for determining a coordinate of a feature point of an object in a 3d space
CN111062400B (zh) * 2018-10-16 2024-04-30 浙江宇视科技有限公司 目标匹配方法及装置
CN109583408A (zh) * 2018-12-07 2019-04-05 高新兴科技集团股份有限公司 一种基于深度学习的车辆关键点对齐方法
CN109800321B (zh) * 2018-12-24 2020-11-10 银江股份有限公司 一种卡口图像车辆检索方法及系统
CN109740541B (zh) * 2019-01-04 2020-08-04 重庆大学 一种行人重识别系统与方法
CN109547843B (zh) * 2019-02-01 2022-05-17 腾讯音乐娱乐科技（深圳）有限公司 对音视频进行处理的方法和装置
CN111611414B (zh) * 2019-02-22 2023-10-24 杭州海康威视数字技术股份有限公司 车辆检索方法、装置及存储介质
US11003947B2 (en) 2019-02-25 2021-05-11 Fair Isaac Corporation Density based confidence measures of neural networks for reliable predictions
CN110110718B (zh) * 2019-03-20 2022-11-22 安徽名德智能科技有限公司 一种人工智能图像处理装置
CN111753601B (zh) * 2019-03-29 2024-04-12 华为技术有限公司 一种图像处理的方法、装置以及存储介质
JP7253967B2 (ja) * 2019-04-23 2023-04-07 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム
CN110097108B (zh) * 2019-04-24 2021-03-02 佳都新太科技股份有限公司 非机动车的识别方法、装置、设备及存储介质
CN110222220B (zh) 2019-05-06 2024-05-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110472656B (zh) * 2019-07-03 2023-09-05 平安科技（深圳）有限公司 车辆图像分类方法、装置、计算机设备及存储介质
CN110348463B (zh) * 2019-07-16 2021-08-24 北京百度网讯科技有限公司 用于识别车辆的方法和装置
CN112307833A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
CN110458238A (zh) * 2019-08-02 2019-11-15 南通使爱智能科技有限公司 一种证件圆弧点检测和定位的方法及系统
CN110458086A (zh) * 2019-08-07 2019-11-15 北京百度网讯科技有限公司 车辆重识别方法及装置
CN110543841A (zh) * 2019-08-21 2019-12-06 中科视语(北京)科技有限公司 行人重识别方法、系统、电子设备及介质
CN110659374A (zh) * 2019-09-19 2020-01-07 江苏鸿信系统集成有限公司 一种基于神经网络提取车辆特征值及属性的以图搜图方法
CN110647938B (zh) * 2019-09-24 2022-07-15 北京市商汤科技开发有限公司 图像处理方法及相关装置
US11429809B2 (en) 2019-09-24 2022-08-30 Beijing Sensetime Technology Development Co., Ltd Image processing method, image processing device, and storage medium
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN113129330B (zh) * 2020-01-14 2024-05-10 北京地平线机器人技术研发有限公司 一种可移动设备的轨迹预测方法及装置
CN111192461B (zh) * 2020-01-21 2022-06-28 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及系统
CN111368639B (zh) * 2020-02-10 2022-01-11 浙江大华技术股份有限公司 车辆越线判定方法、装置、计算机设备和存储介质
CN111340882B (zh) * 2020-02-20 2024-02-20 盈嘉互联（北京）科技有限公司 基于图像的室内定位方法及装置
CN111340515B (zh) * 2020-03-02 2023-09-26 北京京东振世信息技术有限公司 一种特征信息生成和物品溯源方法和装置
CN113807147B (zh) * 2020-06-15 2024-05-21 北京达佳互联信息技术有限公司 一种目标检测及其网络的训练方法、装置
CN111899265A (zh) * 2020-06-24 2020-11-06 上海联影智能医疗科技有限公司 图像分析方法、装置、计算机设备和存储介质
CN111723768B (zh) 2020-06-30 2023-08-11 北京百度网讯科技有限公司 车辆重识别的方法、装置、设备和存储介质
CN111931768A (zh) * 2020-08-14 2020-11-13 中国科学院重庆绿色智能技术研究院 一种自适应样本分布的车辆识别方法及系统
CN112101183B (zh) * 2020-09-10 2021-08-24 深圳市商汤科技有限公司 车辆识别方法及装置、电子设备及存储介质
CN112731558B (zh) * 2020-12-16 2021-12-10 中国科学技术大学 一种地震面波与接收函数的联合反演方法及装置
CN112541463A (zh) * 2020-12-21 2021-03-23 上海眼控科技股份有限公司 模型训练方法、外观分割方法、设备及存储介质
CN112766407B (zh) * 2021-01-29 2023-12-05 北京达佳互联信息技术有限公司 一种图像识别方法、装置及存储介质
CN112905824A (zh) * 2021-02-08 2021-06-04 智慧眼科技股份有限公司 目标车辆追踪方法、装置、计算机设备及存储介质
CN113205546A (zh) * 2021-04-30 2021-08-03 四川云从天府人工智能科技有限公司 获得目标车辆运动轨迹的方法、系统、介质及设备
CN113569911A (zh) * 2021-06-28 2021-10-29 北京百度网讯科技有限公司 车辆识别方法、装置、电子设备及存储介质
CN113569912A (zh) * 2021-06-28 2021-10-29 北京百度网讯科技有限公司 车辆识别方法、装置、电子设备及存储介质
CN113657180A (zh) * 2021-07-23 2021-11-16 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN113806576B (zh) * 2021-08-10 2023-08-18 深圳市广电信义科技有限公司 基于图像的车辆检索方法、装置、电子设备及存储介质
US20230077353A1 (en) * 2021-08-31 2023-03-16 University Of South Florida Systems and Methods for Classifying Mosquitoes Based on Extracted Masks of Anatomical Components from Images
CN113537167B (zh) * 2021-09-15 2021-12-03 成都数联云算科技有限公司 一种车辆外观识别方法及系统及装置及介质
CN114357609A (zh) * 2021-12-16 2022-04-15 东风汽车集团股份有限公司 一种汽车平台架构分析的方法、系统和介质
CN114579805B (zh) * 2022-03-01 2023-03-28 北京赛思信安技术股份有限公司 一种基于注意力机制的卷积神经网络相似视频检索方法
CN114782784A (zh) * 2022-03-04 2022-07-22 讯飞智元信息科技有限公司 车辆识别方法及相关装置、电子设备和存储介质
CN114926800A (zh) * 2022-05-26 2022-08-19 讯飞智元信息科技有限公司 一种图像特征获取方法、图像检索方法及相关设备
CN115471732B (zh) * 2022-09-19 2023-04-18 温州丹悦线缆科技有限公司 电缆的智能化制备方法及其系统
CN115512154A (zh) * 2022-09-21 2022-12-23 东南大学 基于深度学习神经网络的高速公路车辆图像检索方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017062781A (ja) 2015-09-22 2017-03-30 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016162963A1 (ja) * 2015-04-08 2016-10-13 株式会社日立製作所 画像検索装置、システム及び方法
CN105160333B (zh) * 2015-09-30 2018-08-17 深圳市华尊科技股份有限公司 一种车型识别方法及识别装置
CN106023220B (zh) * 2016-05-26 2018-10-19 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN106778867B (zh) * 2016-12-15 2020-07-07 北京旷视科技有限公司 目标检测方法和装置、神经网络训练方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017062781A (ja) 2015-09-22 2017-03-30 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Chaocun Chen, et al.，Vehicle type recognition based on multi-branch and multi-layer features，IEEE 2nd Advanced Information Technology, Electronic and Automation Control Conference (IAEAC)，2017年03月26日，https://ieeexplore.ieee.org/document/8054374
Jie Fang, et al.，Fine-Grained Vehicle Model Recognition Using A Coarse-to-Fine Convolutional Neural Network Architecture，IEEE Transactions on Intelligent Transportation Systems，2016年11月15日，Vol.18, No.7，https://ieeexplore.ieee.org/document/7744550
Rogerio Schmidt Feris, et al.，Large-Scale Vehicle Detection, Indexing, and Search in Urban Surveillance Videos，IEEE Transactions on Multimedia，2011年10月06日，Vol.14, No.1，https://ieeexplore.ieee.org/document/6035786

Also Published As

Publication number Publication date
CN108229468B (zh) 2020-02-21
JP2020520512A (ja) 2020-07-09
US20220083801A1 (en) 2022-03-17
WO2019001481A1 (zh) 2019-01-03
US11232318B2 (en) 2022-01-25
CN108229468A (zh) 2018-06-29
US20220083802A1 (en) 2022-03-17
US20200074205A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7058669B2 (ja) 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス
US12020473B2 (en) Pedestrian re-identification method, device, electronic device and computer-readable storage medium
US10636169B2 (en) Synthesizing training data for broad area geospatial object detection
US20210027040A1 (en) System for simplified generation of systems for broad area geospatial object detection
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Workman et al. A unified model for near and remote sensing
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN113420729B (zh) 多尺度目标检测方法、模型、电子设备及其应用
US8031947B2 (en) Method and system for rapid matching of video streams
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN110059807A (zh) 图像处理方法、装置和存储介质
CN110781911B (zh) 一种图像匹配方法、装置、设备及存储介质
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
WO2018222775A1 (en) Broad area geospatial object detection
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
CN110992404A (zh) 目标跟踪方法、装置和系统及存储介质
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
Ahmadi et al. Efficient and fast objects detection technique for intelligent video surveillance using transfer learning and fine-tuning
CN109934147B (zh) 基于深度神经网络的目标检测方法、系统及装置
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质
CN110738194A (zh) 一种基于点云有序编码的三维物体识别方法
CN110705134A (zh) 行驶测试方法、装置、设备及计算机可读存储介质
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
CN112488985A (zh) 图像质量确定方法、装置及设备
Ahmad et al. Resource efficient mountainous skyline extraction using shallow learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220412

R150 Certificate of patent or registration of utility model

Ref document number: 7058669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150