JP7133085B2 - データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体 - Google Patents

データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体 Download PDF

Info

Publication number
JP7133085B2
JP7133085B2 JP2021508058A JP2021508058A JP7133085B2 JP 7133085 B2 JP7133085 B2 JP 7133085B2 JP 2021508058 A JP2021508058 A JP 2021508058A JP 2021508058 A JP2021508058 A JP 2021508058A JP 7133085 B2 JP7133085 B2 JP 7133085B2
Authority
JP
Japan
Prior art keywords
image
reference image
features
feature
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508058A
Other languages
English (en)
Other versions
JP2021520016A (ja
Inventor
武▲偉▼
李博
谷承▲維▼
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2021520016A publication Critical patent/JP2021520016A/ja
Application granted granted Critical
Publication of JP7133085B2 publication Critical patent/JP7133085B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)

Description

(関連出願の相互参照)
本開示は、出願番号が201811296570.4、出願日が2018年11月01日の中国特許出願に基づいて提出され、この中国特許出願の優先権を主張し、ここで、この中国特許出願の全内容が援用により本開示に組み込まれる。
本開示はコンピュータビジョン技術に関し、特にデータベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体に関する。
コンピュータビジョン技術の発展に伴って、画像認識は、たとえば、セキュリティモニタリング、顔認証、スマートリテール等の様々な分野に適用されている。画像に基づく人物身元識別を実現する際に、予め複数の人物画像テンプレートをデータベースに保存し、前記データベースに基づいて、収集された人物画像に対して身元識別を行うが、画像に基づく身元識別の応用シーンの拡張に伴い、認識対象の人物の数量が増え続けており、固定データベースだけで実際の応用のニーズを満足できなくなる一方、データベース更新中に同一人物の重複格納を招きやすく、その結果、データベースの規模が大きすぎて、システムのパフォーマンスが低下してしまう。
本開示の実施例はデータベース更新技術を提供する。
本開示の実施例の一態様によれば、データベース更新方法を提供し、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップと、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、前記少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得るステップと、前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するステップと、を含む。
いくつかの実施例では、前記参照画像テンプレートは参照特徴を含み、前記第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップは、前記ターゲットオブジェクトの画像の画像特徴を取得するステップと、前記画像特徴と前記複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、前記複数の参照画像テンプレートから前記画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップと、を含む。
いくつかの実施例では、前記画像特徴と前記複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、前記複数の参照画像テンプレートから前記画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップは、前記複数の参照画像テンプレートに含まれる参照特徴と前記画像特徴との類似度が第1類似度閾値に達する参照画像テンプレートを、前記画像とマッチングする参照画像テンプレートとして決定するステップを含む。
いくつかの実施例では、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップは、前記少なくとも2つの参照画像テンプレートのうちから、前記ターゲットオブジェクトの画像との類似度が最も大きい第1参照画像テンプレートを決定するステップと、前記第1参照画像テンプレートに基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップと、を含む。
いくつかの実施例では、前記第1参照画像テンプレートに基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップは、少なくとも1つの第2参照画像テンプレートのうちの、前記第1参照画像テンプレートとの類似度が第3類似度閾値に達する第2参照画像テンプレートを前記フィルタリング結果に追加するステップを含み、前記少なくとも1つの第2参照画像テンプレートは前記少なくとも2つの参照画像テンプレートのうちの前記第1参照画像テンプレート以外の参照画像テンプレートである。
いくつかの実施例では、前記第1参照画像テンプレートに基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップは、前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得るステップと、少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と前記第1更新参照特徴との類似度に基づいて、前記少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップと、を含み、前記少なくとも1つの第2参照画像テンプレートは前記少なくとも2つの参照画像テンプレートのうちの前記第1参照画像テンプレート以外の参照画像テンプレートである。
いくつかの実施例では、前記少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と前記第1更新参照特徴との類似度に基づいて、前記少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップは、前記少なくとも1つの第2参照画像テンプレートのうちの、参照特徴と前記第1更新参照特徴との類似度が第1条件を満たす第2参照画像テンプレートを、前記フィルタリング結果に追加するステップを含む。
いくつかの実施例では、前記第1条件は、前記第1更新参照特徴との類似度が第3類似度閾値以上であることを含む。いくつかの実施例では、前記第3類似度閾値は、前記検索を行うための第1類似度閾値よりも大きい。
いくつかの実施例では、前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得るステップは、前記第1参照画像テンプレートに対応する少なくとも2つの第1特徴データを取得するステップであって、前記第1参照画像テンプレートに含まれる参照特徴は前記少なくとも2つの第1特徴データに基づいて得られるステップと、前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するステップと、を含む。
いくつかの実施例では、前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するステップは、前記画像の画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップと、前記少なくとも2つの第1更新特徴に基づいて、前記第1更新参照特徴を得るステップと、を含む。
いくつかの実施例では、前記第1参照画像テンプレートに含まれる参照特徴は前記少なくとも2つの第1特徴データに対して平均処理を実行することによって得られ、前記少なくとも2つの第1更新特徴に基づいて、前記第1更新参照特徴を得るステップは、前記少なくとも2つの第1更新特徴に対して平均処理を実行して、前記第1更新参照特徴を得るステップを含む。
上記方法の実施例のいずれかでは、前記第1画像の画像特徴及び前記少なくとも2つの参照特徴データから少なくとも2つの第1更新特徴を選択するステップは、前記画像特徴及び前記少なくとも2つの第1特徴データに対して平均処理を実行して、第1平均特徴を得るステップと、前記画像特徴及び前記少なくとも2つの第1特徴データのそれぞれと前記第1平均特徴との距離に基づいて、前記画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップと、を含む。
いくつかの実施例では、前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するステップは、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップであって、前記参照画像テンプレートに含まれる参照特徴は前記参照画像テンプレートに対応する少なくとも2つの第2特徴データに基づいて得られるステップと、前記少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得し、前記合併画像テンプレートは前記第2更新参照特徴を含むステップと、を含む。
いくつかの実施例では、前記少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得するステップは、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップと、前記少なくとも2つの第2更新特徴に基づいて、前記第2更新参照特徴を得るステップと、を含む。
いくつかの実施例では、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップは、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データに基づいて、第2平均特徴を決定するステップと、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データのそれぞれと前記第2平均特徴との距離に基づいて、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップと、を含む。
いくつかの実施例では、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップは、第2データベースから、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップを含む。
いくつかの実施例では、前記方法は、前記第1データベースに格納された少なくとも1つの参照画像テンプレートを前記合併画像テンプレートに置換するステップをさらに含む。
いくつかの実施例では、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る前に、前記少なくとも2つの参照画像テンプレートと前記画像との類似度がフィルタリング条件を満たすか否かを決定するステップをさらに含み、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップは、前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たす場合、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップを含む。
いくつかの実施例では、前記フィルタリング条件は、前記少なくとも2つの参照画像テンプレートと前記画像との類似度の最大値が第2類似度閾値以上であることを含む。
いくつかの実施例では、前記第2類似度閾値は前記検索を行うための第1類似度閾値よりも大きい。
いくつかの実施例では、前記方法は、前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たさない場合、前記画像に対応する参照画像テンプレートを前記第1データベースに追加するステップをさらに含む。
本開示の実施例の別の態様によれば、データベース更新装置を提供し、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するように構成される検索ユニットと、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、前記少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得るように構成されるフィルタリングユニットと、前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するように構成される合併ユニットと、を備える。
本開示の実施例のさらに別の態様によれば、電子機器を提供し、プロセッサを備え、前記プロセッサは前記いずれか一項に記載のデータベース更新装置を備える。
本開示の実施例のまたさらに別の態様によれば、電子機器を提供し、実行可能命令を記憶するように構成されるメモリと、前記メモリと通信して前記実行可能命令を実行し、それにより前記いずれか一項に記載のデータベース更新方法の操作を実行するように構成されるプロセッサと、を備える。
本開示の実施例のまたさらに別の態様によれば、コンピュータ可読記憶媒体を提供し、コンピュータ読み取り可能な命令を記憶するように構成され、前記命令が実行されるとき、前記いずれか一項に記載のデータベース更新方法の操作を実行する。
本開示の実施例のまたさらに別の態様によれば、コンピュータプログラム製品を提供し、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器により実行されるとき、前記機器中のプロセッサは前記いずれか一項に記載のデータベース更新方法を実現するための命令を実行する。
本開示の実施例のまたさらに別の態様によれば、別のコンピュータプログラム製品を提供し、コンピュータ可読命令を記憶するように構成され、前記命令が実行されるとき、コンピュータに上記可能な実施形態のいずれか一項に記載のデータベース更新方法の操作を実行させる。
可能な実施形態では、前記コンピュータプログラム製品はコンピュータ記憶媒体であってもよく、別の可能な実施形態では、前記コンピュータプログラム製品は、たとえばSDK等のようなソフトウェア製品であってもよい。
本開示の実施例によれば、別のデータベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体、コンピュータプログラム製品をさらに提供し、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索し、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得て、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得する。
例えば、本願は以下の項目を提供する。
(項目1)
データベース更新方法であって、
第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップと、
前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、前記少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得るステップと、
前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するステップと、を含む方法。
(項目2)
前記参照画像テンプレートは参照特徴を含み、
前記第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップは、
前記ターゲットオブジェクトの画像の画像特徴を取得するステップと、
前記画像特徴と前記複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、前記複数の参照画像テンプレートから前記画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップと、を含む項目1に記載の方法。
(項目3)
前記画像特徴と前記複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、前記複数の参照画像テンプレートから前記画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップは、
前記複数の参照画像テンプレートに含まれる参照特徴と前記画像特徴との類似度が第1類似度閾値に達する参照画像テンプレートを、前記画像とマッチングする参照画像テンプレートとして決定するステップを含む項目2に記載の方法。
(項目4)
前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップは、
前記少なくとも2つの参照画像テンプレートのうちから、前記ターゲットオブジェクトの画像との類似度が最も大きい第1参照画像テンプレートを決定するステップと、
前記第1参照画像テンプレートに基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップと、を含む項目1~3のいずれか一項に記載の方法。
(項目5)
前記第1参照画像テンプレートに基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップは、
少なくとも1つの第2参照画像テンプレートのうちの、前記第1参照画像テンプレートとの類似度が第3類似度閾値に達する第2参照画像テンプレートを前記フィルタリング結果に追加するステップを含み、前記少なくとも1つの第2参照画像テンプレートは、前記少なくとも2つの参照画像テンプレートのうちの前記第1参照画像テンプレート以外の参照画像テンプレートである項目4に記載の方法。
(項目6)
前記第1参照画像テンプレートに基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップは、
前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得るステップと、
少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と前記第1更新参照特徴との類似度に基づいて、前記少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップと、を含み、前記少なくとも1つの第2参照画像テンプレートは、前記少なくとも2つの参照画像テンプレートのうちの前記第1参照画像テンプレート以外の参照画像テンプレートである項目4に記載の方法。
(項目7)
前記少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と前記第1更新参照特徴との類似度に基づいて、前記少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るステップは、
前記少なくとも1つの第2参照画像テンプレートのうちの、参照特徴と前記第1更新参照特徴との類似度が第1条件を満たす第2参照画像テンプレートを前記フィルタリング結果に追加するステップを含む項目6に記載の方法。
(項目8)
前記第1条件は、前記第1更新参照特徴との類似度が第3類似度閾値以上であることを含む項目7に記載の方法。
(項目9)
前記第3類似度閾値は、前記検索を行うための第1類似度閾値よりも大きい項目8に記載の方法。
(項目10)
前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得るステップは、
前記第1参照画像テンプレートに対応する少なくとも2つの第1特徴データを取得するステップであって、前記第1参照画像テンプレートに含まれる参照特徴は前記少なくとも2つの第1特徴データに基づいて得られるステップと、
前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するステップと、を含む項目6~9のいずれか一項に記載の方法。
(項目11)
前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するステップは、
前記画像の画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップと、
前記少なくとも2つの第1更新特徴に基づいて、前記第1更新参照特徴を得るステップと、を含む項目10に記載の方法。
(項目12)
前記第1参照画像テンプレートに含まれる参照特徴は前記少なくとも2つの第1特徴データに対して平均処理を実行することによって得られ、
前記少なくとも2つの第1更新特徴に基づいて、前記第1更新参照特徴を得るステップは、前記少なくとも2つの第1更新特徴に対して平均処理を実行して、前記第1更新参照特徴を得るステップを含む項目11に記載の方法。
(項目13)
前記画像の画像特徴及び前記少なくとも2つの参照特徴データから少なくとも2つの第1更新特徴を選択するステップは、
前記画像特徴及び前記少なくとも2つの第1特徴データに対して平均処理を実行して、第1平均特徴を得るステップと、
前記画像特徴及び前記少なくとも2つの第1特徴データのそれぞれと前記第1平均特徴との距離に基づいて、前記画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップと、を含む項目11又は12に記載の方法。
(項目14)
前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するステップは、
前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップであって、前記参照画像テンプレートに含まれる参照特徴は前記参照画像テンプレートに対応する少なくとも2つの第2特徴データに基づいて得られるステップと、
前記少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得し、前記合併画像テンプレートは前記第2更新参照特徴を含むステップと、を含む項目1~13のいずれか一項に記載の方法。
(項目15)
前記少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得するステップは、
前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップと、
前記少なくとも2つの第2更新特徴に基づいて、前記第2更新参照特徴を得るステップと、を含む項目14に記載の方法。
(項目16)
前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップは、
前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データに基づいて、第2平均特徴を決定するステップと、
前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データのそれぞれと前記第2平均特徴との距離に基づいて、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップと、を含む項目15に記載の方法。
(項目17)
前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップは、
第2データベースから、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップを含む項目14~16のいずれか一項に記載の方法。
(項目18)
前記第1データベースに格納された少なくとも1つの参照画像テンプレートを前記合併画像テンプレートに置換するステップをさらに含む項目1~17のいずれか一項に記載の方法。
(項目19)
前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る前に、
前記少なくとも2つの参照画像テンプレートと前記画像との類似度がフィルタリング条件を満たすか否かを決定するステップをさらに含み、
前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップは、前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たす場合、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップを含む項目1~18のいずれか一項に記載の方法。
(項目20)
前記フィルタリング条件は、前記少なくとも2つの参照画像テンプレートと前記画像との類似度の最大値が第2類似度閾値以上であることを含む項目19に記載の方法。
(項目21)
前記第2類似度閾値は前記検索を行うための第1類似度閾値よりも大きい項目20に記載の方法。
(項目22)
前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たさない場合、前記画像に対応する参照画像テンプレートを前記第1データベースに追加するステップをさらに含む項目19~21のいずれか一項に記載の方法。
(項目23)
データベース更新装置であって、
第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するように構成される検索ユニットと、
前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、前記少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得るように構成されるフィルタリングユニットと、
前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するように構成される合併ユニットと、を備える装置。
(項目24)
前記参照画像テンプレートは参照特徴を含み、
前記検索ユニットは、前記ターゲットオブジェクトの画像の画像特徴を取得し、前記画像特徴と前記複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、前記複数の参照画像テンプレートから前記画像とマッチングする少なくとも2つの参照画像テンプレートを検索するように構成される項目23に記載の装置。
(項目25)
前記検索ユニットは、前記画像特徴と前記複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、前記複数の参照画像テンプレートから前記画像とマッチングする少なくとも2つの参照画像テンプレートを検索する時、前記複数の参照画像テンプレートに含まれる参照特徴と前記画像特徴との類似度が第1類似度閾値に達する参照画像テンプレートを、前記画像とマッチングする参照画像テンプレートとして決定するように構成される項目24に記載の装置。
(項目26)
前記フィルタリングユニットは、
前記少なくとも2つの参照画像テンプレートのうちから、前記ターゲットオブジェクトの画像との類似度が最も大きい第1参照画像テンプレートを決定するように構成される最大類似度モジュールと、
前記第1参照画像テンプレートに基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るように構成されるフィルタリング処理モジュールと、を備える項目23~25のいずれか一項に記載の装置。
(項目27)
前記フィルタリング処理モジュールは、少なくとも1つの第2参照画像テンプレートのうちの、前記第1参照画像テンプレートとの類似度が第3類似度閾値に達する第2参照画像テンプレートを前記フィルタリング結果に追加するように構成され、前記少なくとも1つの第2参照画像テンプレートは、前記少なくとも2つの参照画像テンプレートのうちの前記第1参照画像テンプレート以外の参照画像テンプレートである項目26に記載の装置。
(項目28)
フィルタリング処理モジュールは、前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得て、少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と前記第1更新参照特徴との類似度に基づいて、前記少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得るように構成され、前記少なくとも1つの第2参照画像テンプレートは前記少なくとも2つの参照画像テンプレートのうちの前記第1参照画像テンプレート以外の参照画像テンプレートである項目26に記載の装置。
(項目29)
前記フィルタリング処理モジュールは、前記少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と前記第1更新参照特徴との類似度に基づいて、前記少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行して前記フィルタリング結果を得る時、前記少なくとも1つの第2参照画像テンプレートのうちの、参照特徴と前記第1更新参照特徴との類似度が第1条件を満たす第2参照画像テンプレートを前記フィルタリング結果に追加するように構成される項目28に記載の装置。
(項目30)
前記第1条件は、前記第1更新参照特徴との類似度が第3類似度閾値以上であることを含む項目29に記載の装置。
(項目31)
前記第3類似度閾値は、前記検索を行うための第1類似度閾値よりも大きい項目30に記載の装置。
(項目32)
前記フィルタリング処理モジュールは、前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得る時、前記第1参照画像テンプレートに対応する少なくとも2つの第1特徴データを取得するように構成され、前記第1参照画像テンプレートに含まれる参照特徴は前記少なくとも2つの第1特徴データに基づいて得られ、前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するように構成される項目28~31のいずれか一項に記載の装置。
(項目33)
前記フィルタリング処理モジュールは、前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定する時、前記画像の画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択し、前記少なくとも2つの第1更新特徴に基づいて、前記第1更新参照特徴を得るように構成される項目32に記載の装置。
(項目34)
前記第1参照画像テンプレートに含まれる参照特徴は、前記少なくとも2つの第1特徴データに対して平均処理を実行することによって得られ、
前記フィルタリング処理モジュールは、前記少なくとも2つの第1更新特徴に基づいて、前記第1更新参照特徴を得る時、前記少なくとも2つの第1更新特徴に対して平均処理を実行して、前記第1更新参照特徴を得るように構成される項目33に記載の装置。
(項目35)
前記フィルタリング処理モジュールは、前記第1画像の画像特徴及び前記少なくとも2つの参照特徴データから少なくとも2つの第1更新特徴を選択する時、前記画像特徴及び前記少なくとも2つの第1特徴データに対して平均処理を実行して、第1平均特徴を得て、前記画像特徴及び前記少なくとも2つの第1特徴データのそれぞれと前記第1平均特徴との距離に基づいて、前記画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択する項目33又は34に記載の装置。
(項目36)
前記合併ユニットは、
前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するように構成され、前記参照画像テンプレートに含まれる参照特徴は前記参照画像テンプレートに対応する少なくとも2つの第2特徴データに基づいて得られる特徴データ取得モジュールと、
前記少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得するように構成され、前記合併画像テンプレートは前記第2更新参照特徴を含む特徴更新モジュールと、を備える項目23~35のいずれか一項に記載の装置。
(項目37)
前記特徴更新モジュールは、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択し、前記少なくとも2つの第2更新特徴に基づいて、前記第2更新参照特徴を得るように構成される項目36に記載の装置。
(項目38)
前記特徴更新モジュールは、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択する時、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データに基づいて、第2平均特徴を決定し、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データのそれぞれと前記第2平均特徴との距離に基づいて、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するように構成される項目37に記載の装置。
(項目39)
特徴データ取得モジュールは、第2データベースから、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するように構成される項目36~38のいずれか一項に記載の装置。
(項目40)
前記第1データベースに格納された少なくとも1つの参照画像テンプレートを前記合併画像テンプレートに置換するように構成される置換ユニットをさらに備える項目23~39のいずれか一項に記載の装置。
(項目41)
前記少なくとも2つの参照画像テンプレートと前記画像との類似度がフィルタリング条件を満たすか否かを決定するように構成される条件決定ユニットをさらに備え、
前記フィルタリングユニットは、前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たす場合、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るように構成される項目23~40のいずれか一項に記載の装置。
(項目42)
前記フィルタリング条件は、前記少なくとも2つの参照画像テンプレートと前記画像との類似度の最大値が第2類似度閾値以上であることを含む項目41に記載の装置。
(項目43)
前記第2類似度閾値は前記検索を行うための第1類似度閾値よりも大きい項目42に記載の装置。
(項目44)
前記条件決定ユニットは、前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たさない場合、前記画像に対応する参照画像テンプレートを前記第1データベースに追加するように構成される項目41~43のいずれか一項に記載の装置。
(項目45)
項目23~44のいずれか一項に記載の装置を含むプロセッサを備える電子機器。
(項目46)
実行可能命令を記憶するように構成されるメモリと、前記メモリと通信して前記実行可能命令を実行し、それにより項目1~22のいずれか一項に記載の方法の操作を実行するように構成されるプロセッサと、を備える電子機器。
(項目47)
コンピュータ読み取り可能な命令を記憶するコンピュータ可読記憶媒体であって、前記命令が実行されるとき、項目1~22のいずれか一項に記載のデータベース更新方法の操作を実行するコンピュータ可読記憶媒体。
(項目48)
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器により実行されるとき、前記機器のプロセッサは項目1~22のいずれか一項に記載の方法を実行するための命令を実行するコンピュータプログラム製品。
本開示の上記実施例では、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索し、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得て、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得することで、データベースの規模の不必要な増大を回避することに寄与し、それによりシステムのパフォーマンスを向上させる。
以下、図面及び実施例を参照しながら、本開示の技術的解決手段を更に詳細説明する。
図1は本開示の実施例に係るデータベース更新方法の概略フローチャートである。 図2は本開示の実施例に係るデータベース更新方法の別の概略フローチャートである。 図3は本開示の実施例に係るデータベース更新方法のさらに別の概略フローチャートである。 図4は本開示の実施例に係るデータベース更新方法のまたさらに別の概略フローチャートである。 図5は本開示の実施例に係るデータベース更新装置の概略構成図である。 図6は本開示の実施例に係る電子機器の概略構成図である。
明細書の一部として組み込まれている図面は、本開示の実施例を説明しており、説明とともに本開示の原理を解釈している。
図面を参照しながら、以下の詳細説明から本開示をさらに明確に理解することができる。
以下、図面を参照しながら本開示の各種の例示的な実施例を詳細説明する。なお、特に断らない限り、これらの実施例で説明される部材及びステップの相対配置、数式や数値は本開示の範囲に限定されない。また、説明の便宜上、図面に示される各部分の寸法は実際の縮尺に応じて作成されるものではないと理解すべきである。以下、少なくとも1つの例示的な実施例についての説明は実際には単に例示的なものであり、本開示及びその応用又は使用を限定しない。当業者に知られている技術、方法及び機器についての詳細説明を省略する可能性があるが、場合によっては、前記技術、方法及び機器は明細書の一部としてみなすべきである。なお、類似する符号及びアルファベットは以下の図面で類似する要素を示し、従って、ある要素が1つの図面で定義されると、後続の図面ではそれを更に説明する必要がない。
図1は本開示の実施例に係るデータベース更新方法の概略フローチャートである。前記方法は、たとえば端末機器、サーバ、モバイル機器等のような任意の電子機器によって実行できる。前記方法はステップ110~ステップ130を含む。
ステップ110では、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索する。
本開示の実施例では、ターゲットオブジェクトの画像を取得する手法として、たとえば、ユーザーによって入力されるターゲットオブジェクトの画像を受信し、又は画像センサを用いてターゲットオブジェクトの画像を収集し、又はほかの機器によって送信されるターゲットオブジェクトの画像を受信する等が挙げられる。ターゲットオブジェクトの画像は、ターゲットオブジェクトの少なくとも一部を含む画像であってもよく、たとえば、ターゲットオブジェクトの顔画像、半身像又は人体画像等が挙げられる。ターゲットオブジェクトの画像は静的画像又はビデオフレーム画像であってもよい。たとえば、ターゲットオブジェクトの画像はビデオフレーム画像であってもよく、画像センサのビデオシーケンス由来の画像フレームであってもよく、単独な画像であってもよいが、本開示の実施例ではターゲットオブジェクトの画像の属性、由来及び取得方法等を限定しない。
第1データベースに複数の参照画像テンプレートが格納されている。いくつかの実施形態では、第1データベースに保存された参照画像テンプレートは画像及び/又は特徴データを含んでもよく、特徴データは、たとえば、固有ベクトル、特徴マップ等を含むが、これらに限定されず、又は参照画像テンプレートはさらに、ほかの情報をさらに含む。参照画像テンプレートは手動で入力され、又はほかの機器から取得され、又は画像/ビデオ処理中に動的に生成され、たとえば、ユーザーの登録中に生成され、さらに、たとえば、リアルタイムに収集されたビデオの処理中に生成される等が挙げられるが、本開示の実施例では参照画像テンプレートの由来及び含まれる情報等を限定しない。
ステップ110では、第1データベースを検索して、第1データベースにターゲットオブジェクトの画像とマッチングする参照画像テンプレートが存在するか否かを決定し、検索された検索結果はターゲットオブジェクトにマッチングする少なくとも2つの参照画像テンプレートを含む。いくつかの実施形態では、ターゲットオブジェクトの画像と参照画像テンプレートとの類似度を決定し、前記類似度に基づいて、ターゲットオブジェクトの画像が参照画像テンプレートにマッチングするか否かを決定する。いくつかの実施形態では、類似度閾値を設定し、類似度と類似度閾値を比較することでターゲットオブジェクトの画像が参照画像テンプレートにマッチングするか否かを決定する。たとえば、ターゲットオブジェクトの画像と第1データベースに含まれる複数の参照画像テンプレートとの類似度を決定し、たとえば、ターゲットオブジェクトの画像と複数の参照画像テンプレートの一部又はすべてとの類似度を決定し、類似度閾値に基づいて、複数の参照画像テンプレートのうちから、ターゲットオブジェクトの画像との類似度が類似度閾値よりも大きい少なくとも2つの参照画像テンプレートを取得し、取得した前記少なくとも2つの参照画像テンプレートをターゲットオブジェクトの画像とマッチングする参照画像テンプレートとする。別のいくつかの実施形態では、ターゲットオブジェクトの画像と複数の参照画像テンプレートとの類似度の大小関係に基づいて、ターゲットオブジェクトの画像とマッチングする参照画像テンプレートを決定する。たとえば、参照画像テンプレートとターゲットオブジェクトの画像との類似度の降順に、複数の参照画像テンプレートをソートし、ソートされた複数の参照画像テンプレートのうちの前の(kは予め設定された2以上の整数である)個の参照画像テンプレートを検索結果とする。別のいくつかの実施形態では、上記2種の実施形態を組み合わせて、ターゲットオブジェクトの画像とマッチングする参照画像テンプレートを決定し、すなわち、ターゲットオブジェクトの画像との類似度が類似度閾値よりも大きい少なくとも2つの参照画像テンプレートからk個の参照画像テンプレートを検索結果として選択する等が挙げられる。
本開示の実施例では、複数種の方式によって、ターゲットオブジェクトの画像と参照画像テンプレートとの類似度を決定することができる。たとえば、ターゲットオブジェクトの画像と参照画像テンプレートをニューラルネットワークに入力して処理し、ターゲットオブジェクトの画像が参照画像テンプレートにマッチングするか否かの指示を出力する。また、たとえば、ターゲットオブジェクトの画像の特徴データと参照画像テンプレートに対応する特徴データとの距離に基づいて、ターゲットオブジェクトの画像が参照画像テンプレートにマッチングするか否かを決定する等が挙げられるが、本開示の実施例ではそれを限定しない。
いくつかの実施形態では、参照画像テンプレートは画像を含むが、特徴データを含まず、この場合、それぞれ参照画像テンプレートに含まれる画像とターゲットオブジェクトの画像に対して特徴抽出を行い、参照画像テンプレートの特徴データ及びターゲットオブジェクトの画像の画像特徴データを得て、参照画像テンプレートの特徴データと画像特徴データとの距離に基づいて、参照画像テンプレートがターゲットオブジェクトの画像とマッチングするか否かを決定する。別のいくつかの実施形態では、参照画像テンプレートは特徴データを含み、この場合、まず、ターゲットオブジェクトの画像に対して特徴抽出を行い、ターゲットオブジェクトの画像の画像特徴データを得て、ターゲットオブジェクトの画像の画像特徴データと参照画像テンプレートに含まれる特徴データとの距離に基づいて、参照画像テンプレートがターゲットオブジェクトの画像とマッチングするか否かを決定する。別のいくつかの実施形態では、ほかの検索方式を採用して、ターゲットオブジェクトの画像とマッチングする参照画像テンプレートを取得するようにしてもよいが、本開示の実施例では検索方式を限定しない。
ステップ120では、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る。
フィルタリング結果は少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレート、すなわち、少なくとも2つの参照画像テンプレートの一部又はすべてを含む。
いくつかの実施形態では、検索された少なくとも2つの参照画像テンプレートとターゲットオブジェクトの画像との類似度に基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行し、又は、検索された少なくとも2つの参照画像テンプレート間の類似度に基づいて、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行する等が挙げられるが、本開示の実施例ではフィルタリング処理を限定しない。このように、フィルタリングによって、同一ターゲットに対応する可能性の高い参照画像テンプレートを得て、更に第1データベース中の同一ターゲットに対応する可能性の高い複数の参照画像テンプレートを合併し、それにより第1データベースの拡散率を低減させる。いくつかの実施形態では、フィルタリング結果は第1参照画像テンプレートを含み、又は更に少なくとも1つの第2/第3参照画像テンプレートの少なくとも一部を含むが、本開示の実施例ではそれを限定しない。
ステップ130では、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得する。
本開示の実施例では、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを得て、いくつかの実施形態では、取得された合併画像テンプレートを、第1データベースに格納された前記少なくとも1つの参照画像テンプレートに置換し、それにより第1データベースの拡散率を効果的に低減させる。
本開示の上記実施例に係る方法によれば、データベースの規模の不必要な増大を回避することに寄与し、それによりシステムのパフォーマンスを向上させる。図2は本開示の実施例に係るデータベース更新方法の別の概略フローチャートである。ここでは、参照画像テンプレートが参照特徴を含むことを仮定しているが、本開示の実施例はこれに限定されない。前記方法はステップ210~ステップ240を含む。
ステップ210では、ターゲットオブジェクトの画像の画像特徴を取得する。
いくつかの実施形態では、画像特徴の取得方式は、ほかの機器からターゲットオブジェクトの画像特徴を受信することを含むが、これに限定されず、たとえば、端末機器(たとえば、携帯電話、コンピュータ、タブレットPC等)から画像の画像特徴を受信し、又は画像を取得し(たとえば、画像センサで収集し又はほかの機器から取得し)、画像に対して特徴抽出処理を行う等が挙げられる。いくつかの実施形態では、画像に対する特徴抽出処理は、畳み込みニューラルネットワーク又はほかの特徴抽出アルゴリズムによって実現され、又はほかの方式で画像に対して特徴抽出を行うようにしてもよいが、本開示では画像に対する特徴抽出の方式を限定しない。
ステップ220では、取得された画像特徴と複数の参照画像テンプレートに含まれる参照特徴との類似度又は距離に基づいて、複数の参照画像テンプレートから画像とマッチングする少なくとも2つの参照画像テンプレートを検索する。
いくつかの実施形態では、画像特徴と参照特徴との類似度は画像特徴と参照特徴との距離に依存しており、前記距離は、コサイン距離、ユークリッド距離、マハラノビス距離等を含むが、これらに限定されず、画像特徴と参照特徴との距離が小さいほど、画像特徴と参照特徴との類似度が大きいことを示す。いくつかの実施形態では、画像特徴と参照特徴との類似度が所定の条件を満たす場合、参照特徴が属する参照画像テンプレートが画像とマッチングすると判定し、前記所定の条件は、類似度閾値以上であること、又は類似度が所定の範囲内にあること、又は類似度が得られたすべての類似度の前の所定数以内にあること等を含むが、これらに限定されない。画像特徴と参照特徴との距離に基づいて画像特徴と参照特徴との類似度を決定することを除き、ほかの方式を採用してもよいが、本開示の実施例では、画像特徴と参照特徴との類似度の決定の実現を限定しない。
ステップ230では、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る。
ステップ240では、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得する。本開示の実施例では、参照画像テンプレートは参照特徴を含み、特徴データにより占有される記憶空間が画像に対して小さく、且つ検索時、記憶されたデータに対して特徴抽出を行う必要がなく、それにより検索速度を加速し、データ処理効率を向上させる。
一例として、複数の参照画像テンプレートに含まれる参照特徴と画像特徴との類似度が第1類似度閾値に達する参照画像テンプレートを、画像とマッチングする参照画像テンプレートとして決定する。画像とマッチングする参照画像テンプレートを取得するために、第1類似度閾値を設定し、類似度が第1類似度閾値以上の参照画像テンプレートを、画像とマッチングする参照画像テンプレートとして決定する。前記第1類似度閾値は実際の状況に応じて設定でき、たとえば、第1類似度閾値を0.7に設定し、第1データベースに含まれる4つの参照画像テンプレート(すなわち、参照画像テンプレート1、参照画像テンプレート2、参照画像テンプレート3及び参照画像テンプレート4)と画像との類似度がそれぞれ0.6、0.9、0.7及び0.3であり、この場合、第1類似度閾値と比較したところ、参照画像テンプレート2及び参照画像テンプレート3が画像とマッチングする参照画像テンプレートであると決定する。
別の例として、複数の参照画像テンプレートの参照特徴と画像特徴との類似度のうち数値が最も高い前のk(kは2以上の整数)個の類似度に対応する参照画像テンプレートを、画像とマッチングする参照画像テンプレートとして決定する。
図3は本開示の実施例に係るデータベース更新方法のさらに別の概略フローチャートである。前記方法はステップ310~ステップ340を含む。
ステップ310では、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索する。
ステップ320では、少なくとも2つの参照画像テンプレートのうちから、ターゲットオブジェクトの画像との類似度が最も大きい第1参照画像テンプレートを決定する。
いくつかの実施形態では、少なくとも2つの参照画像テンプレートを画像との類似度の大小に基づいてソートし、前記ソートは類似度の降順又は昇順に行われてもよく、ソート後、ターゲットオブジェクトの画像との類似度が最も大きい第1参照画像テンプレートをより早く決定することができ、類似度をソートせず、直接少なくとも2つの参照画像テンプレートのそれぞれとターゲットオブジェクトの画像との類似度に基づいて、第1参照画像テンプレートを決定するようにしてもよいが、本開示の実施例では、第1参照画像テンプレートの決定方式を限定しない。
ステップ330では、第1参照画像テンプレートに基づいて、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る。
本開示の実施例では、フィルタリング結果は少なくとも1つの参照画像テンプレートを含み、前記少なくとも1つの参照画像テンプレートは第1参照画像テンプレートを含み、又は、1つ又は複数の第2参照画像テンプレートをさらに含むようにしてもよいが、本開示の実施例ではそれを限定しない。
いくつかの実施形態では、少なくとも1つの第2参照画像テンプレートのうちの、第1参照画像テンプレートとの類似度が第3類似度閾値に達する第2参照画像テンプレートをフィルタリング結果に追加する。少なくとも1つの第2参照画像テンプレートは少なくとも2つの参照画像テンプレートのうち第1参照画像テンプレートを除く参照画像テンプレートである。
本開示の実施例は第3類似度閾値によって、検索結果中の類似度が大きい参照画像テンプレート(第1参照画像テンプレート及び少なくとも1つの第2参照画像テンプレートを含む)をフィルタリング結果とする。いくつかの実施形態では、フィルタリング結果を合併する必要があり、すなわち、フィルタリング中に、フィルタリング結果に含まれる参照画像テンプレートが同一ターゲットに対応するか否かを決定する必要があるため、通常、前記第3類似度閾値は大きく、たとえば、第3類似度閾値は第1及び/又は第2類似度閾値よりも大きく、それにより類似度が小さいため非同一ターゲットの参照画像テンプレートを合併してしまうことによるエラーを回避する。別のいくつかの実施形態では、第1参照画像テンプレート及び画像の画像特徴に基づいて第1更新参照特徴を取得し、少なくとも1つの第2参照画像テンプレートのうちの、第1更新参照特徴との類似度が第3類似度閾値に達する第2参照画像テンプレートをフィルタリング結果に追加する。
別のいくつかの実施形態では、少なくとも1つの第2参照画像テンプレートのそれぞれ及び画像の画像特徴に基づいて、前記各第2参照画像テンプレートの第2更新参照特徴を取得し、少なくとも1つの第2参照画像テンプレートのうちの、対応する第2更新参照特徴と第1参照画像テンプレートの参照特徴との類似度が第3類似度閾値に達する第2参照画像テンプレートをフィルタリング結果に追加する。
別のいくつかの実施形態では、第1参照画像テンプレート及び画像の画像特徴に基づいて第1更新参照特徴を取得し、少なくとも1つの第2参照画像テンプレートのそれぞれ及び画像の画像特徴に基づいて、前記各第2参照画像テンプレートの第2更新参照特徴を取得し、少なくとも1つの第2参照画像テンプレートのうちの、対応する第2更新参照特徴と第1更新参照特徴との類似度が第3類似度閾値に達する第2参照画像テンプレートをフィルタリング結果に追加する。なお、以上、第3類似度閾値に達するか否かを例に説明し、いくつかの実施形態では、ほかの標準に応じてフィルタリングしてもよく、たとえば、類似度が最も大きい前の所定数の第2参照画像テンプレート等が挙げられるが、本開示の実施例ではそれを限定しない。
ステップ340では、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得する。
いくつかの実施形態では、合併テンプレートの参照特徴はフィルタリング結果に含まれる少なくとも1つの参照画像テンプレートの参照特徴及びターゲットオブジェクトの画像の画像特徴に基づいて得られるが、合併テンプレートのほかの情報は第1参照画像テンプレートと同じであり又は異なるようにしてもよい。つまり、第1参照画像テンプレートの参照特徴を更新して合併画像テンプレートとし、フィルタリング結果に含まれるほかの可能な参照画像テンプレートを削除する。又は、フィルタリング結果に含まれるすべての参照画像テンプレートを削除し、第1データベースに合併画像テンプレートを追加する等のようにしてもよいが、本開示の実施例ではそれを限定しない。
本開示の実施例では、上記フィルタリングによって取得されたフィルタリング結果に含まれる参照画像テンプレートは同一ターゲットに対応すると考えられ、取得されたフィルタリング結果中の参照画像テンプレートに対して合併処理を実行して合併画像テンプレートを形成し、それによりターゲットを、第1データベース中の1つ又は少数の画像テンプレートに対応付けさせ、それによりデータベースに含まれるテンプレート数を低減させ、検索効率及びシステム全体のパフォーマンスを向上させる。
いくつかの実施形態では、ステップ330は、第1参照画像テンプレート及びターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得るステップと、少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と第1更新参照特徴との類似度に基づいて、少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップと、を含む。本開示の実施例では、まず、第1参照画像テンプレート及びターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を決定する。いくつかの実施形態では、第1参照画像テンプレートに対応する少なくとも2つの第1特徴データを取得し、第1参照画像テンプレートに含まれる参照特徴は少なくとも2つの第1特徴データに基づいて得られる。次に、画像の画像特徴及び少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定する。たとえば、少なくとも2つの第1特徴データ及び画像特徴に対して平均処理を実行して平均特徴を取得し、少なくとも2つの第1特徴データ及び画像特徴のそれぞれと平均特徴との距離に基づいて、少なくとも2つの第1特徴データ及び画像特徴から少なくとも2つの第1更新特徴をスクリーニングし、少なくとも2つの第1更新特徴に基づいて第1更新参照特徴を決定する。
第1特徴データは第1参照画像テンプレートの生データであり、少なくとも2つの第1特徴データ及び画像特徴から少なくとも2つの第1更新特徴を更新後の生データとして選択し、更新後の生データに基づいて更新後の参照特徴を得る。いくつかの実施形態では、少なくとも2つの第1特徴データ及び画像特徴から、平均特徴との距離が近い特徴を第1更新特徴として選択し、たとえば、平均特徴との距離が最も近い前の所定数の特徴、又は平均特徴との距離が所定数値よりも小さい特徴等を選択するが、本開示の実施例ではそれを限定しない。
第1更新参照特徴を得た後、少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と第1更新参照特徴との類似度に基づいて、少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行する。いくつかの実施形態では、少なくとも1つの第2参照画像テンプレートのうちの、参照特徴と第1更新参照特徴との類似度が第1条件を満たす第2参照画像テンプレートをフィルタリング結果に追加する。いくつかの実施形態では、第1条件は、第1更新参照特徴との類似度が第3類似度閾値以上であることを含むが、これに限定されない。
本開示の実施例における第1更新参照特徴は第1参照画像テンプレートと画像特徴の融合に基づいて取得され、この場合、第2参照画像テンプレートと第1更新参照特徴との類似度を判断することによって、最大検索結果(類似度の最大値に対応する第1参照画像テンプレート)を除くほかの検索結果と融合後の画像特徴との関係を決定し、いくつかの実施形態では、参照特徴と第1更新参照特徴との距離(たとえば、ユークリッド距離、コサイン距離、マハラノビス距離等)に基づいて参照特徴と第1更新参照特徴との類似度を決定するようしてもよいが、本開示の実施例では類似度の取得方式を限定しない。
本開示の実施例では、フィルタリング結果を合併する必要があり、すなわち、フィルタリング中にフィルタリング結果に含まれる参照画像テンプレートが同一ターゲットに対応するか否かを決定する必要があるため、通常、前記第3類似度閾値は大きく、それにより類似度が小さいため非同一ターゲットの参照画像テンプレートを合併してしまうことによるエラーを回避する。いくつかの実施形態では、第3類似度閾値を、検索を行うための第1類似度閾値よりも大きく設定する。たとえば、第3類似度閾値は大きく、類似度が第3類似度閾値以上である場合、取得された第2参照画像テンプレートの参照特徴と第1更新参照特徴の類似度が大きく、同一ターゲットに対応する可能性があることを示す。
いくつかの実施形態では、画像の画像特徴及び少なくとも2つの第1特徴データに基づいて第1更新参照特徴を決定するステップは、画像の画像特徴及び少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップを含み、いくつかの実施形態では、画像の画像特徴及び少なくとも2つの第1特徴データに基づいて平均処理して平均特徴を得て、画像の画像特徴及び少なくとも2つの第1特徴データと平均特徴との距離によって少なくとも2つの第1更新特徴を決定し、たとえば、平均特徴との距離が最も小さい2つの第1更新特徴を選択する。少なくとも2つの第1更新特徴を取得した後、少なくとも2つの第1更新特徴に基づいて、第1更新参照特徴を得る。たとえば、少なくとも2つの第1更新特徴に対して平均又は加重平均等を行って第1更新参照特徴を取得する。
いくつかの実施形態では、第1参照画像テンプレートに含まれる参照特徴は少なくとも2つの第1特徴データに対して平均処理を実行することによって得られる。少なくとも2つの第1更新特徴に基づいて第1更新参照特徴を得るステップは、少なくとも2つの第1更新特徴に対して平均処理を実行して、第1更新参照特徴を得るステップを含む。
本開示の実施例では、参照特徴は抽出された少なくとも2つの第1特徴データに対して平均処理を実行することによって得られ、前記平均処理は累積平均又は加重平均であってもよいが、本開示の実施例では平均処理の方式を限定しない。第1更新参照特徴を取得する時、少なくとも2つの第1更新特徴を、参照特徴を取得するための少なくとも2つの第1特徴データとし、すなわち、第1更新参照特徴を取得する平均処理は参照特徴を取得する平均処理と同じである。いくつかの実施形態では、第1画像の画像特徴及び少なくとも2つの参照特徴データから少なくとも2つの第1更新特徴を選択するステップは、画像特徴及び少なくとも2つの第1特徴データに対して平均処理を実行して第1平均特徴を得るステップと、画像特徴及び少なくとも2つの第1特徴データのそれぞれと第1平均特徴との距離に基づいて、画像特徴及び少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップと、を含む。
本開示の実施例では、画像特徴及び少なくとも2つの第1特徴データに対して平均処理を実行し、取得された第1平均特徴を中心点とし、画像特徴及び少なくとも2つの第1特徴データと前記中心点との距離に応じて、距離が最も近い少なくとも2つの特徴データ(第1特徴データ又は画像特徴を含む)を第1更新特徴として決定する。
図4は本開示の実施例に係るデータベース更新方法のまたさらに別の概略フローチャートである。前記方法はステップ410~ステップ440を含む。
ステップ410では、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索する。ステップ420では、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る。ステップ430では、少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得する。いくつかの実施形態では、参照画像テンプレートは少なくとも2つの第2特徴データに対して平均処理を実行することによって得られ、第2特徴データは生データであり、第3参照画像テンプレートは生データを平均処理することによって得られる平均データであると考えられる。ステップ440では、少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得する。
いくつかの実施形態では、少なくとも2つの第1特徴データ及び参照画像テンプレートに対応する少なくとも2つの第2特徴データに基づいて融合スクリーニングを行い、少なくとも2つの特徴データを取得し、さらに、取得された少なくとも2つの特徴データに基づいて平均処理して第2更新参照特徴を取得し、いくつかの実施形態では、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データ及び少なくとも2つの第1特徴データから少なくとも2つの第2更新特徴を選択し、少なくとも2つの第2更新特徴に基づいて第2更新参照特徴を得る。たとえば、参照画像テンプレートに対応する2つの第2特徴データ及び2つの第1特徴データに対して「4合2」融合スクリーニングを行い、すなわち、4つの特徴データのうちの2つを第2更新参照特徴の生データとして選択し、生データを平均して第2更新参照特徴を取得する。
いくつかの実施形態では、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップは、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データに基づいて、第2平均特徴を決定するステップと、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データのそれぞれと第2平均特徴との距離に基づいて、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップと、を含む。
本開示の実施例では、複数の第2特徴データに対して平均処理を実行して第2平均特徴を得て、第2特徴データと第2平均特徴との距離(たとえば、ユークリッド距離、コサイン距離、マハラノビス距離等)に基づいて少なくとも2つの第2特徴データを第2更新特徴として選択し、いくつかの実施形態では、第2平均特徴との距離が小さい少なくとも2つの第2特徴データを第2更新特徴とし、たとえば、第2平均特徴との距離が最も小さい2つの第2特徴データを第2更新特徴とし、特徴データのスクリーニングを実現する。
いくつかの実施形態では、少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップは、第2データベースから、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップを含む。
本開示の実施例では、少なくとも2つの第1特徴データは1つの第1参照画像テンプレートに対応し、いくつかの実施形態では、第1データベース中の各参照画像テンプレートはそれぞれ少なくとも2つの特徴データに対応し、第1データベースの更新を高速化するために、すべての特徴データを第1データベースに格納しないのであり、本開示の実施例では、異なるデータベースに参照画像テンプレート及び第1特徴データを保存することで、処理速度を向上させ、第1特徴データが合併融合時のみに使用されるため、第2データベースに別途格納され、参照画像テンプレートと第1特徴データを共同に格納すると、第1データベースが大きすぎて処理速度の低下を招いてしまう。
いくつかの実施形態では、本開示の実施例における方法は、第1データベースに格納された少なくとも1つの参照画像テンプレートを合併画像テンプレートに置換するステップをさらに含む。
いくつかの実施形態では、検索された少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを合併画像テンプレートに置換し、たとえば、第1参照画像テンプレートを合併画像テンプレートに置換し、又は、画像と同じターゲットオブジェクトに対応する参照画像テンプレートを合併画像テンプレートに置換し、それにより複数の参照画像テンプレートを1つの合併画像テンプレートに置換する操作を実現する。本開示の実施例の置換操作によれば、ターゲットオブジェクトの画像に基づくデータベース更新を実現し、第1データベース中の少なくとも1つの参照画像テンプレートを、画像特徴に基づいて取得された合併画像テンプレートに置換し、それにより第1データベース中の参照画像テンプレートの数を減少させ、第1データベースの拡散率を低減させる。
1つ又は複数の実施例では、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る前に、少なくとも2つの参照画像テンプレートと画像との類似度がフィルタリング条件を満たすか否かを決定するステップをさらに含み、
少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップは、少なくとも2つの参照画像テンプレートと画像との類似度がフィルタリング条件を満たす場合、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップを含む。
いくつかの実施形態では、フィルタリング条件は、少なくとも2つの参照画像テンプレートと画像との類似度の最大値が第2類似度閾値以上であることを含むが、これに限定されない。本開示の実施例では、少なくとも2つの参照画像テンプレートと画像との類似度を第2類似度閾値と比較し、たとえば、少なくとも2つの参照画像テンプレートと画像との類似度の最大値を第2類似度閾値と比較し、フィルタリング条件を満たす場合、検索された少なくとも2つの参照画像テンプレートを、画像とより類似する参照画像テンプレートとして決定し、これらの参照画像テンプレートに、画像と同じターゲットオブジェクトに対応する参照画像テンプレートがいくつかあり、第1データベースの拡散率を低減させるために、同一ターゲットオブジェクトに対応する特徴を処理する必要があり、本開示の実施例では、検索された少なくとも2つの参照画像テンプレートをフィルタリングし、さらにフィルタリング結果を処理(たとえば、合併処理)することで、第1データベースの拡散率を低減させる。いくつかの実施形態では、第2類似度閾値は、前記検索を行うための第1類似度閾値よりも大きい。第2類似度閾値によって、画像のターゲットオブジェクトに対応する参照特徴テンプレートが第1データベースに格納されているか否かを決定でき、第2類似度閾値は第1類似度閾値によって検索された参照画像テンプレートをスクリーニングすることに用いられ、スクリーニングの精度を確保するように、第2類似度閾値を第1類似度閾値よりも大きく設定することができる。
いくつかの実施形態では、本開示の実施例における方法は、少なくとも2つの参照画像テンプレートと画像との類似度がフィルタリング条件を満たさない場合、画像に対応する参照画像テンプレートを第1データベースに追加するステップをさらに含む。
最大値がフィルタリング条件を満たす場合、すべての検索結果と画像との類似度がいずれも低いことを示し、ターゲットオブジェクトに対応する画像の参照画像テンプレートが第1データベースに保存されていないと考えられ、いくつかの実施形態では、第1データベースにおいて画像に対応する参照画像テンプレートを作成し、画像に対応する画像特徴が原始特徴であり、従って、画像特徴に基づいて処理した後、第1データベースに追加して格納し、いくつかの実施形態では、ターゲットオブジェクトに対応する少なくとも2つの画像の画像特徴に基づいて平均処理を行い、平均処理された特徴データを第1データベースに格納する。いくつかの実施形態では、特徴データを格納した後、特徴データに対応する身元識別番号を作成するステップをさらに含んでもよく、第1データベース中の各参照画像テンプレートデータは1つの身元識別番号及び1つの特徴データに対応する。
選択可能な応用例では、機器には、動的顔ライブラリ及び生データベースという2つのデータベースが配置され、動的顔ライブラリは上記実施例における第1データベースに対応し、複数の参照画像テンプレートを格納しており、参照画像テンプレートは参照特徴を含む。生データベースは上記実施例における第2データベースに対応し、動的顔ライブラリの原始特徴データを格納しており、各参照画像テンプレートは生データベースにおいて2つ又は複数の原始顔特徴に対応し、以下の例では、参照画像テンプレートは生データベースにおいて2つの原始顔特徴に対応し、且つ参照特徴は2つの原始顔特徴を平均処理することによって得られ、従って、参照特徴は平均特徴と呼ぶ。また、動的顔ライブラリ及び生データベースにおいて同一人物に対応する項目間の対応関係を記録し、以下の例では、同一の身元識別番号(person_id)で2つのデータベースにおいて同一人物に対応するアイテムを識別し、このように、身元識別番号に基づいて、第2データベースにおいて第1データベース中の平均特徴に対応する原始特徴を検索することができる。
データベース更新プロセスの例は以下の通りである。
1)収集画像の顔特徴を抽出し、動的顔ライブラリにおいて検索し、検索結果を得て、動的顔ライブラリ中の、収集画像との類似度が第1類似度閾値(threshold1)に達するテンプレートを検索結果に追加する。
いくつかの実施形態では、検索結果が空であると仮定する場合、前記収集画像に対応するテンプレートデータを動的顔ライブラリ及び生データベースに追加し、それに割り当てられた身元識別番号と顔特徴の対応関係をperson_featureマッピングテーブルに格納し、前記プロセスを終了する。
いくつかの実施形態では、検索結果がk個のテンプレートを含むと仮定する場合、以下の操作2)~6)を実行し、又は、検索結果に含まれるk個のテンプレートを、収集画像との類似度の降順にソートした後、以下の操作2)~6)を実行する。
2)検索結果中の、収集画像との類似度が最も大きいテンプレート(すなわち、第1参照画像テンプレート、たとえば、ソート後の1番目のテンプレート)と収集画像との類似度を第2類似度閾値(threshold2)と比較する。
いくつかの実施形態では、類似度が第2類似度閾値未満であると、前記収集画像に対応するテンプレートデータを動的顔ライブラリ及び生データベースに追加し、それに割り当てられた身元識別番号と顔特徴の対応関係をperson_featureマッピングテーブルに格納し、前記プロセスを終了する。
3)1番目のテンプレートと収集画像との類似度が第2類似度閾値(threshold2)よりも大きいと、拡散防止処理を行い、すなわち以下の操作4)~6)を実行する。
4)生データベースから1番目のテンプレートに対応する2つの原始特徴を取得し、2つの原始特徴と収集画像の顔特徴(すなわち、ターゲットオブジェクトの画像の画像特徴)に対して三者択二の操作を行い、すなわち、取得された2つの原始特徴及び顔特徴から2つの特徴を選択し、平均処理を行い、平均特徴(すなわち、第1更新参照特徴)を得る。
5)1番目のテンプレートを除く後続のk-1個のテンプレート(すなわち、第2参照画像テンプレート)と平均特徴との類似度を決定し、前記類似度を第3類似度閾値(threshold3)と比較し、フィルタリング結果を取得し、たとえば、k-1個のテンプレートのうち平均特徴との類似度がthreshold3よりも大きいテンプレートをフィルタリング結果に追加する。
6)フィルタリング結果をトラバーサルし、4)で選択された2つの顔特徴及びフィルタリング結果中の各テンプレートに対応する2つの原始特徴に対して四者択二の操作を行い、最終的に得られた2つの顔特徴に対して平均処理を実行し、更新特徴(すなわち、第2更新参照特徴)を得て、更新特徴を利用して動的特徴ライブラリ中の1番目のテンプレートに対して特徴更新操作を行うと同時に、生データベース及びperson_featureマッピングテーブルにおける情報を更新し、動的特徴ライブラリ及び生データベースに記憶されたフィルタリング結果中のほかのテンプレートを削除する。
なお、上記例は、当業者が本願の技術的解決手段をよりよく理解することに寄与し、本願を限定するものではなく、当業者はさらに、上記例をもとに種々の変更や置換を行ったり、そのうちの1つ又は複数のステップを実行しなかったりすることができる。
当業者であれば、上記方法の実施例のすべて又は一部のステップを、プログラムによって関連ハードウェアに命令を出すことで実行でき、上記プログラムはコンピュータ可読記憶媒体に記憶されてもよく、前記プログラムが実行されるとき、上記方法の実施例のステップを実行し、上記記憶媒体はROM、RAM、磁気ディスク又は光ディスクなどプログラムコードを記憶できる様々な媒体を含むと理解できる。
図5は本開示の実施例に係るデータベース更新装置の概略構成図である。前記実施例に係る装置は本開示の上記各方法の実施例を実現するように構成される。図5に示すように、前記装置は、検索ユニット51、フィルタリングユニット52、及び合併ユニット53を備える。
検索ユニット51は、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するように構成される。
本開示の実施例では、ターゲットオブジェクトの画像を取得する手法として、たとえば、ユーザーによって入力されるターゲットオブジェクトの画像を受信し、又は画像センサを用いてターゲットオブジェクトの画像を収集し、又はほかの機器によって送信されるターゲットオブジェクトの画像を受信する等が挙げられる。ターゲットオブジェクトの画像は、ターゲットオブジェクトの少なくとも一部を含む画像であってもよく、たとえば、ターゲットオブジェクトの顔画像、半身像又は人体画像等が挙げられる。ターゲットオブジェクトの画像は静的画像又はビデオフレーム画像であってもよい。たとえば、ターゲットオブジェクトの画像はビデオフレーム画像であってもよく、画像センサのビデオシーケンス由来の画像フレームであってもよく、単独な画像であってもよいが、本開示の実施例ではターゲットオブジェクトの画像の属性、由来及び取得方法等を限定しない。
フィルタリングユニット52は、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るように構成される。
フィルタリング結果は少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含む。
合併ユニット53は、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するように構成される。上記実施例に係る装置によれば、データベースの規模の不必要な増大を回避することに寄与し、それによりシステムのパフォーマンスを向上させる。
いくつかの実施形態では、参照画像テンプレートは参照特徴を含むと仮定してもよいが、本開示の実施例はこれに限定されない。
検索ユニット51は、ターゲットオブジェクトの画像の画像特徴を取得し、画像特徴と複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、複数の参照画像テンプレートから画像とマッチングする少なくとも2つの参照画像テンプレートを検索するように構成される。
本開示の実施例では、参照画像テンプレートは参照特徴を含み、特徴データにより占有される記憶空間が画像に対して小さく、且つ検索時、記憶されたデータに対して特徴抽出を行う必要がなく、それにより検索速度を加速し、データ処理効率を向上させる。
いくつかの実施形態では、検索ユニット51は、画像特徴と複数の参照画像テンプレートに含まれる参照特徴との類似度に基づいて、複数の参照画像テンプレートから画像とマッチングする少なくとも2つの参照画像テンプレートを検索する時、複数の参照画像テンプレートに含まれる参照特徴と画像特徴との類似度が第1類似度閾値に達する参照画像テンプレートを、画像とマッチングする参照画像テンプレートとして決定するように構成される。
いくつかの実施形態では、フィルタリングユニット52は、少なくとも2つの参照画像テンプレートのうちから、ターゲットオブジェクトの画像との類似度が最も大きい第1参照画像テンプレートを決定するように構成される最大類似度モジュールと、第1参照画像テンプレートに基づいて、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るように構成されるフィルタリング処理モジュールと、を備える。
本開示の実施例では、まず、第1参照画像テンプレート及びターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を決定する。いくつかの実施形態では、第1参照画像テンプレートに対応する少なくとも2つの第1特徴データを取得し、第1参照画像テンプレートに含まれる参照特徴は少なくとも2つの第1特徴データに基づいて得られる。次に、画像の画像特徴及び少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定する。たとえば、少なくとも2つの第1特徴データ及び画像特徴に対して平均処理を実行して平均特徴を取得し、少なくとも2つの第1特徴データ及び画像特徴のそれぞれと平均特徴との距離に基づいて、少なくとも2つの第1特徴データ及び画像特徴から少なくとも2つの第1更新特徴をスクリーニングし、少なくとも2つの第1更新特徴に基づいて第1更新参照特徴を決定する。
いくつかの実施形態では、フィルタリング処理モジュールは、少なくとも1つの第2参照画像テンプレートのうちの、第1参照画像テンプレートとの類似度が第3類似度閾値に達する第2参照画像テンプレートをフィルタリング結果に追加するように構成され、少なくとも1つの第2参照画像テンプレートは少なくとも2つの参照画像テンプレートのうち第1参照画像テンプレートを除く参照画像テンプレートである。
いくつかの実施形態では、フィルタリング処理モジュールは、第1参照画像テンプレート及びターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得て、少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と第1更新参照特徴との類似度に基づいて、少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るように構成され、少なくとも1つの第2参照画像テンプレートは少なくとも2つの参照画像テンプレートのうち第1参照画像テンプレートを除く参照画像テンプレートである。
いくつかの実施形態では、フィルタリング処理モジュールは、少なくとも1つの第2参照画像テンプレートに含まれる参照特徴と第1更新参照特徴との類似度に基づいて、少なくとも1つの第2参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得る時、少なくとも1つの第2参照画像テンプレートのうちの、参照特徴と第1更新参照特徴との類似度が第1条件を満たす第2参照画像テンプレートをフィルタリング結果に追加するように構成される。
いくつかの実施形態では、第1条件は、第1更新参照特徴との類似度が第3類似度閾値以上であることを含む。
いくつかの実施形態では、第3類似度閾値は、検索を行うための第1類似度閾値よりも大きい。
いくつかの実施形態では、フィルタリング処理モジュールは、第1参照画像テンプレート及びターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得る時、第1参照画像テンプレートに対応する少なくとも2つの第1特徴データを取得し、第1参照画像テンプレートに含まれる参照特徴は少なくとも2つの第1特徴データに基づいて得られ、画像の画像特徴及び少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するように構成される。
いくつかの実施形態では、フィルタリング処理モジュールは、画像の画像特徴及び少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定する時、画像の画像特徴及び少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択し、少なくとも2つの第1更新特徴に基づいて第1更新参照特徴を得るように構成される。
いくつかの実施形態では、第1参照画像テンプレートに含まれる参照特徴は少なくとも2つの第1特徴データに対して平均処理を実行することによって得られ、フィルタリング処理モジュールは、少なくとも2つの第1更新特徴に基づいて第1更新参照特徴を得る時、少なくとも2つの第1更新特徴に対して平均処理を実行して、第1更新参照特徴を得るように構成される。
いくつかの実施形態では、フィルタリング処理モジュールは、第1画像の画像特徴及び少なくとも2つの参照特徴データから少なくとも2つの第1更新特徴を選択する時、画像特徴及び少なくとも2つの第1特徴データに対して平均処理を実行して第1平均特徴を得て、画像特徴及び少なくとも2つの第1特徴データのそれぞれと第1平均特徴との距離に基づいて、画像特徴及び少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択する。
いくつかの実施形態では、合併ユニット53は、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するように構成され、参照画像テンプレートに含まれる参照特徴は参照画像テンプレートに対応する少なくとも2つの第2特徴データに基づいて得られる特徴データ取得モジュールと、少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するように構成され、合併画像テンプレートは第2更新参照特徴を含む特徴更新モジュールと、を備える。
いくつかの実施形態では、少なくとも2つの第2特徴データ及び参照画像テンプレートに対応する少なくとも2つの第2特徴データに基づいて融合スクリーニングを行い、少なくとも2つの特徴データを取得し、さらに、取得された少なくとも2つの特徴データに基づいて平均処理して第2更新参照特徴を取得し、いくつかの実施形態では、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データ及び少なくとも2つの第1特徴データから少なくとも2つの第2更新特徴を選択し、少なくとも2つの第2更新特徴に基づいて第2更新参照特徴を得る。たとえば、参照画像テンプレートに対応する2つの第2特徴データ及び2つの第1特徴データに対して「4合2」融合スクリーニングを行い、すなわち、4つの特徴データのうちの2つを第2更新参照特徴の生データとして選択し、生データを平均して第2更新参照特徴を取得する。
いくつかの実施形態では、特徴更新モジュールは、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択し、少なくとも2つの第2更新特徴に基づいて、第2更新参照特徴を得るように構成される。
いくつかの実施形態では、特徴更新モジュールは、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択する時、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データに基づいて、第2平均特徴を決定し、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データのそれぞれと第2平均特徴との距離に基づいて、少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するように構成される。
いくつかの実施形態では、特徴データ取得モジュールは、第2データベースから、前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するように構成される。
いくつかの実施形態では、本開示の実施例における装置は、第1データベースに格納された少なくとも1つの参照画像テンプレートを合併画像テンプレートに置換するように構成される置換ユニットをさらに備える。
いくつかの実施形態では、前記装置は、少なくとも2つの参照画像テンプレートと画像との類似度の最大値がフィルタリング条件を満たすか否かを決定するように構成される条件決定ユニットをさらに備え、フィルタリングユニット52は、少なくとも2つの参照画像テンプレートと画像との類似度がフィルタリング条件を満たす場合、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るように構成される。
いくつかの実施形態では、フィルタリング条件は、少なくとも2つの参照画像テンプレートと画像との類似度の最大値が第2類似度閾値以上であることを含むが、これに限定されない。本開示の実施例では、少なくとも2つの参照画像テンプレートと画像との類似度を第2類似度閾値と比較し、たとえば、少なくとも2つの参照画像テンプレートと画像との類似度の最大値を第2類似度閾値と比較し、フィルタリング条件を満たす場合、検索された少なくとも2つの参照画像テンプレートを、画像とより類似する参照画像テンプレートとして決定し、これらの参照画像テンプレートに、画像と同じターゲットオブジェクトに対応する参照画像テンプレートがいくつかあり、第1データベースの拡散率を低減させるために、同一ターゲットオブジェクトに対応する特徴を処理する必要があり、本開示の実施例では、検索された少なくとも2つの参照画像テンプレートをフィルタリングし、さらにフィルタリング結果を処理(たとえば、合併処理)することで、第1データベースの拡散率を低減させる。
いくつかの実施形態では、第2類似度閾値は、検索を行うための第1類似度閾値よりも大きい。
いくつかの実施形態では、条件決定ユニットはさらに、少なくとも2つの参照画像テンプレートと画像との類似度がフィルタリング条件を満たさない場合、画像に対応する参照画像テンプレートを第1データベースに追加するように構成される。
本開示の実施例の別の態様によれば、電子機器を提供し、プロセッサを備え、前記プロセッサは上記実施例のいずれか一項に記載のデータベース更新装置を備える。
本開示の実施例の別の態様によれば、電子機器を提供し、実行可能命令を記憶するように構成されるメモリと、メモリと通信して実行可能命令を実行し、それにより上記実施例のいずれか一項に記載のデータベース更新方法の操作を実行するように構成されるプロセッサと、を備える。
本開示の実施例の別の態様によれば、コンピュータ可読記憶媒体を提供し、コンピュータ読み取り可能な命令を記憶するように構成され、命令が実行されるとき、上記実施例のいずれか一項に記載のデータベース更新方法の操作を実行する。
本開示の実施例の別の態様によれば、コンピュータプログラム製品を提供し、コンピュータ可読コードを含み、コンピュータ可読コードが機器により実行されるとき、機器のプロセッサは上記実施例のいずれか一項に記載のデータベース更新方法を実現するための命令を実行する。
本開示の実施例のさらに別の態様によれば、別のコンピュータプログラム製品を提供し、コンピュータ可読命令を記憶するように構成され、命令が実行されるとき、コンピュータに上記実施例のいずれか一項に記載のデータベース更新方法の操作を実行させる。
前記コンピュータプログラム製品はハードウェア、ソフトウェア又はそれらの組合せによって実現されうる。選択可能な一例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化されてもよく、別の選択可能な例では、コンピュータプログラム製品はソフトウェア製品、たとえば、ソフトウェア開発キット(Software Development Kit、SDK)等として具現化されてもよい。
本開示の実施例によれば、データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体、コンピュータプログラム製品をさらに提供し、第1データベースに含まれる複数の参照画像テンプレートからターゲットオブジェクトの画像とマッチングする少なくとも1つの参照画像テンプレートを検索し、少なくとも1つの参照画像テンプレートと画像との類似度に基づいて第1データベースを更新する。
いくつかの実施例では、前記ネットワーク取得指示又は画像処理指示は呼び出し命令であり、第1装置は呼び出しの方式で、ネットワーク取得又は画像処理の実行を第2装置に指示するようにしてもよく、この場合、呼び出し命令を受信すると、第2装置は上記ネットワーク取得方法又は画像処理方法の実施例のいずれか一項に記載のステップ及び/又はプロセスを実行する。
なお、本開示の実施例における「第1」、「第2」等の用語は単に区別用であり、本開示の実施例を限定するものではない。本開示の実施例では、「複数」は2つ又は2つ以上であってもよく、「少なくとも1つの」は1つ、2つ又は2つ以上であってもよい。本開示の実施例に係る任意の部材、データ又は構造は、特に明記していない場合又はコンテキストで反対の示唆が与えられている場合、一般には、1つ又は複数と理解できる。本開示では、各実施例についての説明は、各実施例同士の相違点に重点をおいて行われ、同一又は類似部分は相互に参照すればよいため、簡潔さの点から、重複説明を省略する。
本開示の実施例は電子機器をさらに提供し、たとえば、モバイル端末、パーソナルコンピュータ(PC)、タブレットPC、サーバ等でありうる。以下、図6は、本開示の実施例に係る電子機器600の概略構成図を示し、図6に示すように、電子機器600は1つ又は複数のプロセッサ、通信部等を備え、前記1つ又は複数のプロセッサとして、たとえば、1つ又は複数の中央処理装置(CPU)601、及び/又は1つ又は複数の画像処理装置(GPU)613等が挙げられ、プロセッサは読み出し専用メモリ(ROM)602に記憶された実行可能命令又は記憶部608からランダムアクセスメモリ(RAM)603にロードされた実行可能命令に応じて各種の適切な動作及び処理を実行することができる。通信パート612はネットワークカードを含むが、これに限定されず、前記ネットワークカードはIB(Infiniband)ネットワークカードを含むが、これに限定されない。
プロセッサは読み出し専用メモリ602及び/又はランダムアクセスメモリ603と通信して実行可能命令を実行し、バス604によって通信パート612と接続し、通信パート612を経由してほかのターゲット機器と通信し、それにより本開示の実施例に係るいずれかに記載の方法に対応する操作を実行することができ、たとえば、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索し、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得て、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得する。また、RAM 603には、装置の操作に必要な各種のプログラム及びデータがさらに記憶されてもよい。CPU601、ROM602及びRAM603はバス604によって相互に接続されている。RAM603がある場合、ROM602は選択可能なモジュールである。RAM603は、実行可能命令が記憶されており、又は動作時に実行可能命令をROM602に書き込み、実行可能命令によって、中央処理装置601に上記通信方法に対応する操作を実行させる。入力/出力(I/O)インタフェース605もバス604に接続されている。通信パート612は集積して配置されてもよく、複数のサブモジュール(たとえば、複数のIBネットワークカード)を有し、且つバスに接続されているように配置されてもよい。
I/Oインタフェース605には、キーボード、マウス等のような入力部606、陰極線管(CRT)、液晶ディスプレイ(LCD)等やスピーカ等のような出力部607、ハードディスク等のような記憶部608、及びLANカード、モデム等のネットワークインタフェースカードのような通信部609が接続されている。通信部609はたとえば、インターネットのようなネットワークを経由して通信処理を実行する。ドライバ610も必要に応じて、I/Oインタフェース605に接続される。たとえば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のようなリムーバブル媒体611は、必要に応じて、ドライバ610に装着され、それにより、リムーバブル媒体611から読み出されたコンピュータプログラムは必要に応じて記憶部608にインストールされる。
なお、図6に示されるアーキテクチャは単に選択可能な実施形態であり、実施中、実際の必要に応じて上記図6の部材の数及びタイプを選択増減又は置換することができ、異なる機能部材の配置についても、個別配置又は集積設置等の実施形態を採用してもよく、たとえば、GPU613とCPU601は個別配置されてもよくGPU613をCPU601に集積してもよく、通信部は個別配置されてもよくCPU601又はGPU613に集積されてもよい等が挙げられる。これらの置換可能な実施形態はすべて本開示の保護範囲に属する。
特に、本開示の実施例によれば、以上、フローチャートを参照しながら説明されるプロセスは、コンピュータソフトウェアプログラムとして実現できる。たとえば、本開示の実施例はコンピュータプログラム製品を含み、機械可読媒体に有形に含まれるコンピュータプログラムを含み、コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含み、プログラムコードは本開示の実施例に係る方法のステップを対応付けて実行するための命令を含み、たとえば、第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索し、少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得て、フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得する。このような実施例では、前記コンピュータプログラムは通信部609によってネットワークからダウンロードしてインストールされ、及び/又はリムーバブル媒体611からインストールされるようにしてもよい。前記コンピュータプログラムが中央処理装置(CPU)601によって実行されるとき、本開示の方法に限定される上記機能の操作を実行する。
多くの形態によって本開示の方法及び装置を実現することができる。たとえば、ソフトウェア、ハードウェア、ファームウェア又はソフトウェア、ハードウェア、ファームウェアの任意の組合せによって本開示の方法及び装置を実現することができる。前記方法のステップに用いられる上記順序は単に説明用のものであり、特に断らない限り、本開示の方法のステップは以上説明された順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記録されたプログラムとして実施されてもよく、これらのプログラムは本開示に係る方法を実現するための機械可読命令を含む。したがって、本開示はさらに、本開示に係る方法を実行するためのプログラムを記憶する記録媒体をカバーする。
例示及び説明のために本開示を説明したが、網羅的に説明したり又は本開示を開示された形態に限定したりするためのものではない。多くの変更や変形は当業者にとって自明である。本開示の原理及び実際の応用をよりよく説明し、当業者が本開示を理解して特定の用途に適用できる種々の変更を有する種々の実施例を設計することができるように、実施例を選択及び説明したのである。

Claims (13)

  1. データベース更新方法であって、
    第1データベースに含まれる複数の参照画像テンプレートから、ターゲットオブジェクトの画像とマッチングする少なくとも2つの参照画像テンプレートを検索するステップと、
    前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行して、前記少なくとも2つの参照画像テンプレートのうちの少なくとも1つの参照画像テンプレートを含むフィルタリング結果を得るステップと、
    前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するステップと、
    前記第1データベースに格納された少なくとも1つの参照画像テンプレートを前記合併画像テンプレートに置換するステップと
    を含み、
    前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップは、
    前記少なくとも2つの参照画像テンプレートのうちから、前記ターゲットオブジェクトの画像との類似度が最も大きい第1参照画像テンプレートを決定し、フィルタリング結果に追加するステップと、
    少なくとも1つの第2参照画像テンプレートのうちの、前記第1参照画像テンプレートとの類似度が第3類似度閾値に達する第2参照画像テンプレートを前記フィルタリング結果に追加するステップ、または、前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得、前記少なくとも1つの第2参照画像テンプレートのうちの、参照特徴と前記第1更新参照特徴との類似度が第1条件を満たす第2参照画像テンプレートを前記フィルタリング結果に追加するステップと
    を含み、前記少なくとも1つの第2参照画像テンプレートは、前記少なくとも2つの参照画像テンプレートのうちの前記第1参照画像テンプレート以外の参照画像テンプレートであり、
    前記フィルタリング結果に含まれる前記少なくとも1つの参照画像テンプレートに対して合併処理を実行して、合併画像テンプレートを取得するステップは、
    前記ターゲットオブジェクトの画像の画像特徴及び前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに基づき、第2更新参照特徴を取得するステップと、
    前記第2更新参照特徴で前記フィルタリング結果に含まれる前記第1参照画像テンプレートを更新し、前記合併画像テンプレートを取得し、前記フィルタリング結果におけるほかの参照画像テンプレートを削除するステップと
    を含む、方法。
  2. 前記第1条件は、前記第1更新参照特徴との類似度が第3類似度閾値以上であることを含む、請求項1に記載の方法。
  3. 前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得るステップは、
    前記第1参照画像テンプレートに対応する少なくとも2つの第1特徴データを取得するステップであって、前記第1参照画像テンプレートに含まれる参照特徴は前記少なくとも2つの第1特徴データに基づいて得られる、ステップと、
    前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するステップと
    を含む、請求項1に記載の方法。
  4. 前記画像の画像特徴及び前記少なくとも2つの第1特徴データに基づいて、第1更新参照特徴を決定するステップは、
    前記画像の画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップと、
    前記少なくとも2つの第1更新特徴に基づいて、前記第1更新参照特徴を得るステップと
    を含む、請求項3に記載の方法。
  5. 前記画像の画像特徴及び前記少なくとも2つの参照特徴データから少なくとも2つの第1更新特徴を選択するステップは、
    前記画像特徴及び前記少なくとも2つの第1特徴データに対して平均処理を実行して、第1平均特徴を得るステップと、
    前記画像特徴及び前記少なくとも2つの第1特徴データのそれぞれと前記第1平均特徴との距離に基づいて、前記画像特徴及び前記少なくとも2つの第1特徴データから少なくとも2つの第1更新特徴を選択するステップと
    を含む、請求項4に記載の方法。
  6. 前記ターゲットオブジェクトの画像の画像特徴及び前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートに基づき、第2更新参照特徴を取得するステップは、
    前記フィルタリング結果に含まれる少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データを取得するステップであって、前記参照画像テンプレートに含まれる参照特徴は前記参照画像テンプレートに対応する少なくとも2つの第2特徴データに基づいて得られる、ステップと、
    前記ターゲットオブジェクトの画像の画像特徴及び前記少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得するステップであって、前記合併画像テンプレートは前記第2更新参照特徴を含む、ステップと
    を含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記ターゲットオブジェクトの画像の画像特徴及び前記少なくとも1つの参照画像テンプレートのそれぞれに対応する少なくとも2つの第2特徴データに基づいて、第2更新参照特徴を取得するステップは、
    前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップと、
    前記少なくとも2つの第2更新特徴に基づいて、前記第2更新参照特徴を得るステップと
    を含む、請求項6に記載の方法。
  8. 前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップは、
    前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データに基づいて、平均処理を実行して、第2平均特徴を決定するステップと、
    前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データのそれぞれと前記第2平均特徴との距離に基づいて、前記少なくとも1つの参照画像テンプレートに対応する複数の第2特徴データから少なくとも2つの第2更新特徴を選択するステップと
    を含む、請求項7に記載の方法。
  9. 少なくとも1つの第2参照画像テンプレートのうちの、前記第1参照画像テンプレートとの類似度が第3類似度閾値に達する第2参照画像テンプレートを前記フィルタリング結果に追加する前に、または、前記第1参照画像テンプレート及び前記ターゲットオブジェクトの画像の画像特徴に基づいて、第1更新参照特徴を得、前記少なくとも1つの第2参照画像テンプレートのうちの、参照特徴と前記第1更新参照特徴との類似度が第1条件を満たす第2参照画像テンプレートを前記フィルタリング結果に追加するステップ前に、
    前記少なくとも2つの参照画像テンプレートと前記画像との類似度がフィルタリング条件を満たすか否かを決定するステップをさらに含み、前記フィルタリング条件は、前記少なくとも2つの参照画像テンプレートと前記画像との類似度の最大値が第2類似度閾値以上であることを含み、
    前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップは、前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たす場合、前記少なくとも2つの参照画像テンプレートに対してフィルタリング処理を実行してフィルタリング結果を得るステップを含む、請求項1~のいずれか一項に記載の方法。
  10. 前記少なくとも2つの参照画像テンプレートと前記画像との類似度が前記フィルタリング条件を満たさない場合、前記画像に対応する参照画像テンプレートを前記第1データベースに追加するステップをさらに含む、請求項に記載の方法。
  11. 実行可能命令を記憶するように構成されるメモリと、前記メモリと通信して前記実行可能命令を実行し、それにより請求項1~10のいずれか一項に記載の方法の操作を実行するように構成されるプロセッサと、を備える電子機器。
  12. コンピュータ読み取り可能な命令を記憶するコンピュータ可読記憶媒体であって、前記命令が実行されるとき、請求項1~10のいずれか一項に記載のデータベース更新方法の操作を実行するコンピュータ可読記憶媒体。
  13. コンピュータに、請求項1~10のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2021508058A 2018-11-01 2019-06-21 データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体 Active JP7133085B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811296570.4 2018-11-01
CN201811296570.4A CN111125391B (zh) 2018-11-01 2018-11-01 数据库更新方法和装置、电子设备、计算机存储介质
PCT/CN2019/092401 WO2020087949A1 (zh) 2018-11-01 2019-06-21 数据库更新方法和装置、电子设备、计算机存储介质

Publications (2)

Publication Number Publication Date
JP2021520016A JP2021520016A (ja) 2021-08-12
JP7133085B2 true JP7133085B2 (ja) 2022-09-07

Family

ID=70461967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508058A Active JP7133085B2 (ja) 2018-11-01 2019-06-21 データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体

Country Status (6)

Country Link
US (1) US20210042565A1 (ja)
JP (1) JP7133085B2 (ja)
CN (1) CN111125391B (ja)
SG (1) SG11202010573SA (ja)
TW (1) TWI714321B (ja)
WO (1) WO2020087949A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516105B (zh) * 2017-07-20 2020-06-16 阿里巴巴集团控股有限公司 图像处理方法及装置
WO2023152974A1 (ja) * 2022-02-14 2023-08-17 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011516966A (ja) 2008-04-02 2011-05-26 グーグル インコーポレイテッド デジタル画像集合内に自動顔認識を組み込む方法および装置
JP2014067171A (ja) 2012-09-25 2014-04-17 Nec Biglobe Ltd 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734067B2 (en) * 2004-12-07 2010-06-08 Electronics And Telecommunications Research Institute User recognition system and method thereof
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
US20140101174A1 (en) * 2012-10-05 2014-04-10 Htc Corporation Electronic device and multimedia file sorting method
CN104317946A (zh) * 2014-10-31 2015-01-28 上海交通大学 一种基于多张关键图的图像内容检索方法
CN104392123B (zh) * 2014-11-18 2018-05-15 新博卓畅技术(北京)有限公司 一种cda引擎系统及实现方法
CN105677632A (zh) * 2014-11-19 2016-06-15 富士通株式会社 提取用于抽取实体的模板的方法和设备
CN104657814B (zh) * 2014-12-17 2019-03-26 国电南瑞科技股份有限公司 基于ems系统的继电保护装置信号模板抽取定义方法
US9767533B2 (en) * 2015-02-16 2017-09-19 Adobe Systems Incorporated Image resolution enhancement based on data from related images
CN106547744B (zh) * 2015-09-16 2020-11-06 杭州海康威视数字技术股份有限公司 一种图像检索方法及系统
US9984451B2 (en) * 2015-12-18 2018-05-29 Michael Gormish Linear grouping of recognized items in an image
US9936162B1 (en) * 2016-10-04 2018-04-03 Avaya Inc. System and method for processing digital images during videoconference
US10466777B2 (en) * 2016-12-07 2019-11-05 LogMeln, Inc. Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets
CN106599917A (zh) * 2016-12-09 2017-04-26 西北大学 一种基于稀疏表示的近似图像重复检测方法
WO2018127182A1 (zh) * 2017-01-06 2018-07-12 华为技术有限公司 一种系统间信息交互方法,无线通信系统和用户设备
CN108573038A (zh) * 2018-04-04 2018-09-25 北京市商汤科技开发有限公司 图像处理、身份验证方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011516966A (ja) 2008-04-02 2011-05-26 グーグル インコーポレイテッド デジタル画像集合内に自動顔認識を組み込む方法および装置
JP2014067171A (ja) 2012-09-25 2014-04-17 Nec Biglobe Ltd 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム

Also Published As

Publication number Publication date
WO2020087949A1 (zh) 2020-05-07
SG11202010573SA (en) 2020-11-27
TWI714321B (zh) 2020-12-21
CN111125391B (zh) 2024-06-07
US20210042565A1 (en) 2021-02-11
CN111125391A (zh) 2020-05-08
JP2021520016A (ja) 2021-08-12
TW202018540A (zh) 2020-05-16

Similar Documents

Publication Publication Date Title
JP6853379B2 (ja) 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体
CN111125390B (zh) 数据库更新方法和装置、电子设备、计算机存储介质
CN106446816B (zh) 人脸识别方法及装置
CN107798354B (zh) 一种基于人脸图像的图片聚类方法、装置及存储设备
WO2019080411A1 (zh) 电子装置、人脸图像聚类搜索方法和计算机可读存储介质
CN113255370B (zh) 基于语义相似度的行业类型推荐方法、装置、设备及介质
US9779488B2 (en) Information processing device, image processing method and medium
CN110688974A (zh) 一种身份识别方法及装置
CN110825894A (zh) 数据索引建立、数据检索方法、装置、设备和存储介质
JP7133085B2 (ja) データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体
CN113963303A (zh) 图像处理方法、视频识别方法、装置、设备及存储介质
CN107203638B (zh) 监控视频处理方法、装置及系统
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
CN110209895B (zh) 向量检索方法、装置和设备
CN110287943B (zh) 图像的对象识别方法、装置、电子设备及存储介质
CN115082999A (zh) 合影图像人物分析方法、装置、计算机设备和存储介质
CN112766139A (zh) 目标识别方法及装置、存储介质及电子设备
CN113111689A (zh) 一种样本挖掘方法、装置、设备及存储介质
CN117333926B (zh) 一种图片聚合方法、装置、电子设备及可读存储介质
JP2015097036A (ja) 推薦画像提示装置及びプログラム
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体
CN115457640A (zh) 一种档案合并方法、装置及介质
CN114385848A (zh) 一种图像搜索方法、装置、终端及计算机可读存储介质
CN117671400A (zh) 样本收集方法、装置、电子设备及存储介质
CN116704225A (zh) 档案清洗方法及相关装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220801

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220826

R150 Certificate of patent or registration of utility model

Ref document number: 7133085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150