TWI776718B - 匹配篩選方法及電子設備和電腦可讀儲存介質 - Google Patents

匹配篩選方法及電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TWI776718B
TWI776718B TW110139723A TW110139723A TWI776718B TW I776718 B TWI776718 B TW I776718B TW 110139723 A TW110139723 A TW 110139723A TW 110139723 A TW110139723 A TW 110139723A TW I776718 B TWI776718 B TW I776718B
Authority
TW
Taiwan
Prior art keywords
matching
initial
module
consistency
local
Prior art date
Application number
TW110139723A
Other languages
English (en)
Other versions
TW202228018A (zh
Inventor
趙晨
葛藝瀟
楊佳琪
朱烽
趙瑞
李鴻升
Original Assignee
大陸商上海商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯科技開發有限公司 filed Critical 大陸商上海商湯科技開發有限公司
Publication of TW202228018A publication Critical patent/TW202228018A/zh
Application granted granted Critical
Publication of TWI776718B publication Critical patent/TWI776718B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Oscillators With Electromechanical Resonators (AREA)
  • Filters And Equalizers (AREA)

Abstract

本發明實施例提供一種匹配篩選方法、電子設備和電腦可讀儲存介質，該匹配篩選方法包括：電子設備獲取初始匹配集合，初始匹配集合來源於圖像對之間的初始匹配結果；通過至少一個裁剪模組從初始匹配集合中篩選出匹配子集，匹配子集中的正確匹配比例高於初始匹配集合中的正確匹配比例，至少一個裁剪模組用於獲取初始匹配集合中每條初始匹配的一致性資訊；該匹配子集用於處理與圖像對相關的圖像任務。

Description

匹配篩選方法及電子設備和電腦可讀儲存介質
本發明關於圖像處理領域，關於但不限於一種匹配篩選方法及電子設備和電腦可讀儲存介質。
在電腦視覺和圖像處理領域中，特徵匹配是基礎研究問題之一，初始匹配集合中的匹配一般基於圖像對之間的匹配點對應的描述子之間的歐式距離相似度從圖像對的兩組特徵點中選擇匹配一致的點，這種匹配的方法往往存在大量的錯誤匹配。
相關技術中，一般基於初始匹配集合對深度學習的神經網路模型進行學習訓練並執行相應的圖像任務。由於初始匹配集合中樣本分佈往往不平衡，如果初始匹配集合中錯誤匹配的數量遠多於正確匹配，則神經網路模型的學習過程易受錯誤匹配的干擾，導致神經網路模型的執行圖像任務的效果較差。
本發明實施例提供一種匹配篩選方法及電子設備和電腦可讀儲存介質，可以提高參數化變換模型處理圖像任務的處理效果。
本發明實施例提供了一種匹配篩選方法，包括： 獲取初始匹配集合，所述初始匹配集合來源於圖像對之間的初始匹配結果； 通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集，所述匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例所述至少一個裁剪模組用於獲取所述初始匹配集合中每條初始匹配的一致性資訊； 其中，所述匹配子集用於處理與所述圖像對相關的圖像任務。
本發明實施例中，初始匹配結果可以是基於最鄰近與次鄰近歐氏距離比值的匹配演算法從兩組特徵點中選擇匹配一致的點，初始匹配集合中的每條初始匹配可以包括圖像對中對應的點的特徵資訊（比如，圖像對中對應的點的特徵資訊可以包括對應的點的座標、對應的點的圖元值、對應的點的灰度值、對應的點的紅（Red，R）綠（Green，G）藍（Blue，B）值中的至少一種的組合）。初始匹配集合中的匹配不一定都是正確的，有正確匹配，也有錯誤匹配，其中，正確匹配比例指的是初始匹配集合中所有正確匹配的數量占初始匹配集合的總數量的比例。本發明實施例可以對初始匹配集合進行篩選，使得篩選出的匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例，由於匹配子集是從初始匹配集合中篩選出來的，匹配子集中的正確匹配比例較高，使得計算的模型參數的可靠性較高，從而提高參數化變換模型的模型參數的計算精度，進而提高參數化變換模型處理圖像任務的處理效果。
在本發明一些實施例中，所述通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集之後，所述方法還包括： 利用所述參數化變換模型對所述初始匹配集合進行預測，得到所述初始匹配集合中每條初始匹配的預測結果，所述預測結果包括正確匹配或錯誤匹配。
本發明實施例的參數化變換模型的模型參數採用匹配子集進行計算，使得計算的模型參數的可靠性較高，參數化變換模型可以對初始匹配集合中的每條初始匹配進行更好的預測，與直接對初始匹配集合進行預測的神經網路模型相比，可以提高該參數化變換模型的預測結果的準確度。
在本發明一些實施例中，所述通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集，包括： 通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集； 在所述至少一個裁剪模組包括一個裁剪模組的情況下，所述第一匹配集合為所述初始匹配集合； 在所述至少一個裁剪模組包括至少兩個裁剪模組的情況下，所述第一匹配集合是通過所述第一裁剪模組的上一個裁剪模組篩選得到的。
本發明實施例採用一個裁剪模組時，可以適用于初始匹配集合中錯誤匹配較少的情況。
本發明實施例的至少兩個裁剪模組是神經網路學習模組，可以對初始匹配集合進行至少兩次篩選，從而使得篩選出的匹配子集中的正確匹配比例較高，進而提高參數化變換模型的模型參數的計算精度，使得計算的模型參數在處理圖像任務時的可靠性較高。本發明實施例可以適用于初始匹配集合中錯誤匹配較多的情況。由於每個裁剪模組在訓練過程中學習的特徵都不一樣，採用至少兩個裁剪模組，可以通過至少兩次的特徵的學習，可以實現動態特徵學習，與採用固定特徵訓練相比，可以提高篩選出的匹配子集中正確匹配的比例。
在本發明一些實施例中，所述通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集，包括： 通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊或全域一致性資訊，根據所述第一初始匹配的局部一致性資訊或全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集；所述第一初始匹配為所述第一匹配集合中的任意一條。
在本發明一些實施例中，所述通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集，包括： 通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊和全域一致性資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集；所述第一初始匹配為所述第一匹配集合中的任意一條。
在本發明一些實施例中，所述第一裁剪模組包括第一局部一致性學習模組、第一全域一致性學習模組和第一裁剪子模組，所述特徵匹配一致性資訊包括局部一致性分數和全域一致性分數中的至少一項； 所述通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊和全域一致性資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集，包括： 通過所述第一局部一致性學習模組構建針對第一初始匹配的第一局部動態圖，計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數；所述第一局部動態圖包含所述第一初始匹配所在的節點以及與所述第一初始匹配所在的節點相關的K個相關節點；所述K個相關節點是利用K近鄰演算法基於所述第一初始匹配所在的節點得到的； 通過所述第一全域一致性學習模組構建第一全域動態圖，根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數；所述第一全域動態圖包含所有初始匹配所在的節點； 利用所述第一裁剪子模組根據所述第一初始匹配的綜合一致性分數確定所述第一初始匹配是否為被歸入所述匹配子集。
在本發明一些實施例中，所述第一局部一致性學習模組包括第一特徵升維模組、第一動態圖構建模組、第一特徵降維模組和第一局部一致性分數計算模組； 所述通過所述第一局部一致性學習模組構建針對第一初始匹配的第一局部動態圖，計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數，包括： 通過所述第一特徵升維模組對所述第一初始匹配的初始特徵向量進行升維處理，得到所述第一初始匹配的高維特徵向量； 利用所述第一局部動態圖構建模組通過K近鄰演算法確定所述第一匹配集合中與所述第一初始匹配的高維特徵向量的相關度（歐氏距離）排名靠前的K條相關匹配，基於所述第一初始匹配和所述K條相關匹配構建針對所述第一初始匹配的第一局部動態圖，得到所述第一初始匹配的超高維特徵向量；所述第一初始匹配的超高維特徵向量包括所述第一初始匹配的高維特徵向量以及所述第一初始匹配與所述K條相關匹配之間的相關度向量的組合； 利用所述第一特徵降維模組對所述第一初始匹配的超高維特徵向量進行降維處理，得到第一初始匹配的低維特徵向量； 通過所述第一局部一致性分數計算模組基於所述第一初始匹配的低維特徵向量計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數。
在本發明一些實施例中，所述第一特徵降維模組包括第一環狀卷積模組和第二環狀卷積模組；所述利用所述第一特徵降維模組對所述第一初始匹配的超高維特徵向量進行降維處理，得到第一初始匹配的低維特徵向量，包括： 通過所述第一環狀卷積模組對所述第一初始匹配的超高維特徵向量按照相關度進行分組，對每組特徵向量進行第一次特徵聚集處理，得到初步聚集的特徵向量； 通過所述第二環狀卷積模組對所述初步聚集的特徵向量進行第二次特徵聚集處理，得到所述第一初始匹配的低維特徵向量。
在本發明一些實施例中，所述根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數，包括： 計算所述第一初始匹配在所述第一全域動態圖的全域一致性分數； 根據所述局部一致性分數和所述全域一致性分數確定所述第一初始匹配的綜合一致性分數。
在本發明一些實施例中，所述通過所述第一全域一致性學習模組構建第一全域動態圖，包括： 通過所述第一全域一致性學習模組根據所述第一匹配集合中每條初始匹配在對應的局部動態圖的局部一致性分數構建第一全域動態圖； 所述根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數，包括： 根據所述第一全域動態圖和所述第一初始匹配的低維特徵向量計算所述第一初始匹配的綜合一致性分數。
在本發明一些實施例中，所述第一全域動態圖通過鄰接矩陣表示，所述根據所述第一全域動態圖和所述第一初始匹配的低維特徵向量計算所述第一初始匹配的綜合一致性分數，包括： 基於所述第一初始匹配的低維特徵向量和所述鄰接矩陣，利用圖形卷積網路計算所述第一初始匹配的綜合低維特徵向量； 基於所述第一初始匹配的綜合低維特徵向量計算所述第一初始匹配的綜合一致性分數。
在本發明一些實施例中，所述利用所述第一裁剪子模組根據所述第一初始匹配的綜合一致性分數確定所述第一初始匹配是否為被歸入所述匹配子集，包括： 利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數是否大於第一閾值，若是，確定所述第一初始匹配歸入所述匹配子集； 或者，利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數在所述第一匹配集合中按照從大到小的排名，若所述第一初始匹配的排名大於第二閾值，確定所述第一初始匹配歸入所述匹配子集。
在本發明一些實施例中，所述通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集之前，所述方法還包括： 利用有監督資料集對裁剪模組進行訓練，得到訓練結果； 通過自我調整溫度的二分類損失函數對所述訓練結果進行評估，按照最小化所述二分類損失函數的方法對所述裁剪模組的參數進行更新。
在本發明一些實施例中，所述通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集之前，所述方法還包括： 根據所述圖像對相關的圖像任務確定所述參數化變換模型所使用的約束關係，所述約束關係包括對極幾何約束或重投影誤差； 所述通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集之後，所述方法還包括： 在所述參數化變換模型使用所述約束關係的情況下，利用所述匹配子集計算所述參數化變換模型的模型參數。
在本發明一些實施例中，所述圖像任務包括直線擬合任務、寬基線圖像匹配任務、圖像定位任務、圖像拼接任務、三維重建任務、相機姿態估計任務中的任一種。
本發明實施例提供了一種匹配篩選裝置，包括： 獲取單元，配置為獲取初始匹配集合，所述初始匹配集合來源於圖像對之間的初始匹配結果； 篩選單元，配置為通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集，所述匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例； 其中，所述匹配子集用於計算參數化變換模型的模型參數，所述參數化變換模型用於處理與所述圖像對相關的圖像任務。
本發明實施例提供了一種電子設備，包括處理器和記憶體，所述記憶體配置為儲存電腦程式，所述電腦程式包括程式指令，所述處理器被配置為調用所述程式指令，執行如上述任意一種方法。
本發明實施例提供了一種電腦可讀儲存介質，其中，上述電腦可讀儲存介質儲存配置為電子資料交換的電腦程式，其中，上述電腦程式使得電腦執行如上述任意一種方法。
本發明實施例提供了一種電腦程式產品，其中，上述電腦程式產品包括儲存了電腦程式的非暫態性電腦可讀儲存介質，上述電腦程式可操作來使電腦執行如上述任意一種方法。該電腦程式產品可以為一個軟體安裝包。
本發明實施例中，電子設備獲取初始匹配集合，所述初始匹配集合來源於圖像對之間的初始匹配結果；通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集，所述匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例，所述至少一個裁剪模組用於獲取所述初始匹配集合中每條初始匹配的一致性資訊；利用所述匹配子集計算參數化變換模型的模型參數，所述參數化變換模型用於處理與所述圖像對相關的圖像任務。本發明實施例可以對初始匹配集合進行篩選，使得篩選出的匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例，可以提高參數化變換模型的模型參數的計算精度，進而提高參數化變換模型處理圖像任務的處理效果。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明實施例。根據下面參考附圖對示例性實施例的詳細說明，本發明實施例的其它特徵及方面將變得清楚。
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同物件，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。
在本發明中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本發明所描述的實施例可以與其它實施例相結合。
本發明實施例所涉及到的電子設備可以包括具有運算能力的設備，比如，個人電腦、手機、伺服器、人臉識別設備、人臉通行設備、圖像處理設備、虛擬實境設備等。為方便描述，可以將上面提到的設備統稱為電子設備。
特徵匹配篩選是電腦視覺和圖像處理領域的基礎研究問題之一，其目的是從包含錯誤匹配（雜訊或其它干擾）的初始特徵匹配集合中篩選正確的匹配。由於錯誤匹配的分佈具有任意性，且在初始匹配集合中佔據了主導地位，因此，需要提供一種能夠在大量錯誤匹配的干擾下識別正確匹配的匹配篩選方法。此外，真實世界中包含的旋轉、平移、尺度、視角變化和光照變化等多種因素增加了特徵匹配篩選的難度。
相關技術中，主要有基於非機器學習和基於機器學習這兩種特徵匹配篩選方法；對於基於非機器學習的方法，該類方法基於人工設計的規則進行特徵匹配篩選，多依賴於假設或先驗知識，不需要進行複雜的學習和訓練；但由於所依賴的假設或先驗知識在特定雜訊下失效，導致該類方法對多種雜訊的魯棒性較差；對於基於機器學習的方法，該類方法將特徵匹配篩選建模為二分類問題，使用深度學習的網路學習預測初始匹配集合中所有匹配的類別，即正確匹配或錯誤匹配。但由於初始匹配集合中樣本分佈不平衡，錯誤匹配的數量遠多於正確匹配，該類方法的學習過程易受干擾，從而導致難以一次性識別出所有潛在的正確匹配。
針對上述技術問題，本發明實施例提出了一種匹配篩選方法、裝置、電子設備、電腦可讀儲存介質和電腦程式產品。
請參閱圖1a，圖1a是本發明實施例提供的一種匹配篩選方法的流程示意圖。如圖1a所示，該匹配篩選方法可以包括如下步驟。
步驟101，電子設備獲取初始匹配集合，初始匹配集合來源於圖像對之間的初始匹配結果。
本發明實施例中，初始匹配集合可以包括多條初始匹配，初始匹配集合中的每條初始匹配可以包括圖像對中對應的點的特徵資訊（比如，圖像對中對應的點的特徵資訊可以包括對應的點的座標、對應的點的圖元值、對應的點的灰度值、對應的點的RGB值中的至少一種的組合）。圖像對是圖像任務中用到的一對圖像，一般包括兩張圖像：第一圖像和第二圖像。舉例來說，初始匹配結果可以是基於逐圖元匹配演算法從第一圖像和第二圖像中分別選擇的匹配一致的圖元點。匹配一致的圖元點，可以是第一圖像和第二圖像中相對應的圖元點。比如，第一圖像是從一個角度拍攝的一棟大樓，第二圖像是從另一個角度拍攝的該棟大樓，匹配一致的圖元點可以是該棟大樓的同樣的位置在第一圖像的圖元點以及在第二圖像的圖元點。
步驟102，電子設備通過至少一個裁剪模組從初始匹配集合中篩選出匹配子集，匹配子集中的正確匹配比例高於初始匹配集合中的正確匹配比例。
其中，所述至少一個裁剪模組用於獲取所述初始匹配集合中每條初始匹配的一致性資訊，所述匹配子集用於處理與所述圖像對相關的圖像任務。
初始匹配的一致性資訊用於衡量初始匹配在整個圖像中與其他初始匹配的一致性，在本發明一些實施例中，一致性可以包括匹配在朝向、旋轉、平移等維度上的一致性。
本發明實施例中，初始匹配集合中的匹配不一定都是正確的，有正確匹配，也有錯誤匹配，其中，正確匹配比例指的是初始匹配集合中所有正確匹配的數量占初始匹配集合的總數量的比例。
比如，步驟102可以採用經過訓練的神經網路學習模型（至少一個裁剪模組）對初始匹配集合進行篩選，使得篩選出的匹配子集中的正確匹配比例高於初始匹配集合中的正確匹配比例。本發明實施例中的至少一個裁剪模組都是訓練好的神經網路學習模型。
在本發明一些實施例中，步驟102可以包括如下步驟： 電子設備通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集； 在所述至少一個裁剪模組包括一個裁剪模組的情況下，所述第一匹配集合為所述初始匹配集合； 在所述至少一個裁剪模組包括至少兩個裁剪模組的情況下，所述第一匹配集合是通過所述第一裁剪模組的上一個裁剪模組篩選得到的。
在本發明一些實施例中，電子設備通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集，可以包括如下步驟： 電子設備通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊和全域一致性資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集；所述第一初始匹配為所述第一匹配集合中的任意一條。
其中，局部一致性資訊是第一初始匹配在圖像的局部區域的一致性，全域一致性資訊是第一初始匹配在整幅圖像的一致性。
在本發明一些實施例中，在所述至少一個裁剪模組包括一個裁剪模組的情況下，電子設備通過該一個裁剪模組確定所述初始匹配集合中每條初始匹配的局部一致性資訊和全域一致性資訊，根據每條初始匹配的局部一致性資訊和全域一致性資訊從所述初始匹配集合中篩選出匹配子集。
本發明實施例採用訓練好的一個裁剪模組，可以適用于初始匹配集合中錯誤匹配較少的情況。裁剪模組是神經網路學習模組，由於裁剪模組在訓練過程中可以學習到特徵，與採用固定特徵進行訓練相比，可以提高篩選出的匹配子集中正確匹配的比例。
在本發明一些實施例中，電子設備通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集，可以包括如下步驟： 電子設備通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊和全域一致性資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集；所述第一初始匹配為所述第一匹配集合中的任意一條。
本發明實施例中，僅考慮第一初始匹配的局部一致性資訊的情況下，也可以實現第一裁剪模組的篩選功能，無需考慮全域一致性資訊，對於全域一致性差別不大的圖像而言，可以節省匹配篩選所需的計算量，快速實現匹配篩選。
僅考慮第一初始匹配的全域一致性資訊的情況下，也可以實現第一裁剪模組的篩選功能，無需考慮局部一致性資訊，對於局部一致性差別不大的圖像而言，可以節省匹配篩選所需的計算量，快速實現匹配篩選。
在所述至少一個裁剪模組包括至少兩個裁剪模組的情況下，電子設備通過至少兩個裁剪模組進行至少兩次篩選，後一個裁剪模組用於對前一個裁剪模組篩選出的匹配集合進一步進行篩選，直到最後一個裁剪模組篩選出匹配集合為止。
本發明實施例中，第一裁剪模組是至少兩個裁剪模組中的最後一個。
本發明實施例的至少兩個裁剪模組是訓練好的神經網路學習模組，可以對初始匹配集合進行至少兩次篩選，從而使得篩選出的匹配子集中的正確匹配比例較高，進而提高參數化變換模型的模型參數的計算精度，使得計算的模型參數在處理圖像任務時的可靠性較高，參數化變換模型可用於圖像拼接和三維重建等任務。
裁剪模組可以通過大量的有監督樣本（預先知道的正確匹配樣本）進行訓練，對每個匹配進行預測，並計算訓練的損失，當訓練的損失小於設定值時，確定該裁剪模組為訓練好的裁剪模組。
其中，訓練好的至少兩個裁剪模組不是對初始匹配集合同時篩選，而是按順序逐個篩選，即，上一個裁剪模組篩選後的輸出結果作為下一個裁剪模組的輸入。舉例來說，如果至少兩個裁剪模組包括2個裁剪模組：裁剪模組1和裁剪模組2，則裁剪模組1對初始匹配集合進行第一次篩選，得到匹配集合1；裁剪模組2對匹配集合1進行第二次篩選，得到匹配子集。舉例來說，如果至少兩個裁剪模組包括3個裁剪模組：裁剪模組1、裁剪模組2和裁剪模組3，則裁剪模組1對初始匹配集合進行第一次篩選，得到匹配集合1；裁剪模組2對匹配集合1進行第二次篩選，得到匹配集合2；裁剪模組3對匹配集合2進行第三次篩選，得到匹配子集。
在本發明一些實施例中，如果裁剪模組的數量為3個，初始匹配集合的數量為10000條，裁剪模組每次篩選50%，則篩選出來的匹配子集中的匹配數量為1250條。由於裁剪模組充分考慮了每條匹配的局部一致性和全域一致性，匹配子集中的正確匹配的比例遠高於初始匹配集合中的正確匹配的比例。匹配子集中的錯誤匹配比例很小，當該匹配子集用於直線擬合任務時，受到錯誤匹配的干擾也較小，從而提高直線擬合任務的處理效果。
可見，本發明實施例通過裁剪模組對初始匹配集合進行多次裁剪，逐步剔除錯誤匹配的數量，進而，可以緩解初始匹配集合中樣本分佈不平衡以及錯誤匹配分佈任意性的問題。
請參閱圖1b，圖1b是本發明實施例提供的一種用於匹配篩選的CLNet的結構示意圖。如圖1b所示，該CLNet包括至少兩個裁剪模組和一個參數化變換模型，其中，N表示初始匹配集合中的初始匹配的數量，4表示初始匹配的4維座標（比如，第一圖像中的第一圖元點的座標位置以及第二圖像中與第一圖像中的該圖元點匹配的第二圖元點的座標位置組成的4維座標）。通過K（K大於或等於2）個裁剪模組（基於局部到全域的一致性學習的裁剪模組）逐步對初始匹配集合進行篩選，得到匹配子集（匹配子集包含N1個候選匹配），參數化變換模型的模型參數是基於N1個候選匹配計算得到的。其中，每個裁剪模組均可以包括局部一致性學習模組、全域一致性學習模組和裁剪子模組。
本發明實施例可以適用于初始匹配集合中錯誤匹配較多的情況。由於每個裁剪模組在訓練過程中學習的特徵都不一樣，採用至少兩個裁剪模組，可以通過至少兩次的特徵的學習，可以實現動態特徵學習；與採用固定特徵訓練相比，可以提高篩選出的匹配子集中正確匹配的比例。
其中，電子設備利可以用匹配子集計算參數化變換模型的模型參數，參數化變換模型用於處理與圖像對相關的圖像任務。
本發明實施例中，參數化變換模型可以用於對初始匹配集合中每條初始匹配進行預測，預測每條初始匹是正確匹配或錯誤匹配。由於參數化變換模型的模型參數是基於匹配子集計算得到的，舉例來說，模型參數可以是本質矩陣（essential matrix）。匹配子集是從初始匹配集合中篩選出來的，匹配子集中的正確匹配比例較高，使得計算的模型參數的可靠性較高，從而提高參數化變換模型的模型參數的計算精度，進而提高參數化變換模型處理圖像任務的處理效果。
其中，與圖像對相關的圖像任務可以包括直線擬合（line fitting）任務、寬基線圖像匹配（wide-baseline image matching）任務、圖像定位（image localization）任務、圖像拼接任務、三維重建任務中的任一種。
在本發明一些實施例中，在執行步驟102之前，圖1的方法還可以執行如下步驟： 步驟11：電子設備利用有監督資料集對裁剪模組進行訓練，得到訓練結果； 步驟12：電子設備通過自我調整溫度的二分類損失函數對所述訓練結果進行評估，按照最小化所述二分類損失函數的方法對所述裁剪模組的參數進行更新，得到訓練好的裁剪模組。
本發明實施例中，儘管使用常規的二進位交叉熵損失進行的訓練取得了令人滿意的效果，但這種訓練方式對於對極距離在d thr附近的匹配，dthr表示設定距離；仍然存在不可避免的標籤模糊（即，在d thr附近的匹配，可能被判定為正確匹配，也可能被判定為錯誤匹配）。由於匹配c i的置信度應與對應的極線距離d i負相關，即d i越接近0，越可能被判斷為正確匹配；因此，本發明實施例對於推定的正確匹配（d i＜d thr）引入了一個自我調整溫度，其計算公式可以用公式（1）所示的高斯核τ i來表示。 τ i= exp（-||d i-d thr||/α·d thr）           （1） 其中，α是高斯核的內核寬度，對於d i＞ = d thr的離群值c i，將τ i設為1。由於極點的固有歧義性，無法解決標籤模糊的問題，本發明實施例將訓練目標用公式（2）進行描述： L = L cls+λL reg（Ê，E）             （2） 其中，L reg表示參數化變換模型Ê的回歸損失，λ是加權因數。本發明實施例提出的自我調整溫度的二分類損失函數如公式（3）所示：
Figure 02_image001
（3） 其中，
Figure 02_image003
是第j個修剪模組的局部一致性學習層的輸出，
Figure 02_image005
是第j個修剪模組的全域一致性學習層的輸出，
Figure 02_image007
是最後一個裁剪模組的最後一個多層感知器（Multi-Layer Perceptrons，MLP）的輸出（w = tanh（ReLU（o）））；H（o）=σ（τ·o）（σ為sigmoid啟動函數）；
Figure 02_image009
，
Figure 02_image011
表示二進位的標籤正確的資料集；
Figure 02_image013
表示二進位交叉熵損失；K是裁剪模組的數量，因此，對於具有較小d i的正確匹配c i而言，通過較小的溫度進行模型優化，對執行更大的正則化更有信心。
本發明實施例可以對初始匹配集合進行篩選，使得篩選出的匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例，利用匹配子集計算參數化變換模型的模型參數，可以提高參數化變換模型的模型參數的計算精度，進而提高參數化變換模型處理圖像任務的處理效果。
請參閱圖2a，圖2a是本發明實施例提供的另一種匹配篩選方法的流程示意圖。圖2a是在圖1a的基礎上進一步優化得到的，如圖2a所示，該匹配篩選方法可以包括如下步驟。
步驟201，電子設備獲取初始匹配集合，初始匹配集合來源於圖像對之間的初始匹配結果。
步驟202，電子設備通過至少一個裁剪模組從初始匹配集合中篩選出匹配子集，至少一個裁剪模組用於獲取初始匹配集合中每條初始匹配的一致性資訊，匹配子集中的正確匹配比例高於初始匹配集合中的正確匹配比例，匹配子集用於處理與圖像對相關的圖像任務。
在本發明一些實施例中，匹配子集用於計算參數化變換模型的模型參數，參數化變換模型用於處理與圖像對相關的圖像任務。
其中，步驟201至步驟202的實施方式可以參見圖1a的步驟101至步驟102，此處不再贅述。
步驟203，電子設備利用參數化變換模型對初始匹配集合進行預測，得到初始匹配集合中每條初始匹配的預測結果，預測結果包括正確匹配或錯誤匹配。
本發明實施例中，參數化變換模型的模型參數採用匹配子集進行計算，使得計算的模型參數的可靠性較高，參數化變換模型可以對初始匹配集合中的每條初始匹配進行更好的預測，與直接對初始匹配集合進行預測的神經網路模型相比，可以提高該參數化變換模型的預測結果的準確度。
請參閱圖2b，圖2b是本發明實施例提供的另一種用於匹配篩選的CLNet的結構示意圖。如圖2b所示，該CLNet包括至少兩個裁剪模組、一個參數化變換模型和全尺寸預測模組，其中，N表示初始匹配集合中的初始匹配的數量，4表示初始匹配的4維座標（比如，第一圖像中的第一圖元點的座標位置以及第二圖像中與第一圖像中的該圖元點匹配的第二圖元點的座標位置組成的4維座標）。通過K（K大於或等於2）個裁剪模組（基於局部到全域的一致性學習的裁剪模組）逐步對初始匹配集合進行篩選，得到匹配子集（匹配子集包含N1個候選匹配），參數化變換模型的模型參數是基於N1個候選匹配計算得到的，全尺寸預測模組用於對初始匹配集合中的N條初始匹配進行預測（即，全尺寸預測），可得出初始匹配對集合中每個初始匹配對的預測結果（預測結果包括正確匹配或錯誤匹配）。其中，每個裁剪模組均可以包括局部一致性學習模組、全域一致性學習模組和裁剪子模組。
目前，準確的圖元特徵匹配是解決電腦視覺、機器學習等許多重要的圖像任務的前提。例如，運動恢復結構（Structure From Motion，SfM）、同步定位和地圖繪製（Simultaneous Location And Mapping，SLAM）、圖像拼接、視覺定位和虛擬實境等。SfM在電腦視覺領域指的是，通過分析物體的2D運動圖像得到3D結構資訊的過程。然而，真實世界中的圖片往往包含旋轉、平移、尺度、視角變化和光照變化等多種因素，使得匹配篩選方法這一問題極具挑戰性。
在目前的基於學習的方法中，通常將匹配篩選作為一種匹配分類任務，其中採用MLP對匹配進行分類（正確匹配或錯誤匹配），然而對此類二元分類問題的優化並非易事，匹配可能極不平衡，比如，離群值（錯誤匹配）占比高達90%以上。因此，通過MLP直接預測初始匹配集合中的正確匹配結果的準確性較低。
採用圖2a所示的方法，使得計算的模型參數的可靠性較高，參數化變換模型可以對初始匹配集合中的每條初始匹配進行更好的預測，與直接對初始匹配集合進行預測的神經網路模型相比，可以提高該參數化變換模型的預測結果的準確度。
請參閱圖3，圖3是本發明實施例提供的一種第一裁剪模組對初始匹配集合進行篩選的流程示意圖，如圖3所示，該方法可以包括如下步驟。
步驟301，電子設備通過第一局部一致性學習模組構建針對第一初始匹配的第一局部動態圖，計算第一初始匹配在第一局部動態圖的局部一致性分數；第一局部動態圖包含第一初始匹配所在的節點以及與第一初始匹配所在的節點相關的K個相關節點；K個相關節點是利用K近鄰演算法基於第一初始匹配所在的節點得到的。
本發明實施例中，第一裁剪模組包括第一局部一致性學習模組、第一全域一致性學習模組和第一裁剪子模組。其中，第一裁剪模組是訓練好的至少兩個裁剪模組中的第一個。
第一局部一致性學習模組可以構建第一局部動態圖，計算第一初始匹配在第一局部動態圖的局部一致性分數。第一全域一致性學習模組可以構建第一全域動態圖，計算第一初始匹配在第一全域動態圖的全域一致性分數，也可以計算第一初始匹配的綜合一致性分數。
第一局部動態圖是根據初始匹配的初始特徵向量映射到高維特徵向量後，根據第一初始匹配的高維特徵向量與其他初始匹配之間的相關性構建的。每條初始匹配映射到第一局部動態圖的一個節點。第一初始匹配所在的節點是該第一初始匹配映射到第一局部動態圖的節點。比如，可以按照K近鄰演算法（K-Nearest Neighbor，KNN）找到與第一初始匹配所在的節點最接近的K個相關節點，將第一初始匹配所在的節點與這K個相關節點組成的圖作為第一局部動態圖。命名為動態圖，主要是因為初始匹配從初始特徵向量映射到高維特徵向量後，每次通過K近鄰演算法找到的節點不一定相同，是動態變化的。
第一初始匹配在第一局部動態圖的局部一致性分數，用於衡量第一初始匹配在局部的一致性，如果第一初始匹配是正確匹配，則其在局部的一致性較好，局部一致性分數較高；如果第一初始匹配是錯誤匹配，則其在局部的一致性較差，局部一致性分數較低。
本發明實施例，通過動態圖的方法計算匹配在局部區域的一致性分數以及全域區域的一致性分數，可以確保在裁剪過程中僅保留一致性較高的可靠匹配。
在本發明一些實施例中，請參閱圖4，圖4是本發明實施例提供的一種第一局部一致性學習模組的結構示意圖。如圖4所示，所述第一局部一致性學習模組包括第一特徵升維模組、第一動態圖構建模組、第一特徵降維模組和第一局部一致性分數計算模組。
步驟301可以包括如下步驟： 步驟21：電子設備通過所述第一特徵升維模組對所述第一初始匹配的初始特徵向量進行升維處理，得到所述第一初始匹配的高維特徵向量； 步驟22：電子設備利用所述第一局部動態圖構建模組通過K近鄰演算法確定所述第一匹配集合中與所述第一初始匹配的高維特徵向量的相關度（比如，根據歐氏距離確定的相關度）排名靠前的K條相關匹配，基於所述第一初始匹配和所述K條相關匹配構建針對所述第一初始匹配的第一局部動態圖，得到所述第一初始匹配的超高維特徵向量；所述第一初始匹配的超高維特徵向量包括所述第一初始匹配的高維特徵向量以及所述第一初始匹配與所述K條相關匹配之間的相關度向量的組合； 步驟23：電子設備利用所述第一特徵降維模組對所述第一初始匹配的超高維特徵向量進行降維處理，得到第一初始匹配的低維特徵向量； 步驟24：電子設備通過所述第一局部一致性分數計算模組基於所述第一初始匹配的低維特徵向量計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數。
本發明實施例中，第一特徵升維模組可以是訓練好的深度神經網路模組，比如訓練好的殘差網路，殘差網路可以包括多個殘差模組（ResNet Blcok），比如，可以包括4個殘差模組（ResNet Blcok）。第一特徵升維模組可以將第一匹配集合中每個初始匹配的初始特徵向量進行升維處理，得到每個初始匹配的高維特徵向量。第一動態圖構建模組、第一特徵降維模組和第一局部一致性分數計算模組均可以是訓練好的深度神經網路模組。舉例來說，第一特徵降維模組可以包括多個殘差模組（ResNet Blcok），第一局部一致性分數計算模組可以包括MLP。
其中，第一初始匹配的初始特徵向量可以是四維向量，包括第一初始匹配在圖像對的第一圖像中的第一圖元點的座標和第一初始匹配在圖像對的第二圖像中的第二圖元點的座標的組合。舉例來說，如果第一圖元點的座標為（x1，y1），第二圖元點的座標為（x2，y2），則第一初始匹配的初始特徵向量p1=（x1，y1，x2，y2）。第一初始匹配的高維特徵向量可以是128維向量。
在本發明一些實施例中，請參閱圖5，圖5是本發明實施例提供的一種第一特徵降維模組的結構示意圖。所述第一特徵降維模組包括第一環狀卷積模組和第二環狀卷積模組。
步驟23可以包括如下步驟： 步驟231：電子設備通過所述第一環狀卷積模組對所述第一初始匹配的超高維特徵向量按照相關度進行分組，對每組特徵向量進行第一次特徵聚集處理，得到初步聚集的特徵向量； 步驟232：電子設備通過所述第二環狀卷積模組對所述初步聚集的特徵向量進行第二次特徵聚集處理，得到所述第一初始匹配的低維特徵向量。
本發明實施例中，第一環狀卷積（annular convolution）模組對所述第一初始匹配的超高維特徵向量按照相關度進行分組，每組特徵向量的維度相同。比如，將相關度排名前10%的分為一組，將相關度排名前10%~20%的分為一組，將相關度排名前20%~30%的分為一組，將相關度排名前30%~40%的分為一組，將相關度排名前40%~50%的分為一組，將相關度排名前50%~60%的分為一組，將相關度排名前60%~70%的分為一組，將相關度排名前70%~80%的分為一組，將相關度排名前80%~90%的分為一組，將相關度排名前90%~100%的分為一組，總共分成10組。
第一環狀卷積模組將第一初始匹配的超高維特徵向量按照相關度進行分組後，將每組特徵向量聚集成一個特徵向量。比如，超高維特徵向量是k*128維，可以將k*128維分成p組：（p×k/p）×128，第一環狀卷積模組對（p×k/p）×128進行第一次特徵聚集處理，得到初步聚集的特徵向量為k/p×128維。第二環狀卷積模組可以將k/p×128聚集成1×128維的低維特徵向量。其中，第一環狀卷積模組中學習到的矩陣中的參數與第二環狀卷積模組中學習到的矩陣中的參數不共用。矩陣中的參數，指的是矩陣中的元素的值。
請參閱圖6，圖6是本發明實施例提供的一種第一環狀卷積模組和第二環狀卷積模組進行特徵聚集的示意圖。如圖6所示，對於第一初始匹配c 1而言，通過K近鄰演算法確定的K條相關匹配都反映在圖6的第一局部動態圖中，圖6以K等於12為例進行說明，第一初始匹配c 1所在的節點與這K=12個相關節點組成的圖作為第一局部動態圖，12個相關節點按照與第一初始匹配c 1所在的節點的相關度（比如，歐式距離）被分成3組，然後通過第一環狀卷積模組進行第一次特徵聚集處理，第一環狀卷積模組對（p×k/p）×128進行第一次特徵聚集處理，得到初步聚集的特徵向量為（k/p）×128維。第二環狀卷積模組可以將（k/p）×128聚集成1×128維的低維特徵向量。
本發明實施例採用環狀卷積模組根據第一初始匹配的超高維特徵向量按照相關度進行分組後降維，充分考慮了第一初始匹配的局部一致性，使得降維後的第一初始匹配的低維特徵向量依然保留了第一初始匹配的局部一致性，從而提高了第一初始匹配在所述第一局部動態圖的局部一致性分數的計算結果的準確性。
步驟302，電子設備通過第一全域一致性學習模組構建第一全域動態圖，根據第一初始匹配在第一局部動態圖的局部一致性分數和第一全域動態圖確定第一初始匹配的綜合一致性分數。
本發明實施例中，第一全域動態圖包含了所有初始匹配所在的節點，可以通過第一全域動態圖確定第一初始匹配在第一全域動態圖的全域一致性分數，根據第一初始匹配在第一局部動態圖的局部一致性分數和第一初始匹配在第一全域動態圖的全域一致性分數確定第一初始匹配的綜合一致性分數。還可以根據第一初始匹配在第一局部動態圖的局部一致性分數和第一全域動態圖確定第一初始匹配的綜合一致性分數。第一初始匹配的綜合一致性分數是綜合了第一初始匹配在第一局部動態圖的局部一致性分數和第一初始匹配在第一全域動態圖的全域一致性分數得到的。
在本發明一些實施例中，步驟302中，電子設備根據第一初始匹配在第一局部動態圖的局部一致性分數和第一全域動態圖確定第一初始匹配的綜合一致性分數可以包括如下步驟： 步驟31：通過第一全域一致性學習模組計算所述第一初始匹配在所述第一全域動態圖的全域一致性分數； 步驟32：第一全域一致性學習模組根據所述局部一致性分數和所述全域一致性分數確定所述第一初始匹配的綜合一致性分數。
本發明實施例中，第一全域一致性學習模組可以計算第一初始匹配在第一全域動態圖的全域一致性分數，根據局部一致性分數和全域一致性分數確定所述第一初始匹配的綜合一致性分數。在本發明一些實施例中，第一全域一致性學習模組可以將局部一致性分數和全域一致性分數直接相加，將局部一致性分數和全域一致性分數之和作為綜合一致性分數。第一全域一致性學習模組還可以根據加權演算法計算綜合一致性分數。
在本發明一些實施例中，步驟302中，電子設備通過所述第一全域一致性學習模組構建第一全域動態圖可以包括如下步驟： 步驟41：電子設備通過所述第一全域一致性學習模組根據所述第一匹配集合中每條初始匹配在對應的局部動態圖的局部一致性分數構建第一全域動態圖； 步驟302中，電子設備根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數，可以包括： 步驟42：電子設備根據所述第一全域動態圖和所述第一初始匹配的低維特徵向量計算所述第一初始匹配的綜合一致性分數。
本發明實施例中，不會直接計算全域一致性分數，而是在局部一致性分數和所述第一全域動態圖的基礎上直接計算綜合一致性分數，減少了全域一致性分數的計算過程，提高了綜合一致性分數的計算效率。
在本發明一些實施例中，所述第一全域動態圖通過鄰接矩陣表示，步驟32可以包括如下步驟： 步驟421：電子設備基於所述第一初始匹配的低維特徵向量和所述鄰接矩陣，利用圖形卷積網路（Graph Convolutional Network，GCN）計算所述第一初始匹配的綜合低維特徵向量； 步驟422：電子設備基於所述第一初始匹配的綜合低維特徵向量計算所述第一初始匹配的綜合一致性分數。
本發明實施例中，第一全域動態圖是第一匹配集合中每條初始匹配在對應的局部動態圖的局部一致性分數構建的。鄰接矩陣為第一匹配集合中每條初始匹配在對應的局部動態圖的局部一致性分數組成的矩陣與對應的轉置矩陣相乘得到的。比如，第一匹配集合中每條初始匹配在對應的局部動態圖的局部一致性分數組成的矩陣為N×1，對應的轉置矩陣為1×N，二者相乘得到N×N的矩陣，即為鄰接矩陣。
若圖形卷積網路經過訓練後學習到的矩陣為
Figure 02_image015
，鄰接矩陣為A，第一匹配集合中每條初始匹配的低維特徵向量組成的矩陣Z，則圖形卷積網路輸出的結果如公式（4）所示：
Figure 02_image017
（4） 其中，
Figure 02_image019
；D為A’的對角度矩陣（diagonal degree matrix），A’=A+I N，I N是為了保證數值穩定性的矩陣。L為N×N的矩陣，Z為N×128的矩陣，
Figure 02_image015
為128×128的矩陣。
得到圖形卷積網路輸出的結果out，將圖形卷積網路輸出的結果out加上第一匹配集合中每條初始匹配的低維特徵向量組成的矩陣Z，即可得到第一匹配集合中每條初始匹配的綜合低維特徵向量，每條初始匹配的綜合低維特徵向量通過殘差模組進行處理後，輸入MLP，MLP對第一匹配集合中每條初始匹配的綜合低維特徵向量進行降維，計算第一匹配集合中每條初始匹配的綜合一致性分數。
步驟303，電子設備利用第一裁剪子模組根據第一初始匹配的綜合一致性分數確定第一初始匹配是否為被歸入匹配子集。
本發明實施例中，第一初始匹配的綜合一致性分數越高，表明第一初始匹配是正確匹配的可能性越大。可以將第一匹配集合中綜合一致性分數較高的初始匹配歸入匹配子集，也可以將第一匹配集合中綜合一致性分數按照從大到小排序，將排序靠前的初始匹配歸入匹配子集。本發明實施例針對每個初始匹配，都計算其綜合一致性分數，可以通過一個簡單的指標（綜合一致性分數）對第一匹配集合中的每個初始匹配進行歸類，綜合考慮了每個初始匹配的局部一致性和全域一致性，可以通過第一裁剪模組從第一匹配集合中篩選出較多的正確匹配，為後續篩選出匹配子集打下較好的基礎。其中，第一匹配集合中的正確匹配比例高於所述第一匹配集合中的正確匹配比例。
在本發明一些實施例中，步驟303可以包括如下步驟： 電子設備利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數是否大於第一閾值，若是，確定所述第一初始匹配歸入所述匹配子集； 或者，電子設備利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數在所述第一匹配集合中按照從大到小的排名，若所述第一初始匹配的排名大於第二閾值，確定所述第一初始匹配歸入所述匹配子集。
本發明實施例中，可以根據第一匹配集合中每個初始匹配的綜合一致性分數對第一匹配集合進行篩選，將第一匹配集合中綜合一致性分數大於第一閾值的初始匹配歸入匹配子集。也可以根據第一匹配集合每個初始匹配的綜合一致性分數按照從大到小的排名進行篩選，將第一匹配集合中綜合一致性分數的排名大於第一閾值的初始匹配歸入匹配子集。
請參閱圖7a，圖7a是本發明實施例提供的一種計算第一匹配集合（第一匹配集合以初始匹配集合為例）中每條初始匹配的綜合一致性分數的流程示意圖。如圖7a所示，初始匹配集合（c 1，c 2，…c N），其中，c 1表示一條初始匹配的初始特徵向量，c 1可以是4維向量（該條初始匹配在圖像對的第一圖像的第一圖元點的二維座標和該條初始匹配在圖像對的第二圖像的第二圖元點的二維座標組成的4維向量），初始匹配集合包括N條初始匹配。初始匹配集合經過特徵升維模組升維後變為（z 1，z 2，…z N），z 1表示一條初始匹配的高維特徵向量，z 1可以是128維的特徵向量。動態圖構建模組將每條初始匹配的高維特徵向量以及通過K近鄰演算法確定的該條初始匹配相關度最高的k條匹配進行構圖，每條匹配z i可以通過[z i，Δz i]進行升維，其中Δz i=（z i- z i j），1≤j≤k。z i j為與匹配z i相關的K條匹配中的任一條。經過動態構圖後，每條匹配的特徵向量為k×256維。特徵降維模組可以將每條匹配從k×256維降至128維，局部一致性分數計算模組可以計算每條匹配的局部一致性分數。全域一致性學習模組輸出每條匹配的綜合一致性分數。其中，特徵升維模組可以包括4個殘差模組（比如1個殘差模組用於升維，另外3個殘差模組用於用解決深度神經網路退化的問題），特徵降維模組可以通過1個MLP（用於降維，圖7a和圖7b中均未示出，MLP可以將k×256維降至k×128維）、環狀卷積（用於降維，比如，從k×128維降至128維）和4個殘差模組（4個殘差模組用於解決深度神經網路退化的問題）實現，局部一致性分數計算可以通過1個MLP實現。
請參閱圖7b，圖7b是本發明實施例提供的另一種計算第一匹配集合（第一匹配集合以初始匹配集合為例）中每條初始匹配的綜合一致性分數的流程示意圖。圖7b是在圖7a的基礎上進一步優化得到的。圖7b的局部一致性計算過程與圖7a類似，圖7b可以描述全域一致性計算過程。如圖7b所示，得到每條匹配的局部一致性分數後，將N×1轉置為1×N，將二者相乘，得到N×N的鄰接矩陣，完成全域動態構圖，鄰接矩陣中涵蓋了每條匹配與初始匹配集合中其他匹配之間的一致性，即包含了每條匹配的全域一致性資訊。本質上是利用一個共用參數的篩檢程式，通過計算中心圖元點以及相鄰圖元點的加權和來構成特徵圖，實現特徵空間的提取。圖像卷積網路可以將局部一致性模組學習的資訊調製到頻譜中，頻譜中的特徵篩檢程式使得傳播的特徵能夠反映全域動態圖的拉普拉斯運算元中的一致性。
本發明實施例中，僅考慮第一初始匹配的局部一致性資訊，也可以實現第一裁剪模組的篩選功能，無需考慮全域一致性資訊，對於全域一致性差別不大的圖像而已，可以節省匹配篩選所需的計算量，快速實現匹配篩選。
請參閱圖8，圖8是本發明實施例提供的另一種匹配篩選方法的流程示意圖。圖8是在圖2a的基礎上進一步優化得到的，如圖8所示，該匹配篩選方法可以包括如下步驟。
步驟801，電子設備獲取初始匹配集合，初始匹配集合來源於圖像對之間的初始匹配結果。
步驟802，電子設備通過至少一個裁剪模組從初始匹配集合中篩選出匹配子集，至少一個裁剪模組用於獲取初始匹配集合中每條初始匹配的一致性資訊，匹配子集中的正確匹配比例高於初始匹配集合中的正確匹配比例。
其中，匹配子集用於處理與圖像對相關的圖像任務。
其中，步驟801至步驟802可以參見圖2a所示的步驟201至步驟202，此處不再贅述。
步驟803，電子設備根據圖像對相關的圖像任務確定參數化變換模型所使用的約束關係，約束關係包括對極幾何約束或重投影誤差。
本發明實施例中，不同的圖像任務可能對應不同的約束關係。比如，若圖像任務是三維重建任務，則使用的約束關係為對極幾何約束（epipolar geometry constraint）；若圖像任務是直線擬合任務，則使用的約束關係為重投影誤差（reprojection error）。
其中，步驟803在步驟804之前執行，步驟803可以在步驟801或步驟802之前執行，也可以在步驟801或步驟802之後執行，也可以與步驟801或步驟802同時執行，本發明實施例不作限定。
步驟804，在參數化變換模型使用所述約束關係的情況下，電子設備利用匹配子集計算參數化變換模型的模型參數，參數化變換模型用於處理與圖像對相關的圖像任務。
步驟805，電子設備利用參數化變換模型對初始匹配集合進行預測，得到初始匹配集合中每條初始匹配的預測結果，預測結果包括正確匹配或錯誤匹配。
本發明實施例中，電子設備利用參數化變換模型對初始匹配集合進行預測，得到初始匹配集合中每條初始匹配的預測結果，包括： 電子設備利用參數化變換模型計算初始匹配集中每條匹配的對極距離（epipolar distance）或重投影誤差（reprojection error），然後根據每條匹配的對極距離或重投影誤差確定每條初始匹配的預測結果。
其中，若參數化變換模型的模型參數是在對極幾何約束下利用匹配子集計算得到的，模型參數可以是本質矩陣（essential matrix）。電子設備利用參數化變換模型計算初始匹配集中每條匹配的對極距離，然後根據每條匹配的對極距離確定每條初始匹配的預測結果。在本發明一些實施例中，可以根據每條匹配的對極距離，將對極距離小於第三閾值的匹配預測為正確匹配，將對極距離大於第三閾值的匹配預測為錯誤匹配。
其中，若參數化變換模型的模型參數是在重投影誤差的約束下利用匹配子集計算得到的，電子設備利用參數化變換模型計算初始匹配集中每條匹配的重投影誤差，然後根據每條匹配的重投影誤差確定每條初始匹配的預測結果。在本發明一些實施例中，可以根據每條匹配的重投影誤差，將重投影誤差小於第四閾值的匹配預測為正確匹配，將重投影誤差大於第四閾值的匹配預測為錯誤匹配。
本發明實施例中，可以在對參數化變換模型的模型參數進行計算之前，選擇與圖像任務對應的約束關係，從而通過計算好的參數化變換模型更好的完成後續的圖像任務。
下面結合圖9來呈現採用本發明實施例的CLNet方法與採用PointCN方法在直線擬合任務上的效果。採用PointCN方法，對初始匹配集合直接進行直線擬合；本發明實施例的方法，首先通過裁剪模組從初始匹配集合中篩選出匹配子集，然後根據匹配子集進行直線擬合，由於本發明實施例的方法的匹配子集篩除了大部分的錯誤匹配，直線擬合受到錯誤匹配的影響很小，從而提高直線擬合的可靠性。圖9中提供了兩種初始匹配集合（第一種情況下的初始匹配集合和第二種情況下的初始匹配集合，兩種情況下的初始匹配集合的分佈不同），兩種初始匹配集合均來自真實場景中隨機分佈的匹配，對於給定的直線擬合任務，它需要模型擬合給定的一條直線，從圖9可以看出，採用PointCN方法是不太可靠的，在第二種情況下擬合失敗，而採用本發明實施例的方法在兩種情況下都擬合成功。
本發明實施例中，裁剪模組可以基於由局部區域到全域局域學習的一致性對初始匹配集合進行多次裁剪，獲得置信度較高的匹配子集。
下面結合圖10來呈現採用本發明實施例的CLNet方法與採用PointCN方法、OANet方法、PointACN方法在直線擬合任務上的L2距離的對比圖。圖10的縱坐標是L2距離誤差，橫坐標是測試資料集的離群率（錯誤匹配所占的比例）。從圖10可以看出，測試資料集的離群率在50％到90％之間變化時，本發明實施例的方法（CLNet）在所有五個雜訊級別上都有很好的概括，並且在最困難的情況（即90％的離群率）取得了顯著的優勢。圖10的評估指標是預測的直線參數與真實直線之間的L2距離，L2距離越小，預測的準確性越高。
在本發明一些實施例中，圖像任務包括直線擬合任務、寬基線圖像匹配任務、圖像定位任務、圖像拼接任務、三維重建任務、相機姿態估計任務中的任一種。
本發明實施例中，通過匹配篩選方法對包含大量錯誤匹配的初始匹配集合進行篩選，可以獲得高精度的特徵匹配結果，用於直線擬合任務和寬基線圖像匹配任務；利用匹配篩選方法的篩選結果可以計算圖像間的參數化變換模型，用於圖像拼接、三維重建任務和相機姿態估計；利用匹配篩選方法篩選獲得的特徵匹配數量作為測度進行圖像檢索，對靶心圖表像進行定位。
在本發明一些實施例中，匹配篩選方法可以應用於VIPER平臺產品中。
上述主要從方法側執行過程的角度對本發明實施例的方案進行了介紹。可以理解的是，電子設備為了實現上述功能，其包含了執行各個功能相應的硬體結構和/或軟體模組。本領域技術人員應該很容易意識到，結合本文中所提供的實施例描述的各示例的單元及演算法步驟，本發明能夠以硬體或硬體和電腦軟體的結合形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
本發明實施例可以根據上述方法示例對電子設備進行功能單元的劃分，例如，可以對應各個功能劃分各個功能單元，也可以將兩個或兩個以上的功能集成在一個處理單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。需要說明的是，本發明實施例中對單元的劃分是示意性的，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
與上述一致的，請參閱圖11，圖11為本發明實施例提供的一種匹配篩選裝置的結構示意圖，該匹配篩選裝置1100應用於電子設備，該匹配篩選裝置1100可以包括獲取單元1101和篩選單元1102，其中： 獲取單元1101，配置為獲取初始匹配集合，所述初始匹配集合來源於圖像對之間的初始匹配結果； 篩選單元1102，配置為通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集，所述匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例，所述至少一個裁剪模組用於獲取所述初始匹配集合中每條初始匹配的一致性資訊； 其中，所述匹配子集用於處理與所述圖像對相關的圖像任務。
在本發明一些實施例中，該匹配篩選裝置1100還可以包括預測單元1103； 預測單元1103，配置為在篩選單元1102通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集之後，利用所述參數化變換模型對所述初始匹配集合進行預測，得到所述初始匹配集合中每條初始匹配的預測結果，所述預測結果包括正確匹配或錯誤匹配。
在本發明一些實施例中，篩選單元1102配置為通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集，包括： 通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集； 在所述至少一個裁剪模組包括一個裁剪模組的情況下，所述第一匹配集合為所述初始匹配集合； 在所述至少一個裁剪模組包括至少兩個裁剪模組的情況下，所述第一匹配集合是通過所述第一裁剪模組的上一個裁剪模組篩選得到的。
在本發明一些實施例中，篩選單元1102配置為通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集，包括：通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊或全域一致性資訊，根據所述第一初始匹配的局部一致性資訊或全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集；所述第一初始匹配為所述第一匹配集合中的任意一條。
在本發明一些實施例中，篩選單元1102配置為通過第一裁剪模組對第一匹配集合進行篩選，得到匹配子集，包括：通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊和全域一致性資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集；所述第一初始匹配為所述第一匹配集合中的任意一條。
在本發明一些實施例中，所述第一裁剪模組包括第一局部一致性學習模組、第一全域一致性學習模組和第一裁剪子模組，所述特徵匹配一致性資訊包括局部一致性分數和全域一致性分數中的至少一項；所述篩選單元1102配置為通過所述第一裁剪模組確定第一初始匹配的局部一致性資訊和全域一致性資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊確定所述第一初始匹配是否為被歸入所述匹配子集，包括： 通過所述第一局部一致性學習模組構建針對第一初始匹配的第一局部動態圖，計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數；所述第一局部動態圖包含所述第一初始匹配所在的節點以及與所述第一初始匹配所在的節點相關的K個相關節點；所述K個相關節點是利用K近鄰演算法基於所述第一初始匹配所在的節點得到的； 通過所述第一全域一致性學習模組構建第一全域動態圖，根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數；所述第一全域動態圖包含所有初始匹配所在的節點； 利用所述第一裁剪子模組根據所述第一初始匹配的綜合一致性分數確定所述第一初始匹配是否為被歸入所述匹配子集。
在本發明一些實施例中，所述第一局部一致性學習模組包括第一特徵升維模組、第一動態圖構建模組、第一特徵降維模組和第一局部一致性分數計算模組； 所述篩選單元1102配置為通過所述第一局部一致性學習模組構建針對第一初始匹配的第一局部動態圖，計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數，包括： 通過所述第一特徵升維模組對所述第一初始匹配的初始特徵向量進行升維處理，得到所述第一初始匹配的高維特徵向量； 利用所述第一局部動態圖構建模組通過K近鄰演算法確定所述第一匹配集合中與所述第一初始匹配的高維特徵向量的相關度（歐氏距離）排名靠前的K條相關匹配，基於所述第一初始匹配和所述K條相關匹配構建針對所述第一初始匹配的第一局部動態圖，得到所述第一初始匹配的超高維特徵向量；所述第一初始匹配的超高維特徵向量包括所述第一初始匹配的高維特徵向量以及所述第一初始匹配與所述K條相關匹配之間的相關度向量的組合； 利用所述第一特徵降維模組對所述第一初始匹配的超高維特徵向量進行降維處理，得到第一初始匹配的低維特徵向量； 通過所述第一局部一致性分數計算模組基於所述第一初始匹配的低維特徵向量計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數。
在本發明一些實施例中，所述第一特徵降維模組包括第一環狀卷積模組和第二環狀卷積模組；所述篩選單元1102配置為利用所述第一特徵降維模組對所述第一初始匹配的超高維特徵向量進行降維處理，得到第一初始匹配的低維特徵向量，包括： 通過所述第一環狀卷積模組對所述第一初始匹配的超高維特徵向量按照相關度進行分組，對每組特徵向量進行第一次特徵聚集處理，得到初步聚集的特徵向量； 通過所述第二環狀卷積模組對所述初步聚集的特徵向量進行第二次特徵聚集處理，得到所述第一初始匹配的低維特徵向量。
在本發明一些實施例中，所述篩選單元1102配置為根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數，包括： 計算所述第一初始匹配在所述第一全域動態圖的全域一致性分數； 根據所述局部一致性分數和所述全域一致性分數確定所述第一初始匹配的綜合一致性分數。
在本發明一些實施例中，所述篩選單元1102配置為通過所述第一全域一致性學習模組構建第一全域動態圖，包括： 通過所述第一全域一致性學習模組根據所述第一匹配集合中每條初始匹配在對應的局部動態圖的局部一致性分數構建第一全域動態圖； 所述根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數，包括： 根據所述第一全域動態圖和所述第一初始匹配的低維特徵向量計算所述第一初始匹配的綜合一致性分數。
在本發明一些實施例中，所述第一全域動態圖通過鄰接矩陣表示，所述篩選單元1102配置為根據所述第一全域動態圖和所述第一初始匹配的低維特徵向量計算所述第一初始匹配的綜合一致性分數，包括： 基於所述第一初始匹配的低維特徵向量和所述鄰接矩陣，利用圖形卷積網路計算所述第一初始匹配的綜合低維特徵向量； 基於所述第一初始匹配的綜合低維特徵向量計算所述第一初始匹配的綜合一致性分數。
在本發明一些實施例中，所述篩選單元1102配置為利用所述第一裁剪子模組根據所述第一初始匹配的綜合一致性分數確定所述第一初始匹配是否為被歸入所述匹配子集，包括： 利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數是否大於第一閾值，若是，確定所述第一初始匹配歸入所述匹配子集； 或者，利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數在所述第一匹配集合中按照從大到小的排名，若所述第一初始匹配的排名大於第二閾值，確定所述第一初始匹配歸入所述匹配子集。
在本發明一些實施例中，該匹配篩選裝置1100還包括訓練單元1104； 所述訓練單元1104，配置為在所述篩選單元1102通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集之前，利用有監督資料集對裁剪模組進行訓練，得到訓練結果；通過自我調整溫度的二分類損失函數對所述訓練結果進行評估，按照最小化所述二分類損失函數的方法對所述裁剪模組的參數進行更新。
在本發明一些實施例中，該匹配篩選裝置1100還包括確定單元1105和計算單元1106； 所述確定單元1105，配置為在所述篩選單元1102通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集之前，根據所述圖像對相關的圖像任務確定所述參數化變換模型所使用的約束關係，所述約束關係包括對極幾何約束或重投影誤差； 所述計算單元1106，配置為在所述參數化變換模型使用所述約束關係的情況下，利用所述匹配子集計算所述參數化變換模型的模型參數。
在本發明一些實施例中，所述圖像任務包括直線擬合任務、寬基線圖像匹配任務、圖像定位任務、圖像拼接任務、三維重建任務、相機姿態估計任務中的任一種。
其中，本發明實施例中的獲取單元1101可以是電子設備中的通信模組，篩選單元1102、預測單元1103、訓練單元1104、確定單元1105和計算單元1106可以是電子設備中的處理器或晶片。
本發明實施例中，可以對初始匹配集合進行篩選，使得篩選出的匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例，可以提高參數化變換模型的模型參數的計算精度，進而提高參數化變換模型處理圖像任務的處理效果。
請參閱圖12，圖12是本發明實施例提供的一種電子設備的結構示意圖，如圖12所示，該電子設備1200包括處理器1201和記憶體1202，處理器1201、記憶體1202可以通過通信匯流排1203相互連接。通信匯流排1203可以是外設部件互連標準（Peripheral Component Interconnect，PCI）匯流排或延伸工業標準架構（Extended Industry Standard Architecture，EISA）匯流排等。通信匯流排1203可以分為位址匯流排、資料匯流排、控制匯流排等。為便於表示，圖12中僅用一條粗線表示，但並不表示僅有一根匯流排或一種類型的匯流排。記憶體1202配置為儲存電腦程式，電腦程式包括程式指令，處理器1201被配置為調用程式指令，上述程式包括用於執行圖1a、2a、3所示的方法。
處理器1201可以是通用中央處理器（Central Processing Unit，CPU）、微處理器、特定應用積體電路（Application-Specific Integrated Circuit，ASIC)或一個或多個用於控制以上方案程式執行的積體電路。
記憶體1202可以是唯讀記憶體（Read-Only Memory，ROM) 或可儲存靜態資訊和指令的其他類型的靜態存放裝置，隨機存取記憶體（Random Access Memory，RAM) 或者可儲存資訊和指令的其他類型的動態儲存裝置設備，也可以是電可擦可程式設計唯讀記憶體（Electrically Erasable Programmable Read-Only Memory，EEPROM）、唯讀光碟（Compact Disc Read-Only Memory，CD-ROM）或其他光碟儲存、光碟儲存（包括壓縮光碟、鐳射碟、光碟、數位通用光碟、藍光光碟等）、磁片儲存介質或者其他磁存放裝置、或者能夠用於攜帶或儲存具有指令或資料結構形式的期望的程式碼並能夠由電腦存取的任何其他介質，但不限於此。記憶體可以是獨立存在，通過匯流排與處理器相連接。記憶體也可以和處理器集成在一起。
此外，該電子設備1200還可以包括通信模組、天線等通用部件，在此不再詳述。
本發明實施例中，可以對初始匹配集合進行篩選，使得篩選出的匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例，可以提高參數化變換模型的模型參數的計算精度，進而提高參數化變換模型處理圖像任務的處理效果。
本發明實施例還提供一種電腦可讀儲存介質，其中，該電腦可讀儲存介質儲存配置為電子資料交換的電腦程式，該電腦程式使得電腦執行如上述方法實施例中記載的任何一種匹配篩選方法的部分或全部步驟。
本發明實施例還提供一種電腦程式產品，包括儲存了電腦程式的非暫態性電腦可讀儲存介質，電腦程式可操作來使電腦執行上述方法實施例中記載的任何一種匹配篩選方法的部分或全部步驟。
需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明並不受所描述的動作順序的限制，因為依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模組並不一定是本發明所必須的。
在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本發明所提供的幾個實施例中，應該理解到，所揭露的裝置，可通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在申請明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體程式模組的形式實現。
所述集成的單元如果以軟體程式模組的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取記憶體中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個記憶體中，包括若干指令用以使得一台電腦設備（可為個人電腦、伺服器或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的記憶體包括：U盤、ROM、RAM、移動硬碟、磁碟或者光碟等各種可以儲存程式碼的介質。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式可以儲存於一電腦可讀記憶體中，記憶體可以包括：快閃記憶體盤、唯讀記憶體、隨機存取器、磁片或光碟等。
以上對本發明實施例進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。
工業實用性 本發明實施例提供一種匹配篩選方法及電子設備和電腦可讀儲存介質，所述方法包括：獲取初始匹配集合，所述初始匹配集合來源於圖像對之間的初始匹配結果；通過至少一個裁剪模組從所述初始匹配集合中篩選出匹配子集，所述匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例所述至少一個裁剪模組用於獲取所述初始匹配集合中每條初始匹配的一致性資訊；其中，所述匹配子集用於處理與所述圖像對相關的圖像任務。本發明實施例可以提高參數化變換模型處理圖像任務的處理效果。
1100:匹配篩選裝置 1101:獲取單元 1102:篩選單元 1103:預測單元 1104:訓練單元 1105:確定單元 1106:計算單元 1200:電子設備 1201:處理器 1202:記憶體 1203:匯流排 101~102,201~203,301~303,801~805:步驟
為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。 圖1a是本發明實施例提供的一種匹配篩選方法的流程示意圖； 圖1b是本發明實施例提供的一種用於匹配篩選的一致性學習框架（Consensus Learning framework，CLNet）的結構示意圖； 圖2a是本發明實施例提供的另一種匹配篩選方法的流程示意圖； 圖2b是本發明實施例提供的另一種用於匹配篩選的CLNet的結構示意圖； 圖3是本發明實施例提供的一種第一裁剪模組對初始匹配集合進行篩選的流程示意圖； 圖4是本發明實施例提供的一種第一局部一致性學習模組的結構示意圖； 圖5是本發明實施例提供的一種第一特徵降維模組的結構示意圖； 圖6是本發明實施例提供的一種第一環狀卷積模組和第二環狀卷積模組進行特徵聚集的示意圖； 圖7a是本發明實施例提供的一種計算初始匹配集合中每條初始匹配的綜合一致性分數的流程示意圖； 圖7b是本發明實施例提供的另一種計算初始匹配集合中每條初始匹配的綜合一致性分數的流程示意圖； 圖8是本發明實施例提供的另一種匹配篩選方法的流程示意圖； 圖9是採用本發明實施例的CLNet方法與採用PointCN方法在直線擬合任務上的擬合效果示意圖； 圖10是採用本發明實施例的CLNet方法與採用PointCN方法、OANet方法、PointACN方法在直線擬合任務上的L2距離的對比圖； 圖11為本發明實施例提供的一種匹配篩選裝置的結構示意圖； 圖12是本發明實施例提供的一種電子設備的結構示意圖。
101~102:步驟

Claims (14)

  1. 一種匹配篩選方法，應用於電子設備中，包括：獲取初始匹配集合，所述初始匹配集合來源於圖像對之間的初始匹配結果；以及通過至少一個裁剪模組中的第一裁剪模組對第一匹配集合進行篩選，得到匹配子集；在所述至少一個裁剪模組包括一個裁剪模組的情況下，所述第一匹配集合為所述初始匹配集合；在所述至少一個裁剪模組包括至少兩個裁剪模組的情況下，所述第一匹配集合是通過所述第一裁剪模組的上一個裁剪模組從所述初始匹配集合中篩選得到的，且所述第一裁剪模組是所述至少兩個裁剪模組中的最後一個；所述匹配子集中的正確匹配比例高於所述初始匹配集合中的正確匹配比例；其中，所述匹配子集用於處理與所述圖像對相關的圖像任務；所述通過至少一個裁剪模組中的第一裁剪模組對第一匹配集合進行篩選，得到匹配子集，包括：通過所述第一裁剪模組，確定第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，確定所述第一初始匹配是否為被歸入所述匹配子集，得到所述匹配子集；所述第一初始匹配為所述第一匹配集合中的任意一條。
  2. 根據請求項1所述的方法，其中，所述通過 所述第一裁剪模組，確定第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，確定所述第一初始匹配是否為被歸入所述匹配子集，得到所述匹配子集之後，所述方法還包括：利用參數化變換模型對所述初始匹配集合進行預測，得到所述初始匹配集合中每條初始匹配的預測結果，所述預測結果包括正確匹配或錯誤匹配。
  3. 根據請求項2所述的方法，其中，所述第一裁剪模組包括第一局部一致性學習模組、第一全域一致性學習模組和第一裁剪子模組，特徵匹配一致性資訊包括局部一致性分數和全域一致性分數中的至少一項；所述通過所述第一裁剪模組，確定第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，確定所述第一初始匹配是否為被歸入所述匹配子集，包括：通過所述第一局部一致性學習模組構建針對第一初始匹配的第一局部動態圖，計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數；所述第一局部動態圖包含所述第一初始匹配所在的節點以及與所述第一初始匹配所在的節點相關的K個相關節點；所述K個相關節點是利用K近鄰演算法基於所述第一初始匹配所在的節點得到的；通過所述第一全域一致性學習模組構建第一全域動態圖， 根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數；所述第一全域動態圖包含所有初始匹配所在的節點；利用所述第一裁剪子模組根據所述第一初始匹配的綜合一致性分數確定所述第一初始匹配是否為被歸入所述匹配子集。
  4. 根據請求項3所述的方法，其中，所述第一局部一致性學習模組包括第一特徵升維模組、第一動態圖構建模組、第一特徵降維模組和第一局部一致性分數計算模組；所述通過所述第一局部一致性學習模組構建針對第一初始匹配的第一局部動態圖，計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數，包括：通過所述第一特徵升維模組對所述第一初始匹配的初始特徵向量進行升維處理，得到所述第一初始匹配的高維特徵向量；利用所述第一動態圖構建模組通過K近鄰演算法確定所述第一匹配集合中與所述第一初始匹配的高維特徵向量的相關度排名靠前的K條相關匹配，基於所述第一初始匹配和所述K條相關匹配構建針對所述第一初始匹配的第一局部動態圖，得到所述第一初始匹配的超高維特徵向量；所述第一初始匹配的超高維特徵向量包括所述第一初始匹配的高維特徵向量以及所述第一初始匹配與所述K條相關匹 配之間的相關度向量的組合；利用所述第一特徵降維模組對所述第一初始匹配的超高維特徵向量進行降維處理，得到第一初始匹配的低維特徵向量；通過所述第一局部一致性分數計算模組基於所述第一初始匹配的低維特徵向量計算所述第一初始匹配在所述第一局部動態圖的局部一致性分數。
  5. 根據請求項4所述的方法，其中，所述第一特徵降維模組包括第一環狀卷積模組和第二環狀卷積模組；所述利用所述第一特徵降維模組對所述第一初始匹配的超高維特徵向量進行降維處理，得到第一初始匹配的低維特徵向量，包括：通過所述第一環狀卷積模組對所述第一初始匹配的超高維特徵向量按照相關度進行分組，對每組特徵向量進行第一次特徵聚集處理，得到初步聚集的特徵向量；通過所述第二環狀卷積模組對所述初步聚集的特徵向量進行第二次特徵聚集處理，得到所述第一初始匹配的低維特徵向量。
  6. 根據請求項3所述的方法，其中，所述根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數，包括：計算所述第一初始匹配在所述第一全域動態圖的全域一致性分數； 根據所述局部一致性分數和所述全域一致性分數確定所述第一初始匹配的綜合一致性分數。
  7. 根據請求項4所述的方法，其中，所述通過所述第一全域一致性學習模組構建第一全域動態圖，包括：通過所述第一全域一致性學習模組根據所述第一匹配集合中每條初始匹配在對應的局部動態圖的局部一致性分數構建第一全域動態圖；所述根據所述第一初始匹配在所述第一局部動態圖的局部一致性分數和所述第一全域動態圖確定所述第一初始匹配的綜合一致性分數，包括：根據所述第一全域動態圖和所述第一初始匹配的低維特徵向量計算所述第一初始匹配的綜合一致性分數。
  8. 根據請求項7所述的方法，其中，所述第一全域動態圖通過鄰接矩陣表示，所述根據所述第一全域動態圖和所述第一初始匹配的低維特徵向量計算所述第一初始匹配的綜合一致性分數，包括：基於所述第一初始匹配的低維特徵向量和所述鄰接矩陣，利用圖形卷積網路計算所述第一初始匹配的綜合低維特徵向量；基於所述第一初始匹配的綜合低維特徵向量計算所述第一初始匹配的綜合一致性分數。
  9. 根據請求項3所述的方法，其中，所述利用所述第一裁剪子模組根據所述第一初始匹配的綜合一致性 分數確定所述第一初始匹配是否為被歸入所述匹配子集，包括：利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數是否大於第一閾值，若是，確定所述第一初始匹配歸入所述匹配子集；或者，利用所述第一裁剪子模組確定所述第一初始匹配的綜合一致性分數在所述第一匹配集合中按照從大到小的排名，若所述第一初始匹配的排名大於第二閾值，確定所述第一初始匹配歸入所述匹配子集。
  10. 根據請求項1或2所述的方法，其中，所述通過所述第一裁剪模組，確定第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，確定所述第一初始匹配是否為被歸入所述匹配子集，得到所述匹配子集之前，所述方法還包括：利用有監督資料集對裁剪模組進行訓練，得到訓練結果；通過自我調整溫度的二分類損失函數對所述訓練結果進行評估，按照最小化所述二分類損失函數的方法對所述裁剪模組的參數進行更新。
  11. 根據請求項1或2所述的方法，其中，所述通過所述第一裁剪模組，確定第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一 種資訊，確定所述第一初始匹配是否為被歸入所述匹配子集，得到所述匹配子集之前，所述方法還包括：根據所述圖像對相關的圖像任務確定參數化變換模型所使用的約束關係，所述約束關係包括對極幾何約束或重投影誤差；所述通過所述第一裁剪模組，確定第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，根據所述第一初始匹配的局部一致性資訊和全域一致性資訊中的至少一種資訊，確定所述第一初始匹配是否為被歸入所述匹配子集，得到所述匹配子集之後，所述方法還包括：在所述參數化變換模型使用所述約束關係的情況下，利用所述匹配子集計算所述參數化變換模型的模型參數。
  12. 根據請求項1或2所述的方法，其中，所述圖像任務包括直線擬合任務、寬基線圖像匹配任務、圖像定位任務、圖像拼接任務、三維重建任務、相機姿態估計任務中的任一種。
  13. 一種電子設備，包括處理器和記憶體，所述記憶體配置為儲存電腦程式，所述電腦程式包括程式指令，所述處理器被配置為調用所述程式指令，執行如請求項1至12任一項所述的方法。
  14. 一種電腦可讀儲存介質，所述電腦可讀儲存介質儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行如請求項1至12任一項所述的方法。
TW110139723A 2020-12-31 2021-10-26 匹配篩選方法及電子設備和電腦可讀儲存介質 TWI776718B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011641201.1 2020-12-31
CN202011641201.1A CN112712123B (zh) 2020-12-31 2020-12-31 匹配筛选方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
TW202228018A TW202228018A (zh) 2022-07-16
TWI776718B true TWI776718B (zh) 2022-09-01

Family

ID=75547994

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110139723A TWI776718B (zh) 2020-12-31 2021-10-26 匹配篩選方法及電子設備和電腦可讀儲存介質

Country Status (3)

Country Link
CN (1) CN112712123B (zh)
TW (1) TWI776718B (zh)
WO (1) WO2022142084A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712123B (zh) * 2020-12-31 2022-02-22 上海商汤科技开发有限公司 匹配筛选方法、装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544732A (zh) * 2013-09-29 2014-01-29 北京空间飞行器总体设计部 一种用于月球车的三维立体重建方法
US9245204B2 (en) * 2012-01-02 2016-01-26 Telecom Italia S.P.A. Method and system for comparing images
CN110728296A (zh) * 2019-09-03 2020-01-24 华东师范大学 一种加速特征点匹配的两步随机抽样一致性方法及系统
CN112102475A (zh) * 2020-09-04 2020-12-18 西北工业大学 一种基于图像序列轨迹跟踪的空间目标三维稀疏重构方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712123B (zh) * 2020-12-31 2022-02-22 上海商汤科技开发有限公司 匹配筛选方法、装置、电子设备和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245204B2 (en) * 2012-01-02 2016-01-26 Telecom Italia S.P.A. Method and system for comparing images
CN103544732A (zh) * 2013-09-29 2014-01-29 北京空间飞行器总体设计部 一种用于月球车的三维立体重建方法
CN110728296A (zh) * 2019-09-03 2020-01-24 华东师范大学 一种加速特征点匹配的两步随机抽样一致性方法及系统
CN112102475A (zh) * 2020-09-04 2020-12-18 西北工业大学 一种基于图像序列轨迹跟踪的空间目标三维稀疏重构方法

Also Published As

Publication number Publication date
CN112712123B (zh) 2022-02-22
TW202228018A (zh) 2022-07-16
CN112712123A (zh) 2021-04-27
WO2022142084A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
US20210012093A1 (en) Method and apparatus for generating face rotation image
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN111627065A (zh) 一种视觉定位方法及装置、存储介质
CN110516803A (zh) 将传统计算机视觉算法实现为神经网络
CN112257808B (zh) 用于零样本分类的集成协同训练方法、装置及终端设备
CN111274887B (zh) 基于机器学习的农作物识别方法、装置、存储介质及终端
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
WO2023185925A1 (zh) 一种数据处理方法及相关装置
TWI776718B (zh) 匹配篩選方法及電子設備和電腦可讀儲存介質
CN114586078A (zh) 手部姿态估计方法、装置、设备以及计算机存储介质
WO2022100607A1 (zh) 一种神经网络结构确定方法及其装置
CN112364916A (zh) 基于迁移学习的图像分类方法、相关设备及存储介质
Lee et al. Imat: The iterative medial axis transform
CN113298931B (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
TWM561277U (zh) 用於金融商品價格圖像處理之運算設備
CN111626098A (zh) 模型的参数值更新方法、装置、设备及介质
CN111008992A (zh) 目标跟踪方法、装置和系统及存储介质
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN109857816A (zh) 测试样本的选取方法及装置、存储介质、电子设备
CN113283469A (zh) 基于视图的三维模型检索的图嵌入无监督特征学习方法
CN112559640A (zh) 图谱表征系统的训练方法及装置
Alwaely et al. Ghosm: Graph-based hybrid outline and skeleton modelling for shape recognition
CN114331827B (zh) 风格迁移方法、装置、设备和存储介质
CN115187579B (zh) 一种图像类别判定方法、装置及电子设备

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent