TWI780563B - 圖像定位模型獲取方法、終端和電腦可讀儲存介質 - Google Patents

Abstract

本發明實施例提供一種圖像定位模型獲取方法、終端和電腦可讀儲存介質，其中，所述方法包括：根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，K為大於1的整數；根據所述第一相似度向量，確定第一目標損失函數；根據所述第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，所述初始模型為所述第一圖像定位模型初始化後得到的模型。

Description

圖像定位模型獲取方法、終端和電腦可讀儲存介質

本發明關於資料處理技術領域，尤其關於一種圖像定位模型獲取方法、終端和電腦可讀儲存介質。

圖像定位技術旨在通過在大規模資料庫中匹配與目標圖像最相似（近）的參考圖像，並將其所標注的GPS（Global Positioning System，全球定位系統）作為目標圖像的地理位置。圖像定位技術目前主要通過三種方法進行實現，包括圖像檢索、3D（three dimensional，三維）結構匹配、按地理位置進行分類。

目前在進行模型訓練的情況下為了避免被錯誤的正樣本（指代GPS相近但畫面沒有重疊的圖像樣本對）誤導，只選用排行第一的最佳匹配樣本作為正樣本進行訓練，也就是在訓練中只使用最簡單的樣本進行匹配，其中，最佳匹配樣本可以是在特徵空間中距離最近的樣本。然而，只通過學習最佳匹配的樣本無法獲得對不同視角、光線等條件魯棒性佳的網路，導致了訓練後的網路模型在進行圖像定位的情況下的準確性較低。

本發明實施例提出了一種圖像定位模型獲取方法、終端和電腦可讀儲存介質。

本發明實施例提供了一種圖像定位模型獲取方法，該方法包括：根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，K為大於1的整數；根據第一相似度向量，確定第一目標損失函數；根據第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，初始模型為第一圖像定位模型初始化後得到的模型。

本示例中，通過第一圖像定位模型確定目標圖像與K個第一樣本定位圖像之間的相似度，得到第一相似度向量，根據該相似度向量確定出第一目標損失函數，根據第一目標損失函數對初始模型進行調整，以得到第二圖像定位模型，從而可以根據第一圖像定位模型、目標圖像和K個第一樣本定位圖像來確定的第一目標損失函數，對初始模型進行相似度監督學習以得到第二圖像定位模型，從而可以提升第二圖像定位模型在進行圖像定位的情況下的準確性。

在一個可能的實現方式中，根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，包括：將K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分，以得到與每個第一樣本定位圖像對應的N個子第一樣本定位圖像；根據第一圖像定位模型確定每個第一樣本定位圖像對應的N個子第一樣本定位圖像對應的特徵值，以得到與每個第一樣本定位圖像對應的特徵向量；根據第一圖像定位模型確定目標圖像的特徵值；根據每個第一樣本定位圖像對應的特徵向量和目標圖像的特徵值，確定第一相似度向量。

本示例中，通過將K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分得到N個子第一樣本定位圖像，根據該K*N個子第一樣本定位圖像的特徵值和目標圖像的特徵值，確定第一相似度向量，從而可以細細微性的確定第一相似度向量，提升了第一相似度向量對樣本進行反映的準確性，進而提升了確定第二圖像定位模型的準確性。

在一個可能的實現方式中，根據第一相似度向量，確定第一目標損失函數，包括：根據第一相似度向量，確定出第一子損失函數；根據與目標圖像對應的困難負樣本圖像，確定第二子損失函數；根據第一子損失函數和第二子損失函數，確定第一目標損失函數。

本示例中，可以根據第一相似度向量確定的第一子損失函數，以及目標圖像對應的困難負樣本圖像確定的第二子損失函數確定出第一目標損失函數，從而可以根據準確的第一相似度向量以及困難負樣本圖像確定的第二子損失函數確定出第一目標損失函數，從而提升了第一目標損失函數確定的準確性。

在一個可能的實現方式中，根據第一相似度向量，確定出第一子損失函數，包括：根據初始模型獲取目標圖像與K個第一樣本定位圖像之間的相似度，以得到第二相似度向量；根據第一相似度向量和第二相似度向量，確定第一子損失函數。

本示例中，可以通過初始模型確定的第二相似度向量和第一相似度向量確定第一子損失函數，從而可以通過第一圖像定位模型確定的相似度向量對第二相似度向量進行監督，提升了第一子損失函數確定的準確性，由於第一相似度向量對第二相似度向量進行監督，從而也可以提升第二圖像定位模型在進行圖像定位的準確性。

在一個可能的實現方式中，根據第一子損失函數和第二子損失函數，確定第一目標損失函數，包括：根據與第一子損失函數和第二子損失函數對應的損失加權因數，對第一子損失函數和第二子損失函數進行運算，以得到第一目標損失函數。

在一個可能的實現方式中，該方法還包括：接收待標記圖像；獲取與待標記圖像對應的K個第二樣本定位圖像；將K個第二樣本定位圖像中的每個第二樣本定位圖像進行拆分，以得到與每個第二樣本定位圖像對應的N個子第二樣本定位圖像；通過第二圖像定位模型，確定待標記圖像與每個第二樣本定位圖像對應的N個子第二樣本定位圖像對應的相似度標籤。

本示例中，通過第二圖像定位模型確定待標記圖像與每個第二樣本定位圖像對應的N個子第二樣本定位圖像對應的相似度標籤，相對於相關技術方案中通過單一的樣本對（最優樣本對）訓練得到的圖像定位模型確定相似度標籤，能夠提升獲取到的相似度標籤的準確性。

在一個可能的實現方式中，第一圖像定位模型包括基礎圖像定位模型，基礎圖像定位模型為採用目標圖像與K個第一樣本定位圖像中相似度最高的圖像作為樣本對進行訓練得到的模型。

在一個可能的實現方式中，方法還包括：根據第二圖像定位模型、目標圖像與K個第一樣本定位圖像，確定第二目標損失函數；根據第二目標損失函數對初始模型進行調整，得到第三圖像定位模型；採用第三圖像定位模型替換第一圖像定位模型。

本發明實施例提供了一種圖像定位方法，該方法包括：接收待檢測圖像；根據如上述任一項的第二圖像定位模型對待檢測圖像進行定位，得到與待檢測圖像對應的定位資訊。

本發明實施例提供了一種圖像定位模型獲取裝置，該裝置包括：第一確定單元，配置為根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，K為大於1的整數；第二確定單元，配置為根據第一相似度向量，確定第一目標損失函數；調整單元，配置為根據第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，初始模型為第一圖像定位模型初始化後得到的模型。

本發明實施例提供了一種圖像定位裝置，該裝置包括：接收單元，配置為接收待檢測圖像；定位單元，配置為根據如上述任一項的第二圖像定位模型對待檢測圖像進行定位，得到與待檢測圖像對應的定位資訊。

本發明實施例提供一種終端，包括處理器、輸入裝置、輸出裝置和記憶體，處理器、輸入裝置、輸出裝置和記憶體相互連接，其中，記憶體配置為儲存電腦程式，電腦程式包括程式指令，處理器被配置為調用程式指令，執行如本發明實施例圖像定位模型獲取方法或圖像定位方法中的步驟指令。

本發明實施例提供了一種電腦可讀儲存介質，其中，上述電腦可讀儲存介質儲存配置為電子資料交換的電腦程式，其中，上述電腦程式使得電腦執行如本發明實施例圖像定位模型獲取方法或圖像定位方法中所描述的部分或全部步驟。

本發明實施例提供了一種電腦程式產品，其中，上述電腦程式產品包括儲存了電腦程式的非暫態性電腦可讀儲存介質，上述電腦程式可操作來使電腦執行如本發明實施例圖像定位模型獲取方法或圖像定位方法中所描述的部分或全部步驟。該電腦程式產品可以為一個軟體安裝包。

應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明實施例。

根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同物件，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。

在本發明中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本發明所描述的實施例可以與其它實施例相結合。

本發明實施例所描述電子設備可以包括智慧手機（如Android手機、iOS手機、Windows Phone手機等）、平板電腦、掌上型電腦、行車記錄儀、交通指揮平臺、伺服器、筆記型電腦、移動互聯網設備（MID，Mobile Internet Devices）或穿戴式設備（如智慧手錶、藍牙耳機）等，上述僅是舉例，而非窮舉，包含但不限於上述電子設備，電子設備還可以為伺服器，或者，視頻矩陣，在此不做限定，電子設備還可以為物聯網設備。本發明實施例中終端與電子設備可以是相同的設備。

為了更好的理解本發明實施例提供的一種圖像定位模型獲取方法，下面首先對通過圖像定位模型獲取方法確定的圖像定位模型的應用場景進行簡要的介紹。如圖1a所示，圖像定位模型101a可以應用於電子設備102a中，使用者在需要進行位置定位的情況下，例如，使用者需要告知其他人自己當前所在的位置，使用者可以通過電子設備102a採集當前所在位置附近的圖像，例如，使用者在xx大廈旁邊，當前所在位置附近的圖像可以是該xx大廈附近的區域的圖像，得到待檢測圖像103a。電子設備通過圖像定位模型101a，對待檢測圖像103a進行定位分析和計算，得到與該待檢測圖像對應的定位資訊104a，定位資訊為該待檢測圖像所反映的區域的位置資訊（xx大廈），例如，位置資訊可以是待檢測圖像103a中標誌性建築的位置資訊等，標誌性建築可以是使用者自己選擇的建築物，也可以是通過圖像定位模型101a確定出的建築物等，當然也可以是其它的標誌的位置資訊，此處僅為舉例說明。如此可以通過圖像定位模型101a來確定出用戶當前所在的位置，給用戶帶來較高的便捷性。由於相關技術的圖像定位模型在對圖像進行定位的情況下其定位的準確性不高，其在進行模型訓練的情況下，通常採用單一的樣本對，對初始模型進行訓練，因此需要對圖像定位模型進行優化訓練，從而來提升圖像定位模型對圖像進行定位的準確性。下面實施例中主要闡述了對初始模型進行調整以提升調整後得到的圖像定位模型進行圖像定位的準確性。

如圖1b所示，圖像定位模型獲取方法應用於電子設備，該方法包括步驟101b至103b，如下。

101b、電子設備根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，K為大於1的整數。

其中，K個第一樣本定位圖像可以是根據目標圖像的GPS（全球定位系統）定位資訊確定的樣本圖像，例如，可以是目標圖像GPS定位資訊指示的位置處的預設範圍內的圖像，例如可以為在該指示的位置處的10米範圍內的地圖圖像等。目標圖像可以通過手機、電腦等移動終端進行採集得到，該目標圖像可以用於確定樣本對，以通過樣本對對初始模型進行調整，即目標圖像與K個第一樣本定位圖像為對初始模型進行調整的樣本對。預設範圍可以是通過經驗值或歷史資料設定。

K個第一樣本定位圖像與目標圖像之間的相似度標籤可以是0-1之間的值，也可以包括0或1。如圖2a所示，圖2a中示出了一種可能的目標圖像和第一樣本定位圖像，其中，第一樣本定位圖像與目標圖像之間的相似度標籤包括有0.45、0.35等。

第一相似度向量中元素可以包括目標圖像與第一樣本定位圖像之間的相似度和目標圖像與第一樣本定位圖像進行拆分後的子圖像之間的相似度。對第一樣本定位圖像進行拆分，可以得到多個子第一樣本定位圖像，在進行圖像拆分的情況下，可以將圖像拆分為面積相同的多個子第一樣本定位圖像，也可以拆分為面積不同的多個子第一樣本定位圖像等。

電子設備可以用於對初始模型進行調整，也可以用於對初始模型進行調整以及採用圖像定位模型進行圖像定位。

102b、電子設備根據第一相似度向量，確定第一目標損失函數。

可以根據第一相似度向量確定出對應的損失函數，並至少通過該對應的損失函數來確定出第一目標損失函數。

103b、電子設備根據第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，初始模型為第一圖像定位模型初始化後得到的模型。

通過包括目標圖像以及K個第一樣本定位圖像的樣本集和第一目標損失函數對初始模型進行訓練，以得到第二圖像定位模型。初始模型為第一圖像定位模型初始化後得到的模型，可以理解為，將第一圖像定位模型中的模型參數進行初始化，以得到初始模型。第二圖像定位模型為通過包括目標圖像以及K個第一樣本定位圖像的樣本集對初始模型進行訓練得到的模型。

本示例中，通過第一圖像定位模型確定目標圖像與K個第一樣本定位圖像之間的相似度，得到第一相似度向量，根據該相似度向量確定出第一目標損失函數，根據第一目標損失函數對初始模型進行調整，以得到第二圖像定位模型，從而可以根據第一圖像定位模型、目標圖像和K個第一樣本定位圖像來確定的第一目標損失函數，對初始模型進行相似度監督學習以得到第二圖像定位模型，從而可以提升第二圖像定位模型在進行圖像定位的準確性。

在一個可能的實施例中，一種可能的根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量的方法包括步驟A1至A4，如下：A1、將K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分，以得到與每個第一樣本定位圖像對應的N個子第一樣本定位圖像；A2、根據第一圖像定位模型確定每個第一樣本定位圖像對應的N個子第一樣本定位圖像對應的特徵值，以得到與每個第一樣本定位圖像對應的特徵向量；A3、根據第一圖像定位模型確定目標圖像的特徵值；A4、根據每個第一樣本定位圖像對應的特徵向量和目標圖像的特徵值，確定第一相似度向量。

將第一樣本定位圖像進行拆分的情況下，可以將圖像拆分為面積相同的多個子第一樣本定位圖像，也可以拆分為面積不同的多個子第一樣本定位圖像等。一種可能的拆分方式可以為：將第一樣本定位圖像拆分為面積相等的兩個子第一樣本定位圖像，以及將第一樣本定位圖像拆分為面積相等的4個子第一樣本定位圖像。可以參見圖2b所示，可以將第一樣本定位圖像拆分為上下兩個子第一樣本定位圖像，也可以將第一樣本定位圖像拆分為左右兩個子第一樣本定位圖像；如圖2c所示，可以將第一樣本定位圖像拆分為4個面積相等的子第一樣本定位圖像。

N個子第一樣本圖像可以包括多種不同的拆分方式得到的子第一樣本圖像，例如可以是如圖2b和圖2c的拆分方式得到的所有子第一樣本定位圖像，此時N=8，當然N還可以是其它任意的數值，此處僅為舉例說明，不作限定。

在確定特徵向量以及目標圖像的特徵值的情況下，可以通過第一圖像定位模型進行計算得到。每個第一樣本定位圖像對應的特徵向量可以表示為：

，其中，

為第i個第一樣本定位圖像的第一個子第一樣本定位圖像的特徵值。

可以通過交叉熵的計算方式來獲取第一相似度向量，可以為通過如下公式（1）所示的方法來確定第一相似度向量：

（1）； 其中，

為第一相似度向量，

為歸一化運算，

為超參（溫度係數），

為目標圖像的特徵值，

為第一樣本定位圖像p1的特徵值，

為第一樣本圖像p1的第一個子第一樣本定位圖像的特徵值，

為第一樣本定位圖像pk的特徵值，

為第一樣本圖像pk的第八個子第一樣本定位圖像的特徵值。

本示例中，通過將K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分得到N個子第一樣本定位圖像，根據該K*N個子第一樣本定位圖像的特徵值和目標圖像的特徵值，確定第一相似度向量，從而可以細細微性的確定第一相似度向量，提升了第一相似度向量對樣本進行反映的準確性，進而提升了確定第二圖像定位模型的準確性。

在一個可能的實施例中，一種可能的根據第一相似度向量，確定第一目標損失函數的方法包括步驟B1至B3，如下：B1、根據第一相似度向量，確定出第一子損失函數；B2、根據與目標圖像對應的困難負樣本圖像，確定第二子損失函數；B3、根據第一子損失函數和第二子損失函數，確定第一目標損失函數。

其中，可以根據第一圖像定位模型確定的目標圖像與第一樣本定位圖像之間的相似度向量，即第一相似度向量來確定第一子損失函數。與目標圖像對應的困難負樣本圖像可以理解為，與目標圖像對應的負樣本圖像中，相似度低於預設閾值的負樣本圖像，預設閾值可以通過經驗值或歷史資料設定。在確定第二子損失函數的情況下，可以通過如下公式（2）所示的方法來確定第二子損失函數：

（2）； 其中，

為第二子損失函數，

為相似度標籤最高的正樣本圖像的特徵值，

為相似度標籤最低的負樣本圖像的特徵值，K為第一樣本定位圖像的個數。

可以對第一子損失函數和第二子損失函數進行加權運算，以得到第一目標損失函數。

本示例中，可以根據第一相似度向量確定的第一子損失函數，以及目標圖像對應的困難負樣本圖像確定的第二子損失函數確定出第一目標損失函數，從而可以根據準確的第一相似度向量以及困難負樣本圖像確定的第二子損失函數確定出第一目標損失函數，從而提升了第一目標損失函數確定的準確性。

在一個可能的實施例中，一種可能的根據第一相似度向量，確定出第一子損失函數的方法包括步驟C1至C2，如下：C1、根據初始模型獲取目標圖像與K個第一樣本定位圖像之間的相似度，以得到第二相似度向量；C2、根據第一相似度向量和第二相似度向量，確定第一子損失函數。

獲取第二相似度向量的方法可以參考前述實施例中獲取第一相似度向量的方法，在實施的情況下採用初始模型進行計算，以得到第二相似度向量。

第一相似度向量和第二相似度向量可以採用交叉熵的運算，獲取到第一子損失函數。例如，可以通過如下公式（3）所示的方式獲取到第一子損失函數：

（3）； 其中，

為第一子損失函數，

為第二相似度向量，

為第一相似度向量，

為交叉熵運算，

為大於或等於2的正整數。上述公式在用於表示多次調整的情況下

可以理解為調整的次數。

可以通過如下公式（4）表示：

（4）； 其中，

，

為需要進行交叉熵運算的元素。

本示例中，可以通過初始模型確定的第二相似度向量和第一相似度向量確定第一子損失函數，從而可以通過第一圖像定位模型確定的相似度向量對第二相似度向量進行監督，提升了第一子損失函數確定的準確性，由於第一相似度向量對第二相似度向量進行監督，從而也可以提升第二圖像定位模型在進行圖像定位的情況下的準確性。

在一個可能的實施例中，一種可能的根據第一子損失函數和第二子損失函數，確定第一目標損失函數的方法可以為： 根據與第一子損失函數和第二子損失函數對應的損失加權因數，對第一子損失函數和第二子損失函數進行運算，以得到第一目標損失函數。

損失加權因數與第一子損失函數和第二子損失函數相對應，一種可能的加權損失因數的對應方式可以為：第一子損失函數的損失加權因數為

，第二子損失函數的損失加權因數為1。

獲取第一目標損失函數的方法也是通過如下公式（5）所示的方法：

（5）； 其中，

為第一目標損失函數，

為第二子損失函數，

為第一子損失函數，

為加權因數。

在一個可能的實施例中，還可以對待標記圖像進行標記，得到待標記圖像與對應的樣本定位圖像之間的相似度標籤，可以包括步驟D1至D4：D1、接收待標記圖像；D2、獲取與待標記圖像對應的K個第二樣本定位圖像；D3、將K個第二樣本定位圖像中的每個第二樣本定位圖像進行拆分，以得到與每個第二樣本定位圖像對應的N個子第二樣本定位圖像；D4、通過第二圖像定位模型，確定待標記圖像與每個第二樣本定位圖像對應的N個子第二樣本定位圖像對應的相似度標籤。

獲取第二樣本定位圖像的方法可以參考前述實施例中獲取第一樣本定位圖像的獲取方法，此處不再贅述。步驟D3可以參照前述步驟A1所示的方法，此處不再贅述。

在獲取相似度標籤的情況下，可以通過第二圖像定位模型進行計算，以得到待標記圖像與每個第二樣本定位圖像對應的N個子第二樣本定位圖像對應的相似度標籤。在計算的情況下，可以是通過待標記圖像的特徵向量與N個子樣本定位圖像的特徵向量之間的距離，確定相似度，以及將該相似度確定為對應的相似度標籤。

本示例中，通過第二圖像定位模型確定待標記圖像與每個第二樣本定位圖像對應的N個子第二樣本定位圖像對應的相似度標籤，相對於相關方案中通過單一的樣本對（最優樣本對）訓練得到的圖像定位模型確定相似度標籤，能夠提升獲取到的相似度標籤的準確性。

在一個可能的實施例中，第一圖像定位模型包括基礎圖像定位模型，基礎圖像定位模型為包括採用目標圖像與K個第一樣本定位圖像中相似度最高的圖像作為樣本對進行訓練得到的模型。

在一個可能的實施例中，還包括有獲取第一圖像定位模型的方法，包括步驟E1至E3，如下所示：E1、根據第二圖像定位模型、目標圖像與K個第一樣本定位圖像，確定第二目標損失函數；E2、根據第二目標損失函數對初始模型進行調整，得到第三圖像定位模型；E3、採用第三圖像定位模型替換第一圖像定位模型。

上述步驟E1的實現方法可以參照前述實施例中確定第一目標損失函數，E2的實現方法可以參照前述實施例中確定第二圖像定位模型的方法。

在一個可能的實施例中，可以採用第二圖像定位模型對待檢測圖像進行定位，得到與待檢測圖像對應的定位資訊，可以包括步驟F1至F2，如下：F1、接收待檢測圖像；F2、根據如上述任一實施例中的第二圖像定位模型對待檢測圖像進行定位，得到與待檢測圖像對應的定位資訊。

本示例中，通過第二圖像定位模型來對待檢測圖像進行定位，從而可以提升定位資訊獲取的準確性。

在一個可能的實現方式中，包括有多次根據損失函數對圖像定位模型進行調整，然後獲取到最終的圖像定位模型，詳細方法如下： 採用包括目標圖像與K個第一樣本定位圖像中相似度最高的圖像作為樣本對，對初始模型進行訓練，得到基礎圖像定位模型；採用基礎圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，根據該第一相似度向量確定出第一子損失函數；根據初始模型、目標圖像和目標圖像對應的困難負樣本，確定第二子損失函數；對第一子損失函數和第二子損失函數進行加權運算，得到第一目標損失函數，通過第一目標損失函數對初始模型進行調整，得到第二圖像定位模型；再次根據第二圖像定位模型、目標圖像與K個第一樣本定位圖像，確定第二目標損失函數，並根據第二目標損失函數對初始模型進行調整訓練，得到第三圖像定位模型，以此，重複執行上述步驟，從而可以獲取到最終的圖像定位模型。如2d中所示，為三次對初始模型進行調整，在第一次進行調整的情況下，已經將K個第一樣本圖像進行了拆分（圖中未示出），圖中示出的相似度條，可以理解為相似度也可以理解為相似度標籤，相似度高相似度標籤的值越大，相似度越低相似度標籤的值越小。圖2d中，在進行三次調整後的模型計算得到的子第一樣本定位圖像的相似度標籤，相對於第一次調整後的模型計算得到的子第一樣本定位圖像的相似度標籤更加準確。

請參閱圖3，圖3為本發明實施例提供了另一種圖像定位模型獲取方法的流程示意圖。如圖3所示，圖像定位模型獲取方法包括步驟301至306，如下。

301、將K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分，以得到與每個第一樣本定位圖像對應的N個子第一樣本定位圖像，K為大於1的整數； K個第一樣本定位圖像可以是根據目標圖像的GPS定位資訊確定的樣本圖像，例如，可以是目標圖像GPS定位資訊指示的位置處的預設範圍內的圖像，可以為，在該指示的位置處的10米範圍內的地圖圖像等。預設範圍可以是通過經驗值或歷史資料設定。

302、根據第一圖像定位模型確定每個第一樣本定位圖像對應的N個子第一樣本定位圖像對應的特徵值，以得到與每個第一樣本定位圖像對應的特徵向量； 特徵向量中包括有多個元素。

303、根據第一圖像定位模型確定目標圖像的特徵值。

304、根據每個第一樣本定位圖像對應的特徵向量和目標圖像的特徵值，確定第一相似度向量。

305、根據第一相似度向量，確定第一目標損失函數。

306、根據第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，初始模型為第一圖像定位模型初始化後得到的模型。

通過包括目標圖像以及K個第一樣本定位圖像的樣本集和第一目標損失函數對初始模型進行訓練，以得到第二圖像定位模型。初始模型為第一圖像定位模型初始化後得到的模型，可以理解為，將第一圖像定位模型中的模型參數進行初始化，以得到初始模型。第一圖像定位模型為通過包括目標圖像以及K個第一樣本定位圖像的樣本集對初始模型進行訓練得到的模型。

本示例中，通過將K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分得到N個子第一樣本定位圖像，根據該K*N個子第一樣本定位圖像的特徵值和目標圖像的特徵值，確定第一相似度向量，從而可以細細微性的確定第一相似度向量，提升了第一相似度向量對樣本進行反映的準確性，進而提升了確定第二圖像定位模型的準確性。

請參閱圖4，圖4為本發明實施例提供了另一種圖像定位模型獲取方法的流程示意圖。如圖4所示，圖像定位模型獲取方法包括步驟401至405，如下： 401、根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，K為大於1的整數；402、根據第一相似度向量，確定出第一子損失函數；403、根據與目標圖像對應的困難負樣本圖像，確定第二子損失函數；404、根據第一子損失函數和第二子損失函數，確定第一目標損失函數；405、根據第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，初始模型為第一圖像定位模型初始化後得到的模型。

通過包括目標圖像以及K個第一樣本定位圖像的樣本集和第一目標損失函數對初始模型進行訓練，以得到第二圖像定位模型。初始模型為第一圖像定位模型初始化後得到的模型，可以理解為，將第一圖像定位模型中的模型參數進行初始化，以得到初始模型。第一圖像定位模型為通過包括目標圖像以及K個第一樣本定位圖像的樣本集對初始模型進行訓練得到的模型。

本示例中，可以根據第一相似度向量確定的第一子損失函數，以及目標圖像對應的困難負樣本圖像確定的第二子損失函數確定出第一目標損失函數，從而可以根據準確的第一相似度向量以及困難負樣本圖像確定的第二子損失函數確定出第一目標損失函數，從而提升了第一目標損失函數確定的準確性。

與上述實施例一致的，請參閱圖5，圖5為本發明實施例提供的一種終端的結構示意圖，如圖所示，包括處理器、輸入裝置、輸出裝置和記憶體，處理器、輸入裝置、輸出裝置和記憶體相互連接，其中，記憶體配置為儲存電腦程式，電腦程式包括程式指令，處理器被配置為調用程式指令，上述程式包括配置為執行上述圖像定位模型獲取方法和圖像定位方法中的步驟的指令。

相關技術中圖像檢索的方法在大規模圖像定位中更為有效，圖像檢索的基礎和關鍵在於如何通過神經網路學習更有分辨力的圖像特徵，相關技術中用於圖像定位的資料集只提供帶有雜訊的GPS標注，然而帶有相似GPS的圖像不一定涵蓋相似的場景，可能面向不同方向，所以訓練過程可以看作弱監督的訓練，神經網路的學習需要採用較難的正樣本，而相關演算法中忽略了這一點。

此外，即使是正確的正樣本對，它們也大概率存在沒有畫面重疊的區域。在基於圖像級別的標注進行學習的情況下，會要求兩張圖片的所有區域都趨於相似，這對沒有重疊的部分來說是一種誤導。所以，我們需要將圖像級別的標注細化為區域級別的標注，而相關的演算法忽略了這一點。

在以圖像檢索為基礎的圖像定位技術中，相關的資料集僅能夠提供帶有雜訊的GPS標籤，無法有效識別正確的正樣本對；相關的演算法無法有效地利用較難的正樣本訓練網路，導致網路的魯棒性不足；相關的演算法針對圖像級別進行監督，誤導了正樣本對中無重疊區域的訓練；僅利用圖像級標籤進行訓練，對圖像區域級的監督不足；需要通過額外耗時且精度有限的演算法進行圖像驗證，挑選正樣本用於訓練。

本發明實施例提出一種自監督圖像相似性的演算法，參見圖2d，本發明提出的自監督圖像-區域的相似性標籤來自於上一代網路的預測，網路進行反覆運算訓練，上一代的網路預測用於監督下一代的網路訓練，從而網路的能力與自監測標籤的精確度可以同步優化。其中區域級的標籤通過將圖片拆分成四張1/2區域和四張1/4區域的圖像組成。

採用本發明實施例，能夠有效地利用自我增強的標籤進行圖像相似性的監督學習，標籤的精度和網路的能力同步增強，從而充分利用較難的正樣本進行網路訓練，增強魯棒性；將圖像級標籤細粒化為區域級標籤，通過自監督的方法學習圖像與區域之間的相似性，減輕含有雜訊的標籤對網路學習造成的干擾；在圖像檢索為基礎的圖像定位問題上達到先進的識別度；可以有效的自監測圖像-區域相似性，從而增強網路魯棒性；可以利用本演算法訓練的神經網路提取目標圖像特徵，在街景圖像中進行檢索，判斷圖像所屬拍攝位置；可以利用本發明實施例，在自監督的情況下提升神經網路的魯棒性。

上述主要從方法側執行過程的角度對本發明實施例的方案進行了介紹。可以理解的是，終端為了實現上述功能，其包含了執行各個功能相應的硬體結構和/或軟體模組。本領域技術人員應該很容易意識到，結合本文中所提供的實施例描述的各示例的單元及演算法步驟，本發明能夠以硬體或硬體和電腦軟體的結合形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。

本發明實施例可以根據上述方法示例對終端進行功能單元的劃分，例如，可以對應各個功能劃分各個功能單元，也可以將兩個或兩個以上的功能集成在一個處理單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。需要說明的是，本發明實施例中對單元的劃分是示意性的，僅僅為一種邏輯功能劃分，實際實現的情況下可以有另外的劃分方式。

與上述一致的，請參閱圖6，圖6為本發明實施例提供的一種圖像定位模型獲取裝置的結構示意圖。如圖6所示，該裝置包括：第一確定單元601，配置為根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，K為大於1的整數；第二確定單元602，配置為根據第一相似度向量，確定第一目標損失函數；調整單元603，配置為根據第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，初始模型為第一圖像定位模型初始化後得到的模型。

在一種可能的實現方式中，第一確定單元601配置為：將K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分，以得到與每個第一樣本定位圖像對應的N個子第一樣本定位圖像；根據第一圖像定位模型確定每個第一樣本定位圖像對應的N個子第一樣本定位圖像對應的特徵值，以得到與每個第一樣本定位圖像對應的特徵向量；根據第一圖像定位模型確定目標圖像的特徵值；根據每個第一樣本定位圖像對應的特徵向量和目標圖像的特徵值，確定第一相似度向量。

在一種可能的實現方式中，第二確定單元602配置為：根據第一相似度向量，確定出第一子損失函數；根據與目標圖像對應的困難負樣本圖像，確定第二子損失函數；根據第一子損失函數和第二子損失函數，確定第一目標損失函數。

在一個可能的實現方式中，在根據第一相似度向量，確定出第一子損失函數方面，第二確定單元602配置為：根據初始模型獲取目標圖像與K個第一樣本定位圖像之間的相似度，以得到第二相似度向量；根據第一相似度向量和第二相似度向量，確定第一子損失函數。

在一個可能的實現方式中，在根據第一子損失函數和第二子損失函數，確定第一目標損失函數方面，第二確定單元602配置為：根據與第一子損失函數和第二子損失函數對應的損失加權因數，對第一子損失函數和第二子損失函數進行運算，以得到第一目標損失函數。

在一個可能的實現方式中，該裝置還配置為：接收待標記圖像；獲取與待標記圖像對應的K個第二樣本定位圖像；將K個第二樣本定位圖像中的每個第二樣本定位圖像進行拆分，以得到與每個第二樣本定位圖像對應的N個子第二樣本定位圖像；通過第二圖像定位模型，確定待標記圖像與每個第二樣本定位圖像對應的N個子第二樣本定位圖像對應的相似度標籤。

在一個可能的實現方式中，第一圖像定位模型包括基礎圖像定位模型，基礎圖像定位模型為包括採用目標圖像與K個第一樣本定位圖像中相似度最高的圖像作為樣本對進行訓練得到的模型。

在一個可能的實現方式中，該裝置還配置為：根據第二圖像定位模型、目標圖像與K個第一樣本定位圖像，確定第二目標損失函數；根據第二目標損失函數對初始模型進行調整，得到第三圖像定位模型；採用第三圖像定位模型替換第一圖像定位模型。

請參閱圖7，圖7為本發明實施例提供了一種圖像定位裝置的結構示意圖。如圖7所示，該裝置包括：接收單元701，配置為接收待檢測圖像；定位單元702，配置為根據如上述實施例中任一項的第二圖像定位模型對待檢測圖像進行定位，得到與待檢測圖像對應的定位資訊。

本發明實施例還提供一種電腦儲存介質，其中，該電腦儲存介質儲存配置為電子資料交換的電腦程式，該電腦程式使得電腦執行如上述方法實施例中記載的任何一種圖像定位模型獲取方法或圖像定位方法的部分或全部步驟。

本發明實施例還提供一種電腦程式產品，所述電腦程式產品包括儲存了電腦程式的非暫態性電腦可讀儲存介質，該電腦程式使得電腦執行如上述方法實施例中記載的任何一種圖像定位模型獲取方法或圖像定位方法的部分或全部步驟。

需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明並不受所描述的動作順序的限制，因為依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模組並不一定是本發明所必須的。

在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。

在本發明所提供的幾個實施例中，應該理解到，所揭露的裝置，可通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本發明方案的目的。

另外，在申請明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體程式模組的形式實現。

所述集成的單元如果以軟體程式模組的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取記憶體中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個記憶體中，包括若干指令用以使得一台電腦設備（可為個人電腦、伺服器或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的記憶體包括：U盤、唯讀記憶體（read-only memory，ROM）、隨機存取記憶體（random access memory， RAM）、移動硬碟、磁碟或者光碟等各種可以儲存程式碼的介質。

本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式可以儲存於一電腦可讀記憶體中，記憶體可以包括：快閃記憶體盤、唯讀記憶體、隨機存取器、磁片或光碟等。

以上對本發明實施例進行了詳細介紹，本文中應用了個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。

工業實用性 本發明中，通過第一圖像定位模型確定目標圖像與K個第一樣本定位圖像之間的相似度，得到第一相似度向量，根據該相似度向量確定出第一目標損失函數，根據第一目標損失函數對初始模型進行調整，以得到第二圖像定位模型，從而可以根據第一圖像定位模型、目標圖像和K個第一樣本定位圖像來確定的第一目標損失函數，對初始模型進行相似度監督學習以得到第二圖像定位模型，從而可以提升第二圖像定位模型在進行圖像定位的情況下的準確性。

101a:圖像定位模型 102a:電子設備 103a:待檢測圖像 104a:定位資訊 601:第一確定單元 602:第二確定單元 603:調整單元 701:接收單元 702:定位單元 101b~103b:步驟 301~306:步驟 401~405:步驟

為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。 圖1a為本發明實施例提供的一種圖像定位模型的應用場景的示意圖； 圖1b為本發明實施例提供的一種圖像定位模型獲取方法的流程示意圖； 圖2a為本發明實施例提供的一種樣本定位圖像的示意圖； 圖2b為本發明實施例提供的一種第一樣本定位圖像的拆分示意圖； 圖2c為本發明實施例提供的另一種第一樣本定位圖像的拆分示意圖； 圖2d為本發明實施例提供的一種子第一樣本定位圖像的示意圖； 圖3為本發明實施例提供的另一種圖像定位模型獲取方法的流程示意圖； 圖4為本發明實施例提供的又一種圖像定位模型獲取方法的流程示意圖； 圖5為本發明實施例提供的一種終端的結構示意圖； 圖6為本發明實施例提供的一種圖像定位模型獲取裝置的結構示意圖； 圖7為本發明實施例提供的一種圖像定位裝置的結構示意圖。

101b~103b:步驟

Claims (11)

1. 一種圖像定位模型獲取方法，所述方法包括：根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，K為大於1的整數；所述K個第一樣本定位圖像為在所述目標圖像的定位資訊的預設範圍內的圖像；根據所述第一相似度向量，確定第一目標損失函數；根據所述第一目標損失函數對初始模型進行調整，得到第二圖像定位模型，所述初始模型為所述第一圖像定位模型初始化後得到的模型。
2. 根據請求項1所述的方法，其中，所述根據第一圖像定位模型，確定目標圖像與K個第一樣本定位圖像之間的相似度，以得到第一相似度向量，包括：將所述K個第一樣本定位圖像中的每個第一樣本定位圖像進行拆分，以得到與所述每個第一樣本定位圖像對應的N個子第一樣本定位圖像；根據所述第一圖像定位模型確定所述每個第一樣本定位圖像對應的N個子第一樣本定位圖像對應的特徵值，以得到與所述每個第一樣本定位圖像對應的特徵向量；根據所述第一圖像定位模型確定所述目標圖像的特徵值；根據所述每個第一樣本定位圖像對應的特徵向量和所述目標圖像的特徵值，確定所述第一相似度向量。
3. 根據請求項1或2所述的方法，其中，所述 根據所述第一相似度向量，確定第一目標損失函數，包括：根據所述第一相似度向量，確定出第一子損失函數；根據與所述目標圖像對應的困難負樣本圖像，確定第二子損失函數；根據所述第一子損失函數和所述第二子損失函數，確定所述第一目標損失函數。
4. 根據請求項3所述的方法，其中，所述根據所述第一相似度向量，確定出第一子損失函數，包括：根據所述初始模型獲取所述目標圖像與所述K個第一樣本定位圖像之間的相似度，以得到第二相似度向量；根據所述第一相似度向量和所述第二相似度向量，確定所述第一子損失函數。
5. 根據請求項3所述的方法，其中，所述根據所述第一子損失函數和所述第二子損失函數，確定所述第一目標損失函數，包括：根據與所述第一子損失函數和所述第二子損失函數對應的損失加權因數，對所述第一子損失函數和所述第二子損失函數進行運算，以得到所述第一目標損失函數。
6. 根據請求項1或2所述的方法，還包括：接收待標記圖像；獲取與所述待標記圖像對應的K個第二樣本定位圖像；將K個第二樣本定位圖像中的每個第二樣本定位圖像進行拆分，以得到與所述每個第二樣本定位圖像對應的N個子第二樣本定位圖像； 通過所述第二圖像定位模型，確定所述待標記圖像與所述每個第二樣本定位圖像對應的N個子第二樣本定位圖像對應的相似度標籤。
7. 根據請求項1或2所述的方法，其中，所述第一圖像定位模型包括基礎圖像定位模型，所述基礎圖像定位模型為包括採用所述目標圖像與所述K個第一樣本定位圖像中相似度最高的圖像作為樣本對進行訓練得到的模型。
8. 根據請求項1或2所述的方法，還包括：根據所述第二圖像定位模型、所述目標圖像與所述K個第一樣本定位圖像，確定第二目標損失函數；根據所述第二目標損失函數對所述初始模型進行調整，得到第三圖像定位模型；採用所述第三圖像定位模型替換所述第一圖像定位模型。
9. 一種圖像定位方法，所述方法包括：接收待檢測圖像；根據如請求項1至8任一項所述的第二圖像定位模型對所述待檢測圖像進行定位，得到與所述待檢測圖像對應的定位資訊。
10. 一種終端，包括處理器、輸入裝置、輸出裝置和記憶體，所述處理器、輸入裝置、輸出裝置和記憶體相互連接，其中，所述記憶體配置為儲存電腦程式，所述電腦程式包括程式指令，所述處理器被配置為調用所述程 式指令，執行如請求項1至9任一項所述的方法。
11. 一種電腦可讀儲存介質，所述電腦可讀儲存介質儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令在被處理器執行的情況下使所述處理器執行如請求項1至9任一項所述的方法。

Images