TWI753348B - 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介 - Google Patents

位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介 Download PDF

Info

Publication number
TWI753348B
TWI753348B TW109100345A TW109100345A TWI753348B TW I753348 B TWI753348 B TW I753348B TW 109100345 A TW109100345 A TW 109100345A TW 109100345 A TW109100345 A TW 109100345A TW I753348 B TWI753348 B TW I753348B
Authority
TW
Taiwan
Prior art keywords
image
pose
key point
processed
acquisition device
Prior art date
Application number
TW109100345A
Other languages
English (en)
Other versions
TW202107339A (zh
Inventor
朱鋮愷
馮岩
武偉
閆俊傑
林思睿
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202107339A publication Critical patent/TW202107339A/zh
Application granted granted Critical
Publication of TWI753348B publication Critical patent/TWI753348B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公開涉及一種位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介，所述位姿確定方法包括：獲取與待處理圖像匹配的參考圖像；對待處理圖像和參考圖像分別進行關鍵點提取處理，分別得到待處理圖像中的第一關鍵點以及第一關鍵點在參考圖像中對應的第二關鍵點；根據第一關鍵點與第二關鍵點的對應關係，以及參考圖像對應的參考位姿，確定圖像獲取裝置在採集待處理圖像的目標位姿。

Description

位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介
本公開涉及電腦技術領域，尤其涉及一種位姿確定方法及裝置、電子設備和電腦可讀儲存媒介。
相機標定是視覺定位的基礎問題。計算目標地理位置，獲取攝像機的可視區域，都需要對相機進行標定。在相關技術中，常用的標定演算法僅考慮了相機位置固定的情況，然而，目前城市的監控相機中，包含了許多可旋轉的相機。
本公開提出了一種位姿確定方法及裝置、電子設備和儲存媒介。
根據本公開的一方面，提供了一種位姿確定方法，包括：
獲取與待處理圖像匹配的參考圖像，其中，所述待處理圖像和所述參考圖像是由圖像獲取裝置獲取的，所述參考圖像具有對應的參考位姿，所述參考位姿用於表示所述圖像獲取裝置在採集所述參考圖像時的位姿；
對所述待處理圖像和所述參考圖像分別進行關鍵點提取處理，分別得到所述待處理圖像中的第一關鍵點以及所述第一關鍵點在所述參考圖像中對應的第二關鍵點；
根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
根據本公開的實施例的位姿確定方法，可選取與待處理圖像匹配的參考圖像，並根據參考圖像的位姿來確定待處理圖像對應的位姿，可在圖像獲取裝置產生旋轉或位移時標定對應的位姿，可迅速適應新的監控場景。
在一種可能的實現方式中，所述獲取與待處理圖像匹配的參考圖像，包括：
對所述待處理圖像和至少一個第一圖像分別進行特徵提取處理，獲得所述待處理圖像的第一特徵資訊和各所述第一圖像的第二特徵資訊，所述至少一個第一圖像是所述圖像獲取裝置在旋轉的過程中依次獲取的；
根據所述第一特徵資訊和各所述第二特徵資訊之間的相似度，從各第一圖像中確定出所述參考圖像。
在一種可能的實現方式中，所述方法還包括：
確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，其中，所述第二圖像為所述多個第一圖像中的任意一張圖像，所述地理平面為所述目標點的地理位置座標所在平面；
根據所述內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的參考位姿；
根據所述第二圖像對應的參考位姿，確定所述至少一個第一圖像對應的參考位姿。
在一種可能的實現方式中，所述確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，包括：
根據所述第二圖像中目標點的圖像位置座標和地理位置座標，確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，其中，所述目標點為所述第二圖像中的多個不共線的點；
對所述第二單應矩陣進行分解處理，確定所述圖像獲取裝置的內參矩陣。
在一種可能的實現方式中，根據所述內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的參考位姿，包括：
根據所述圖像獲取裝置的內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的外參矩陣；
根據所述第二圖像對應的外參矩陣，確定所述第二圖像對應的參考位姿。
在一種可能的實現方式中，根據所述第二圖像對應的參考位姿，確定所述至少一個第一圖像對應的參考位姿，包括：
對當前第一圖像和下一個第一圖像分別進行關鍵點提取處理，獲得當前第一圖像中的第三關鍵點和所述第三關鍵點在下一個第一圖像中對應的第四關鍵點，所述當前第一圖像為所述多個第一圖像中已知參考位姿的圖像，所述當前第一圖像包括所述第二圖像，所述下一個第一圖像為所述至少一個第一圖像中與所述當前第一圖像相鄰的圖像；
根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣；
根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿。
通過這種方式，可獲得第一個圖像的參考位姿，並根據第一個第一圖像的參考位姿反覆運算確定所有第一圖像的參考位姿，無需根據複雜的標定方法對每個第一圖像進行標定處理，提高處理效率。
在一種可能的實現方式中，根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣，包括：
根據所述第三關鍵點在所述當前第一圖像中的第三位置座標以及所述第四關鍵點在所述下一個第一圖像中的第四位置座標，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣。
在一種可能的實現方式中，根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿，包括：
對所述第三單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述當前第一圖像和所述下一個第一圖像之間的第二位姿變化量；
根據所述當前第一圖像對應的參考位姿以及所述第二位姿變化量，確定所述下一個第一圖像對應的參考位姿。
在一種可能的實現方式中，根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿，包括：
根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
通過這種方式，可獲得第一個圖像的參考位姿，並根據第一個第一圖像的參考位姿反覆運算確定所有第一圖像的參考位姿，無需根據複雜的標定方法對每個第一圖像進行標定處理，提高處理效率。
在一種可能的實現方式中，根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿，包括：
根據所述第一位置座標和所述第二位置座標，確定所述參考圖像和所述待處理圖像之間的第一單應矩陣；
對所述第一單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述待處理圖像和所述參考圖像之間的第一位姿變化量；
根據所述參考圖像對應的參考位姿以及所述第一位姿變化量，確定所述目標位姿。
在一種可能的實現方式中，所述參考圖像對應的參考位姿包括所述圖像獲取裝置獲取所述參考圖像時的旋轉矩陣和位移向量，所述待處理圖像對應的目標位姿包括所述圖像獲取裝置獲取待處理圖像時的旋轉矩陣和位移向量。
在一種可能的實現方式中，所述特徵提取處理及所述關鍵點提取處理通過卷積神經網路來實現，其中，所述方法還包括：
通過所述卷積神經網路的卷積層對所述樣本圖像進行卷積處理，獲得所述樣本圖像的特徵圖；
對所述特徵圖進行卷積處理，分別獲得所述樣本圖像的特徵資訊；
對所述特徵圖進行關鍵點提取處理，獲得所述樣本圖像的關鍵點；
根據所述樣本圖像的特徵資訊和關鍵點，訓練所述卷積神經網路。
在一種可能的實現方式中，對所述特徵圖進行關鍵點提取處理，獲得所述樣本圖像的關鍵點，包括：
通過所述卷積神經網路的區域候選網路對所述特徵圖進行處理，獲得感興趣區域；
通過所述卷積神經網路的感興趣區域池化層對所述感興趣區域進行池化，並通過卷積層進行卷積處理，在所述感興趣區域中確定所述樣本圖像的關鍵點。
根據本公開的一方面，提供了一種位姿確定裝置，包括：
獲取模組，用於獲取與待處理圖像匹配的參考圖像，其中，所述待處理圖像和所述參考圖像是由圖像獲取裝置獲取的，所述參考圖像具有對應的參考位姿，所述參考位姿用於表示所述圖像獲取裝置在採集所述參考圖像時的位姿；
第一提取模組，用於對所述待處理圖像和所述參考圖像分別進行關鍵點提取處理，分別得到所述待處理圖像中的第一關鍵點以及所述第一關鍵點在所述參考圖像中對應的第二關鍵點；
第一確定模組，用於根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
在一種可能的實現方式中，所述獲取模組被進一步配置為：
對所述待處理圖像和至少一個第一圖像分別進行特徵提取處理，獲得所述待處理圖像的第一特徵資訊和各所述第一圖像的第二特徵資訊，所述至少一個第一圖像是所述圖像獲取裝置在旋轉的過程中依次獲取的；
根據所述第一特徵資訊和各所述第二特徵資訊之間的相似度，從各第一圖像中確定出所述參考圖像。
在一種可能的實現方式中，所述裝置還包括：
第二確定模組，用於確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，其中，所述第二圖像為所述多個第一圖像中的任意一張圖像，所述地理平面為所述目標點的地理位置座標所在平面；
第三確定模組，用於根據所述內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的參考位姿；
第四確定模組，用於根據所述第二圖像對應的參考位姿，確定所述至少一個第一圖像對應的參考位姿。
在一種可能的實現方式中，所述第二確定模組被進一步配置為：
根據所述第二圖像中目標點的圖像位置座標和地理位置座標，確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，其中，所述目標點為所述第二圖像中的多個不共線的點；
對所述第二單應矩陣進行分解處理，確定所述圖像獲取裝置的內參矩陣。
在一種可能的實現方式中，所述第三確定模組被進一步配置為：
根據所述圖像獲取裝置的內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的外參矩陣；
根據所述第二圖像對應的外參矩陣，確定所述第二圖像對應的參考位姿。
在一種可能的實現方式中，所述第四確定模組被進一步配置為：
對當前第一圖像和下一個第一圖像分別進行關鍵點提取處理，獲得當前第一圖像中的第三關鍵點和所述第三關鍵點在下一個第一圖像中對應的第四關鍵點，所述當前第一圖像為所述多個第一圖像中已知參考位姿的圖像，所述當前第一圖像包括所述第二圖像，所述下一個第一圖像為所述至少一個第一圖像中與所述當前第一圖像相鄰的圖像；
根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣；
根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿。
在一種可能的實現方式中，所述第四確定模組被進一步配置為：
根據所述第三關鍵點在所述當前第一圖像中的第三位置座標以及所述第四關鍵點在所述下一個第一圖像中的第四位置座標，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣。
在一種可能的實現方式中，所述第四確定模組被進一步配置為：
對所述第三單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述當前第一圖像和所述下一個第一圖像之間的第二位姿變化量；
根據所述當前第一圖像對應的參考位姿以及所述第二位姿變化量，確定所述下一個第一圖像對應的參考位姿。
在一種可能的實現方式中，所述第一確定模組被進一步配置為：
根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
在一種可能的實現方式中，所述第一確定模組被進一步配置為：
根據所述第一位置座標和所述第二位置座標，確定所述參考圖像和所述待處理圖像之間的第一單應矩陣；
對所述第一單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述待處理圖像和所述參考圖像之間的第一位姿變化量；
根據所述參考圖像對應的參考位姿以及所述第一位姿變化量，確定所述目標位姿。
在一種可能的實現方式中，所述參考圖像對應的參考位姿包括所述圖像獲取裝置獲取所述參考圖像時的旋轉矩陣和位移向量，所述待處理圖像對應的目標位姿包括所述圖像獲取裝置獲取待處理圖像時的旋轉矩陣和位移向量。
在一種可能的實現方式中，所述特徵提取處理及所述關鍵點提取處理通過卷積神經網路來實現，
其中，所述裝置還包括：
第一卷積模組，用於通過所述卷積神經網路的卷積層對所述樣本圖像進行卷積處理，獲得所述樣本圖像的特徵圖；
第二卷積模組，用於對所述特徵圖進行卷積處理，分別獲得所述樣本圖像的特徵資訊；
第二提取模組，用於對所述特徵圖進行關鍵點提取處理，獲得所述樣本圖像的關鍵點；
訓練模組，用於根據所述樣本圖像的特徵資訊和關鍵點，訓練所述卷積神經網路。
在一種可能的實現方式中，所述第二提取模組被進一步配置為：
通過所述卷積神經網路的區域候選網路對所述特徵圖進行處理，獲得感興趣區域；
通過所述卷積神經網路的感興趣區域池化層對所述感興趣區域進行池化，並通過卷積層進行卷積處理，在所述感興趣區域中確定所述樣本圖像的關鍵點。
根據本公開的一方面，提供了一種電子設備，包括：
處理器；
用於儲存處理器可執行指令的記憶體；
其中，所述處理器被配置為：執行上述位姿確定方法。
根據本公開的一方面，提供了一種電腦可讀儲存媒介，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述位姿確定方法。
根據本公開的一方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於執行上述的位姿確定方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開。
根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本公開的各種示例性實施例、特徵和方面。圖式中相同的圖式符號表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製圖式。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中用語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中用語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好的說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。
圖1示出根據本公開實施例的位姿確定方法的流程圖，如圖1所示，所述方法包括：
在步驟S11中，獲取與待處理圖像匹配的參考圖像，其中，所述待處理圖像和所述參考圖像是由圖像獲取裝置獲取的，所述參考圖像具有對應的參考位姿，所述參考位姿用於表示所述圖像獲取裝置在採集所述參考圖像時的位姿；
在步驟S12中，對所述待處理圖像和所述參考圖像分別進行關鍵點提取處理，分別得到所述待處理圖像中的第一關鍵點以及所述第一關鍵點在所述參考圖像中對應的第二關鍵點；
在步驟S13中，根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
根據本公開的實施例的位姿確定方法，可選取與待處理圖像匹配的參考圖像，並根據參考圖像的位姿來確定待處理圖像對應的位姿，可在圖像獲取裝置產生旋轉或位移時標定對應的位姿，可迅速適應新的監控場景。
在一種可能的實現方式中，所述位姿確定方法可用於確定相機、攝像機、監視器等圖像獲取裝置的位姿，例如，可用於確定監控系統、門禁系統等的攝像頭的位姿，在圖像獲取裝置發生位移或旋轉等位姿變換時，例如，監控攝像頭旋轉時，可高效地確定圖像獲取裝置在位姿變換後的位姿，本公開對所述位姿確定方法的應用領域不做限制。
在一種可能的實現方式中，所述方法可以由終端設備執行，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂巢式電話、無限室內電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等，所述方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，所述方法通過伺服器執行。
在一種可能的實現方式中，可通過所述位於預設位置的圖像獲取裝置獲取多個第一圖像，並從所述多個第一圖像中選擇出與待處理圖像匹配的參考圖像，所述圖像獲取裝置可以是能夠旋轉的相機，例如，用於監控的球形相機等，所述圖像獲取裝置可沿俯仰方向和/或偏航方向旋轉，在旋轉的過程中，圖像獲取裝置可獲取一個或多個第一圖像。在其他實施例中，還可以是通過圖像獲取裝置獲取一張參考圖像，在此不做限定。
在示例中，圖像獲取裝置在俯仰方向可旋轉180°，在偏航方向旋轉360°，則圖像獲取裝置可在旋轉過程中獲取多張第一圖像，例如，每間隔預設角度，獲取一個第一圖像。在另一示例中，圖像獲取裝置在俯仰方向和/或偏航方向可旋轉的角度為預設度數，例如，僅可旋轉10°、20°、30°等，圖像獲取裝置可在旋轉過程中獲取一張或多張第一圖像，例如，每間隔預設角度，獲取一個第一圖像。例如，圖像獲取裝置僅可在偏航方向旋轉20°，在旋轉過程中，可每間隔5°獲取一張第一圖像，則圖像獲取裝置可分別在旋轉至0°、5°、10°、15°和20°時獲取一張第一圖像，共獲取5張第一圖像。又例如，圖像獲取裝置僅可在偏航方向旋轉10°，圖像獲取裝置可在旋轉至5°時獲取一張第一圖像，即，僅獲取一張參考圖像。所述各第一圖像對應的參考位姿包括所述圖像獲取裝置獲取各第一圖像時的旋轉矩陣和位移向量，所述待處理圖像對應的目標位姿包括所述圖像獲取裝置獲取待處理圖像時的旋轉矩陣和位移向量。參考圖像為所述第一圖像中與待處理圖像匹配的圖像，所述參考圖像對應的參考位姿包括所述圖像獲取裝置獲取所述參考圖像時的旋轉矩陣和位移向量，所述待處理圖像對應的目標位姿包括所述圖像獲取裝置獲取待處理圖像時的旋轉矩陣和位移向量。
圖2示出根據本公開實施例的位姿確定方法的流程圖，如圖2所示，所述方法還包括：
在步驟S14中，確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，其中，所述第二圖像為所述多個第一圖像中的任意一張圖像，所述地理平面為所述目標點的地理位置座標所在平面；
在步驟S15中，根據所述內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的參考位姿；
在步驟S16中，根據所述第二圖像對應的參考位姿，確定所述至少一個第一圖像對應的參考位姿。
在一種可能的實現方式中，在步驟S14中，可將圖像獲取裝置沿俯仰方向和/或偏航方向旋轉，並在旋轉過程中依次獲取第一圖像。例如，可將圖像獲取裝置在俯仰方向設置為某角度（例如，1°、5°、10°等），並沿偏航方向旋轉一周，並在旋轉過程中每隔一定角度（例如，1°、5°、10°等）獲取一張第一圖像。在旋轉一周後，可將圖像獲取裝置沿俯仰方向調整一定角度（例如，1°、5°、10°等），並沿偏航方向旋轉一周，並在旋轉過程中每隔一定角度獲取一張第一圖像。可按照上述方式，繼續調整俯仰方向的角度，並沿偏航方向旋轉一周，獲取第一圖像，直到俯仰方向調整180°。或者，圖像獲取裝置在俯仰方向和/或偏航方向可旋轉的角度為預設度數時，可依次獲取第一圖像。
在一種可能的實現方式中，可將上述過程中的任意一張第一圖像確定為第二圖像，並在依次確定各第一圖像的參考位姿時，將選擇的第二圖像作為確定多個第一圖像的參考位姿的處理中的第一張待處理的圖像，並在確定第二圖像的參考位姿後，根據第二圖像的參考位姿，確定其他第一圖像的參考位姿。例如，可將第一張第一圖像確定為所述第二圖像，並對第二圖像進行標定（即，標定圖像獲取裝置獲取第二圖像時的位姿），以確定第二圖像的參考位姿，並基於第二圖像的參考位姿依次確定其他第一圖像的參考位姿。
在一種可能的實現方式中，可在第二圖像中選取多個不共線的目標點，並標注所述目標點在第二圖像中的圖像位置座標，並獲取所述目標點的地理位置座標，例如，目標點在實際地理位置中的經緯度座標。
圖3示出根據本公開實施例的目標點的示意圖，如圖3所示，圖3中右側為所述圖像獲取裝置獲取的第二圖像，並在第二圖像中選取了4個目標點（即，0點、1點、2點和3點），例如，選取了某體育場的4個頂點作為目標點。並可獲取所述4個目標點在第二圖像中的圖像位置座標，例如，（x1 , y1 ），（x2 , y2 ），（x3 , y3 ），（x4 , y4 ）。
在一種可能的實現方式中，可確定所述4個目標點的地理位置座標，例如，經緯度座標。圖3中左側為所述體育場的實況地圖，例如，衛星拍攝的實況地圖，可在各實況地圖中獲取所述4個目標點的經緯度座標，例如，（x1 ’ ,  y1 ’），（x2 ’ , y2 ’），（x3 ’ , y3 ’），（x4 ’ , y4 ’）。
在一種可能的實現方式中，確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，包括：根據所述目標點的圖像位置座標和地理位置座標，確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣；對所述第二單應矩陣進行分解處理，確定所述圖像獲取裝置的內參矩陣。
在一種可能的實現方式中，根據所述目標點的圖像位置座標和地理位置座標，確定所述圖像獲取裝置的成像平面和地理平面之間的第二單應矩陣。在示例中，可根據（x1 , y1 ），（x2 , y2 ），（x3 , y3 ），（x4 , y4 ）以及（x1 ’ ,  y1 ’），（x2 ’ , y2 ’），（x3 ’, y3 ’），（x4 ’, y4 ’）之間的對應關係，確定圖像獲取裝置的成像平面和地理平面之間的第二單應矩陣，例如，可根據上述座標建立各座標之間的方程組，並根據所述方程組解得所述第二單應矩陣。
在一種可能的實現方式中，可對第二單應矩陣進行分解處理，並根據成像原理，可根據以下公式（1）確定第二單應矩陣和圖像獲取裝置的內參矩陣及第二圖像的參考位姿之間的關係：
Figure 02_image001
(1)
其中，H為第二單應矩陣，λ為H的特徵值，K為圖像獲取裝置的內參矩陣，
Figure 02_image003
為第二圖像對應的外參矩陣，R為第二圖像的旋轉矩陣，T為第二圖像的位移向量。
在一種可能的實現方式中，公式（1）中列向量可表示為以下公式（2）：
Figure 02_image005
(2)
其中，
Figure 02_image007
分別為H的列向量，
Figure 02_image009
,
Figure 02_image011
為R的列向量，t為T的列向量。
在一種可能的實現方式中，由於旋轉矩陣R為正交矩陣，可根據公式（2）獲得以下方程組（3）：
Figure 02_image013
(3)
其中，
Figure 02_image015
為
Figure 02_image017
的轉置行向量，
Figure 02_image019
為
Figure 02_image021
的轉置行向量，
Figure 02_image023
為
Figure 02_image025
的轉置矩陣，
Figure 02_image027
為
Figure 02_image025
的逆矩陣。
在一種可能的實現方式中，可根據方程組（3）獲得以下方程組（4）：
Figure 02_image029
(4)
其中，
Figure 02_image031
（i=1、2或3，j=1、2或3）。
在一種可能的實現方式中，可對方程組（4）進行奇異值分解，獲得圖像獲取裝置的內參矩陣，例如，可獲得所述內參矩陣的最小二乘解。
在一種可能的實現方式中，在步驟S15中，可根據所述內參矩陣及所述第二單應矩陣，確定第二圖像的參考位姿，步驟S15可包括：根據所述圖像獲取裝置的內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的外參矩陣；根據所述第二圖像對應的外參矩陣，確定所述第二圖像對應的參考位姿。
在一種可能的實現方式中，可根據公式（1）或（2）確定第二圖像對應的外參矩陣。例如，公式（1）兩側可同時乘以
Figure 02_image027
，並同時除以
Figure 02_image033
，即可獲得第二圖像對應的外參矩陣
Figure 02_image003
。
在一種可能的實現方式中，所述外參矩陣中的旋轉矩陣R和位移向量T即為第二圖像對應的參考位姿。
在一種可能的實現方式中，在步驟S16中，可根據第二圖像的參考位姿，依次確定每個第一圖像對應的參考位姿。例如，第二圖像為確定多個第一圖像的參考位姿的處理中的第一張待處理的圖像，可根據第二圖像的參考位姿，依次確定其後續的各第一圖像的參考位姿。步驟S16可包括：對當前第一圖像和下一個第一圖像分別進行關鍵點提取處理，獲得當前第一圖像中的第三關鍵點和所述第三關鍵點在下一個第一圖像中對應的第四關鍵點，所述當前第一圖像為所述多個第一圖像中已知參考位姿的圖像，所述當前第一圖像包括所述第二圖像，所述下一個第一圖像為所述至少一個第一圖像中與所述當前第一圖像相鄰的圖像；根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣；根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿。
在一種可能的實現方式中，可通過卷積神經網路等深度學習神經網路對當前第一圖像和下一個第一圖像分別進行關鍵點提取處理，獲得當前第一圖像中的第三關鍵點和所述第三關鍵點在下一個第一圖像中對應的第四關鍵點，或者根據當前第一圖像和下一個第一圖像中的像素點的亮度、色度等參數，獲得當前第一圖像中的第三關鍵點和所述第三關鍵點在下一個第一圖像中對應的第四關鍵點，所述第三關鍵點和第四關鍵點可表示同一組點，但該組點在當前第一圖像和下一個第一圖像中的位置可不同。其中，關鍵點可以是能夠表示圖像中目標物件的輪廓、形狀等特徵的點。例如，當前第一圖像為第二圖像（例如，第一個第一圖像），可將第一圖像與第二個第一圖像輸入所述卷積神經網路進行關鍵點提取處理，分別在第二圖像中和第二個第一圖像中獲得多個第三關鍵點以及第四關鍵點。例如，第二圖像為圖像獲取裝置拍攝的某體育場的圖像，第三關鍵點為體育場的多個頂點，可將第二個第一圖像中包括的體育場的頂點作為所述第四關鍵點。進一步地，可獲取第三關鍵點在第二圖像中的第三位置座標和第四關鍵點在第二個第一圖像中的第四位置座標。由於圖像獲取裝置在獲取第二圖像和第二個第一圖像之間旋轉了一定的角度，因此所述第三位置座標和第四位置座標不同。在示例中，當前第一圖像也可以是任一第一圖像，下一個第一圖像為與所述當前第一圖像相鄰的圖像，本公開對當前第一圖像不做限制。
在一種可能的實現方式中，圖像獲取裝置在獲取當前第一圖像和下一個第一圖像之間旋轉了一定的角度，即，圖像獲取裝置的位姿發生了變化，可通過第三關鍵點和第四關鍵點之間的對應關係，確定當前第一圖像和下一個第一圖像之間的第三單應矩陣，進而可根據當前第一圖像的參考位姿和第三單應矩陣確定下一個第一圖像的參考位姿。
在一種可能的實現方式中，根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣，包括：根據所述第三關鍵點在所述當前第一圖像中的第三位置座標以及所述第四關鍵點在所述下一個第一圖像中的第四位置座標，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣。可根據第三位置座標和第四位置座標，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣。在示例中，可確定第二圖像和下一個第一圖像之間的第三單應矩陣。
在一種可能的實現方式中，根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿，包括：對所述第三單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述當前第一圖像和所述下一個第一圖像之間的第二位姿變化量；根據所述當前第一圖像對應的參考位姿以及所述第二位姿變化量，確定所述下一個第一圖像對應的參考位姿。
在一種可能的實現方式中，可對第三單應矩陣進行分解處理，例如可將第三單應矩陣分解為列向量，並根據第三單應矩陣的列向量確定線性方程組，並根據所述線性方程組求解當前第一圖像和下一個第一圖像之間的第二位姿變化量，例如，姿態角的變化量。在示例中，可確定圖像獲取裝置在拍攝第二圖像和下一個第一圖像之間的姿態角變化量。
在一種可能的實現方式中，可根據當前第一圖像對應的參考位姿以及第二位姿變化量，確定所述下一個第一圖像對應的參考位姿。例如，可通過當前第一圖像的參考位姿以及姿態角變化量，確定下一個第一圖像對應的姿態角，從而獲得所述下一個第一圖像對應的參考位姿。在示例中，可根據第二圖像的參考位姿以及第二圖像和第二個第一圖像之間的姿態角變化量，確定第二個第一圖像對應的參考位姿。在示例中，可按照上述方式，基於第二個第一圖像和第三個第一圖像的第二關鍵點確定第三單應矩陣，並根據第二個第一圖像、第三單應矩陣以及第二個第一圖像的參考位姿確定第三個第一圖像的參考位姿，基於第三個第一圖像的參考位姿獲得第四個第一圖像的參考位姿……直到獲取所有第一圖像的參考位姿。即，按照順序，從第一個第一圖像，反覆運算到最後一個第一圖像，獲得所有第一圖像的參考位姿。
在另一示例中，第二圖像可以是第一圖像中任意一個，可在獲得第二圖像的參考位姿後，分別獲得與第二圖像相鄰的兩個第一圖像的參考位姿，並根據所述相鄰的兩個第一圖像的參考位姿，獲得分別與所述兩個第一圖像相鄰的兩個第一圖像的參考位姿…直到獲得所有第一圖像的參考位姿。例如，第一圖像的數量可以是10個，第二圖像為其中的第5個，可根據第二圖像的參考位姿獲得第4個第一圖像和第6個第一圖像的參考位姿，進一步地，可繼續獲得第3個第一圖像和第7個第一圖像的參考位姿…直到獲得所有第一圖像的參考位姿。
通過這種方式，可獲得第一個圖像的參考位姿，並根據第一個第一圖像的參考位姿反覆運算確定所有第一圖像的參考位姿，無需根據複雜的標定方法對每個第一圖像進行標定處理，提高處理效率。
在一種可能的實現方式中，可確定所述圖像獲取裝置獲取的任一待處理圖像的目標位姿，即，獲取待處理圖像對應的旋轉矩陣和位移向量，在示例中，圖像獲取裝置可獲取任意的待處理圖像，該待處理圖像對應的位姿是未知的，即，圖像獲取裝置在拍攝待處理圖像時的位姿是未知的，可從所述第一圖像中確定與待處理圖像匹配的參考圖像，並根據參考圖像對應的位姿來確定待處理圖像對應的位姿。步驟S11可包括：對所述待處理圖像和至少一個第一圖像分別進行特徵提取處理，獲得所述待處理圖像的第一特徵資訊和各所述第一圖像的第二特徵資訊；根據所述第一特徵資訊和各所述第二特徵資訊之間的相似度，從各第一圖像中確定出所述參考圖像。
在一種可能的實現方式中，可通過卷積神經網路對待處理圖像和各第一圖像分別進行特徵提取處理，在示例中，所述卷積神經網路可提取各圖像的特徵資訊。例如，待處理圖像的第一特徵資訊和各第一圖像的第二特徵資訊，所述第一特徵資訊和第二特徵資訊可包括特徵圖、特徵向量等，本公開對特徵資訊不做限制。在另一示例中，也可通過各第一圖像及待處理圖像的像素點的色度、亮度等參數確定待處理圖像的第一特徵資訊和各所述第一圖像的第二特徵資訊，本公開對特徵提取處理的方式不做限制。
在一種可能的實現方式中，可分別確定第一特徵資訊和各第二特徵資訊之間的相似度（例如，餘弦相似度），例如，第一特徵資訊和第二特徵資訊均為特徵向量，可分別確定第一特徵資訊和各第二特徵資訊之間的餘弦相似度，並確定與第一特徵資訊的餘弦相似度最大的第二特徵資訊對應的第一圖像，即，確定所述參考圖像，並獲得參考圖像的參考位姿。
在一種可能的實現方式中，在步驟S12中，可對待處理圖像和參考圖像分別進行關鍵點提取處理，例如，可通過所述卷積神經網路提取待處理圖像中的第一關鍵點，並獲得所述第一關鍵點在所述參考圖像中對應的第二關鍵點。或者，可通過待處理圖像和參考圖像的像素點的亮度、色度等參數來確定所述第一關鍵點和第二關鍵點，本公開對獲取第一關鍵點和第二關鍵點的方式不做限制。
在一種可能的實現方式中，在步驟S13中，可根據第一關鍵點與第二關鍵點的對應關係，以及參考圖像對應的參考位姿，確定待處理圖像對應的目標位姿。步驟S13可包括：根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。即，可根據第一關鍵點的位置座標、第二關鍵點的位置座標及參考位姿來確定待處理圖像對應的目標位姿。
在一種可能的實現方式中，根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿可包括：根據所述第一位置座標和所述第二位置座標，確定所述參考圖像和所述待處理圖像之間的第一單應矩陣；對所述第一單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述待處理圖像和所述參考圖像之間的第一位姿變化量；根據所述參考圖像對應的參考位姿以及所述第一位姿變化量，確定所述目標位姿。
在一種可能的實現方式中，可根據第一位置座標和第二位置座標，確定參考圖像和待處理圖像之間的第一單應矩陣。例如，可根據第一關鍵點的第一位置座標和第二位置座標之間的對應關係，確定參考圖像和待處理圖像之間的第一單應矩陣。
在一種可能的實現方式中，可對第一單應矩陣進行分解處理，例如，可將第一單應矩陣分解為列向量，並根據第一單應矩陣的列向量確定線性方程組，並根據所述線性方程組求解參考圖像和待處理圖像之間的第一位姿變化量，例如，姿態角的變化量。在示例中，可確定圖像獲取裝置在拍攝參考圖像和待處理圖像之間的姿態角變化量。
在一種可能的實現方式中，可根據參考圖像對應的參考位姿以及第一位姿變化量，確定待處理圖像對應的目標位姿。例如，可通過參考圖像的參考位姿以及姿態角變化量，確定待處理圖像對應的姿態角，從而獲得待處理圖像對應的目標位姿。
通過這種方式，可通過與待處理圖像匹配的參考圖像的參考位姿以及第一單應矩陣來確定待處理圖像的目標位姿，無需對待處理圖像進行標定，提高處理效率。
在一種可能的實現方式中，所述特徵提取處理及所述關鍵點提取處理通過卷積神經網路來實現，在使用所述卷積神經網路進行特徵提取處理和關鍵點提取處理之前，可對所述卷積神經網路進行多工訓練，即，訓練所述卷積神經網路進行特徵提取處理和關鍵點提取處理的能力。
圖4示出根據本公開實施例的位姿確定方法的流程圖，如圖4所示，所述方法還包括：
在步驟S21中，通過所述卷積神經網路的卷積層對所述樣本圖像進行卷積處理，獲得所述樣本圖像的特徵圖；
在步驟S22中，對所述特徵圖進行卷積處理，分別獲得所述樣本圖像的特徵資訊；
在步驟S23中，對所述特徵圖進行關鍵點提取處理，獲得所述樣本圖像的關鍵點；
在步驟S24中，根據所述樣本圖像的特徵資訊和關鍵點，訓練所述卷積神經網路。
圖5示出根據本公開實施例的神經網路訓練的示意圖。如圖5所示，可使用樣本圖像訓練卷積神經網路進行特徵提取處理的能力。
在一種可能的實現方式中，在步驟S21中，可通過卷積神經網路的卷積層對樣本圖像進行卷積處理，獲得樣本圖像的特徵圖。
在一種可能的實現方式中，可使用樣本圖像組成的圖像訓練所述卷積神經網路，例如，可標注所述圖像對中兩個樣本圖像的相似度（例如，完全不同的圖像可標注為0，完全一致的圖像可標注為1等），並通過卷積神經網路的卷積層分別提取樣本圖像對中兩個樣本圖像的特徵圖，並可在步驟S22中，對所述特徵圖進行卷積處理，分別獲得樣本圖像對的兩個樣本圖像的特徵資訊（例如，特徵向量）。
在一種可能的實現方式中，在步驟S23中，可使用具有關鍵點標注資訊（例如，對關鍵點的位置座標的標注資訊）的樣本圖像訓練卷積神經網路進行關鍵點提取處理的能力。步驟S23可包括：通過所述卷積神經網路的區域候選網路對所述特徵圖進行處理，獲得感興趣區域；通過所述卷積神經網路的感興趣區域池化層對所述感興趣區域進行池化，並通過卷積層進行卷積處理，在所述感興趣區域中確定所述樣本圖像的關鍵點。
在示例中，所述卷積神經網路可包括區域候選網路（Region Proposal Network，RPN）和感興趣區域（Region of Interest，ROI）池化層。可通過區域候選網路對所述特徵圖進行處理，獲得感興趣區域，並通過感興趣區域池化層對樣本圖像中的感興趣區域進行池化，進一步地，可通過1×1卷積層進行卷積處理，在感興趣區域中確定關鍵點的位置（例如，位置座標）。
在一種可能的實現方式中，在步驟S24中，根據所述樣本圖像的特徵資訊和關鍵點，訓練所述卷積神經網路。
在示例中，在訓練卷積神經網路進行特徵提取處理的能力時，可確定樣本圖像對的兩個樣本圖像的特徵資訊之間的餘弦相似度。進一步地，可根據所述卷積神經網路輸出的餘弦相似度（可能存在誤差）與標注的兩個樣本圖像的相似度確定所述卷積神經網路在特徵提取處理能力方面的第一損失函數，例如，可根據卷積神經網路輸出的餘弦相似度與標注的兩個樣本圖像的相似度之間的差異確定卷積神經網路在特徵提取處理能力方面的第一損失函數。
在示例中，在訓練卷積神經網路進行關鍵點提取處理的能力時，可根據卷積神經網路輸出的關鍵點的位置座標以及關鍵點標注資訊來確定卷積神經網路在關鍵點提取處理的能力方面的第二損失函數。卷積神經網路輸出的關鍵點的位置座標可能存在誤差，例如，可根據卷積神經網路輸出的關鍵點的位置座標與關鍵點的位置座標的標注資訊之間的誤差確定卷積神經網路在關鍵點提取處理能力方面的第二損失函數。
在一種可能的實現方式中，可根據卷積神經網路在特徵提取處理能力方面的第一損失函數及卷積神經網路在關鍵點提取處理能力方面的第二損失函數，確定卷積神經網路的損失函數，例如，可對第一損失函數和第二損失函數進行加權求和，本公開對確定卷積神經網路的損失函數的方式不做限制。進一步地，可根據該損失函數對卷積神經網路的網路參數進行調整，例如，可通過梯度下降法調整卷積神經網路的網路參數等。可反覆運算執行上述處理，直到滿足訓練條件，例如，可反覆運算執行預定次數的調整網路參數的處理，在調整網路參數的次數達到預定次數時，滿足特徵提取的訓練條件，或者，可在卷積神經網路的損失函數收斂於預設區間或小於預設閾值時，滿足訓練條件。在所述卷積神經網路滿足訓練條件時，所述卷積神經網路訓練完成。
在一種可能的實現方式中，在卷積神經網路訓練完成後，可將所述卷積神經網路用於關鍵點提取處理和特徵提取處理中。在通過卷積神經網路進行關鍵點提取處理的過程中，卷積神經網路可將輸入圖像進行卷積處理，獲得輸入圖像的特徵圖，並對特徵圖進行卷積處理，獲得輸入圖像的特徵資訊。還可通過區域候選網路獲得特徵圖的感興趣區域，進一步地可通過感興趣區域池化層對感興趣區域進行池化，進而可在感興趣區域中獲得關鍵點。通過區域候選網路和感興趣區域池化層可在訓練過程或關鍵點提取處理的過程中獲取輸入卷積神經網路的圖像的感興趣區域，並在感興趣區域中確定關鍵點，提高關鍵點確定的準確度，提高處理效率。
根據本公開的實施例的位姿確定方法，可在旋轉過程中獲得多個第一圖像，並根據第二圖像的參考位姿反覆運算確定所有第一圖像的參考位姿，無需對每個第一圖像進行標定處理，提高處理效率。進一步地，可在第一圖像中選取的與待處理圖像匹配的參考圖像，並根據參考圖像的參考位姿與第一單應矩陣位姿來確定待處理圖像對應的位姿，可在圖像獲取裝置旋轉時確定任意待處理圖像對應的位姿，無需對待處理圖像進行標定，提高處理效率。並且，在訓練過程或關鍵點提取處理的過程中，卷積神經網路可獲取輸入圖像的感興趣區域，並在感興趣區域中確定關鍵點，提高關鍵點確定的準確度，提高處理效率。
圖6示出根據本公開實施例的位姿確定方法的應用示意圖。如圖6所示，待處理圖像可為圖像獲取裝置當前獲取的圖像，可根據待處理圖像確定圖像獲取裝置的當前位姿。
在一種可能的實現方式中，所述圖像獲取裝置可預先沿俯仰方向和/或偏航方向旋轉，並在旋轉過程中獲取了多個第一圖像。並可對多個第一圖像中的第一個第一圖像（第二圖像）進行標定，可在第二圖像中選取多個不共線的目標點，並根據目標點在第二圖像中的圖像位置座標以及目標點的地理位置座標之間的對應關係，確定第二單應矩陣。可對第二單應矩陣進行分解，並根據公式（4）獲取圖像獲取裝置的內參矩陣的最小平方解。
在一種可能的實現方式中，根據圖像獲取裝置的內參矩陣及第二單應矩陣，通過公式（1）或（2）確定所述第二圖像對應的參考位姿。進一步地，可通過卷積神經網路對第二圖像和第二個第一圖像進行關鍵點提取處理，獲得第二圖像中的第三關鍵點和第二個第一圖像中的第四關鍵點，並根據第三關鍵點和第四關鍵點獲得第二圖像和第二個第一圖像之間的第三單應矩陣，通過第二圖像對應的參考位姿以及第三單應矩陣，可獲得第二個第一圖像的參考位姿，進一步的，可通過第二個第一圖像的參考位姿以及第二個第一圖像和第三個第一圖像之間的第三單應矩陣，獲得第三個第一圖像的參考位姿，可反覆運算執行上述處理，確定所有第一圖像的參考位姿。
在一種可能的實現方式中，可通過卷積神經網路分別對待處理圖像和各第一圖像進行特徵提取處理，獲得待處理圖像的第一特徵資訊和各第一圖像的第二特徵資訊，並分別確定第一特徵資訊和各第二特徵資訊之間的餘弦相似度，並將與第一特徵資訊的餘弦相似度最大的第二特徵資訊對應的第一圖像確定為與待處理圖像匹配的參考圖像。
在一種可能的實現方式中，可通過卷積神經網路分別對待處理圖像和參考圖像進行關鍵點提取處理，獲得第一關鍵點在待處理圖像中的第一關鍵點和所述參考圖像中的第二關鍵點。並根據第一關鍵點和第二關鍵點，確定參考圖像和待處理圖像之間的第一單應矩陣。
在一種可能的實現方式中，可根據參考圖像的參考位姿以及第一單應矩陣，確定待處理圖像的目標位姿，即，圖像獲取裝置在拍攝待處理圖像時的位姿（即，當前位姿）。
在一種可能的實現方式中，所述位姿確定方法可確定圖像獲取裝置在任意時刻的位姿，還可根據位姿預測圖像獲取裝置的可視區域。進一步地，所述位姿確定方法可為預測平面上任意一點相對於圖像獲取裝置的位置以及預測平面上目標物件的運動速度提供依據。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
此外，本公開還提供了位姿確定裝置、電子設備、電腦可讀儲存媒介、程式，上述均可用來實現本公開提供的任一種位姿確定方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖7示出根據本公開實施例的位姿確定裝置的框圖。如圖7所示，所述裝置包括：
獲取模組11，用於獲取與待處理圖像匹配的參考圖像，其中，所述待處理圖像和所述參考圖像是由圖像獲取裝置獲取的，所述參考圖像具有對應的參考位姿，所述參考位姿用於表示所述圖像獲取裝置在採集所述參考圖像時的位姿；
第一提取模組12，用於對所述待處理圖像和所述參考圖像分別進行關鍵點提取處理，分別得到所述待處理圖像中的第一關鍵點以及所述第一關鍵點在所述參考圖像中對應的第二關鍵點；
第一確定模組13，用於根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
在一種可能的實現方式中，所述獲取模組11被進一步配置為：
對所述待處理圖像和至少一個第一圖像分別進行特徵提取處理，獲得所述待處理圖像的第一特徵資訊和各所述第一圖像的第二特徵資訊，所述至少一個第一圖像是所述圖像獲取裝置在旋轉的過程中依次獲取的；
根據所述第一特徵資訊和各所述第二特徵資訊之間的相似度，從各第一圖像中確定出所述參考圖像。
在一種可能的實現方式中，所述裝置還包括：
第二確定模組，用於確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，其中，所述第二圖像為所述多個第一圖像中的任意一張圖像，所述地理平面為所述目標點的地理位置座標所在平面；
第三確定模組，用於根據所述內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的參考位姿；
第四確定模組，用於根據所述第二圖像對應的參考位姿，確定所述至少一個第一圖像對應的參考位姿。
在一種可能的實現方式中，所述第二確定模組被進一步配置為：
根據所述第二圖像中目標點的圖像位置座標和地理位置座標，確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，其中，所述目標點為所述第二圖像中的多個不共線的點；
對所述第二單應矩陣進行分解處理，確定所述圖像獲取裝置的內參矩陣。
在一種可能的實現方式中，所述第三確定模組被進一步配置為：
根據所述圖像獲取裝置的內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的外參矩陣；
根據所述第二圖像對應的外參矩陣，確定所述第二圖像對應的參考位姿。
在一種可能的實現方式中，所述第四確定模組被進一步配置為：
對當前第一圖像和下一個第一圖像分別進行關鍵點提取處理，獲得當前第一圖像中的第三關鍵點和所述第三關鍵點在下一個第一圖像中對應的第四關鍵點，所述當前第一圖像為所述多個第一圖像中已知參考位姿的圖像，所述當前第一圖像包括所述第二圖像，所述下一個第一圖像為所述至少一個第一圖像中與所述當前第一圖像相鄰的圖像；
根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣；
根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿。
在一種可能的實現方式中，所述第四確定模組被進一步配置為：
根據所述第三關鍵點在所述當前第一圖像中的第三位置座標以及所述第四關鍵點在所述下一個第一圖像中的第四位置座標，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣。
在一種可能的實現方式中，所述第四確定模組被進一步配置為：
對所述第三單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述當前第一圖像和所述下一個第一圖像之間的第二位姿變化量；
根據所述當前第一圖像對應的參考位姿以及所述第二位姿變化量，確定所述下一個第一圖像對應的參考位姿。
在一種可能的實現方式中，所述第一確定模組13被進一步配置為：
根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
在一種可能的實現方式中，所述第一確定模組13被進一步配置為：
根據所述第一位置座標和所述第二位置座標，確定所述參考圖像和所述待處理圖像之間的第一單應矩陣；
對所述第一單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述待處理圖像和所述參考圖像之間的第一位姿變化量；
根據所述參考圖像對應的參考位姿以及所述第一位姿變化量，確定所述目標位姿。
在一種可能的實現方式中，所述參考圖像對應的參考位姿包括所述圖像獲取裝置獲取所述參考圖像時的旋轉矩陣和位移向量，所述待處理圖像對應的目標位姿包括所述圖像獲取裝置獲取待處理圖像時的旋轉矩陣和位移向量。
在一種可能的實現方式中，所述特徵提取處理及所述關鍵點提取處理通過卷積神經網路來實現，
其中，所述裝置還包括：
第一卷積模組，用於通過所述卷積神經網路的卷積層對所述樣本圖像進行卷積處理，獲得所述樣本圖像的特徵圖；
第二卷積模組，用於對所述特徵圖進行卷積處理，分別獲得所述樣本圖像的特徵資訊；
第二提取模組，用於對所述特徵圖進行關鍵點提取處理，獲得所述樣本圖像的關鍵點；
訓練模組，用於根據所述樣本圖像的特徵資訊和關鍵點，訓練所述卷積神經網路。
在一種可能的實現方式中，所述第二提取模組被進一步配置為：
通過所述卷積神經網路的區域候選網路對所述特徵圖進行處理，獲得感興趣區域；
通過所述卷積神經網路的感興趣區域池化層對所述感興趣區域進行池化，並通過卷積層進行卷積處理，在所述感興趣區域中確定所述樣本圖像的關鍵點。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存媒介，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒介可以是非揮發性電腦可讀儲存媒介。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為執行上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖8是根據一示例性實施例示出的一種電子設備800的框圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖8，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/ O）的介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，影片等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子抹除式可複寫唯讀記憶體（EEPROM），可擦拭可規劃式唯讀記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸控面板包括一個或多個觸控感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸控感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝像頭和/或後置攝像頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體資料。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置為輸出和/或輸入音訊信號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊信號。
輸入/輸出介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括近接感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信（NFC）模組，以促進短程通信。例如，在NFC模組可基於射頻識別（RFID）技術，紅外數據協會（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位信號處理設備（DSPD）、可程式設計邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒介，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
本公開實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的方法的指令。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存媒介，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。
圖9是根據一示例性實施例示出的一種電子設備1900的框圖。例如，電子設備1900可以被提供為一伺服器。參照圖9，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似的系統。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒介，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒介，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存媒介可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒介例如可以是―但不限於―電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒介的更具體的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦除可编程只读存储器（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、唯讀記憶光碟（CD-ROM）、數位多功能影音光碟（DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒介不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒介下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒介中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式設計邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或框圖描述了本公開的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒介中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒介則包括一個製造品，其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
附圖中的流程圖和框圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
S11~S24:流程步驟812:輸入/輸出介面 11:獲取模組814:感測器組件 12:第一提取模組816:通信組件 13:第一確定模組820:處理器 802:處理組件1922:處理組件 204:記憶體1926:電源組件 806:電源組件1932:記憶體 808:多媒體組件1950:網路介面 810:音頻組件1958:輸入輸出介面
此處的圖式被併入說明書中並構成本說明書的一部分，這些圖式示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。 圖1示出根據本公開實施例的位姿確定方法的流程圖； 圖2示出根據本公開實施例的位姿確定方法的流程圖； 圖3示出根據本公開實施例的目標點的示意圖； 圖4示出根據本公開實施例的位姿確定方法的流程圖； 圖5示出根據本公開實施例的神經網路訓練的示意圖； 圖6示出根據本公開實施例的位姿確定方法的應用示意圖； 圖7示出根據本公開實施例的位姿確定裝置的框圖； 圖8示出根據本公開實施例的電子設備的框圖； 圖9示出根據本公開實施例的電子設備的框圖。
S11~S13:流程步驟

Claims (16)

  1. 一種位姿確定方法，所述位姿確定方法包括： 獲取與待處理圖像匹配的參考圖像，其中，所述待處理圖像和所述參考圖像是由圖像獲取裝置獲取的，所述參考圖像具有對應的參考位姿，所述參考位姿用於表示所述圖像獲取裝置在採集所述參考圖像時的位姿； 對所述待處理圖像和所述參考圖像分別進行關鍵點提取處理，分別得到所述待處理圖像中的第一關鍵點以及所述第一關鍵點在所述參考圖像中對應的第二關鍵點； 根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
  2. 根據請求項1所述的位姿確定方法，其中，所述獲取與待處理圖像匹配的參考圖像，包括： 對所述待處理圖像和至少一個第一圖像分別進行特徵提取處理，獲得所述待處理圖像的第一特徵資訊和各所述第一圖像的第二特徵資訊，所述至少一個第一圖像是所述圖像獲取裝置在旋轉的過程中依次獲取的； 根據所述第一特徵資訊和各所述第二特徵資訊之間的相似度，從各第一圖像中確定出所述參考圖像。
  3. 根據請求項2所述的位姿確定方法，其中，所述位姿確定方法還包括： 確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，其中，所述第二圖像為所述多個第一圖像中的任意一張圖像，所述地理平面為所述目標點的地理位置座標所在平面； 根據所述內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的參考位姿； 根據所述第二圖像對應的參考位姿，確定所述至少一個第一圖像對應的參考位姿。
  4. 根據請求項3所述的位姿確定方法，其中，所述確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，以及確定所述圖像獲取裝置的內參矩陣，包括： 根據所述第二圖像中目標點的圖像位置座標和地理位置座標，確定所述圖像獲取裝置在採集所述第二圖像時的成像平面和地理平面之間的第二單應矩陣，其中，所述目標點為所述第二圖像中的多個不共線的點； 對所述第二單應矩陣進行分解處理，確定所述圖像獲取裝置的內參矩陣。
  5. 根據請求項4所述的位姿確定方法，其中，根據所述內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的參考位姿，包括： 根據所述圖像獲取裝置的內參矩陣及所述第二單應矩陣，確定所述第二圖像對應的外參矩陣； 根據所述第二圖像對應的外參矩陣，確定所述第二圖像對應的參考位姿。
  6. 根據請求項3所述的位姿確定方法，其中，根據所述第二圖像對應的參考位姿，確定所述至少一個第一圖像對應的參考位姿，包括： 對當前第一圖像和下一個第一圖像分別進行關鍵點提取處理，獲得當前第一圖像中的第三關鍵點和所述第三關鍵點在下一個第一圖像中對應的第四關鍵點，所述當前第一圖像為所述多個第一圖像中已知參考位姿的圖像，所述當前第一圖像包括所述第二圖像，所述下一個第一圖像為所述至少一個第一圖像中與所述當前第一圖像相鄰的圖像； 根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣； 根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿。
  7. 根據請求項6所述的位姿確定方法，其中，根據所述第三關鍵點和所述第四關鍵點的對應關係，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣，包括： 根據所述第三關鍵點在所述當前第一圖像中的第三位置座標以及所述第四關鍵點在所述下一個第一圖像中的第四位置座標，確定所述當前第一圖像和所述下一個第一圖像之間的第三單應矩陣。
  8. 根據請求項6所述的位姿確定方法，其中，根據所述第三單應矩陣和所述當前第一圖像對應的參考位姿，確定所述下一個第一圖像對應的參考位姿，包括： 對所述第三單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述當前第一圖像和所述下一個第一圖像之間的第二位姿變化量； 根據所述當前第一圖像對應的參考位姿以及所述第二位姿變化量，確定所述下一個第一圖像對應的參考位姿。
  9. 根據請求項1所述的位姿確定方法，其中，根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿，包括： 根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
  10. 根據請求項9所述的位姿確定方法，其中，根據所述第一關鍵點在所述待處理圖像中的第一位置座標、所述第二關鍵點在所述參考圖像中的第二位置座標，以及參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿，包括： 根據所述第一位置座標和所述第二位置座標，確定所述參考圖像和所述待處理圖像之間的第一單應矩陣； 對所述第一單應矩陣進行分解處理，確定所述圖像獲取裝置在獲取所述待處理圖像和所述參考圖像之間的第一位姿變化量； 根據所述參考圖像對應的參考位姿以及所述第一位姿變化量，確定所述目標位姿。
  11. 根據請求項1所述的位姿確定方法，其中，所述參考圖像對應的參考位姿包括所述圖像獲取裝置獲取所述參考圖像時的旋轉矩陣和位移向量，所述待處理圖像對應的目標位姿包括所述圖像獲取裝置獲取待處理圖像時的旋轉矩陣和位移向量。
  12. 根據請求項1所述的位姿確定方法，其中，所述特徵提取處理及所述關鍵點提取處理通過卷積神經網路來實現，其中，所述位姿確定方法還包括： 通過所述卷積神經網路的卷積層對所述樣本圖像進行卷積處理，獲得所述樣本圖像的特徵圖； 對所述特徵圖進行卷積處理，分別獲得所述樣本圖像的特徵資訊； 對所述特徵圖進行關鍵點提取處理，獲得所述樣本圖像的關鍵點； 根據所述樣本圖像的特徵資訊和關鍵點，訓練所述卷積神經網路。
  13. 根據請求項12所述的位姿確定方法，其中，對所述特徵圖進行關鍵點提取處理，獲得所述樣本圖像的關鍵點，包括： 通過所述卷積神經網路的區域候選網路對所述特徵圖進行處理，獲得感興趣區域； 通過所述卷積神經網路的感興趣區域池化層對所述感興趣區域進行池化，並通過卷積層進行卷積處理，在所述感興趣區域中確定所述樣本圖像的關鍵點。
  14. 一種位姿確定裝置，包括： 獲取模組，用於獲取與待處理圖像匹配的參考圖像，其中，所述待處理圖像和所述參考圖像是由圖像獲取裝置獲取的，所述參考圖像具有對應的參考位姿，所述參考位姿用於表示所述圖像獲取裝置在採集所述參考圖像時的位姿； 第一提取模組，用於對所述待處理圖像和所述參考圖像分別進行關鍵點提取處理，分別得到所述待處理圖像中的第一關鍵點以及所述第一關鍵點在所述參考圖像中對應的第二關鍵點； 第一確定模組，用於根據所述第一關鍵點與所述第二關鍵點的對應關係，以及所述參考圖像對應的參考位姿，確定所述圖像獲取裝置在採集所述待處理圖像的目標位姿。
  15. 一種電子設備，包括： 處理器； 用於儲存處理器可執行指令的記憶體； 其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至13中任意一項所述的位姿確定方法。
  16. 一種電腦可讀儲存媒介，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至13中任意一項所述的位姿確定方法。
TW109100345A 2019-07-31 2020-01-06 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介 TWI753348B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910701860.0 2019-07-31
CN201910701860.0A CN110473259A (zh) 2019-07-31 2019-07-31 位姿确定方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202107339A TW202107339A (zh) 2021-02-16
TWI753348B true TWI753348B (zh) 2022-01-21

Family

ID=68509631

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100345A TWI753348B (zh) 2019-07-31 2020-01-06 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介

Country Status (5)

Country Link
US (1) US20220122292A1 (zh)
JP (1) JP2022540072A (zh)
CN (1) CN110473259A (zh)
TW (1) TWI753348B (zh)
WO (1) WO2021017358A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473259A (zh) * 2019-07-31 2019-11-19 深圳市商汤科技有限公司 位姿确定方法及装置、电子设备和存储介质
CN111028283B (zh) * 2019-12-11 2024-01-12 北京迈格威科技有限公司 图像检测方法、装置、设备及可读存储介质
CN115039015A (zh) * 2020-02-19 2022-09-09 Oppo广东移动通信有限公司 位姿跟踪方法、可穿戴设备、移动设备以及存储介质
CN111523485A (zh) * 2020-04-24 2020-08-11 浙江商汤科技开发有限公司 位姿识别方法及装置、电子设备和存储介质
CN111552757B (zh) * 2020-04-30 2022-04-01 上海商汤临港智能科技有限公司 生成电子地图的方法、装置、设备及存储介质
CN111709428B (zh) * 2020-05-29 2023-09-15 北京百度网讯科技有限公司 图像中关键点位置的识别方法、装置、电子设备及介质
CN111882605A (zh) * 2020-06-30 2020-11-03 浙江大华技术股份有限公司 监控设备图像坐标转换方法、装置和计算机设备
CN112328715B (zh) * 2020-10-16 2022-06-03 浙江商汤科技开发有限公司 视觉定位方法及相关模型的训练方法及相关装置、设备
CN114640785A (zh) * 2020-12-16 2022-06-17 华为技术有限公司 站点模型更新方法及系统
CN113240739B (zh) * 2021-04-29 2023-08-11 三一重机有限公司 一种挖掘机、属具的位姿检测方法、装置及存储介质
CN113674352A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 开关状态检测方法、电子装置和存储介质
CN115359132B (zh) * 2022-10-21 2023-03-24 小米汽车科技有限公司 用于车辆的相机标定方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090074238A1 (en) * 2007-04-23 2009-03-19 Hanspeter Pfister Method and System for Determining Poses of Objects from Range Images Using Adaptive Sampling of Pose Spaces
CN108062776A (zh) * 2018-01-03 2018-05-22 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN108734736A (zh) * 2018-05-22 2018-11-02 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及存储介质
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN109697734A (zh) * 2018-12-25 2019-04-30 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
US20190138799A1 (en) * 2016-03-28 2019-05-09 Beijing Sensetime Technology Development Co., Ltd Method and system for pose estimation
CN109829947A (zh) * 2019-02-25 2019-05-31 北京旷视科技有限公司 位姿确定方法、托盘装载方法、装置、介质及电子设备
US20190197713A1 (en) * 2017-12-27 2019-06-27 Interdigital Ce Patent Holdings Method and apparatus for depth-map estimation
CN109948624A (zh) * 2019-02-18 2019-06-28 北京旷视科技有限公司 特征提取的方法、装置、电子设备和计算机存储介质
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5541426B1 (ja) * 2012-08-10 2014-07-09 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN108230437B (zh) * 2017-12-15 2021-11-09 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
JP6943183B2 (ja) * 2018-01-05 2021-09-29 オムロン株式会社 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置
CN108364302B (zh) * 2018-01-31 2020-09-22 华南理工大学 一种无标记的增强现实多目标注册跟踪方法
CN110473259A (zh) * 2019-07-31 2019-11-19 深圳市商汤科技有限公司 位姿确定方法及装置、电子设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090074238A1 (en) * 2007-04-23 2009-03-19 Hanspeter Pfister Method and System for Determining Poses of Objects from Range Images Using Adaptive Sampling of Pose Spaces
US20190138799A1 (en) * 2016-03-28 2019-05-09 Beijing Sensetime Technology Development Co., Ltd Method and system for pose estimation
US20190197713A1 (en) * 2017-12-27 2019-06-27 Interdigital Ce Patent Holdings Method and apparatus for depth-map estimation
CN108062776A (zh) * 2018-01-03 2018-05-22 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN108734736A (zh) * 2018-05-22 2018-11-02 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及存储介质
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN109697734A (zh) * 2018-12-25 2019-04-30 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN109948624A (zh) * 2019-02-18 2019-06-28 北京旷视科技有限公司 特征提取的方法、装置、电子设备和计算机存储介质
CN109829947A (zh) * 2019-02-25 2019-05-31 北京旷视科技有限公司 位姿确定方法、托盘装载方法、装置、介质及电子设备

Also Published As

Publication number Publication date
WO2021017358A1 (zh) 2021-02-04
CN110473259A (zh) 2019-11-19
JP2022540072A (ja) 2022-09-14
US20220122292A1 (en) 2022-04-21
TW202107339A (zh) 2021-02-16

Similar Documents

Publication Publication Date Title
TWI753348B (zh) 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
CN111983635B (zh) 位姿确定方法及装置、电子设备和存储介质
TWI769635B (zh) 網路訓練、行人重識別方法、電子設備及電腦可讀存儲介質
WO2020135529A1 (zh) 位姿估计方法及装置、电子设备和存储介质
US20210097715A1 (en) Image generation method and device, electronic device and storage medium
WO2020134866A1 (zh) 关键点检测方法及装置、电子设备和存储介质
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
TW202113757A (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
TWI767596B (zh) 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質
WO2022227405A1 (zh) 道路病害检测方法及装置、电子设备和存储介质
WO2021035833A1 (zh) 姿态预测方法、模型训练方法及装置
WO2023103377A1 (zh) 标定方法及装置、电子设备、存储介质及计算机程序产品
WO2020181728A1 (zh) 图像处理方法及装置、电子设备和存储介质
TWI778313B (zh) 圖像處理方法、電子設備和儲存介質
WO2022179013A1 (zh) 目标定位方法、装置、电子设备、存储介质及程序
WO2022134475A1 (zh) 点云地图构建方法及装置、电子设备、存储介质和程序
CN113066135A (zh) 图像采集设备的标定方法及装置、电子设备和存储介质
WO2022247091A1 (zh) 人群定位方法及装置、电子设备和存储介质
WO2022016803A1 (zh) 视觉定位方法及装置、电子设备和计算机可读存储介质
WO2023142554A1 (zh) 计数方法及装置、电子设备、存储介质和计算机程序产品
WO2023155393A1 (zh) 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品
WO2022110801A1 (zh) 数据处理方法及装置、电子设备和存储介质
WO2023155350A1 (zh) 一种人群定位方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees