TWI748439B - 一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體 - Google Patents

一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI748439B
TWI748439B TW109114996A TW109114996A TWI748439B TW I748439 B TWI748439 B TW I748439B TW 109114996 A TW109114996 A TW 109114996A TW 109114996 A TW109114996 A TW 109114996A TW I748439 B TWI748439 B TW I748439B
Authority
TW
Taiwan
Prior art keywords
current frame
map data
feature
frame
matching
Prior art date
Application number
TW109114996A
Other languages
English (en)
Other versions
TW202100955A (zh
Inventor
謝衛健
王楠
錢權浩
章國鋒
Original Assignee
大陸商浙江商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商浙江商湯科技開發有限公司 filed Critical 大陸商浙江商湯科技開發有限公司
Publication of TW202100955A publication Critical patent/TW202100955A/zh
Application granted granted Critical
Publication of TWI748439B publication Critical patent/TWI748439B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本發明涉及一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體，其中，所述方法包括：從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；獲得第二終端所採集圖像中的當前幀；將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。採用本發明，能準確地在共享地圖中對處於移動的多個終端，實現彼此間精準的定位。

Description

一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體
本發明涉及定位技術領域，尤其涉及一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體。
多個終端可以在各自的坐標體系中移動及進行自身定位。隨著定位技術的發展，基於共享地圖的定位技術有廣闊的應用場景，比如，一個應用場景中，即時定位與地圖構建（SLAM，simultaneous localization and mapping），是機器人在未知環境中從一個未知位置開始行動，在行動過程中根據位置估計和地圖進行自身定位，以實現機器人的自主定位和地圖共享。
如果多個終端共享同一個地圖，即多個終端在共享地圖中移動及定位，如何實現多個終端間彼此精準的定位是要解決的技術問題。然而，相關技術中未存在有效的解決方案。
本發明提出了一種基於共享地圖的定位技術方案。
根據本發明的一方面，提供了一種基於共享地圖的定位方法，所述方法包括：
從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；
獲得第二終端所採集圖像中的當前幀；
將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。
採用本發明，由於可以從包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據。而與所述關鍵幀相關聯的局部地圖數據中，包含與當前幀最相似的多個關鍵幀構成的候選幀，從而與當前幀進行特徵匹配的關鍵幀數據量變多了，因此，特徵匹配的精確度隨之提高，則根據該匹配結果得到當前幀的定位結果後，根據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。
可能的實現方式中，所述獲得第二終端所採集圖像中的當前幀之前，所述方法還包括：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
採用本發明，可以判斷當前幀中提取特徵點的數量是否符合用於特徵匹配的期望閾值，符合就直接使用當前幀中提取的特徵點，不符合再觸發對所述當前幀補充特徵點的處理。
可能的實現方式中，所述第二終端採集的當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
採用本發明，第二終端採集的當前幀，可以是直接使用當前幀中提取的特徵點，也可以是執行對所述當前幀補充特徵點的處理後得到的當前幀，從而根據實際需求來採用不同的特徵點提取方式。
可能的實現方式中，執行對所述當前幀補充特徵點的處理，包括：
獲得用於對當前幀進行特徵點提取的第一篩選閾值；
根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
採用本發明，觸發對所述當前幀補充特徵點的處理後，可以對篩選閾值進行自適應調整，並根據調整後的篩選閾值來增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。從而用更多的特徵點進行特徵匹配，匹配效果會更加精確。
可能的實現方式中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
採用本發明，任何外部訊息或當前幀自身的訊息都會影響到篩選閾值的自適應調整，將至少一種情況都考慮在內，則後續根據調整後的篩選閾值來增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。從而用更多的特徵點進行特徵匹配，匹配效果會更加精確。
可能的實現方式中，所述將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：
將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；
從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；
根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。
採用本發明，將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D到2D的特徵匹配，也就是說，確定在二維空間中的位置。由於位姿包括朝向和位移，位移可以通過二維空間中的位置來描述，可確定朝向這種形態，還需要3D訊息，因此，需要從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息，以便根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果，從而根據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。
根據本發明的一方面，提供了一種基於共享地圖的定位方法，所述方法包括：
第一終端進行圖像採集，得到包含至少一個關鍵幀的全局地圖數據；
所述第一終端從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；
所述第一終端接收第二終端採集的當前幀，將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，發送所述定位結果。
採用本發明，通過第一終端採集得到包含至少一個關鍵幀的全局地圖數據，在第一終端側進行定位，具體是從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，將從第二終端獲得的當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，發送定位結果給第二終端。由於可以從包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據。根據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。
可能的實現方式中，所述第一終端從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，包括：
以所述關鍵幀爲參考中心，將根據所述關鍵幀和預設提取範圍得到的地圖數據作爲所述局部地圖數據。
採用本發明，以所述關鍵幀爲參考中心所提取預定範圍的數據，必然是與所述關鍵幀相關聯的局部地圖數據，將關鍵幀和其相關聯局部地圖數據共同作爲與當前幀所匹配的訊息，則提高了特徵點匹配的數據量，從而可以得到更精確的匹配效果。
可能的實現方式中，所述將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：
將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；
從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；
根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。
採用本發明，將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D到2D的特徵匹配，也就是說，確定在二維空間中的位置。由於位姿包括朝向和位移，位移可以通過二維空間中的位置來描述，可確定朝向這種形態，還需要3D訊息，因此，需要從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息，以便根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果，從而根據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。
根據本發明的一方面，提供了一種基於共享地圖的定位方法，所述方法包括：
第二終端進行圖像採集，得到所採集圖像中的當前幀，發送所述當前幀；
所述第二終端接收定位結果，所述定位結果爲第一終端將所述當前幀與所述關鍵幀相關聯的局部地圖數據進行特徵匹配，根據匹配結果得到的結果；
其中，全局地圖數據爲第一終端所採集圖像中包含至少一個關鍵幀的地圖數據且數據量大於所述局部地圖數據。
採用本發明，在第一終端側進行定位，據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。進一步的，在第二終端進行當前幀特徵點的增補處理，通過對當前幀特徵點的增補處理，提高進行特徵匹配的特徵點數據，特徵匹配的精確度隨之提高。
可能的實現方式中，所述第二終端進行圖像採集，得到所採集圖像中的當前幀之前，所述方法還包括：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
採用本發明，可以判斷當前幀中提取特徵點的數量是否符合用於特徵匹配的期望閾值，符合就直接使用當前幀中提取的特徵點，不符合再觸發對所述當前幀補充特徵點的處理。
可能的實現方式中，所述第二終端採集的當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
採用本發明，第二終端採集的當前幀，可以是直接使用當前幀中提取的特徵點，也可以是執行對所述當前幀補充特徵點的處理後得到的當前幀，從而根據實際需求來採用不同的特徵點提取方式。
可能的實現方式中，執行對所述當前幀補充特徵點的處理，包括：
獲得用於對當前幀進行特徵點提取的第一篩選閾值；
根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
採用本發明，觸發對所述當前幀補充特徵點的處理後，可以對第一篩選閾值進行自適應調整，並根據調整後的第一篩選閾值來增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。從而用更多的特徵點進行特徵匹配，匹配效果會更加精確。
可能的實現方式中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
採用本發明，任何外部訊息或當前幀自身的訊息都會影響到第一篩選閾值的自適應調整，將至少一種情況都考慮在內，則後續根據調整後的篩選閾值來增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。從而用更多的特徵點進行特徵匹配，匹配效果會更加精確。
根據本發明的一方面，提供了一種基於共享地圖的定位方法，所述方法包括：
第二終端接收包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據；
所述第二終端進行圖像採集，得到所採集圖像中的當前幀；
所述第二終端將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。
採用本發明，在第二終端側進行定位，具體是從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，將從第二終端獲得的當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。由於可以從包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據。根據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。
可能的實現方式中，所述第二終端進行圖像採集，得到所採集圖像中的當前幀之前，所述方法還包括：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
採用本發明，可以判斷當前幀中提取特徵點的數量是否符合用於特徵匹配的期望閾值，符合就直接使用當前幀中提取的特徵點，不符合再觸發對所述當前幀補充特徵點的處理。
可能的實現方式中，所述當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
採用本發明，第二終端採集的當前幀，可以是直接使用當前幀中提取的特徵點，也可以是執行對所述當前幀補充特徵點的處理後得到的當前幀，從而根據實際需求來採用不同的特徵點提取方式。
可能的實現方式中，執行對所述當前幀補充特徵點的處理，包括：
獲得用於對當前幀進行特徵點提取的第一篩選閾值；
根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
採用本發明，觸發對所述當前幀補充特徵點的處理後，可以對篩選閾值進行自適應調整，並根據調整後的篩選閾值來增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。從而用更多的特徵點進行特徵匹配，匹配效果會更加精確。
可能的實現方式中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
採用本發明，任何外部訊息或當前幀自身的訊息都會影響到篩選閾值的自適應調整，將至少一種情況都考慮在內，則後續根據調整後的篩選閾值來增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。從而用更多的特徵點進行特徵匹配，匹配效果會更加精確。
可能的實現方式中，所述將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：
將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；
從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；
根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。
採用本發明，將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D到2D的特徵匹配，也就是說，確定在二維空間中的位置。由於位姿包括朝向和位移，位移可以通過二維空間中的位置來描述，可確定朝向這種形態，還需要3D訊息，因此，需要從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息，以便根據所述3D訊息得到所述當前幀的位置，將所述當前幀的位置作爲所述定位結果，從而根據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。
根據本發明的一方面，提供了一種基於共享地圖的定位方法，所述方法包括：
接收第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據；
接收第二終端所採集圖像中的當前幀；
將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果；
發送所述定位結果。
採用本發明，在雲端進行定位，發送定位結果給第二終端。由於可以從包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據。根據該定位結果對多個終端在共享地圖中移動及定位，可以實現彼此間精準的定位。
根據本發明的一方面，提供了一種基於共享地圖的定位裝置，所述裝置包括：
第一提取單元，用於從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；
第一獲得單元，用於獲得第二終端所採集圖像中的當前幀；
第一匹配單元，用於將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。
可能的實現方式中，所述裝置還包括：觸發單元，用於：
判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
可能的實現方式中，所述裝置還包括：特徵點增補單元，用於：
獲得用於對當前幀進行特徵點提取的第一篩選閾值；
根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
根據本發明的一方面，提供了一種基於共享地圖的定位裝置，所述裝置包括：
第一採集單元，用於進行圖像採集，得到包含至少一個關鍵幀的全局地圖數據；
第一提取單元，用於從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；
第一匹配單元，用於接收第二終端採集的當前幀，將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，發送所述定位結果。
可能的實現方式中，所述第一匹配單元，進一步用於：
將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；
從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；
根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。
根據本發明的一方面，提供了一種基於共享地圖的定位裝置，所述裝置包括：
第二採集單元，用於進行圖像採集，得到所採集圖像中的當前幀，發送所述當前幀；
第二匹配單元，用於接收定位結果，所述定位結果爲第一終端將所述當前幀與所述關鍵幀相關聯的局部地圖數據進行特徵匹配，根據匹配結果得到的結果；
其中，全局地圖數據爲第一終端所採集圖像中包含至少一個關鍵幀的地圖數據且數據量大於所述局部地圖數據。
可能的實現方式中，所述裝置還包括：特徵點增補單元，用於：
獲得用於對當前幀進行特徵點提取的第一篩選閾值；
根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
根據本發明的一方面，提供了一種基於共享地圖的定位裝置，所述裝置包括：
第二提取單元，用於接收包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據；
第二採集單元，用於進行圖像採集，得到所採集圖像中的當前幀；
第二匹配單元，用於將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。
根據本發明的一方面，提供了一種基於共享地圖的定位裝置，所述裝置包括：
第一接收單元，用於接收第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據；
第二接收單元，用於接收第二終端所採集圖像中的當前幀；
第三匹配單元，用於將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果；
第三定位單元，用於發送所述定位結果。
根據本發明的一方面，提供了一種電子設備，包括：
處理器；
用於儲存處理器可執行指令的記憶體；
其中，所述處理器被配置爲：執行上述基於共享地圖的定位方法。
根據本發明的一方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述基於共享地圖的定位方法。
根據本發明的一方面，提供了一種電腦程式，其中，所述電腦程式包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述基於共享地圖的定位方法。
在本發明實施例中，從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；獲得第二終端所採集圖像中的當前幀；將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。採用本發明，在當前幀與關鍵幀進行特徵匹配的過程中，由於可以從包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據。而與所述關鍵幀相關聯的局部地圖數據中，包含與當前幀最相似的多個關鍵幀構成的候選幀，從而與當前幀進行特徵匹配的關鍵幀數據量變多了，因此，特徵匹配的精確度隨之提高，則根據該匹配結果得到當前幀的定位結果，可以對多個終端（第一終端和第二終端不限於一個終端，僅起指代作用）在共享地圖中移動及定位，可以實現彼此間精準的定位。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好的說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
以即時定位與地圖構建（SLAM，simultaneous localization and mapping）爲例，SLAM問題可以描述爲：機器人在未知環境中從一個未知位置開始行動，在行動過程中根據位置估計和地圖進行自身定位，同時在自身定位的基礎上建造增量式地圖，實現機器人的自主定位和導航。當不同的機器人需要共享一個場景中彼此的位置時，則需要通過地圖共享，通過定位技術確定彼此在共享地圖中的位置，從而確定彼此在真實世界中的位置關係。在機器人、實境擴增實境（AR，Augmented Reality）、虛擬實境（VR，Virtual Reality）中，基於共享地圖的定位技術都有廣闊的應用場景。
構建地圖的方法不同，所得到的地圖也具有不同的特性，相應的定位技術也有較大的變化。例如基於雷射雷達的SLAM系統構建的地圖是一個稠密的點雲。其中，點雲是在同一空間參考系下表達目標空間分布和目標表面特性的海量點集合。定位上主要基於兩個點雲的匹配，即兩張點雲數據圖像的對應特徵點的特徵匹配。但是雷射雷達的設備成本較高，並且基於點雲對齊的定位技術，計算量會比較大。就硬體設備而言，相機的成本要比雷射雷達低廉很多，採用相機並基於視覺的定位方法，可以是首先進行圖像檢索，找出最相似的關鍵幀，然後將當前幀與關鍵幀進行特徵匹配，並根據匹配結果估算當前幀位姿。
然而，採用上述定位技術存在的問題是：其一、很多情況下由於計算性能或者SLAM框架的限制，每一幀圖像上提取特徵點的數量是有限定的，否則可能因爲特徵點提取耗時過久拖累SLAM算法性能，這就有可能導致在視角變化或者弱紋理場景下容易出現定位失敗的情況。其二、在每幀圖像攜帶特徵點數量較少的情況下，基於兩幀圖像之間的匹配來進行定位很容易因爲自身圖像特徵點過少而導致定位失敗。採用本發明，可以採用如下任一方面的策略，或者是將兩方面的策略結合使用，宗旨是提高用於特徵匹配的數據量，從而提升弱紋理情況下的定位能力，及充分利用地圖訊息，提高定位成功率。
策略一：第一終端、第二終端和雲端所構成的定位框架中，可以在用於定位的定位單元（定位單元可以在第一終端側，第二終端側或者雲端）中，在第一終端發送的包括至少一個關鍵幀的共享地圖中檢索出與第二終端所發送的當前幀最相似的至少一個關鍵幀圖像後，得到與至少一個關鍵幀相關聯的局部點雲訊息來進行特徵匹配，而不是採用全部的點雲訊息來進行特徵匹配，從而可以充分利用共享地圖的視覺訊息，也就是說，區別於當前幀與關鍵幀的特徵匹配，是將當前幀與該關鍵幀相關聯的局部點雲訊息進行特徵匹配。顯然用於特徵匹配的數據量增多了，隨之，定位成功率也就提高了。
策略二：使用當前幀在共享地圖上進行定位時，根據環境自適應的增補特徵點，使當前幀上提取到的特徵點數量始終處於一個較高數量，比如，當前幀上提取到的特徵點數量大於採用SLAM系統自身跟蹤時得到當前幀的實際特徵點數量。顯然用於特徵匹配的數據量增多了，隨之，定位成功率也就提高了。
圖1示出根據本發明實施例的基於共享地圖的定位方法的流程圖，該基於共享地圖的定位方法應用於基於共享地圖的定位裝置，例如，基於共享地圖的定位裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以爲用戶設備（UE，User Equipment）、行動設備、行動電話、無線電話、個人數位助理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該基於共享地圖的定位方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖1所示，該流程包括：
步驟S101、從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據。
一示例中，該與所述關鍵幀相關聯的局部地圖數據，可以爲與關鍵幀關聯的局部點雲數據，所述局部點雲數據可以選取所述關鍵幀爲中心。關鍵幀指：與當前幀最相似的候選幀。
步驟S102、獲得第二終端所採集圖像中的當前幀。
如果當前幀中特徵點的數量大於等於用於特徵匹配的期望閾值，則直接將當前幀與局部地圖數據進行特徵匹配。如果當前幀中特徵點的數量小於該期望閾值的情況下觸發對當前幀補充特徵點的處理。
步驟S103、將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。
步驟S103後，還可以包括：根據所述定位結果得到所述第一終端和所述第二終端共享所述全局地圖數據情況下彼此的位置關係。
採用本發明，區別於將當前幀與關鍵幀進行特徵匹配來實現定位，是用更多的特徵點進行特徵匹配，如，將當前幀與以關鍵幀爲中心所形成的局部點雲數據進行特徵匹配。採用局部點雲數據，是用更多的特徵點，或者說是用局部地圖來補充當前幀與關鍵幀二者的匹配關係，從而達到更精確的處理效果，實現精準的定位。
圖2示出根據本發明實施例的基於共享地圖的定位方法的流程圖，該基於共享地圖的定位方法應用於基於共享地圖的定位裝置，例如，基於共享地圖的定位裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以爲用戶設備（UE，User Equipment）、行動設備、行動電話、無線電話、個人數位助理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該基於共享地圖的定位方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖2所示，該流程包括：
步驟S201、從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據。
一示例中，該與所述關鍵幀相關聯的局部地圖數據，可以爲與關鍵幀關聯的局部點雲數據，所述局部點雲數據可以選取所述關鍵幀爲中心。關鍵幀指：與當前幀最相似的候選幀。
步驟S202、判斷從當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，如果小於所述期望閾值，則執行步驟S203；否則，執行步驟S204。
在採集的圖像爲弱紋理情況，或者每幀圖像攜帶特徵點數量較少的情況下，會導致達不到上述期望閾值。
步驟S203、觸發對所述當前幀補充特徵點的處理，執行對當前幀補充特徵點的處理。
一示例中，執行對當前幀補充特徵點的處理，可以採用增補當前幀特徵點的特徵點增補單元，特徵點增補單元位於用於採集當前幀的第二終端側。
步驟S204、獲得第二終端所採集圖像中的當前幀。
如果當前幀中特徵點的數量大於等於用於特徵匹配的期望閾值，則當前幀爲通過採集圖像得到的當前幀；如果當前幀中特徵點的數量小於該期望閾值，則當前幀爲執行對所述當前幀補充特徵點的處理後得到的當前幀。
步驟S205、將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。
步驟S206、根據所述定位結果得到所述第一終端和所述第二終端共享所述全局地圖數據情況下彼此的位置關係。
採用本發明，區別於當前幀與關鍵幀比對來實現對位，可以對當前幀進行特徵點的補充，即用更多的特徵點比對從而達到更精確的處理效果，實現精準的定位。相關技術中，當前幀中特徵點數據量與採用SLAM系統自身跟蹤時實際得到的特徵點數量一致，在弱紋理情況下能提取到的特徵點數可能會急遽下降，本發明中，在提取當前幀特徵點的時候提取的點的數量會多於SLAM自身跟蹤時實際得到的特徵點數量（可以是LAM自身跟蹤時實際得到的特徵點數量兩倍或兩倍以上），並且在弱紋理情況下會補充提點，從而增加了當前幀的特徵點提取數量，提高了定位成功率。且通過自適應的修改提點的閾值，增强在弱紋理場景下的特徵點提取能力。
一個示例中，以兩個終端（手機）基於共享地圖定位爲例，兩個用戶分別手持一個手機，對著同一張桌子共同進行AR遊戲。其中，兩個手機能夠對同一個AR效果進行觀察以及互動，這就需要兩個終端處在一個坐標系下，彼此知道對方的位姿，而共享彼此的位姿就需要基於共享地圖實現彼此的定位。具體的，通過第一終端（手機1）進行圖像採集，得到包含至少一個關鍵幀的全局地圖數據。從全局地圖數據中提取出與關鍵幀相關聯的局部地圖數據（如局部點雲數據），該局部點雲數據可以選取該關鍵幀（與當前幀最相似的候選幀）爲中心。通過第二終端（手機2）採集圖像，得到當前幀，如果當前幀中特徵點的數量大於等於用於特徵匹配的期望閾值，則直接將當前幀與局部地圖數據進行特徵匹配；如果當前幀中特徵點的數量小於該期望閾值的情況下觸發對當前幀補充特徵點的處理，也就是說，可以對當前幀進行補充提點（或稱增補特徵點）。進一步還可以自適應調整提點的閾值以獲得更多的特徵點。將當前幀（或者增補特徵點後得到的當前幀）與局部點雲數據進行特徵匹配，使用局部地圖來補充當前幀與關鍵幀的匹配關係以達到提高定位成功率。根據匹配結果得到當前幀的定位結果，根據定位結果得到第一終端（手機1）和第二終端（手機2）共享全局地圖數據情況下彼此的位置關係。其中，共享的含義是指：第一終端（手機1）和第二終端（手機2）位於該地圖所在的同一坐標系下，可以在該同一坐標系下定位彼此的位置或者位姿等訊息。
本發明一可能實現方式中，執行對當前幀補充特徵點的處理，包括：獲得用於對當前幀進行特徵點提取的第一篩選閾值，根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。其中，參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。具體來說，1）該環境訊息是外部可能導致提取特徵點數量不足的影響因素之一：如光照情況，周邊遮擋等至少一種訊息，不限於會導致特徵點數量較少或降低的至少一種情況下的影響訊息。2）該圖像採集設備中參數訊息可以是感測器參數訊息，是外部可能導致提取特徵點數量不足的影響因素之二，如相機的感測器採集的靈敏度、清晰度、曝光、對比度等等。3）該當前幀本身的圖像訊息，是其自身可能導致提取特徵點數量不足的影響因素之一，比如有的圖像本身紋理少，圖像簡單，相應的，可供提取的特徵點本身可能就不多。
本發明一可能實現方式中，將當前幀與局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：將當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果。從2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出3D訊息。根據3D訊息得到當前幀的位姿，將當前幀的位姿作爲所述定位結果。具體來說，進行特徵點2D到2D的特徵匹配後，可以篩選得到含有3D訊息的2D特徵匹配結果（簡稱篩選結果），根據該篩選結果可以求得當前幀的位姿。
圖3示出根據本發明實施例的基於共享地圖的定位方法的流程圖，該基於共享地圖的定位方法應用於基於共享地圖的定位裝置，例如，基於共享地圖的定位裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以爲用戶設備（UE，User Equipment）、行動設備、行動電話、無線電話、個人數位助理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該基於共享地圖的定位方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。其中，定位單元可以位於第一終端側，如圖3所示，該流程包括：
步驟S301、第一終端進行圖像採集，得到包含至少一個關鍵幀的全局地圖數據。
步驟S302、第二終端進行圖像採集，得到所採集圖像中的當前幀，發送當前幀給第二終端。
步驟S303、第一終端從全局地圖數據中，提取出與關鍵幀相關聯的局部地圖數據。
一示例中，全局地圖數據爲第一終端所採集圖像中包含至少一個關鍵幀的地圖數據且數據量大於局部地圖數據。
步驟S304、第一終端接收第二終端採集的當前幀，將當前幀與局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，發送定位結果給第二終端。
步驟S305、第二終端根據定位結果得到第一終端和第二終端共享全局地圖數據情況下彼此的位置關係。
本發明一可能實現方式中，第一終端從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，包括：以所述關鍵幀爲參考中心，將根據所述關鍵幀和預設提取範圍得到的地圖數據作爲所述局部地圖數據。
本發明一可能實現方式中，將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。具體來說，進行特徵點2D到2D的特徵匹配後，可以篩選得到含有3D訊息的2D特徵匹配結果（簡稱篩選結果），根據該篩選結果可以求得當前幀的位姿。
本發明一可能實現方式中，所述方法還包括：所述第二終端進行圖像採集，得到所採集圖像中的當前幀之前，判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。其中，第二終端採集的當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。一示例中，獲得用於對當前幀進行特徵點提取的第一篩選閾值；根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，當特徵點數量大於實際採集所獲取的特徵點數量時，可以結束對當前幀補充特徵點的處理。
本發明一可能實現方式中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
圖4示出根據本發明實施例的基於共享地圖的定位方法的流程圖，該基於共享地圖的定位方法應用於基於共享地圖的定位裝置，例如，基於共享地圖的定位裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以爲用戶設備（UE，User Equipment）、行動設備、行動電話、無線電話、個人數位助理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該基於共享地圖的定位方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。其中，定位單元可以位於第二終端側，如圖4所示，該流程包括：
步驟S401、第二終端接收包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據。
步驟S402、第二終端進行圖像採集，得到所採集圖像中的當前幀。
步驟S403、第二終端將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。
步驟S404、所述第二終端根據所述定位結果得到所述第一終端和所述第二終端共享所述全局地圖數據情況下彼此的位置關係。
本發明一可能實現方式中，所述方法還包括：所述第二終端進行圖像採集，得到所採集圖像中的當前幀之前，判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。其中，所述當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
本發明一可能實現方式中，執行對所述當前幀補充特徵點的處理，包括：獲得用於對當前幀進行特徵點提取的第一篩選閾值；根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。其中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
本發明一可能實現方式中，所述將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。具體來說，進行特徵點2D到2D的特徵匹配後，可以篩選得到含有3D訊息的2D特徵匹配結果（簡稱篩選結果），根據該篩選結果可以求得當前幀的位姿。
根據本發明實施例的基於共享地圖的定位方法，可以應用於基於共享地圖的定位裝置，例如，基於共享地圖的定位裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以爲用戶設備（UE，User Equipment）、行動設備、行動電話、無線電話、個人數位助理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該基於共享地圖的定位方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。其中，定位單元可以位於雲端，該流程包括：接收第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據。接收第二終端所採集圖像中的當前幀。將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。發送所述定位結果，以根據所述定位結果得到所述第一終端和所述第二終端共享所述全局地圖數據情況下彼此的位置關係。
應用示例：
圖5示出根據本發明實施例的基於共享地圖的定位方法，以兩個終端設備（設備一和設備二）爲例，不限於所示例的兩個終端設備，在多個終端設備間也可以通過共享地圖來進行定位。如圖5所示，定位過程包括：通過設備一通過掃描場景，生成至少包含一個關鍵幀構成的地圖，將這個地圖定義爲共享地圖，這個共享地圖可以保存於設備一本身或者上傳到其他終端設備（如設備二）上，還可以將該共享地圖存放於雲端。對共享地圖有需求的一個或多個設備（圖中簡略的標記爲設備二）可以將本設備採集到的當前幀數據給到定位單元。定位單元可以運行在任意一個設備或位於雲端上，除了設備二傳送過來的當前幀數據，定位單元還可以獲取到共享地圖數據。定位單元根據當前幀圖像以及共享地圖數據，可以得到當前幀的定位結果，並將定位結果傳送回設備二，通過這種方式，設備二可以得到自己相對於共享地圖的坐標系的相對位姿。
圖6示出根據本發明實施例的增補當前幀特徵點過程的示意圖。設備二可以根據特徵點增補單元，對當前幀圖像進行自適應調整以增補生成更多特徵點。如圖6所示，增補當前幀特徵點過程包括如下內容：
輸入：當前幀圖像；
輸出：特徵點及描述子（或稱爲特徵描述子），特徵描述子（Descriptor）是刻畫特徵的一個數據結構，一個描述子的維度可以是多維的；
1、以默認參數對設備二獲取到的當前幀圖像進行特徵點提取，提取的特徵點數量，可以是SLAM系統自身實際獲取到特徵點數量的兩倍。
2、檢查步驟1中提取出來的特徵點數量，如果特徵點數量少於特定的期望閾值，則跳轉至步驟3，否則跳轉至步驟4。
3、降低特徵點的篩選閾值，補充提點（或稱增補當前幀中的特徵點數量）。
4、對提取到的特徵點進行特徵描述子的提取，返回提取結果。
圖7示出根據本發明實施例的定位當前幀位置過程的示意圖，可以通過定位單元實現定位過程。如圖7所示，定位過程包括如下內容：
輸入：當前幀數據，共享地圖；
輸出：定位結果；
1、使用當前幀特徵訊息在共享地圖上進行圖像檢索，找到與當前幀圖像最相似的關鍵幀，稱之爲候選幀。
2、當前幀與候選幀進行特徵匹配，候選幀上的特徵點帶有3D訊息，因此可以得到一系列2D到3D的匹配結果。
3、根據步驟2得到的2D特徵點與3D點的匹配結果，可以最佳化求解出當前幀的位姿。
4、判斷步驟3得到的位姿是否有足夠多的內點，如果內點數量小於一定閾值，則繼續步驟5，否則跳轉至步驟7。
將當前幀與局部點雲數據中的至少一個關鍵幀進行特徵點2D到2D的特徵匹配後，可以篩選得到含有3D訊息的2D特徵匹配結果（簡稱篩選結果），根據該篩選結果可以求得當前幀的位姿。需要指出的是，該篩選結果並不都是品質好的特徵點，品質的好壞以用於特徵匹配爲依據，根據品質的好壞可以將特徵點分爲內點和外點。其中，內點是指：品質的好的特徵點；而外點是指：品質不夠好的特徵點。
需要指出的是，上述特徵匹配會涉及到多視圖幾何（Multiple View Geometry）的概念，多視圖幾何，是指：用幾何的方法，通過若干幅二維圖像，來恢復三維物體，簡言之就是研究三維重構，主要應用與電腦視覺中。通過多視圖幾何技術，不僅使電腦能感知三維環境中的幾何訊息，包括它的形狀、位置、姿態、移動等，而且能對它們進行描述、儲存、識別與理解。在電腦視覺中，需要找出兩幀圖像的特徵匹配點，比如，在兩幀圖像中的一幀圖像，根據圖像品質和紋理訊息可以提取出1000個特徵點（二維的）；在兩幀圖像中的另一幀圖像，也可以根據圖像品質和紋理訊息提取出1000個特徵點（二維的），需要找到這兩幅圖像如何相關，需要進行特徵點匹配，比如，兩幀圖像進行特徵點匹配得到600個特徵點是相關的，因爲，特徵點的最大特點就是它具有唯一可識別圖像訊息的能力。由於物體是移動的，會産生位移，那麽這兩幀圖像中的特徵點所描述的訊息（如2D特徵點所包含的3D訊息）可能不同，或者說利用多視圖幾何概念進行多視角觀測，換個視角看，角度不同，特徵點所描述的訊息（如2D特徵點所包含的3D訊息）可能不同，甚至可能出現對圖像遮擋或失真等極端情況，導致，並不是所有2D特徵點都包含3D訊息，或者說包含可應用的3D訊息，比如這600個特徵點中只有300個2D特徵點包含3D訊息，因此，需要篩選得到含有3D訊息的2D特徵匹配結果（簡稱篩選結果）後再根據該篩選結果求得當前幀的位姿，這樣才會更準確。
5、以步驟1得到的候選幀爲基礎，選出與該候選幀有共視關係的至少一幀並作爲關鍵幀，將這些關鍵幀包含的點雲集合作爲局部地圖數據（或稱局部點雲數據），使用步驟3得到位姿作爲初始位姿，進行補充匹配。
6、根據步驟5得到的匹配結果，最佳化求解出當前幀的位姿，返回定位結果。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
此外，本發明還提供了基於共享地圖的定位裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本發明提供的任一種基於共享地圖的定位方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖8示出根據本發明實施例的基於共享地圖的定位裝置的方塊圖，如圖8所示，本發明實施例的基於共享地圖的定位裝置，包括：第一提取單元31，用於從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；第一獲得單元32，用於獲得第二終端所採集圖像中的當前幀；第一匹配單元33，用於將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果。該裝置還包括：第一定位單元，用於根據所述定位結果得到所述第一終端和所述第二終端共享所述全局地圖數據情況下彼此的位置關係。
本發明可能的實現方式中，所述裝置還包括：觸發單元，用於：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
本發明可能的實現方式中，所述第二終端採集的當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
本發明可能的實現方式中，所述裝置還包括：特徵點增補單元，用於：獲得用於對當前幀進行特徵點提取的第一篩選閾值；根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
本發明可能的實現方式中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
本發明可能的實現方式中，所述第一匹配單元，進一步用於：將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。
根據本發明實施例的基於共享地圖的定位裝置，所述裝置包括：第一採集單元，用於進行圖像採集，得到包含至少一個關鍵幀的全局地圖數據；第一提取單元，用於從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據；第一匹配單元，用於接收第二終端採集的當前幀，將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，發送所述定位結果。
本發明可能的實現方式中，所述第一提取單元，進一步用於：以所述關鍵幀爲參考中心，將根據所述關鍵幀和預設提取範圍得到的地圖數據作爲所述局部地圖數據。
本發明可能的實現方式中，所述第一匹配單元，進一步用於：將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。
根據本發明實施例的基於共享地圖的定位裝置，所述裝置包括：第二採集單元，用於進行圖像採集，得到所採集圖像中的當前幀，發送所述當前幀；第二匹配單元，用於接收定位結果，所述定位結果爲第一終端將所述當前幀與所述關鍵幀相關聯的局部地圖數據進行特徵匹配，根據匹配結果得到的結果；第二定位單元，用於根據所述定位結果得到所述第一終端和所述第二終端共享全局地圖數據情況下彼此的位置關係；其中，全局地圖數據爲第一終端所採集圖像中包含至少一個關鍵幀的地圖數據且數據量大於所述局部地圖數據。
本發明可能的實現方式中，所述裝置還包括：觸發單元，用於：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
本發明可能的實現方式中，所述第二終端採集的當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
本發明可能的實現方式中，所述裝置還包括：特徵點增補單元，用於：獲得用於對當前幀進行特徵點提取的第一篩選閾值；根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
本發明可能的實現方式中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
根據本發明實施例的基於共享地圖的定位裝置，所述裝置包括：第二提取單元，用於接收包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據；第二採集單元，用於進行圖像採集，得到所採集圖像中的當前幀；第二匹配單元，用於將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果；第二定位單元，用於根據所述定位結果得到所述第一終端和所述第二終端共享所述全局地圖數據情況下彼此的位置關係。
根據本發明實施例的所述裝置還包括：觸發單元，用於：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下 觸發對所述當前幀補充特徵點的處理。
根據本發明實施例的所述當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
根據本發明實施例的所述裝置還包括：特徵點增補單元，用於：獲得用於對當前幀進行特徵點提取的第一篩選閾值；根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
根據本發明實施例的所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
根據本發明實施例的所述第二定位單元，進一步用於：將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作爲所述定位結果。
根據本發明實施例的基於共享地圖的定位裝置，所述裝置包括：第一接收單元，用於接收第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據；第二接收單元，用於接收第二終端所採集圖像中的當前幀；第三匹配單元，用於將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果；第三定位單元，用於發送所述定位結果，以根據所述定位結果得到所述第一終端和所述第二終端共享所述全局地圖數據情況下彼此的位置關係。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，爲了簡潔，這裏不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述基於共享地圖的定位方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置爲執行上述基於共享地圖的定位方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
本發明實施例還提出一種電腦程式，其中，所述電腦程式包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述基於共享地圖的定位方法。
圖9是根據一示例性實施例示出的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。此時，定位單元位於任一終端側。
參照圖9，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/O）的介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，訊息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除式可程式化唯讀記憶體（EEPROM），可抹除式可程式化唯讀記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置鏡頭和/或後置鏡頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置鏡頭和/或後置鏡頭可以接收外部的多媒體數據。每個前置鏡頭和後置鏡頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置爲輸出和/或輸入音訊訊號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置爲接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊訊號。
I/O介面812爲處理組件802和周邊介面模組之間提供介面，上述周邊介面模組可以是鍵盤，滑鼠，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通訊組件816經由廣播通道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（RFID）技術，紅外數據協會（IrDA）技術，超寬帶（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位訊號處理設備（DSPD）、可程式化邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖10是根據一示例性實施例示出的一種電子設備900的方塊圖。例如，電子設備900可以被提供爲一伺服器。參照圖10，電子設備900包括處理組件922，其進一步包括一個或多個處理器，以及由記憶體932所代表的記憶體資源，用於儲存可由處理組件922的執行的指令，例如應用程式。記憶體932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件922被配置爲執行指令，以執行上述方法。此時，定位單元位於雲端。
電子設備900還可以包括一個電源組件926被配置爲執行電子設備900的電源管理，一個有線或無線網路介面950被配置爲將電子設備900連接到網路，和一個輸入輸出（I/O）介面958。電子設備900可以操作基於儲存在記憶體932的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體932，上述電腦程式指令可由電子設備900的處理組件922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：可攜式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除式可程式化唯讀記憶體（EPROM或快閃）、靜態隨機存取記憶體（SRAM）、可攜式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋爲瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、硬體指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的源代碼或目標代碼，所述程式化語言包括面向對象的程式化語言—諸如Smalltalk、C++等，以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式化邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置（系統）和電腦程式産品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生産出一種機器，使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時，産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以産生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
31:第一提取單元 32:第一獲得單元 33:第一匹配單元 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出介面 814:感測器組件 816:通訊組件 820:處理器 900:電子設備 922:處理組件 926:電源組件 932:記憶體 950:網路介面 958:輸入/輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案： 圖1示出根據本發明實施例的基於共享地圖的定位方法的流程圖； 圖2示出根據本發明實施例的基於共享地圖的定位方法的流程圖； 圖3示出根據本發明實施例的基於共享地圖的定位方法的流程圖； 圖4示出根據本發明實施例的基於共享地圖的定位方法的流程圖； 圖5示出根據本發明實施例的基於共享地圖的定位方法的流程圖； 圖6示出根據本發明實施例的增補當前幀特徵點過程的示意圖； 圖7示出根據本發明實施例的定位當前幀位姿過程的示意圖； 圖8示出根據本發明實施例的基於共享地圖的定位裝置的方塊圖； 圖9示出根據本發明實施例的電子設備的方塊圖；及 圖10示出根據本發明實施例的電子設備的方塊圖。
S101~S103:步驟

Claims (19)

  1. 一種基於共享地圖的定位方法，其特徵在於，所述方法包括：從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，其中，所述局部地圖數據，包括與所述關鍵幀關聯的局部點雲數據，所述局部點雲數據選取所述關鍵幀為中心；獲得第二終端所採集圖像中的當前幀；將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，所述定位結果包括所述當前幀的位姿。
  2. 如請求項1所述的方法，其中，所述獲得第二終端所採集圖像中的當前幀之前，所述方法還包括：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
  3. 如請求項2所述的方法，其中，所述第二終端採集的當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
  4. 如請求項2或3所述的方法，其中，執行對所述當前幀補充特徵點的處理，包括：獲得用於對當前幀進行特徵點提取的第一篩選閾值；根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到 所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
  5. 如請求項4所述的方法，其中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
  6. 如請求項1所述的方法，其中，所述將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作為所述定位結果。
  7. 一種基於共享地圖的定位方法，其特徵在於，所述方法包括：第一終端進行圖像採集，得到包含至少一個關鍵幀的全局地圖數據；所述第一終端從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，其中，所述局部地圖數據，包括與所述關鍵幀關聯的局部點雲數據，所述局部點雲數據選取所述關鍵幀為中心；所述第一終端接收第二終端採集的當前幀，將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得 到當前幀的定位結果，發送所述定位結果，所述定位結果包括所述當前幀的位姿。
  8. 如請求項7所述的方法，其中，所述第一終端從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，包括：以所述關鍵幀為參考中心，將根據所述關鍵幀和預設提取範圍得到的地圖數據作為所述局部地圖數據。
  9. 如請求項7或8所述的方法，其中，所述將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括：將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作為所述定位結果。
  10. 一種基於共享地圖的定位方法，其特徵在於，所述方法包括：第二終端接收包含至少一個關鍵幀的全局地圖數據，從所述全局地圖數據中提取出與所述關鍵幀相關聯的局部地圖數據，其中，所述局部地圖數據，包括與所述關鍵幀關聯的局部點雲數據，所述局部點雲數據選取所述關鍵幀為中心；所述第二終端進行圖像採集，得到所採集圖像中的當 前幀；所述第二終端將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，所述定位結果包括所述當前幀的位姿。
  11. 如請求項10所述的方法，其中，所述第二終端進行圖像採集，得到所採集圖像中的當前幀之前，所述方法還包括：判斷從所述當前幀中提取特徵點的數量是否小於用於特徵匹配的期望閾值，在小於所述期望閾值的情況下觸發對所述當前幀補充特徵點的處理。
  12. 如請求項11所述的方法，其中，所述當前幀，包括執行對所述當前幀補充特徵點的處理後得到的當前幀。
  13. 如請求項11或12所述的方法，其中，執行對所述當前幀補充特徵點的處理，包括：獲得用於對當前幀進行特徵點提取的第一篩選閾值；根據參考訊息對所述第一篩選閾值進行自適應調整，得到第二篩選閾值，根據所述第二篩選閾值增補特徵點到所述當前幀中，使特徵點數量大於實際採集所獲取的特徵點數量。
  14. 如請求項13所述的方法，其中，所述參考訊息包括：進行圖像採集的環境訊息、圖像採集設備中參數訊息、當前幀自身圖像訊息中的至少一種訊息。
  15. 如請求項10所述的方法，其中，所述將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，包括： 將所述當前幀與所述局部地圖數據中的至少一個關鍵幀進行特徵點2D的特徵匹配，得到2D特徵匹配結果；從所述2D特徵匹配結果中，篩選出含有3D訊息的2D特徵匹配結果並提取出所述3D訊息；根據所述3D訊息得到所述當前幀的位姿，將所述當前幀的位姿作為所述定位結果。
  16. 一種基於共享地圖的定位裝置，其特徵在於，所述裝置包括：第一提取單元，用於從第一終端所採集圖像的包含至少一個關鍵幀的全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，其中，所述局部地圖數據，包括與所述關鍵幀關聯的局部點雲數據，所述局部點雲數據選取所述關鍵幀為中心；第一獲得單元，用於獲得第二終端所採集圖像中的當前幀；第一匹配單元，用於將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，所述定位結果包括所述當前幀的位姿。
  17. 一種基於共享地圖的定位裝置，其特徵在於，所述裝置包括：第一採集單元，用於進行圖像採集，得到包含至少一個關鍵幀的全局地圖數據；第一提取單元，用於從所述全局地圖數據中，提取出與所述關鍵幀相關聯的局部地圖數據，其中，所述局部地 圖數據，包括與所述關鍵幀關聯的局部點雲數據，所述局部點雲數據選取所述關鍵幀為中心；第一匹配單元，用於接收第二終端採集的當前幀，將所述當前幀與所述局部地圖數據進行特徵匹配，根據匹配結果得到當前幀的定位結果，發送所述定位結果，所述定位結果包括所述當前幀的位姿。
  18. 一種電子設備，其特徵在於，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行如請求項1至6、請求項7至9、請求項10至15其中任意一項所述的方法。
  19. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，其特徵在於，所述電腦程式指令被處理器執行時實現如請求項1至6、請求項7至9、請求項10至15其中任意一項所述的方法。
TW109114996A 2019-06-27 2020-05-06 一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體 TWI748439B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910569120.6 2019-06-27
CN201910569120.6A CN112148815B (zh) 2019-06-27 2019-06-27 一种基于共享地图的定位方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202100955A TW202100955A (zh) 2021-01-01
TWI748439B true TWI748439B (zh) 2021-12-01

Family

ID=73868781

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114996A TWI748439B (zh) 2019-06-27 2020-05-06 一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體

Country Status (6)

Country Link
US (1) US20210350170A1 (zh)
JP (1) JP7261889B2 (zh)
CN (1) CN112148815B (zh)
SG (1) SG11202108199YA (zh)
TW (1) TWI748439B (zh)
WO (1) WO2020258936A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763475A (zh) * 2021-09-24 2021-12-07 北京百度网讯科技有限公司 定位方法、装置、设备、系统、介质和自动驾驶车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201525512A (zh) * 2013-12-26 2015-07-01 China Academy Of Telecomm Tech 一種定位方法及裝置
US20160005229A1 (en) * 2014-07-01 2016-01-07 Samsung Electronics Co., Ltd. Electronic device for providing map information
US20160148417A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Electronic device and method for providing map service
TWI648556B (zh) * 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
TW201915952A (zh) * 2017-09-28 2019-04-16 香港商阿里巴巴集團服務有限公司 可視化對象的產生方法、裝置和設備
TWI657230B (zh) * 2017-09-18 2019-04-21 財團法人工業技術研究院 導航定位裝置及應用其之導航定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217221B2 (en) * 2016-09-29 2019-02-26 Intel Corporation Place recognition algorithm
CN107392964B (zh) * 2017-07-07 2019-09-17 武汉大学 基于室内特征点和结构线结合的室内slam方法
US11151740B2 (en) * 2017-08-31 2021-10-19 Sony Group Corporation Simultaneous localization and mapping (SLAM) devices with scale determination and methods of operating the same
EP3474230B1 (en) * 2017-10-18 2020-07-22 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam
CN107990899B (zh) * 2017-11-22 2020-06-30 驭势科技（北京）有限公司 一种基于slam的定位方法和系统
CN107818592B (zh) * 2017-11-24 2022-04-01 北京华捷艾米科技有限公司 协作式同步定位与地图构建的方法、系统及交互系统
CN108921893B (zh) * 2018-04-24 2022-03-25 华南理工大学 一种基于在线深度学习slam的图像云计算方法及系统
CN109559277B (zh) * 2018-11-28 2023-02-28 中国人民解放军国防科技大学 一种面向数据共享的多无人机协同地图构建方法
CN109615698A (zh) 2018-12-03 2019-04-12 哈尔滨工业大学（深圳） 基于互回环检测的多无人机slam地图融合算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201525512A (zh) * 2013-12-26 2015-07-01 China Academy Of Telecomm Tech 一種定位方法及裝置
US20160005229A1 (en) * 2014-07-01 2016-01-07 Samsung Electronics Co., Ltd. Electronic device for providing map information
US20160148417A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Electronic device and method for providing map service
TWI657230B (zh) * 2017-09-18 2019-04-21 財團法人工業技術研究院 導航定位裝置及應用其之導航定位方法
TW201915952A (zh) * 2017-09-28 2019-04-16 香港商阿里巴巴集團服務有限公司 可視化對象的產生方法、裝置和設備
TWI648556B (zh) * 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法

Also Published As

Publication number Publication date
JP7261889B2 (ja) 2023-04-20
CN112148815B (zh) 2022-09-27
US20210350170A1 (en) 2021-11-11
JP2022518810A (ja) 2022-03-16
TW202100955A (zh) 2021-01-01
SG11202108199YA (en) 2021-08-30
CN112148815A (zh) 2020-12-29
WO2020258936A1 (zh) 2020-12-30

Similar Documents

Publication Publication Date Title
WO2021164469A1 (zh) 目标对象的检测方法、装置、设备和存储介质
KR102194094B1 (ko) 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체
CN106778773B (zh) 图片中目标物的定位方法及装置
JP6348611B2 (ja) 自動ピント合わせ方法、装置、プログラム及び記録媒体
KR102410879B1 (ko) 포지셔닝 정보를 획득하는 방법, 장치 및 매체
JP2017538978A (ja) 警報方法および装置
CN113205549B (zh) 深度估计方法及装置、电子设备和存储介质
WO2020258937A1 (zh) 一种坐标系对齐的方法及装置、电子设备和存储介质
CN110853095B (zh) 相机定位方法、装置、电子设备及存储介质
CN111563138B (zh) 定位方法及装置、电子设备和存储介质
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
KR20220123218A (ko) 타깃 포지셔닝 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN115278084B (zh) 图像处理方法、装置、电子设备及存储介质
CN111325786B (zh) 图像处理方法及装置、电子设备和存储介质
US11409241B2 (en) Method and apparatus for adjusting holographic content and computer readable storage medium
TW202301276A (zh) 深度檢測方法及裝置、電子設備、儲存媒體和程式產品
TWI748439B (zh) 一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體
CN112767541A (zh) 三维重建方法及装置、电子设备和存储介质
EP3599763A2 (en) Method and apparatus for controlling image display
CN112330721B (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
CN116664887A (zh) 定位精度确定方法、装置、电子设备及可读存储介质
CN118052958A (zh) 全景地图的构建方法、装置及存储介质
CN117974772A (zh) 视觉重定位方法、装置及存储介质
CN118730099A (zh) 定位导航方法、装置、电子设备及可读存储介质
CN116805285A (zh) 图像处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees