TW202244680A - 位置姿勢獲取方法、電子設備及電腦可讀儲存媒體 - Google Patents

位置姿勢獲取方法、電子設備及電腦可讀儲存媒體 Download PDF

Info

Publication number
TW202244680A
TW202244680A TW111110513A TW111110513A TW202244680A TW 202244680 A TW202244680 A TW 202244680A TW 111110513 A TW111110513 A TW 111110513A TW 111110513 A TW111110513 A TW 111110513A TW 202244680 A TW202244680 A TW 202244680A
Authority
TW
Taiwan
Prior art keywords
image
posture information
information
posture
matching
Prior art date
Application number
TW111110513A
Other languages
English (en)
Inventor
夏睿
謝衛健
王楠
張也
Original Assignee
中國商浙江商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國商浙江商湯科技開發有限公司 filed Critical 中國商浙江商湯科技開發有限公司
Publication of TW202244680A publication Critical patent/TW202244680A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一種位置姿勢獲取方法，包括：獲取第一圖像，第一圖像為電子設備針對待掃描物件掃描得到的圖像；響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據第二圖像和空間模型確定第一位置姿勢資訊，第二圖像為電子設備針對待掃描物件掃描得到的圖像，第一位置姿勢資訊為電子設備和/或待掃描物件的位置姿勢資訊，第二位置姿勢資訊為電子設備和/或待掃描物件的位置姿勢資訊；根據第一圖像、空間模型和第一位置姿勢資訊，確定第二位置姿勢資訊；響應於第二位置姿勢資訊與第一位置姿勢資訊符合預設的第一條件，輸出第二位置姿勢資訊。

Description

位置姿勢獲取方法、電子設備及電腦可讀儲存媒體
本申請關於物體識別技術領域，尤其關於一種位置姿勢獲取方法、電子設備及電腦可讀儲存媒體。
隨著人工智慧技術的發展，增強現實（Augmented Reality，AR）技術逐漸應用到了生產生活的各個領域。使用增強現實技術進行三維物體識別，可以根據識別結果呈現出增強現實的渲染效果，但是相關技術中使用增強現實技術識別三維物體的效率較低，準確率較差。
本申請提供一種位置姿勢獲取方法、電子設備及電腦可讀儲存媒體。
根據本申請實施例的第一方面，提供一種位置姿勢獲取方法，包括： 獲取第一圖像和待掃描物件的空間模型，其中，該第一圖像為電子設備針對待掃描物件掃描得到的圖像； 響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據該第二圖像和該空間模型確定該第一位置姿勢資訊，其中，該第二圖像為該電子設備針對該待掃描物件掃描得到的圖像，該第一位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊； 根據該第一圖像、該空間模型和該第一位置姿勢資訊，確定第二位置姿勢資訊，其中，該第二位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊； 響應於該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，輸出該第二位置姿勢資訊。
在一些實施例中，該方法還包括；響應於該第二位置姿勢資訊與該第一位置姿勢資訊不符合預設的第一條件，確定該第一位置姿勢資訊無效。如此，可以提高位置姿勢資訊獲取的效率和準確率，也就有利於提高使用增強現實技術識別三維物體的效率和準確率。
在一些實施例中，根據該第二圖像和該空間模型確定該第一位置姿勢資訊，包括：獲取該空間模型中與該第二圖像對應的至少一個圖像幀，並確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊；獲取該空間模型中與該至少一圖像幀對應的點雲，並根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊；根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊。
在一些實施例中，該獲取該空間模型中與該第二圖像對應的至少一個圖像幀，包括：確定該空間模型中的每個圖像幀與該第二圖像的相似度；將與該第二圖像的相似度高於預設的相似度閾值的圖像幀，確定為與該第二圖像對應的圖像幀。如此，能夠更加準確的篩選出第二圖像對應的圖像幀。
在一些實施例中，該確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊，包括：獲取該第二圖像的特徵點及描述子，以及該圖像幀的特徵點及描述子；根據該第二圖像的描述子和該圖像幀的描述子，確定該第二圖像的特徵點與該圖像幀的特徵點間的初始匹配資訊；根據該初始匹配資訊，確定該第二圖像與該圖像幀的基礎矩陣和/或本質矩陣；根據該基礎矩陣和/或本質矩陣，對該初始匹配資訊進行過濾，得到該第一匹配資訊。如此，利用基礎矩陣和/或本質矩陣，對該初始匹配資訊進行過濾，使得第一匹配資訊中能夠完整保留初始匹配資訊中的內點。
在一些實施例中，該根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊，包括：將與該圖像幀的特徵點匹配的該第二圖像的特徵點，和與該圖像幀的特徵點對應的該點雲的三維點進行匹配，得到該第二匹配資訊。如此，透過將圖像幀的特徵點作為媒介，實現第二圖像的特徵點與點雲的三維點的匹配。
在一些實施例中，該根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊，包括：獲取該電子設備的重力加速度；根據該第一匹配資訊和該第二匹配資訊以及該重力加速度，確定該第一位置姿勢資訊。如此，使得所得到的第一位置姿勢資訊較為準確，進而能夠使得基於該第一位置姿勢資訊得到的第二位置姿勢資訊較為準確。
在一些實施例中，該根據該第一圖像、該空間模型和該第一位置姿勢資訊，確定第二位置姿勢資訊，包括：根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊，其中，該第三位置姿勢資訊為該電子設備相對該待掃描物件的位置姿勢資訊；根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊；響應於該第三匹配資訊符合預設的第二條件，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊；根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊。如此，透過引入第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊，能夠進一步精確地確定第二位置姿勢資訊。
在一些實施例中，該第一位置姿勢資訊包括第四位置姿勢資訊，其中，該第四位置姿勢資訊為該待掃描物件在世界坐標系內的位置姿勢資訊；該根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊，包括：根據該第一圖像，從定位模組獲取第五位置姿勢資訊，其中，該第五位置姿勢資訊為該電子設備在世界坐標系內的位置姿勢資訊；根據該第四位置姿勢資訊和該第五位置姿勢資訊，確定該第三位置姿勢資訊。如此，透過待掃描物件和電子設備在統一坐標系內的絕對位置姿勢，能夠快速準確地確定二者的相對位置姿勢。
在一些實施例中，該根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊，包括：根據該第三位置姿勢資訊，將該空間模型的點雲投影至該第一圖像上，形成多個投影點，並提取每個該投影點的描述子；提取該第一圖像幀的特徵點和描述子；根據該特徵點對應的描述子和該投影點的描述子，確定該特徵點與該點雲的三維點間的第三匹配資訊。如此，能夠實現利用相機模型將點雲投影映射當第一圖像上。
在一些實施例中，該根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊，包括：根據該第三位置姿勢資訊，以及該空間模型的圖像幀的位置姿勢資訊，確定與該第三位置姿勢資訊匹配的至少一個圖像幀；獲取該第一圖像的特徵點和描述子，以及與該第三位置姿勢資訊匹配的圖像幀的特徵點和描述子；根據該第一圖像的描述子和該圖像幀的描述子，確定該第一圖像的特徵點與該圖像幀的特徵點間的第四匹配資訊。如此，當某個圖像幀的位置姿勢資訊與某個第一圖像的位置姿勢資訊相同或相近（例如角度差在預設範圍內）時，能夠確定該圖像幀與該第一圖像相匹配。
在一些實施例中，該根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊，包括：獲取該電子設備的重力加速度；根據該第三匹配資訊、該第四匹配資訊和該重力加速度，確定該第二位置姿勢資訊。如此，透過引入重力加速度，能夠更加準確地確定第二位置姿勢資訊。
在一些實施例中，該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，包括：該第二位置姿勢資訊與該第一位置姿勢資訊的誤差小於預設的誤差閾值；和/或，該第三匹配資訊符合預設的第二條件，包括：該第一圖像與該空間模型的點雲間的匹配組合的數量，大於預設的數量閾值，其中，該匹配組合包括相互匹配的特徵點和三維點。如此，採用第一圖像與該空間模型的點雲間的匹配組合的數量設定第二條件，進而能夠更加合理地判斷第三匹配資訊的匹配度。
在一些實施例中，該獲取待掃描物件空間模型，包括：獲取該電子設備針對該待掃描物件掃描得到多幀建模圖像，並同步獲取每幀建模圖像對應的第六位置姿勢資訊；將該多幀建模圖像的特徵點進行匹配，並根據匹配結果對該特徵點進行三角化，以形成點雲；從該多幀建模圖像中確定至少一個圖像幀，並確定每個圖像幀對應的點雲；將該至少一個圖像幀、每個圖像幀對應的第六位置姿勢資訊以及該點雲構建為空間模型。如此，使得構建的空間模型具有更多的細節資訊。
根據本申請實施例的第二方面，提供一種位置姿勢獲取裝置，包括： 獲取模組，配置為獲取第一圖像和待掃描物件的空間模型，其中，該第一圖像為電子設備針對待掃描物件掃描得到的圖像； 第一位置姿勢模組，配置為響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據該第二圖像和該空間模型確定該第一位置姿勢資訊，其中，該第二圖像為該電子設備針對該待掃描物件掃描得到的圖像，該第一位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊； 第二位置姿勢模組，配置為根據該第一圖像、該空間模型和該第一位置姿勢資訊，確定第二位置姿勢資訊，其中，該第二位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊； 輸出模組，配置為響應於該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，輸出該第二位置姿勢資訊。
在一些實施例中，該輸出模組還配置為；響應於該第二位置姿勢資訊與該第一位置姿勢資訊不符合預設的第一條件，確定該第一位置姿勢資訊無效。
在一些實施例中，該第一位置姿勢模組還配置為： 獲取該空間模型中與該第二圖像對應的至少一個圖像幀，並確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊； 獲取該空間模型中與該至少一圖像幀對應的點雲，並根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊； 根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊。
在一些實施例中，該第一位置姿勢模組配置為獲取該空間模型中與該第二圖像對應的至少一個圖像幀時，還配置為： 確定該空間模型中的每個圖像幀與該第二圖像的相似度； 將與該第二圖像的相似度高於預設的相似度閾值的圖像幀，確定為與該第二圖像對應的圖像幀。
在一些實施例中，該第一位置姿勢模組配置為確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊時，還配置為： 獲取該第二圖像的特徵點及描述子，以及該圖像幀的特徵點及描述子； 根據該第二圖像的描述子和該圖像幀的描述子，確定該第二圖像的特徵點與該圖像幀的特徵點間的初始匹配資訊； 根據該初始匹配資訊，確定該第二圖像與該圖像幀的基礎矩陣和/或本質矩陣； 根據該基礎矩陣和/或本質矩陣，對該初始匹配資訊進行過濾，得到該第一匹配資訊。
在一些實施例中，該第一位置姿勢模組配置為根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊時，還配置為： 將與該圖像幀的特徵點匹配的該第二圖像的特徵點，和與該圖像幀的特徵點對應的該點雲的三維點進行匹配，得到該第二匹配資訊。
在一些實施例中，該第一位置姿勢模組配置為根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊時，還配置為： 獲取該電子設備的重力加速度； 根據該第一匹配資訊和該第二匹配資訊以及該重力加速度，確定該第一位置姿勢資訊。
在一些實施例中，該第二位置姿勢模組還配置為： 根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊，其中，該第三位置姿勢資訊為該電子設備相對該待掃描物件的位置姿勢資訊； 根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊； 響應於該第三匹配資訊符合預設的第二條件，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊； 根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊。
在一些實施例中，該第一位置姿勢資訊包括第四位置姿勢資訊，其中，該第四位置姿勢資訊為該待掃描物件在世界坐標系內的位置姿勢資訊； 該第二位置姿勢模組配置為根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊時，還配置為： 根據該第一圖像，從定位模組獲取第五位置姿勢資訊，其中，該第五位置姿勢資訊為該電子設備在世界坐標系內的位置姿勢資訊； 根據該第四位置姿勢資訊和該第五位置姿勢資訊，確定該第三位置姿勢資訊。
在一些實施例中，第二位置姿勢模組配置為根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊時，還配置為： 根據該第三位置姿勢資訊，將該空間模型的點雲投影至該第一圖像上，形成多個投影點，並提取每個該投影點的描述子； 提取該第一圖像幀的特徵點和描述子； 根據該特徵點對應的描述子和該投影點的描述子，確定該特徵點與該點雲的三維點間的第三匹配資訊。
在一些實施例中，第二位置姿勢模組配置為根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊時，還配置為： 根據該第三位置姿勢資訊，以及該空間模型的圖像幀的位置姿勢資訊，確定與該第三位置姿勢資訊匹配的至少一個圖像幀； 獲取該第一圖像的特徵點和描述子，以及與該第三位置姿勢資訊匹配的圖像幀的特徵點和描述子； 根據該第一圖像的描述子和該圖像幀的描述子，確定該第一圖像的特徵點與該圖像幀的特徵點間的第四匹配資訊。
在一些實施例中，第二位置姿勢模組配置為根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊時，還配置為： 獲取該電子設備的重力加速度； 根據該第三匹配資訊、該第四匹配資訊和該重力加速度，確定該第二位置姿勢資訊。
在一些實施例中，該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，包括： 該第二位置姿勢資訊與該第一位置姿勢資訊的誤差小於預設的誤差閾值；和/或， 該第三匹配資訊符合預設的第二條件，包括： 該第一圖像與該空間模型的點雲間的匹配組合的數量，大於預設的數量閾值，其中，該匹配組合包括相互匹配的一對特徵點和三維點。
在一些實施例中，該獲取模組配置為獲取待掃描物件空間模型時，還配置為： 獲取該電子設備針對該待掃描物件掃描得到多幀建模圖像，並同步獲取每幀建模圖像對應的第六位置姿勢資訊； 將該多幀建模圖像的特徵點進行匹配，並根據匹配結果對該特徵點進行三角化，以形成點雲； 從該多幀建模圖像中確定至少一個圖像幀，並確定每個圖像幀對應的點雲； 將該至少一個圖像幀、每個圖像幀對應的第六位置姿勢資訊以及該點雲構建為空間模型。
根據本申請實施例的第三方面，提供一種電子設備，該設備包括記憶體、處理器，該記憶體配置為儲存可在處理器上運行的電腦指令，該處理器配置為在執行該電腦指令時實現第一方面該的方法。
根據本申請實施例的第四方面，提供一種電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現第一方面該的方法。
根據本申請實施例的第五方面提供一種電腦程式，該電腦程式包括電腦可讀代碼，在該電腦可讀代碼在電子設備中運行的情況下，該電子設備的處理器執行配置為實現第一方面該的方法。
根據上述實施例可知，透過獲取電子設備針對待掃描物件掃描得到的第一圖像和該待掃描物件的空間模型，並響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，根據該第二圖像和該空間模型確定該第一位置姿勢資訊，再根據該第一圖像、該空間模型和第一位置姿勢資訊，確定第二位置姿勢資訊，最後響應於該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，輸出該第二位置姿勢資訊、。由於第一位置姿勢資訊是根據該電子設備針對該待掃描物件掃描得到的第二圖像和該空間模型確定的，且確定第一位置姿勢資訊後，可以持續用於確定多幀第一圖像對應的第二位置姿勢資訊，直至第二位置姿勢資訊與第一位置姿勢資訊不符合第一條件才更新一次第一位置姿勢資訊，因此可以提高位置姿勢資訊獲取的效率和準確率，即提高使用增強現實技術識別三維物體的效率和準確率。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本申請。
這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍所詳述的、本申請的一些方面相一致的裝置和方法的例子。
在本申請使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本申請。在本申請和所附申請專利範圍所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出專案的任何或所有可能組合。
應當理解，儘管在本申請可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本申請範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取決於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應於確定”。
相關技術中，使用增強現實技術識別三維物體時，電子設備顯示空間模型的同時呈現針對待掃描物件掃描得到的預覽圖像，使用者需要人工對齊空間模型和待掃描物件的預覽圖像，即需要尋找到合適的視角，使待掃描物件呈現在電子設備上的輪廓和空間模型的輪廓相匹配，才能在此基礎上透過掃描追蹤待掃描物件，且一旦追蹤失敗，使用者還需要重新回到最初找到的合適的視角，重新對齊空間模型和待掃描物件的預覽圖像，因此追蹤待掃描物件的效率和準確率均較低，用戶操作難度大，使用體驗差。
第一方面，本申請至少一個實施例提供了一種位置姿勢獲取方法，請參照附圖1A，其示出了該方法的流程，包括步驟S101至步驟S104。
其中，該方法可以由終端設備或伺服器等電子設備執行，終端設備可以為使用者設備（User Equipment，UE)、移動設備、使用者終端、終端、蜂巢式電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）手持設備、計算設備、車載設備、可穿戴設備等，該方法可以透過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可以透過伺服器執行該方法，伺服器可以為本機伺服器、雲端伺服器等。
在步驟S101中，獲取第一圖像和待掃描物件的空間模型，其中，該第一圖像為電子設備針對待掃描物件掃描得到的圖像。
其中，電子設備可以為手機、平板電腦等終端設備，也可以為相機、掃描設備等圖像採集設備。當電子設備為終端設備時，本步驟中獲取第一圖像、後續步驟中第二位置姿勢資訊的確定和輸出以及第一位置姿勢資訊的確定和更新，也都可以由終端設備執行。待掃描物件可以是現實增強技術針對的三維物體。
電子設備針對待掃描物件進行掃描時，可以連續獲得多幀第一圖像，即獲得一個圖像序列；第一圖像就是上述圖像序列中的任意一幀，也就是說，本申請實施例提供的位置姿勢獲取方法可以針對上述圖像序列中的任意一幀來執行；在一些可能的實現方式中，可以在電子設備針對待掃描物件進行掃描時，針對得到的每一幀第一圖像均執行該方法，即得到每一幀第一圖像對應的第二位置姿勢資訊。電子設備針對待掃描物件進行掃描時，可以是待掃描物件靜止，電子設備環繞待掃描物件進行移動，例如，在圖2所示的示例中，示出了電子設備環繞待掃描物件21進行移動並採集圖像時的三個圖像幀的採集過程，即電子設備在上上一圖像幀22的位置採集一幀圖像幀，然後移動至上一圖像幀23的位置採集一幀圖像幀，再移動至當前圖像幀24的位置採集一幀圖像幀。
空間模型包括該待掃描物件的點雲、至少一個圖像幀和每個圖像幀對應的位置姿勢資訊（如下文提到的第六位置姿勢資訊）。其中，圖像幀可以理解為，電子設備在對應的第六位置姿勢資訊下對待掃描物件拍攝得到的圖像。每個圖像幀對應部分點雲，對應關係可以由建模過程中圖像特徵點三角化的關係確定，還可以由位置姿勢資訊確定。
在步驟S102中，響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據該第二圖像和該空間模型確定該第一位置姿勢資訊，其中，該第二圖像為該電子設備針對該待掃描物件掃描得到的圖像，該第一位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊。
該方法初始運行時，第一位置姿勢資訊是缺失的，因此需要確定第一位置姿勢資訊，該方法運行過程中，如果第一位置姿勢資訊無效，則需要重新確定第一位置姿勢資訊，即更新第一位置姿勢資訊。
其中，電子設備的位置姿勢資訊可以為電子設備在世界坐標系內的位置姿勢資訊（Tcw），即電子設備相對於世界坐標系的原點的位置姿勢資訊。待掃描物件的位置姿勢資訊可以為待掃描物在世界坐標系內的位置姿勢資訊（Tow），即待掃描物件相對於世界坐標系的原點的位置姿勢資訊。電子設備和待掃描物件的位置姿勢資訊可以為電子設備相對於待掃描物件的位置姿勢資訊（Tco）。
在步驟S103中，根據該第一圖像、該空間模型和第一位置姿勢資訊，確定第二位置姿勢資訊，其中，該第二位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊。
針對每一幀第一圖像，確定對應的第二位置姿勢資訊時都要利用第一位置姿勢資訊，而第一位置姿勢資訊是可以重複利用的，直至其被更新。由於第一位置姿勢資訊的利用，可以避免使用者人工對齊模型和待掃描物件的操作，從而可以提高獲取第二位置姿勢資訊的效率和準確率，進而提高追蹤待掃描物件的效率和準確率。
第一位置姿勢資訊可以由檢測器或檢測模組確定，檢測器或檢測模組用於獲取電子設備掃描得到的圖像作為第二圖像，並根據第二圖像和空間模型確定第一位置姿勢資訊，即檢測器或檢測模組用於得出追蹤起點，即指導追蹤器對待掃描物件的追蹤。第二位置姿勢資訊可以由追蹤器或追蹤模組確定，追蹤器或追蹤模組用於獲取電子設備掃描得到的圖像作為第一圖像，並利用第一圖像、空間模型和第一位置姿勢資訊確定第二位置姿勢資訊，即追蹤器或追蹤模組用於追蹤待掃描物件。確定第一位置姿勢資訊時，只能利用第一圖像和空間模型，無其他指導資訊，而確定第二位置姿勢資訊時，在利用第二圖像和空間模型的基礎上，還增加了第一位置姿勢資訊的指導，因此確定第一位置姿勢資訊的速度比確定第二位置姿勢資訊的速度慢，即確定第一位置姿勢資訊的效率較之確定第二位置姿勢資訊的效率低，因此第一位置姿勢資訊的確定可以提高第二位置姿勢資訊的準確率，第二位置姿勢資訊重複利用第一位置姿勢資訊可以提高效率。
需要注意的是，電子設備掃描得到的一幀圖像，既能夠作為第一圖像，也能夠作為第二圖像，還可以同時作為第一圖像和第二圖像。當第一位置姿勢資訊缺失或無效時，即需要確定或更新第一位置姿勢資訊時，可以將電子設備掃描得到的圖像作為第一圖像；當第一位置姿勢資訊存在且有效時，即無需確定或更新第一位置姿勢資訊時，可以將電子設備掃描得到的圖像作為第二圖像；當電子設備掃描得到的一幀圖像作為第一圖像，用於確定第一位置姿勢資訊後，電子設備尚未掃描得到下一幀圖像（例如電子設備相對於待掃描物件未發生移動或移動後還未到採集下一幀圖像的週期），則該幀圖像可以繼續作為第二圖像，用於確定第二位置姿勢資訊。
在步驟S104中，響應於該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，輸出該第二位置姿勢資訊。
在一種可能的實施方式中，可以預設誤差閾值，並預設第一條件為該第二位置姿勢資訊與該第一位置姿勢資訊的誤差小於上述誤差閾值。比較第一位置姿勢資訊和第二位置姿勢資訊的誤差時，可以比較同種類型的位置姿勢，即可以比較第一位置姿勢資訊中的電子設備在世界坐標系內的位置姿勢資訊和第二位置姿勢資訊中的電子設備在世界坐標系內的位置姿勢資訊，也可以比較第一位置姿勢資訊中的待掃描物件在世界坐標系內的位置姿勢資訊和第二位置姿勢資訊中的待掃描物件在世界坐標系內的位置姿勢資訊，還可以比較第一位置姿勢資訊中的電子設備相對待掃描物件的位置姿勢資訊和第二位置姿勢資訊中的電子設備相對待掃描物件的位置姿勢資訊。
第二位置姿勢資訊與第一位置姿勢資訊符合第一條件，可以表示第二位置姿勢資訊與第一位置姿勢資訊一致，則兩種位置姿勢資訊均為有效位置姿勢，因此將第二位置姿勢資訊輸出，即將該幀第一圖像的第二位置姿勢資訊輸出，同時第一位置姿勢資訊可以繼續用於確定下一幀第一圖像的第二位置姿勢資訊。第二位置姿勢資訊較之第一位置姿勢資訊更全面，且對於各幀第一圖像的針對性強、確定效率高，因此輸出第二位置姿勢資訊更便於對待掃描物件的追蹤。
第二位置姿勢資訊與第一位置姿勢資訊不符合第一條件，可以表示第二位置姿勢資訊與第二位置姿勢資訊不一致，則兩種位置姿勢資訊中的至少一種為無效位置姿勢，因此第二位置姿勢資訊無法作為有效位置姿勢進行輸出，即該幀第一圖像未獲得有效位置姿勢，同時第一位置姿勢資訊無法繼續用於確定下一幀第一圖像的第二位置姿勢資訊，即需要對第一位置姿勢資訊進行更新，此時可確定第一位置姿勢資訊無效。更新第一位置姿勢資訊，就是指重新獲取第二圖像，並利用重新獲取的第二圖像重新確定第一位置姿勢資訊，同時刪除原第一位置姿勢資訊。
另外，當輸出第二位置姿勢資訊後，可以根據第二位置姿勢資訊呈現對應的增強現實渲染效果。
根據上述實施例可知，透過獲取電子設備針對待掃描物件掃描得到的第一圖像和該待掃描物件的空間模型，並響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，根據該第二圖像和該空間模型確定該第一位置姿勢資訊，再根據該第一圖像、該空間模型和第一位置姿勢資訊，確定第二位置姿勢資訊，最後響應於該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，輸出該第二位置姿勢資訊，否則確定第一位置姿勢資訊無效。由於第一位置姿勢資訊是根據該電子設備針對該待掃描物件掃描得到的第二圖像和該空間模型確定的，且確定第一位置姿勢資訊後，可以持續用於確定多幀第一圖像對應的第二位置姿勢資訊，直至第二位置姿勢資訊與第一位置姿勢資訊不符合第一條件才更新一次第一位置姿勢資訊，因此可以提高位置姿勢資訊獲取的效率和準確率，也就有利於提高使用增強現實技術識別三維物體的效率和準確率。
本申請的一些實施例中，可以按照下述方式根據第二圖像和該空間模型確定第一位置姿勢資訊：首先，獲取該空間模型中與該第二圖像對應的至少一個圖像幀，並確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊（由於第二圖像和圖像幀的特徵點均為二維點，因此第一匹配資訊二維-二維（2 Dimensional-2 Dimensional，2D-2D）匹配）；接下來，獲取該空間模型中與該至少一圖像幀對應的點雲，並根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊（由於第二圖像的特徵點為二維點，因此第二匹配資訊為二維-三維（2 Dimensional-3 Dimensional，2D-3D）匹配）；最後，根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊。
圖1B示出可以應用本公開實施例的位置姿勢獲取方法的一種系統架構示意圖；如圖1B所示，該系統架構中包括：位置姿勢獲取終端201、網路202和電子設備203。為實現支撐一個示例性應用，位置姿勢獲取終端201和電子設備203透過網路202建立通信連接，電子設備203透過網路202向位置姿勢獲取終端201上報針對待掃描物件掃描得到的圖像；位置姿勢獲取終端201獲取到第一圖像和待掃描物件的空間模型，首先，響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據第二圖像和空間模型確定第一位置姿勢資訊；其次，根據第一圖像、空間模型和第一位置姿勢資訊，確定第二位置姿勢資訊；然後響應於第二位置姿勢資訊與第一位置姿勢資訊符合預設的第一條件，輸出第二位置姿勢資訊。最後，位置姿勢獲取終端201將輸出的第二位置姿勢資訊上傳至網路202。
作為示例，電子設備203可以包括圖像採集設備或者圖像掃描設備，位置姿勢獲取終端201可以包括具有視覺資訊處理能力的視覺處理設備或遠端伺服器。網路202可以採用有線或無線連接方式。其中，當位置姿勢獲取終端201為視覺處理設備時，電子設備203可以透過有線連接的方式與視覺處理設備通信連接，例如透過匯流排進行資料通信；當位置姿勢獲取終端201為遠端伺服器時，電子設備203可以透過無線網路與遠端伺服器進行資料交互。
或者，在一些場景中，電子設備203可以是帶有影片採集模組的視覺處理設備，可以是帶有攝影鏡頭的主機。這時，本公開實施例的位置姿勢獲取方法可以由電子設備203執行，上述系統架構可以不包含網路202和伺服器。
其中，獲取空間模型中與第二圖像對應的至少一個圖像幀時：可以先確定該空間模型中的每個圖像幀與該第二圖像的相似度，再將與該第二圖像的相似度高於預設的相似度閾值的圖像幀，確定為與該第二圖像對應的圖像幀。相似度閾值提前預設，閾值越高，則篩選出的與第二圖像對應的圖像幀越少，閾值越低，則篩選出的與第二圖像對應的圖像幀越多。與第二圖像對應的圖像幀的位置姿勢資訊與第二圖像的位置姿勢資訊相同或相近。在一個示例中，確定圖像幀與第二圖像的相似度時，可以透過計算圖像幀的特徵點與第二圖像的特徵點的歐氏距離，進而根據歐氏距離得到相似度。
在一些可能的實現方式中，可以將空間模型中的圖像幀轉換為圖像檢索資訊，並提取第二圖像的足夠多的特徵點，進而使用圖像檢索的方式查找到與第二圖像相似度高於相似度閾值的的圖像幀。可以透過聚類演算法（例如K均值聚類（k-means）演算法）將所有圖像幀的描述子進行逐層聚類，從而得到表示這些描述子的單詞組成的圖像檢索資訊。圖像檢索的方式，指的是確定與第二圖像的特徵點的相似度超過相似度閾值的條件，然後利用上述條件對圖像檢索資訊中的每個資訊進行遍歷，將滿足上述條件的資訊篩選出來，並將篩選出的資訊對應的圖像幀，作為與第二圖像相似度高於相似度閾值的的圖像幀。
其中，確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊時：可以先獲取該第二圖像的特徵點及描述子，以及該圖像幀的特徵點及描述子；再根據該第二圖像的描述子和該圖像幀的描述子，確定該第二圖像的特徵點與該圖像幀的特徵點間的初始匹配資訊；然後根據該初始匹配資訊，確定該第二圖像與該圖像幀的基礎矩陣和/或本質矩陣；最後，根據該基礎矩陣和/或本質矩陣，對該初始匹配資訊進行過濾，得到該第一匹配資訊。
在一些可能的實現方式中，確定初始匹配資訊時，可以先為第二圖像中的每個描述子在圖像幀中尋找漢明距離最近的描述子，然後再反過來，為圖像幀中的每個描述子在第二圖像中尋找漢明距離最近的描述子，若第二圖像中的某個描述子和圖像幀中的某個描述子互為漢明距離最近的描述子，則認為上述兩個描述子匹配，進而確定上述兩個描述子對應的兩個特徵點匹配，全部的相互匹配的特徵點組成了初始匹配資訊。
在一些可能的實現方式中，確定基礎矩陣和/或本質矩陣時，可以透過隨機抽樣一致演算法（Random Sample Consensus，RANSAC）計算得到。優選的，還可以透過RANSAC和5點演算法計算出多個基礎矩陣和/或本質矩陣，並確定每個基礎矩陣和/或本質矩陣的內點，再將內點數最多的基礎矩陣和/或本質矩陣確定為最終的計算結果。若相互匹配的兩個特徵點符合基礎矩陣和/或本質矩陣，則該兩個特徵點為內點；相反的，若相互匹配的兩個特徵點不符合基礎矩陣和/或本質矩陣，則該兩個特徵點為外點。利用基礎矩陣和/或本質矩陣過濾初始匹配資訊時，也是保留初始匹配資訊中的內點，即刪除初始匹配資訊中的外點。
其中，根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊時：可以將與該圖像幀的特徵點匹配的該第二圖像的特徵點，和與該圖像幀的特徵點對應的該點雲的三維點進行匹配，得到該第二匹配資訊。也就是說，透過圖像幀的特徵點作為媒介，將第二圖像的特徵點與點雲的三維點進行匹配。
其中，根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊時：可以先獲取該電子設備的重力加速度；再根據該第一匹配資訊和該第二匹配資訊以及該重力加速度，確定該第一位置姿勢資訊。
在一些可能的實現方式中，電子設備可以具有加速度感測器和/或陀螺儀等，因此可以從加速度感測器和/或陀螺儀等獲取重力加速度。在電腦視覺中，可以使用PnP（pespective-n-point）演算法，利用第一匹配資訊求解出第一位置姿勢資訊，可以透過分解基礎矩陣和/或本質矩陣，利用第二匹配資訊求解出第一位置姿勢資訊。上述兩種求解過程中，都可以加入重力加速度的約束條件，即利用重力加速度約束電子設備位置姿勢中的旋轉角（如roll角、pitch角）。然後，可以透過Hybrid形式綜合上述兩種求解過程，以求解出第一位置姿勢資訊，即綜合利用第一匹配資訊、第二匹配資訊和重力加速度求解出第一位置姿勢資訊，該求解過程中需要六個不同的自由度，第一匹配資訊能夠提供1個自由度的約束，第二匹配資訊能夠提供2個自由度的約束，重力加速度提供1個自由度，可以隨機選取一定數量的第一匹配資訊、一定數量的第二匹配資訊和重力加速度進行組合，構成六個自由度，來求解第一位置姿勢資訊，求解時，可以將第一匹配資訊透過普呂克坐標系關係構建等式，將第一匹配資訊透過相機投影矩陣模型構建等式，再透過求解器（例如Grobner Basis Solution）對聯立的多個等式求解；或者分別透過RANSAC方式獨立利用上述兩種求解過程，以穩健求解出第一位置姿勢資訊，即按照不同的次數比例，先後交替選擇第一匹配資訊與重力加速度求解出第一位置姿勢資訊，和第二匹配資訊與重力加速度求解出第一位置姿勢資訊，求解出的第一位置姿勢資訊與全部的匹配資訊進行誤差計算，當內點數量足夠大（例如超過一定的閾值）時，確定此時的第一位置姿勢資訊是準確的，結束求解。
由於加入了重力加速度的約束條件，而且綜合了第一匹配資訊（2D-2D匹配）以及第二匹配資訊（2D-3D匹配），使得所得到的第一位置姿勢資訊較為準確，進而能夠使得基於該第一位置姿勢資訊得到的第二位置姿勢資訊較為準確。
上述實施例中，可以透過檢測器或檢測模組確定第一位置姿勢資訊，以供追蹤器或追蹤模組利用。
本申請的一些實施例中，可以按照下述方式根據該第一圖像、該空間模型和第一位置姿勢資訊，確定第二位置姿勢資訊：首先，根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊，其中，該第三位置姿勢資訊為該電子設備相對該待掃描物件的位置姿勢資訊；接下來，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊（由於第一圖像的特徵點為二維點，因此第三匹配資訊為2D-3D匹配）；接下來，響應於該第三匹配資訊符合預設的第二條件，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊（由於第一圖像和圖像幀的特徵點均為二維點，因此第四匹配資訊為2D-3D匹配）；最後，根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊。
其中，第一位置姿勢資訊可以包括第四位置姿勢資訊，第四位置姿勢資訊為待掃描物件在世界坐標系內的座標資訊（Tow）。當待掃描物件的位置靜止時，則第四位置姿勢資訊保持不變。基於此，根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊時：可以先根據該第一圖像，從定位模組獲取第五位置姿勢資訊，其中，該第五位置姿勢資訊為該電子設備在世界坐標系內的位置姿勢資訊（Tcw）；再根據該第四位置姿勢資訊和該第五位置姿勢資訊，確定該第三位置姿勢資訊。
在一些可能的實現方式中，定位模組可以是視覺慣性同步定位與繪圖（Visual Inertial Simultaneous Localization and Mapping，VISLAM）模組，VISLAM在運行過程中可以即時輸出電子設備在世界坐標系內的位置姿勢資訊。待掃描物件在世界坐標系內的位置姿勢資訊為待掃描物件的絕對位置姿勢，電子設備在世界坐標系內的位置姿勢資訊為電子設備的絕對位置姿勢，因此可以透過待掃描物件和電子設備在統一坐標系內的絕對位置姿勢，確定二者的相對位置姿勢，即電子設備相對於待掃描物件的位置姿勢資訊（Tco），或待掃描物件相對於電子設備的位置姿勢資訊（Toc），上述步驟中選擇電子設備相對於待掃描物件的位置姿勢資訊（Tco）作為第三位置姿勢資訊，當然也可以選擇待掃描物件相對於電子設備的位置姿勢資訊（Toc）作為第三位置姿勢資訊。
其中，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊時：可以先根據該第三位置姿勢資訊，將該空間模型的點雲投影至該第一圖像上，形成多個投影點，並提取每個該投影點的描述子；再提取該第一圖像幀的特徵點和描述子；最後根據該特徵點對應的描述子和該投影點的描述子，確定該特徵點與該點雲的三維點間的第三匹配資訊。
由於第三位置姿勢資訊可以反映拍攝第一圖像的電子設備與待掃描物件的相對位置姿勢，即能夠反映電子設備與待掃描物件的方向和角度，因此可以利用相機模型將點雲投影映射當第一圖像上。
由於點雲的三維點可以是在建模過程中，透過圖像幀的特徵點匹配和三角化得到的，因此點雲的每一個三維點都對應至少一個圖像幀的特徵點，提取一個三維點對應的所有特徵點的描述子，並透過融合這些描述子得到該三維點的投影點的描述子。
在一些可能的實現方式中，確定第三匹配資訊時，可以先為每個特徵點的描述子尋找漢明距離最近的投影點的描述子，然後再反過來，為每個投影點的描述子尋找漢明距離最近的特徵點的描述子，若某個特徵點的描述子和某個投影點的描述子互為漢明距離最近的描述子，則認為上述兩個描述子匹配，進而確定上述兩個描述子對應的特徵點和三維點匹配，全部的相互匹配的特徵點和三維點組成了第三匹配資訊。
本申請實施例中，第二條件可以是該第一圖像與該空間模型的點雲間的匹配組合的數量，大於預設的數量閾值。其中，該匹配組合包括相互匹配的一對特徵點和三維點。匹配組合的數量，在一定程度上反映了第一位置姿勢資訊的有效性，若第一位置姿勢資訊無效，則匹配組合的數量必然減少或消失，若第一位置姿勢資訊有效，則匹配組合的數量必然較多。第二條件的判斷，是在步驟S104判斷第一位置姿勢資訊的有效性之前的一個前置判斷步驟，若第三匹配資訊不符合第二條件，即匹配組合的數量小於或等於預設的數量閾值，則第一位置姿勢資訊必然與第二位置姿勢資訊不符合第一條件，因此無需進行後續求解第二位置姿勢資訊的步驟，可以直接判定第一位置姿勢資訊無效，若第三匹配資訊符合第二條件，即匹配組合的數量大於預設的數量閾值，則還不能直接確定第一位置姿勢資訊是否有效，因此繼續求解出第二位置姿勢資訊，並根據第一位置姿勢資訊和第二位置姿勢資訊是否符合第一條件，來判斷第一位置姿勢資訊的有效性。
基於此，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊時，可以先根據該第三位置姿勢資訊，以及該空間模型的每個圖像幀的位置姿勢資訊，確定與該第三位置姿勢資訊匹配的至少一個圖像幀；再獲取該第一圖像的特徵點和描述子，以及與該第三位置姿勢資訊匹配的每個圖像幀的特徵點和描述子；最後根據該第一圖像的描述子和該圖像幀的描述子，確定該第一圖像的特徵點與該圖像幀的特徵點間的第四匹配資訊。
每個圖像幀均具有位置姿勢資訊（如下文的第六位置姿勢資訊），該位置姿勢資訊反映獲取該圖像幀的電子設備與待掃描物件的相對位置姿勢，即電子設備在該相對位置姿勢下時，可以獲取到該圖像幀；而第三位置姿勢資訊反映獲取第一圖像的電子設備與待掃描物件的相對位置姿勢，即電子設備在該相對位置姿勢下時，可以獲取到該第一圖像。當某個圖像幀的位置姿勢資訊與某個第一圖像的位置姿勢資訊相同或相近（例如角度差在預設範圍內）時，則可以確定該圖像幀與該第一圖像相匹配。
確定第四匹配資訊時，可以先為第一圖像中的每個描述子在圖像幀中尋找漢明距離最近的描述子，然後再反過來，為圖像幀中的每個描述子在第一圖像中尋找漢明距離最近的描述子，若第一圖像中的某個描述子和圖像幀中的某個描述子互為漢明距離最近的描述子，則認為上述兩個描述子匹配，進而確定上述兩個描述子對應的兩個特徵點匹配，全部的相互匹配的特徵點組成了第四匹配資訊。
其中，根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊時，可以先獲取該電子設備的重力加速度；再根據該第三匹配資訊、該第四匹配資訊和該重力加速度，確定該第二位置姿勢資訊。
在一些可能的實現方式中，電子設備可以具有加速度感測器和/或陀螺儀等，因此可以從加速度感測器和/或陀螺儀等獲取重力加速度。在電腦視覺中，可以使用PnP演算法，利用第四匹配資訊求解出第二位置姿勢資訊，可以透過分解基礎矩陣和/或本質矩陣演算法，利用第三匹配資訊求解出第二位置姿勢資訊。上述兩種求解過程中，都可以加入重力加速度的約束條件，即利用重力加速度約束電子設備位置姿勢中的旋轉角（如roll角、pitch角）。然後，可以透過Hybrid形式綜合上述兩種求解過程，以求解出第二位置姿勢資訊，即綜合利用第三匹配資訊、第四匹配資訊和重力加速度求解出第二位置姿勢資訊，該求解過程中需要六個不同的自由度，第一匹配資訊能夠提供1個自由度的約束，第二匹配資訊能夠提供2個自由度的約束，重力加速度提供1個自由度，可以隨機選取一定數量的第三匹配資訊、一定數量的第四匹配資訊和重力加速度進行組合，構成六個自由度，來求解第二位置姿勢資訊，求解時，可以將第四匹配資訊透過普呂克坐標系關係構建等式，將第三匹配資訊透過相機投影矩陣模型構建等式，再透過求解器（例如Grobner Basis Solution）對聯立的多個等式求解；或者分別透過RANSAC方式獨立利用上述兩種求解過程，以穩健求解出第二位置姿勢資訊，即按照不同的次數比例，先後交替選擇第三匹配資訊與重力加速度求解出第二位置姿勢資訊，和第四匹配資訊與重力加速度求解出第二位置姿勢資訊，求解出的第二位置姿勢資訊與全部的匹配資訊進行誤差計算，當內點數量足夠大（例如超過一定的閾值）時，確定此時的第二位置姿勢資訊是準確的，結束求解。
上述實施例中，可以透過追蹤器或追蹤模組確定第二位置姿勢資訊，且確定過程中利用檢測器或檢測模組得到的第一位置姿勢資訊。由於檢測器或檢測模組確定第一位置姿勢資訊的準確率高於追蹤器或追蹤模組，且效率低於追蹤器，因此利用檢測器或檢測模組確定（可以重複利用的）第一位置姿勢資訊，利用追蹤器或追蹤模組頻繁輸出第二位置姿勢資訊，既能夠透過檢測器或檢測模組確定追蹤器的追蹤起點，從而提高位置姿勢獲取的準確性，且避免手動對齊空間模型與待掃描物件造成的繁瑣操作和追蹤不準確，且能夠保證位置姿勢獲取的效率。
本公開的一些實施例中，可以按照下述方式獲取待掃描物件空間模型：首先，獲取電子設備針對待掃描物件掃描得到多幀建模圖像，並同步獲取每幀建模圖像對應的第六位置姿勢資訊；接下來，將該多幀建模圖像的特徵點進行匹配，並根據匹配結果對該特徵點進行三角化，以形成點雲；接下來，從該多幀建模圖像中確定至少一個圖像幀，並確定每個圖像幀對應的點雲；最後，將該至少一個圖像幀、每個圖像幀對應的第六位置姿勢資訊以及該點雲構建為空間模型。
進行特徵匹配過程中，可以採用幀間描述子匹配或者是光流追蹤匹配的方法。三角化的過程中，透過兩幀之間的匹配可以在連續幀之間對三維空間中某一個路標位置進行追蹤，透過這些連續多幀之間的匹配關係以及每一幀的位置姿勢資訊，可以構建等式方程組，透過對這個方程組求解，可以得到這個路標位置的深度信息。
電子設備掃描建模圖像時的頻率較高（例如採用30赫茲（Hz）的頻率），而選擇圖像幀時可以只選擇部分建模圖像，從而使得整個模型的檔案體積不會太大，有利於後續的檔案共用，而且可減少模型在手機端運行時的記憶體耗費。
在一個示例中，空間模型的獲取過程如圖3所示，在實際掃描過程中，透過應用程式交互介面使用者可以得到包圍物體的三維包圍框，並引導用戶環繞被選中的三維物體301進行建模。在使用者的移動過程中，系統會建立模型各個角度下的點雲和圖像關鍵幀資訊（比如，圖3中所示模型圖像幀31、32至模型圖像幀38）。最後將三維包圍框中所有的點雲資訊保存下來即該物體的三維點雲模型。空間模型包括三維框中的點雲和建模圖像幀，且每個圖像幀標注了第六位置姿勢資訊。第六位置姿勢資訊可以是電子設備相對於待掃描物件的位置姿勢資訊，可以先向電子設備內的定位模組，例如VISLAM模組獲取電子設備在世界坐標系內的位置姿勢資訊，再將上述位置姿勢資訊與預先獲得的待掃描物件在世界坐標系內的位置姿勢資訊進行結合，得到第六位置姿勢資訊。
在一些實施例中，終端設備可採用本申請提供的位置姿勢資訊獲取方法對產品進行掃描。該產品附帶一定的產品說明和效果展示，可以採用終端設備啟動掃描程式，該程式可以運行本申請提供的位置姿勢獲取方法，從而能夠在終端設備掃描產品時得到第一位置姿勢資訊並輸出第二位置姿勢資訊，當輸出第二位置姿勢資訊時，該程式可以根據第二位置姿勢資訊與產品說明和/或效果展示的映射效果，在終端設備的顯示幕上利用現實增強技術呈現出對應的產品說明和/或效果展示。例如，該產品是冰箱時，可以在第二位置姿勢資訊為終端設備正對冰箱的人機交互介面時，利用顯示增強技術呈現出交互過程的說明和/或展示效果。
根據本申請實施例的第二方面，提供一種位置姿勢獲取裝置，請參照附圖4，其示出了該位置姿勢獲取裝置400的結構示意圖，包括： 獲取模組401，配置為獲取第一圖像和待掃描物件的空間模型，其中，該第一圖像為電子設備針對待掃描物件掃描得到的圖像； 第一位置姿勢模組402，配置為響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據該第二圖像和該空間模型確定該第一位置姿勢資訊，其中，該第二圖像為該電子設備針對該待掃描物件掃描得到的圖像，該第一位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊； 第二位置姿勢模組403，配置為根據該第一圖像、該空間模型和該第一位置姿勢資訊，確定第二位置姿勢資訊，其中，該第二位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊； 輸出模組404，配置為響應於該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，輸出該第二位置姿勢資訊；否則，確定該第一位置姿勢資訊無效。
在本公開的一些實施例中，該第一位置姿勢模組： 獲取該空間模型中與該第二圖像對應的至少一個圖像幀，並確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊； 獲取該空間模型中與該至少一圖像幀對應的點雲，並根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊； 根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊。
在本公開的一些實施例中，該第一位置姿勢模組配置為獲取該空間模型中與該第二圖像對應的至少一個圖像幀時，還配置為： 確定該空間模型中的每個圖像幀與該第二圖像的相似度； 將與該第二圖像的相似度高於預設的相似度閾值的圖像幀，確定為與該第二圖像對應的圖像幀。
在本公開的一些實施例中，該第一位置姿勢模組配置為確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊時，還配置為： 獲取該第二圖像的特徵點及描述子，以及該圖像幀的特徵點及描述子； 根據該第二圖像的描述子和該圖像幀的描述子，確定該第二圖像的特徵點與該圖像幀的特徵點間的初始匹配資訊； 根據該初始匹配資訊，確定該第二圖像與該圖像幀的基礎矩陣和/或本質矩陣； 根據該基礎矩陣和/或本質矩陣，對該初始匹配資訊進行過濾，得到該第一匹配資訊。
在本公開的一些實施例中，該第一位置姿勢模組配置為根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊時，還配置為： 將與該圖像幀的特徵點匹配的該第二圖像的特徵點，和與該圖像幀的特徵點對應的該點雲的三維點進行匹配，得到該第二匹配資訊。
在本公開的一些實施例中，該第一位置姿勢模組配置為根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊時，還配置為： 獲取該電子設備的重力加速度； 根據該第一匹配資訊和該第二匹配資訊以及該重力加速度，確定該第一位置姿勢資訊。
在本公開的一些實施例中，該第二位置姿勢模組還配置為： 根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊，其中，該第三位置姿勢資訊為該電子設備相對該待掃描物件的位置姿勢資訊； 根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊； 響應於該第三匹配資訊符合預設的第二條件，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊； 根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊。
在本公開的一些實施例中，該第一位置姿勢資訊包括第四位置姿勢資訊，其中，該第四位置姿勢資訊為該待掃描物件在世界坐標系內的位置姿勢資訊； 該第二位置姿勢模組配置為根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊時，還配置為： 根據該第一圖像，從定位模組獲取第五位置姿勢資訊，其中，該第五位置姿勢資訊為該電子設備在世界坐標系內的位置姿勢資訊； 根據該第四位置姿勢資訊和該第五位置姿勢資訊，確定該第三位置姿勢資訊。
在本公開的一些實施例中，第二位置姿勢模組配置為根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊時，還配置為： 根據該第三位置姿勢資訊，將該空間模型的點雲投影至該第一圖像上，形成多個投影點，並提取每個該投影點的描述子； 提取該第一圖像幀的特徵點和描述子； 根據該特徵點對應的描述子和該投影點的描述子，確定該特徵點與該點雲的三維點間的第三匹配資訊。
在本公開的一些實施例中，第二位置姿勢模組配置為根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊時，還配置為： 根據該第三位置姿勢資訊，以及該空間模型的圖像幀的位置姿勢資訊，確定與該第三位置姿勢資訊匹配的至少一個圖像幀； 獲取該第一圖像的特徵點和描述子，以及與該第三位置姿勢資訊匹配的圖像幀的特徵點和描述子； 根據該第一圖像的描述子和該圖像幀的描述子，確定該第一圖像的特徵點與該圖像幀的特徵點間的第四匹配資訊。
在本公開的一些實施例中，第二位置姿勢模組配置為根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊時，還配置為： 獲取該電子設備的重力加速度； 根據該第三匹配資訊、該第四匹配資訊和該重力加速度，確定該第二位置姿勢資訊。
在本公開的一些實施例中，該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，包括： 該第二位置姿勢資訊與該第一位置姿勢資訊的誤差小於預設的誤差閾值；和/或， 該第三匹配資訊符合預設的第二條件，包括： 該第一圖像與該空間模型的點雲間的匹配組合的數量，大於預設的數量閾值，其中，該匹配組合包括相互匹配的一對特徵點和三維點。
在本公開的一些實施例中，該獲取模組配置為獲取待掃描物件空間模型時，還配置為： 獲取該電子設備針對該待掃描物件掃描得到多幀建模圖像，並同步獲取每幀建模圖像對應的第六位置姿勢資訊； 將該多幀建模圖像的特徵點進行匹配，並根據匹配結果對該特徵點進行三角化，以形成點雲； 從該多幀建模圖像中確定至少一個圖像幀，並確定每個圖像幀對應的點雲； 將該至少一個圖像幀、每個圖像幀對應的第六位置姿勢資訊以及該點雲構建為空間模型。
關於上述實施例中的裝置，其中各個模組執行操作的具體方式已經在第三方面有關該方法的實施例中進行了詳細描述，此處將不做詳細闡述說明。
第三方面，本申請至少一個實施例提供了一種電子設備，請參照附圖5，其示出了該電子設備的結構，該電子設備500包括記憶體501、處理器502，該記憶體用於儲存可在處理器上運行的電腦指令，該處理器用於在執行該電腦指令時基於第一方面任一項該的方法對位置姿勢資訊進行獲取。
第四方面，本申請至少一個實施例提供了一種電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現第一方面任一項該的方法。電腦可讀儲存媒體可以是易失性或非易失性電腦可讀儲存媒體。
第五方面，本申請至少一個實施例提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如第一方面任一項該的方法的指令。
在本申請中，術語“第一”、“第二”僅用於描述目的，而不能理解為指示或暗示相對重要性。術語“多個”指兩個或兩個以上，除非另有明確的限定。
本領域技術人員在考慮說明書及實踐這裡公開的公開後，將容易想到本申請的其它實施方案。本申請旨在涵蓋本申請的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本申請的一般性原理並包括本申請未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本申請的真正範圍和精神由下面的申請專利範圍指出。
應當理解的是，本申請並不局限於上面已經描述並在附圖中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本申請的範圍僅由所附的申請專利範圍來限制。 工業實用性
本申請關於一種位置姿勢獲取方法、電子設備及電腦可讀儲存媒體，該方法包括：獲取第一圖像，其中，第一圖像為電子設備針對待掃描物件掃描得到的圖像；響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據第二圖像和空間模型確定第一位置姿勢資訊，其中，第二圖像為電子設備針對待掃描物件掃描得到的圖像，第一位置姿勢資訊為電子設備和/或待掃描物件的位置姿勢資訊，其中，第二位置姿勢資訊為電子設備和/或待掃描物件的位置姿勢資訊；根據第一圖像、空間模型和第一位置姿勢資訊，確定第二位置姿勢資訊；響應於第二位置姿勢資訊與第一位置姿勢資訊符合預設的第一條件，輸出第二位置姿勢資訊。
21:待掃描物件 22:上上一圖像幀 23:上一圖像幀 24:當前圖像幀 31~38:模型圖像幀 201:位置姿勢獲取終端 202:網路 203:電子設備 301:三維物體 400:位置姿勢獲取裝置 401:獲取模組 402:第一位置姿勢模組 403:第二位置姿勢模組 404:輸出模組 500:電子設備 501:記憶體 502:處理器 S101~S104:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，示出了符合本申請的實施例，並與說明書一起用於解釋本申請的原理。
圖1A是本申請實施例示出的位置姿勢資訊獲取方法的流程圖； 圖1B示出可以應用本公開實施例的位置姿勢資訊獲取方法的一種系統架構示意圖； 圖2是本申請實施例示出的電子設備採集圖像的示意圖； 圖3是本申請實施例示出的空間模型的獲取過程的示意圖； 圖4是本申請實施例示出的位置姿勢資訊獲取裝置的結構示意圖； 圖5是本申請實施例示出的電子設備的結構示意圖。
S101~S104:步驟

Claims (16)

  1. 一種位置姿勢獲取方法，包括： 獲取第一圖像和待掃描物件的空間模型，其中，該第一圖像為電子設備針對待掃描物件掃描得到的圖像； 響應於第一位置姿勢資訊缺失或無效，獲取第二圖像，並根據該第二圖像和該空間模型確定該第一位置姿勢資訊，其中，該第二圖像為該電子設備針對該待掃描物件掃描得到的圖像，該第一位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊； 根據該第一圖像、該空間模型和該第一位置姿勢資訊，確定第二位置姿勢資訊，其中，該第二位置姿勢資訊為該電子設備和/或該待掃描物件的位置姿勢資訊；以及 響應於該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，輸出該第二位置姿勢資訊。
  2. 如請求項1之位置姿勢獲取方法，還包括： 響應於該第二位置姿勢資訊與該第一位置姿勢資訊不符合預設的第一條件，確定該第一位置姿勢資訊無效。
  3. 如請求項1或2之位置姿勢獲取方法，其中，該根據該第二圖像和該空間模型確定該第一位置姿勢資訊，包括： 獲取該空間模型中與該第二圖像對應的至少一個圖像幀，並確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊； 獲取該空間模型中與該至少一圖像幀對應的點雲，並根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊；以及 根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊。
  4. 如請求項3之位置姿勢獲取方法，其中，該獲取該空間模型中與該第二圖像對應的至少一個圖像幀，包括： 確定該空間模型中的每個圖像幀與該第二圖像的相似度；以及 將與該第二圖像的相似度高於預設的相似度閾值的圖像幀，確定為與該第二圖像對應的圖像幀。
  5. 如請求項3之位置姿勢獲取方法，其中，該確定該第二圖像的特徵點與該至少一個圖像幀的特徵點間的第一匹配資訊，包括： 獲取該第二圖像的特徵點及描述子，以及該圖像幀的特徵點及描述子； 根據該第二圖像的描述子和該圖像幀的描述子，確定該第二圖像的特徵點與該圖像幀的特徵點間的初始匹配資訊； 根據該初始匹配資訊，確定該第二圖像與該圖像幀的基礎矩陣和/或本質矩陣；以及 根據該基礎矩陣和/或本質矩陣，對該初始匹配資訊進行過濾，得到該第一匹配資訊。
  6. 如請求項3之位置姿勢獲取方法，其中，該根據該第一匹配資訊，確定該第二圖像的特徵點與該點雲的三維點間的第二匹配資訊，包括： 將與該圖像幀的特徵點匹配的該第二圖像的特徵點，和與該圖像幀的特徵點對應的該點雲的三維點進行匹配，得到該第二匹配資訊。
  7. 如請求項3之位置姿勢獲取方法，其中，該根據該第一匹配資訊和該第二匹配資訊，確定該第一位置姿勢資訊，包括： 獲取該電子設備的重力加速度；以及 根據該第一匹配資訊和該第二匹配資訊以及該重力加速度，確定該第一位置姿勢資訊。
  8. 如請求項1或2之位置姿勢獲取方法，其中，該根據該第一圖像、該空間模型和該第一位置姿勢資訊，確定第二位置姿勢資訊，包括： 根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊，其中，該第三位置姿勢資訊為該電子設備相對該待掃描物件的位置姿勢資訊； 根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊； 響應於該第三匹配資訊符合預設的第二條件，根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊；以及 根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊。
  9. 如請求項8之位置姿勢獲取方法，其中，該第一位置姿勢資訊包括第四位置姿勢資訊，其中，該第四位置姿勢資訊為該待掃描物件在世界坐標系內的位置姿勢資訊； 該根據該第一位置姿勢資訊和該第一圖像，確定該第一圖像對應的第三位置姿勢資訊，包括： 根據該第一圖像，從定位模組獲取第五位置姿勢資訊，其中，該第五位置姿勢資訊為該電子設備在世界坐標系內的位置姿勢資訊；以及 根據該第四位置姿勢資訊和該第五位置姿勢資訊，確定該第三位置姿勢資訊。
  10. 如請求項8之位置姿勢獲取方法，其中，該根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的點雲的三維點間的第三匹配資訊，包括： 根據該第三位置姿勢資訊，將該空間模型的點雲投影至該第一圖像上，形成多個投影點，並提取每個該投影點的描述子； 提取該第一圖像幀的特徵點和描述子；以及 根據該特徵點對應的描述子和該投影點的描述子，確定該特徵點與該點雲的三維點間的第三匹配資訊。
  11. 如請求項8之位置姿勢獲取方法，其中，該根據該第三位置姿勢資訊，確定該第一圖像的特徵點與該空間模型的至少一個圖像幀的特徵點間的第四匹配資訊，包括： 根據該第三位置姿勢資訊，以及該空間模型的圖像幀的位置姿勢資訊，確定與該第三位置姿勢資訊匹配的至少一個圖像幀； 獲取該第一圖像的特徵點和描述子，以及與該第三位置姿勢資訊匹配的圖像幀的特徵點和描述子；以及 根據該第一圖像的描述子和該圖像幀的描述子，確定該第一圖像的特徵點與該圖像幀的特徵點間的第四匹配資訊。
  12. 如請求項8之位置姿勢獲取方法，其中，該根據該第三匹配資訊和該第四匹配資訊，確定該第二位置姿勢資訊，包括： 獲取該電子設備的重力加速度；以及 根據該第三匹配資訊、該第四匹配資訊和該重力加速度，確定該第二位置姿勢資訊。
  13. 如請求項8之位置姿勢獲取方法，其中，該第二位置姿勢資訊與該第一位置姿勢資訊符合預設的第一條件，包括： 該第二位置姿勢資訊與該第一位置姿勢資訊的誤差小於預設的誤差閾值；和/或， 該第三匹配資訊符合預設的第二條件，包括： 該第一圖像與該空間模型的點雲間的匹配組合的數量，大於預設的數量閾值，其中，該匹配組合包括相互匹配的一對特徵點和三維點。
  14. 如請求項1或2之位置姿勢獲取方法，其中，該獲取待掃描物件空間模型，包括： 獲取該電子設備針對該待掃描物件掃描得到多幀建模圖像，並同步獲取每幀建模圖像對應的第六位置姿勢資訊； 將該多幀建模圖像的特徵點進行匹配，並根據匹配結果對該特徵點進行三角化，以形成點雲； 從該多幀建模圖像中確定至少一個圖像幀，並確定每個圖像幀對應的點雲；以及 將該至少一個圖像幀、每個圖像幀對應的第六位置姿勢資訊以及該點雲構建為空間模型。
  15. 一種電子設備，包括記憶體、處理器，該記憶體配置為儲存可在處理器上運行的電腦指令，該處理器配置為在執行該電腦指令時實現請求項1至14任一項之位置姿勢獲取方法。
  16. 一種電腦可讀儲存媒體，其上儲存有電腦程式，該電腦程式被處理器執行時實現請求項1至14任一項之位置姿勢獲取方法。
TW111110513A 2021-05-11 2022-03-22 位置姿勢獲取方法、電子設備及電腦可讀儲存媒體 TW202244680A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110510890.0A CN113190120B (zh) 2021-05-11 2021-05-11 位姿获取方法、装置、电子设备及存储介质
CN202110510890.0 2021-05-11

Publications (1)

Publication Number Publication Date
TW202244680A true TW202244680A (zh) 2022-11-16

Family

ID=76981167

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111110513A TW202244680A (zh) 2021-05-11 2022-03-22 位置姿勢獲取方法、電子設備及電腦可讀儲存媒體

Country Status (4)

Country Link
KR (1) KR102464271B1 (zh)
CN (1) CN113190120B (zh)
TW (1) TW202244680A (zh)
WO (1) WO2022237048A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190120B (zh) * 2021-05-11 2022-06-24 浙江商汤科技开发有限公司 位姿获取方法、装置、电子设备及存储介质
CN116758157B (zh) * 2023-06-14 2024-01-30 深圳市华赛睿飞智能科技有限公司 一种无人机室内三维空间测绘方法、系统及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101308184B1 (ko) * 2011-01-13 2013-09-12 주식회사 팬택 윈도우 형태의 증강현실을 제공하는 장치 및 방법
US10515259B2 (en) * 2015-02-26 2019-12-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining 3D object poses and landmark points using surface patches
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
CN109463003A (zh) * 2018-03-05 2019-03-12 香港应用科技研究院有限公司 对象识别
CN109087359B (zh) * 2018-08-30 2020-12-08 杭州易现先进科技有限公司 位姿确定方法、位姿确定装置、介质和计算设备
CN109947886B (zh) * 2019-03-19 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN110930453B (zh) * 2019-10-30 2023-09-08 北京迈格威科技有限公司 目标物体定位方法、装置及可读存储介质
CN110866496B (zh) * 2019-11-14 2023-04-07 合肥工业大学 基于深度图像的机器人定位与建图方法和装置
CN111199564B (zh) * 2019-12-23 2024-01-05 中国科学院光电研究院 智能移动终端的室内定位方法、装置与电子设备
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111833457A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN112197764B (zh) * 2020-12-07 2021-04-06 广州极飞科技有限公司 实时位姿确定方法、装置及电子设备
CN112637665B (zh) * 2020-12-23 2022-11-04 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN113190120B (zh) * 2021-05-11 2022-06-24 浙江商汤科技开发有限公司 位姿获取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102464271B1 (ko) 2022-11-07
CN113190120B (zh) 2022-06-24
WO2022237048A1 (zh) 2022-11-17
CN113190120A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
WO2020259248A1 (zh) 基于深度信息的位姿确定方法、装置、介质与电子设备
JP5722502B2 (ja) モバイルデバイスのための平面マッピングおよびトラッキング
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
Ventura et al. Global localization from monocular slam on a mobile phone
KR102149374B1 (ko) 로컬화 영역 설명 파일에 대한 프라이버시-민감 질의
EP3008694B1 (en) Interactive and automatic 3-d object scanning method for the purpose of database creation
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
US20210274358A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
JP2015079490A (ja) フレームを選択する方法、装置、及びシステム
TW202244680A (zh) 位置姿勢獲取方法、電子設備及電腦可讀儲存媒體
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN111784776B (zh) 视觉定位方法及装置、计算机可读介质和电子设备
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
CN105809664B (zh) 生成三维图像的方法和装置
CN111829522B (zh) 即时定位与地图构建方法、计算机设备以及装置
CN112750164B (zh) 轻量化定位模型的构建方法、定位方法、电子设备
CN112288817B (zh) 基于图像的三维重建处理方法及装置
CN112614166A (zh) 基于cnn-knn的点云匹配方法和装置
Li et al. Vision-based indoor localization via a visual SLAM approach
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템
WO2024087927A1 (zh) 位姿确定方法及装置、计算机可读存储介质和电子设备