TW202314593A - 定位方法及設備、電腦可讀儲存媒體 - Google Patents

定位方法及設備、電腦可讀儲存媒體 Download PDF

Info

Publication number
TW202314593A
TW202314593A TW111108665A TW111108665A TW202314593A TW 202314593 A TW202314593 A TW 202314593A TW 111108665 A TW111108665 A TW 111108665A TW 111108665 A TW111108665 A TW 111108665A TW 202314593 A TW202314593 A TW 202314593A
Authority
TW
Taiwan
Prior art keywords
image frame
positioning
pose
energy relationship
target image
Prior art date
Application number
TW111108665A
Other languages
English (en)
Inventor
陳丹鵬
王楠
Original Assignee
大陸商深圳市慧鯉科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市慧鯉科技有限公司 filed Critical 大陸商深圳市慧鯉科技有限公司
Publication of TW202314593A publication Critical patent/TW202314593A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

本發明實施例公開了一種定位方法及設備、電腦可讀儲存媒體，定位方法包括：獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料；基於若干慣性測量資料進行定位處理，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊；基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿，其中，至少一個參考因數包括若干慣性測量資料。上述方案，能夠提高定位準確度。

Description

定位方法及設備、電腦可讀儲存媒體
本發明關於定位領域，尤其關於一種定位方法及設備、電腦可讀儲存媒體。
目前，定位方式主要有視覺慣性定位。其中，視覺慣性定位的方式主要通過設備拍攝到的圖像之間的圖像資訊，構建三維地圖，然後確定設備的位置。其中，該定位方式比較依賴外部環境，在動態、光照劇烈變化、弱紋理、遠景和遮擋等情況下，視覺定位無法很好正常工作。在這種情況下，設備拍攝得到的圖像中提取得到的資訊較少，則無法很好地進行定位。
本發明實施例至少提供一種定位方法及設備、電腦可讀儲存媒體。
本發明實施例提供了一種定位方法，包括：獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料；基於若干慣性測量資料進行定位處理，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊；基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿，其中，至少一個參考因數包括若干慣性測量資料。
本發明實施例提供了一種定位裝置，包括：資料獲取模組，配置為獲取第一歷史圖像幀至目標圖像幀的拍攝期間測量得到的若干慣性測量資料；定位處理模組，配置為基於若干慣性測量資料進行定位處理，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊；位姿確定模組，配置為基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿，其中，至少一個參考因數包括若干慣性測量資料。
本發明實施例提供了一種電子設備，包括記憶體和處理器，處理器用於執行記憶體中儲存的程式指令，以實現上述定位方法。
本發明實施例提供了一種電腦可讀儲存媒體，其上儲存有程式指令，程式指令被處理器執行時實現上述定位方法。
本發明實施例還提供一種電腦程式產品，包括儲存了程式碼的電腦可讀儲存媒體，所述程式碼包括的指令被電腦設備的處理器運行時，實現上述定位方法的步驟。
上述方案，通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位處理，獲取這兩幀圖像之間的位姿變化資訊，進而可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程利用慣性測量資料進行位姿變化的計算進而實現定位，故減少了視覺方面對定位的不良影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明實施例。
下面結合說明書附圖，對本發明實施例的方案進行詳細說明。
以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯對象是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
請參閱圖1，圖1是本發明實施例提供的一種定位方法的流程示意圖。所述方法由電子設備執行，包括如下步驟。
步驟S11：獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料。
其中，目標圖像幀和第一歷史圖像幀可以是由待定位對象獲取，也可以是由與待定位對象的位置相對固定的攝影組件拍攝得到，即攝影組件的位姿情況可以表示所述待定位對象的位姿情況。當然，慣性測量資料同樣可以是由待定位對象獲取，也可以是由與待定位對象的位置相對固定的慣性感測器（Inertial Measurement Unit，IMU）獲取得到，即慣性感測器的位姿情況可以表示所述待定位對象的位姿情況。
待定位對象可以是設備，也可以是任意具有生命的動物體。例如，待定位對象可以是車輛、機器人、人、小貓、小狗等。可以理解的是，當待定位對象為設備時，上述攝影組件和慣性感測器可以為該設備中的組件，或者為該設備以外的組件。
慣性測量資料指的是慣性感測器測量得到的資料。其中，慣性感測器的數量可以是多個。慣性感測器可以是加速度計，也可以是陀螺儀等。待定位對象與慣性感測器之間的位置相對固定。即，慣性感測器在目標時間段內測量得到的慣性測量資料可以代表待定位對象在目標時間段內的慣性測量資料。其中，若目標圖像幀和第一歷史圖像幀之間包括多幀圖像時，慣性測量資料則包括各相鄰圖像幀的拍攝時間之間的慣性測量資料。
步驟S12：基於若干慣性測量資料進行定位處理，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊。
其中，位姿變化資訊可以包括第一歷史圖像幀與目標圖像幀之間的相對位移，也可以包括二者之間的相對旋轉。
本發明實施例中，位姿變化資訊以包括相對位移和相對旋轉為例。
步驟S13：基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿，其中，至少一個參考因數包括若干慣性測量資料。
在一些實施例中，可以使用第一歷史圖像幀的位姿資訊以及第一歷史圖像幀與目標圖像幀之間的位姿變化資訊，確定目標圖像幀對應的第一位姿。其中，可以認為目標圖像幀的位姿為拍攝目標圖像幀時待定位對象的位姿。
然後，使用至少一個參考因數，對目標圖像幀對應的第一位姿進行優化，得到優化後的目標圖像幀對應的位姿。
當然，若目標圖像幀與第一歷史圖像幀之間包括若干圖像幀時，同樣可通過至少一個參考因數，對第一位姿進行優化，從而確定中間幀的位姿。這裡的中間幀指的是第一歷史圖像幀與目標圖像幀之間的其中一幀。
上述方案，通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位處理，獲取這兩幀圖像之間的位姿變化資訊，進而可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程利用慣性測量資料進行位姿變化的計算進而實現定位，減少了視覺方面對定位的不良影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
另，一般的視覺慣性定位方法中需要計算預積分，因此需要對慣性感測器的偏置量等參數進行精確的標定，而本發明實施例提供的技術方案只需要對慣性測量資料進行定位處理，無需預積分，因此，無需對慣性感測器的偏置量等參數進行精確的標定，簡化了定位流程。
一些公開實施例中，對若干慣性測量資料進行定位處理是由定位模型執行的。其中，獲取第一歷史圖像幀與目標圖像幀之間的位姿變化資訊的方式可以是如下所述。
利用慣性測量資料以及參考運動狀態資訊，確定本次定位處理得到的最終運動狀態資訊。然後，基於本次定位處理得到的最終運動狀態資訊，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊。該位姿變化資訊可以認為是待定位對象在第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間之間的位置變化和姿態變化中的至少之一。兩個時間點之間的位置變化可以是二者之間的相對位移。姿態變化可以是待定位對象朝向的變化。
其中，參考運動狀態資訊為歷史定位處理得到的最終運動狀態資訊。例如，本次定位處理為對待定位對象執行的第四次定位處理，則歷史定位處理可以是對同一待定位對象執行的第三次定位處理，還可以是第二次和第三次的結合，也可以是本次以前所有次定位處理的結合。其中，本發明實施例選擇將上一次定位處理中獲取得到的最終運動狀態資訊，作為本次定位處理過程中的參考運動狀態資訊。本次定位處理得到的最終運動狀態資訊能夠用於推導待定位對象在第一歷史圖像幀的拍攝時間點至目標圖像幀的拍攝時間點之間的運動。同理，參考運動狀態資訊能夠用於確定歷史定位處理中對應第一歷史圖像幀的拍攝時間點至對應的目標圖像幀的拍攝時間點之間的運動。本次定位處理和歷史定位處理對應的最終運動狀態資訊可以包括待定位對象在對應時間段內各個時刻的運動參數。例如，運動參數可以包括待定位對象在各個時刻的加速度和角速度，或待定位對象在各個時刻的運動速度和運動方向等。一些應用場景中，在待定位對應為人類的情況下，最終運動狀態資訊可以是用於表示基於慣性測量資料得到的加速度和角速度的一個局部視窗，作為人類運動的加速度和角速度，但因為各種因素的作用，其可能帶有一定的雜訊。
其中，對若干慣性測量資料進行定位處理是由定位模型執行的。在一些實施例中，利用慣性測量資料以及參考運動狀態資訊，確定本次定位處理得到的最終運動狀態資訊包括以下步驟：基於慣性測量資料，得到第一歷史圖像幀至目標圖像幀之間的初始運動狀態資訊，再對參考運動狀態資訊與初始運動狀態資訊進行融合，得到該最終運動狀態資訊。初始運動狀態資訊可以包括待定位對象在第一歷史圖像幀的拍攝時間點至目標圖像幀的拍攝時間點之間各個時刻的運動參數。例如，初始運動狀態資訊可以包括待定位對象在各個時刻的加速度和角速度，或待定位對象在各個時刻的運動速度和運動方向等。在一些實施例中，初始運動狀態資訊的形式可以是用於描述待定位對象在目標時間段內的運動的隱層狀態矩陣。其中，初始運動狀態資訊可以用於推導待定位對象在目標時間段內的運動。但因為感測器的偏置等因素的影響，導致獲取得到的初始運動狀態含有雜訊，所以若僅使用初始運動狀態資訊推導待定位對象在目標時間段內的運動，或許會存在一定的誤差。
在一些實施例中，最終運動狀態資訊和參考運動狀態資訊的形式也可以是用於描述待定位對象在對應時間段內運動的隱層狀態矩陣。本發明實施例認為待定位對象的運動是連續且有規律的，因此，通過用於表示待定位對象在對應時間段內的運動的初始運動狀態資訊與用於表示待定位對象在歷史定位處理對應的時間段內運動的參考運動狀態資訊進行融合，以估計待定位對象在本次定位處理對應時間段內更準確的最終運動狀態資訊，從而可以根據該最終運動狀態資訊估計待定位對象在對應時間段內的運動。
在一些實施例中，定位模型包括第一子網路和第二子網路以及第三子網路。其中，第一子網路可以是殘差網路，如ResNet18網路。第二子網路可以是長短期記憶網路（Long Short-Term Memory，LSTM）。其中，第一子網路可以用於執行基於慣性測量資料，得到第一歷史圖像幀至目標圖像幀之間的初始運動狀態資訊的步驟。第二子網路用於執行對參考運動狀態資訊與初始運動狀態資訊進行融合，得到該最終運動狀態資訊的步驟，第三子網路用於執行基於本次定位處理得到的最終運動狀態資訊，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊的步驟。通過結合上一次定位處理對應的最終運動狀態資訊，使得此次定位處理得到的最終運動狀態資訊更為準確。
本發明實施例中，獲取到若干慣性測量資料之後，定位方法還包括以下步驟。
對慣性測量資料進行預處理。其中，經預處理的慣性測量資料用於進行定位處理。預處理包括將慣性測量資料轉換到重力系下、去除偏置、去除重力和歸一化中的一種或多種。在一些實施例中，預處理還包括對慣性測量資料進行固定幀率插值，並將插值後的資料進行緩存。通過對慣性測量資料進行預處理，使得得到的位姿變化資訊更為準確。
一些公開實施例中，定位方法由定位系統執行。在執行步驟S13之前，還包括以下步驟：判斷定位系統的參數是否已初始化。其中，參數包括重力方向、慣性偏置量中的至少一者。回應於參數已初始化，則執行步驟S13。回應於參數未初始化，則選擇與目標圖像幀對應的狀態匹配的初始化方式，對定位系統的參數進行初始化，然後再執行上述步驟S13。其中，狀態包括運動狀態和靜止狀態。在一些實施例中，選擇與目標圖像幀對應的狀態匹配的初始化方式以前，先確定目標圖像幀對應的狀態。其中，確定目標圖像幀對應的狀態的方式可以包括滿足以下至少之一：連續若干幀圖像中跟蹤到的二維特徵在圖像平面上的平均位移低於第一閾值；慣性測量資料的標準差低於第二閾值，則認為目標圖像幀對應的狀態為靜止狀態，否則，認為目標圖像幀對應的狀態為運動狀態。
靜止狀態對應的初始化方式為靜止初始化，而運動狀態對應的初始化方式為運動初始化。其中，靜止初始化方式包括將初始平移設置為0，初始局部重力為最近兩幀圖像之間的加速度計測量值的平均值。初始旋轉與局部初始重力對齊。初始陀螺儀偏置是最近兩幀圖像之間陀螺儀測量值的平均值。初始加速度偏置設置為0。最近兩幀指的是目標圖像幀以及目標圖像幀的前一幀。
運動狀態對應的初始化為僅通過視覺定位獲取沒有尺寸的姿勢，然後將慣性測量資料的預積分資訊與視覺定位的結果進行對齊以恢復尺寸、速度、重力和慣性偏置量。
通過在定位系統未經初始化的情況下，選擇與目標圖像幀對應的狀態匹配的初始化方式，對定位系統的參數進行初始化，使得初始化得到的參數更準確。
一些公開實施例中，請同時參見圖2，圖2是本發明實施例提供的一種定位方法中步驟S13的流程示意圖。如圖2所示，上述步驟S13包括以下步驟。
步驟S131：基於位姿變化資訊，確定目標圖像幀的第一位姿。
其中，目標圖像幀的第一位姿表示待定位對象在目標圖像幀的拍攝時刻的位姿。本發明實施例中，目標圖像和第一歷史圖像幀是由待定位對象相對固定的拍攝裝置拍攝得到，慣性測量資料是由與待定位對象相對固定的慣性測量裝置測量得到的。通過與待定位對象相對固定的拍攝裝置拍攝得到目標圖像幀以及與待定位對象相對固定的慣性測量裝置得到慣性測量資料，可以實現對任意的對象進行定位。
在一些實施例中，位姿變化資訊包括至少一種位姿變化量。其中，至少一種位姿變化量包括位置變化量以及姿態變化量。獲取目標圖像幀的第一位姿的方式可以是利用目標圖像幀對應的位姿變化量，確定目標圖像幀的第一位姿。在一些實施例中，第一歷史圖像幀的位姿已知，基於第一歷史圖像幀與目標圖像幀之間的位姿變化量，即可得到目標圖像幀的第一位姿。通過確定位置變化量以及姿態變化量，使得確定的第一位姿更準確。
步驟S132：利用位姿變化資訊以及至少一個參考因數，構建本次定位對應的總能量關係。
其中，本次定位對應的總能量關係用於確定目標圖像幀的需優化的位姿偏差。
在一些實施例中，分別利用每個參考因數，確定參考因數對應的測量能量關係。以及，利用位姿變化資訊確定運動先驗能量關係。最後，基於運動先驗能量關係以及每個參考因數對應的測量能量關係，構建本次定位對應的總能量關係。
一些公開實施例中，獲取若干慣性測量資料的預積分資訊。然後利用若干慣性測量資料的預積分資訊，構建慣性測量能量關係。
其中，基於慣性測量資料的預積分資訊，構建定慣性測量能量關係的方式可參見一般公知的技術。
此處簡單列舉獲取慣性測量能量關係
Figure 02_image001
的方式：
Figure 02_image003
； 其中，
Figure 02_image005
是上一次定位過程對應的雅可比矩陣，
Figure 02_image007
是本次定位關於位姿的雅可比矩陣，
Figure 02_image009
是本次定位關於慣性偏置量的雅可比矩陣，
Figure 02_image011
是上一次定位對應的位姿偏差，
Figure 02_image013
是本次定位對應的位姿偏差，
Figure 02_image015
為本次定位對應的慣性偏置量對應的偏差。
Figure 02_image017
是慣性測量能量關係對應的協方差矩陣，
Figure 02_image019
是慣性感測器測量殘差。其中，獲取上述各參數的方式可參見一般公知的技術。
其中，獲取運動先驗能量關係的方式可以是： 利用至少一次定位對應的若干參數，確定運動先驗能量關係。至少一次定位為多次定位，多次為兩次及以上。其中，至少一次定位包括本次定位，每次定位對應的若干參數包括定位過程中得到的位姿變化量、定位對應的起始測量時刻與結束測量時刻之間的位置差以及起始測量時刻對應的起始姿態資訊。其中，起始測量時刻與結束測量時刻之間的位置差指的是待定位對象在起始測量時刻的位置與待定位對象在結束測量時刻之間的位置之差。起始測量時刻的起始姿態資訊指的是待定位對象在起始測量時刻的朝向。
通過獲取歷史定位的位姿變化量以及若干慣性測量資料的測量期間的位置差，確定運動先驗能量關係，使得構建的運動先驗能量關係更準確，進而得到優化的位姿更準確。
在一些實施例中，起始圖像幀的起始姿態資訊包括偏航角資訊。一般慣性測量資料並非以偏航角的形式呈現，通過將慣性測量資料轉換為四元數形式。其中，若以XYZ座標軸的方式轉換得到的偏航角為90°，則調整座標系為YXZ座標軸的方式重新獲取偏航角資訊。通過使用偏航角資訊構建運動先驗能量，使得構建得到的運動先驗能量關係更準確。
在一些實施例中，位姿變化資訊還包括位姿變化量的確定度表徵資訊。其中，確定度表徵資訊可以用於表示確定度，也可用於表示不確定度。基於每次定位過程中得到的確定度表徵資訊，得到對應次定位的權重。其中，定位的權重是基於定位對應的確定度表徵資訊的預設倍數確定得到，其中，預設倍數為自然數。在一些實施例中，該權重可以為基於預設倍數的確定度表徵資訊變換得到的協方差矩陣。在一些實施例中，在確定度表徵資訊用於表示確定度時，預設倍數一般小於或等於1，例如預設倍數可以是0.1等，當然，這僅為舉例，在其他實施例中，預設倍數還可以大於1。在確定度表徵資訊用於表示不確定度時，預設倍數一般大於或等於1，例如預設倍數可以是10等，當然，這僅為舉例，在其他實施例中，預設倍數還可以小於1。
利用至少一次定位的權重以及若干參數，確定運動先驗能量關係。在一些實施例中，可以先確定各次定位的運動先驗能量關係，再基於各次定位的權重，將各次定位的運動先驗能量關係進行結合，得到最終的運動先驗能量關係。通過確定度表徵資訊，得到對應的權重，使得構建的運動先驗能量關係更準確。
在一些實施例中，獲取運動先驗能量關係
Figure 02_image021
的方式可以是：
Figure 02_image023
； 其中，每次定位對應的若干慣性測量資料的起始測量時刻為i時刻、結束測量時刻為j時刻，
Figure 02_image025
和
Figure 02_image027
分別表示第i時刻和第j時刻對應的待定位對象的位置、
Figure 02_image029
表示定位模型輸出的第i時刻和第j時刻之間的位姿變化量。
Figure 02_image031
表示第i時刻對應的目標對象的偏航角矩陣。T表示轉置。
Figure 02_image033
表示定位模型對應的協方差矩陣（權重），該協方差矩陣由確定度表徵資訊獲取得到。在一些實施例中，確定度表徵資訊為三維向量，三維向量中的三個元素為該協方差矩陣的對角元素的對數。在一些實施例中，可以將確定度表徵資訊的預設倍數作為該協方差矩陣的對角元素的對數。其中，此處確定度表徵資訊用於表示不確定度，該確定度表徵資訊可以是原始的確定度表徵資訊，也可以是擴大預設倍數後的確定度表徵資訊。
在一些實施例中，每次定位對應的第一歷史圖像幀與目標圖像幀中，拍攝最早的圖像幀為起始圖像幀，拍攝最晚的圖像幀為結束圖像幀。本發明實施例中，認為第一歷史圖像幀即為起始圖像幀，目標圖像幀即為結束圖像幀。以及，位姿變化資訊包括至少一種位姿變化量。至少一種位姿變化量包括位置變化量和姿態變化量中的至少之一。
為減少時間戳記誤差導致定位精度下降的問題出現，獲取更為準確的運動先驗能量關係。本發明實施例還可提供以下方式，讓運動先驗能量關聯上優化狀態，使最小能量時，能取得優化狀態的最優值。實施時，在獲取運動先驗能量關係之前，還包括以下步驟：將至少一次定位中的每次定位作為目標定位，基於目標定位對應的若干慣性測量資料的預積分資訊、起始圖像幀的位姿和結束圖像幀的位姿，確定目標定位對應的起始姿態資訊、起始測量時刻的位置和結束測量時刻的位置。在一些實施例中，若目標定位為歷史定位，則目標定位中起始圖像幀的位姿和結束圖像幀的位姿均可以是優化前的第一位姿，也可以是經優化後的位姿。而目標定位為本次定位時，起始圖像幀的位姿和結束圖像幀的位姿為優化前的第一位姿。即，若目標定位為上一次定位，則上一次定位中起始姿態資訊、起始測量時刻的位置和結束測量時刻的位置可以由上一次定位過程中的若干慣性測量資料的預積分資訊、起始圖像幀的位姿和結束圖像幀的位姿確定。當然，在另一些公開實施例中，可以認為待定位對象在起始測量時刻的位姿與拍攝起始圖像幀時的位姿相同，結束測量時刻的位姿與拍攝結束圖像幀時的位姿相同。
在一些實施例中，通過預積分資訊以及起始圖像幀的位姿、結束圖像幀的位姿，確定目標定位對應的起始姿態資訊、起始測量時刻和結束測量時刻的位置的方式可以是：
Figure 02_image035
；
Figure 02_image037
；
Figure 02_image039
； 其中，m表示起始圖像幀，n表示結束圖像幀。i表示起始測量時刻，j表示結束測量時刻。
Figure 02_image041
表示起始測量時刻的位置，w表示世界座標系，例如
Figure 02_image043
表示起始測量時刻在世界座標系下的位置，其他同理。
Figure 02_image045
表示結束測量時刻的位置，
Figure 02_image047
表示起始姿態資訊。
Figure 02_image049
表示起始圖像幀的位置，
Figure 02_image051
表示起始圖像幀的速度，
Figure 02_image053
表示起始圖像幀的拍攝時間與起始測量時刻之間的時間間隔。
Figure 02_image055
表示起始圖像幀對應的姿態資訊，
Figure 02_image057
表示不考慮初速度和重力情況下，使用起始圖像幀和起始測量時刻之間的慣性測量資料進行預積分得到的位置。
Figure 02_image059
表示結束測量時刻的位置，
Figure 02_image060
表示起始圖像幀和起始測量時刻之間的慣性測量資料進行預積分得到的姿態，上述三個公式中其他相同符號的不同上下標，可參見上述解析。通過時間戳記的方式從若干圖像幀中選擇拍攝時間與i時刻最接近圖像幀作為起始圖像幀，與j時刻最接近的圖像幀作為結束圖像幀。
由此，得到的最終的運動先驗能量關係
Figure 02_image062
：
Figure 02_image064
； 其中，
Figure 02_image066
表示第k+1次定位中的位姿偏差。H表示對應的雅可比矩陣，r表示對應的測量殘差。
Figure 02_image068
為最終的運動先驗能量關係對應的協方差矩陣。該協方差矩陣可以由定位模型輸出的確定度表徵資訊以及預積分資訊獲取得到。下標的含義參見上述。
獲取的方式
Figure 02_image068
可以是：
Figure 02_image071
； 其中，
Figure 02_image073
是基於定位模型輸出的確定度表徵資訊的預設倍數確定的協方差矩陣。
Figure 02_image075
和
Figure 02_image077
分別是j、i時刻預積分對應的協方差矩陣的位姿部分。w表示世界座標系，T表示轉置。下標的含義參見上述。
其中，在計算運動先驗能量關係中若使用了預積分資訊，則可以認為最終得到的運動先驗能量關係包含了慣性測量能量關係，因此，可以不必再使用慣性測量能量關係，構建總能量關係。通過預積分資訊以及相關圖像幀的位姿，確定若干慣性測量資料的起始測量時刻和結束測量時刻的位置，實現對起始測量時刻和結束測量時刻的位置的校正，進而提高運動先驗能量關係的準確性。
一些公開實施例中，從多次定位中，剔除滿足去除條件的定位。其中，去除條件為定位對應的位姿變化量以及位姿變化量的確定度表徵資訊之間的預設處理結果滿足第一預設條件。然後利用經剔除後的剩餘次定位對應的若干參數，確定運動先驗能量關係。在一些實施例中，通過獲取位姿變化量對應的馬氏距離來去除異常定位。其中，去除條件可以是
Figure 02_image079
Figure 02_image081
大於閾值。d表示濾波器初步估計的位姿變化量，
Figure 02_image083
表示定位模型輸出的位姿變化量。其中，H，P表示運動先驗能量關係中的測量雅可比矩陣和相應的狀態協方差。
Figure 02_image081
表示定位系統的狀態協方差矩陣，其中，該矩陣由運動先驗能量關係以及視覺測量能量關係對應的協方差矩陣融合得到。當然，除了將其剔除，還可採用將運動先驗能量關係對應的協方差矩陣放大若干倍用於減輕測量資料不準確的情況，例如放大十倍。通過對參數進行篩選，以剔除異常參數，進而使得獲取到的運動先驗能量關係更為準確。
其中，基於慣性測量能量關係和運動先驗能量關係構建的總能量關係可以是：
Figure 02_image085
； 其中，這裡的
Figure 02_image087
為k+1次定位確定的位姿偏差。
Figure 02_image088
為慣性測量能量關係中的雅可比矩陣，
Figure 02_image090
為慣性測量能量關係中的測量殘差，
Figure 02_image092
為運動先驗能量關係中的雅可比矩陣，
Figure 02_image094
為運動先驗能量關係中的測量殘差。
Figure 02_image096
為運動先驗能量關係對應的協方差矩陣，
Figure 02_image098
為慣性測量能量關係對應的協方差矩陣，可以認為協方差可以是對應關係中的權重。
在一些實施例中，若運動先驗能量關係的獲取結合了預積分資訊，則該總能量關係中可以不包括慣性測量能量關係的相關參數。
一些公開實施例中，至少一個參考因數還包括關於目標圖像幀和第一歷史圖像幀的圖像資訊。在一些實施例中，目標圖像幀和第一歷史圖像幀之間包括多幀圖像時，則還可包括目標圖像幀和第一歷史圖像幀之間各圖像幀的圖像資訊。除基於位姿變化資訊、慣性測量資料以外，還結合圖像資訊得到目標圖像幀的位姿，故能夠提高定位精度。
在一些實施例中，分別利用每個參考因數，確定參考因數對應的測量能量關係的方式，包括：利用圖像資訊，確定圖像資訊對應的視覺測量能量關係。在一些實施例中，利用圖像資訊，確定圖像資訊對應的視覺測量能量關係之前，還包括以下步驟：對若干參考圖像幀的特徵點進行匹配，得到特徵點匹配結果。在一些實施例中，匹配特徵點可以利用稀疏光流法將上一幀圖像特徵點跟蹤到當前圖像幀特徵點，得到特徵點的匹配結果。在一些實施例中，利用極線幾何約束去除錯誤的匹配結果。其中，若干參考圖像包括至少一次定位過程中的第一歷史圖像幀和目標圖像幀，且至少一次定位包括本次定位。其中，特徵點匹配結果包括特徵點集合。若一特徵點同時存在與兩幀參考圖像幀中，則該特徵點會加入特徵點集合。當然，在其他實施例中，只有在特徵點同時存在於三幀及以上的參考圖像幀中，才將其加入特徵點集合。其中，該特徵點為二維特徵點。
基於特徵點匹配結果，從若干參考圖像幀中確定至少一對匹配圖像幀。其中，每對匹配圖像幀存在匹配特徵點對。利用每對匹配圖像幀的位姿以及匹配特徵點對在匹配圖像幀中的位置，確定視覺測量能量關係。其中，若匹配圖像幀不為歷史定位中的目標圖像幀，即匹配圖像幀為本次定位中第一歷史圖像幀與目標圖像幀之間的圖像幀或目標圖像幀，則匹配圖像幀的位姿為第一位姿，若匹配圖像幀為歷史定位中的目標圖像幀，則匹配圖像幀的位姿可以是優化前的第一位姿或優化後的位姿。通過二維點資訊構建視覺測量能量關係，而非通過三維點資訊構建視覺測量能量關係，減少了因為三維點的精度問題造成視覺測量能量關係不準確的情況出現，從而使得獲取得到的視覺測量能量關係更準確。
在一些實施例中，獲取視覺能量關係的方式為：
Figure 02_image100
； 其中，F為各參考圖像幀能跟蹤上的特徵點集合，其中，若一個特徵點被兩幀及以上的參考圖像幀觀測到，該特徵點即可加入特徵點集合。C為能跟蹤到二維特徵點集合F的相機狀態集合。
Figure 02_image102
為第k個特徵點在第j幀參考圖像幀上的二維位置。K是拍攝組件的投影矩陣，
Figure 02_image104
表示第i幀參考圖像幀對應的攝影組件的旋轉矩陣。T表示轉置。
Figure 02_image106
為對應的協方差矩陣。本式中提出的i幀為在先拍攝的參考圖像幀，j幀為在後拍攝的參考圖像幀。
在一些實施例中，在獲取總能量關係之前，還可包括以下步驟：基於歷史定位對應的總能量關係，確定優化先驗能量關係。該優化先驗能量關係可用於構建總能量關係。通過結合優化先驗能量關係構建總能量關係，使得確定的位姿的偏差更準確。
在一些實施例中，獲取優化先驗能量關係的方式可以是：利用第二歷史圖像幀的位姿、第二歷史圖像幀之前的第二數量圖像幀對應的位姿、目標圖像幀的位姿以及第二歷史圖像幀對應的慣性資訊，更新得到第二歷史圖像幀對應的新的位姿偏差。其中，第二歷史圖像幀為歷史定位中的目標圖像幀。其中，目標圖像幀對應的位姿偏差至少由目標圖像幀的位姿以及目標圖像幀之前的第一數量圖像幀對應的位姿以及目標圖像幀對應的慣性資訊確定。其中，第二數量小於第一數量。其中，第一數量圖像幀可以是前若干次定位過程中對應的目標圖像幀。其中，第一數量圖像幀的位姿可以是經歷史定位過程優化後的位姿，還可以是優化前的第一位姿。
在一些實施例中，本次定位所使用的第一歷史圖像幀與上一次定位所使用的第一歷史圖像幀並非同一幀。例如，若第一次執行定位，第一歷史圖像幀可以是拍攝的首幀，該首幀作為世界座標系的原點，目標圖像幀為拍攝的第3幀，因第一次執行定位後，第2幀和第3幀的位姿已知，第二次執行定位使用的第一歷史圖像幀可以是第2幀也可以是第3幀，若第二次執行定位使用的第一歷史圖像幀為第2幀，則目標圖像幀為第4幀，同理若第二次執行定位所使用的第一歷史圖像幀為第3幀，則目標圖像幀可以是第5幀。對於第二次執行定位而言，第二歷史圖像幀為第3幀。當然，在此次定位過程中，所使用的第二歷史圖像幀的位姿可以是經上一次定位優化後的位姿，另一些公開實施例還可以是經優化前的位姿。
然後將歷史定位對應的總能量關係中的位姿偏差替換為新的位姿偏差，得到優化先驗能量關係。其中，目標圖像幀對應的慣性資訊可以是慣性偏置。其中，慣性偏置可以包括加速度偏置以及角速度偏置等。通過利用目標圖像幀的位姿替換第二歷史圖像幀之前第一數量圖像幀的最早圖像幀的位姿，以更新第二歷史圖像幀對應的位姿偏差，進而使得確定得到的優化先驗能量關係關聯於目標圖像幀的位姿，進而使得利用能量關係確定的目標圖像幀的位姿偏差更準確。
在一些實施例中，獲取優化先驗能量關係
Figure 02_image108
的方式為：
Figure 02_image110
； 其中，
Figure 02_image112
為k+1次定位對應的雅可比矩陣。
Figure 02_image114
為目標圖像幀對應的位姿偏差，
Figure 02_image115
為對應的測量殘差。
然後，基於運動先驗能量關係、視覺測量能量關係以及優化先驗能量關係、慣性測量能量關係中的一者或多者，構建本次定位對應的總能量關係。
一些公開實施例中，基於運動先驗能量關係以及慣性測量能量關係構建本次定位對應的總能量關係，另一些公開實施例中，基於運動先驗能量關係以及視覺測量能量關係構建本次定位對應的總能量關係，或者基於運動先驗能量關係、視覺測量能量關係以及視覺測量能量關係構建本次定位對應的總能量關係，還可以是基於運動先驗能量關係、視覺測量能量關係以及優化先驗能量關係、慣性測量能量關係構建本次定位對應的總能量關係。
步驟S133：利用本次定位對應的總能量關係，對第一位姿進行優化，得到目標圖像幀的位姿。
其中，總能量關係表示位姿偏差與總能量之間的關係。在一些實施例中，利用本次定位對應的總能量關係，對第一位姿進行優化，得到目標圖像幀的位姿的方式可以是：利用本次定位對應的總能量關係，確定總能量滿足第二預設條件的位姿偏差。其中，第二預設條件可以是總能量最小。然後基於確定的位姿偏差對目標圖像幀的第一位姿進行優化。在一些實施例中，將獲取到的位姿偏差與目標圖像幀的第一位姿進行求和，得到目標圖像幀優化後的位姿。
從而，最小化總能量關係，更新各個圖像幀對應的狀態以及慣性感測器的偏置。
在一些實施例中，最小化總能量關係的方式為：
Figure 02_image117
； 其中，這裡的
Figure 02_image087
為k+1次定位確定的位姿偏差。
Figure 02_image119
為優化先驗能量關係中的雅可比矩陣，
Figure 02_image115
為優化先驗能量關係中的測量殘差。
Figure 02_image120
為視覺測量能量關係中的雅可比矩陣，
Figure 02_image122
為視覺測量能量關係中的測量殘差，
Figure 02_image092
為運動先驗能量關係中的雅可比矩陣，
Figure 02_image094
為運動先驗能量關係中的測量殘差。
Figure 02_image096
為運動先驗能量關係對應的協方差矩陣，
Figure 02_image098
為視覺測量能量關係對應的協方差矩陣。
通過上述公式，能夠求解得到最終的
Figure 02_image087
與第一位姿進行求和，得到優化後的位姿。在一些實施例中，求取得到的慣性感測器的偏置可以取代定位系統中原始的偏置，以便後續的位姿計算更準確。當然，若需要優化的還包括慣性感測器的偏置、重力方向等參數時，上述
Figure 02_image087
則還可表示包括所有待優化的參數對應的偏差，也就是在這種情況下，
Figure 02_image087
包括位姿偏差以及各偏置量等參數對應的偏差的總偏差。
另一些公開實施例中，在確定目標圖像幀的位姿後，還可基於目標圖像幀的位姿，對定位系統的參數進行優化。在一些實施例中，通過調整包含位姿偏差和參數的偏差的總偏差，得到本次定位過程中需要優化的參數偏差，再將獲取到的偏差與對應的參數進行相加，得到優化後的參數。最後使用該優化後的參數替換定位系統中的參數。其中，參數包括重力方向、慣性偏置量中的至少一者。下一次定位過程中，可以使用優化後的參數進行定位。通過對定位系統的參數進行優化，使得下一次定位的精度更高。
為更好地理解本發明實施例提供的技術方案，請參考下例。請同時參見圖3，圖3是本發明實施例提供的另一種定位方法的流程示意圖。如圖3所示，本發明實施例提供的定位方法包括如下步驟。
步驟S21：攝影組件獲取若干圖像幀。 其中，若干圖像幀指的是第一歷史圖像幀至目標圖像幀之間的圖像幀。
步驟S22：進行特徵提取以及跟蹤。 在一些實施例中，對若干圖像幀進行特徵提取以及跟蹤，得到若干圖像幀對應的圖像資訊。
步驟S23：慣性感測器獲取若干慣性測量資料。 其中，若干慣性測量資料指的是第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間之間的拍攝期間的慣性測量資料。 慣性測量資料的獲取方式如上述。
步驟S24：進行資料緩存。 在一些實施例中，在資料緩存中執行將慣性測量資料轉換到重力系下、去除偏置、去除重力和歸一化中的一種或多種。
步驟S25：輸入定位模型。 在一些實施例中，將若干慣性測量資料登錄定位模型。定位模型基於若干慣性測量資料進行定位處理得到本次定位處理的位姿變化資訊。其中，定位模型對若干慣性測量資料進行定位處理的方式如上述。
步驟S26：進行預積分。 這裡，對慣性測量資料進行預積分的方式可參見一般的公知技術。
步驟S27：判斷定位系統是否初始化。 這裡，所述判斷方式如上述。 若判斷結果為定位系統未進行初始化，則執行步驟S28，否則執行步驟S29。
步驟S28：進行靜止初始化/運動初始化。 這裡，進行靜止初始化/運動初始化的方式如上述。
步驟S29：進行異常點檢測。 其中，異常點檢測就是上文中去除滿足第一預設條件的資料的步驟。
步驟S30：進行優化和更新。 在一些實施例中，基於圖像資訊、預積分資訊以及位姿變化資訊構建總能量關係並對各圖像幀對應的位姿進行優化和更新，得到最終的目標圖像幀的位姿。
步驟S31：優化參數。 在一些實施例中，可以進行優化的定位系統參數可以包括加速度偏置Ba、角速度偏置Bg以及定位系統其他可以優化的參數R。
其中，上述步驟之間的關係並非嚴格按照上述循序執行，例如，步驟S21和步驟S23可同步執行。步驟S22和步驟S24以及步驟S26也可同步執行等。
在一些實施例中，定位系統的輸入可以包括攝影組件和慣性感測器的輸出，即第一歷史圖像至目標圖像幀之間的所有圖像幀以及若干慣性測量資料。分別對各圖像幀和慣性測量資料進行預處理。對圖像幀進行預處理的方式可以是特徵提取和跟蹤。對慣性測量資料進行預處理也可分為兩步，一是進行預積分，二是在資料緩存中執行將慣性測量資料轉換到重力系下、去除偏置、去除重力和歸一化中的一種或多種。將經過第二種預處理後的慣性測量資料登錄定位模型得到第一歷史圖像幀和目標圖像幀之間的位姿變化資訊。然後，在進行預積分和圖像預處理之後，判斷定位系統是否進行了初始化，若是，則進行異常點檢測，其中，異常點檢測就是上文中去除滿足第一預設條件的資料的步驟。然後基於圖像資訊、預積分資訊以及位姿變化資訊構建總能量關係並對各圖像幀對應的位姿進行優化和更新，否則進行系統初始化。在對位姿進行優化更新之後，對定位系統的參數進行優化。當然，在其他實施例中，還可根據歷史的總能量關係構建此次定位過程中的總能量關係。
通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位，即可獲取這兩幀圖像之間的位姿變化資訊，若第一歷史圖像幀為世界座標系的原點或其位姿已知，則可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程減少了視覺方面對定位的影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
在一些實施例中，將定位模型對應的運動先驗（位姿變化資訊）、IMU資訊和視覺資訊進行緊耦合，在正常視覺環境下，能取得高精度定位效果，在極端挑戰視覺環境下，由於運動先驗的魯棒性，能取得較為魯棒的跟蹤。
在一些實施例中，本發明實施例提供的技術方案可以與其他定位演算法或感測器進行耦合，進行定位導航。
本發明實施例提供的定位方法可應用於增強現實、虛擬實境、機器人、自動駕駛、遊戲、影視、教育、電子商務、旅遊、智慧醫療、室內裝修設備、智慧家居、智慧製造以及維修裝配等場景中。
其中，定位方法的執行主體可以是定位裝置，例如，定位方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該定位方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
請參閱圖4，圖4是本發明實施例提供的一種定位裝置的結構示意圖。定位裝置40包括資料獲取模組41、定位處理模組42以及位姿確定模組43。資料獲取模組41，配置為獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料；定位處理模組42，配置為基於若干慣性測量資料進行定位處理，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊；位姿確定模組43，配置為基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿，其中，至少一個參考因數包括若干慣性測量資料。
上述方案，通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位處理，獲取這兩幀圖像之間的位姿變化資訊，進而可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程利用慣性測量資料進行位姿變化的計算進而實現定位，故減少了視覺方面對定位的不良影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
一些公開實施例中，至少一個參考因數還包括關於目標圖像幀和第一歷史圖像幀的圖像資訊。
上述方案，除基於位姿變化資訊、慣性測量資料以外，還結合圖像資訊得到目標圖像幀的位姿，故能夠提高定位精度。
一些公開實施例中，位姿確定模組43在基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿的情況下，配置為：基於位姿變化資訊，確定目標圖像幀的第一位姿；以及，利用位姿變化資訊以及至少一個參考因數，構建本次定位對應的總能量關係，其中，本次定位對應的總能量關係用於確定目標圖像幀的需優化的位姿偏差；利用本次定位對應的總能量關係，對第一位姿進行優化，得到目標圖像幀的位姿。
上述方案，通過利用位姿變化資訊以及至少一個參考因數構建總能量關係，通過總能量關係確定位姿偏差，從而對目標圖像幀的第一位姿進行優化。
一些公開實施例中，位姿確定模組43在利用位姿變化資訊以及至少一個參考因數，構建本次定位對應的總能量關係的情況下，配置為：分別利用每個參考因數，確定參考因數對應的測量能量關係，以及，利用位姿變化資訊確定運動先驗能量關係；基於運動先驗能量關係以及每個參考因數對應的測量能量關係，構建本次定位對應的總能量關係。
上述方案，對每一參考因數都構建對應的測量能量關係，並結合運動先驗能量關係，使得獲取到的總能量關係確定的位姿偏差更準確。
一些公開實施例中，位姿確定模組43在分別利用每個參考因數，確定參考因數對應的測量能量關係的情況下，配置為：獲取若干慣性測量資料的預積分資訊；利用若干慣性測量資料的預積分資訊，構建慣性測量能量關係。
上述方案，通過將預積分資訊構建的慣性測量能量關係與運動先驗能量關係進行結合，相比於單一的運動先驗能量關係而言，確定的位姿偏差更準確。
一些公開實施例中，位姿變化資訊包括至少一種位姿變化量，至少一種位姿變化量包括位置變化量和姿態變化量中的至少之一；位姿確定模組43在利用位姿變化資訊確定運動先驗能量關係的情況下，配合為：利用至少一次定位對應的若干參數，確定運動先驗能量關係，其中，至少一次定位包括本次定位，每次定位對應的若干參數包括定位過程中得到的位姿變化量、定位過程中採用的若干慣性測量資料的起始測量時刻和結束測量時刻的位置差、以及起始測量時刻對應的起始姿態資訊。
上述方案，通過獲取歷史定位的位姿變化量以及若干慣性測量資料的測量期間的位置差，確定運動先驗能量關係，使得構建的運動先驗能量關係更準確，進而得到優化的位姿更準確。
一些公開實施例中，位姿變化資訊還包括位姿變化量的確定度表徵資訊；位姿確定模組43在利用至少一次定位對應的若干參數，確定運動先驗能量關係的情況下，配置為：基於每次定位過程中得到的確定度表徵資訊，得到對應次定位的權重；利用至少一次定位的權重以及若干參數，確定運動先驗能量關係。
一些公開實施例中，至少一次定位為多次定位，位姿確定模組43在利用至少一次定位對應的若干參數，確定運動先驗能量關係的情況下，配置為：從多次定位中，剔除滿足去除條件的定位；其中，去除條件為定位對應的位姿變化量以及位姿變化量的確定度表徵資訊之間的預設處理結果滿足第一預設條件；利用經剔除後的剩餘次定位對應的若干參數，確定運動先驗能量關係。
上述方案，通過確定度表徵資訊，得到對應的權重，使得構建的運動先驗能量關係更準確。另外，通過對參數進行篩選，以剔除異常參數，進而使得獲取到的運動先驗能量關係更為準確。
一些公開實施例中，起始姿態資訊包括偏航角資訊。
一些公開實施例中，每次定位對應的第一歷史圖像幀與目標圖像幀中，拍攝最早的圖像幀為起始圖像幀，拍攝最晚的圖像幀為結束圖像幀；在利用至少一次定位對應的若干參數，確定運動先驗能量關係之前，位姿確定模組43還配置為：將至少一次定位中的每次定位作為目標定位，基於目標定位對應的若干慣性測量資料的預積分資訊、起始圖像幀的位姿和結束圖像幀的位姿，確定目標定位對應的起始姿態資訊、起始測量時刻的位置和結束測量時刻的位置。
上述方案，通過使用偏航角資訊構建運動先驗能量，使得構建得到的運動先驗能量關係更準確。另外，通過預積分資訊以及相關圖像幀的位姿，確定若干慣性測量資料的起始測量時刻和結束測量時刻的位置，實現對起始測量時刻和結束測量時刻的位置的校正，進而提高運動先驗能量關係的準確性。
一些公開實施例中，參考因數還包括關於目標圖像幀和第一歷史圖像幀的圖像資訊，位姿確定模組43在分別利用每個參考因數，確定參考因數對應的測量能量關係的情況下，配置為：利用圖像資訊，確定圖像資訊對應的視覺測量能量關係。在利用圖像資訊，確定圖像資訊對應的視覺測量能量關係之前，位姿確定模組43還用於：對若干參考圖像幀的特徵點進行匹配，得到特徵點匹配結果，其中，若干參考圖像包括至少一次定位過程中的第一歷史圖像幀和目標圖像幀，且至少一次定位包括本次定位；利用圖像資訊，確定圖像資訊對應的視覺測量能量關係，包括：基於特徵點匹配結果，從若干參考圖像幀中確定至少一對匹配圖像幀，其中，每對匹配圖像幀存在匹配特徵點對；利用每對匹配圖像幀的位姿以及匹配特徵點對在匹配圖像幀中的位置，確定視覺測量能量關係。
上述方案，通過二維點資訊構建視覺測量能量關係，而非通過三位元點資訊構建視覺測量能量關係，減少了因為三維點的精度問題造成視覺測量能量關係不準確的情況出現，從而使得獲取得到的視覺測量能量關係更準確。
一些公開實施例中，在基於運動先驗能量關係以及每個參考因數對應的測量能量關係，構建本次定位對應的總能量關係之前，位姿確定模組43還配置為：基於歷史定位對應的總能量關係，確定優化先驗能量關係；基於運動先驗能量關係以及每個參考因數對應的測量能量關係，構建本次定位對應的總能量關係，包括：基於運動先驗能量關係、優化先驗能量關係以及每個參考因數對應的測量能量關係，構建本次定位對應的總能量關係。
上述方案，通過結合優化先驗能量關係構建總能量關係，使得確定的位姿偏差更準確。
一些公開實施例中，歷史定位對應的總能量關係為上一次定位對應的總能量關係。
一些公開實施例中，目標圖像幀對應的位姿偏差至少由目標圖像幀的位姿以及目標圖像幀之前的第一數量圖像幀對應的位姿以及目標圖像幀對應的慣性資訊確定；位姿確定模組43在基於歷史定位對應的總能量關係，確定優化先驗能量關係的情況下，配置為：利用第二歷史圖像幀的位姿、第二歷史圖像幀之前的第二數量圖像幀對應的位姿、目標圖像幀的位姿、以及第二歷史圖像幀對應的慣性資訊，更新得到第二歷史圖像幀對應的新的位姿偏差，其中，第二歷史圖像幀為歷史定位中的目標圖像幀，第二數量小於第一數量；將歷史定位對應的總能量關係中的位姿偏差替換為新的位姿偏差，得到優化先驗能量關係。
上述方案，通過利用目標圖像幀的位姿替換第二歷史圖像幀之前第一數量圖像幀的最早圖像幀的位置，以更新第二歷史圖像幀對應的位姿偏差，進而使得確定得到的優化先驗能量關係關聯於目標圖像幀的位姿，進而使得利用能量關係確定的目標圖像幀的位姿偏差更準確。
一些公開實施例中，總能量關係表示位姿偏差與總能量之間的關係；位姿確定模組43在利用本次定位對應的總能量關係，對第一位姿進行優化，得到目標圖像幀的位姿的情況下，配置為：利用本次定位對應的總能量關係，確定使總能量滿足第二預設條件的位姿偏差；基於確定的位姿偏差對目標圖像幀的第一位姿進行優化。
一些公開實施例中，位姿變化資訊包括至少一種位姿變化量；位姿確定模組43在基於位姿變化資訊，確定目標圖像幀的第一位姿的情況下，配置為：利用目標圖像幀對應的位姿變化量，確定目標圖像幀的位姿。
上述方案，通過使得總能量關係滿足第二預設條件的位姿偏差，並基於該位姿偏差對目標圖像幀的第一位姿進行優化，使得最終目標圖像幀的位姿更準確。另外，通過位姿變化量，即可確定目標圖像幀的位姿，整個過程方便快捷。
一些公開實施例中，對若干慣性測量資料進行定位處理是由定位模型執行。
一些公開實施例中，定位處理模組42在基於若干慣性測量資料進行定位處理，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊的情況下，配置為：利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在本次定位處理得到的最終運動狀態資訊，其中，參考運動狀態資訊為上一次定位處理對應的最終運動狀態資訊；基於本次定位處理得到的最終運動狀態資訊，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊。
上述方案，通過結合上一次定位處理得到的最終運動狀態資訊，使得此次定位處理得到的最終運動狀態資訊更為準確。
一些公開實施例中，定位方法由定位系統執行，在基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿之前，位姿確定模組43還配置為：判斷定位系統的參數是否已初始化，其中，參數包括重力方向、慣性偏置量中的至少一者；回應於參數已初始化，則執行基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿；回應於參數未初始化，則選擇與目標圖像幀對應的狀態匹配的初始化方式，對定位系統的參數進行初始化，再執行基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿，其中，狀態包括運動狀態和靜止狀態。
上述方案，通過在定位系統未經初始化的情況下，選擇與目標圖像幀對應的狀態匹配的初始化方式，對定位系統的參數進行初始化，使得初始化得到的參數更準確。
一些公開實施例中，定位方法由定位系統執行，在基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿之後，位姿確定模組43還配置為：基於目標圖像幀的位姿，對定位系統的參數進行優化，其中，參數包括重力方向、慣性偏置量中的至少一者。
上述方案，通過對定位系統的參數進行優化，使得下一次定位的精度更高。
一些公開實施例中，目標圖像幀的位姿表示待定位對象在目標圖像幀的拍攝時刻的位姿，目標圖像幀和第一歷史圖像幀是由與待定位對象相對固定的拍攝裝置拍攝得到，慣性測量資料是由與待定位對象相對固定的慣性測量裝置測量得到。
一些公開實施例中，獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料之後，資料獲取模組41還配置為：對慣性測量資料進行預處理，其中，經預處理的慣性測量資料用於進行定位處理，預處理包括將慣性測量資料轉換到重力系下、去除偏置、去除重力和歸一化中的一種或多種。
上述方案，通過由與待定位對象相對固定的拍攝裝置拍攝得到目標圖像幀以及與待定位對象相對固定的慣性測量裝置得到慣性測量資料，因此，可以對任意的對象進行定位。另，通過對慣性測量資料進行預處理，使得得到的位姿變化資訊更為準確。
上述方案，通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位處理，獲取這兩幀圖像之間的位姿變化資訊，進而可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程利用慣性測量資料進行位姿變化的計算進而實現定位，故減少了視覺方面對定位的不良影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
請參閱圖5，圖5是本發明實施例提供的一種電子設備的結構示意圖。電子設備50包括記憶體51和處理器52，處理器52用於執行記憶體51中儲存的程式指令，以實現上述任一定位方法實施例中的步驟。在一個實施場景中，電子設備50可以包括但不限於：醫療設備、微型電腦、臺式電腦、伺服器，此外，電子設備50還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。
在一些實施例中，處理器52用於控制其自身以及記憶體51以實現上述任一定位方法實施例中的步驟。處理器52還可以稱為中央處理單元（Central Processing Unit，CPU）。處理器52可以是一種積體電路晶片，具有信號的處理能力。處理器52還可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式設計閘陣列（Field-Programmable Gate Array，FPGA）或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體組件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器52可以由積體電路晶片共同實現。
上述方案，通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位處理，獲取這兩幀圖像之間的位姿變化資訊，進而可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程利用慣性測量資料進行位姿變化的計算進而實現定位，故減少了視覺方面對定位的不良影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
請參閱圖6，圖6是本發明實施例提供的一種電腦可讀儲存媒體的結構示意圖。電腦可讀儲存媒體60儲存有能夠被處理器運行的程式指令61，程式指令61用於實現上述任一定位方法實施例中的步驟。
本發明實施例還提供一種電腦程式產品，包括儲存了程式碼的電腦可讀儲存媒體，所述程式碼包括的指令被電腦設備的處理器運行時，實現上述方法的步驟，可參見上述定位方法實施例。
該電腦程式產品可以通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品體現為電腦儲存媒體，在另一個可選實施例中，電腦程式產品體現為軟體產品，例如軟體發展包（Software Development Kit，SDK）等等。
上述方案，通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位處理，獲取這兩幀圖像之間的位姿變化資訊，進而可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程利用慣性測量資料進行位姿變化的計算進而實現定位，故減少了視覺方面對定位的不良影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
本發明涉及增強現實領域，通過獲取現實環境中的目標對象的圖像資訊，進而借助各類視覺相關演算法實現對目標對象的相關特徵、狀態及屬性進行檢測或識別處理，從而得到與具體應用匹配的虛擬與現實相結合的AR效果。在一些實施例中，目標對象可涉及與人體相關的臉部、肢體、手勢、動作等，或者與物體相關的標識物、標誌物，或者與場館或場所相關的沙盤、展示區域或展示物品等。視覺相關演算法可涉及視覺定位、SLAM、三維重建、圖像註冊、背景分割、對象的關鍵點提取及跟蹤、對象的位姿或深度檢測等。應用場景不僅可以涉及跟真實場景或物品相關的導覽、導航、講解、重建、虛擬效果疊加展示等交互場景，還可以涉及與人相關的特效處理，比如妝容美化、肢體美化、特效展示、虛擬模型展示等交互場景。
可通過卷積神經網路，實現對目標對象的相關特徵、狀態及屬性進行檢測或識別處理。上述卷積神經網路是基於深度學習框架進行模型訓練而得到的網路模型。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其實現可以參照上文方法實施例的描述。
上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考。
在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存媒體中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（Processor）執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存媒體包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的媒體。
工業實用性 本發明實施例公開了一種定位方法及裝置、設備、儲存媒體及電腦程式產品，定位方法包括：獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料；基於若干慣性測量資料進行定位處理，得到第一歷史圖像幀與目標圖像幀之間的位姿變化資訊；基於位姿變化資訊以及至少一個參考因數，確定目標圖像幀的位姿，其中，至少一個參考因數包括若干慣性測量資料。通過獲取第一歷史圖像幀至目標圖像幀之間的慣性測量資料，並依據該慣性測量資料進行定位處理，獲取這兩幀圖像之間的位姿變化資訊，進而可以根據該位姿變化資訊得到目標圖像幀的位姿資訊。另外，在獲取位姿變化資訊之後，再結合參考因數，確定目標圖像幀的位姿，由此，可以獲取得到更為準確的位姿。上述過程利用慣性測量資料進行位姿變化的計算進而實現定位，故減少了視覺方面對定位的不良影響，從而減少了因為外部環境等因素造成定位準確度較低的情況。
40:定位裝置 41:資料獲取模組 42:定位處理模組 43:位姿確定模組 50:電子設備 51:記憶體 52:處理器 60:電腦可讀儲存媒體 61:程式指令 S11~S13,S131~S133,S21~S31:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。 圖1是本發明實施例提供的一種定位方法的流程示意圖； 圖2是本發明實施例提供的一種定位方法中步驟S13的流程示意圖； 圖3是本發明實施例提供的另一種定位方法的流程示意圖； 圖4是本發明實施例提供的一種定位裝置的結構示意圖； 圖5是本發明實施例提供的一種電子設備的結構示意圖； 圖6是本發明實施例提供的一種電腦可讀儲存媒體的結構示意圖。
S11~S13:步驟

Claims (24)

  1. 一種定位方法，包括： 獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料； 基於所述若干慣性測量資料進行定位處理，得到所述第一歷史圖像幀與所述目標圖像幀之間的位姿變化資訊； 基於所述位姿變化資訊以及至少一個參考因數，確定所述目標圖像幀的位姿，其中，所述至少一個參考因數包括所述若干慣性測量資料。
  2. 根據請求項1所述的方法，其中，所述至少一個參考因數還包括關於所述目標圖像幀和第一歷史圖像幀的圖像資訊。
  3. 根據請求項1所述的方法，其中，所述基於所述位姿變化資訊以及至少一個參考因數，確定所述目標圖像幀的位姿，包括： 基於所述位姿變化資訊，確定所述目標圖像幀的第一位姿；以及， 利用所述位姿變化資訊以及所述至少一個參考因數，構建本次定位對應的總能量關係，其中，本次定位對應的總能量關係用於確定所述目標圖像幀的需優化的位姿偏差； 利用本次定位對應的的總能量關係，對所述第一位姿進行優化，得到所述目標圖像幀的位姿。
  4. 根據請求項3所述的方法，其中，所述利用所述位姿變化資訊以及所述至少一個參考因數，構建本次定位對應的總能量關係，包括： 分別利用每個所述參考因數，確定所述參考因數對應的測量能量關係，以及， 利用所述位姿變化資訊確定運動先驗能量關係； 基於所述運動先驗能量關係以及每個所述參考因數對應的測量能量關係，構建本次定位對應的總能量關係。
  5. 根據請求項4所述的方法，其中，所述分別利用每個所述參考因數，確定所述參考因數對應的測量能量關係，包括： 獲取所述若干慣性測量資料的預積分資訊； 利用所述若干慣性測量資料的預積分資訊，構建慣性測量能量關係。
  6. 根據請求項4所述的方法，其中，所述位姿變化資訊包括至少一種位姿變化量，所述至少一種位姿變化量包括位置變化量和姿態變化量中的至少之一；所述利用所述位姿變化資訊確定運動先驗能量關係，包括： 利用至少一次定位對應的若干參數，確定運動先驗能量關係，其中，所述至少一次定位包括本次定位，每次所述定位對應的若干參數包括所述定位過程中得到的所述位姿變化量、所述定位過程中採用的所述若干慣性測量資料的起始測量時刻和結束測量時刻的位置差、以及所述起始測量時刻對應的起始姿態資訊。
  7. 根據請求項6所述的方法，其中，所述位姿變化資訊還包括所述位姿變化量的確定度表徵資訊；所述利用至少一次定位對應的若干參數，確定運動先驗能量關係，包括： 基於每次定位過程中得到的所述確定度表徵資訊，得到對應次定位的權重； 利用所述至少一次定位的權重以及所述若干參數，確定運動先驗能量關係。
  8. 根據請求項6或7所述的方法，其中，所述至少一次定位為多次定位，所述利用至少一次定位對應的若干參數，確定運動先驗能量關係，包括： 從所述多次定位中，剔除滿足去除條件的定位；其中，所述去除條件為所述定位對應的位姿變化量以及所述位姿變化量的確定度表徵資訊之間的預設處理結果滿足第一預設條件； 利用經剔除後的剩餘次定位對應的若干參數，確定運動先驗能量關係。
  9. 根據請求項6所述的方法，其中，所述起始姿態資訊包括偏航角資訊。
  10. 根據請求項6或9所述的方法，其中，每次定位對應的所述第一歷史圖像幀與所述目標圖像幀中，拍攝最早的圖像幀為起始圖像幀，拍攝最晚的圖像幀為結束圖像幀；在所述利用至少一次定位對應的若干參數，確定運動先驗能量關係之前，所述方法還包括： 將所述至少一次定位中的每次定位作為目標定位，基於所述目標定位對應的若干慣性測量資料的預積分資訊、起始圖像幀的位姿和所述結束圖像幀的位姿，確定所述目標定位對應的所述起始姿態資訊、所述起始測量時刻的位置和所述結束測量時刻的位置。
  11. 根據請求項4所述的方法，其中，所述參考因數還包括關於所述目標圖像幀和第一歷史圖像幀的圖像資訊，所述分別利用每個所述參考因數，確定所述參考因數對應的測量能量關係，包括： 利用所述圖像資訊，確定所述圖像資訊對應的視覺測量能量關係； 在所述利用所述圖像資訊，確定所述圖像資訊對應的視覺測量能量關係之前，所述方法還包括： 對若干參考圖像幀的特徵點進行匹配，得到特徵點匹配結果，其中，所述若干參考圖像包括至少一次定位過程中的第一歷史圖像幀和目標圖像幀，且所述至少一次定位包括本次定位； 所述利用所述圖像資訊，確定所述圖像資訊對應的視覺測量能量關係，包括： 基於所述特徵點匹配結果，從所述若干參考圖像幀中確定至少一對匹配圖像幀，其中，每對所述匹配圖像幀存在匹配特徵點對； 利用每對所述匹配圖像幀的位姿以及所述匹配特徵點對在所述匹配圖像幀中的位置，確定所述視覺測量能量關係。
  12. 根據請求項4所述的方法，其中，在所述基於所述運動先驗能量關係以及每個所述參考因數對應的測量能量關係，構建本次定位對應的總能量關係之前，所述方法還包括： 基於歷史定位對應的總能量關係，確定優化先驗能量關係； 所述基於所述運動先驗能量關係以及每個所述參考因數對應的測量能量關係，構建本次定位對應的總能量關係，包括： 基於所述運動先驗能量關係、優化先驗能量關係以及每個所述參考因數對應的測量能量關係，構建本次定位對應的總能量關係。
  13. 根據請求項12所述的方法，其中，所述歷史定位對應的總能量關係為上一次定位對應的總能量關係。
  14. 根據請求項12或13所述的方法，其中，所述目標圖像幀對應的位姿偏差至少由所述目標圖像幀的位姿以及所述目標圖像幀之前的第一數量圖像幀對應的位姿以及所述目標圖像幀對應的慣性資訊確定；所述基於歷史定位對應的總能量關係，確定優化先驗能量關係，包括： 利用第二歷史圖像幀的位姿、所述第二歷史圖像幀之前的第二數量圖像幀對應的位姿、所述目標圖像幀的位姿、以及所述第二歷史圖像幀對應的慣性資訊，更新得到所述第二歷史圖像幀對應的新的位姿偏差，其中，所述第二歷史圖像幀為所述歷史定位中的目標圖像幀，所述第二數量小於所述第一數量； 將所述歷史定位對應的總能量關係中的所述位姿偏差替換為所述新的位姿偏差，得到所述優化先驗能量關係。
  15. 根據請求項3所述的方法，其中，所述總能量關係表示所述位姿偏差與總能量之間的關係；所述利用本次定位對應的總能量關係，對所述第一位姿進行優化，得到所述目標圖像幀的位姿，包括： 利用本次定位對應的總能量關係，確定使所述總能量滿足第二預設條件的所述位姿偏差； 基於確定的所述位姿偏差對所述第一位姿進行優化。
  16. 根據請求項3或15所述的方法，其中，所述位姿變化資訊包括至少一種位姿變化量；所述基於所述位姿變化資訊，確定所述目標圖像幀的第一位姿，包括： 利用所述目標圖像幀對應的位姿變化量，確定所述目標圖像幀的第一位姿。
  17. 根據請求項1所述的方法，其中，所述基於所述若干慣性測量資料進行定位處理是由定位模型執行。
  18. 根據請求項1或17所述的方法，其中，所述基於所述若干慣性測量資料進行定位處理，得到所述第一歷史圖像幀與所述目標圖像幀之間的位姿變化資訊，包括： 利用所述慣性測量資料以及參考運動狀態資訊，確定本次所述定位處理得到的最終運動狀態資訊，其中，所述參考運動狀態資訊為歷史所述定位處理得到的最終運動狀態資訊； 基於本次所述定位處理得到的最終運動狀態資訊，得到所述第一歷史圖像幀與所述目標圖像幀之間的位姿變化資訊。
  19. 根據請求項1所述的方法，其中，所述定位方法由定位系統執行，在所述基於所述位姿變化資訊以及至少一個參考因數，確定所述目標圖像幀的位姿之前，所述方法還包括： 判斷所述定位系統的參數是否已初始化，其中，所述參數包括重力方向、慣性偏置量中的至少一者； 回應於所述參數已初始化，則執行所述基於所述位姿變化資訊以及至少一個參考因數，確定所述目標圖像幀的位姿； 回應於所述參數未初始化，則選擇與所述目標圖像幀對應的狀態匹配的初始化方式，對所述定位系統的參數進行初始化，再執行所述基於所述位姿變化資訊以及至少一個參考因數，確定所述目標圖像幀的位姿，其中，所述狀態包括運動狀態和靜止狀態。
  20. 根據請求項1所述的方法，其中，所述定位方法由定位系統執行，在所述基於所述位姿變化資訊以及至少一個參考因數，確定所述目標圖像幀的位姿之後，所述方法還包括： 基於所述目標圖像幀的位姿，對所述定位系統的參數進行優化，其中，所述參數包括重力方向、慣性偏置量中的至少一者。
  21. 根據請求項1所述的方法，其中，所述目標圖像幀的位姿表示待定位對象在所述目標圖像幀的拍攝時刻的位姿，所述目標圖像幀和第一歷史圖像幀是由與待定位對象相對固定的拍攝裝置拍攝得到，所述慣性測量資料是由與所述待定位對象相對固定的慣性測量裝置測量得到。
  22. 根據請求項1或21所述的方法，其中，所述獲取第一歷史圖像幀的拍攝時間至目標圖像幀的拍攝時間的拍攝期間測量得到的若干慣性測量資料之後，所述方法還包括： 對所述慣性測量資料進行預處理，其中，經所述預處理的所述慣性測量資料用於進行所述定位處理，所述預處理包括將所述慣性測量資料轉換到重力系下、去除偏置、去除重力和歸一化中的一種或多種。
  23. 一種電子設備，包括記憶體和處理器，所述處理器用於執行所述記憶體中儲存的程式指令，以實現請求項1至22任一項所述的方法。
  24. 一種電腦可讀儲存媒體，其上儲存有程式指令，所述程式指令被處理器執行時實現請求項1至22任一項所述的方法。
TW111108665A 2021-09-29 2022-03-09 定位方法及設備、電腦可讀儲存媒體 TW202314593A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111154872.X 2021-09-29
CN202111154872.XA CN113899364B (zh) 2021-09-29 2021-09-29 定位方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
TW202314593A true TW202314593A (zh) 2023-04-01

Family

ID=79189637

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111108665A TW202314593A (zh) 2021-09-29 2022-03-09 定位方法及設備、電腦可讀儲存媒體

Country Status (3)

Country Link
CN (1) CN113899364B (zh)
TW (1) TW202314593A (zh)
WO (1) WO2023050634A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114543797A (zh) * 2022-02-18 2022-05-27 北京市商汤科技开发有限公司 位姿预测方法和装置、设备、介质
CN116718153B (zh) * 2023-08-07 2023-10-27 成都云智北斗科技有限公司 一种基于gnss和ins的形变监测方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017172778A1 (en) * 2016-03-28 2017-10-05 Sri International Collaborative navigation and mapping
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN111507132B (zh) * 2019-01-31 2023-07-07 杭州海康机器人股份有限公司 一种定位方法、装置及设备
CN112902953B (zh) * 2021-01-26 2022-10-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法
CN112819860B (zh) * 2021-02-18 2023-12-22 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN113012224B (zh) * 2021-03-12 2022-06-03 浙江商汤科技开发有限公司 定位初始化方法和相关装置、设备、存储介质
CN113052897A (zh) * 2021-03-25 2021-06-29 浙江商汤科技开发有限公司 定位初始化方法和相关装置、设备、存储介质
CN112884840A (zh) * 2021-03-29 2021-06-01 湖南国科微电子股份有限公司 一种视觉定位方法、装置、设备及存储介质
CN113256718B (zh) * 2021-05-27 2023-04-07 浙江商汤科技开发有限公司 定位方法和装置、设备及存储介质
CN113847907A (zh) * 2021-09-29 2021-12-28 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN113899364A (zh) 2022-01-07
CN113899364B (zh) 2022-12-27
WO2023050634A1 (zh) 2023-04-06

Similar Documents

Publication Publication Date Title
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN111156984B (zh) 一种面向动态场景的单目视觉惯性slam方法
CN107990899B (zh) 一种基于slam的定位方法和系统
US20220146267A1 (en) System, methods, device and apparatuses for preforming simultaneous localization and mapping
JP5987823B2 (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
WO2016199605A1 (ja) 画像処理装置および方法、並びにプログラム
JP2015532077A (ja) 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
US10636190B2 (en) Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
WO2018134686A2 (en) Systems, methods, device and apparatuses for performing simultaneous localization and mapping
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
WO2023050634A1 (zh) 定位方法及装置、设备、存储介质及计算机程序产品
US20160210761A1 (en) 3d reconstruction
JP7280385B2 (ja) 視覚的ポジショニング方法および関連装置、機器並びにコンピュータ可読記憶媒体
CN113012224B (zh) 定位初始化方法和相关装置、设备、存储介质
TWI812053B (zh) 定位方法、電子設備及電腦可讀儲存媒體
WO2023087681A1 (zh) 定位初始化方法、装置、计算机可读存储介质和计算机程序产品
CN112087728A (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
CN113847907A (zh) 定位方法及装置、设备、存储介质
Zhang et al. Robust orientation estimate via inertial guided visual sample consensus
CN116576866B (zh) 导航方法和设备
US11847750B2 (en) Smooth object correction for augmented reality devices
US10021364B2 (en) Method of building stereoscopic model with kalman filtering
Andrés López et al. VCIT-Visually Corrected inertial Tracking
López et al. VCIT-Visually Corrected inertial Tracking.
KR20220083166A (ko) 인체 추정 방법 및 장치