TWI812053B - 定位方法、電子設備及電腦可讀儲存媒體 - Google Patents

定位方法、電子設備及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI812053B
TWI812053B TW111108664A TW111108664A TWI812053B TW I812053 B TWI812053 B TW I812053B TW 111108664 A TW111108664 A TW 111108664A TW 111108664 A TW111108664 A TW 111108664A TW I812053 B TWI812053 B TW I812053B
Authority
TW
Taiwan
Prior art keywords
time period
sample
measurement data
inertial measurement
target time
Prior art date
Application number
TW111108664A
Other languages
English (en)
Other versions
TW202314249A (zh
Inventor
陳丹鵬
王楠
Original Assignee
大陸商深圳市慧鯉科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市慧鯉科技有限公司 filed Critical 大陸商深圳市慧鯉科技有限公司
Publication of TW202314249A publication Critical patent/TW202314249A/zh
Application granted granted Critical
Publication of TWI812053B publication Critical patent/TWI812053B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Navigation (AREA)
  • Near-Field Transmission Systems (AREA)

Abstract

本發明實施例公開了一種定位方法、電子設備及電腦可讀儲存媒體，定位方法包括：獲取待定位對象在目標時間段內的慣性測量資料；利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊，其中，參考運動狀態資訊為待定位對象在參考時間段內的最終運動狀態資訊；基於目標時間段內的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊。上述方案，使用待定位對象的慣性測量資料以及參考運動狀態資訊，即可獲取得到該對象對應的位姿變化資訊，在簡化定位過程的同時，也兼顧了定位的準確度。

Description

定位方法、電子設備及電腦可讀儲存媒體
本發明關於定位領域，尤其關於一種定位方法、電子設備及電腦可讀儲存媒體。
目前，常見的定位方式主要有視覺定位。視覺定位方式主要通過設備拍攝到的圖像之間的圖像資訊，確定設備的位置。其中，視覺定位比較依賴外部環境，在動態、光照劇烈變化、弱紋理、遠景和遮擋等情況下，視覺定位無法很好正常工作。在這種情況下，設備拍攝得到的圖像中提取得到的資訊較少，則無法很好地進行定位。
本發明實施例至少提供一種定位方法、電子設備及電腦可讀儲存媒體。
本發明實施例提供了一種定位方法，包括：獲取待定位對象在目標時間段內的慣性測量資料；利用慣性測量 資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊，其中，參考運動狀態資訊為待定位對象在參考時間段內的最終運動狀態資訊；基於目標時間段內的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊。
本發明實施例提供了一種定位裝置，包括：資料獲取模組，配置為獲取待定位對象在目標時間段內的慣性測量資料；運動狀態資訊獲取模組，配置為利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊，其中，參考運動狀態資訊為待定位對象在參考時間段內的最終運動狀態資訊；確定模組，配置為基於目標時間段對應的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊。
本發明實施例提供了一種電子設備，包括記憶體和處理器，處理器用於執行記憶體中儲存的程式指令，以實現上述定位方法。
本發明實施例提供了一種電腦可讀儲存媒體，其上儲存有程式指令，程式指令被處理器執行時實現上述定位方法。
本發明實施例還提供一種電腦程式產品，包括儲存了程式碼的電腦可讀儲存媒體，所述程式碼包括的指令被電腦設備的處理器運行時，實現上述定位方法的步驟。
上述方案，通過使用目標時間段內的慣性測量資料即可獲取得到目標時間段內的位姿變化，因此，即便在外 部環境惡劣無法獲得較高品質的圖像的情況下，也可進行定位，減少了因為外部環境等因素造成定位精度不高的情況出現。另外，通過結合參考時間段內的最終狀態資訊與目標時間段內的慣性測量資料獲取最終運動狀態資訊，使得獲取得到的位姿變化資訊更準確。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明實施例。
40:定位裝置
41:資料獲取模組
42:運動狀態資訊獲取模組
43:確定模組
50:電子設備
51:記憶體
52:處理器
60:電腦可讀儲存媒體
61:程式指令
S11~S13,S21~S24,S121~S122:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。
圖1是本發明實施例提供的一種定位方法的流程示意圖；圖2是本發明實施例提供的一種定位方法中訓練定位模型的流程示意圖；圖3是本發明實施例提供的一種定位方法中步驟S12的流程示意圖；圖4是本發明實施例提供的一種定位方法中定位模型的結構示意圖；圖5是本發明實施例提供的一種定位裝置的結構示意圖；圖6是本發明實施例提供的一種電子設備的結構示意 圖；圖7是本發明實施例提供的一種電腦可讀儲存媒體的結構示意圖。
下面結合說明書附圖，對本發明實施例的方案進行詳細說明。
以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯對象是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
請參閱圖1，圖1是本發明實施例提供的一種的流程示意圖。所述方法由電子設備執行，包括如下步驟。
步驟S11：獲取待定位對象在目標時間段內的慣性測量資料。
待定位對象可以是設備，也可以是任意具有生命的 動物體。例如，待定位對象可以是車輛、機器人、人、小貓、小狗等。
慣性測量資料指的是慣性感測器測量得到的資料。其中，慣性感測器的數量可以是多個，慣性感測器可以是加速度計，也可以是陀螺儀等。
待定位對象與慣性感測器之間的位置相對固定，即慣性感測器的位姿情況可以表示所述待定位對象的位姿情況，可以理解的是，當待定位對象為設備時，該慣性感測器可以為該設備中的元件，或者為該設備以外的元件。當待定位對象為人時，該慣性感測器可以為人身上佩戴的設備中的元件，例如人身上佩戴的手機中的慣性感測器。慣性感測器在目標時間段內測量得到的慣性測量資料可以代表待定位對象在目標時間段內的慣性測量資料。
步驟S12：利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊，其中，參考運動狀態資訊為待定位對象在參考時間段內的最終運動狀態資訊。
其中，參考運動狀態資訊的數量可以是一個及以上。參考時間段的數量也可以是一個及以上。參考時間段可以是目標時間段以前的任意時間段，例如，參考時間段可以是與目標時間段相鄰的一個或多個歷史時間段。在一些實施例中，每一參考時間段的長度可以與目標時間段的長度相同，當然，在其它實施例中，參考時間段的時間長度與目標時間段的長度也可不同，例如，參考時間段的時間長 度可以等於預設數量倍的目標時間段長度，預設數量倍大於0。
其中，上述時間段內的相應運動狀態資訊用於表示待定位對象在該時間段內的運動，例如目標時間段內的最終運動狀態資訊能夠用於推導待定位對象在目標時間段內的運動，參考時間段內的最終運動狀態資訊能夠用於推導待定位對象在參考時間段內的運動。上述時間段內的相應運動狀態資訊可以包括待定位對象在對應時間段內一個或多個時刻的運動參數。例如，相應時刻的運動參數可以包括待定位對象在相應時刻的加速度、角速度、運動速度和運動方向等中的一個或多個。一些應用場景中，相應時間段內的運動狀態資訊可以是局部視窗中的基於慣性測量資料得到的加速度和角速度，作為待定位對象運動的加速度和角速度，但因為各種因素的作用，其可能帶有一定的雜訊。在一些公開實施例中，運動狀態資訊可以為運動編碼資訊，其表達形式可以是用於描述待定位對象運動的運動隱層狀態矩陣。
步驟S13：基於目標時間段內的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊。
本發明實施例中，通過編碼的方式獲取目標時間段內的最終運動狀態資訊，並通過解碼的方式基於目標時間段內的最終運動狀態，得到待定位對象在目標時間段內的位姿變化資訊。其中，待定位對象在目標時間段內的位姿變化資訊可以是待定位對象在目標時間段內的起始時間 點至目標時間段內的截止時間點之間的位置變化和姿態變化中的至少之一。兩個時間點之間的位置變化可以是二者之間的相對位移。姿態變化可以是待定位對象朝向的變化。
上述方案，通過使用目標時間段內的慣性測量資料即可獲取得到目標時間段內的位姿變化，因此，即便在外部環境惡劣無法獲得較高品質的圖像的情況下，也可進行定位，減少了因為外部環境等因素造成定位精度不高的情況出現。另外，通過結合參考時間段內的最終狀態資訊與目標時間段內的慣性測量資料獲取最終運動狀態資訊，使得獲取得到的位姿變化資訊更準確。
一些公開實施例中，上述步驟S12和步驟S13是由定位模型執行。請同時參見圖2，圖2是本發明實施例提供的一種定位方法中訓練定位模型的流程示意圖。如圖2所示，本發明實施例中，定位方法還包括以下步驟。
步驟S21：從樣本慣性測量資料集合中獲取第一樣本慣性測量資料。
樣本慣性測量資料集合中可以包括一個對象在不同運動狀態下的慣性測量資料，也可以包括不同對象在相同或不同運動狀態下的慣性測量資料。例如，若待定位對象為人，可以採集多個人體步行、跑步、站立、上下樓梯和隨機晃動等過程中的慣性測量資料，作為樣本慣性測量資料集合。其中，第一樣本慣性測量資料所屬的對象與待定位對象的屬性相同。在一些實施例中，待定位對象為人 體的情況下，第一樣本慣性測量資料所屬的對象也為人體。同理，待定位對象為貓的情況下，第一樣本慣性測量資料所屬的對象也為貓。
本發明實施例中，樣本慣性測量資料集合包括多個對象的樣本慣性測量資料。該多個對象可以在形體上存在不同，例如，高矮、胖瘦等方面不同。另一些公開實施例中，樣本慣性測量資料集合包括多個運動行為類別下的對象的樣本慣性測量資料。多個運動行為類別可參照上述，當然，在其他實施例中，還可包括其它運動行為類別，例如，翻跟頭、跳躍、翻越圍欄等等，關於運動行為類別此處不做規定。另一些公開實施例中，樣本慣性測量資料集合包括多個對象的樣本資料以及多個運動行為類別下的對象的樣本慣性測量資料。
第一樣本慣性測量資料同樣可以是多個對象的樣本慣性測量資料和不同運動行為類別下的對象的樣本慣性測量資料中的至少之一。即本發明實施例中，可以同時使用多個對象對應的樣本慣性測量資料或同一對象在不同運動狀態下的樣本慣性測量資料對定位模型進行訓練。
其中，從樣本慣性測量資料集合中獲取第一樣本慣性測量資料的方式可以是按照一定的規律從樣本慣性測量資料集合中獲取一定時間段內的樣本慣性測量資料作為第一樣本慣性測量資料。
步驟S22：利用第一樣本慣性測量資料，對定位 模型進行第一訓練。
在一些實施例中，利用定位模型對第一樣本慣性測量資料進行定位處理，得到第一樣本位姿變化資訊。其中，第一樣本位姿變化資訊包括第一樣本位姿變化量。第一樣本位姿變化量可以包括第一樣本位置變化量和第一樣本姿態變化量中的至少之一。
接著，利用本次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量，得到第一損失。其中，第一參考位姿變化量是標記資訊。以及，利用本次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量、以及前若干次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量，得到第二損失。
前若干次可以是上一次，也可以是前兩次及以上。本發明實施例中，前若干次包括本次以前的所有次。當然，本次以前的定位處理與本次執行的定位處理所使用的第一樣本慣性測量資料為同一對象的樣本慣性測量資料，並在時序上存在先後關係。本次以前其它對象的第一樣本慣性測量資料對應的第一樣本位姿變化量不是本次定位處理以前的第一樣本位姿變化量。在其他公開實施例中，處於本次定位處理以前的所有定位處理，均可參與第二損失的計算。也就是，第一損失是相對損失，而第二損失是絕對損失。當然，若本次定位處理為首次，則第一損失和第二損失的計算方式相同，可以只計算其中一個損失。
本發明實施例中，第一訓練過程中使用的損失是利 用均方誤差損失函數確定的。在一些實施例中，獲取第一損失之後，結合各個第一損失獲取第一樣本慣性測量資料對應的最終第一損失的公式可以是：
Figure 111108664-A0305-02-0012-1
 其中，
Figure 111108664-A0305-02-0012-2
是網路的定位模型輸出的第j個第一樣本位姿變化量，d j→j+1是對應的第一參考位姿變化量。n是訓練時的批大小，若一時刻只使用一個樣本慣性測量資料，則批大小為1，若一時刻使用2個樣本慣性測量資料，則批大小為2。m表示第一樣本慣性測量資料第m個採樣位置，而M表示定位模型訓練時使用第一樣本慣性測量資料的組數。例如，第一樣本慣性測量資料中包括1分鐘的慣性測量資料，而每次輸入定位模型的是從1分鐘慣性測量資料中採樣的0.5s的慣性測量資料，一共獲取了3組，例如0-0.5s為第一組，第二個0.5s為第2組，第三個0.5s為第三組。此時，m可以表示0，M表示3。即d j→j+1-
Figure 111108664-A0305-02-0012-4
為第j個樣本位姿變化量對應的第一損失，通過累加各個第一損失，得到第一樣本慣性測量資料對應的最終第一損失。
本發明實施例中，獲取第二損失之後，結合各個第二損失，獲取第一樣本慣性測量資料對應的最終第二損失的公式可以是：
Figure 111108664-A0305-02-0012-3
 其中，
Figure 111108664-A0305-02-0013-5
是網路的定位模型輸出的第m至第j個之間的第一樣本位姿變化量，d m→j+1是對應的第一參考位姿變化量。n是訓練時的批大小，若一時刻只使用一個對象在一種運動狀態下的樣本慣性測量資料，則批大小為1，若一時刻使用2個對象在同一運動狀態下的樣本慣性測量資料，則批大小為2。m表示第一樣本慣性測量資料第m個採樣位置，而L表示定位模型訓練時使用第一樣本慣性測量資料的組數。例如，第一樣本慣性測量資料中包括1分鐘的慣性測量資料，而每次輸入定位模型的是從1分鐘慣性測量資料中採樣的0.5s的慣性測量資料，一共獲取了3組，例如0-0.5s為第一組，第二個0.5s為第2組，第三個0.5s為第三組。此時，m可以表示0，L表示3。此時，若m為0，此次定位為L次，則需要使用L次定位及以前次定位對應的第一樣本變化量以及第一參考位姿變化量，獲取第二損失。即d m→j+1-
Figure 111108664-A0305-02-0013-6
為第j個樣本位姿變化量對應的第二損失，通過累加各個第二損失，得到第一樣本慣性測量資料對應的最終第二損失。
基於第一損失和第二損失，調整定位模型的網路參數。在一些實施例中，可以為第一損失和第二損失確定對應的權重，進行加權求和得到最終的損失，然後利用最終的損失對定位模型的網路參數進行調整。通過結合第一損失和第二損失，對定位模型的網路參數進行調整，相比於僅使用其中一種損失對網路參數進行調整的方式而言，前者調整後的網路參數更準確。
步驟S23：回應於定位模型達到預設收斂狀態，從樣本慣性測量資料集合中獲取第二樣本慣性測量資料。
預設收斂狀態可以是第一損失和第二損失中的至少之一小於或等於對應的預設損失值的狀態。
其中，第一樣本慣性測量資料與第二樣本慣性測量資料可以相同，也可以不同。例如，可以是不同對象對應的樣本慣性測量資料，也可以是同一對象對應的不同運動行為類別下的樣本慣性測量資料。從樣本慣性測量資料集合中獲取第二樣本慣性測量資料的方式可參見從樣本慣性測量資料集合中獲取第一樣本慣性測量資料的方式。本發明實施例中，第一樣本慣性測量資料與第二樣本慣性測量資料可以相同。
步驟S24：利用第二樣本慣性測量資料，對定位模型進行第二訓練，其中，第一訓練和第二訓練過程中的損失確定方式不同。
在一些實施例中，利用定位模型對第二樣本慣性測量資料進行定位處理，得到第二樣本位姿變化資訊。其中，第二樣本位姿變化資訊包括第二樣本位姿變化量和第二樣本位姿變化量的樣本確定度表徵資訊。樣本確定度表徵資訊可以是用於表示第二樣本位姿變化量的不確定度，也可以用於表示第二樣本位姿變化量的確定度。
然後，利用第二樣本位姿變化量以及對應的第二參考樣本位姿變化量和樣本確定度表徵資訊，得到第三損失。 在一些實施例中，基於第二樣本位姿變化量與第二參考位姿變化量，獲取真實樣本確定度表徵資訊，基於該真實樣本確定度表徵資訊與定位模型輸出的樣本確定度表徵資訊，得到第三損失。其中，第二參考位姿變化量是標記資訊。
在一些實施例中，第三損失可以基於第四損失和第五損失獲取得到。其中，第四損失可以基於本次第二樣本位姿變化量以及對應的第二參考樣本位姿變化量和對應的樣本確定度表徵資訊與真實樣本確定度表徵資訊獲取得到。第五損失可以基於本次及本次以前若干次的第二樣本位姿變化量以及對應的第二參考樣本位姿變化量和對應的樣本確定度表徵資訊與真實樣本確定度表徵資訊獲取得到。其中，第四損失是相對損失，第五損失是絕對損失。在一些實施例中，對第四損失和第五損失進行加權求和，得到第三損失。
基於第三損失，調整定位模型的網路參數。
本發明實施例中，第一訓練和第二訓練過程中的損失確定方式不同，例如，可以是使用的損失函數不同。本發明實施例中，第二訓練中的損失可以利用負對數似然損失函數確定。通過使用多種損失對定位模型進行調整，使得最終調整得到的定位模型的輸出結果準確度更高。
在一些實施例中，本發明實施例中，通過負對數似然損失函數確定第三損失的方式可以是：
Figure 111108664-A0305-02-0015-7
 其中，d表示第二位姿參考變化量，而
Figure 111108664-A0305-02-0016-9
表示此次定位處理輸出的第二樣本位姿變化量，T表示轉置，
Figure 111108664-A0305-02-0016-8
表示協方差矩陣，其中，樣本確定度表徵資訊為三維向量，且這三個元素為協方差矩陣的對角元素的對數。
一些公開實施例中，定位模型還可包括運動行為分類網路。
在基於第一樣本慣性測量資料得到最終運動狀態資訊之後，還可將最終運動狀態資訊輸入運動行為分類網路。運動行為分類網路利用該最終運動狀態資訊進行運動行為分類，得到預測運動行為類別。基於預測運動行為類別與標記行為類別，獲取分類損失。然後基於該分類損失對定位模型的參數進行調整。以便訓練得到的定位模型在應用過程中還可輸出待定位對象在目標時間段內的運動行為類別。
在一些實施例中，可以使用Dropout技術對定位模型進行訓練。在一些實施例中，在前向傳播的時候，讓某個神經元的啟動值以一定的概率p停止工作，這樣可以使模型泛化性更強。
在一些實施例中，第一樣本慣性測量資料和第二樣本慣性測量資料可以包括加速度和角速度中的至少之一。
本發明實施例中，在執行步驟S22和步驟S24之前，可以分別對第一樣本慣性測量資料和第二樣本慣性測量資料進行預處理。其中，經預處理的樣本慣性測量資料 用於得到對應的第一樣本位姿變化量或第二樣本位姿變化量。
其中，預處理包括將第一樣本慣性測量資料或第二樣本慣性測量資料轉換到重力座標系下、去除偏置、去除重力和歸一化中的一種或多種。其中，重力座標系、加速度和角速度中的至少之一的偏置可以預先設置。通過對慣性測量資料進行預處理，使得得到的位姿變化資訊更為準確。在一些實施例中，預處理還可包括對慣性測量資料進行固定幀率插值。然後，將插值後的資料進行緩存。
請同時參見圖3，圖3是本發明實施例提供的一種定位方法中步驟S12的流程示意圖。一些公開實施例中，上述步驟S12還可包括以下步驟。
步驟S121：基於慣性測量資料，得到待定位對象在目標時間段內的初始運動狀態資訊。
在一些實施例中，定位模型包括第一網路，該第一網路可以是ResNet18網路。利用第一網路對慣性測量資料進行處理，得到待定位對象在目標時間段內的初始運動狀態資訊。初始運動狀態資訊可以包括待定位對象在目標時間段內一個或多個時刻的運動參數。例如，相應時刻的初始運動狀態資訊可以包括待定位對象在相應時刻的加速度、角速度、運動速度和運動方向中的一個或多個。在一些實施例中，初始運動狀態資訊的表達形式可以是用於描述待定位對象在目標時間段內的運動的運動隱層狀態矩陣。其中，初始運動狀態資訊可以用於推導待定位對象 在目標時間段內的運動。但因為感測器的偏置等因素的影響，導致獲取得到的初始運動狀態含有雜訊，所以若僅使用初始運動狀態資訊推導待定位對象在目標時間段內的運動，或許會存在一定的誤差。
在一些公開實施例中，第一網路中包括池化層。
步驟S122：將參考運動狀態資訊與初始運動狀態資訊進行融合，得到待定位對象在目標時間段內的最終運動狀態資訊。
在一些實施例中，定位模型包括第二網路，該第二網路可以是長短期記憶網路(Long Short-Term Memory，LSTM)。利用第二網路將初始運動狀態資訊與參考運動狀態進行融合，得到最終運動狀態資訊。在一些實施例中，最終運動狀態資訊和參考運動狀態資訊的形式也可以是用於描述待定位對象在目標時間段內的運動的運動隱層狀態矩陣。本發明實施例認為待定位對象的運動是連續且有規律的，因此，通過用於表示待定位對象在目標時間段內的運動的初始運動狀態資訊與用於表示待定位對象在參考時間段內的運動的參考運動狀態資訊進行融合，以估計待定位對象在目標時間段內更準確的最終運動狀態資訊，從而可以根據該最終運動狀態資訊估計待定位對象在目標時間段內的運動。由此，可以基於歷史資訊獲取待定位對象在目標時間段內的最終運動狀態資訊，使得獲取得到的待定位對象在目標時間段內的最終運動狀態資訊比待定位對象在目標時間段內的初始運動狀態 資訊更準確。
其中，定位模型還包括全連接網路。其中，全連接網路的輸入連接第二網路的輸出，全連接網路用於基於目標時間段內的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊。其中，位姿變化資訊包括待定位對象在目標時間段內的至少一種位姿變化量。至少一種位姿變化量包括位置變化量和姿態變化量中的至少之一。姿態變化量具可以是待定位對象在目標時間段內朝向的變化量。
通過將目標時間段的初始運動狀態資訊與參考運動狀態進行融合，使得獲取得到的最終運動狀態資訊更準確。
為更好地理解上述方案，提出以下示例。一些應用場景中，待定位對象可以是人員A。將人員A在當前時刻以前一段時間作為目標時間段，第一網路通過編碼的方式獲取該時間段內的慣性測量資料對應的初始運動狀態資訊，該初始運動狀態可以用於推導人員A在目標時間段內的位姿變化資訊，或識別待定位對象的運動模式，運動模式可以是通過運動參數劃分的模式。然後，將初始運動狀態資訊以及若干個參考運動狀態資訊輸入第二網路，第二網路對初始運動狀態資訊以及若干個參考運動狀態資訊進行融合，確定得到更加準確的關於人員A在目標時間段內的最終運動狀態資訊，最後，將第二網路輸出的最終運動狀態資訊輸入全連接網路，全連接網路通過解碼的方式 得到人員A在目標時間段內的位姿變化資訊。
一些公開實施例中，待定位對象在目標時間段內的位姿變化資訊還可包括確定度表徵資訊。確定度表徵資訊用於表示待定位對象在目標時間段內的位姿變化量的確定度或不確定度。例如，在確定度表徵資訊用於表示位姿變化量的確定度的情況下，若確定度表徵資訊為0.9，則認為獲取得到的待定位對象在目標時間段內的位姿變化量的準確度為0.9，用百分比表示則為準確度90%。
為更好地理解本發明實施例提供的定位方法中所使用到的定位模型結構及其處理方法，請參考下例，同時參見圖4，圖4是本發明實施例提供的一種定位方法中定位模型的結構示意圖。
如圖4所示，定位模型的輸入是n個慣性測量資料(加速度
Figure 111108664-A0305-02-0020-39
至
Figure 111108664-A0305-02-0020-40
和角速度
Figure 111108664-A0305-02-0020-41
至
Figure 111108664-A0305-02-0020-42
)，定位模型包括第一網路(Resnet18)，第二網路(LSTM網路)以及全連接網路(FC)。其中，全連接網路包括第一全連接網路和第二全連接網路，第一全連接網路用於輸出位姿變化量
Figure 111108664-A0305-02-0020-10
，第二全連接網路用於輸出位姿變化量
Figure 111108664-A0305-02-0020-11
對應的確定度表徵資訊
Figure 111108664-A0305-02-0020-12
。
其中，定位模型的數學形式為：
Figure 111108664-A0305-02-0020-13
 w a n = w R n (a-b a )- w g； w w n = w R n (w-b g )；其中，f(˙)是神經網路定義的函數。a是慣性感測器讀取 得到的原始加速度，w是慣性感測器讀取得到的原始角速度。b a 和b g 是對應的偏置。 w g是重力向量。 w a n-N 和 w w n-N 分別代表重力座標系下第N時刻獲取到的加速度和角速度。h n-N 是上次定位處理過程中的參考運動狀態資訊。
在一些實施例中，在得到待定位對象在目標時間段內的位姿變化資訊之後，定位方法還包括以下步驟。
利用目標時間段對應的位姿變化量，得到待定位對象在目標時間段內的至少一目標位姿。其中，目標位姿包括待定位對象在圖像幀的拍攝時刻的位姿。也就是一張圖像幀對應一個目標位姿，若圖像幀為多張，則目標位姿也對應有多個。圖像幀為拍攝裝置在目標時間段拍攝得到的，其中，該拍攝裝置與待定位對象之間的位置相對固定。即拍攝裝置的位姿情況可以表示待定位對象的位姿情況。例如，待定位對象為人體，與人體相對固定的拍攝裝置可以是人體手持的相機。通過確定位置變化量以及姿態變化量，使得確定的位姿更準確。通過與待定位對象相對固定的拍攝裝置拍攝得到靶心圖表像幀以及與待定位對象相對固定的慣性測量裝置得到慣性測量資料，可以實現對任意的對象進行定位和識別運動行為。
本發明實施例中，待定位對象對應的拍攝裝置在目標時間段內的起始時間點和截止時間點均拍攝有對應的圖像幀。其中，待定位對象在目標時間段內的起始時間點的位姿由上一次，或更久之前的定位處理得到。通過目標時間段內的位姿變化量以及待定位對象在目標時間段內 起始時間點的位姿，能夠獲取得到待定位對象在目標時間段內終止時間點的位姿。由此，可以根據起始時間點和終止時間點的位姿，確定拍攝中間各幀圖像幀時的位姿。一些應用場景中，目標時間段較短，可以認為待定位對象在目標時間段內做勻速運動，因此，可以獲取得到待定位對象在中間各時刻的位置。
一些公開實施例中，在得到待定位對象在目標時間段的目標位姿之後，定位方法還包括以下步驟。
確定至少一種能量關係。其中，至少一種能量關係包括以下至少之一：基於拍攝裝置在目標時間段內拍攝得到的圖像幀確定的視覺測量能量關係(該拍攝裝置與待定位對象的位置相對固定)、基於目標時間段對應的位姿變化量確定的運動先驗能量關係、基於目標時間段內的慣性測量資料確定的慣性測量能量關係、以及基於目標時間段的前一歷史時間對應的總能量關係確定的優化先驗能量關係。其中，位姿變化資訊還包括每種位姿變化量對應的確定度表徵資訊。如上述，確定度表徵資訊可以用於表示確定度，也可用於表示不確定度。
在一些實施例中，可以基於確定度表徵資訊，以及目標時間段內的位姿變化量，構建運動先驗能量關係。通過結合確定度表徵資訊與位姿變化量，使得構建的運動先驗能量關係更準確。
然後利用至少一種能量關係，構建本次定位對應的總能量關係。
最後，基於本次定位對應的總能量關係，對目標位姿進行優化。通過視覺測量能量關係、運動先驗能量關係、慣性測量能量關係以及優化先驗能量關係中的至少一種構建總能量關係，以便通過總能量關係對目標位姿進行優化，使得優化後的目標位姿更準確。
其中，獲取視覺測量能量關係c z 的方式可以是：
Figure 111108664-A0305-02-0023-14
 其中，F為目標時間段內各圖像幀能跟蹤上的二維特徵點集合，其中，若一個二維特徵點被兩幀及以上的圖像幀觀測到，該二維特徵點即可加入二維特徵點集合。C為能跟蹤到二維特徵點集合F的相機狀態集合。
Figure 111108664-A0305-02-0023-15
為第k個二維特徵點在第j幀圖像上的2D位置。K是拍攝組件的投影矩陣，R i 表示第i幀圖像幀對應的攝像元件的旋轉矩陣。T表示轉置。Σ z 為對應的協方差矩陣。本發明實施例中所提出的i幀為目標時間段內拍攝的首幀，j幀為目標時間段內拍攝的尾幀，以下同理。
獲取運動先驗能量關係c n 的方式可以是：
Figure 111108664-A0305-02-0023-37
 其中，p i 和p j 分別表示第i幀和第j幀圖像幀對應的目標對象的位置、d ij 表示定位模型輸出的第i幀和第j幀之間的位姿變化量，Σ ij 表示定位模型對應的協方差矩陣，該協方差矩陣由確定度表徵資訊獲取得到。在一些實施例中，確定度表徵資訊為三維向量，三維向量中的三個元素為該 協方差矩陣的對角元素的對數。
Figure 111108664-A0305-02-0024-43
表示第i幀圖像幀對應的目標對象的偏航角矩陣。T表示轉置。
其中，獲取慣性測量能量關係的方式可參見一般視覺慣性定位方法中的相關計算方式。
此處簡單列舉獲取慣性測量能量關係c u 的方式：
Figure 111108664-A0305-02-0024-17
 其中，H k 是上一次定位處理過程對應的雅可比矩陣，
Figure 111108664-A0305-02-0024-22
是本次定位處理關於位姿的雅可比矩陣，
Figure 111108664-A0305-02-0024-21
是本次定位處理關於慣性感測器偏置的雅可比矩陣，
Figure 111108664-A0305-02-0024-20
是上一次定位處理對應的位姿偏差，
Figure 111108664-A0305-02-0024-19
是本次定位處理對應的位姿偏差，
Figure 111108664-A0305-02-0024-18
為本次定位處理對應的慣性感測器偏置對應的偏差。Σ u 是慣性測量能量關係對應的協方差矩陣，r uk+1是慣性感測器測量殘差。其中，獲取上述各參數的方式可參見一般的技術。
優化先驗能量關係是基於上一次定位對應的總能量關係確定的。即可以將上一次定位對應的總能量關係直接作為優化先驗能量關係，當然，還可以是對該總能量關係對應的狀態資訊進行邊緣化，保持恒定的計算複雜度，本方案選擇將上一次定位對應的總能力關係中最老的狀態
Figure 111108664-A0305-02-0024-27
以及最新的一個狀態
Figure 111108664-A0305-02-0024-24
邊緣化。其中，
Figure 111108664-A0305-02-0024-25
表示k-m+1次定位目標對象對應的位姿。
Figure 111108664-A0305-02-0024-23
表示慣性感測器的偏置以及第k次定位時目標對象的速度。
其中，獲取優化先驗能量關係c k+1(
Figure 111108664-A0305-02-0024-26
)的方式為：
Figure 111108664-A0305-02-0024-28
 其中，H k+1為k+1次定位處理對應的雅可比矩陣。
Figure 111108664-A0305-02-0025-29
為對應為位姿偏差，r k+1為對應的測量殘差。
從而，最小化總能量關係，更新各個圖像幀對應的狀態以及慣性感測器的偏置。
在一些實施例中，最小化總能量關係的方式為：
Figure 111108664-A0305-02-0025-38
 其中，這裡的
Figure 111108664-A0305-02-0025-31
為k+1次定位處理確定的位姿偏差。H k+1為優化先驗能量關係中的雅可比矩陣，r k+1為優化先驗能量關係中的測量殘差。H z 為視覺測量能量關係中的雅可比矩陣，r z 為視覺測量能量關係中的測量殘差，H n 為運動先驗能量關係中的雅可比矩陣，r n 為運動先驗能量關係中的測量殘差。Σ n 為運動先驗能量關係對應的協方差矩陣，Σ z 為視覺測量能量關係對應的協方差矩陣。總能量為c ⊕ k+1(
Figure 111108664-A0305-02-0025-32
)，這裡的
Figure 111108664-A0305-02-0025-34
為本次次定位處理對應的位姿偏差。
確定使得總能量最小的位姿偏差，作為本次定位處理對應的位姿偏差。將求解得到最終的
Figure 111108664-A0305-02-0025-33
與目標位姿進行求和，得到優化後的位姿。在一些實施例中，求取得到的慣性感測器的偏置可以取代定位系統中原始的偏置，以便後續的位姿計算更準確。當然，若需要優化的還包括慣性感測器的偏置、重力方向等參數時，上述
Figure 111108664-A0305-02-0025-35
則還可表示包括所有待優化的參數對應的偏差，也就是在這種情況下，
Figure 111108664-A0305-02-0025-36
包括位姿偏差以及各偏置量等參數對應的偏差。然後將 獲取到的偏差與對應的參數進行相加，得到優化後的參數。
一些公開實施例中，在獲取到待定位對象在目標時間段內的最終運動狀態資訊之後，還可執行以下步驟。
基於目標時間段內的最終運動狀態資訊，確定待定位對象在目標時間段內的運動行為類別。在一些實施例中，通過定位模型中的運動行為分類網路，確定待定位對象在目標時間段內的運動行為類別。
在一些實施例中，可以根據待定位對象在目標時間段內的運動行為類別和待定位對象的目標位姿中的至少之一，執行對應的預設操作。其中，預設操作可以是擴增實境處理、廣播播報對應的內容、執行報警等等。例如，待定位對象在公園時，可根據待定位對象的位姿進行擴增實境處理或廣播景點的歷史等資訊，又或者當待定位對象做出預設危險動作時，可進行報警。
在一些實施例中，本發明實施例提供的定位方法可應用於擴增實境、虛擬實境、機器人、自動駕駛、遊戲、影視、教育、電子商務、旅遊、智慧醫療、室內裝修設備、智慧家居、智慧製造以及維修裝配等場景中。
其中，定位方法的執行主體可以是定位裝置，例如，定位方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無繩電話、個人數文書處理(Personal Digital Assistant， PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該定位方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
請參閱圖5，圖5是本發明實施例提供的一種定位裝置的結構示意圖。定位裝置40包括資料獲取模組41、運動狀態資訊獲取模組42以及確定模組43。資料獲取模組41，配置為獲取待定位對象在目標時間段內的慣性測量資料；運動狀態資訊獲取模組42，配置為利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊，其中，參考運動狀態資訊為待定位對象在參考時間段內的最終運動狀態資訊；確定模組43，配置為基於目標時間段內的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊。
上述方案，通過使用目標時間段內的慣性測量資料即可獲取得到目標時間段內的位姿變化，因此，即便在外部環境惡劣無法獲得較高品質的圖像的情況下，也可進行定位，減少了因為外部環境等因素造成定位精度不高的情況出現。另外，通過結合參考時間段內的最終狀態資訊與目標時間段內的慣性測量資料獲取最終運動狀態資訊，使得獲取得到的位姿變化資訊更準確。
一些公開實施例中，運動狀態資訊獲取模組42在利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊的情況下，配置為：基於慣性測量資料，得到待定位對象在目標時間段內的初 始運動狀態資訊；將參考運動狀態資訊與初始運動狀態資訊進行融合，得到待定位對象在目標時間段內的最終運動狀態資訊。
上述方案，通過將目標時間段的初始運動狀態資訊與參考運動狀態進行融合，使得獲取得到的最終運動狀態資訊更準確。
一些公開實施例中，位姿變化資訊包括待定位對象在目標時間段內的至少一種位姿變化量，至少一種位姿變化量包括位置變化量和姿態變化量中的至少一個。
上述方案，通過確定位置變化量以及姿態變化量，使得確定的位姿更準確。
一些公開實施例中，在基於目標時間段內的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊之後，確定模組43還配置為：利用目標時間段內的位姿變化量，得到待定位對象在目標時間段內的至少一目標位姿，其中，目標位姿包括待定位對象在圖像幀的拍攝時刻的位姿，圖像幀為拍攝裝置在目標時間段拍攝得到的，拍攝裝置與待定位對象之間的位置相對固定。
上述方案，通過位姿變化量獲取待定位對象在目標時間段的目標位姿的方式簡單快捷。另，通過由與待定位對象相對固定的拍攝裝置拍攝得到靶心圖表像幀以及與待定位對象相對固定的慣性測量裝置得到慣性測量資料，因此，可以實現對任意的對象進行定位。
一些公開實施例中，在得到待定位對象在目標時間 段內的至少一目標位姿之後，確定模組43還配置為：確定至少一種能量關係，其中，至少一種能量關係包括以下至少一種：基於拍攝裝置在目標時間段內拍攝得到的圖像幀確定的視覺測量能量關係、基於目標時間段對應的位姿變化量確定的運動先驗能量關係、基於目標時間段內的慣性測量資料確定的慣性測量能量關係、以及基於上一次定位對應的總能量關係確定的優化先驗能量關係；利用至少一種能量關係，構建本次定位對應的總能量關係；基於本次定位對應的總能量關係，對目標位姿進行優化。
上述方案，通過視覺測量能量關係、運動先驗能量關係、慣性測量能量關係以及優化先驗能量關係中的至少一種構建總能量關係，以便通過總能量關係對目標位姿進行優化，使得優化後的目標位姿更準確。
一些公開實施例中，位姿變化資訊還包括每種位姿變化量對應的確定度表徵資訊；確定模組43在確定至少一種能量關係的情況下，配置為：基於確定度表徵資訊以及目標時間段內的位姿變化量，構建運動先驗能量關係。
上述方案，通過結合確定度表徵資訊與位姿變化量，使得構建的運動先驗能量關係更準確。
一些公開實施例中，利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊，以及所基於目標時間段對應的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊的步驟由定位模型執行。
上述方案，通過定位模型實現直接得到最終運動狀態以及對應的位姿變化資訊。
一些公開實施例中，定位裝置40還包括訓練模組(圖未示)，訓練模組，配置為從樣本慣性測量資料集合中獲取第一樣本慣性測量資料；利用第一樣本慣性測量資料，對定位模型進行第一訓練。
上述方案，通過使用第一樣本慣性測量資料對定位模型進行訓練，能夠提高定位模型後續在應用過程中輸出結果的準確度。
一些公開實施例中，訓練模組在利用第一樣本慣性測量資料，對定位模型進行第一訓練的情況下，配置為：利用定位模型對第一樣本慣性測量資料進行定位處理，得到第一樣本位姿變化資訊，其中，第一樣本位姿變化資訊包括第一樣本位姿變化量；利用本次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量，得到第一損失；以及利用本次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量、以及前若干次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量，得到第二損失；基於第一損失和第二損失，調整定位模型的網路參數。
上述方案，通過結合第一損失和第二損失，對定位模型的網路參數進行調整，相比於僅使用其中一種損失對網路參數進行調整的方式而言，前者調整後的網路參數更準確。
一些公開實施例中，在利用第一樣本慣性測量資料， 對定位模型進行第一訓練之後，訓練模組還配置為：回應於定位模型達到預設收斂狀態，從樣本慣性測量資料集合中獲取第二樣本慣性測量資料；利用第二樣本慣性測量資料，對定位模型進行第二訓練，其中，第一訓練和第二訓練過程中的損失確定方式不同。
上述方案，通過使用多種損失對定位模型進行調整，使得最終調整得到的定位模型的輸出結果準確度更高。
一些公開實施例中，第一訓練中的損失是為利用均方誤差損失函數確定的，第二訓練中的損失是利用負對數似然損失函數確定的。
一些公開實施例中，訓練模組在利用第二樣本慣性測量資料，對定位模型進行第二訓練的情況下，配置為：利用定位模型對第二樣本慣性測量資料進行定位處理，得到第二樣本位姿變化資訊，其中，第二樣本位姿變化資訊包括第二樣本位姿變化量和第二樣本位姿變化量的樣本確定度表徵資訊；利用第二樣本位姿變化量以及對應的第二參考樣本位姿變化量和樣本確定度表徵資訊，得到第三損失；基於第三損失，調整定位模型的網路參數。
上述方案，通過對樣本確定度表徵資訊構建損失函數，使得後續定位模型在應用過程中輸出的確定度表徵資訊更準確。
一些公開實施例中，樣本慣性測量資料集合包括以下至少之一：多個對象的樣本慣性測量資料；多個運動行為類別下的對象的樣本慣性測量資料。
上述方案，通過使用多個對象的樣本慣性測量資料和多個運動行為類別下的對象的樣本慣性測量資料中的至少之一，使得定位模型的泛化能力更強。
一些公開實施例中，在利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊之後，確定模組43還配置為：基於目標時間段對應的最終運動狀態資訊，確定待定位對象在目標時間段內的運動行為類別。
上述方案，通過最終運動狀態資訊，還可確定待定位對象相對應的運動行為類別，使得定位模型能夠適用於多種場景。
一些公開實施例中，慣性測量資料包括加速度和角速度中的至少一者。
一些公開實施例中，在利用慣性測量資料以及參考運動狀態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊之前，資料獲取模組41還配置為：對慣性測量資料進行預處理，其中，經預處理的慣性測量資料用於確定最終運動狀態資訊，預處理包括將慣性測量資料轉換到重力座標系下、去除偏置、去除重力和歸一化中的一種或多種。
上述方案，通過對慣性測量資料進行預處理，使得得到的位姿變化資訊更為準確。
請參閱圖6，圖6是本發明實施例提供的一種電子設備的結構示意圖。電子設備50包括記憶體51和處理器 52，處理器52用於執行記憶體51中儲存的程式指令，以實現上述任一定位方法實施例中的步驟。在一個實施場景中，電子設備50可以包括但不限於：醫療設備、微型電腦、臺式電腦、伺服器，此外，電子設備50還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。
在一些實施例中，處理器52用於控制其自身以及記憶體51以實現上述任一定位方法實施例中的步驟。處理器52還可以稱為中央處理單元(Central Processing Unit，CPU)。處理器52可以是一種積體電路晶片，具有信號的處理能力。處理器52還可以是通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器52可以由積體電路晶片共同實現。
上述方案，通過使用目標時間段內的慣性測量資料即可獲取得到目標時間段內的位姿變化，因此，即便在外部環境惡劣無法獲得較高品質的圖像的情況下，也可進行定位，減少了因為外部環境等因素造成定位精度不高的情況出現。另外，通過結合參考時間段內的最終狀態資訊與目標時間段內的慣性測量資料獲取最終運動狀態資訊，使 得獲取得到的位姿變化資訊更準確。
請參閱圖7，圖7是本發明實施例提供的一種電腦可讀儲存媒體的結構示意圖。電腦可讀儲存媒體60儲存有能夠被處理器運行的程式指令61，程式指令61用於實現上述任一定位方法實施例中的步驟。
本發明實施例還提供一種電腦程式產品，包括儲存了程式碼的電腦可讀儲存媒體，所述程式碼包括的指令被電腦設備的處理器運行時，實現上述方法的步驟，可參見上述定位方法實施例。
該電腦程式產品可以通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品體現為電腦儲存媒體，在另一個可選實施例中，電腦程式產品體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。
上述方案，通過使用目標時間段內的慣性測量資料即可獲取得到目標時間段內的位姿變化，因此，即便在外部環境惡劣無法獲得較高品質的圖像的情況下，也可進行定位，減少了因為外部環境等因素造成定位精度不高的情況出現。另外，通過結合參考時間段內的最終狀態資訊與目標時間段內的慣性測量資料獲取最終運動狀態資訊，使得獲取得到的位姿變化資訊更準確。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其實現可以參照上文方法實施例的描述。
本發明實施例涉及擴增實境領域，通過獲取現實環境中的目標對象的圖像資訊，進而借助各類視覺相關演算法實現對目標對象的相關特徵、狀態及屬性進行檢測或識別處理，從而得到與具體應用匹配的虛擬與現實相結合的AR效果。在一些實施例中，目標對象可涉及與人體相關的臉部、肢體、手勢、動作等，或者與物體相關的標識物、標誌物，或者與場館或場所相關的沙盤、展示區域或展示物品等。視覺相關演算法可涉及視覺定位、SLAM、三維重建、圖像註冊、背景分割、對象的關鍵點提取及跟蹤、對象的位姿或深度檢測等。應用場景不僅可以涉及跟真實場景或物品相關的導覽、導航、講解、重建、虛擬效果疊加展示等交互場景，還可以涉及與人相關的特效處理，比如妝容美化、肢體美化、特效展示、虛擬模型展示等交互場景。
可通過卷積神經網路，實現對目標對象的相關特徵、狀態及屬性進行檢測或識別處理。上述卷積神經網路是基於深度學習框架進行模型訓練而得到的網路模型。
上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考。
在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或元件可以結合或者可以集 成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存媒體中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)或處理器(Processor)執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存媒體包括：U盤、移動硬碟、唯讀記憶體(Read-Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)、磁碟或者光碟等各種可以儲存程式碼的媒體。
工業實用性
本發明實施例公開了一種定位方法、電子設備及電腦可讀儲存媒體，定位方法包括：獲取待定位對象在目標時間段內的慣性測量資料；利用慣性測量資料以及參考運動狀 態資訊，確定待定位對象在目標時間段內的最終運動狀態資訊，其中，參考運動狀態資訊為待定位對象在參考時間段內的最終運動狀態資訊；基於目標時間段內的最終運動狀態資訊，得到待定位對象在目標時間段內的位姿變化資訊。通過使用目標時間段內的慣性測量資料即可獲取得到目標時間段內的位姿變化，因此，即便在外部環境惡劣無法獲得較高品質的圖像的情況下，也可進行定位，減少了因為外部環境等因素造成定位精度不高的情況出現。另外，通過結合參考時間段內的最終狀態資訊與目標時間段內的慣性測量資料獲取最終運動狀態資訊，使得獲取得到的位姿變化資訊更準確。
S11~S13:步驟

Claims (15)

  1. 一種定位方法，包括：獲取待定位對象在目標時間段內的慣性測量資料；利用一定位模型利用所述慣性測量資料以及參考運動狀態資訊，確定所述待定位對象在所述目標時間段內的最終運動狀態資訊，其中，所述參考運動狀態資訊為所述待定位對象在參考時間段內的最終運動狀態資訊；以及利用所述定位模型基於所述目標時間段內的最終運動狀態資訊，得到所述待定位對象在所述目標時間段內的位姿變化資訊，其中所述方法還包括以下步驟：從樣本慣性測量資料集合中獲取第一樣本慣性測量資料；以及利用第一樣本慣性測量資料，對所述定位模型進行第一訓練，其中，所述利用第一樣本慣性測量資料，對所述定位模型進行第一訓練，還包括：利用所述定位模型對第一樣本慣性測量資料進行定位處理，得到第一樣本位姿變化資訊，其中，所述第一樣本位姿變化資訊包括第一樣本位姿變化量；利用本次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量，得到第一損失；利用本次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量、以及前若干次定位處理對應的第一樣本位姿變化量和第一參考位姿變化量，得到第二損 失；以及基於所述第一損失和第二損失，調整所述定位模型的網路參數。
  2. 根據請求項1所述的方法，其中，所述利用所述慣性測量資料以及參考運動狀態資訊，確定所述待定位對象在所述目標時間段內的最終運動狀態資訊，包括：基於所述慣性測量資料，得到所述待定位對象在所述目標時間段內的初始運動狀態資訊；將所述參考運動狀態資訊與所述初始運動狀態資訊進行融合，得到所述待定位對象在所述目標時間段內的最終運動狀態資訊。
  3. 根據請求項1或2所述的方法，其中，所述位姿變化資訊包括所述待定位對象在所述目標時間段內的至少一種位姿變化量，所述至少一種位姿變化量包括位置變化量和姿態變化量中的至少一個。
  4. 根據請求項3所述的方法，其中，在所述基於所述目標時間段內的最終運動狀態資訊，得到所述待定位對象在所述目標時間段內的位姿變化資訊之後，所述方法還包括：利用所述目標時間段內的位姿變化量，得到所述待定位對象在所述目標時間段內的至少一目標位姿，其中，所述目標位姿包括所述待定位對象在圖像幀的拍攝時刻的位姿，所述圖像幀為拍攝裝置在所述目標時間段拍攝得到的，所 述拍攝裝置與待定位對象之間的位置相對固定。
  5. 根據請求項4所述的方法，其中，在所述得到所述待定位對象在所述目標時間段內的至少一目標位姿之後，所述方法還包括：確定至少一種能量關係，其中，所述至少一種能量關係包括以下至少一種：基於所述拍攝裝置在所述目標時間段內拍攝得到的圖像幀確定的視覺測量能量關係、基於所述目標時間段對應的位姿變化量確定的運動先驗能量關係、基於所述目標時間段內的慣性測量資料確定的慣性測量能量關係、以及上一次定位對應的總能量關係確定的優化先驗能量關係；利用所述至少一種能量關係，構建本次定位對應的總能量關係；基於所述本次定位對應的總能量關係，對所述目標位姿進行優化。
  6. 根據請求項5所述的方法，其中，所述位姿變化資訊還包括每種位姿變化量對應的確定度表徵資訊；所述確定至少一種能量關係，包括：基於所述確定度表徵資訊以及所述目標時間段內的位姿變化量，構建所述運動先驗能量關係。
  7. 根據請求項1所述的方法，其中，在所述利用第一樣本慣性測量資料，對所述定位模型進行第一訓練之後，所述方法還包括：回應於所述定位模型達到預設收斂狀態，從所述樣本慣 性測量資料集合中獲取第二樣本慣性測量資料；利用第二樣本慣性測量資料，對所述定位模型進行第二訓練，其中，所述第一訓練和第二訓練過程中的損失確定方式不同。
  8. 根據請求項7所述的方法，其中，所述第一訓練中的損失是利用均方誤差損失函數確定的，所述第二訓練中的損失是利用負對數似然損失函數確定的。
  9. 根據請求項7所述的方法，其中，所述利用第二樣本慣性測量資料，對所述定位模型進行第二訓練，包括：利用所述定位模型對第二樣本慣性測量資料進行定位處理，得到第二樣本位姿變化資訊，其中，所述第二樣本位姿變化資訊包括第二樣本位姿變化量和所述第二樣本位姿變化量的樣本確定度表徵資訊；利用所述第二樣本位姿變化量以及對應的第二參考樣本位姿變化量和樣本確定度表徵資訊，得到第三損失；基於所述第三損失，調整所述定位模型的網路參數。
  10. 根據請求項1所述的方法，其中，所述樣本慣性測量資料集合包括以下至少之一：多個對象的樣本慣性測量資料；多個運動行為類別下的對象的樣本慣性測量資料。
  11. 根據請求項1所述的方法，其中，在所述利用所述慣性測量資料以及參考運動狀態資訊，確定所述待定位對象在所述目標時間段內的最終運動狀態資訊之後， 所述方法還包括：基於所述目標時間段對應的最終運動狀態資訊，確定所述待定位對象在所述目標時間段內的運動行為類別。
  12. 根據請求項1所述的方法，其中，所述慣性測量資料包括加速度和角速度中的至少一者。
  13. 根據請求項1或12所述的方法，其中，在所述利用所述慣性測量資料以及參考運動狀態資訊，確定所述待定位對象在所述目標時間段內的最終運動狀態資訊之前，所述方法還包括：對所述慣性測量資料進行預處理，其中，經所述預處理的所述慣性測量資料用於確定所述最終運動狀態資訊，所述預處理包括將所述慣性測量資料轉換到重力座標系下、去除偏置、去除重力和歸一化中的一種或多種。
  14. 一種電子設備，包括記憶體和處理器，所述處理器用於執行所述記憶體中儲存的程式指令，以實現請求項1至13任一項所述的方法。
  15. 一種電腦可讀儲存媒體，其上儲存有程式指令，所述程式指令被處理器執行時實現請求項1至13任一項所述的方法。
TW111108664A 2021-09-29 2022-03-09 定位方法、電子設備及電腦可讀儲存媒體 TWI812053B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111152509.4A CN113916223B (zh) 2021-09-29 2021-09-29 定位方法及装置、设备、存储介质
CN202111152509.4 2021-09-29

Publications (2)

Publication Number Publication Date
TW202314249A TW202314249A (zh) 2023-04-01
TWI812053B true TWI812053B (zh) 2023-08-11

Family

ID=79237069

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111108664A TWI812053B (zh) 2021-09-29 2022-03-09 定位方法、電子設備及電腦可讀儲存媒體

Country Status (3)

Country Link
CN (1) CN113916223B (zh)
TW (1) TWI812053B (zh)
WO (1) WO2023050632A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114543797B (zh) * 2022-02-18 2024-06-07 北京市商汤科技开发有限公司 位姿预测方法和装置、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293667A1 (en) * 2011-05-16 2012-11-22 Ut-Battelle, Llc Intrinsic feature-based pose measurement for imaging motion compensation
WO2013096138A1 (en) * 2011-12-19 2013-06-27 Microsoft Corporation Sensor fusion interface for multiple sensor input
TW202034051A (zh) * 2018-08-15 2020-09-16 美商唯景公司 使用外部３ｄ模型化及神經網路之控方法及系統
CN112945227A (zh) * 2021-02-01 2021-06-11 北京嘀嘀无限科技发展有限公司 定位方法和装置
TWI739339B (zh) * 2020-03-11 2021-09-11 國立陽明交通大學 人員室內定位與移動機器人對特定人員追蹤互動之系統及其方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080886B2 (en) * 2017-11-15 2021-08-03 Qualcomm Incorporated Learning disentangled invariant representations for one shot instance recognition
US10964030B2 (en) * 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
CN108876897B (zh) * 2018-04-20 2022-10-18 杭州电子科技大学 快速运动下的场景三维重建方法
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111126272B (zh) * 2019-12-24 2020-11-10 腾讯科技（深圳）有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
WO2021152723A1 (ja) * 2020-01-29 2021-08-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
CN111811507B (zh) * 2020-04-08 2022-05-17 北京嘀嘀无限科技发展有限公司 移动设备姿态的确定方法、装置、存储介质及电子设备
CN111595333B (zh) * 2020-04-26 2023-07-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN111311685B (zh) * 2020-05-12 2020-08-07 中国人民解放军国防科技大学 一种基于imu与单目图像的运动场景重构无监督方法
CN112363158B (zh) * 2020-10-23 2024-03-12 浙江华睿科技股份有限公司 机器人的位姿估计方法、机器人和计算机存储介质
CN112985462B (zh) * 2021-04-21 2021-07-23 智道网联科技(北京)有限公司 基于卷积神经网络模型的惯性测量数据校正方法及装置
CN113175936B (zh) * 2021-06-28 2021-08-31 智道网联科技(北京)有限公司 基于神经网络模型的车辆轨迹推算方法及装置
CN113447021B (zh) * 2021-07-15 2023-04-25 北京理工大学 基于lstm神经网络模型的mems惯性导航系统定位增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293667A1 (en) * 2011-05-16 2012-11-22 Ut-Battelle, Llc Intrinsic feature-based pose measurement for imaging motion compensation
WO2013096138A1 (en) * 2011-12-19 2013-06-27 Microsoft Corporation Sensor fusion interface for multiple sensor input
TW202034051A (zh) * 2018-08-15 2020-09-16 美商唯景公司 使用外部３ｄ模型化及神經網路之控方法及系統
TWI739339B (zh) * 2020-03-11 2021-09-11 國立陽明交通大學 人員室內定位與移動機器人對特定人員追蹤互動之系統及其方法
CN112945227A (zh) * 2021-02-01 2021-06-11 北京嘀嘀无限科技发展有限公司 定位方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 張禮廉 視覺/慣性組合導航技術發展綜述 導航定位與授時 2020/07/31 第7卷第4期，第55~57頁 *

Also Published As

Publication number Publication date
WO2023050632A1 (zh) 2023-04-06
CN113916223B (zh) 2022-11-11
TW202314249A (zh) 2023-04-01
CN113916223A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
Walch et al. Image-based localization using lstms for structured feature correlation
CN107635204B (zh) 一种运动行为辅助的室内融合定位方法及装置、存储介质
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
JP2020505614A (ja) １つ以上の慣性センサからの向き情報を補正する装置および方法
US10636190B2 (en) Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
WO2023050634A1 (zh) 定位方法及装置、设备、存储介质及计算机程序产品
US20160210761A1 (en) 3d reconstruction
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
WO2023087758A1 (zh) 定位方法、定位装置、计算机可读存储介质和计算机程序产品
TWI812053B (zh) 定位方法、電子設備及電腦可讀儲存媒體
CN112861808A (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
Zhang et al. Fine-grained and real-time gesture recognition by using IMU sensors
CN109544632B (zh) 一种基于层次主题模型的语义slam对象关联方法
US10551195B2 (en) Portable device with improved sensor position change detection
Jo et al. Mixture density-PoseNet and its application to monocular camera-based global localization
Arowolo et al. Development of a human posture recognition system for surveillance application
CN115205750B (zh) 基于深度学习模型的运动实时计数方法和系统
CN113847907A (zh) 定位方法及装置、设备、存储介质
Zhou et al. Visual tracking using improved multiple instance learning with co-training framework for moving robot
Qi et al. 3D human pose tracking approach based on double Kinect sensors
Chen et al. An integrated sensor network method for safety management of construction workers
Singh et al. Object tracking