TWI752594B - 一種資訊處理方法、電子設備、儲存媒體和程式 - Google Patents
一種資訊處理方法、電子設備、儲存媒體和程式 Download PDFInfo
- Publication number
- TWI752594B TWI752594B TW109128055A TW109128055A TWI752594B TW I752594 B TWI752594 B TW I752594B TW 109128055 A TW109128055 A TW 109128055A TW 109128055 A TW109128055 A TW 109128055A TW I752594 B TWI752594 B TW I752594B
- Authority
- TW
- Taiwan
- Prior art keywords
- image frame
- time
- image
- information
- time offset
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000008859 change Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 230000000875 corresponding effect Effects 0.000 description 58
- 238000012545 processing Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000005096 rolling process Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本申請涉及一種資訊處理方法、電子設備和儲存媒體，所述方法包括：獲取當前待處理的第一圖像幀的採集時間；根據針對所述第一圖像幀當前標定的時間偏移資訊，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間；基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位。本申請實施例可以對第一圖像幀的採集時間進行標定，提高定位結果的準確性。
Description
本申請基於申請號為201910775636.6、申請日為2019年8月21日的中國專利申請提出，並要求該中國專利申請的優先權，該中國專利申請的全部內容在此引入本申請作為參考。本申請涉及視覺慣性導航技術領域，涉及但不限於一種資訊處理方法、電子設備、電腦儲存媒體和電腦程式。
即時獲得相機的六自由度空間位置是擴增實境、虛擬實境、機器人和自動駕駛等領域的核心基礎問題。多感測器融合是提升空間定位精度和演算法穩健性的有效途徑。感測器之間的時間偏移標定是實現多感測器融合的基礎。
大部分行動設備（如手機、眼鏡、平板電腦等）具備廉價的相機和感測器，相機和感測器之間的時間存在偏移，而且相機和感測器之間的時間偏移是動態變化的（如每次重啟相機或感測器，或者隨著使用時間而動態變化），因此，這對利用相機和感測器相結合即時定位提出很大挑戰。
本申請實施例提供了一種資訊處理方法、電子設備、電腦儲存媒體和電腦程式。
本申請實施例提供了一種資訊處理方法，包括：
獲取當前待處理的第一圖像幀的採集時間；
根據針對所述第一圖像幀當前標定的時間偏移資訊，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間；
基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位。
本申請的一些實施例中，在所述第一圖像幀為採集的第一個圖像幀或第二個圖像幀的情況下，當前標定的時間偏移資訊為時間偏移初始值。這樣，可以根據預先進行設置時間偏移初始值確定當前標定的時間偏移資訊。
本申請的一些實施例中，在所述第一圖像幀為採集的第N個圖像幀，且N為大於2的正整數的情況下，所述方法還包括：
根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊。這樣，如果當前待處理的第一圖像幀為圖像採集裝置採集的第N個圖像幀的情況下，針對第一圖像幀當前標定的時間偏移資訊，可以是根據在第一圖像幀採集時間之前圖像採集裝置採集的第二圖像幀進行確定的。
本申請的一些實施例中，所述根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊，包括：
獲取在所述採集時間之前採集的至少兩個第二圖像幀；
獲取在每個所述第二圖像幀的標定時間採集的慣性感測資訊；
基於所述至少兩個第二圖像幀以及每個所述第二圖像幀所對應的慣性感測資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
這樣，可以得到較為準確的時間偏移資訊。
本申請的一些實施例中，所述基於所述至少兩個第二圖像幀以及每個所述第二圖像幀所對應的慣性感測資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊，包括：
確定至少兩個第二圖像幀中，匹配於相同圖像特徵的每組匹配特徵點；其中，每組匹配特徵點包括多個匹配特徵點；
確定每個所述第二圖像幀中匹配特徵點的位置資訊；
基於在每個所述第二圖像幀的標定時間採集的慣性感測資訊和所述匹配特徵點的位置資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
這樣，可以得到圖像採集裝置與慣性感測裝置之間的時間偏移資訊以及相應更加精確的經過時間偏移補償後的第二圖像幀對應的慣性狀態。
本申請的一些實施例中，所述基於在每個所述第二圖像幀的標定時間採集的慣性感測資訊和所述匹配特徵點的位置資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊，包括：
確定每個第二圖像幀中匹配特徵點所對應的三維空間中空間點的位置；
根據在每個所述第二圖像幀的標定時間採集的慣性感測資訊，確定每個所述第二圖像幀所在的投影平面；
根據所述空間點的位置和所述第二圖像幀所在的投影平面，得到所述空間點的投影資訊；
根據所述匹配特徵點的位置資訊和所述投影資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
這樣，可以利用至少被兩個第二圖像幀觀測到的匹配特徵點的資訊確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述方法還包括：
根據每個所述第二圖像幀中匹配特徵點的位置資訊以及圖像採集裝置的行曝光週期，確定每個所述第二圖像幀中匹配特徵點的曝光時間誤差；
確定當前標定的時間偏移資訊與前一個標定的時間偏移資訊之間的標定時間誤差；
根據所述曝光時間誤差和所述標定時間誤差，確定每個所述第二圖像幀的標定時間與實際採集時間之間的時間差值；其中，所述圖像採集裝置用於採集所述第二圖像幀；
根據所述時間差值和所述慣性感測資訊，對所述圖像採集裝置的位姿資訊進行估計，確定每個所述第二圖像幀所對應的慣性狀態。
這樣，可以利用該時間差值結合第二圖像幀的慣性感測資訊，可以對圖像採集裝置的位姿資訊進行估計，確定每個所述第二圖像幀所對應的慣性狀態中的位姿資訊。
本申請的一些實施例中，所述根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊，包括：
獲取針對所述至少兩個第二圖像幀標定的前一時間偏移資訊；
根據針對所述第一圖像幀當前標定的時間偏移資訊與所述前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值；
根據當前標定的時間偏移資訊的限制值，確定針對所述第一圖像幀當前標定的時間偏移資訊。
這樣，可以將當前標定的時間偏移資訊表示為變數，限制值作為當前標定的時間偏移資訊的約束條件。
本申請的一些實施例中，所述根據針對所述第一圖像幀當前標定的時間偏移資訊與所述前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值，包括：
在所述標定時間誤差小於或者等於預設時間誤差的情況下，確定所述時間偏移資訊的限制值為零；
在所述標定時間誤差大於預設時間誤差的情況下，根據所述標定時間誤差和預設的時間偏移權重，確定所述時間偏移資訊的限制值。
這樣，可以限制時間偏移資訊的變化幅度，保證時間偏移資訊估計的準確性。
本申請的一些實施例中，所述基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位，包括：
基於所述第一圖像幀和在所述採集時間之前採集的第二圖像幀，確定表徵圖像採集裝置的位置變化關係的第一相對位置資訊；
基於在所述第一圖像幀的標定時間獲取的慣性感測資訊以及所述第二圖像幀對應的慣性狀態，確定表徵圖像採集裝置的位置變化關係的第二相對位置資訊；
根據所述第一相對位置關係和第二相對位置關係，對當前位置進行定位。
這樣，根據第一相對位置資訊與第二相對位置資訊之間的差異，可以得到第一圖像幀對應的慣性狀態（校正值），根據該第一圖像幀對應的慣性狀態（校正值），可以確定當前的位置。
本申請的一些實施例中，所述根據針對所述第一圖像幀當前標定的時間偏移資訊，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間，包括：
根據針對所述第一圖像幀當前標定的時間偏移資訊以及所述第一圖像幀的曝光時長，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間。
這樣，當前待處理的第一圖像幀的時間偏移資訊可以由之前採集的第二圖像幀進行確定，時間偏移資訊隨著採集的圖像幀的變化而不斷往正確調整，從而可以保證時間偏移資訊的準確性。
本申請實施例還提供了一種資訊處理裝置，包括：
獲取模組，配置為獲取當前待處理的第一圖像幀的採集時間；
校正模組，配置為根據針對所述第一圖像幀當前標定的時間偏移資訊，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間；
定位模組，配置為基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位。
本申請的一些實施例中，在所述第一圖像幀為採集的第一個圖像幀或第二個圖像幀的情況下，當前標定的時間偏移資訊為時間偏移初始值。
本申請的一些實施例中，在所述第一圖像幀為採集的第N個圖像幀，且N為大於2的正整數的情況下，所述裝置還包括：
確定模組，配置為根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，具體配置為，
獲取在所述採集時間之前採集的至少兩個第二圖像幀；
獲取在每個所述第二圖像幀的標定時間採集的慣性感測資訊；
基於所述至少兩個第二圖像幀以及每個所述第二圖像幀所對應的慣性感測資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，具體配置為，
確定至少兩個第二圖像幀中，匹配於相同圖像特徵的每組匹配特徵點；其中，每組匹配特徵點包括多個匹配特徵點；
確定每個所述第二圖像幀中匹配特徵點的位置資訊；
基於在每個所述第二圖像幀的標定時間採集的慣性感測資訊和所述匹配特徵點的位置資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，具體配置為，
確定每個第二圖像幀中匹配特徵點所對應的三維空間中空間點的位置；
根據在每個所述第二圖像幀的標定時間採集的慣性感測資訊，確定每個所述第二圖像幀所在的投影平面；
根據所述空間點的位置和所述第二圖像幀所在的投影平面，得到所述空間點的投影資訊；
根據所述匹配特徵點的位置資訊和所述投影資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，還配置為，
根據每個所述第二圖像幀中匹配特徵點的位置資訊以及圖像採集裝置的行曝光週期，確定每個所述第二圖像幀中匹配特徵點的曝光時間誤差；
確定當前標定的時間偏移資訊與前一個標定的時間偏移資訊之間的標定時間誤差；
根據所述曝光時間誤差和所述標定時間誤差，確定每個所述第二圖像幀的標定時間與實際採集時間之間的時間差值；其中，所述圖像採集裝置用於採集所述第二圖像幀；
根據所述時間差值和所述慣性感測資訊，對所述圖像採集裝置的位姿資訊進行估計，確定每個所述第二圖像幀所對應的慣性狀態。
本申請的一些實施例中，所述確定模組，具體配置為，
獲取針對所述至少兩個第二圖像幀標定的前一時間偏移資訊；
根據針對所述第一圖像幀當前標定的時間偏移資訊與所述前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值；
根據當前標定的時間偏移資訊的限制值，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，具體配置為，
在所述標定時間誤差小於或者等於預設時間誤差的情況下，確定所述時間偏移資訊的限制值為零；
在所述標定時間誤差大於預設時間誤差的情況下，根據所述標定時間誤差和預設的時間偏移權重，確定所述時間偏移資訊的限制值。
本申請的一些實施例中，所述定位模組，具體配置為，
基於所述第一圖像幀和在所述採集時間之前採集的第二圖像幀，確定表徵圖像採集裝置的位置變化關係的第一相對位置資訊；
基於在所述第一圖像幀的標定時間獲取的慣性感測資訊以及所述第二圖像幀對應的慣性狀態，確定表徵圖像採集裝置的位置變化關係的第二相對位置資訊；
根據所述第一相對位置關係和第二相對位置關係，對當前位置進行定位。
本申請的一些實施例中，所述校正模組，具體配置為，
根據針對所述第一圖像幀當前標定的時間偏移資訊以及所述第一圖像幀的曝光時長，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間。
本申請實施例提供了一種電子設備，包括：
處理器；
配置為儲存處理器可執行指令的記憶體；
其中，所述處理器被配置為：執行上述資訊處理方法。
本申請實施例提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述資訊處理方法。
本申請實施例還提供了一種電腦程式，包括電腦可讀程式，當所述電腦可讀程式在電子設備中運行時，所述電子設備中的處理器執行用於實現上述任意一種資訊處理方法。
在本申請實施例中，可以獲取當前待處理的第一圖像幀的採集時間，然後根據針對第一圖像幀當前標定的時間偏移資訊，可以對第一圖像幀的採集時間進行校正，得到第一圖像幀的標定時間，考慮第一圖像幀的採集時間由於誤差等原因的影響，會存在一定的時間偏移，從而可以對第一圖像幀的採集時間進行校正，得到比較準確的標定時間。然後利用標定時間獲取的慣性感測資訊和第一圖像幀，即時對當前位置進行定位，可以提高定位的準確性。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本申請。
根據下面參考附圖對示例性實施例的詳細說明，本申請的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本申請的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞「示例性」意為「用作例子、實施例或說明性」。這裡作為「示例性」所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語「和/或」，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，G和/或H，可以表示：單獨存在G，同時存在G和H，單獨存在H這三種情況。另外，本文中術語「至少一種」表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括G、H、R中的至少一種，可以表示包括從G、H和R構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本申請，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本申請同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本申請的主旨。
本申請實施例提供的資訊處理方法，可以獲取當前待處理的第一圖像幀的採集時間，第一圖像幀可以是由圖像採集裝置採集的，採集時間可以是圖像採集裝置採集第一圖像幀進行曝光之前的時間、曝光期間的時間或曝光結束的時間。第一圖像幀的採集時間由於圖像採集裝置和慣性感測裝置的兩個時間不對齊等原因，會使圖像幀的採集時間與慣性感測資訊的採集時間存在一定的時間偏移，從而導致兩者的採集時間不匹配，在利用採集時間獲取的慣性感測資訊和第一圖像幀進行定位時，得到的定位資訊不夠準確。從而可以根據針對第一圖像幀當前標定的時間偏移資訊，對第一圖像幀的採集時間進行校正，得到第一圖像幀的標定時間，再基於第一圖像幀的標定時間獲取的慣性感測資訊、第一圖像幀、之前採集的多個第二圖像幀和相應慣性感測資訊，對當前第一圖像幀對應的慣性狀態和標定時間進一步校正，得到當前較為準確的位置資訊。也就是說，定位過程與時間偏移的校正過程可以是同時進行的，當前的位置資訊可以根據累積採集的經過標定的圖像幀和慣性感測資訊進行確定，每個圖像幀的時間偏移資訊和對應的慣性狀態由該圖像幀之前經過標定的圖像幀和慣性感測資訊進行確定，如此往復，這樣，可以得到更加準確的時間偏移資訊。
在相關技術中，通常利用離線標定的方式對圖像採集裝置和慣性感測器之間的時間偏移進行標定，但是這種方式不能即時對時間偏移進行標定。一些相關技術中，雖然可以對時間偏移進行即時標定，但是具有一些限制條件，例如，不適用於非線性最佳化的場景，或者，需要對圖像特徵點進行連續追蹤。本申請實施例提供的資訊處理方案，不僅可以即時對時間偏移進行標定，還可以適用於非線性最佳化場景。此外，還適合任何快門的圖像採集裝置，例如，適用於捲簾相機，並且對於圖像特徵點追蹤的方式以及對處理的兩個圖像幀之間的時間間隔沒有任何要求。下面對本申請實施例提供的資訊處理方案進行說明。
第1圖示出根據本申請實施例的資訊處理方法的流程圖。該資訊處理方法可以由終端設備、伺服器或其它資訊處理設備執行，其中，終端設備可以為使用者設備（User Equipment，UE）、行動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該資訊處理方法可以透過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。下面以資訊處理設備為例對本申請實施例的資訊處理方法進行說明。
如第1圖所示，所述方法包括：
步驟S11，獲取當前待處理的第一圖像幀的採集時間。
在本申請實施例中，資訊處理設備可以獲取圖像採集裝置採集的第一圖像幀以及第一圖像幀的採集時間。第一圖像幀可以是等待時間偏移標定的當前待處理的圖像幀。第一圖像幀的採集時間可以是圖像採集裝置採集第一圖像幀的時間，舉例來說，第一圖像幀的採集時間可以是圖像採集裝置採集第一圖像幀時曝光前的時間，曝光期間的時間或曝光結束的時間。
這裡，圖像採集裝置可以安裝於資訊處理設備上，圖像採集裝置可以是具有拍照功能的裝置，例如，攝影機、相機等裝置。圖像採集裝置可以即時對景物進行圖像採集，並向資訊處理設備傳輸採集到的圖像幀。圖像採集裝置還可以與資訊處理裝置分離設置，透過無線通訊方式向資訊處理設備傳輸採集到的圖像幀。資訊處理設備可以是具有定位功能的設備，定位的方式可以為多種。舉例來說，資訊處理裝置可以對圖像採集裝置採集的圖像幀進行處理，根據圖像幀對當前位置進行定位。資訊處理裝置還可以獲取慣性感測設備檢測得到的慣性感測資訊，根據慣性感測資訊對當前位置進行定位。資訊處理裝置還可以將圖像幀和慣性感測資訊相結合，根據圖像幀和慣性感測資訊對當前位置進行定位。
步驟S12，根據針對所述第一圖像幀當前標定的時間偏移資訊，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間。
在本申請實施例中，資訊處理設備可以在儲存裝置中獲取最新的時間偏移資訊，並將最新的時間偏移資訊作為針對第一圖像幀當前標定的時間偏移資訊，對第一圖像幀的採集時間進行標定。時間偏移資訊可以是圖像採集裝置與慣性感測裝置之間存在的時間偏移。
在本申請的一些實施例中，步驟S12可以包括：根據針對所述第一圖像幀當前標定的時間偏移資訊以及所述第一圖像幀的曝光時長，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間。由於第一圖像幀在採集時，可能沒有考慮第一圖像幀的曝光時長，從而在對第一圖像幀的採集時間進行標定時，為了標定的時間更加準確，還可以獲取第一圖像幀的曝光時長，將針對第一圖像幀獲取的當前標定的時間偏移資訊和曝光時長相結合，對第一圖像幀的採集時間進行校正，可以得到比較準確的第一圖像幀的標定時間。這裡，可以以慣性感測裝置檢測的慣性感測資訊的時間為基準，在對第一圖像幀的採集時間進行校正時，可以將第一圖像幀的採集時間轉換為第一圖像幀曝光的中間時刻，結合時間偏移資訊，第一圖像幀的標定時間可以透過下述公式（1）表示：
（1）；
其中，
可以表示第一圖像幀的標定時間；
可以表示第一圖像幀的曝光前採集時間；
可以表示第一圖像幀的曝光時長，
可以表示針對第一圖像幀獲取的當前標定的時間偏移資訊。曝光時長可以由圖像採集裝置獲取，例如，在圖像採集裝置採用全域快門的情況下，或者不考慮包括曝光時長影響的情況下，曝光時長可以為0；在圖像採集裝置採用捲簾快門的情況下，曝光時長可以根據圖像幀的像素高度與行曝光週期進行確定。如果捲簾快門每次讀取一行像素，則行曝光週期可以是捲簾快門每次讀取一行像素的時間。
步驟S13，基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位。
在本申請實施例中，資訊處理設備可以獲取慣性感測裝置在第一圖像幀的標定時間檢測得到的慣性感測資訊，然後可以將獲取的慣性感測資訊與採集的第一圖像幀相結合，得到當前位置的位置資訊。這裡的慣性感測裝置可以是檢測物體的運動狀態的裝置，例如，慣性感測器、角速率陀螺、加速度計等裝置。慣性感測裝置可以檢測運動物體的三軸加速度、三軸角速度等慣性感測資訊。慣性感測裝置可以設置在資訊處理設備上，與資訊處理設備透過有線方式進行連接，向資訊處理設備即時檢測的慣性感測資訊。或者，慣性感測裝置可以與資訊處理設備分離設置，透過無線通訊方式向資訊處理設備傳輸即時檢測的慣性感測資訊。
在本申請的一些實施例中，在基於慣性感測資訊和第一圖像幀對當前位置進行定位時，可以包括：基於所述第一圖像幀和在所述採集時間之前採集的第二圖像幀，確定表徵圖像採集裝置的位置變化關係的第一相對位置資訊；基於在所述第一圖像幀的標定時間獲取的慣性感測資訊以及所述第二圖像幀對應的慣性狀態，確定表徵圖像採集裝置的位置變化關係的第二相對位置資訊；根據所述第一相對位置關係和第二相對位置關係，對當前位置進行定位。
在一些實施例中，可以確定空間點在第一圖像幀中和第二圖像幀中投影的匹配特徵點的位置資訊，根據匹配特徵點的在第一圖像幀中的位置資訊，可以確定圖像採集裝置在採集第一圖像幀和第二圖像幀過程中圖像採集裝置的位置變化關係，該位置變換關係可以用第一相對位置資訊進行表徵。這裡，慣性狀態可以是表徵物體運動狀態的參數，慣性狀態可以包括位置、姿態、速度、加速度偏差、角速度偏差等參數，第二圖像幀對應的慣性狀態可以是經過時間偏移補償後得到的慣性狀態（校正值）。
將第二圖像幀對應的慣性狀態作為積分初始值，對第一圖像幀的標定時間獲取的慣性感測資訊進行積分操作，可以得到估計的第一圖像幀對應的慣性狀態（估計值）。由第一圖像幀對應的慣性狀態（估計值）和第二圖像幀對應的慣性狀態（校正值），可以確定圖像採集裝置在採集第一圖像幀和第二圖像幀過程中圖像採集裝置的位置變化關係，該位置變換關係可以用第二相對位置資訊進行表徵。根據第一相對位置資訊與第二相對位置資訊之間的差異，可以得到第一圖像幀對應的慣性狀態（校正值），根據該第一圖像幀對應的慣性狀態（校正值），可以確定當前的位置。
在一些實施例中，可以將圖像採集裝置採集的第一圖像幀和第二圖像幀進行資料預處理，得到第一圖像幀中和第二圖像幀中投影的匹配特徵點；在一種實現方式中，可以在每個圖像幀中快速提取特徵點和/或描述子，例如，特徵點可以是加速段測試特徵（Features From Accelerated Segment Test，FAST）角點，描述子可以是BRIEF描述子；在提取特徵點和/或描述子後，可以使用稀疏光流法將第二幀圖像特徵點追蹤到第一幀圖像，以及利用第一幀圖像特徵和描述子對滑動視窗的幀的特徵進行追蹤；最後還可以利用極線幾何約束來去除錯誤的匹配特徵點。
需要說明的是，考慮到普通行動設備的處理資源有限，在每個時間區間內可以不對每個第一圖像幀進行處理得到位置資訊，這樣可以降低資訊處理設備的功耗。舉例來說，可以將第一圖像幀的處理頻率設置為10Hz，以10Hz頻率獲取待處理的第一圖像幀，並基於第一圖像幀和慣性感測資訊進行定位。在不處理第一圖像幀時，可以利用慣性感測資訊估計當前位置。
本申請實施例提供的資訊處理方法，可以透過對當前待處理的第一圖像幀的採集時間進行校正，利用校正後的標定時間獲取的慣性感測資訊與第一圖像幀相結合，對由慣性感測資訊初步估計的位置進行校正，確定當前位置的較為準確的位置資訊，提高定位的準確性。
在本申請實施例中，在對第一圖像幀的採集時間進行校正時，首先可以獲取針對第一圖像幀的時間偏移資訊。這裡的時間偏移資訊可以隨著圖像幀以及慣性感測資訊的變化而改變，也就是說，時間偏移資訊並非是不變的，時間偏移資訊可以每隔一定的時間間隔進行更新，時間偏移資訊隨著資訊處理設備的運動不斷進行調整，從而可以保證由時間偏移資訊標定得到的標定時間的準確性。下面對確定針對第一圖像幀當前標定的時間偏移資訊的過程進行說明。
在本申請的一些實施例中，在第一圖像幀為採集的第一個圖像幀或第二個圖像幀的情況下，當前標定的時間偏移資訊為時間偏移初始值。這裡，時間偏移初始值可以是預先進行設置的，例如，可以根據離線標定的結果進行設置，或者根據之前使用的線上標定結果進行設置，如，將時間偏移初始值設置為0.05s、0.1s。如果不存在預先進行設置的時間偏移初始值，則時間偏移初始值可以為0s。這裡的離線標定可以是非即時的時間偏移標定方式，線上標定可以是即時的時間偏移標定方式。
在本申請的一些實施例中，在所述第一圖像幀為採集的第N個圖像幀，且N為大於2的正整數的情況下，在根據針對所述第一圖像幀當前標定的時間偏移資訊以及所述第一圖像幀的曝光時長，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間之前，還可以根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊。
這裡，如果當前待處理的第一圖像幀為圖像採集裝置採集的第N個圖像幀的情況下，針對第一圖像幀當前標定的時間偏移資訊，可以是根據在第一圖像幀採集時間之前圖像採集裝置採集的第二圖像幀進行確定的。舉例來說，當前待處理的第一圖像幀如果是採集的第3個圖像幀，則該第一圖像幀的時間偏移資訊可以是根據採集的第一個圖像幀和第二個圖像幀進行確定的。這樣，當前待處理的第一圖像幀的時間偏移資訊可以由之前採集的第二圖像幀進行確定，時間偏移資訊隨著採集的圖像幀的變化而不斷往正確調整，從而可以保證時間偏移資訊的準確性。
第2圖示出根據本申請實施例的確定第一圖像幀的時間偏移資訊過程的流程圖。
步驟S21，獲取在所述採集時間之前採集的至少兩個第二圖像幀。
這裡，第二圖像幀可以是圖像採集裝置在第一圖像幀的採集時間之前採集的圖像幀。資訊處理設備可以獲取預設時間段內的至少兩個第二圖像幀。獲取的至少兩個第二圖像幀中可以分別具有圖像特徵匹配的匹配特徵點。為了保證時間偏移資訊的準確性，獲取的至少兩個第二圖像幀可以是接近第一圖像幀的採集時間採集的圖像幀，舉例來說，可以以固定的時間間隔作為時間偏移資訊的確定週期，在確定當前待處理的第一圖像幀的時間偏移資訊時，可以獲取距離第一圖像幀的採集時間最近的確定週期內採集的至少兩個第二圖像幀。
第3圖示出根據本申請實施例的獲取第二圖像幀的框圖。如第3圖所示，可以每隔一定的時間間隔獲取至少兩個第二圖像幀，如果第一圖像幀的採集時間在A點，則第二圖像幀可以是在第一個確定週期內採集的圖像幀，如果第一圖像幀的採集時間在B點，則第二圖像幀可以是在第二個確定週期內採集的圖像幀。這裡，為了保證演算法處理速度，每個時間間隔內獲取的第二圖像幀的數量可以固定，在第二圖像幀的數量超過數量閾值後，可以刪除最先採集的第二圖像幀，或者刪除最新採集的第二圖像幀。為了儘量保證第二圖像幀的資訊不損失，可以對刪除的第二圖像幀對應的慣性狀態和特徵點進行邊緣化處理，即可以基於刪除的第二圖像幀對應的慣性狀態形成先驗資訊，參與定位過程中使用的計算參數的最佳化。
在一些實施例中，定位過程中使用的計算參數的最佳化方法可以是非線性最佳化方法，非線性最佳化方法的主要過程為：計算慣性測量能量、視覺測量能量、時間偏移能量、上一次邊緣化產生的先驗能量（若是第一次最佳化，則先驗能量可以按照實際情況設置先驗），然後將所有需要最佳化的狀態變數進行反覆運算求解，得到最新的狀態變數，其中視覺測量能量項包含了需要標定的時間參數；滑動視窗中非線性最佳化總的狀態變數為
，在i
取1至n
時，慣性感測設備的狀態變數
，其中n
為大於1的整數，P為慣性感測設備的位置，q為慣性感測設備的姿態，V為慣性感測設備速度，Ba
為慣性感測設備加速度偏差，Bg
為慣性感測設備陀螺儀偏差；在j
取0至k
時，Pj
為視覺特徵，可以參數化為全域坐標系下的3D位置或者初始觀察視覺幀的逆深度，k
為大於或等於1的整數；td
是圖像採集裝置與慣性感測設備之間的時間偏移，tr
可以表示捲簾相機的行曝光時間。這裡，若圖像採集裝置為全域快門，則tr
等於0。若捲簾相機的行曝光時間可以直接讀取，則tr
可以為讀取的行曝光時間。否則，tr
可以作為公式中的變數。
步驟S22，獲取在每個所述第二圖像幀的標定時間採集的慣性感測資訊。
慣性感測資訊可以是由慣性感測裝置根據資訊處理設備的運動測量得到。為了保證時間偏移資訊的準確性和可觀測性，可以利用多個第二圖像幀及第二圖像幀對應的慣性感測資訊，即不僅可以考慮在第一圖像幀之前採集的第二圖像幀，還可以考慮在第一圖像幀之前獲取的慣性感測資訊。慣性感測資訊可以是慣性感測裝置在每個第二圖像幀的標定時間得到的慣性感測資訊，第二圖像幀的標定時間可以是根據針對第二圖像幀的時間偏移資訊（或者結合曝光時長），對第二圖像幀的採集時間進行校正得到的。第二圖像幀的標定時間的確定過程與第一圖像幀標定時間的確定過程相同，這裡不再贅述。
這裡，慣性感測裝置可以包括加速度計和陀螺儀，慣性感測資訊可以包括三軸加速度和三軸角速度。透過對加速度和角速度進行積分處理，可以得到當前運動狀態的速度、旋轉角度等資訊。
步驟S23，基於所述至少兩個第二圖像幀以及每個所述第二圖像幀所對應的慣性感測資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
這裡，在獲取至少兩個第二圖像幀以及慣性感測資訊之後，可以將第二圖像幀與慣性感測資訊相結合，確定針對第一圖像幀的時間偏移資訊。舉例來說，可以根據至少兩個第二圖像幀確定一個圖像採集過程中表徵位置變化關係的相對位置資訊，根據獲取的慣性感測資訊確定一個圖像採集過程中表徵位置變化關係的相對位置資訊，然後根據兩個相對位置資訊之間的差異，可以得到圖像採集裝置與慣性感測裝置之間的時間偏移資訊，並且，可以得到經過時間偏移補償後的採集每個第二圖像幀對應的慣性狀態，由經過時間偏移補償後每個第二圖像幀對應的慣性狀態，可以確定採集每個第二圖像幀時資訊處理設備所在的位置。
第4圖示出根據本申請實施例的基於第二圖像幀和慣性感測資訊確定時間偏移資訊的流程圖。如第4圖所示，上述步驟S23可以包括以下步驟：
步驟S231，確定至少兩個第二圖像幀中，匹配於相同圖像特徵的每組匹配特徵點；其中，每組匹配特徵點包括多個匹配特徵點。
這裡，資訊處理設備可以在每個第二圖像幀中提取特徵點，針對每個第二圖像幀，將該第二圖像幀中特徵點的圖像特徵與其他第二圖像幀中特徵點的圖像特徵進行匹配，確定多個第二圖像幀中，匹配於相同圖像特徵的每組匹配特徵點。每組匹配特徵點可以包括分別來自多個第二圖像幀的多個匹配特徵點。匹配於相同圖像特徵的匹配特徵點可以為多組。
舉例來說，假設獲取的第二圖像幀為兩個，分別為圖像幀A和圖像幀B，圖像幀A提取的特徵點為a、b和c，圖像幀B中提取特徵點為d、e和f，從而可以將特徵點a、b、c的圖像特徵與特徵點d、e和f的圖像特徵進行匹配，如果特徵點a與特徵點e的圖像特徵相匹配，則可以特徵點a與特徵點e可以形成一組匹配特徵點，特徵點a與特徵點e分別為匹配特徵點。
步驟S232，確定每個所述第二圖像幀中匹配特徵點的位置資訊。
這裡，匹配特徵點的位置資訊可以是匹配特徵點在第二圖像幀中的圖像位置，針對每組匹配特徵點，可以確定每個第二圖像幀中匹配特徵點的位置資訊。例如，位置資訊可以是匹配特徵點所在像素點對應的行和列，例如上例中，特徵點a在圖像幀A中的所在的行和列，以及特徵點e在圖像幀B中所在的行和列。
步驟S233，基於在每個所述第二圖像幀的標定時間採集的慣性感測資訊和所述匹配特徵點的位置資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
這裡，第二圖像幀可以是接近第一圖像幀的採集時間採集的圖像幀，根據第二圖像幀的標定時間獲取的慣性感測資訊，可以確定初步估計的第二圖像幀對應的慣性狀態，將確定初步估計的第二圖像幀對應的慣性狀態結合第二圖像幀中匹配特徵點的位置資訊，可以確定針對第一圖像幀當前標定的時間偏移資訊。第二圖像幀對應的慣性狀態可以理解為資訊處理設備在第二圖像幀的標定時間所處的慣性狀態。慣性狀態可以包括位置、姿態、速度等參數。在確定初步估計的第二圖像幀對應的慣性狀態時，可以獲取第二圖像幀所在的固定週期的前一個固定週期內，經過時間偏移補償後確定的資訊處理設備的慣性狀態。將補償後的慣性狀態作為初始值，對第二圖像幀的標定時間獲取的慣性感測資訊進行積分處理，可以得到由慣性感測資訊初步進行估計的第二圖像幀對應的慣性狀態。這裡，慣性狀態可以是表徵物體運動狀態的參數，慣性狀態可以包括位置、姿態、速度、加速度偏差、角速度偏差等參數。
在確定針對第一圖像幀標定的時間偏移資訊時，以兩個第二圖像幀為例，可以根據第二圖像幀中匹配特徵點的位置資訊，可以確定一個資訊處理設備在該時間間隔的相對位置的變化，根據該時間間隔內初步估計的慣性狀態，可以確定一個資訊處理設備在該時間間隔的相對位置的變化，然後根據兩個相對位置的變化之間的差異，可以得到圖像採集裝置與慣性感測裝置之間的時間偏移資訊以及相應更加精確的經過時間偏移補償後的第二圖像幀對應的慣性狀態。
第5圖示出根據本申請實施例的確定每個第二圖像幀在標定時間附近所對應的慣性狀態的流程圖。如第5圖所示，在一種可能的實現方式中，上述步驟S233可以包括以下步驟：
步驟S2331，根據每個所述第二圖像幀中匹配特徵點的位置資訊以及圖像採集裝置的行曝光週期，確定每個所述第二圖像幀中匹配特徵點的曝光時間誤差；
步驟S2332，確定當前標定的時間偏移資訊與前一個標定的時間偏移資訊之間的標定時間誤差；
步驟S2333，根據所述曝光時間誤差和所述標定時間誤差，確定每個所述第二圖像幀的標定時間與實際採集時間之間的時間差值；其中，所述圖像採集裝置用於採集所述第二圖像幀；
步驟S2334，根據所述時間差值和所述慣性感測資訊，對所述圖像採集裝置的位姿資訊進行估計，確定每個所述第二圖像幀所對應的慣性狀態。
在該種可能的實現方式中，第二圖像幀的標定時間存在一定的時間偏移，與第二圖像幀的實際採集時間存在時間差值，從而可以慣性感測資訊的時間為基準，確定第二圖像幀的標定時間與實際採集時間之間的時間差值。然後利用該時間差值結合第二圖像幀的慣性感測資訊，可以對圖像採集裝置的位姿資訊進行估計，確定每個所述第二圖像幀所對應的慣性狀態中的位姿資訊。
第6圖示出根據本申請實施例的圖像採集裝置和慣性感測裝置的時間偏移的框圖。下面結合第6圖對上述步驟S2331至步驟S2334進行說明。以圖像採集裝置為捲簾相機為例，由於圖像採集裝置的曝光時間以及標定時間存在誤差，第二圖像幀的實際採集時間與第二圖像幀的標定時間存在時間差值。以慣性感測裝置的時間為基準，第二圖像幀的標定時間與實際採集時間之間的時間差值可以表示為公式（2）：
（2）；
其中，dt可以表示時間差值；
可以表示當前標定的時間偏移資訊與前一個標定的時間偏移資訊之間的標定時間誤差，
可以表示當前標定的時間偏移資訊，
可以表示前一個標定的時間偏移資訊，前一個標定的時間偏移資訊可以是當前標定時間的確定週期的前一個確定週期得到的時間偏移資訊；
可以表示第二圖像幀中匹配特徵點的曝光時間誤差，r
可以表示匹配特徵點所在第二圖像幀中像素點的行號，h
可以表示為第二圖像幀的像素高度，即總行數。曝光時間誤差是為了校正由於第二圖像幀中每一行像素點的曝光時間而引起的時間誤差，本領域技術人員可以根據圖像採集裝置的類型或者校正的需要，靈活設置曝光時間誤差的計算方式。
利用均速模型，即可以假設圖像採集裝置在時間差值內做均速運動，則由第二圖像幀中某個匹配特徵點i得到的圖像採集裝置的位置可以表示為公式（3）：
（3）；
其中，
可以表示在
時刻估計的圖像採集裝置的位置；
可以表示t時刻圖像採集裝置的位置，這裡的t時刻可以是經過標定的標定時間；
是估計的慣性狀態中的速度；i可以表示第i個匹配特徵點，為正整數。
由第二圖像幀中某個匹配特徵點i得到的圖像採集裝置的姿態為表示為公式（4）：
（4）；
其中，
可以表示估計的圖像採集裝置在t+dt時刻的姿態；
可以表示圖像採集裝置在實際採集時間t時刻的姿態；
可以表示在dt之間，圖像採集裝置的姿態的變化；
、
和可以是四元素，
表示角速度（直接從陀螺儀中讀取最接近標定時間的測量值）。
透過這種方式可以根據時間差值和慣性感測資訊，對圖像採集裝置的位姿資訊進行估計，確定每個第二圖像幀經過dt的時間偏移後t+dt時刻所對應慣性狀態中的位姿資訊。
第7圖示出根據本申請實施例的基於位置資訊和慣性狀態確定時間偏移資訊的流程圖。如第7圖所示，在一種可能的實現方式中，上述步驟S234可以包括以下步驟：
步驟S2341，確定匹配特徵點所對應的三維空間中空間點的位置；
步驟S2342，根據在每個所述第二圖像幀的標定時間採集的慣性感測資訊，確定每個所述第二圖像幀所在的投影平面；
步驟S2343，根據所述空間點的位置和所述第二圖像幀所在的投影平面，得到所述空間點的投影資訊；
步驟S2344，根據所述匹配特徵點的位置資訊和所述投影資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
在該種可能的實現方式中，獲取的至少兩個第二圖像幀中可以具有匹配於相同圖像特徵的匹配特徵點。針對獲取的至少兩個第二圖像幀中的匹配特徵點，該匹配特徵點在第二圖像幀的位置資訊可以是空間點的觀測值。可以利用至少被兩個第二圖像幀觀測到的匹配特徵點資訊建立下述投影能量方程（5）。若匹配特徵點存在三維空間的位置，則可以直接代入投影能量方程，若匹配特徵點不存在三維空間的位置，則可以利用觀測到的該匹配特徵點在第二圖像幀的位置得到估計的三維空間的位置，然後代入投影能量方程。匹配特徵點對應的三維空間的位置可以是基於世界坐標系下的三維位置、或者基於觀測到的第二圖像幀中匹配特徵點的位置經過加逆深度表示三維位置。由每個第二圖像幀的標定時間採集的慣性感測資訊可以得到初步估計的第二圖像幀的慣性狀態，並由初步估計的第二圖像幀的慣性狀態可以確定經過補償之後的第二圖像幀所對應的慣性狀態，這裡，經過補償之後的第二圖像幀所對應的慣性狀態可以作為變數帶入下述投影能量方程（5）。投影能量方程（5）如下所示：
（5）；
其中，
可以表示第k個匹配特徵點在第i個第二圖像幀和第j個第二圖像幀所觀測到的位置資訊；
可以表示第i個第二圖像幀對應的慣性狀態，可基於該慣性狀態中的姿態資訊確定第i個第二圖像幀所在的投影平面；
可以表示第j個第二圖像幀對應的慣性狀態，可基於該慣性狀態中的姿態資訊確定第j第二圖像幀所在的投影平面。慣性狀態
可以包括位置、姿態、速度、加速度偏差、角速度偏差等變數。
可以表示匹配特徵點對應的三維空間點的位置。
可以表示圖像採集裝置與慣性感測裝置之間的時間偏移資訊，
可以表示圖像採集裝置的行曝光週期；Pj
可以表示第j個匹配特徵的圖像雜訊；
可以表示取能量操作即投影能量，在取能量操作中，基於相關技術，可以確定上述空間點的位置以及投影平面，並可求取匹配特徵點在第二圖像幀中的位置資訊和空間點向至少兩個投影平面進行投影的投影資訊之間的差異，基於該差異可以確定能量值；C
可以表示i，j，k形成的能量空間；i、j和k可以為正整數。上述公式（5）可以表示一個三維空間中的空間點，圖像採集裝置在不同位置拍攝空間點得到的圖像幀中，該空間點對應的特徵點在圖像幀上的位置，與該空間點投影到相應位置的圖像採集裝置所在投影平面的投影位置，兩者的位置在理論上應該相同，即可以使兩者的位置之差最小。換言之，透過公式（5），所到的使
最小的最佳化變數
。這裡，每個第二圖像幀中匹配特徵點可以為多個。
需要說明的是，圖像採集裝置行曝光週期如果可以直接讀取，則可以使用讀取值作為行曝光週期。如果行曝光週期不能獲取，則可以作為變數由上述公式（5）進行確定。
第8圖示出根據本申請實施例的確定時間偏移資訊的流程圖。如第8圖所示，包括以下步驟：
S23a，獲取針對所述至少兩個第二圖像幀標定的前一時間偏移資訊；
S23b，根據針對所述第一圖像幀當前標定的時間偏移資訊與所述前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值；
S23c，根據當前標定的時間偏移資訊的限制值，確定針對所述第一圖像幀當前標定的時間偏移資訊。
在該種實現方式中，可以獲取針對至少兩個第二圖像幀標定的前一時間偏移資訊。前一時間偏移資訊的標定方式與當前標定的時間偏移資訊的過程相同，這裡不再贅述。前一時間偏移資訊已經在前一個時間偏移資訊的確定週期內進行標定，可以直接讀取。對於在之前的同一確定週期內採集的至少兩個第二圖像幀，其對應的前一時間偏移資訊是相同的。然後可以將當前標定的時間偏移資訊與前一時間偏移資訊之間的差作為標定時間誤差，由標定時間誤差確定當前標定的時間偏移資訊的限制值。這裡，限制值可以限制當前標定的時間偏移資訊的大小，由於當前標定的時間偏移資訊未知，從而可以將當前標定的時間偏移資訊表示為變數，限制值作為當前標定的時間偏移資訊的約束條件。根據當前標定的時間偏移資訊的限制值，結合上述公式（5），可以確定針對所述第一圖像幀當前標定的時間偏移資訊。
在一種可能的實現方式中，在根據針對所述第一圖像幀當前標定的時間偏移資訊與前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值的過程中，可以將標定時間誤差與預設時間誤差進行比較，在所述標定時間誤差小於或者等於預設時間誤差的情況下，確定所述時間偏移資訊的限制值為零，在所述標定時間誤差大於預設時間誤差的情況下，根據所述標定時間誤差和預設的時間偏移權重，確定所述時間偏移資訊的限制值。這裡，預設時間誤差可以根據具體的應用場景進行設定，例如，可以將預設時間誤差設置為慣性感測資料獲取的時間間隔，從而可以限制時間偏移資訊的變化幅度，保證時間偏移資訊估計的準確性。當前標定的時間偏移資訊的限制值的公式（6）如下所示：
（6）；
其中，
可以表示當前標定的時間偏移資訊的限制值；
可以表示當前標定的時間偏移資訊；
可以表示前一時間偏移資訊；
可以表示預設時間誤差；
可以表示時間偏移權重。最終得到的當前標定的時間偏移資訊，應使得限制值滿足預設的條件，例如使限制值最小，比如為0。
在一種實現方式中，時間偏移權重可以與標定時間誤差正相關，即，標定時間誤差越大，時間偏移權重越大。這樣可以限制時間偏移資訊的變化幅度在一個合理的範圍，可以降低利用上述均速模型帶來的誤差和系統的不穩定。上述公式（6）可以與上述公式（5）結合使用，在公式（6）與公式（5）結合後得到的值為最小的情況下，可以得到合理的時間偏移資訊。
本申請實施例提供的資訊處理方案，可以在非線性框架下即時線上標定圖像採集裝置和慣性感測裝置的時間偏移資訊，對於特徵點的追蹤方法和連續兩個圖像幀之間時間間隔沒有任何要求，並且，適用於任何快門的圖像採集裝置，在圖像採集裝置為捲簾相機的情況下，也可以準確地標定捲簾相機的行曝光週期。
本申請實施例提供的資訊處理方案可以應用的場景包括但不限於擴增實境、虛擬實境、機器人、自動駕駛、遊戲、影視、教育、電子商務、旅遊、智慧醫療、室內裝修設計、智慧家居、智慧製造、維修裝配等場景。
可以理解，本申請提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本申請不再贅述。
此外，本申請還提供了資訊處理裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本申請提供的任一種資訊處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
第9圖示出根據本申請實施例的資訊處理裝置的框圖，如第9圖所示，所述資訊處理裝置包括：
獲取模組31，配置為獲取當前待處理的第一圖像幀的採集時間；
校正模組32，配置為根據針對所述第一圖像幀當前標定的時間偏移資訊，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間；
定位模組33，配置為基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位。
本申請的一些實施例中，，在所述第一圖像幀為採集的第一個圖像幀或第二個圖像幀的情況下，當前標定的時間偏移資訊為時間偏移初始值。
本申請的一些實施例中，在所述第一圖像幀為採集的第N個圖像幀，且N為大於2的正整數的情況下，所述裝置還包括：
確定模組，配置為根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊。
在一種可能的實現方式中，所述確定模組，具體配置為，
獲取在所述採集時間之前採集的至少兩個第二圖像幀；
獲取在每個所述第二圖像幀的標定時間採集的慣性感測資訊；
基於所述至少兩個第二圖像幀以及每個所述第二圖像幀所對應的慣性感測資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，具體配置為，
確定至少兩個第二圖像幀中，匹配於相同圖像特徵的每組匹配特徵點；其中，每組匹配特徵點包括多個匹配特徵點；
確定每個所述第二圖像幀中匹配特徵點的位置資訊；
基於在每個所述第二圖像幀的標定時間採集的慣性感測資訊和所述匹配特徵點的位置資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，具體配置為，
確定每個第二圖像幀中匹配特徵點所對應的三維空間中空間點的位置；
根據在每個所述第二圖像幀的標定時間採集的慣性感測資訊，確定每個所述第二圖像幀所在的投影平面；
根據所述空間點的位置和所述第二圖像幀所在的投影平面，得到所述空間點的投影資訊；
根據所述匹配特徵點的位置資訊和所述投影資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
本申請的一些實施例中，所述確定模組，還配置為，
根據每個所述第二圖像幀中匹配特徵點的位置資訊以及圖像採集裝置的行曝光週期，確定每個所述第二圖像幀中匹配特徵點的曝光時間誤差；
確定當前標定的時間偏移資訊與前一個標定的時間偏移資訊之間的標定時間誤差；
根據所述曝光時間誤差和所述標定時間誤差，確定每個所述第二圖像幀的標定時間與實際採集時間之間的時間差值；其中，所述圖像採集裝置用於採集所述第二圖像幀；
根據所述時間差值和所述慣性感測資訊，對所述圖像採集裝置的位姿資訊進行估計，確定每個所述第二圖像幀所對應的慣性狀態。
本申請的一些實施例中，所述確定模組，具體配置為，
獲取針對所述至少兩個第二圖像幀標定的前一時間偏移資訊；
根據針對所述第一圖像幀當前標定的時間偏移資訊與所述前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值；
根據當前標定的時間偏移資訊的限制值，確定針對所述第一圖像幀當前標定的時間偏移資訊。
在一種可能的實現方式中，所述確定模組，具體配置為，
在所述標定時間誤差小於或者等於預設時間誤差的情況下，確定所述時間偏移資訊的限制值為零；
在所述標定時間誤差大於預設時間誤差的情況下，根據所述標定時間誤差和預設的時間偏移權重，確定所述時間偏移資訊的限制值。
本申請的一些實施例中，所述定位模組33，具體配置為，
基於所述第一圖像幀和在所述採集時間之前採集的第二圖像幀，確定表徵圖像採集裝置的位置變化關係的第一相對位置資訊；
基於在所述第一圖像幀的標定時間獲取的慣性感測資訊以及所述第二圖像幀對應的慣性狀態，確定表徵圖像採集裝置的位置變化關係的第二相對位置資訊；
根據所述第一相對位置關係和第二相對位置關係，對當前位置進行定位。
本申請的一些實施例中，所述校正模組32，具體配置為，
根據針對所述第一圖像幀當前標定的時間偏移資訊以及所述第一圖像幀的曝光時長，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間。
在一些實施例中，本申請實施例提供的裝置具有的功能或包含的模組可以配置為執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本申請實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非易失性電腦可讀儲存媒體。
相應地，本申請實施例還提出了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述任意一種資訊處理方法。
本申請實施例還提出一種電子設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
第10圖是根據一示例性實施例示出的一種電子設備800的框圖。例如，電子設備800可以是行動電話、電腦、數位廣播終端、訊息收發設備、遊戲控制台、平板設備、醫療設備、健身設備、個人數位助理等終端。
參照第10圖，電子設備800可以包括以下一個或多個元件：處理元件802、記憶體804、電源元件806、多媒體元件808、音訊元件810、輸入/輸出（Input/Output，I/O）的介面812、感測器元件814，以及通訊元件816。
處理元件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通訊，相機操作和記錄操作相關聯的操作。處理元件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理元件802可以包括一個或多個模組，便於處理元件802和其他元件之間的互動。例如，處理元件802可以包括多媒體模組，以方便多媒體元件808和處理元件802之間的互動。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令、連絡人資料、通訊錄資料、訊息、圖片、影片等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體（Static Random-Access Memory，SRAM）、電可擦除可程式設計唯讀記憶體（Electrically Erasable Programmable Read Only Memory，EEPROM）、可擦除可程式設計唯讀記憶體（Electrical Programmable Read Only Memory，EPROM）、可程式設計唯讀記憶體（Programmable Read-Only Memory，PROM）、唯讀記憶體（Read-Only Memory，ROM）、磁記憶體、快閃記憶體、磁片或光碟。
電源元件806為電子設備800的各種元件提供電力。電源元件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800產生、管理和分配電力相關聯的元件。
多媒體元件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（Liquid Crystal Display，LCD）和觸控面板（Touch Pad，TP）。如果螢幕包括觸控面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸控感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體元件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式，如拍攝模式或錄影模式時，前置攝影機和/或後置攝影機可以接收外部的多媒體資料。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊元件810被配置為輸出和/或輸入音訊訊號。例如，音訊元件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊元件816發送。在一些實施例中，音訊元件810還包括一個揚聲器，用於輸出音訊訊號。
I/O介面812為處理元件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器元件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器元件814可以檢測到電子設備800的打開/關閉狀態，元件的相對定位，例如所述元件為電子設備800的顯示器和小鍵盤，感測器元件814還可以檢測電子設備800或電子設備800一個元件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器元件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器元件814還可以包括光感測器，如互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）或電荷耦合器件（Charge Coupled Device，CCD）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器元件814還可以包括加速度感測器、陀螺儀感測器、磁感測器、壓力感測器或溫度感測器。
通訊元件816被配置為便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如WiFi、2G或3G，或它們的組合。在一個示例性實施例中，通訊元件816經由廣播通道接收來自外部廣播管理系統的廣播訊號或廣播相關資訊。在一個示例性實施例中，所述通訊元件816還包括近場通訊（Near Field Communication，NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（Radio Frequency Identification，RFID）技術、紅外資料協會（Infrared Data Association，IrDA）技術、超寬頻（Ultra Wide Band，UWB）技術、藍牙（Bluetooth，BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、數位訊號處理設備（Digital Signal Processing Device，DSPD）、可程式邏輯器件（Programmable Logic Device，PLD）、現場可程式 閘陣列（Field Programmable Gate Array，FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
本申請可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本申請的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：可攜式電腦磁碟、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式設計唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、可攜式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能光碟（Digital Video Disc，DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒體不被解釋為暫態訊號本身，諸如無線電波或者其他自由傳播的電磁波、透過波導或其他傳輸媒介傳播的電磁波（例如，透過光纖電纜的光脈衝）、或者透過電線傳輸的電訊號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者透過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本申請操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等，以及常規的程式設計語言—諸如「C」語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以透過任意種類的網路—包括區域網路（Local Area Network，LAN）或廣域網路（Wide Area Network，WAN）—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來透過網際網路連接）。在一些實施例中，透過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列（FPGA）或可程式設計邏輯陣列（Programmable Logic Array，PLA），該電子電路可以執行電腦可讀程式指令，從而實現本申請的各個方面。
這裡參照根據本申請實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或框圖描述了本申請的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在透過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
附圖中的流程圖和框圖顯示了根據本申請的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本申請的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性
本申請實施例提出了一種資訊處理方法、裝置、電子設備、電腦儲存媒體和電腦程式，所述方法包括：獲取當前待處理的第一圖像幀的採集時間；根據針對所述第一圖像幀當前標定的時間偏移資訊，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間；基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位。在本申請實施例中，可以獲取當前待處理的第一圖像幀的採集時間，然後根據針對第一圖像幀當前標定的時間偏移資訊，可以對第一圖像幀的採集時間進行校正，得到第一圖像幀的標定時間，考慮第一圖像幀的採集時間由於誤差等原因的影響，會存在一定的時間偏移，從而可以對第一圖像幀的採集時間進行校正，得到比較準確的標定時間。然後利用標定時間獲取的慣性感測資訊和第一圖像幀，即時對當前位置進行定位，可以提高定位的準確性。
S11,S12,S13:步驟
S21,S22,S23:步驟
S231,S232,S233:步驟
S2331,S2332,S2333,S2334:步驟
S2341,S2342,S2343,S2344:步驟
S23a,S23b,S23c:步驟
31:獲取模組
32:校正模組
33:定位模組
800:電子設備
802:處理元件
804:記憶體
806:電源元件
808:多媒體元件
810:音訊元件
812:輸入/輸出介面
814:感測器元件
816:通訊元件
820:處理器
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本申請的實施例，並與說明書一起用於說明本申請的技術方案。
第1圖為本申請實施例的資訊處理方法的流程圖；
第2圖為本申請實施例的確定第一圖像幀的時間偏移資訊過程的流程圖；
第3圖為本申請實施例的獲取第二圖像幀的框圖；
第4圖為本申請實施例的基於第二圖像幀和慣性感測資訊確定時間偏移資訊的流程圖；
第5圖為本申請實施例的確定每個第二圖像幀所對應的慣性狀態的流程圖；
第6圖為本申請實施例的圖像採集裝置和慣性感測裝置的時間偏移的框圖；
第7圖為本申請實施例的基於位置資訊和慣性狀態確定時間偏移資訊的流程圖；
第8圖為本申請實施例的確定時間偏移資訊的流程圖；
第9圖為本申請實施例的資訊處理裝置的框圖；
第10圖為本申請實施例的一種電子設備示例的框圖。
Claims (12)
- 一種資訊處理方法，包括：獲取當前待處理的第一圖像幀的採集時間；根據針對所述第一圖像幀當前標定的時間偏移資訊以及所述第一圖像幀的曝光時長，對所述第一圖像幀的採集時間進行校正，得到所述第一圖像幀的標定時間；基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位。
- 根據請求項1所述的方法，其中，在所述第一圖像幀為採集的第一個圖像幀或第二個圖像幀的情況下，當前標定的時間偏移資訊為時間偏移初始值。
- 根據請求項1或2所述的方法，其中，在所述第一圖像幀為採集的第N個圖像幀，且N為大於2的正整數的情況下，還包括：根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊。
- 根據請求項3所述的方法，其中，所述根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊，包括：獲取在所述採集時間之前採集的至少兩個第二圖像幀；獲取在每個所述第二圖像幀的標定時間採集的慣性感測資訊；基於所述至少兩個第二圖像幀以及每個所述第二圖像幀所對應的慣性感測資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
- 根據請求項4所述的方法，其中，所述基於所述至少兩個第二圖像幀以及每個所述第二圖像幀所對應的慣性感測資訊，確定針對所述第一 圖像幀當前標定的時間偏移資訊，包括：確定至少兩個第二圖像幀中，匹配於相同圖像特徵的每組匹配特徵點；其中，每組匹配特徵點包括多個匹配特徵點；確定每個所述第二圖像幀中匹配特徵點的位置資訊；基於在每個所述第二圖像幀的標定時間採集的慣性感測資訊和所述匹配特徵點的位置資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
- 根據請求項5所述的方法，其中，所述基於在每個所述第二圖像幀的標定時間採集的慣性感測資訊和所述匹配特徵點的位置資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊，包括：確定每個第二圖像幀中匹配特徵點所對應的三維空間中空間點的位置；根據在每個所述第二圖像幀的標定時間採集的慣性感測資訊，確定每個所述第二圖像幀所在的投影平面；根據所述空間點的位置和所述第二圖像幀所在的投影平面，得到所述空間點的投影資訊；根據所述匹配特徵點的位置資訊和所述投影資訊，確定針對所述第一圖像幀當前標定的時間偏移資訊。
- 根據請求項5所述的方法，其中，所述方法還包括：根據每個所述第二圖像幀中匹配特徵點的位置資訊以及圖像採集裝置的行曝光週期，確定每個所述第二圖像幀中匹配特徵點的曝光時間誤差；確定當前標定的時間偏移資訊與前一個標定的時間偏移資訊之間的標定時間誤差；根據所述曝光時間誤差和所述標定時間誤差，確定每個所述第二圖像幀的標定時間與實際採集時間之間的時間差值；其中，所述圖像採集裝置用於採集所述第二圖像幀； 根據所述時間差值和所述慣性感測資訊，對所述圖像採集裝置的位姿資訊進行估計，確定每個所述第二圖像幀所對應的慣性狀態。
- 根據請求項3所述的方法，其中，所述根據在所述採集時間之前採集的至少兩個第二圖像幀，確定針對所述第一圖像幀當前標定的時間偏移資訊，包括：獲取針對所述至少兩個第二圖像幀標定的前一時間偏移資訊；根據針對所述第一圖像幀當前標定的時間偏移資訊與所述前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值；根據當前標定的時間偏移資訊的限制值，確定針對所述第一圖像幀當前標定的時間偏移資訊。
- 根據請求項8所述的方法，其中，所述根據針對所述第一圖像幀當前標定的時間偏移資訊與所述前一時間偏移資訊之間的標定時間誤差，確定當前標定的時間偏移資訊的限制值，包括：在所述標定時間誤差小於或者等於預設時間誤差的情況下，確定所述時間偏移資訊的限制值為零；在所述標定時間誤差大於預設時間誤差的情況下，根據所述標定時間誤差和預設的時間偏移權重，確定所述時間偏移資訊的限制值。
- 根據請求項1或2的方法，其中，所述基於在所述標定時間獲取的慣性感測資訊和所述第一圖像幀，對當前位置進行定位，包括：基於所述第一圖像幀和在所述採集時間之前採集的第二圖像幀，確定表徵圖像採集裝置的位置變化關係的第一相對位置資訊；基於在所述第一圖像幀的標定時間獲取的慣性感測資訊以及所述第二圖像幀對應的慣性狀態，確定表徵圖像採集裝置的位置變化關係的第二相對位置資訊； 根據所述第一相對位置關係和第二相對位置關係，對當前位置進行定位。
- 一種電子設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行請求項1至10中任意一項所述的方法。
- 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至10中任意一項所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910775636.6A CN112414400B (zh) | 2019-08-21 | 2019-08-21 | 一种信息处理方法、装置、电子设备和存储介质 |
| CN201910775636.6 | 2019-08-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202110165A TW202110165A (zh) | 2021-03-01 |
| TWI752594B true TWI752594B (zh) | 2022-01-11 |
Family
ID=74660172
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110144154A TW202211670A (zh) | 2019-08-21 | 2020-08-18 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
| TW110144156A TW202211672A (zh) | 2019-08-21 | 2020-08-18 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
| TW109128055A TWI752594B (zh) | 2019-08-21 | 2020-08-18 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
| TW110144155A TW202211671A (zh) | 2019-08-21 | 2020-08-18 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110144154A TW202211670A (zh) | 2019-08-21 | 2020-08-18 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
| TW110144156A TW202211672A (zh) | 2019-08-21 | 2020-08-18 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110144155A TW202211671A (zh) | 2019-08-21 | 2020-08-18 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220084249A1 (zh) |
| JP (1) | JP7182020B2 (zh) |
| KR (1) | KR20210142745A (zh) |
| CN (1) | CN112414400B (zh) |
| SG (1) | SG11202113235XA (zh) |
| TW (4) | TW202211670A (zh) |
| WO (1) | WO2021031790A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114115673B (zh) * | 2021-11-25 | 2023-10-27 | 海信集团控股股份有限公司 | 车载屏幕的控制方法 |
| CN114257864B (zh) * | 2022-02-24 | 2023-02-03 | 易方信息科技股份有限公司 | 一种基于HLS格式视频源场景下播放器的seek方法及装置 |
| CN115171241B (zh) * | 2022-06-30 | 2024-02-06 | 南京领行科技股份有限公司 | 一种视频帧定位方法、装置、电子设备及存储介质 |
| CN117667735A (zh) * | 2023-12-18 | 2024-03-08 | 中国电子技术标准化研究院 | 图像增强软件响应时间校准装置及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201541407A (zh) * | 2014-04-21 | 2015-11-01 | Tsu-Li Yang | 辨識二維影像產生三維資訊之方法 |
| CN108413917A (zh) * | 2018-03-15 | 2018-08-17 | 中国人民解放军国防科技大学 | 非接触式三维测量系统、非接触式三维测量方法及测量装置 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101211407B (zh) * | 2006-12-29 | 2011-10-26 | 东软集团股份有限公司 | 昼夜图像识别方法和装置 |
| WO2015023081A1 (ko) * | 2013-08-12 | 2015-02-19 | 삼성전자 주식회사 | 탄성 영상을 생성하는 방법 및 초음파 진단 장치 |
| CN104796753A (zh) * | 2014-01-21 | 2015-07-22 | 夏普株式会社 | 电视节目图像帧捕获设备、电视节目图像帧获取设备、系统和方法 |
| US10012504B2 (en) * | 2014-06-19 | 2018-07-03 | Regents Of The University Of Minnesota | Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps |
| US9924116B2 (en) * | 2014-08-05 | 2018-03-20 | Seek Thermal, Inc. | Time based offset correction for imaging systems and adaptive calibration control |
| WO2017197651A1 (en) * | 2016-05-20 | 2017-11-23 | SZ DJI Technology Co., Ltd. | Systems and methods for rolling shutter correction |
| US9965689B2 (en) * | 2016-06-09 | 2018-05-08 | Qualcomm Incorporated | Geometric matching in visual navigation systems |
| US10097757B1 (en) * | 2017-03-24 | 2018-10-09 | Fotonation Limited | Method for determining bias in an inertial measurement unit of an image acquisition device |
| CN109115232B (zh) * | 2017-06-22 | 2021-02-23 | 华为技术有限公司 | 导航的方法和装置 |
| CN107255476B (zh) * | 2017-07-06 | 2020-04-21 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| CN107888828B (zh) * | 2017-11-22 | 2020-02-21 | 杭州易现先进科技有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN110057352B (zh) * | 2018-01-19 | 2021-07-16 | 北京图森智途科技有限公司 | 一种相机姿态角确定方法及装置 |
| CN110119189B (zh) * | 2018-02-05 | 2022-06-03 | 浙江商汤科技开发有限公司 | Slam系统的初始化、ar控制方法、装置和系统 |
| CN108492316A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 一种终端的定位方法和装置 |
| CN108629793B (zh) * | 2018-03-22 | 2020-11-10 | 中国科学院自动化研究所 | 使用在线时间标定的视觉惯性测程法与设备 |
| CN108731673B (zh) * | 2018-06-05 | 2021-07-27 | 中国科学院电子学研究所 | 机器人自主导航定位方法及系统 |
| CN108988974B (zh) * | 2018-06-19 | 2020-04-07 | 远形时空科技（北京）有限公司 | 时间延时的测量方法、装置和对电子设备时间同步的系统 |
| CN109063703A (zh) * | 2018-06-29 | 2018-12-21 | 南京睿悦信息技术有限公司 | 基于标识识别和惯性测量单元融合的增强现实定位算法 |
| CN108900775B (zh) * | 2018-08-14 | 2020-09-29 | 深圳纳瓦科技有限公司 | 一种水下机器人实时电子稳像方法 |
| CN109186592B (zh) * | 2018-08-31 | 2022-05-20 | 腾讯科技（深圳）有限公司 | 用于视觉惯导信息融合的方法和装置以及存储介质 |
| CN111694017B (zh) * | 2018-10-15 | 2022-10-21 | 明度智云(浙江)科技有限公司 | 一种移动机器人精准定位方法 |
| CN109785381B (zh) * | 2018-12-06 | 2021-11-16 | 苏州炫感信息科技有限公司 | 一种光学惯性融合空间定位方法及定位系统 |
| CN109579847B (zh) * | 2018-12-13 | 2022-08-16 | 歌尔股份有限公司 | 同步定位与地图构建中关键帧提取方法、装置和智能设备 |
| CN109712196B (zh) * | 2018-12-17 | 2021-03-30 | 北京百度网讯科技有限公司 | 摄像头标定处理方法、装置、车辆控制设备及存储介质 |
| CN109767470B (zh) * | 2019-01-07 | 2021-03-02 | 浙江商汤科技开发有限公司 | 一种跟踪系统初始化方法及终端设备 |
| CN109922260B (zh) * | 2019-03-04 | 2020-08-21 | 中国科学院上海微系统与信息技术研究所 | 图像传感器和惯性传感器的数据同步方法和同步装置 |
| CN109993113B (zh) * | 2019-03-29 | 2023-05-02 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
| CN110084832B (zh) * | 2019-04-25 | 2021-03-23 | 亮风台（上海）信息科技有限公司 | 相机位姿的纠正方法、装置、系统、设备和存储介质 |
| CN110017841A (zh) * | 2019-05-13 | 2019-07-16 | 大有智能科技(嘉兴)有限公司 | 视觉定位方法及其导航方法 |
-
2019
- 2019-08-21 CN CN201910775636.6A patent/CN112414400B/zh active Active
-
2020
- 2020-07-23 SG SG11202113235XA patent/SG11202113235XA/en unknown
- 2020-07-23 WO PCT/CN2020/103890 patent/WO2021031790A1/zh active Application Filing
- 2020-07-23 JP JP2021564293A patent/JP7182020B2/ja active Active
- 2020-07-23 KR KR1020217035937A patent/KR20210142745A/ko active Search and Examination
- 2020-08-18 TW TW110144154A patent/TW202211670A/zh unknown
- 2020-08-18 TW TW110144156A patent/TW202211672A/zh unknown
- 2020-08-18 TW TW109128055A patent/TWI752594B/zh active
- 2020-08-18 TW TW110144155A patent/TW202211671A/zh unknown
-
2021
- 2021-11-29 US US17/536,730 patent/US20220084249A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201541407A (zh) * | 2014-04-21 | 2015-11-01 | Tsu-Li Yang | 辨識二維影像產生三維資訊之方法 |
| CN108413917A (zh) * | 2018-03-15 | 2018-08-17 | 中国人民解放军国防科技大学 | 非接触式三维测量系统、非接触式三维测量方法及测量装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021031790A1 (zh) | 2021-02-25 |
| JP7182020B2 (ja) | 2022-12-01 |
| TW202211671A (zh) | 2022-03-16 |
| TW202211672A (zh) | 2022-03-16 |
| JP2022531186A (ja) | 2022-07-06 |
| US20220084249A1 (en) | 2022-03-17 |
| TW202211670A (zh) | 2022-03-16 |
| CN112414400B (zh) | 2022-07-22 |
| SG11202113235XA (en) | 2021-12-30 |
| KR20210142745A (ko) | 2021-11-25 |
| TW202110165A (zh) | 2021-03-01 |
| CN112414400A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI752594B (zh) | 一種資訊處理方法、電子設備、儲存媒體和程式 | |
| TWI706379B (zh) | 圖像處理方法及裝置、電子設備和儲存介質 | |
| TWI753348B (zh) | 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介 | |
| CN109788189B (zh) | 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法 | |
| WO2022036980A1 (zh) | 位姿确定方法、装置、电子设备、存储介质及程序 | |
| TWI767596B (zh) | 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質 | |
| WO2021035833A1 (zh) | 姿态预测方法、模型训练方法及装置 | |
| US10545215B2 (en) | 4D camera tracking and optical stabilization | |
| US11222409B2 (en) | Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos | |
| CN109840939B (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN111401230B (zh) | 姿态估计方法及装置、电子设备和存储介质 | |
| WO2022100189A1 (zh) | 视觉惯性系统的参数标定方法及装置、电子设备和介质 | |
| TWI767217B (zh) | 坐標系對齊的方法及裝置、電子設備和計算機可讀存儲介質 | |
| WO2023103377A1 (zh) | 标定方法及装置、电子设备、存储介质及计算机程序产品 | |
| WO2022151686A1 (zh) | 场景图像展示方法、装置、设备、存储介质、程序及产品 | |
| WO2023273498A1 (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| WO2023273499A1 (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| CN114581525A (zh) | 姿态确定方法及装置、电子设备和存储介质 | |
| TWI770531B (zh) | 人臉識別方法、電子設備和儲存介質 | |
| CN113506324B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN112330721B (zh) | 三维坐标的恢复方法及装置、电子设备和存储介质 | |
| CN110769129A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113506229B (zh) | 神经网络训练和图像生成方法及装置 | |
| CN112308878A (zh) | 一种信息处理方法、装置、电子设备和存储介质 | |
| CN113160424A (zh) | 基于增强现实的虚拟对象的摆放方法及装置、设备和介质 |