TWI766282B - 標定方法、電子設備及儲存介質 - Google Patents

標定方法、電子設備及儲存介質 Download PDF

Info

Publication number
TWI766282B
TWI766282B TW109116666A TW109116666A TWI766282B TW I766282 B TWI766282 B TW I766282B TW 109116666 A TW109116666 A TW 109116666A TW 109116666 A TW109116666 A TW 109116666A TW I766282 B TWI766282 B TW I766282B
Authority
TW
Taiwan
Prior art keywords
imaging device
spline curve
inertial sensor
spline
difference
Prior art date
Application number
TW109116666A
Other languages
English (en)
Other versions
TW202127375A (zh
Inventor
慕翔
陳丹鵬
Original Assignee
中國商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國商上海商湯智能科技有限公司 filed Critical 中國商上海商湯智能科技有限公司
Publication of TW202127375A publication Critical patent/TW202127375A/zh
Application granted granted Critical
Publication of TWI766282B publication Critical patent/TWI766282B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G01P21/02—Testing or calibrating of apparatus or devices covered by the preceding groups of speedometers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Image Analysis (AREA)

Abstract

本申請實施例揭露了一種標定方法及、電子設備及儲存介質。該方法包括：獲取成像設備的至少兩個位姿和慣性感測器的至少兩個第一取樣資料；對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線；依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，所述時空偏差包括位姿轉換關係、取樣時間偏移量中的至少一個。

Description

標定方法、電子設備及儲存介質
本申請涉及電腦技術領域，尤其涉及一種標定方法、電子設備及儲存介質。
基於成像設備採集到的資料與慣性感測器採集到的資料可實現多種特定功能。由於成像設備與慣性感測器之間存在位姿偏差，或成像設備與慣性感測器之間存在的取樣時間偏差，導致基於成像設備與慣性感測器實現的特定功能的效果不佳。因此如何確定成像設備與慣性感測器之間的時空偏差（包括位姿偏差、取樣時間偏差中的至少一個）具有非常重要的意義。
本申請實施例提供一種標定方法、電子設備及儲存介質。
第一方面，本申請實施例提供了一種標定方法，所述方法包括：獲取成像設備的至少兩個位姿，以及獲取慣性感測器的至少兩個第一取樣資料；對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線；依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，所述時空偏差包括位姿轉換關係、取樣時間偏移量中的至少一個。
在本申請實施例中，透過對成像設備的至少兩個位姿進行樣條擬合處理得到第一樣條曲線，以及對慣性感測器的第一取樣資料進行樣條擬合處理得到第二樣條曲線；依據第一樣條曲線與第二樣條曲線之間確定成像設備與慣性感測器之間的位姿轉換關係和/或取樣時間偏移量，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和/或取樣時間偏移量的精度。
結合本申請任一實施方式，所述時空偏差包括位姿轉換關係；在所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差之前，所述方法還包括：獲取預設的參考位姿轉換關係；依據所述參考位姿轉換關係對所述第二樣條曲線進行轉換，得到第三樣條曲線； 所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，包括：依據所述第一樣條曲線與所述第三樣條曲線，得到第一差異；在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係。
在本申請實施例中，基於參考位姿轉換關係對第一樣條曲線轉化得到第三樣條曲線；由於第一樣條曲線與第三樣條曲線均為連續函數曲線，依據第一樣條曲線與第三樣條曲線之間的差異確定參考位姿轉換關係是否為成像設備與慣性感測器之間的位姿轉換關係，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係的精度。
結合本申請任一實施方式，所述時空偏差還包括取樣時間偏移量；所述第一樣條曲線中的點均攜帶時間戳資訊；所述在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係之前，所述方法還包括：獲取預設的第一時間偏移量；將所述第三樣條曲線中的點的時間戳與所述第一時間偏移量相加，得到第四樣條曲線； 所述依據所述第一樣條曲線與所述第三樣條曲線，得到第一差異，包括：依據所述第四樣條曲線與所述第一樣條曲線，得到所述第一差異； 所述在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，包括：在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
本申請實施例中，透過將第三樣條曲線中的點的時間戳與第一時間偏移量相加獲得第四樣條曲線，再依據第四樣條曲線與第一樣條曲線之間的差異確定第一時間偏移量是否為成像設備與陀螺儀之間的時間偏差，以及確定第一位姿轉換關係是否為成像設備與陀螺儀之間的位姿轉換關係，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和時間偏差的精度。
結合本申請任一實施方式，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個姿態；所述至少兩個第一取樣資料包括至少兩個第一角速度；所述對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，包括：依據所述至少兩個姿態，得到所述成像設備的至少兩個第二角速度；對所述至少兩個第二角速度進行樣條擬合處理，得到所述第一樣條曲線； 所述對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線，包括：對所述至少兩個第一角速度進行樣條擬合處理，得到所述第二樣條曲線。
本申請實施例中，基於成像設備的至少兩個姿態獲得成像設備的角速度與時間的函數曲線（即第一樣條曲線），並可基於慣性測量單元中的陀螺儀獲得慣性測量單元的角速度與時間的函數曲線（即第二樣條曲線）；依據第一樣條曲線和第二樣條曲線，可確定成像設備與慣性測量單元之間的位姿轉換關係和/或取樣時間偏移量。
結合本申請任一實施方式，所述至少兩個位姿還包括至少兩個第一位置；所述至少兩個第一取樣資料還包括至少兩個第一加速度；所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，所述方法還包括：依據所述至少兩個第一位置，得到所述成像設備的至少兩個第二加速度；對所述至少兩個第二加速度進行樣條擬合處理得到第五樣條曲線，對所述至少兩個第一加速度進行樣條擬合處理得到第六樣條曲線；依據所述第五樣條曲線和所述第六樣條曲線，得到第二差異； 所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量，包括：在所述第一差異小於或等於所述第一閾值，且所述第二差異小於或等於第二閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
本申請實施例中，利用了慣性測量單元的加速度計取樣得到的資料和成像設備的第一位置，得到第二差異；再依據第一差異和第二差異確定參考位姿轉換關係是否為成像設備與慣性測量單元之間的位姿轉換關係，以及確定第一時間偏移量為成像設備與慣性測量單元之間的取樣時間偏移量，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和時間偏差的精度。
結合本申請任一實施方式，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個第二位置；所述至少兩個第一取樣資料包括至少兩個第三加速度；所述對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，包括：依據所述至少兩個第二位置，得到所述成像設備的至少兩個第四加速度；對所述至少兩個第四加速度進行樣條擬合處理，得到所述第一樣條曲線； 所述對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線，包括：對所述至少兩個第三加速度進行樣條擬合處理，得到所述第二樣條曲線。
本申請實施例中，基於成像設備的至少兩個第二位置獲得成像設備的加速度與時間的函數曲線（即第一樣條曲線），並可基於慣性測量單元中的加速度計獲得慣性測量單元的加速度與時間的函數曲線（即第二樣條曲線）。依據第一樣條曲線和第二樣條曲線，可確定成像設備與慣性測量單元之間的位姿轉換關係和/或取樣時間偏移量。
結合本申請任一實施方式，所述至少兩個位姿還包括至少兩個第二姿態；所述至少兩個第一取樣資料還包括至少兩個第三角速度；所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，所述方法還包括：依據所述至少兩個第二姿態，得到所述成像設備的至少兩個第四角速度；對所述至少兩個第四角速度進行樣條擬合處理得到第七樣條曲線，對所述至少兩個第三角速度進行樣條擬合處理得到第八樣條曲線；依據所述第七樣條曲線和所述第八樣條曲線，得到第三差異； 所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量，包括：在所述第一差異小於或等於所述第一閾值，且所述第三差異小於或等於第三閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
本申請實施例中，利用了慣性測量單元的陀螺儀取樣得到的資料和成像設備的第二姿態，得到第三差異；再依據第一差異和第三差異確定參考位姿轉換關係是否為成像設備與慣性測量單元之間的位姿轉換關係，以及確定第一時間偏移量為成像設備與慣性測量單元之間的取樣時間偏移量，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和時間偏差的精度。
結合本申請任一實施方式，所述時空偏差包括取樣時間偏移量；在所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差之前，所述方法還包括：獲取預設的第二時間偏移量；將所述第一樣條曲線中的點的時間戳與所述第二時間偏移量相加，得到第九樣條曲線；依據所述第九樣條曲線與所述第二樣條曲線，得到第四差異； 所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，包括：在所述第四差異小於或等於第四閾值的情況下，確定所述第二時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述成像設備和所述慣性感測器屬於電子設備，所述方法還包括： 使用所述成像設備採集至少兩張圖像； 在所述成像設備採集所述至少兩張圖像的過程中，獲得所述慣性感測器的至少兩個第二取樣資料； 依據所述至少兩張圖像、所述至少兩個第二取樣資料和所述時空偏差，得到所述電子設備的成像設備在採集所述圖像時的位姿。
本申請實施例中，基於標定得到的成像設備和慣性測量單元之間的位姿轉換關係，以及成像設備和慣性測量單元之間的取樣時間偏移量，實現電子設備的定位，可提高定位精度。
第二方面，本申請實施例還提供了一種標定裝置，所述裝置包括：
獲取單元，配置為獲取成像設備的至少兩個位姿，以及獲取慣性感測器的至少兩個第一取樣資料； 第一處理單元，配置為對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線； 第二處理單元，配置為依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，所述時空偏差包括位姿轉換關係、取樣時間偏移量中的至少一個。
結合本申請任一實施方式，所述時空偏差包括位姿轉換關係；所述獲取單元，還配置為在所述第二處理單元依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差之前，獲取預設的參考位姿轉換關係； 所述第一處理單元，還配置為依據所述參考位姿轉換關係對所述第二樣條曲線進行轉換，得到第三樣條曲線； 所述第二處理單元，配置為：依據所述第一樣條曲線與所述第三樣條曲線，得到第一差異；在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係。
結合本申請任一實施方式，所述時空偏差還包括取樣時間偏移量；所述第一樣條曲線中的點均攜帶時間戳資訊； 所述獲取單元，還配置為在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係之前，獲取預設的第一時間偏移量； 所述第一處理單元，配置為將所述第三樣條曲線中的點的時間戳與所述第一時間偏移量相加，得到第四樣條曲線； 所述第二處理單元，配置為依據所述第四樣條曲線與所述第一樣條曲線，得到所述第一差異；在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個姿態；所述至少兩個第一取樣資料包括至少兩個第一角速度；所述第一處理單元，配置為：依據所述至少兩個姿態，得到所述成像設備的至少兩個第二角速度；對所述至少兩個第二角速度進行樣條擬合處理，得到所述第一樣條曲線；對所述至少兩個第一角速度進行樣條擬合處理，得到所述第二樣條曲線。
結合本申請任一實施方式，所述至少兩個位姿還包括至少兩個第一位置；所述至少兩個第一取樣資料還包括至少兩個第一加速度；所述第一處理單元，配置為在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，依據所述至少兩個第一位置，得到所述成像設備的至少兩個第二加速度；對所述至少兩個第二加速度進行樣條擬合處理得到第五樣條曲線，對所述至少兩個第一加速度進行樣條擬合處理得到第六樣條曲線； 所述第二處理單元，配置為依據所述第五樣條曲線和所述第六樣條曲線，得到第二差異；在所述第一差異小於或等於所述第一閾值，且所述第二差異小於或等於第二閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個第二位置；所述至少兩個第一取樣資料包括至少兩個第三加速度；所述第一處理單元，配置為：依據所述至少兩個第二位置，得到所述成像設備的至少兩個第四加速度；對所述至少兩個第四加速度進行樣條擬合處理，得到所述第一樣條曲線；對所述至少兩個第三加速度進行樣條擬合處理，得到所述第二樣條曲線。
結合本申請任一實施方式，所述至少兩個位姿還包括至少兩個第二姿態；所述至少兩個第一取樣資料還包括至少兩個第三角速度； 所述第一處理單元，配置為在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，依據所述至少兩個第二姿態，得到所述成像設備的至少兩個第四角速度； 所述第二處理單元，配置為對所述至少兩個第四角速度進行樣條擬合處理得到第七樣條曲線，對所述至少兩個第三角速度進行樣條擬合處理得到第八樣條曲線；依據所述第七樣條曲線和所述第八樣條曲線，得到第三差異；在所述第一差異小於或等於所述第一閾值，且所述第三差異小於或等於第三閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述時空偏差包括取樣時間偏移量；所述獲取單元，還配置為在所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差之前，獲取預設的第二時間偏移量； 所述第一處理單元，配置為將所述第一樣條曲線中的點的時間戳與所述第二時間偏移量相加，得到第九樣條曲線； 所述第二處理單元，配置為依據所述第九樣條曲線與所述第二樣條曲線，得到第四差異；在所述第四差異小於或等於第四閾值的情況下，確定所述第二時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述成像設備和所述慣性感測器屬於所述標定裝置； 所述成像設備，配置為採集至少兩張圖像； 所述慣性感測器，配置為在所述成像設備採集所述至少兩張圖像的過程中，獲得至少兩個第二取樣資料； 所述獲取單元，配置為依據所述至少兩張圖像、所述至少兩個第二取樣資料和所述時空偏差，得到所述成像設備在採集所述圖像時的位姿。
第三方面，本申請實施例還提供了一種處理器，所述處理器用於執行如上述第一方面及其任意一種可能實現的方式的方法。
第四方面，本申請實施例還提供了一種電子設備，包括：處理器和記憶體，所述記憶體用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，當所述處理器執行所述電腦指令時，所述電子設備執行如上述第一方面及其任意一種可能實現的方式的方法。
第五方面，本申請實施例還提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行如上述第一方面及其任意一種可能實現的方式的方法。
第六方面，本申請實施例還提供了一種包含指令的電腦程式產品，當所述電腦程式產品在電腦上運行時，使得所述電腦執行上述第一方面及其任一種可能的實現方式的方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本揭露。
為了使本技術領域的人員更好地理解本申請方案，下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出進步性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
本申請實施例的說明書和發明申請專利範圍及上述附圖中的術語「第一」、「第二」等是用於區別不同物件，而不是用於描述特定順序。此外，術語「包括」和「具有」以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。
在本文中提及「實施例」意味著，結合實施例描述的特定特徵、結構或特性可以包含在本申請的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。
本實施例中，慣性感測器可用於測量角速度、加速度等物理量。由於基於成像設備採集到的圖像可獲得成像設備的位姿等資訊，將慣性感測器與成像設備結合，可實現一些特定功能。例如，將包含加速度計和陀螺儀的慣性測量單元（Inertial Measurement Unit，IMU）以及成像設備裝載於無人機上，利用IMU採集到的加速度資訊和角速度資訊以及成像設備採集到的圖像實現無人機的定位。又例如，利用成像設備上安裝的陀螺儀採集到的陀螺儀的角速度實現成像設備的防抖功能。
在上述將慣性感測器與成像設備結合的過程中，透過處理器對慣性感測器獲得的資料和透過成像設備獲得的資料進行處理。處理器將接收到的慣性感測器獲得的資料和成像設備獲得的資料進行處理，可實現上述特定功能。
一方面，由於成像設備的位姿與慣性感測器的位姿不同，即成像設備與慣性感測器之間存在位姿偏差，若處理器在處理慣性感測器獲得的資料和成像設備獲得的資料時未考慮成像設備與慣性感測器之間的位姿偏差，或處理器在處理慣性感測器獲得的資料和成像設備獲得的資料時獲得成像設備與慣性感測器之間的位姿偏差的精度不高，將導致實現的定位等特定功能的效果不佳（如定位精度不高）。
另一方面，透過利用在同一時刻下慣性感測器獲得的資料（如角速度、加速度）和透過成像設備獲得的資料（如透過採集到的圖像獲得的成像設備的位姿）可實現定位等功能。舉例來說，無人機上裝載有攝影機、慣性感測器以及中央處理器（Central Processing Unit，CPU），CPU在時間戳a下獲取到成像設備的第一資料（如圖像）以及慣性感測器的第二資料（如角速度），CPU進而可依據第一資料和第二資料得到無人機在a時刻下的位姿。
也就是說，基於成像設備獲得的資料和慣性感測器獲得的資料實現的定位等功能需要透過CPU對同一時間戳下獲取到的慣性感測器的資料與成像設備的資料進行處理，得到該時間戳下的位姿。但若成像設備的取樣時間與慣性感測器的取樣時間存在偏差（下文將稱為時間偏差），將導致CPU獲取到的成像設備的資料的時間戳不準確或CPU獲取到的慣性感測器的時間戳不準確。舉例來說（例1），假設成像設備在時間a時取樣得到的資料為第一資料，慣性感測器在時間a時取樣獲得的資料為第二資料，慣性感測器在時間b時取樣獲得的資料為第三資料。成像設備將第一資料發送至CPU，慣性感測器將第二資料和第三資料發送至CPU，但由於成像設備發送資料的速度於慣性感測器發送資料的速度不同，CPU在時間c時接收到了第二資料，給第二資料添加的時間戳為c，在時間d時接收到了第一資料和第三資料，給第一資料和第三資料添加的時間戳均為d，其中，時間戳b與時間戳c不同。
顯然，時間戳的不準確將導致定位等功能精確度低。接著例1繼續舉例，由於第一資料的時間戳與第三資料的時間戳相同，CPU將對第一資料和第三資料進行處理，得到時間d時的位姿。由於第一資料的取樣時間（a）與第三時間的取樣時間（b）不同，時間d時的位姿的精度低。
基於上述兩個方面，如何確定成像設備與慣性感測器之間的位姿轉換關係（即上述位姿偏差）和/或取樣時間偏移量具有非常重要的意義。位姿轉換關係和/或取樣時間偏移量可以包括位姿轉換關係，位姿轉換關係和/或取樣時間偏移量也可以包括取樣時間偏移量，位姿轉換關係和/或取樣時間偏移量還可以包括位姿轉換關係和取樣時間偏移量。
基於本申請實施例提供的標定方法可依據成像設備採集到的圖像與慣性感測器採集到的資料確定成像設備與慣性感測器之間的時空偏差。
請參閱第1圖，第1圖是本申請實施例提供的標定方法的流程示意圖一，如第1圖所示，上述方法包括： 101、獲取成像設備的至少兩個位姿，以及獲取慣性感測器的至少兩個第一取樣資料。
本申請實施例中的執行主體為第一終端，該第一終端可以是以下其中之一：手機、電腦、平板電腦、伺服器等等。
本申請實施例中，成像設備可以包括相機、攝影機中的至少一種。慣性感測器可以包括：陀螺儀、加速度、IMU中的至少一種。
本申請實施例中，位姿可以包括位置、姿態中的至少一個。其中，姿態包括：俯仰角、滾轉角、偏航角中的至少一個。例如，成像設備的至少兩個位姿可以是成像設備的至少兩個位置，和/或，成像設備的至少兩個位姿也可以是成像設備的至少兩個姿態。
本申請實施例中，第一取樣資料為慣性感測器的取樣資料。例如，在慣性感測器為陀螺儀的情況下，第一取樣資料包括角速度。又例如，在慣性感測器為加速度計的情況下，第一取樣資料包括加速度。
第一終端獲取至少兩個位姿以及獲取至少兩個第一取樣資料的方式可以包括：接收使用者透過輸入元件輸入的至少兩個位姿和至少兩個第一取樣資料；其中，輸入元件可以包括：鍵盤、滑鼠、觸控屏、觸控板和音訊輸入器等。也可以是接收第二終端發送的至少兩個位姿和至少兩個第一取樣資料；其中，第二終端包括手機、電腦、平板電腦或伺服器等，第一終端可透過有線連接或者無線通訊的方式與第二終端建立通訊連接，接收第二終端發送的至少兩個位姿和至少兩個第一取樣資料。
102、對上述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對上述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線。
本申請實施例中，上述至少兩個位姿中的每個位姿均攜帶時間戳，上述至少兩個第一取樣資料中的每個第一取樣資料均攜帶時間戳資訊。例如，慣性感測器A的第一取樣資料a的時間戳資訊表徵的時間戳為2019年12月6日14點46分30秒，則第一取樣資料a為慣性感測器A在2019年12月6日14點46分30秒採集到的角速度。
其中，至少兩個位姿中的任意兩個位姿的時間戳均不同，至少兩個第一取樣資料中的任意兩個第一取樣資料的時間戳均不同。
可選的，按時間戳從小到大的順序對至少兩個位姿排序可得到位姿序列。由於位姿序列為至少兩個離散的點，為方便後續處理，需獲得成像設備的位姿與時間之間的連續函數，即獲得成像設備在任意時刻下的位姿。
在一種可能實現的方式中，透過對位姿序列進行樣條擬合處理，可得到成像設備的位姿與時間之間的函數曲線，即第一樣條曲線。第2圖為本申請實施例提供的一種對慣性感測器的角速度進行樣條擬合處理之前及之後的示意圖；其中，第2圖中的（a）圖為對慣性感測器的角速度進行樣條擬合處理之前的示意，第2圖中的（b）圖為對慣性感測器的角速度進行樣條擬合處理之後的示意。如第2圖中的（a）圖所示，若以x軸表示時間、y軸表示成像設備的位姿建立坐標系xoy，則可根據每一個位姿的時間戳以及每一個位姿的大小在坐標系xoy中確定唯一的一個點。從第2圖中的（a）圖中可以看出，位姿序列在坐標系xoy中是離散的點，也就是說，成像設備在任意兩個位姿的時間戳之間的時間段內的位姿是未知的。透過對位姿序列進行樣條擬合處理，可得到如圖2中的（b）圖所示的樣條曲線，即為成像設備的位姿與時間之間的函數曲線。
同理，可對至少兩個第一取樣資料進行樣條擬合處理，得到慣性感測器的取樣資料與時間之間的連續函數曲線，即第二樣條曲線。
在該種可能實現的方式中，透過對至少兩個位姿進行樣條曲線擬合處理，可得到成像設備的位姿與時間之間的函數曲線，進而得到成像設備在任意時刻下的位姿。透過對至少兩個第一取樣資料進行樣條曲線擬合處理，可得到慣性感測器的取樣資料與時間之間的函數曲線，進而得到慣性感測器在任意時刻下的取樣資料。
可選的，上述樣條擬合處理可透過B樣條擬合（B-spline）、三次樣條插值（Cubic Spline Interpolation）等樣條擬合算法實現，本申請實施例對此不做限定。
103、依據上述第一樣條曲線與上述第二樣條曲線，得到上述成像設備與上述慣性感測器之間的時空偏差。
本申請實施例中，時空偏差可以包括位姿轉換關係，時空偏差也可以包括取樣時間偏移量，時空偏差還可以包括位姿轉換關係和取樣時間偏移量。
本申請實施例中，在位姿包括位置的情況下，第一取樣資料包括加速度。在位姿包括姿態的情況下，第一取樣資料包括角速度。即在第一樣條曲線為成像設備的位置與時間之間的連續函數曲線的情況下，第二樣條曲線為慣性感測器的加速度與時間之間的連續函數曲線。在第一樣條曲線為成像設備的姿態與時間之間的連續函數曲線的情況下，第二樣條曲線為慣性感測器的角速度與時間之間的連續函數曲線。
在第一樣條曲線為成像設備的位置與時間之間的連續函數曲線的情況下，可對第一樣條曲線進行兩次求導，得到成像設備的加速度與時間之間的連續函數曲線（下文將稱為加速度樣條曲線）。在第一樣條曲線為成像設備的姿態與時間之間的連續函數曲線的情況下，可對第一樣條曲線進行一次求導，得到成像設備的角速度與時間之間的連續函數曲線（下文將稱為角速度樣條曲線）。
在成像設備與慣性感測器之間不存在位姿偏差或取樣時間偏差、且第一樣條曲線為成像設備的位置與時間之間的連續函數曲線的情況下，加速度樣條曲線與第二樣條曲線相同。因此，可依據加速度樣條曲線和第二樣條曲線確定成像設備與慣性感測器之間的時空偏差。
在成像設備與慣性感測器之間不存在位姿偏差或取樣時間偏差、且第一樣條曲線為成像設備的姿態與時間之間的連續函數曲線的情況下，角速度樣條曲線與第二樣條曲線相同。因此，可依據角速度樣條曲線和第二樣條曲線確定成像設備與慣性感測器之間的時空偏差。
在一種可能實現的方式中，首先假設成像設備與慣性感測器之間的位姿偏差為待確定位姿轉換關係，和/或，假設成像設備與慣性感測器之間的取樣時間偏移量為待確定時間偏移量。再依據待確定位姿轉換關係和/或待確定時間偏移量對加速度樣條曲線進行轉換，得到轉換後的加速度樣條曲線。在轉換後的加速度樣條曲線與第二樣條曲線之間的差異小於或等於第一預期值的情況下，表徵轉換後的加速度樣條曲線與第二樣條曲線相同，進而可確定待確定位姿轉換關係和/或待確定時間偏移量為成像設備與慣性感測器之間的位姿偏差和/或取樣時間偏移量。
在另一種可能實現的方式中，首先假設成像設備與慣性感測器之間的位姿偏差為待確定位姿轉換關係，和/或，假設成像設備與慣性感測器之間的取樣時間偏移量為待確定時間偏移量。再依據待確定位姿轉換關係和/或待確定時間偏移量對角速度樣條曲線進行轉換，得到轉換後的角速度樣條曲線。在轉換後的角速度樣條曲線與第二樣條曲線之間的差異小於或等於第二預期值的情況下，表徵轉換後的角速度樣條曲線與第二樣條曲線相同，進而可確定待確定位姿轉換關係和/或待確定時間偏移量為成像設備與慣性感測器之間的位姿偏差和/或取樣時間偏移量。
在又一種可能實現的方式中，首先假設在兩條曲線之間的差異小於或等於第三預期值的情況下，確定兩條曲線相同。透過將加速度樣條曲線與第三預期值相加，得到相加後的加速度樣條曲線。依據相加後的加速度樣條曲線和第二樣條曲線，得到相加後的加速度樣條曲線與第二樣條曲線之間的位姿轉換關係，作為成像設備與慣性感測器之間的位姿偏差，和/或，依據相加後的加速度樣條曲線和第二樣條曲線，得到相加後的加速度樣條曲線與第二樣條曲線之間的時間偏差，作為成像設備與慣性感測器之間的時間偏移量。
在又一種可能實現的方式中，首先假設在兩條曲線之間的差異小於或等於第四預期值的情況下，確定兩條曲線相同。透過將角速度樣條曲線與第四預期值相加，得到相加後的角速度樣條曲線。依據相加後的角速度樣條曲線和第二樣條曲線，得到相加後的角速度樣條曲線與第二樣條曲線之間的轉換關係，作為成像設備與慣性感測器之間的位姿偏差，和/或，依據相加後的加速度樣條曲線和第二樣條曲線，得到相加後的加速度樣條曲線與第二樣條曲線之間的時間偏差，作為成像設備與慣性感測器之間的時間偏移量。
本實施例透過對成像設備的至少兩個位姿進行樣條擬合處理得到第一樣條曲線，以及慣性感測器的第一取樣資料進行樣條擬合處理得到第二樣條曲線。依據第一樣條曲線與第二樣條曲線之間確定成像設備與慣性感測器之間的位姿轉換關係和/或取樣時間偏移量，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和/或取樣時間偏移量的精度。
接下來將詳細闡述如何確定成像設備與慣性感測器之間的取樣時間偏移量。請參閱第3圖，第3圖是本申請實施例提供的標定方法的流程示意圖二，如第3圖所示，上述方法包括：
301、獲取預設的參考位姿轉換關係、成像設備的至少兩個位姿和慣性感測器的至少兩個第一取樣資料。
本申請實施例中，預設的參考位姿轉換關係包括位姿轉換矩陣和偏移量。
第一終端獲取參考位姿轉換關係的方式可以是接收使用者透過輸入元件輸入的參考位姿轉換關係。其中，輸入元件可以包括：鍵盤、滑鼠、觸控屏、觸控板和音訊輸入器等元件中的任意一個。第一終端獲取參考位姿轉換關係的方式也可以是接收第三終端發送的參考位姿轉換關係。其中，第三終端可以包括手機、電腦、平板電腦、伺服器等設備中的任意一個。第一終端可透過有線連接或無線連接的方式接收第三終端發送的參考位姿轉換關係。
302、對上述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對上述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線。
本步驟可參見步驟102，此處將不再贅述。
303、依據上述參考位姿轉換關係對上述第二樣條曲線進行轉換，得到第三樣條曲線。
本申請實施例中，每一個位姿均攜帶時間戳資訊。上述至少兩個位姿為成像設備在不同時刻下的位姿，即至少兩個位姿中的任意兩個位姿的時間戳均不同。例如，在位姿包括姿態的情況下，成像設備A的至少兩個姿態包含姿態B和姿態C，其中，姿態B包含俯仰角a、滾轉角b和偏航角c，姿態B的時間戳為時間戳D，姿態C包含俯仰角d、滾轉角e和偏航角f，姿態C的時間戳為時間戳E。則由姿態B和姿態C可知成像設備A在時間戳D下的俯仰角為a、滾轉角為b和偏航角為c，成像設備A在時間戳E下的俯仰角為d、滾轉角為e、偏航角為f。
由於成像設備與慣性感測器之間存在位姿偏差，導致基於成像設備獲得的位姿與基於慣性感測器獲得的位姿之間存在偏差。若能確定成像設備與慣性感測器之間的真實位姿轉換關係，即可基於該真實位姿轉換關係對成像設備獲得的位姿或慣性感測器獲得的位姿進行轉換，以減小成像設備與慣性感測器之間的位姿偏差。舉例來說，假設成像設備與慣性感測器之間的位姿偏差為C，若位姿偏差C對應的位姿轉換關係為D，基於成像設備獲得的位姿為A，基於慣性感測器獲得位姿為B，即位姿A與位姿B之間的位姿偏差為C。將位姿A與位姿轉換關係D相乘得到位姿E（即基於位姿轉換關係對姿態A進行轉換），則位姿E與位姿B相同，或將位姿B與位姿轉換關係D相乘得到位姿F（即基於位姿轉換關係對姿態B進行轉換），則位姿F與位姿A相同。
換句話說，在不確定成像設備與慣性感測器之間的位姿偏差的情況下，無法獲得成像設備與慣性感測器之間的真實位姿轉換關係。透過假設成像設備與慣性感測器之間的轉換關係（即上述參考位姿轉換關係），依據成像設備獲得的位姿和基於慣性感測器獲得的位姿之間的誤差可確定參考位姿轉換關係與真實位姿轉換關係之間的偏差。在一種可能實現的方式中，將第二樣條曲線與參考位姿轉換關係相乘，得到第三樣條曲線。
304、依據上述第一樣條曲線與上述第三樣條曲線，得到第一差異。
在一種可能實現的方式中，將第一樣條曲線與第三樣條曲線中時間戳相同的點之間的差值，作為第一差異。例如，第一樣條曲線中包含點a和點b，第三樣條曲線中包含點c和點d。點a和點c的時間戳均為A，點b和點d的時間戳均為B。可將點a與點c的差值作為第一差異。也可將點b與點d的差值作為第一差異。還可將點a與點c的差值以及點b和與點d的差值的均值作為第一差異。
在另一種可能實現的方式中，確定第一樣條曲線與第三樣條曲線中時間戳相同的點之間的差值，得到第一差值；將第一差值與第一參考值的和作為第一差異，其中，第一參考值為實數，可選的，第一參考值可以為0.0001米。舉例來說，第一樣條曲線中包含點a和點b，第三樣條曲線中包含點c和點d。點a和點c的時間戳均為A，點b和點d的時間戳均為B。點a與點c的差值為C，點b與點d的差值為D。假設第一參考值為E。可將C+E作為第一差異。也可將D+E作為第一差異。還可將（C+E+D+E）/2作為第一差異。
在又一種可能實現的方式中，確定第一樣條曲線與第三樣條曲線中時間戳相同的點之間的差值，得到第二差值。將第二差值的平方作為第一差異。舉例來說，第一樣條曲線中包含點a和點b，第三樣條曲線中包含點c和點d。點a和點c的時間戳均為A，點b和點d的時間戳均為B。點a與點c的差值為C，點b與點d的差值為D。可將C2 作為第一差異，也可將D2 作為第一差異，還可將（C2 +D2 ）/2作為第一差異。
305、在上述第一差異小於或等於第一閾值的情況下，確定上述參考位姿轉換關係為上述成像設備與上述慣性感測器之間的位姿轉換關係。
由於第三樣條曲線與第一樣條曲線之間的差異（即第一差異）可用於表徵參考位姿轉換關係與真實位姿轉換關係之間的偏差，可將第一差異小於或等於預期值（即上述第一閾值）作為求解參考位姿轉換關係的約束條件。示例性的，上述第一閾值的單位為公尺，第一閾值的取值範圍為正數。可選的，第一閾值的取值可以為1公釐。
舉例來說，假設第一樣條曲線滿足：
Figure 02_image001
，其中，
Figure 02_image003
為陀螺儀的角速度與時間之間的函數曲線，
Figure 02_image005
為陀螺儀的角速度，
Figure 02_image007
為時間；第二樣條曲線滿足：
Figure 02_image009
，其中，
Figure 02_image011
為陀螺儀的角速度與時間之間的函數曲線，
Figure 02_image013
為陀螺儀的角速度，
Figure 02_image007
為時間；參考位姿轉換關係為；
Figure 02_image015
，第三樣條曲線滿足：
Figure 02_image017
=
Figure 02_image019
，其中，
Figure 02_image021
為成像設備的角速度與時間之間的函數曲線，
Figure 02_image023
為成像設備的角速度，
Figure 02_image007
為時間。若第一閾值為1毫米，則
Figure 02_image025
，即
Figure 02_image027
（本運算式記為式（1））。由於在式（1）中
Figure 02_image029
和
Figure 02_image031
均為已知，透過求解該不等式即可確定參考位姿轉換關係
Figure 02_image015
。
可選的，可透過列文伯格馬誇爾特演算法（levenberg-marquard algorithm）、高斯牛頓反覆運算法(gauss-newton iteration method)中任意一種求解式（1）。
本實施例透過對成像設備的位姿進行樣條擬合處理得到第一樣條曲線，以及對慣性感測器的第一取樣資料進行樣條擬合處理得到第二樣條曲線。基於參考位姿轉換關係對第一樣條曲線轉化得到第三樣條曲線。由於第一樣條曲線與第三樣條曲線均為連續函數曲線，依據第一樣條曲線與第三樣條曲線之間的差異，確定參考位姿轉換關係是否為成像設備與慣性感測器之間的位姿轉換關係，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係的精度。
基於上述實施例，本申請實施例還提供了一種確定慣性感測器與成像設備之間的時間偏差的方法。
第4圖是本申請實施例提供的標定方法的流程示意圖三。如第4圖所示，方法可包括：
401、獲取預設的第一時間偏移量。
本實施例確定成像設備與慣性感測器之間的時間偏差的思路與上述實施例確定成像設備與慣性感測器之間的位姿轉換關係相同。即，若成像設備與慣性感測器之間不存在時間偏差，則在同一時刻下成像設備的角速度與慣性感測器的角速度之間的偏差較小。
基於此思路，本實施例中，首先假設成像設備與慣性感測器之間的時間偏差為第一時間偏移量，後續處理中，將成像設備的位姿與時間的函數曲線加上該第一時間偏移量即可獲得慣性感測器的角速度與時間的函數曲線。
在一種可選的實施方式中，第一終端獲取第一時間偏移量的方式可以包括：第一終端接收使用者透過輸入元件輸入的第一時間偏移量，其中，輸入元件可包括：鍵盤、滑鼠、觸控屏、觸控板和音訊輸入器等元件中的任意一種。在另一種可選的實施方式中，第一終端獲取第一時間偏移量的方式還可以包括：第一終端接收第三終端發送的第一時間偏移量，其中，第三終端可包括手機、電腦、平板電腦、伺服器等設備中的任意一種。第三終端與第二終端可以是同一個終端，也可以是不同的終端。
402、將上述第三樣條曲線中的點的時間戳與上述第一時間偏移量相加，得到第四樣條曲線。
403、依據上述第四樣條曲線與上述第一樣條曲線，得到上述第一差異。
與前述實施例中依據第一樣條曲線與第三樣條曲線得到第一差異的實現方式不同，本實施例中，依據第一樣條曲線與第四樣條曲線得到第一差異。
在一種可能實現的方式中，將第四樣條曲線與第一樣條曲線中時間戳相同的點之間的差值，作為第一差異。例如，第四樣條曲線中包含點a和點b，第一樣條曲線中包含點c和點d。點a和點c的時間戳均為A，點b和點d的時間戳均為B。可將點a與點c的差值作為第一差異，也可將點b與點d的差值作為第一差異，還可將點a與點c的差值以及點b和與點d的差值的均值作為第一差異。
在另一種可能實現的方式中，確定第四樣條曲線與第一樣條曲線中時間戳相同的點之間的差值，得到第三差值；將第三差值與第二參考值的和作為第一差異，其中，第二參考值為實數，可選的，第二參考值可以為0.0001公尺。舉例來說，第四樣條曲線中包含點a和點b，第一樣條曲線中包含點c和點d。點a和點c的時間戳均為A，點b和點d的時間戳均為B。點a與點c的差值為C，點b與點d的差值為D。假設第二參考值為E。可將C+E作為第一差異，也可將D+E作為第一差異，還可將（C+E+D+E）/2作為第一差異。
在又一種可能實現的方式中，確定第四樣條曲線與第一樣條曲線中時間戳相同的點之間的差值，得到第四差值；將第四差值的平方作為第一差異。舉例來說，第四樣條曲線中包含點a和點b，第一樣條曲線中包含點c和點d。點a和點c的時間戳均為A，點b和點d的時間戳均為B。點a與點c的差值為C，點b與點d的差值為D。可將C2 作為第一差異，也可將D2 作為第一差異，還可將（C2 +D2 ）/2作為第一差異。
404、在上述第一差異小於或等於上述第一閾值的情況下，確定上述參考位姿轉換關係為上述成像設備與上述慣性感測器之間的位姿轉換關係，以及確定上述第一時間偏移量為上述成像設備與上述慣性感測器之間的取樣時間偏移量。
由於第一時間偏移量為假想的成像設備與慣性感測器之間的時間偏差，步驟202獲得的第四樣條曲線的形狀應與第三樣條曲線的形狀相同。但在實際應用中，第四樣條曲線與第三樣條曲線之間可能會存在誤差。因此，在本申請實施例中，將第四樣條曲線與第三樣條曲線之間的差異小於或等於上述第一閾值的情況視為第四樣條曲線與第三樣條曲線相同。在第四樣條曲線與第三樣條曲線相同的情況下，即可確定第一時間偏移量為成像設備與慣性感測器之間的時間偏差，再結合上述實施例可知參考位姿轉換關係為成像設備與慣性感測器之間的位姿轉換關係。
本實施例透過將第三樣條曲線中的點的時間戳與第一時間偏移量相加獲得第四樣條曲線，再依據第四樣條曲線與第一樣條曲線之間的差異確定第一時間偏移量是否為成像設備與陀螺儀之間的時間偏差，以及確定參考位姿轉換關係是否為成像設備與陀螺儀之間的位姿轉換關係，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和時間偏差的精度。
需要理解的是，本實施例提供的技術方案為在前述實施例的基礎上實現的。在實際處理中，也可在不確定成像設備與慣性感測器之間的位姿轉換關係的情況下，確定成像設備與慣性感測器之間的取樣時間偏差。
在一種可能實現的方式中，所述時空偏差包括取樣時間偏移量；則標定方法還可以包括：獲取預設的第二時間偏移量、成像設備的至少兩個位姿和慣性感測器的至少兩個第一取樣資料；對至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線；將第一樣條曲線中的點的時間戳與第二時間偏移量相加，得到第九樣條曲線；依據第九樣條曲線與第二樣條曲線，得到第四差異。在第四差異小於或等於第四閾值的情況下，確定第二時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
本實施方式的詳細闡述與上述第3圖和第4圖所示的實施例的結合相近，具體可參照前述實施例所述，這裡不再贅述。
在上述慣性感測器為IMU的情況下，本申請實施例還提供了一種對成像設備與IMU進行標定的方法。
第5圖為本申請實施例提供的標定方法的流程示意圖四；本實施例具體對步驟102的一種可能實現方式的具體闡述。如圖5所示，方法可以包括：
501、依據上述至少兩個姿態，得到上述成像設備的至少兩個第二角速度。
本實施例中，上述至少兩個位姿可以包括至少兩個姿態，至少兩個第一取樣資料可以包括至少兩個第一角速度。其中，至少兩個第一角速度透過IMU中的陀螺儀取樣獲得。
在一些可選實施方式中，透過對成像設備的至少兩個姿態進行求導，可得到成像設備的至少兩個第二角速度。
502、對上述至少兩個第二角速度進行樣條擬合處理，得到上述第一樣條曲線，對上述至少兩個第一角速度進行樣條擬合處理，得到上述第二樣條曲線。
本步驟的實現過程可參見步驟102，其中，至少兩個第二角速度對應步驟102中的至少兩個位姿，至少兩個第一角速度對應步驟102中的至少兩個第一取樣資料。
基於本實施例提供的技術方案，可基於成像設備的至少兩個姿態獲得成像設備的角速度與時間的函數曲線（即第一樣條曲線），並可基於IMU中的陀螺儀獲得IMU的角速度與時間的函數曲線（即第二樣條曲線）。依據第一樣條曲線和第二樣條曲線，可確定成像設備與IMU之間的位姿轉換關係和/或取樣時間偏移量，例如，可使用前述實施例所提供的技術方案確定成像設備與IMU之間的位姿轉換關係和/或取樣時間偏移量。
由於IMU中除了陀螺儀之外還包括加速度計，可在本實施例的基礎上利用IMU中的加速度計取樣獲得的資料提高得到的成像設備與IMU之間的位姿轉換關係和/或取樣時間偏移量的精度。
第6圖為本申請實施例提供標定方法的流程示意圖五，本實施例中，上述至少兩個位姿還包括至少兩個第一位置，上述至少兩個第一取樣資料還包括至少兩個第一加速度。其中，至少兩個第一加速度透過IMU中的加速度計樣獲得。如第5圖所示，方法可以包括：
601、依據上述至少兩個第一位置，得到上述成像設備的至少兩個第二加速度。
602、對上述至少兩個第二加速度進行樣條擬合處理得到第五樣條曲線，對上述至少兩個第一加速度進行樣條擬合處理得到第六樣條曲線。
本步驟的實現過程可參見步驟102，其中，至少兩個第二加速度對應步驟102中的至少兩個位姿，第五樣條曲線對應步驟102中的第一樣條曲線，至少兩個第一加速度對應步驟102中的至少兩個第一取樣資料，第六樣條曲線對應步驟102中的第二樣條曲線。
603、依據上述第五樣條曲線和上述第六樣條曲線，得到第二差異。
本步驟可參見步驟403，其中，第五樣條曲線對應步驟403中的第一樣條曲線，第六樣條曲線對應步驟403中的第四樣條曲線，第二差異對應步驟403中的第一差異。
604、在上述第一差異小於或等於上述第一閾值，且上述第二差異小於或等於第二閾值的情況下，確定上述參考位姿轉換關係為上述成像設備與上述慣性感測器之間的位姿轉換關係，以及確定上述第一時間偏移量為上述成像設備與上述慣性感測器之間的取樣時間偏移量。
若成像設備與IMU之間不存在位姿偏差和/或取樣時間偏移量，則成像設備的角速度與IMU的角速度之間的差異應較小，且成像設備的加速度與IMU的加速度之間的差異也應較小。因此，本實施例中，在第一差異小於或等於上述第一閾值，且第二差異小於或等於第二閾值的情況下，確定參考位姿轉換關係為成像設備與慣性測量單元之間的位姿轉換關係，以及確定第一時間偏移量為成像設備與慣性感測器之間的取樣時間偏移量。
本實施例在前述實施例的基礎上利用了IMU的加速度計取樣得到的資料和成像設備的第一位置，得到第二差異。再依據第一差異和第二差異確定參考位姿轉換關係是否為成像設備與IMU之間的位姿轉換關係，以及確定第一時間偏移量為成像設備與IMU之間的取樣時間偏移量，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和時間偏差的精度。
此外，還可基於IMU中的加速度計採集到的資料與成像設備的位置，實現對成像設備與IMU的標定。
第7圖為本申請實施例提供的標定方法的流程示意圖六；本實施方式具體是對步驟102的另一種可能實現方式的具體闡述。本實施例中，上述至少兩個位姿包括至少兩個第二位置，至少兩個第一取樣資料包括至少兩個第三加速度。其中，至少兩個第三加速度透過IMU中的加速度計取樣獲得。如第7圖所示，方法可以包括：
701、依據上述至少兩個第二位置，得到上述成像設備的至少兩個第四加速度。
本實施例中，可透過對成像設備的至少兩個第二位置進行兩次求導，可得到成像設備的至少兩個第四加速度。
702、對上述至少兩個第四加速度進行樣條擬合處理，得到上述第一樣條曲線，對上述至少兩個第三加速度進行樣條擬合處理，得到上述第二樣條曲線。
本步驟的實現過程可參見步驟102，其中，至少兩個第四加速度對應步驟102中的至少兩個位姿，至少兩個第三加速度對應步驟102中的至少兩個第一取樣資料。
基於本實施例提供的技術方案，可基於成像設備的至少兩個第二位置獲得成像設備的加速度與時間的函數曲線（即第一樣條曲線），並可基於IMU中的加速度計獲得IMU的加速度與時間的函數曲線（即第二樣條曲線）。依據第一樣條曲線和第二樣條曲線，可確定成像設備與IMU之間的位姿轉換關係和/或取樣時間偏移量，例如，可使用前述實施例所提供的技術方案確定成像設備與IMU之間的位姿轉換關係和/或取樣時間偏移量。
由於IMU中除了加速度計之外還包括陀螺儀，可在本實施例的基礎上利用IMU中的陀螺儀取樣獲得的資料提高得到的成像設備與IMU之間的位姿轉換關係和/或取樣時間偏移量的精度。
第8圖為本申請實施例提供的標定方法的流程示意圖七。本實施例中，上述至少兩個位姿還包括至少兩個第二姿態，上述至少兩個第一取樣資料還包括至少兩個第三角速度。其中，至少兩個第三角速度透過IMU中的陀螺儀取樣獲得。如第8圖所示，方法可以包括：
801、依據上述至少兩個第二姿態，得到上述成像設備的至少兩個第四角速度。
802、對上述至少兩個第四角速度進行樣條擬合處理得到第七樣條曲線，對上述至少兩個第三角速度進行樣條擬合處理得到第八樣條曲線。
本步驟的實現過程可參見步驟102，其中，至少兩個第四角速度對應步驟102中的至少兩個位姿，第七樣條曲線對應步驟102中的第一樣條曲線，至少兩個第三角速度對應步驟102中的至少兩個第一取樣資料，第八樣條曲線對應步驟102中的第二樣條曲線。
803、依據上述第七樣條曲線和上述第八樣條曲線，得到第三差異。
本步驟可參見步驟403，其中，第七樣條曲線對應步驟403中的第一樣條曲線，第八樣條曲線對應步驟403中的第四樣條曲線，第三差異對應步驟403中的第一差異。
804、在上述第一差異小於或等於上述第一閾值，且上述第三差異小於或等於第三閾值的情況下，確定上述參考位姿轉換關係為上述成像設備與上述慣性感測器之間的位姿轉換關係，以及確定上述第一時間偏移量為上述成像設備與上述慣性感測器之間的取樣時間偏移量。
若成像設備與IMU之間不存在位姿偏差和/或取樣時間偏移量，則成像設備的角速度與IMU的角速度之間的差異應較小，且成像設備的加速度與IMU的加速度之間的差異也應較小。因此，本實施例中，在第一差異小於或等於上述第一閾值，且第三差異小於或等於第三閾值的情況下，確定參考位姿轉換關係為成像設備與慣性測量單元之間的位姿轉換關係，以及確定第一時間偏移量為成像設備與慣性感測器之間的取樣時間偏移量。
本實施例在前述實施例的基礎上利用了IMU的陀螺儀取樣得到的資料和成像設備的第二姿態，得到第三差異。在依據第一差異和第三差異確定參考位姿轉換關係是否為成像設備與IMU之間的位姿轉換關係，以及確定第一時間偏移量為成像設備與IMU之間的取樣時間偏移量，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和時間偏差的精度。
基於本申請實施例提供的技術方案，本申請實施例還提供了幾種應用場景： 場景A：成像設備和IMU屬於電子設備，基於成像設備和IMU可實現對電子設備的定位。實現過程如下： 使用成像設備採集至少兩張圖像，並在成像設備採集至少兩張圖像的過程中，獲得IMU採集到的至少兩個第二取樣資料。其中，成像設備採集的圖像的數量大於或等於1，第二取樣資料包括角速度和/或加速度。舉例來說，電子設備在參考時間段內使用成像設備採集了至少兩張圖像，且電子設備在參考時間段內使用IMU採集獲得包括角速度和/或加速度的至少兩個第二取樣資料。
透過對至少兩張圖像進行特徵點匹配處理，可確定至少兩張圖像中的同名點。依據同名點在至少兩張圖像中的座標，可得到同名點在圖像坐標系下的運動軌跡，即電子設備在圖像坐標系下的運動軌跡（下文將稱為第一運動軌跡）。依據至少兩個第二取樣資料，可得到電子設備在世界坐標系下的運動軌跡（下文將稱為第二運動軌跡）。
本申請實施例中，同一個物理點在兩張不同的圖像中的圖元點互為同名點。在第9圖所示的兩張圖像，其中，圖元點A與圖元點C互為同名點，圖元點B與圖元點D互為同名點。
基於本申請實施例提供的技術方案對電子設備中的成像設備和IMU進行標定，確定成像設備和IMU之間的位姿轉換關係為第一位姿轉換關係，確定成像設備和IMU之間的取樣時間偏移量為第一取樣時間偏移量。
將第一運動軌跡時間戳與第一取樣時間偏移量相加，得到第三運動軌跡。依據第一位姿轉換關係對第三運動軌跡進行轉換，得到第四運動軌跡。依據第二運動軌跡與第四運動軌跡，得到第二運動軌跡與第四運動軌跡之間的位姿轉換關係，即電子設備在圖像坐標系下的運動軌跡與電子設備在世界坐標系下的位姿轉換關係（下文將稱為第二位姿轉換關係）。
依據第二位姿轉換關係和第一運動軌跡，得到第五運動軌跡，即為電子設備在世界坐標系下的運動軌跡。
採集到的至少兩張圖像均包含時間戳，將至少兩張圖像的時間戳中的最小時間戳作為參考時間戳。獲取電子設備在參考時間戳下的位姿（下文將稱為初始位姿）。
依據初始位姿和第五運動軌跡，可確定電子設備在目標時間段內的任意時刻下的位姿，其中，目標時間段為採集至少兩張圖像的時間段。
場景B：擴增實境(Augmented Reality，AR)技術是一種將虛擬資訊與真實世界巧妙融合的技術，該技術可以將虛擬資訊與真實環境即時地疊加到一個畫面。智慧終端機可基於IMU與相機實現AR技術，其中，智慧終端機包括：手機、電腦、平板電腦。例如，手機基於IMU和相機可實現AR技術。
為提高智慧終端機實現的AR技術的效果，可使用本申請實施例提供的技術方案對智慧終端機的IMU和相機進行標定。
在一種對智慧終端機的IMU和相機進行標定的可能實現的方式中，透過移動智慧終端機對標定板進行拍攝，獲得至少六張圖像和至少六個IMU資料（包括角速度和加速度）。基於本申請實施例提供的技術方案可利用至少六張圖像和至少六個IMU資料，得到智慧終端機的相機與智慧終端機的IMU之間的位姿轉換關係，基於本申請實施例提供的技術方案可利用至少六張圖像和至少六個IMU資料，得到智慧終端機的相機與智慧終端機的IMU之間的位姿轉換關係和時間偏差。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
上述詳細闡述了本申請實施例的方法，下面提供了本申請實施例的裝置。
請參閱第10圖，圖10為本申請實施例提供的一種標定裝置的結構示意圖，該標定裝置1包括：獲取單元11、第一處理單元12和第二處理單元13，其中： 獲取單元11，配置為獲取成像設備的至少兩個位姿，以及獲取慣性感測器的至少兩個第一取樣資料； 第一處理單元12，配置為對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線； 第二處理單元13，配置為依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，所述時空偏差包括位姿轉換關係、取樣時間偏移量中的至少一個。
結合本申請任一實施方式，所述時空偏差包括位姿轉換關係； 所述獲取單元11，還配置為在所述第二處理單元13依據所述第一樣條曲線與所述第二樣條曲線、得到所述成像設備與所述慣性感測器之間的時空偏差之前，獲取預設的參考位姿轉換關係； 所述第一處理單元12，還配置為依據所述參考位姿轉換關係對所述第二樣條曲線進行轉換，得到第三樣條曲線； 所述第二處理單元13，配置為依據所述第一樣條曲線與所述第三樣條曲線，得到第一差異；在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係。
結合本申請任一實施方式，所述時空偏差還包括取樣時間偏移量；所述第一樣條曲線中的點均攜帶時間戳資訊； 所述獲取單元11，還配置為在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係之前，獲取預設的第一時間偏移量； 所述第一處理單元12，配置為將所述第三樣條曲線中的點的時間戳與所述第一時間偏移量相加，得到第四樣條曲線； 所述第二處理單元13，配置為依據所述第四樣條曲線與所述第一樣條曲線，得到所述第一差異；在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個姿態；所述至少兩個第一取樣資料包括至少兩個第一角速度； 所述第一處理單元12，配置為依據所述至少兩個姿態，得到所述成像設備的至少兩個第二角速度；對所述至少兩個第二角速度進行樣條擬合處理，得到所述第一樣條曲線；對所述至少兩個第一角速度進行樣條擬合處理，得到所述第二樣條曲線。
結合本申請任一實施方式，所述至少兩個位姿還包括至少兩個第一位置；所述至少兩個第一取樣資料還包括至少兩個第一加速度； 所述第一處理單元12，配置為在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，依據所述至少兩個第一位置，得到所述成像設備的至少兩個第二加速度；對所述至少兩個第二加速度進行樣條擬合處理得到第五樣條曲線，對所述至少兩個第一加速度進行樣條擬合處理得到第六樣條曲線； 所述第二處理單元13，配置為依據所述第五樣條曲線和所述第六樣條曲線，得到第二差異；在所述第一差異小於或等於所述第一閾值，且所述第二差異小於或等於第二閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個第二位置；所述至少兩個第一取樣資料包括至少兩個第三加速度； 所述第一處理單元12，配置為依據所述至少兩個第二位置，得到所述成像設備的至少兩個第四加速度；對所述至少兩個第四加速度進行樣條擬合處理，得到所述第一樣條曲線；對所述至少兩個第三加速度進行樣條擬合處理，得到所述第二樣條曲線。
結合本申請任一實施方式，所述至少兩個位姿還包括至少兩個第二姿態；所述至少兩個第一取樣資料還包括至少兩個第三角速度； 所述第一處理單元12，配置為在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，依據所述至少兩個第二姿態，得到所述成像設備的至少兩個第四角速度； 所述第二處理單元13，配置為對所述至少兩個第四角速度進行樣條擬合處理得到第七樣條曲線，對所述至少兩個第三角速度進行樣條擬合處理得到第八樣條曲線；依據所述第七樣條曲線和所述第八樣條曲線，得到第三差異；在所述第一差異小於或等於所述第一閾值，且所述第三差異小於或等於第三閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述時空偏差包括取樣時間偏移量； 所述獲取單元11，還配置為在所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差之前，獲取預設的第二時間偏移量； 所述第一處理單元12，還配置為將所述第一樣條曲線中的點的時間戳與所述第二時間偏移量相加，得到第九樣條曲線； 所述第二處理單元13，配置為依據所述第九樣條曲線與所述第二樣條曲線，得到第四差異；在所述第四差異小於或等於第四閾值的情況下，確定所述第二時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
結合本申請任一實施方式，所述成像設備和所述慣性感測器屬於所述標定裝置1； 所述成像設備，配置為採集至少兩張圖像； 所述慣性感測器，配置為在所述成像設備採集所述至少兩張圖像的過程中，獲得至少兩個第二取樣資料； 所述獲取單元11，配置為依據所述至少兩張圖像、所述至少兩個第二取樣資料和所述時空偏差，得到所述成像設備在採集圖像時的位姿。
本實施例透過對成像設備的至少兩個位姿進行樣條擬合處理得到第一樣條曲線，以及慣性感測器的第一取樣資料進行樣條擬合處理得到第二樣條曲線。依據第一樣條曲線與第二樣條曲線之間確定成像設備與慣性感測器之間的位姿轉換關係和/或取樣時間偏移量，可提高獲得的成像設備與慣性感測器之間的位姿轉換關係和/或取樣時間偏移量的精度。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
第11圖為本申請實施例提供的一種電子設備的硬體結構示意圖。如第11圖所示，該電子設備2包括處理器21和記憶體22，所述記憶體22用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，當所述處理器21執行所述電腦指令時，所述電子設備執行如本申請上述任意實施例所述的標定方法。
可選地，電子設備2還可以包括輸入裝置23和輸出裝置24。該電子設備2中的各個元件可透過連接器相耦合，該連接器包括各類介面、傳輸線或匯流排等等，本申請實施例對此不作限定。應當理解，本申請的各個實施例中，耦合是指透過特定方式的相互聯繫，包括直接相連或者透過其他設備間接相連，例如可以透過各類介面、傳輸線、匯流排等相連。
處理器21可以包括是一個或多個處理器，例如包括一個或多個中央處理器（Central Processing Unit，CPU），在處理器是一個CPU的情況下，該CPU可以是單核CPU，也可以是多核CPU。可選的，處理器21可以是多個GPU構成的處理器組，多個處理器之間透過一個或多個匯流排彼此耦合。可選的，該處理器還可以為其他類型的處理器等等，本申請實施例不作限定。
記憶體22可用於儲存電腦程式指令，以及用於執行本申請方案的程式碼在內的各類電腦程式代碼。可選地，記憶體包括但不限於是隨機儲存記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、可擦除可程式設計唯讀記憶體（Erasable Programmable Read Only Memory，EPROM）、或可攜式唯讀記憶體（Compact Disc Read-Only Memory，CD-ROM），該記憶體用於相關指令及資料。
輸入裝置23用於輸入資料和/或信號，輸出裝置24用於輸出資料和/或信號。輸入裝置23和輸出裝置24可以是獨立的器件，也可以是一個整體的器件。
可理解，本申請實施例中，記憶體22不僅可用於儲存相關指令，還可用於儲存相關資料，如該記憶體22可用於儲存透過輸入裝置23獲取的第一取樣資料，又或者該記憶體22還可用於儲存透過處理器21得到的時空偏差等等，本申請實施例對於該記憶體中具體所儲存的資料不作限定。
可以理解的是，第11圖僅僅示出了一種電子設備的簡化設計。在實際應用中，電子設備還可以分別包含必要的其他元件，包含但不限於任意數量的輸入/輸出裝置、處理器、記憶體等，而所有可以實現本申請實施例的電子設備都在本申請實施例的保護範圍之內。
本申請實施例還提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行本申請上述實施例中任意一項所述的標定方法。
本申請實施例還提供了一種處理器，所述處理器用於執行本申請上述實施例中任意一項所述的標定方法。
本申請實施例還提供了一種包含指令的電腦程式產品，當所述電腦程式產品在電腦上運行時，使得所述電腦執行本申請上述實施例中任意一項所述的標定方法。
本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本申請的範圍。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。所屬領域的技術人員還可以清楚地瞭解到，本申請各個實施例描述各有側重，為描述的方便和簡潔，相同或類似的部分在不同實施例中可能沒有贅述，因此，在某一實施例未描述或未詳細描述的部分可以參見其他實施例的記載。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些介面，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
在上述實施例中，可以全部或部分地透過軟體、硬體、固件或者其任意組合來實現。當使用軟體實現時，可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦指令。在電腦上載入和執行所述電腦程式指令時，全部或部分地產生按照本申請實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式設計裝置。所述電腦指令可以儲存在電腦可讀儲存介質中，或者透過所述電腦可讀儲存介質進行傳輸。所述電腦指令可以從一個網站站點、電腦、伺服器或資料中心透過有線（例如同軸電纜、光纖、數位用戶線路（Digital Subscriber Line，DSL））或無線（例如紅外、無線、微波等）方式向另一個網站站點、電腦、伺服器或資料中心進行傳輸。所述電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料存放裝置。所述可用介質可以是磁性介質，(例如，軟碟、硬碟、磁帶)、光介質(例如，數位通用光碟（Digital Versatile Disc，DVD）)、或者半導體介質（例如固態硬碟（Solid State Disk，SSD））等。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，該流程可以由電腦程式來指令相關的硬體完成，該程式可儲存於電腦可讀取儲存介質中，該程式在執行時，可包括如上述各方法實施例的流程。而前述的儲存介質包括：唯讀記憶體（Read-Only Memory，ROM）或隨機儲存記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可儲存程式碼的介質。
101,102,103:步驟 301,302,303,304,305:步驟 401,402,403,404:步驟 501,502:步驟 601,602,603,604:步驟 701,702:步驟 801,802,803,804:步驟 A,B,C,D:圖元點 1:標定裝置 11:獲取單元 12:第一處理單元 13:第二處理單元 2:電子設備 21:處理器 22:記憶體 23:輸入裝置 24:輸出裝置
為了更清楚地說明本申請實施例或背景技術中的技術方案，下面將對本申請實施例或背景技術中所需要使用的附圖進行說明。
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本揭露的實施例，並與說明書一起用於說明本揭露的技術方案。
第1圖為本申請實施例提供的標定方法的流程示意圖一； 第2圖為本申請實施例提供的一種對慣性感測器的角速度進行樣條擬合處理之前及之後的示意圖； 第3圖為本申請實施例提供的標定方法的流程示意圖二； 第4圖為本申請實施例提供的標定方法的流程示意圖三； 第5圖為本申請實施例提供的標定方法的流程示意圖四； 第6圖為本申請實施例提供的標定方法的流程示意圖五； 第7圖為本申請實施例提供的標定方法的流程示意圖六； 第8圖為本申請實施例提供的標定方法的流程示意圖七； 第9圖為本申請實施例提供的一種同名點的示意圖； 第10圖為本申請實施例提供的一種標定裝置的結構示意圖； 第11圖為本申請實施例提供的一種電子設備的硬體結構示意圖。
101,102,103:步驟

Claims (10)

  1. 一種標定方法，所述方法包括：獲取成像設備的至少兩個位姿，以及獲取慣性感測器的至少兩個第一取樣資料；對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線；依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，所述時空偏差包括位姿轉換關係、取樣時間偏移量中的至少一個；其中，所述時空偏差包括位姿轉換關係；在所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差之前，所述方法還包括：獲取預設的參考位姿轉換關係；依據所述參考位姿轉換關係對所述第二樣條曲線進行轉換，得到第三樣條曲線；所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，包括：依據所述第一樣條曲線與所述第三樣條曲線，得到第一差異；在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係。
  2. 根據請求項1所述的方法，其中，所述時空偏差還包括取樣時間偏移量；所述第一樣條曲線中的點均攜帶時間戳資訊；所述在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係之前，所述方法還包括： 獲取預設的第一時間偏移量；將所述第三樣條曲線中的點的時間戳與所述第一時間偏移量相加，得到第四樣條曲線；所述依據所述第一樣條曲線與所述第三樣條曲線，得到第一差異，包括：依據所述第四樣條曲線與所述第一樣條曲線，得到所述第一差異；所述在所述第一差異小於或等於第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，包括：在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
  3. 根據請求項2所述的方法，其中，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個姿態；所述至少兩個第一取樣資料包括至少兩個第一角速度；所述對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，包括：依據所述至少兩個姿態，得到所述成像設備的至少兩個第二角速度；對所述至少兩個第二角速度進行樣條擬合處理，得到所述第一樣條曲線；所述對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線，包括：對所述至少兩個第一角速度進行樣條擬合處理，得到所述第二樣條曲線。
  4. 根據請求項3中所述的方法，其中，所述至少兩個位姿還包括至少兩個第一位置；所述至少兩個第一取樣資料還包括至少兩個第一加速度；所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，所述方法還包括： 依據所述至少兩個第一位置，得到所述成像設備的至少兩個第二加速度；對所述至少兩個第二加速度進行樣條擬合處理得到第五樣條曲線，對所述至少兩個第一加速度進行樣條擬合處理得到第六樣條曲線；依據所述第五樣條曲線和所述第六樣條曲線，得到第二差異；所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量，包括：在所述第一差異小於或等於所述第一閾值，且所述第二差異小於或等於第二閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
  5. 根據請求項2所述的方法，其中，所述慣性感測器包括慣性測量單元；所述至少兩個位姿包括至少兩個第二位置；所述至少兩個第一取樣資料包括至少兩個第三加速度；所述對所述至少兩個位姿進行樣條擬合處理得到第一樣條曲線，包括：依據所述至少兩個第二位置，得到所述成像設備的至少兩個第四加速度；對所述至少兩個第四加速度進行樣條擬合處理，得到所述第一樣條曲線；所述對所述至少兩個第一取樣資料進行樣條擬合處理得到第二樣條曲線，包括：對所述至少兩個第三加速度進行樣條擬合處理，得到所述第二樣條曲線。
  6. 根據請求項5中所述的方法，其中，所述至少兩個位姿還包括至少兩個第二姿態；所述至少兩個第一取樣資料還包括至少兩個第三角速度；所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位 姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量之前，所述方法還包括：依據所述至少兩個第二姿態，得到所述成像設備的至少兩個第四角速度；對所述至少兩個第四角速度進行樣條擬合處理得到第七樣條曲線，對所述至少兩個第三角速度進行樣條擬合處理得到第八樣條曲線；依據所述第七樣條曲線和所述第八樣條曲線，得到第三差異；所述在所述第一差異小於或等於所述第一閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量，包括：在所述第一差異小於或等於所述第一閾值，且所述第三差異小於或等於第三閾值的情況下，確定所述參考位姿轉換關係為所述成像設備與所述慣性感測器之間的位姿轉換關係，以及確定所述第一時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
  7. 根據請求項1至6中任意一項所述的方法，其中，所述時空偏差包括取樣時間偏移量；在所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差之前，所述方法還包括：獲取預設的第二時間偏移量；將所述第一樣條曲線中的點的時間戳與所述第二時間偏移量相加，得到第九樣條曲線；依據所述第九樣條曲線與所述第二樣條曲線，得到第四差異；所述依據所述第一樣條曲線與所述第二樣條曲線，得到所述成像設備與所述慣性感測器之間的時空偏差，包括： 在所述第四差異小於或等於第四閾值的情況下，確定所述第二時間偏移量為所述成像設備與所述慣性感測器之間的取樣時間偏移量。
  8. 根據請求項1至6中任意一項所述的方法，其中，所述成像設備和所述慣性感測器屬於電子設備，所述方法還包括：使用所述成像設備採集至少兩張圖像；在所述成像設備採集所述至少兩張圖像的過程中，獲得所述慣性感測器的至少兩個第二取樣資料；依據所述至少兩張圖像、所述至少兩個第二取樣資料和所述時空偏差，得到所述電子設備的成像設備在採集所述圖像時的位姿。
  9. 一種電子設備，包括：處理器和記憶體，所述記憶體用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，當所述處理器執行所述電腦指令時，所述電子設備執行如請求項1至8中任一項所述的方法。
  10. 一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行請求項1至8中任意一項所述的方法。
TW109116666A 2019-12-31 2020-05-20 標定方法、電子設備及儲存介質 TWI766282B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911420020.3A CN111060138B (zh) 2019-12-31 2019-12-31 标定方法及装置、处理器、电子设备、存储介质
CN201911420020.3 2019-12-31

Publications (2)

Publication Number Publication Date
TW202127375A TW202127375A (zh) 2021-07-16
TWI766282B true TWI766282B (zh) 2022-06-01

Family

ID=70305937

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116666A TWI766282B (zh) 2019-12-31 2020-05-20 標定方法、電子設備及儲存介質

Country Status (6)

Country Link
US (1) US20220319050A1 (zh)
JP (1) JP2023502635A (zh)
KR (1) KR20220079978A (zh)
CN (1) CN111060138B (zh)
TW (1) TWI766282B (zh)
WO (1) WO2021134960A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551191B (zh) * 2020-04-28 2022-08-09 浙江商汤科技开发有限公司 传感器外参数标定方法及装置、电子设备和存储介质
CN113701745B (zh) * 2020-05-21 2024-03-08 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
US11977149B2 (en) 2021-10-27 2024-05-07 GM Global Technology Operations LLC Filtering and aggregating detection points of a radar point cloud for an autonomous vehicle
US11965978B2 (en) * 2021-10-27 2024-04-23 GM Global Technology Operations LLC Calibration pipeline for estimating six degrees of freedom (6DoF) alignment parameters for an autonomous vehicle
US12061255B2 (en) 2021-10-27 2024-08-13 GM Global Technology Operations LLC Scan matching and radar pose estimator for an autonomous vehicle based on hyper-local submaps
CN117147903A (zh) * 2022-05-22 2023-12-01 远也科技（苏州）有限公司 一种确定运动参数的方法、装置及系统
CN115980391B (zh) * 2023-03-21 2023-10-10 中国汽车技术研究中心有限公司 事件数据记录系统的加速度传感器测试方法、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103994765A (zh) * 2014-02-27 2014-08-20 北京工业大学 一种惯性传感器的定位方法
CN104062977A (zh) * 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
CN104764452A (zh) * 2015-04-23 2015-07-08 北京理工大学 一种基于惯性和光学跟踪系统的混合位姿跟踪方法
US20170371352A1 (en) * 2016-06-27 2017-12-28 Parrot Drones Method for dynamically converting the attitude of a rotary-wing drone
TW201803635A (zh) * 2016-07-25 2018-02-01 高通公司 萬向通用無人機控制器
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN110058205A (zh) * 2019-05-24 2019-07-26 中国人民解放军陆军炮兵防空兵学院郑州校区 一种基于迭代最近点算法的警戒雷达系统误差校正方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424212B2 (en) * 2004-11-12 2008-09-09 Fujifilm Corporation Camera shaking correcting method, camera shaking correcting device, and image pickup device
US9678102B2 (en) * 2011-11-04 2017-06-13 Google Inc. Calibrating intertial sensors using an image sensor
US10254118B2 (en) * 2013-02-21 2019-04-09 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN107314778B (zh) * 2017-08-04 2023-02-10 广东工业大学 一种相对姿态的标定方法、装置及系统
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
CN110057352B (zh) * 2018-01-19 2021-07-16 北京图森智途科技有限公司 一种相机姿态角确定方法及装置
CN109613543B (zh) * 2018-12-06 2020-09-25 深圳前海达闼云端智能科技有限公司 激光点云数据的修正方法、装置、存储介质和电子设备
CN110296717B (zh) * 2019-06-21 2020-08-28 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN110378968B (zh) * 2019-06-24 2022-01-14 奥比中光科技集团股份有限公司 相机和惯性测量单元相对姿态的标定方法及装置
CN110398979B (zh) * 2019-06-25 2022-03-04 天津大学 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103994765A (zh) * 2014-02-27 2014-08-20 北京工业大学 一种惯性传感器的定位方法
CN104062977A (zh) * 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
CN104764452A (zh) * 2015-04-23 2015-07-08 北京理工大学 一种基于惯性和光学跟踪系统的混合位姿跟踪方法
US20170371352A1 (en) * 2016-06-27 2017-12-28 Parrot Drones Method for dynamically converting the attitude of a rotary-wing drone
TW201803635A (zh) * 2016-07-25 2018-02-01 高通公司 萬向通用無人機控制器
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN110058205A (zh) * 2019-05-24 2019-07-26 中国人民解放军陆军炮兵防空兵学院郑州校区 一种基于迭代最近点算法的警戒雷达系统误差校正方法

Also Published As

Publication number Publication date
CN111060138B (zh) 2022-01-28
WO2021134960A1 (zh) 2021-07-08
KR20220079978A (ko) 2022-06-14
CN111060138A (zh) 2020-04-24
US20220319050A1 (en) 2022-10-06
JP2023502635A (ja) 2023-01-25
TW202127375A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
TWI766282B (zh) 標定方法、電子設備及儲存介質
US20210233275A1 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
WO2021093593A1 (zh) 运动数据标定方法、装置、终端设备及存储介质
CN108389264B (zh) 坐标系统确定方法、装置、存储介质及电子设备
WO2022100189A1 (zh) 视觉惯性系统的参数标定方法及装置、电子设备和介质
CN110379017B (zh) 一种场景构建方法、装置、电子设备及存储介质
WO2023029893A1 (zh) 纹理映射方法、装置、设备及存储介质
US10558261B1 (en) Sensor data compression
CN113188505B (zh) 姿态角度的测量方法、装置、车辆及智能臂架
CN113551690A (zh) 校准参数的获取方法、装置、电子设备及存储介质
US11500413B2 (en) Headset clock synchronization
US20240029350A1 (en) Computing apparatus and model generation method
TWI822423B (zh) 運算裝置及模型產生方法
US20220086350A1 (en) Image Generation Method and Apparatus, Terminal and Corresponding Storage Medium
CN112950726B (zh) 摄像头朝向标定方法及相关产品
CN111307176B (zh) 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
CN112132909A (zh) 参数获取方法及装置、媒体数据处理方法和存储介质
CN114234959B (zh) 机器人、vslam初始化方法、装置和可读存储介质
CN110207687B (zh) 物体姿态测量方法、测量装置、电子设备及存储介质
CN117115333B (zh) 一种结合imu数据的三维重建方法
CN114323010B (zh) 初始特征确定方法、装置、电子设备及存储介质
CN117308929A (zh) 光学定位器的姿态确定方法、装置、设备及介质
CN117745834A (zh) 相机标定方法、系统、设备、介质及产品