WO2021043214A1 - 一种标定方法、装置及飞行器 - Google Patents

一种标定方法、装置及飞行器 Download PDF

Info

Publication number
WO2021043214A1
WO2021043214A1 PCT/CN2020/113257 CN2020113257W WO2021043214A1 WO 2021043214 A1 WO2021043214 A1 WO 2021043214A1 CN 2020113257 W CN2020113257 W CN 2020113257W WO 2021043214 A1 WO2021043214 A1 WO 2021043214A1
Authority
WO
WIPO (PCT)
Prior art keywords
imu
camera
pose parameter
parameter
coordinate system
Prior art date
Application number
PCT/CN2020/113257
Other languages
English (en)
French (fr)
Inventor
谢青青
Original Assignee
深圳市道通智能航空技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市道通智能航空技术有限公司 filed Critical 深圳市道通智能航空技术有限公司
Publication of WO2021043214A1 publication Critical patent/WO2021043214A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • This application relates to the field of robot vision technology, in particular to a calibration method, device and aircraft.
  • unmanned aerial vehicles are widely used in military reconnaissance, disaster relief, address exploration and other fields.
  • the camera and IMU are important components in the aircraft. Because the camera is prone to failure under conditions such as rapid movement and changes in illumination, the IMU can obtain the movement information inside the robot at a high frequency and is not affected by the surroundings. The impact of the environment, thereby making up for the lack of cameras. At the same time, the camera can obtain rich environmental information, complete loop detection and loop correction through visual matching, thereby effectively correcting the accumulated drift error of the IMU. Therefore, the fusion of the camera and the IMU is considered to have great potential to achieve low-cost and high-precision Positioning and image measurement.
  • Offline calibration methods require the sensor module to be stationary and the sensor module to rotate around the IMU; or complex optimization problems need to be constructed to calibrate the camera and IMU external parameters and IMU deviation .
  • the deviation value of the IMU will slowly change due to factors such as temperature.
  • the camera and IMU are not strictly rigid connection during the operation of the equipment, and the rotation and translation of the external parameters may produce small changes. Therefore, the traditional camera and IMU parameter calibration methods The accuracy of the offline calibration method is low.
  • the main purpose of the present invention is to provide a calibration method, device and aircraft, aiming to achieve accurate online calibration of camera and IMU parameters.
  • the present invention provides a calibration method applied to an aircraft, and the method includes:
  • the first pose parameter includes a position parameter and a pose parameter of the camera in the world coordinate system
  • the second pose parameter includes a position parameter and a pose parameter of the IMU in the world coordinate system
  • the constructing a system state model according to the second pose parameter includes:
  • a system state model is constructed according to the system state.
  • the system status is:
  • T is the transposition of the vector
  • G P I is the position of the IMU in the world coordinate system
  • Is the posture of the IMU in the world coordinate system
  • G V I is the speed of the IMU in the world coordinate system
  • b a is the deviation of IMU angular velocity measurement
  • b g is the deviation of IMU acceleration measurement
  • I r C is the external parameters of the camera and IMU Translation component of Is the rotation component of the external parameters of the camera and IMU.
  • the establishing the system state model according to the system state includes:
  • the constructing the system measurement model according to the first pose parameter, the second pose parameter, and the state model includes:
  • the coordinates of any spatial point in the space in the camera coordinate system are selected to construct the system measurement model, where the system measurement model is:
  • Is the position of any point in space Is the conversion matrix from IMU coordinate system to camera coordinate system; Is the conversion matrix from the world coordinate system to the IMU coordinate system; Is the position of the space point in the world coordinate system; I r C is the translation component of the external parameters of the camera and the IMU.
  • the present invention also provides a calibration device, the device is installed in an aircraft, the aircraft is further provided with a camera and an IMU, and the calibration device includes:
  • the first pose module is used to obtain the first pose parameter of the camera, where the first pose parameter includes the position parameter and the pose parameter of the camera in the world coordinate system;
  • the second pose module is used to obtain the second pose parameter of the IMU, where the second pose parameter includes the position parameter and the pose parameter of the IMU in the world coordinate system;
  • the first modeling module is used to build a system state model
  • the second modeling module is configured to construct a system measurement model according to the first pose parameter, the second pose parameter, and the state model;
  • the third modeling module is configured to construct a nonlinear Kalman filter according to the system state model and the system measurement model;
  • the filtering module uses the nonlinear Kalman filter to perform filtering processing on the first pose parameter and the second pose parameter, and output a filter convergence value, wherein the filter convergence value includes the camera and the Calibration estimates of IMU parameters.
  • the first modeling module is also used for:
  • a system state model is constructed according to the system state.
  • the system status is:
  • T is the transposition of the vector
  • G P I is the position of the IMU in the world coordinate system
  • Is the posture of the IMU in the world coordinate system
  • G V I is the speed of the IMU in the world coordinate system
  • b a is the deviation of IMU angular velocity measurement
  • b g is the deviation of IMU acceleration measurement
  • I r C is the external parameters of the camera and IMU Translation component of Is the rotation component of the external parameters of the camera and IMU.
  • the second modeling module is also used for:
  • the present invention also provides an aircraft that includes a fuselage, an arm connected to the fuselage, a power device provided on the arm, a camera connected to the fuselage, and a camera connected to the camera.
  • the memory is used to store a calibration program executable by the computer
  • the processor is used for calling a calibration program executable by the computer to implement the aforementioned calibration method.
  • the calibration method provided by the present invention obtains the first pose parameter of the camera, where the first pose parameter includes the position parameter and the pose of the camera in the world coordinate system. Parameters; acquiring the second pose parameter of the IMU, where the second pose parameter includes the position parameter and the pose parameter of the IMU in the world coordinate system; construct a system state model according to the second pose parameter; Construct a system measurement model based on the first pose parameter, the second pose parameter and the state model; construct a nonlinear Kalman filter based on the system state model and the system measurement model; use the non-linear Kalman filter
  • the linear Kalman filter performs filtering processing on the first pose parameter and the second pose parameter, and outputs a filter convergence value, where the filter convergence value includes the calibrated estimated value of the camera and IMU parameters, Use the obtained calibration estimates to achieve accurate online calibration of the camera and IMU parameters.
  • FIG. 1 is a schematic diagram of a communication connection between an aircraft and a terminal device according to an embodiment of the present invention
  • FIG. 3 is a flowchart of sub-steps of step S12 in FIG. 2;
  • FIG. 4 is a schematic diagram of a block diagram structure of a calibration device provided by an embodiment of the present invention.
  • Fig. 5 is a schematic block diagram of a module structure of an aircraft provided by an embodiment of the present invention.
  • the present invention provides a calibration method, device, and aircraft, wherein the calibration method is applied to an aircraft, and the aircraft is provided with a camera and an IMU, and the calibration method obtains a first pose parameter of the camera, wherein, The first pose parameter includes the position parameter and the pose parameter of the camera in the world coordinate system; the second pose parameter of the IMU is acquired, wherein the second pose parameter includes the IMU in the world coordinate system
  • the position parameters and posture parameters of the system the system state model is constructed according to the second posture parameter; the system measurement model is constructed according to the first posture parameter, the second posture parameter, and the state model; according to the system
  • the state model and the system measurement model construct a nonlinear Kalman filter; use the nonlinear Kalman filter to filter the first pose parameter and the second pose parameter, and output a filter convergence value ,
  • the filter convergence value includes a calibration estimation value of the camera and IMU parameters, and the obtained calibration estimation value is used to realize accurate online calibration of the camera and IMU parameters.
  • FIG. 1 is an aircraft 10 provided by the present invention.
  • the aircraft 10 is in communication connection with a terminal device 30.
  • the terminal device 30 is used to control the aircraft 10.
  • the aircraft 10 may be a rotary-wing aircraft, such as a quad-rotor aircraft, a hexa-rotor aircraft, or a fixed-wing aircraft.
  • the terminal device 30 is, for example, a smart phone, a tablet computer, a computer, a remote control, and the like.
  • the user can interact with the terminal device 30 through any suitable type of one or more user interaction devices, and these user interaction devices may be a mouse, a button, a touch screen, and the like.
  • the aircraft 10 includes a fuselage 101, an arm 102 connected to the fuselage 101, a power device 103 provided on the arm 102, and a control system (not shown) provided on the fuselage 101.
  • the power unit 103 is used to provide thrust, lift, etc. for the flight of the aircraft 10.
  • the control system is the central nerve of the aircraft 10 and may include multiple functional modules, such as a flight control system, a tracking system, a path planning system, and other systems with specific functions .
  • the flight control system includes various sensors, such as IMU, gyroscope, accelerometer, etc., and the flight control system is used to control the flight attitude of the aircraft 10 and so on.
  • the path planning system is used to plan the flight path of the aircraft 10 based on the location of the tracking target, and instruct the flight control system to control the flight attitude of the aircraft 10 to make the aircraft 10 fly according to the designated path.
  • the tracking system includes a camera 104 connected to the fuselage 101 and a vision chip set on the fuselage 101.
  • the camera 104 is in communication with the vision chip.
  • the camera 104 is used to capture media data such as images or videos of the target to be tracked. It is used to identify the target to be tracked from the media data, thereby generating the corresponding tracking control instruction.
  • the camera 104 can be a high-definition digital camera or other camera device.
  • the camera 104 can be set at any suitable location that is convenient for shooting.
  • the camera 104 is mounted on the bottom of the body 101 via a pan-tilt.
  • the vision chip may also be provided on the arm 102.
  • the vision chip can use the target frame to select and track the target according to the characteristics of the target.
  • Some application scenarios of the aircraft 10 also include a terminal device 30, and the target frame may be sent to the aircraft 10 through the terminal device 30.
  • the terminal device 30 may display a picture taken by the aircraft 10, and the user can select the target to be tracked in the picture to obtain an initial target frame, and then upload the initial target frame to the aircraft 10.
  • a communication connection can be established through respective wireless communication modules, such as signal receivers, signal transmitters, etc., to upload or issue data/commands.
  • the initial target frame may also be stored in the storage device or vision chip of the aircraft 10 in advance.
  • FIG. 2 is a calibration method provided by the present invention. The method is applied to an aircraft 10 and executed by a vision chip of the aircraft 10. The method includes:
  • Step S10 Acquire a first pose parameter of the camera, where the first pose parameter includes a position parameter and a pose parameter of the camera in the world coordinate system.
  • the aircraft 10 obtains the first pose parameter of the camera 104 set on the aircraft 10, and the first pose parameter is the position parameter and the pose parameter of the camera 104 in the world coordinate system.
  • the position parameter is used to characterize the camera 104 in the world.
  • the position coordinates in the coordinates; the attitude parameters are used to characterize the attitude angle of the camera 104 in world coordinates.
  • the camera 104 can be located in the world coordinate system.
  • Step S11 Acquire a second pose parameter of the IMU, where the second pose parameter includes the position parameter and the pose parameter of the IMU in the world coordinate system.
  • the aircraft 10 obtains the second pose parameter of the IMU set on the aircraft 10, and the second pose parameter is the position parameter and the attitude parameter of the IMU in the world coordinate system.
  • the position parameter is used to characterize the IMU in the world coordinate system.
  • Position coordinates; attitude parameters are used to characterize the attitude angle of the IMU in world coordinates.
  • Step S12 Construct a system state model according to the second pose parameter.
  • the constructing a system state model according to the second pose parameter includes:
  • Step S121 Define the system state according to the second pose parameter.
  • the system state is defined according to the second pose parameter of the IMU to associate the second pose parameter of the IMU with the system state.
  • T is the transposition of the vector
  • G P I is the position of the IMU in the world coordinate system
  • Is the posture of the IMU in the world coordinate system
  • G V I is the speed of the IMU in the world coordinate system
  • b a is the deviation of IMU angular velocity measurement
  • b g is the deviation of IMU acceleration measurement
  • I r C is the external parameters of the camera and IMU Translation component of Is the rotation component of the external parameters of the camera and IMU.
  • Step S122 Construct a system state model according to the system state.
  • the system state model is the derivative of all vectors in the system state with respect to time, and the G P I , the The G V I, a b a, the b g, and the said I r C The derivative with respect to time to build the system state model.
  • the system state model is:
  • n a ⁇ and n g ⁇ are preset values, 0 3 ⁇ 1 is a zero matrix, I ⁇ is the angular velocity of the IMU, I a I is the acceleration of the IMU, and G g is the acceleration of gravity.
  • Step S13 Construct a system measurement model according to the first pose parameter, the second pose parameter, and the state model.
  • the measurement model refers to a certain observation value related to the state quantity.
  • the pixel coordinates of any point in the space selected in the camera are used as the observation value to construct the system measurement model.
  • the coordinates of any spatial point in the space in the camera coordinate system are selected to construct the system measurement model, where the system measurement model is:
  • Is the position of any point in space Is the conversion matrix from IMU coordinate system to camera coordinate system; Is the conversion matrix from the world coordinate system to the IMU coordinate system; Is the position of the space point in the world coordinate system; I r C is the translation component of the external parameters of the camera and the IMU.
  • Step S14 Construct a nonlinear Kalman filter according to the system state model and the system measurement model.
  • the nonlinear Kalman filter can be an extended Kalman filter, an unscented Kalman filter or a particle filter.
  • Step S15 Use the nonlinear Kalman filter to perform filtering processing on the first pose parameter and the second pose parameter, and output a filter convergence value, where the filter convergence value includes the camera and Calibration estimates of IMU parameters.
  • the system state equation changes and updates in real time during the movement of the aircraft 10.
  • using the nonlinear Kalman filter to perform filtering processing on the first pose parameter and the second pose parameter, and output the filter convergence value may be:
  • initialization parameters are the initial parameters of the nonlinear Kalman filter set by the user;
  • the system state model at time k is filtered according to the initialized nonlinear Kalman filter to predict the predicted value of the system state model at time k+1 and the predicted value of the covariance matrix at time k+1, where the system at time k
  • the state model is constructed according to the second pose parameter at time k;
  • the estimated value of the system state model at k+1 is output, and the system state model and covariance matrix are updated.
  • the present invention also provides a calibration device 20, the calibration device 20 is provided in the aircraft 10, the aircraft 10 is also provided with a camera 104 and an IMU, the calibration device 20 and the camera 104 and the IMU communication connection, the calibration device 20 includes:
  • the first pose module 201 is configured to obtain the first pose parameter of the camera, where the first pose parameter includes the position parameter and the pose parameter of the camera in the world coordinate system;
  • the second pose module 202 is configured to obtain a second pose parameter of the IMU, where the second pose parameter includes the position parameter and the pose parameter of the IMU in the world coordinate system;
  • the first modeling module 203 is configured to construct a system state model according to the second pose parameter
  • the second modeling module 204 is configured to construct a system measurement model according to the first pose parameter, the second pose parameter, and the state model;
  • the third modeling module 205 is configured to construct a nonlinear Kalman filter according to the system state model and the system measurement model;
  • the filtering module 206 uses the nonlinear Kalman filter to perform filtering processing on the first pose parameter and the second pose parameter, and output a filter convergence value, where the filter convergence value includes the camera Calibration estimates with IMU parameters.
  • the first modeling module is also used to:
  • a system state model is constructed according to the system state.
  • the system status is:
  • T is the transposition of the vector
  • G P I is the position of the IMU in the world coordinate system
  • Is the posture of the IMU in the world coordinate system
  • G V I is the speed of the IMU in the world coordinate system
  • b a is the deviation of IMU angular velocity measurement
  • b g is the deviation of IMU acceleration measurement
  • I r C is the external parameters of the camera and IMU Translation component of Is the rotation component of the external parameters of the camera and IMU.
  • the first modeling module is also used to:
  • the second modeling module is also used to:
  • the coordinates of any spatial point in the space in the camera coordinate system are selected to construct the system measurement model, where the system measurement model is:
  • Is the position of any point in space Is the conversion matrix from IMU coordinate system to camera coordinate system; Is the conversion matrix from the world coordinate system to the IMU coordinate system; Is the position of the space point in the world coordinate system; I r C is the translation component of the external parameters of the camera and the IMU.
  • the vision chip of the aircraft 10 further includes a memory 105 and a processor 106, and the memory 105 is electrically connected to the processor 106.
  • the memory 105 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), magnetic memory, magnetic disk, optical disk, and the like.
  • the memory 105 may be an internal storage unit of the aircraft 10 in some embodiments, such as a hard disk of the aircraft 10. In other embodiments, the memory 105 may also be an external storage device of the aircraft 10, such as a plug-in hard disk, a smart media card (SMC), and a secure digital (SD) card equipped on the aircraft 10. Flash Card, etc.
  • the memory 105 can be used not only to store application software and various data installed in the aircraft 10, such as computer-readable calibration program codes, etc., but also to temporarily store data that has been output or will be output.
  • the processor 106 may be a central processing unit (CPU), a controller, a microcontroller, a microprocessor, or other data processing chip, and the processor 106 may call program codes stored in the memory 105 or Process the data to perform the aforementioned calibration method.
  • CPU central processing unit
  • controller controller
  • microcontroller microcontroller
  • microprocessor or other data processing chip

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

一种标定方法、装置及飞行器，所述方法用于置有相机以及IMU的飞行器，所述方法包括：获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数（S10）；获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数（S11）；根据所述第二位姿参数构建系统状态模型（S12）；根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型（S13）；根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器（S14）；利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值（S15）。

Description

一种标定方法、装置及飞行器
本申请要求于2019年9月4日提交中国专利局、申请号为201910834056.X、申请名称为“一种标定方法、装置及飞行器”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及机器人视觉技术领域，尤其涉及一种标定方法、装置及飞行器。
背景技术
随着无人飞行器技术的发展，无人飞行器被广泛应用于军事侦察、灾区救援、地址勘探等领域。
相机和IMU(Inertial measurement unit，惯性测量模块)是飞行器中的重要元件，由于相机在快速运动、光照改变等情况下容易失效，而IMU能够高频地获得机器人内部的运动信息，并且不受周围环境的影响，从而弥补相机的不足。同时，相机能够获得丰富的环境信息，通过视觉匹配完成回环检测与回环校正，从而有效地修正IMU的累计漂移误差，因此相机与IMU的融合被认为具有很大的潜力实现低成本且高精度的定位及图像测量。
以相机标定为例，在图像测量中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。这个求解参数的过程就称之为相机标定，其标定结果的精度直接影响测量结果的准确性。
传统的相机和IMU参数标定方法为离线标定法，离线标定法或要求传感器模块静止不动、传感器模块绕IMU进行旋转；或需要构造复杂的优化问题来进行相机与IMU外参以及IMU偏差的标定。
然而在相机和IMU的实际使用中，IMU的偏差值会受到温度等因素的影响发生缓慢变化。同时，由于机械振动及加工技术等等的限制，相机及IMU之间在设备运行过程中并非严格的刚体连接，外参的旋转平移可能产生微小的变化，故，传统的相机和IMU参数标定方法为离线标定法精确度较低。
因此，如何实现相机与IMU参数的在线标定，是本领域技术人员研究的热门课题。
发明内容
本发明的主要目的在于提供一种标定方法、装置及飞行器，旨在实现相机与IMU参数的精准在线标定。
为实现上述目的，本发明提供一种标定方法，应用于飞行器，所述方法包 括：
获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数；
获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数；
构建系统状态模型；
根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型；
根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器；
利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值。
优选地，所述根据所述第二位姿参数构建系统状态模型，包括：
根据所述第二位姿参数定义系统状态；
根据所述系统状态构建系统状态模型。
优选地，所述系统状态为：
Figure PCTCN2020113257-appb-000001
其中，T为向量的转置， GP I为IMU在世界坐标系中的位置；
Figure PCTCN2020113257-appb-000002
为IMU在世界坐标系中的姿态； GV I为IMU在世界坐标系中的速度；b a为IMU角速度测量的偏差；b g为IMU加速度测量的偏差； Ir C为相机与IMU外参的平移分量；
Figure PCTCN2020113257-appb-000003
为相机与IMU外参的旋转分量。
优选地，所述根据所述系统状态建立所述系统状态模型，包括：
获取所述 GP I、所述
Figure PCTCN2020113257-appb-000004
所述 GV I、所述b a、所述b g、所述 Ir C及所述
Figure PCTCN2020113257-appb-000005
关于时间的导数，以建立所述系统状态模型。
优选地，所述根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建所述系统测量模型，包括：
选取空间中任意一个空间点在相机坐标系下的坐标构建所述系统测量模型，其中，所述系统测量模型为：
Figure PCTCN2020113257-appb-000006
其中，
Figure PCTCN2020113257-appb-000007
为空间中任意一个空间点的位置；
Figure PCTCN2020113257-appb-000008
为IMU坐标系到相机坐标系的转换矩阵；
Figure PCTCN2020113257-appb-000009
为世界坐标系到IMU坐标系的转换矩阵；
Figure PCTCN2020113257-appb-000010
为空间点在世界坐标系下的位置； Ir C为所述相机与IMU外参的平移分量。
本发明还提供一种标定装置，所述装置设置于飞行器，所述飞行器还设置有相机以及IMU，所述标定装置包括：
第一位姿模块，用于获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数；
第二位姿模块，用于获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数；
第一建模模块，用于构建系统状态模型；
第二建模模块，用于根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型；
第三建模模块，用于根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器；
滤波模块，利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值。
优选地，所述第一建模模块还用于：
根据所述第二位姿参数定义系统状态；
根据所述系统状态构建系统状态模型。
优选地，所述系统状态为：
Figure PCTCN2020113257-appb-000011
其中，T为向量的转置， GP I为IMU在世界坐标系中的位置；
Figure PCTCN2020113257-appb-000012
为IMU在世界坐标系中的姿态； GV I为IMU在世界坐标系中的速度；b a为IMU角速度测量的偏差；b g为IMU加速度测量的偏差； Ir C为相机与IMU外参的平移分量；
Figure PCTCN2020113257-appb-000013
为相机与IMU外参的旋转分量。
优选地，所述第二建模模块还用于：
获取所述 GP I、所述
Figure PCTCN2020113257-appb-000014
所述 GV I、所述b a、所述b g、所述 Ir C及所述
Figure PCTCN2020113257-appb-000015
关于时间的导数，以建立所述系统状态模型。
本发明还提供一种飞行器，所述飞行器包括机身、与所述机身相连的机臂、设于所述机臂的动力装置、与所述机身相连的相机、与所述相机连接的IMU以及与所述相机和IMU通信连接的视觉芯片，其特征在于，所述视觉芯片还包括：
存储器以及处理器；
所述存储器用于存储计算机可执行的标定程序；
所述处理器用于调用所述计算机可执行的标定程序以实现前述的标定方法。
与现有技术相比，本发明所提供的一种标定方法通过获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数；获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数；根据所述第二位姿参数构建系统状态模型；根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型；根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器；利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值，利用所获取的标定估计值实现对相机与IMU参数的精准在线标定。
附图说明
图1为本发明一实施例提供的飞行器与终端设备通信连接的场景示意图；
图2为本发明一实施例提供的标定方法的步骤流程图；
图3为图2中步骤S12的子步骤流程图；
图4为本发明一实施例提供的标定装置的框图结构示意图；
图5为本发明一实施例提供的飞行器的模块框图结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供了一种标定方法、装置及飞行器，其中，所述标定方法应用于飞行器，所述飞行器设置有相机以及IMU，所述标定方法通过获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数；获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数；根据所述第二位姿参数构建系统状态模型；根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型；根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器；利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值，利用所获取的标定估计值实现对相机与IMU参数的精准在线标定。
请参阅图1，图1为本发明提供的一种飞行器10，该飞行器10与终端设备30通信连接，其中，终端设备30用于控制飞行器10。
该飞行器10可以是旋翼飞行器，如四旋翼飞行器、六旋翼飞行器，也可以是固定以飞行器。终端设备30例如智能手机、平板电脑、电脑、遥控器等。用户可以通过任何合适类型的一种或者多种用户交互设备与终端设备30交互，这些用户交互设备可以是鼠标、按键、触摸屏等。
飞行器10包括机身101、与机身101相连的机臂102、设于机臂102的动力装置103、设于机身101的控制系统(图未示)。动力装置103用于提供飞行器10飞行的推力、升力等，控制系统是飞行器10的中枢神经，可以包括多个功能性模块，例如飞控系统、跟踪系统、路径规划系统以及其他具有特定功能的系统。其中，飞控系统包括各类传感器，例如IMU、陀螺仪、加速计等，飞控系统用于控制飞行器10的飞行姿态等。路径规划系统用于基于跟踪目标的位置对飞行器10的飞行路径进行规划，并指示飞控系统控制飞行器10的飞 行姿态以使飞行器10按指定路径飞行。其中，跟踪系统包括与机身101连接的相机104和设置于机身101的视觉芯片，相机104和视觉芯片通信连接，相机104用于拍摄获取待跟踪目标的图像或视频等媒体数据，视觉芯片用于确定从媒体数据中识别待跟踪目标，从而生成相应的跟踪控制指令。相机104可以为高清数码相机或其他摄像装置，相机104可以设置于任何利于拍摄的合适位置，在一些实施例中，相机104通过云台安装于机身101的底部。在一些实施例中，视觉芯片也可以设置于机臂102。
视觉芯片可以根据目标的特征对目标利用目标框框选并进行跟踪。在飞行器10的一些应用场景中还包括终端设备30，目标框可以通过终端设备30发送给飞行器10。具体的，终端设备30可以显示飞行器10拍摄的图片，由用户对图片中的待跟踪目标进行框选，获得初始目标框，然后将所述初始目标框上传至飞行器10。
飞行器10和终端设备30之间，可以通过分别设置在各自内部的无线通信模块，例如信号接收器、信号发送器等建立通信连接，上传或者下发数据/指令。在另一些实施例中，初始目标框也可以事先存储于飞行器10的存储装置或视觉芯片中。
请参阅图2，图2为本发明提供的一种标定方法，所述方法应用于飞行器10，由飞行器10的视觉芯片执行，所述方法包括：
步骤S10：获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数。
飞行器10获取设置于飞行器10上的相机104的第一位姿参数，该第一位姿参数为相机104在世界坐标系中的位置参数和姿态参数，其中，位置参数用于表征相机104在世界坐标下的位置坐标；姿态参数用于表征相机104在世界坐标下的姿态角。通过获取相机104在世界坐标系中的位置参数和姿态参数从而可以在世界坐标系中定位到相机104。
步骤S11：获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数。
飞行器10获取设置于飞行器10上的IMU的第二位姿参数，该第二位姿参数为IMU在世界坐标系中的位置参数和姿态参数，其中，位置参数用于表征IMU在世界坐标下的位置坐标；姿态参数用于表征IMU在世界坐标下的姿态角。通过获取IMU在世界坐标系中的位置参数和姿态参数从而可以在世界坐标系中定位到IMU。
步骤S12：根据所述第二位姿参数构建系统状态模型。
请参阅图3，在部分实施例中，所述根据所述第二位姿参数构建系统状态模型，包括：
步骤S121：根据所述第二位姿参数定义系统状态。
根据IMU的第二位姿参数定义系统状态，以将IMU的第二位姿参数和系统状态关联。
示例性地，定义系统状态为X，且X具有如下表达方程：
Figure PCTCN2020113257-appb-000016
其中，T为向量的转置， GP I为IMU在世界坐标系中的位置；
Figure PCTCN2020113257-appb-000017
为IMU在世界坐标系中的姿态； GV I为IMU在世界坐标系中的速度；b a为IMU角速度测量的偏差；b g为IMU加速度测量的偏差； Ir C为相机与IMU外参的平移分量；
Figure PCTCN2020113257-appb-000018
为相机与IMU外参的旋转分量。
步骤S122：根据所述系统状态构建系统状态模型。
系统状态模型是系统状态中所有向量关于时间的导数，获取所述 GP I、所述
Figure PCTCN2020113257-appb-000019
所述 GV I、所述b a、所述b g、所述 Ir C及所述
Figure PCTCN2020113257-appb-000020
关于时间的导数，以建立所述系统状态模型。
其中，系统状态模型为：
Figure PCTCN2020113257-appb-000021
Figure PCTCN2020113257-appb-000022
其中，
Figure PCTCN2020113257-appb-000023
为
Figure PCTCN2020113257-appb-000024
关于时间的导数，
Figure PCTCN2020113257-appb-000025
为 GP I关于时间的导数，
Figure PCTCN2020113257-appb-000026
为 GV I关于时间的导数，
Figure PCTCN2020113257-appb-000027
为b a关于时间的导数，
Figure PCTCN2020113257-appb-000028
为b g关于时间的导数，
Figure PCTCN2020113257-appb-000029
为 Ir C关于时间的导数，
Figure PCTCN2020113257-appb-000030
为
Figure PCTCN2020113257-appb-000031
关于时间的导数，n aω、n gω为预设值，0 3×1为零矩阵， Iω为IMU的角速度， Ia I为IMU的加速度， Gg为重力加速度。
步骤S13：根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型。
测量模型是指某种与状态量相关的观测值，本实施例中选取的空间任意一点在相机中的像素坐标作为观测值，构建所述系统测量模型。
示例性地，选取空间中任意一个空间点在相机坐标系下的坐标构建所述系统测量模型，其中，所述系统测量模型为：
Figure PCTCN2020113257-appb-000032
其中，
Figure PCTCN2020113257-appb-000033
为空间中任意一个空间点的位置；
Figure PCTCN2020113257-appb-000034
为IMU坐标系到相机坐标系的转换矩阵；
Figure PCTCN2020113257-appb-000035
为世界坐标系到IMU坐标系的转换矩阵；
Figure PCTCN2020113257-appb-000036
为空间点在世界坐标系下的位置； Ir C为所述相机与IMU外参的平移分量。
步骤S14：根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器。
非线性卡尔曼滤波器可以是扩展卡尔曼滤波器，无迹卡尔曼滤波器或粒子滤波器。
步骤S15：利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值。
由于飞行器10在运动过程中，设置于飞行器10的相机104和IMU跟随相机运动，因此系统状态方程在飞行器10运动过程中实时变化更新。
在部分实施例中，利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值可以是：
获取非线性卡尔曼滤波器的初始化参数，根据初始化参数初始化非线性卡尔曼滤波器，其中，初始化参数为用户设定的非线性卡尔曼滤波器初始参数；
根据初始化的非线性卡尔曼滤波器对k时刻系统状态模型进行滤波处理，以预测k+1时刻的系统状态模型的预测值和k+1时刻的协方差矩阵的预测值，其中，k时刻系统状态模型根据k时刻的第二位姿参数构建；
根据k+1时刻系统状态模型的预测值和k+1时刻的系统测量模型的测量值输出k+1时刻系统状态模型的估计值，并更新系统状态模型和协方差矩阵，其中，系统测量模型根据所述第一位姿参数、所述第二位姿参数构建；
检测经过N次迭代更新后的系统状态模型和协方差矩阵，若协方差矩阵的预测值小于预设误差值时，判断所述非线性卡尔曼滤波器收敛，并输出滤波收敛值，滤波收敛值包括所述相机与IMU参数的标定估计值，利用相机与IMU参数的标定估计值可以实现对相机与IMU参数精准在线标定。
请参阅图4，本发明还提供一种标定装置20，所述标定装置20设置于飞行器10，所述飞行器10还设置有相机104以及IMU，所述标定装置20与所述相机104以及所述IMU通信连接，述标定装置20包括：
第一位姿模块201，用于获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数；
第二位姿模块202，用于获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数；
第一建模模块203，用于根据所述第二位姿参数构建系统状态模型；
第二建模模块204，用于根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型；
第三建模模块205，用于根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器；
滤波模块206，利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值。
在部分实施例中，第一建模模块还用于：
根据所述第二位姿参数定义系统状态；
根据所述系统状态构建系统状态模型。
在部分实施例中，所述系统状态为：
Figure PCTCN2020113257-appb-000037
其中，T为向量的转置， GP I为IMU在世界坐标系中的位置；
Figure PCTCN2020113257-appb-000038
为IMU在世界坐标系中的姿态； GV I为IMU在世界坐标系中的速度；b a为IMU角速度测量的偏差；b g为IMU加速度测量的偏差； Ir C为相机与IMU外参的平移分量；
Figure PCTCN2020113257-appb-000039
为相机与IMU外参的旋转分量。
在部分实施例中，第一建模模块还用于：
获取所述 GP I、所述
Figure PCTCN2020113257-appb-000040
所述 GV I、所述b a、所述b g、所述 Ir C及所述
Figure PCTCN2020113257-appb-000041
关于时间的导数，以建立所述系统状态模型。
在部分实施例中，第二建模模块还用于：
选取空间中任意一个空间点在相机坐标系下的坐标构建所述系统测量模型，其中，所述系统测量模型为：
Figure PCTCN2020113257-appb-000042
其中，
Figure PCTCN2020113257-appb-000043
为空间中任意一个空间点的位置；
Figure PCTCN2020113257-appb-000044
为IMU坐标系到相机坐标系的转换矩阵；
Figure PCTCN2020113257-appb-000045
为世界坐标系到IMU坐标系的转换矩阵；
Figure PCTCN2020113257-appb-000046
为空间点在世界坐标系下的位置； Ir C为所述相机与IMU外参的平移分量。
请参阅图5，在部分实施例中，飞行器10的视觉芯片还包括存储器105以及处理器106，存储器105与处理器106电连接。
其中，存储器105至少包括一种类型的可读存储介质，所述可读存储介质 包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器105在一些实施例中可以是飞行器10的内部存储单元，例如该飞行器10的硬盘。存储器105在另一些实施例中也可以是飞行器10的外部存储设备，例如飞行器10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。存储器105不仅可以用于存储安装于飞行器10的应用软件及各类数据，例如计算机可读的标定程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器106在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，处理器106可调用存储器105中存储的程序代码或处理数据，以执行前述的标定方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

  1. 一种标定方法，应用于飞行器，所述飞行器设置有相机以及IMU，其特征在于，所述方法包括：
    获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数；
    获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数；
    根据所述第二位姿参数构建系统状态模型；
    根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型；
    根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器；
    利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值。
  2. 如权利要求1所述的方法，其特征在于：所述根据所述第二位姿参数构建系统状态模型，包括：
    根据所述第二位姿参数定义系统状态；
    根据所述系统状态构建系统状态模型。
  3. 如权利要求2所述的方法，其特征在于，所述系统状态为：
    Figure PCTCN2020113257-appb-100001
    其中，T为向量的转置， GP I为IMU在世界坐标系中的位置；
    Figure PCTCN2020113257-appb-100002
    为IMU在世界坐标系中的姿态； GV I为IMU在世界坐标系中的速度；b a为IMU角速度测量的偏差；b g为IMU加速度测量的偏差； Ir C为相机与IMU外参的平移分量；
    Figure PCTCN2020113257-appb-100003
    为相机与IMU外参的旋转分量。
  4. 如权利要求3所述的方法，其特征在于，所述根据所述系统状态建立所述系统状态模型，包括：
    获取所述 GP I、所述
    Figure PCTCN2020113257-appb-100004
    所述 GV I、所述b a、所述b g、所述 Ir C及所述
    Figure PCTCN2020113257-appb-100005
    关于时间的导数，以建立所述系统状态模型。
  5. 如权利要求3所述的方法，其特征在于，所述根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建所述系统测量模型，包括：
    选取空间中任意一个空间点在相机坐标系下的坐标构建所述系统测量模型，其中，所述系统测量模型为：
    Figure PCTCN2020113257-appb-100006
    其中，
    Figure PCTCN2020113257-appb-100007
    为空间中任意一个空间点的位置；
    Figure PCTCN2020113257-appb-100008
    为IMU坐标系到相机坐标系的转换矩阵；
    Figure PCTCN2020113257-appb-100009
    为世界坐标系到IMU坐标系的转换矩阵；
    Figure PCTCN2020113257-appb-100010
    为空间点在世界坐标系下的位置； Ir C为所述相机与IMU外参的平移分量。
  6. 一种标定装置，所述标定装置设置于飞行器，所述飞行器还设置有相机以及IMU，所述标定装置与所述相机和IMU通信连接，其特征在于，所述标定装置包括：
    第一位姿模块，用于获取所述相机的第一位姿参数，其中，所述第一位姿参数包括所述相机在世界坐标系的位置参数和姿态参数；
    第二位姿模块，用于获取所述IMU的第二位姿参数，其中，所述第二位姿参数包括所述IMU在世界坐标系的位置参数和姿态参数；
    第一建模模块，用于构建系统状态模型；
    第二建模模块，用于根据所述第一位姿参数、所述第二位姿参数及所述状态模型构建系统测量模型；
    第三建模模块，用于根据所述系统状态模型和所述系统测量模型构建非线性卡尔曼滤波器；
    滤波模块，利用所述非线性卡尔曼滤波器对所述第一位姿参数和所述第二位姿参数进行滤波处理，并输出滤波收敛值，其中，所述滤波收敛值包括所述相机与IMU参数的标定估计值。
  7. 如权利要求6所述的标定装置，其特征在于，所述第一建模模块还用于：
    根据所述第二位姿参数定义系统状态；
    根据所述系统状态构建系统状态模型。
  8. 如权利要求7所述的标定装置，其特征在于，所述系统状态为：
    Figure PCTCN2020113257-appb-100011
    其中，T为向量的转置， GP I为IMU在世界坐标系中的位置；
    Figure PCTCN2020113257-appb-100012
    为IMU在世界坐标系中的姿态； GV I为IMU在世界坐标系中的速度；b a为IMU角速度测量的偏差；b g为IMU加速度测量的偏差； Ir C为相机与IMU外参的平移分量；
    Figure PCTCN2020113257-appb-100013
    为相机与IMU外参的旋转分量。
  9. 如权利要求8所述的标定装置，其特征在于，所述第二建模模块还用于：
    获取所述 GP I、所述
    Figure PCTCN2020113257-appb-100014
    所述 GV I、所述b a、所述b g、所述 Ir C及所述
    Figure PCTCN2020113257-appb-100015
    关于时间的导数，以建立所述系统状态模型。
  10. 一种飞行器，所述飞行器包括机身、与所述机身相连的机臂、设于所述机臂的动力装置、与所述机身相连的相机、与所述相机连接的IMU以及与所述相机和IMU通信连接的视觉芯片，其特征在于，所述视觉芯片还包括：
    存储器以及处理器；
    所述存储器用于存储计算机可执行的标定程序；
    所述处理器用于调用所述计算机可执行的标定程序以实现如权利要求1-5任意一项所述的标定方法。
PCT/CN2020/113257 2019-09-04 2020-09-03 一种标定方法、装置及飞行器 WO2021043214A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910834056.X 2019-09-04
CN201910834056.XA CN110728716B (zh) 2019-09-04 2019-09-04 一种标定方法、装置及飞行器

Publications (1)

Publication Number Publication Date
WO2021043214A1 true WO2021043214A1 (zh) 2021-03-11

Family

ID=69218913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/113257 WO2021043214A1 (zh) 2019-09-04 2020-09-03 一种标定方法、装置及飞行器

Country Status (2)

Country Link
CN (1) CN110728716B (zh)
WO (1) WO2021043214A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549656A (zh) * 2022-02-14 2022-05-27 希姆通信息技术（上海）有限公司 Ar眼镜相机与imu的标定方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728716B (zh) * 2019-09-04 2023-11-17 深圳市道通智能航空技术股份有限公司 一种标定方法、装置及飞行器
CN113687336A (zh) * 2021-09-09 2021-11-23 北京斯年智驾科技有限公司 一种雷达标定方法、装置、电子设备和介质
CN117990112B (zh) * 2024-04-03 2024-07-02 中国人民解放军海军工程大学 基于鲁棒无迹卡尔曼滤波的无人机光电平台目标定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
CN109074664A (zh) * 2017-10-26 2018-12-21 深圳市大疆创新科技有限公司 姿态标定方法、设备及无人飞行器
CN109341724A (zh) * 2018-12-04 2019-02-15 中国航空工业集团公司西安航空计算技术研究所 一种机载相机-惯性测量单元相对位姿在线标定方法
CN110728716A (zh) * 2019-09-04 2020-01-24 深圳市道通智能航空技术有限公司 一种标定方法、装置及飞行器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
CN108731670B (zh) * 2018-05-18 2021-06-22 南京航空航天大学 基于量测模型优化的惯性/视觉里程计组合导航定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074664A (zh) * 2017-10-26 2018-12-21 深圳市大疆创新科技有限公司 姿态标定方法、设备及无人飞行器
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
CN109341724A (zh) * 2018-12-04 2019-02-15 中国航空工业集团公司西安航空计算技术研究所 一种机载相机-惯性测量单元相对位姿在线标定方法
CN110728716A (zh) * 2019-09-04 2020-01-24 深圳市道通智能航空技术有限公司 一种标定方法、装置及飞行器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549656A (zh) * 2022-02-14 2022-05-27 希姆通信息技术（上海）有限公司 Ar眼镜相机与imu的标定方法

Also Published As

Publication number Publication date
CN110728716B (zh) 2023-11-17
CN110728716A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
WO2021043214A1 (zh) 一种标定方法、装置及飞行器
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
US20200378760A1 (en) Hover control
Zheng et al. Trifo-VIO: Robust and efficient stereo visual inertial odometry using points and lines
WO2020237574A1 (zh) 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
WO2018023492A1 (zh) 一种云台控制方法及系统
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
WO2019104571A1 (zh) 图像处理方法和设备
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机系统
WO2019223270A1 (zh) 云台电机角度和角速度估算方法、装置、云台及飞行器
CN108036785A (zh) 一种基于直接法与惯导融合的飞行器位姿估计方法
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
US10740986B2 (en) Systems and methods for reconstructing a moving three-dimensional object
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN112136137A (zh) 一种参数优化方法、装置及控制设备、飞行器
CN112116651A (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
WO2020038720A1 (en) Apparatus, method and computer program for detecting the form of a deformable object
WO2020024182A1 (zh) 一种参数处理方法、装置及摄像设备、飞行器
WO2021000225A1 (zh) 可移动平台的控制方法、装置、设备及存储介质
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN110382358A (zh) 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
CN112560769A (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
WO2021056503A1 (zh) 可移动平台的定位方法、装置、可移动平台及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20860837

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20860837

Country of ref document: EP

Kind code of ref document: A1