WO2020107473A1 - 对移动平台的参数优化方法、装置及控制设备、飞行器 - Google Patents

对移动平台的参数优化方法、装置及控制设备、飞行器 Download PDF

Info

Publication number
WO2020107473A1
WO2020107473A1 PCT/CN2018/118768 CN2018118768W WO2020107473A1 WO 2020107473 A1 WO2020107473 A1 WO 2020107473A1 CN 2018118768 W CN2018118768 W CN 2018118768W WO 2020107473 A1 WO2020107473 A1 WO 2020107473A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
state
sensor
mobile platform
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/118768
Other languages
English (en)
French (fr)
Inventor
叶长春
周游
苏坤岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN201880038852.6A priority Critical patent/CN110785722A/zh
Priority to PCT/CN2018/118768 priority patent/WO2020107473A1/zh
Publication of WO2020107473A1 publication Critical patent/WO2020107473A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft

Definitions

  • Embodiments of the present invention relate to the field of electronic technology, and in particular, to a method, device, and aircraft for parameter optimization of a mobile platform.
  • a visual sensor based on a camera and other devices
  • an IMU Inertial measurement unit
  • GPS Global Positioning System
  • the environment image sensed by the sensor, the posture and speed of the mobile platform, the parameters of the mobile platform, and the position of the mobile platform are used to control the mobile platform.
  • mobile platforms such as drones and self-driving cars mainly rely on the positioning method of GPS to locate the mobile platform, and realize safety control based on accurate positioning.
  • a visual perception system relying on computer vision algorithms can also be introduced in the implementation.
  • the visual perception system can provide the observation of speed, position and other information, so as to realize stable hovering and motion planning and other control processing. How to deal with the relevant parameters calculated based on the visual perception system in order to better automate and intelligently control various mobile platforms has become a hot topic of research.
  • Embodiments of the present invention provide a parameter optimization method, device, and aircraft for a mobile platform, which can optimize different observation parameters in a targeted manner.
  • an embodiment of the present invention provides a parameter optimization method for a mobile platform.
  • the mobile platform is provided with a visual perception system.
  • the visual perception system includes a posture sensor and a visual sensor.
  • the method includes: determining the The current power-on state of the mobile platform; acquiring sensor data collected by the mobile platform in the power-on state;
  • the observation parameters of the mobile platform corresponding to the power-on state are optimized to correct the observation parameters
  • the observation parameter is calculated based on the sensing data of the posture sensor and/or the visual sensor
  • the mobile platform includes multiple power-on states, and different observations are corresponding to different power-on states parameter.
  • an embodiment of the present invention provides a device for optimizing parameters of a mobile platform.
  • the mobile platform is provided with a visual perception system.
  • the visual perception system includes a posture sensor and a visual sensor.
  • the device includes: a determination module , Used to determine the current power-on state of the mobile platform; acquisition module, used to obtain the sensor data collected by the mobile platform in the power-on state; optimization module, used to determine based on the sensor data
  • the observation parameters of the mobile platform corresponding to the power-on state are optimized to correct the observation parameters; wherein, the observation parameters are based on Calculated from the sensing data of the posture sensor and/or the visual sensor, the mobile platform includes multiple power-on states, and different observation parameters correspond to different power-on states.
  • an embodiment of the present invention provides a control device for optimizing parameters of a mobile platform.
  • the control device is connected to a visual perception system of the mobile platform.
  • the visual perception system includes a posture sensor and A visual sensor
  • the control device includes: a communication interface and a processor; the communication interface is used to connect with a visual perception system; the processor is used to obtain a transmission collected by the mobile platform in the power-on state Sensory data; if it is determined that the mobile platform is stable under the power-on state based on the sensory data, the observation parameters of the mobile platform corresponding to the power-on state are optimized to correct the Observation parameters; wherein the observation parameters are calculated based on the sensing data of the posture sensor and/or the visual sensor, the mobile platform includes multiple power-on states, corresponding to different power-on states Different observation parameters.
  • an embodiment of the present invention provides an aircraft, the aircraft including: a visual perception system, a controller, and a power component, wherein the visual perception system includes an attitude sensor and a visual sensor;
  • the controller is used to calculate observation parameters based on the sensing data of the posture sensor and/or the visual sensor, and is used to determine the current power-on state of the mobile platform; Sensor data collected under the power-on state; if it is determined that the mobile platform is stable under the power-on state based on the sensor data, the observation parameters of the mobile platform corresponding to the power-on state are determined Optimize to correct the observed parameters; wherein the observed parameters are calculated based on the sensing data of the posture sensor and/or the visual sensor, and the mobile platform includes multiple power-on states, different Under the power-on state, there are different observation parameters, and they are used to control the power assembly based on the revised observation parameters to control the movement of the aircraft.
  • the embodiments of the present invention can define different power-on states for the mobile platform, and optimize the observation data obtained by different sensing data based on the visual perception system in different power-on states in a targeted manner, which can better guarantee The accuracy and timeliness of the optimization of the observation parameters facilitates the subsequent safer control of the mobile platform.
  • FIG. 1 is a schematic structural diagram of an aircraft according to an embodiment of the present invention.
  • FIG. 2 is a schematic flowchart of a method for optimizing parameters of a mobile platform according to an embodiment of the present invention
  • 3a is a schematic diagram of calculating relevant sensing data based on a visual positioning algorithm according to an embodiment of the present invention
  • 3b is a schematic diagram of calculating related sensing data based on a visual positioning algorithm according to an embodiment of the present invention
  • FIG. 4 is a schematic structural diagram of a parameter optimization device for a mobile platform according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a control device according to an embodiment of the present invention.
  • the movement of the mobile platform mainly combines the positioning data of the position sensor and the observation data of the visual perception system to automatically control the mobile platform.
  • the position sensor may be, for example, a common GPS positioning sensor, or other sensors capable of positioning latitude and longitude coordinates, such as a Beidou positioning sensor, a Galileo positioning sensor, and so on.
  • the visual perception system of the embodiment of the present invention mainly includes a posture sensor and a visual sensor.
  • the posture sensor includes an accelerometer and a gyroscope, for example, an IMU module, and the visual sensor is mainly constructed based on a binocular camera.
  • FIG. 1 is a schematic diagram of a mobile platform according to an embodiment of the present invention using an aircraft as an example, which includes an IMU 101 and a binocular vision sensor 102, and the sensing data of the IMU 101 and the binocular vision sensor 102 can be sent to the aircraft flight controller 103
  • the flight controller 103 performs calculations to obtain data that can be used to control the flight of the aircraft. For example, based on the visual positioning algorithm, the sensing data of the IMU 101 and the binocular vision sensor 102 are calculated to obtain observation parameters, such as data for positioning.
  • different structures and installation methods can be built on mobile platforms such as aircraft, intelligent robots, and self-driving cars according to the needs of users and different environments, so as to achieve more stable and safe control of mobile platforms purpose.
  • FIG. 2 is a schematic flowchart of a method for optimizing parameters of a mobile platform according to an embodiment of the present invention.
  • the optimization method may be implemented by a separate control device. It is connected to the visual perception system to facilitate the calculation and optimization of the relevant data of the visual perception system. On the other hand, it can output the final optimized data to facilitate better security control of the mobile platform.
  • the optimization method can also be implemented by a functional module in the mobile platform, through which the relevant data of the visual perception system is obtained, and then the mobile platform is directly controlled for safety. For example, for an aircraft, It is executed by the flight controller of the aircraft. For an autonomous vehicle, it may be executed by the central controller of the autonomous vehicle.
  • the current power-on state of the mobile platform can be determined in S201 according to the sensing data of the mobile platform and/or the sensing data of some or all functional components on the mobile platform.
  • the power-on state of the mobile platform can also be determined by other Way to determine.
  • the power-on state of the mobile platform can also be determined according to the set control mode for the mobile platform, for example, the aircraft can be set by the user through the remote controller to set the flight mode to automatically fly according to the preset route, stop The hovering mode of flight, the standby mode after landing, and so on, in one embodiment, these modes may be implemented based on one or more user operations on the remote control by the user.
  • the power-on state may include, but is not limited to: a moving state, a hovering state, and a static state.
  • the motion state can be a flight state
  • the hovering state can be a unique state of the aircraft hovering in the air
  • the static state can be described as the mobile platform has been powered on but the motor has not been started
  • the sensor data collected by the mobile platform in the power-on state may be acquired in S202 at the same time or after determining the current power-on state of the mobile platform.
  • the sensor data mainly refers to the data output by the sensors on the mobile platform to determine.
  • the sensors of the mobile platform may include, for example, position sensors, the above-mentioned posture sensors such as IMU, vision sensors, and so on.
  • the required sensor data is different.
  • the required sensing data includes: the state parameter of the position sensor, and the state parameter may specifically be a speed state parameter, an altitude state parameter, a signal strength parameter, and a speed accuracy estimation index Any one or more of them.
  • the sensing data includes: data calculated based on the sensing data collected by the attitude sensor.
  • the attitude sensor includes an accelerometer and a gyroscope.
  • the sensing data may include: Any one or more of the acceleration calculated by the sensing data, the angle calculated based on the gyroscope sensing data, and the speed calculated based on the accelerometer sensing data.
  • the sensing data includes: the measured value of the gyroscope in the attitude sensor.
  • the sensor data may include: the zero-axis deviation of the gyroscope.
  • the observation parameters of the mobile platform corresponding to the power-on state are optimized to Correct the observation parameters.
  • the observation parameters to be optimized at this time are the observation parameters of the mobile platform under the current power-on state.
  • the observation parameters are calculated based on the sensing data of the attitude sensor and/or the visual sensor get.
  • the observation parameters corresponding to the visual perception system may be calculated from the sensing data of the posture sensor (such as an inertial measurement unit) and/or the visual sensor based on a visual positioning algorithm.
  • the visual positioning algorithm may be, for example, a VO (Visual Odometry, visual odometer) algorithm or a VIO (Visual-Inertial Odometry, visual inertial odometer) algorithm.
  • the visual perception system based on the combination of vision and inertial navigation requires at least a camera (such as a camera) and an IMU to complete the positioning function of the mobile platform, so that the mobile platform can be perceived indoors without GPS or weak GPS. His own position relative to the environment, and then complete the upper-level applications such as navigation, expanding the use of mobile platforms.
  • the visual positioning algorithm can be divided into loosely-coupled and tightly-coupled according to whether the image features of the image sensed by the visual sensor are added to the state vector.
  • the loose coupling does not add the image features to the state vector, but uses the image as a black box to independently calculate the pose (position and posture) of the camera (such as a visual sensor) based on the image, and then fuse it with the IMU information.
  • the loosely coupled algorithm can be understood as the VO algorithm.
  • Tight coupling is to add image features to the state vector, and use the raw data of the two sensors to jointly estimate a set of vectors, as shown in Figure 3b, which fully uses the attitude sensor (such as inertial measurement unit) and the visual sensor The measured data can achieve relatively high positioning accuracy.
  • the tight coupling algorithm can be understood as the VIO algorithm.
  • an IMU+vision sensor may be used, and a 6-DoF (Degrees of freedom, six degrees of freedom) VIO algorithm may be used to calculate the observation parameters of the mobile platform.
  • the six degrees of freedom refers to the rotation of the x-axis, y-axis, and z-axis and the translation in the x-axis, y-axis, and z-axis directions.
  • the calculated observation parameters may include: visual velocity data, first and second angle parameters, and gyroscope parameters in the attitude sensor.
  • the first angle parameter includes: the first angle between the north direction estimated by the visual perception system and the true north direction, the first angle is calculated from the sensing data collected by the position sensor and the visual sensor; the second angle The parameters include: a second included angle between the horizontal plane predicted by the visual perception system and the real horizontal plane, and the second included angle is calculated from the sensing data collected by the attitude sensor.
  • the gyroscope parameters include: the zero-axis deviation of the gyroscope in the attitude sensor.
  • the observation parameters can be optimized in S203 to control the mobile platform.
  • the current position and posture of the mobile platform can be modified based on the relevant parameters obtained after optimizing the observation parameters, so as to obtain more accurate related visual positioning parameters, and finally the mobile platform is based on these more accurate visual positioning parameters safely control.
  • the drone as shown in FIG. 1 to be able to fly more stably and hover more stably.
  • the optimization of the observation parameters may be based on the Kalman filter to optimize the observation parameters of the mobile platform.
  • the method of the embodiment of the present invention includes: obtaining reference parameters corresponding to the observation parameters of the mobile platform in the power-on state; optimizing the observation parameters, including: optimizing the difference data between the reference parameters and the observation parameters To obtain observation compensation data for observation parameters.
  • the reference parameter may be, for example, a relatively accurate parameter sensed by a position sensor such as GPS. Based on these relatively accurate data, the observation parameter calculated based on the algorithm such as VIO is optimized.
  • reference may be made to the optimization of observation parameters such as visual speed data and first angle parameter data in the following embodiments.
  • the mobile platform before optimizing the observation parameters, it can be determined whether the mobile platform is stable under the power-on state according to the sensor data. Therefore, some conditions can be defined. Only when the sensor data meets the conditions, the mobile platform is considered to be stable under the current power-on state, and the observation parameters can be optimized. Triggering optimization based on these defined conditions can to a certain extent ensure that the originally superior observation parameters will not be erroneously optimized, or that the observation parameters will not be optimized unnecessarily.
  • the method before performing S203, may include: detecting whether the sensor data satisfies a preset optimization condition; if the sensor data satisfies the preset optimization condition, determining that the mobile platform is in the power-on state is Stable state, so as to execute the step of optimizing the observation parameters in S203 to control the step of the mobile platform.
  • the observation parameters calculated based on the VIO algorithm may be only 0.92 times the true speed, which is 9.2m/s. That is to say, based on the above situation, you can choose to optimize the observation parameters in the state of motion in order to get the best observation parameters as possible.
  • the motion state is defined as one of the power-on states of the mobile platform, and the above-mentioned position sensors such as GPS, Beidou, and Galileo are also provided on the mobile platform.
  • the observation values based on the position sensor to modify the observation parameters of the visual perception system, that is, the observation values used can correspond to the reference parameters mentioned above, based on the reference parameters and observation parameters corresponding to the position sensor.
  • the difference between the data is optimized to obtain observation compensation data for the observation parameters. Based on this, it is necessary to ensure that the observation value of the position sensor is a relatively accurate value. In this case, the data of the position sensor needs to be evaluated accordingly to determine whether it meets the preset optimization conditions.
  • the sensor data includes the acquired state parameters of the position sensor, that is, whether the position sensor's sensing signal (such as the positioning signal) is better is determined by the position sensor's state parameter, and determined when the sensing signal is better
  • the sensor data meets the preset optimization conditions.
  • the state parameters of the position sensor include: one or more of attitude parameters, signal strength parameters, and speed accuracy estimation indicators.
  • the sensor data satisfying the preset optimization conditions include: the attitude parameters satisfying Any one or more of the preset posture condition, the signal strength indicated by the signal strength parameter is greater than the preset strength threshold, and the speed accuracy estimation index is less than the preset index threshold.
  • the attitude parameters include: speed state parameters and/or altitude state parameters; correspondingly, the attitude parameters satisfying the attitude conditions include: the speed indicated by the speed state parameters is greater than a preset speed threshold, and/or the altitude state parameters The indicated height is greater than the preset height threshold.
  • it can be specifically determined whether the modulus of the horizontal velocity calculated based on the sensing data of the position sensor is greater than 3m/s (or other velocity threshold), and whether the altitude is greater than 12 meters (or other altitude threshold, the altitude
  • the threshold is determined according to the parameters of the dual camera in the visual sensor, and may be specifically determined based on the resolution, focal length, and binocular distance of the dual camera to satisfy the preset optimization condition.
  • high-altitude high-speed operation is also a period of time when the VIO algorithm is prone to problems. Therefore, when the speed is greater than 3m/s and the height is greater than 12 meters, It can be considered that the dynamic performance of the position sensor is better.
  • the observation parameters calculated by the VIO algorithm can be finally optimized.
  • the attitude parameters of position sensors such as GPS, it can also be determined that mobile platforms such as aircraft are in motion.
  • the signal strength of a position sensor such as GPS can also be referenced. If the signal strength is greater than a preset intensity threshold such as 3, the observation value obtained based on the position sensor such as GPS can also be considered to be more accurate and can be used for VIO The observation parameters calculated by the algorithm are optimized.
  • a preset intensity threshold such as 3
  • the DOP Deution of precision index of GPS
  • optimizing the observation parameters under the motion state may be optimizing the visual speed data included in the observation parameters.
  • the observation parameters are optimized, including: optimizing the visual speed data of the corresponding mobile platform in the motion state; where the visual speed data is the sensing data collected by the attitude sensor and the visual sensor Calculated.
  • the specific calculation method of the visual speed data V vio calculated based on the VIO algorithm can refer to the existing method.
  • the optimization of the visual speed data may be performed by calling a preset Kalman filter.
  • the main idea is to optimize the scale residual of the speed to be corrected, and use the corrected speed scale residual to Observation parameters (that is, visual speed data V vio ) are compensated.
  • the residual error formula used in this idea is as follows:
  • V GPS represents the speed calculated based on the GPS sensing data, which can be called the positioning speed parameter
  • V GPS, x and V GPS, y respectively represent the coordinate system where V GPS is located in the GPS sensor
  • the decomposed speed on the x-axis and y-axis can also be understood as a positioning speed parameter, which can be regarded as the reference parameter of the position sensor mentioned above, and the reference parameter (positioning speed parameter) is used to Observation parameters (visual speed data) are optimized.
  • V vio, x and V vio, y represent the decomposition speed of V vio on the x-axis and y-axis under the coordinate system corresponding to the visual sensor (VIO coordinate system)
  • ⁇ s x and ⁇ s y require Kalman
  • ⁇ s x and ⁇ s y can be expressed as the amount of speed compensation to compensate the speed of V vio on the x-axis and y-axis under the coordinate system corresponding to the visual sensor.
  • the speed compensation amount is optimized based on the Kalman filter , and V vio, x and V vio, y are compensated and optimized based on the speed compensation amount , respectively , And finally completed the optimization of V vio .
  • a non-linear error state extended Kalman filter (No-linear error state EKF (Extended Kalman Filter, extended Kalman filter)) can be used to optimize the amount of speed compensation.
  • the optimized output data are ⁇ s x and ⁇ s y .
  • the speed compensation amounts ⁇ s x and ⁇ s y are obtained, the V vio, x and V vio that have been obtained based on the VIO algorithm On the basis of y , plus the corresponding speed compensation, the optimization of visual speed data is completed.
  • optimizing the observation parameters under the motion state may also be optimizing the first angle parameters included in the observation parameters, that is, optimizing the observation parameters under the motion state, including: The first angle parameter of the corresponding mobile platform under the state is optimized; where the first angle parameter includes: the first angle between the north direction and the true north direction estimated by the visual perception system, the first angle is for the position sensor and the vision
  • the sensor data collected by the sensor is calculated.
  • the first angle parameter may specifically include: based on the sensing data collected by the position sensor and the visual sensor, the deviation between the north direction estimated by the visual perception system and the true north direction (such as the north direction determined according to the GPS sensing data) is calculated ( Such as yaw angle deviation).
  • the first angle parameter calculated based on the sensing data collected by the position sensor and the visual sensor can be calculated using an existing calculation method.
  • the optimization of the first angle parameter may also be performed by calling a preset Kalman filter.
  • the ideas adopted in the optimization process may include: correcting the estimated north direction and the true north direction of the visual perception system Deviation, and then the speed observation in the coordinate system where the GPS and other position sensors are located is transferred to the VIO coordinate system to find the residual correction speed to complete the correction.
  • the coordinate system where the IMU is located will be aligned with the coordinate system where the GPS is located, the deviation between the VIO coordinate system and the coordinate system where the IMU is located is indirectly corrected.
  • the residual formula under this idea is as follows:
  • the two-dimensional GPS coordinate system rotates clockwise to the angle of the VIO coordinate system.
  • the Kalman filter it is necessary to optimize the output value, which represents the angle compensation amount of the first angle parameter.
  • the preset Kalman filter can be specifically invoked to optimize the corresponding angle compensation amount, for example, the first angle parameter corresponding to the visual perception system The yaw angle is optimized for compensation.
  • Equation 3 refers to the speed compensation amount calculated based on VIO in the VIO coordinate system
  • v x and v y in Equation 4 are expressed as x based on the VIO calculated speed in the VIO coordinate system Decomposition speed on the axis and y axis.
  • a non-linear error state extended Kalman filter (No-linear error state EKF) can be used to optimize the angle compensation amount of the first angle parameter.
  • EKF non-linear error state extended Kalman filter
  • the optimized output data includes After obtaining the angle compensation amount of the first angle parameter After, based on the VIO algorithm has been obtained Based on the addition of the angle compensation amount of the first angle parameter, the optimization of the first angle parameter is completed.
  • the attitude sensor includes a gyroscope. Before optimizing the first angle parameter, it can further detect whether the difference between the current reading ⁇ of the gyroscope and the current zero-axis deviation of the gyroscope satisfies the preset condition, For example, it is possible to detect whether the modulus length between the current reading ⁇ of the gyroscope and the current zero-axis deviation of the gyroscope is less than a preset threshold. It is considered that it does not rotate around the yaw axis, then at this time, the first angle parameter such as the yaw angle can be compensated and optimized.
  • the motion state in which the visual speed parameter and the first angle parameter in the observation parameter are prone to error is determined, and the visual speed in the observation parameter is calculated based on the VIO algorithm under the motion state
  • the data and the first angle parameters are optimized to make the optimization of the observation parameters more targeted;
  • the reference parameters required for the optimization of the observation parameters are also filtered, and the sensing data of the position sensor will only be met when the conditions are met It is used to determine the reference parameters, which also ensures the accuracy of optimizing the observation parameters.
  • whether to optimize V vio or the first angle parameter can be selected according to need. It can determine whether the difference between the positioning speed parameter and the visual speed data satisfies the preset difference condition; if it is, trigger execution to optimize the visual speed data of the corresponding mobile platform under the motion state, and optimize the positioning speed parameter during optimization It is further used as a reference parameter to participate in the optimization of visual speed data. If the first angle parameter is being optimized at this time, the optimization of the first angle parameter may be cancelled and the optimization of the visual speed data may be performed. In other words, the priority of optimizing visual speed data is high, but it is not always corrected.
  • the calculated GPS and other position sensors can be used The speed is transferred to the IMU terminal, and the converted speed is used as the observation value of the position sensor, that is, V GPS .
  • the positioning speed parameter included in the sensor data is calculated based on the initial positioning speed parameter, and the initial positioning speed parameter is calculated based on the positioning data sensed by the position sensor.
  • calculating the positioning speed parameter according to the initial positioning speed parameter includes: mapping the initial positioning speed parameter according to the mapping parameter to obtain the mapping speed parameter of the position sensor in the coordinate system where the attitude sensor is located; using the mapping speed parameter as the positioning speed parameter .
  • the initial positioning speed parameter is mapped and calculated according to the mapping parameter to obtain the mapping speed parameter of the position sensor in the coordinate system where the attitude sensor is located, including: acquiring the angular velocity parameter sensed by the attitude sensor, and acquiring the attitude sensor and Coordinate system rotation transformation matrix between position sensors; based on the angular velocity parameter, coordinate system rotation transformation matrix, and initial positioning velocity parameter, the mapping velocity parameter of the position sensor in the coordinate system where the attitude sensor is located is calculated.
  • the specific conversion formula is as follows:
  • V IMU V GPS -R wi [m gyro ] ⁇ T IG formula 5;
  • V IMU represents the speed converted to the IMU terminal, corresponding to the above V GPS
  • V GPS is the original GPS terminal speed that is the initial positioning speed parameter
  • R wi is the rotation transformation matrix of the coordinate system where the IMU is located to the world coordinate system
  • m gyro is the angular velocity measured by the gyro
  • [] ⁇ is the matrix expression of cross product
  • T IG refers to the translation vector of GPS pointing to IMU in the IMU coordinate system.
  • errors caused by a position sensor such as GPS and the IMU due to time out-of-synchronization can also be processed. Specifically, it can be synchronized by a timestamp.
  • the initial positioning speed parameter is obtained by calculating the positioning data sensed by the position sensor after acquiring the preset duration threshold of the sensing data collected by the attitude sensor. For example, GPS observations are generally 500ms, so after the value of the IMU comes out, it takes about 500ms (preset duration threshold) to compare with the GPS speed.
  • some feature points with poor observation or matching errors may be introduced, but these feature points cannot be completely screened out, and the posture calculated by the VIO will gradually be wrong, causing VIO
  • the coordinate system deviates from the reference coordinate system of the IMU, and the corresponding observation parameters calculated therefrom, such as the above-mentioned visual velocity data, are not accurate as feedback.
  • gravity update can be added to the VIO, that is, gravity optimization, under a stable hover state, The horizontal angle deviation between the estimated horizontal plane in the VIO coordinate system and the real horizontal plane in the world coordinate system can be corrected.
  • the embodiment of the present invention also defines the hover state as one of the power-on states of the mobile platform.
  • the hover state is mainly defined for a mobile platform such as a drone as shown in FIG. 1, and the hover state is Refers to a mobile platform such as a drone that stops at a certain position in the air.
  • the reference parameters used mainly include the acceleration of gravity, ie 9.8m/s 2 . Through the acceleration of gravity, the horizontal angle deviation between the estimated horizontal plane in the VIO coordinate system and the real horizontal plane in the world coordinate system is optimized.
  • the sensing data includes: sensing data collected by the attitude sensor.
  • the attitude sensor may be, for example, the above-mentioned IMU, including an accelerometer and a gyroscope, and after the sensing data meets the preset optimization conditions, it can be considered that the mobile platform is currently in a hovering state and the hovering is relatively stable.
  • Gravity correction means that the optimization of the second angle parameter included in the observation parameters is performed when hovering stably.
  • the acceleration at this time is basically 0, and only the acceleration of gravity toward the center of the earth can be measured, so it is accurate to use gravity to correct of.
  • Obtaining whether the drone is in a stable hovering state can use the existing state quantity to obtain the corresponding hovering state signal from the flight control, and even the user observes and judges that the aircraft is hovering stable and initiates the mobile platform through the remote control signal Notification on hover. It can also be determined that the acceleration module length, the gyroscope module length, and the speed module length are sufficiently small to indicate that the aircraft is hovering stably.
  • the sensor data satisfying the preset optimization condition may include any one or more of the following situations:
  • the acceleration modulus length calculated based on the sensing data of the accelerometer is less than the preset acceleration modulus length threshold.
  • the specific expression can be expressed as:
  • the angular modulus calculated based on the gyroscope sensing data is less than the preset angular modulus length threshold.
  • the specific expression can be expressed as:
  • the velocity modulus calculated based on the accelerometer sensing data is less than the preset velocity modulus length threshold, and the specific expression can be expressed as:
  • the mobile platform can be considered to be in a stable state in the hovering state, that is, stable hovering.
  • the update frequency of the IMU data is relatively high, for example, it can reach 200 Hz, and the update speed of the VIO algorithm is relatively low, for example, only 20 Hz.
  • the sensing data collected by the attitude sensor is filtered; the filtered data is processed to obtain the sensing data of the mobile platform when it is powered on.
  • the IMU data is to be subjected to a low-pass filter, such as second-order Butterworth filtering.
  • the cut-off frequency is set to 20 Hz, which can filter out high-frequency noise, making the sensor data, that is, the sensing data collected by the attitude sensor, more accurate.
  • the gravity correction performed in the hovering state is to optimize the second angle parameter included in the observation parameter and optimize the observation parameter, including: optimizing the second angle parameter of the corresponding mobile platform under the hovering state; wherein
  • the second angle parameter includes: the second angle between the horizontal plane estimated by the visual perception system and the real horizontal plane in the world coordinate system.
  • the second angle is calculated from the sensing data collected by the attitude sensor.
  • [theta] that is: the angle between the horizontal two-dimensional GPS position sensor (world coordinates) is determined with the estimated horizontal plane coordinates in a horizontal plane VIO, m a measured value of the accelerometer, b a is the acceleration Calculated zero axis deviation.
  • g is the acceleration of gravity, generally 9.8m/s 2 .
  • ⁇ is the compensation amount of the second angle parameter, and it needs to be optimized by the Kalman filter. After obtaining the residual r and the Jacobian matrix, the preset Kalman filter can be called to obtain the second angle parameter compensation amount, and the second angle parameter calculated based on the visual perception system and the VIO algorithm is added to the second angle parameter.
  • the two-angle parameter compensation amount is to complete the optimization of the observation parameters.
  • R wi in Equation 6 is the rotation transformation matrix of the coordinate system where the IMU is located to the world coordinate system
  • [] ⁇ in Equation 7 is the matrix expression of the cross product.
  • a non-linear error state extended Kalman filter (No-linear error state EKF) can be used to optimize the second angle parameter compensation amount.
  • the optimized output data includes ⁇ , after obtaining the compensation amount ⁇ of the second angle parameter, based on the ⁇ obtained based on the VIO algorithm, plus the second angle parameter
  • the compensation amount is to complete the optimization of the second angle parameter.
  • the reference values based on the measured value of the accelerometer, the zero-axis deviation of the accelerometer, and the acceleration of gravity under the hovering state The parameter optimizes the second angle parameter, so that the second angle parameter can be optimized more accurately.
  • the determination conditions used to determine the stable hovering state are also defined so that accurate The relevant reference parameters are not interfered by other data, and the accuracy of optimizing the second angle parameters is better ensured.
  • the static state is defined as one of the power-on states of the mobile platform.
  • the reference parameter for optimizing the zero-axis deviation of the gyroscope may be the current reading of the gyroscope, and Since the mobile platform is stationary, the current reading of the gyroscope is theoretically zero.
  • the sensory data in the static state includes: the measured value of the gyroscope in the attitude sensor. In order to accelerate the calculation convergence speed, the measured value of the gyroscope in the attitude sensor can be optimized, specifically the gyroscope in the attitude sensor The gyroscope parameters, namely the zero axis deviation bias of the gyro, are optimized.
  • the correction of the bias of the zero axis deviation of the gyroscope needs to be performed when the mobile platform is standing still (specifically it can be considered as a landing and the motor is not started).
  • the existing state observation can be used to measure the flight control. Obtained, or notified by the user after observing and determining that it is in a static state.
  • a judgment process may also be performed, that is, judging that the sensing data meets the preset optimization condition includes: the modulus length of the mean value of the zero-axis deviation of the gyroscope is less than the preset first modulus length threshold, and/or, The modulus length of the variance of the zero-axis deviation of the gyroscope is less than a preset second modulus length threshold.
  • the mobile platform is considered to be static
  • the mobile platform is in a stable state when it is in a static state, that is, it can be used to update the bias of the optimized gyroscope, otherwise it is not optimized.
  • the calculation expression of the residual error is as follows:
  • ⁇ b ⁇ is a value that needs to be optimized based on the Kalman filter, and is expressed as the compensation amount of the zero-axis deviation of the gyroscope. Add the ⁇ b ⁇ to the currently calculated gyroscope bias to complete the gyroscope in the attitude sensor. Optimization of parameters.
  • a non-linear error state extended Kalman filter (No-linear error state EKF) can be used to optimize the compensation amount of the zero-axis deviation of the gyroscope.
  • the optimized output data is ⁇ b ⁇
  • the b obtained based on the VIO algorithm
  • add ⁇ b ⁇ to complete the optimization of the zero-axis deviation of the gyroscope.
  • the scene where the zero-axis deviation of the gyroscope is prone to errors in the observation parameters is determined, and a static state is determined so that the zero-axis deviation of the gyroscope can be quickly completed in the static state
  • a static state is determined so that the zero-axis deviation of the gyroscope can be quickly completed in the static state
  • it defines the conditions for determining whether the mobile platform is in a static state which can accurately determine whether the mobile platform is in a static state, and further better guarantees the accuracy of optimizing the zero axis deviation of the gyroscope .
  • the embodiments of the present invention can define different power-on states for the mobile platform, and optimize the observation data obtained by different sensing data based on the visual perception system in different power-on states in a targeted manner, which can better guarantee The accuracy and timeliness of the optimization of the observation parameters facilitates the subsequent safer control of the mobile platform. And from the perspective of optimizing the observation data calculated by the VIO, the power-on state under different judgment conditions is selected to optimize the observation parameters, which can ensure the accuracy of the corresponding observation parameter optimization, so that the mobile platform can Get more accurate control.
  • FIG. 4 is a schematic structural diagram of a device for optimizing parameters of a mobile platform according to an embodiment of the present invention
  • the device may be provided in a separate control device or in a corresponding control module of the mobile platform.
  • the device can be installed in the flight controller of the aircraft.
  • a visual perception system is provided on the mobile platform, the visual perception system includes a posture sensor and a visual sensor, and the device includes the following modules.
  • the determining module 401 is used to determine the current power-on state of the mobile platform; the obtaining module 402 is used to obtain the sensor data collected by the mobile platform in the power-on state; the optimization module 403 is used to determine The sensing data determines that the mobile platform is stable under the power-on state, and then optimizes the observation parameters of the mobile platform corresponding to the power-on state to correct the observation parameters; wherein, The observation parameters are calculated based on the sensing data of the posture sensor and/or the vision sensor.
  • the mobile platform includes multiple power-on states, and different observation parameters correspond to different power-on states.
  • the acquiring module 402 before acquiring the observation parameters of the mobile platform in the power-on state, is further configured to detect whether the sensor data meets preset optimization conditions; If the sensor data satisfies the preset optimization condition, it is determined that the mobile platform is stable under the power-on state, and the optimization module 403 may be triggered to optimize the existing observation parameters.
  • the power-on state includes a motion state
  • the mobile platform further includes a position sensor
  • the sensory data includes: acquired state parameters of the position sensor
  • the state parameter includes an attitude parameter, a signal strength parameter, and a speed accuracy estimation index
  • the sensory data satisfying the preset optimization condition includes: the attitude parameter satisfies the preset attitude condition, the signal The signal strength indicated by the strength parameter is greater than a preset strength threshold, and the speed accuracy estimation index is less than any one or more of the preset index thresholds.
  • the posture parameters include: speed state parameters and altitude state parameters; the posture parameters satisfying posture conditions include: the speed indicated by the speed state parameter is greater than a preset speed threshold, and/or the The altitude indicated by the altitude status parameter is greater than a preset altitude threshold.
  • the observation parameters include: visual velocity data; when the optimization module 403 is used for optimizing the observation parameters, the optimization module 403 is used for The visual speed data is optimized; wherein, the visual speed data is calculated from the sensing data collected by the posture sensor and the visual sensor.
  • the observation parameter includes: a first angle parameter; when the optimization module 403 is used to optimize the observation parameter, it is used to optimize the corresponding An angle parameter is optimized; wherein, the first angle parameter includes: a first angle between the north direction predicted by the visual perception system and a true north direction, the first angle is for the position sensor and the vision The sensor data collected by the sensor is calculated.
  • the sensor data includes: a positioning speed parameter of the mobile platform, the device further includes a judgment module 404, and the judgment module 404 is used for the corresponding Before optimizing the visual speed data of the mobile platform, determine whether the difference between the positioning speed parameter and the visual speed data satisfies a preset difference condition; if so, trigger the optimization module 403 to The corresponding visual speed data of the mobile platform is optimized.
  • the difference between the positioning speed parameter and the visual speed data satisfying the preset difference condition includes: between the mold length of the positioning speed parameter and the mold length of the visual speed data The difference is greater than the preset threshold.
  • the positioning speed parameter included in the sensor data is calculated based on an initial positioning speed parameter, and the initial positioning speed parameter is calculated based on positioning data sensed by the position sensor;
  • the device further includes a calculation module 405, which is used to calculate the positioning speed parameter according to the initial positioning speed parameter.
  • the calculation module 405 specifically performs a mapping calculation on the initial positioning speed parameter according to a mapping parameter to obtain a mapping speed parameter of the position sensor in the coordinate system where the attitude sensor is located; The parameters are used as positioning speed parameters.
  • the calculation module 405 is used for mapping calculation of the initial positioning speed parameter according to the mapping parameter to obtain the mapping speed parameter of the position sensor in the coordinate system where the attitude sensor is located, using To obtain the angular velocity parameter sensed by the attitude sensor, and obtain a coordinate rotation rotation matrix between the attitude sensor and the position sensor; according to the angular velocity parameter, the coordinate rotation rotation matrix, and the initial positioning speed parameter To calculate the mapping speed parameter of the position sensor in the coordinate system where the attitude sensor is located.
  • the initial positioning speed parameter is obtained by calculating the positioning data sensed by the position sensor after acquiring a preset duration threshold of the sensing data collected by the attitude sensor.
  • the power-on state includes a hovering state
  • the sensing data includes: sensing data collected by the attitude sensor
  • the attitude sensor includes an accelerometer and a gyroscope; the sensing data satisfying the preset optimization condition includes: an acceleration modulus calculated based on the sensing data of the accelerometer is less than a preset acceleration
  • the module length threshold, the angle module length calculated based on the gyroscope sensing data is less than the preset angle module length threshold, and the speed module length calculated based on the accelerometer sensing data is less than the preset speed module length threshold Any one or more of them.
  • the acquiring module 402 is used to call a preset low-pass filter to acquire the posture sensor when acquiring the sensor data of the mobile platform in the power-on state. Filter the sensed data; process the filtered data to obtain the sensor data of the mobile platform in the power-on state.
  • the observation parameters include: a second angle parameter; and the optimization module 403 is used to optimize the corresponding mobile platform in the hovering state when it is used to optimize the observation parameters
  • the second angle parameter is optimized; wherein, the second angle parameter includes: a second included angle between the horizontal plane predicted by the visual perception system and the real horizontal plane, the second included angle is for the attitude sensor
  • the collected sensing data is calculated.
  • the power-on state includes a static state
  • the sensory data includes: gyroscope measurements in the attitude sensor.
  • the sensing data satisfying the preset optimization condition includes: a modulus length of the mean value of the zero-axis deviation of the gyroscope is less than a preset first modulus length threshold, and/or, the gyroscope The modulus length of the variance of the zero-axis deviation of the instrument is less than a preset second modulus length threshold.
  • the observation parameters include: the gyroscope parameters in the attitude sensor; the optimization module 403, when used to optimize the observation parameters, is used for the corresponding The gyroscope parameters of the attitude sensor in the mobile platform are optimized; wherein, the gyroscope parameters include: the zero-axis deviation of the gyroscope in the attitude sensor.
  • the obtaining module 402 is further used to obtain the reference parameter corresponding to the observation parameter of the mobile platform in the power-on state; the optimization module 403 is used to compare the observation parameter When optimizing, it is used to optimize the difference data between the reference parameter and the observation parameter to obtain observation compensation data of the observation parameter.
  • the embodiments of the present invention can define different power-on states for the mobile platform, and optimize the observation data obtained by different sensing data based on the visual perception system in different power-on states in a targeted manner, which can better guarantee The accuracy and timeliness of the optimization of the observation parameters facilitates the subsequent safer control of the mobile platform. And from the perspective of optimizing the observation data calculated by the VIO, the power-on state under different judgment conditions is selected to optimize the observation parameters, which can ensure the accuracy of the corresponding observation parameter optimization, so that the mobile platform can Get more accurate control.
  • the control device may be installed in a mobile platform as needed to optimize data on the mobile platform.
  • the control device may also be connected to the mobile platform as an external device, and used to receive relevant data of the mobile platform and optimize the data of the mobile platform.
  • the mobile platform may be an aircraft, an autonomous vehicle, etc., and the control device is connected to a visual perception system of the mobile platform, and the visual perception system includes an attitude sensor and a visual sensor.
  • the control device includes a communication interface 501 and a processor 502, and the control device may further include functional components such as a power supply module and a user interface for implementing human-machine interaction with a user.
  • the processor 502 may be a central processing unit (central processing unit, CPU).
  • the processor 502 may further include a hardware chip.
  • the above-mentioned hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (programmable logic device, PLD), or the like.
  • the PLD can be a field-programmable gate array (field-programmable gate array, FPGA), a general-purpose array logic (generic array logic, GAL), and so on.
  • control device may further set a storage device 503 to cooperate with the processor 502, the storage device 503 may include a volatile memory (volatile memory), such as a random access memory (random-access memory) , RAM); storage device 503 may also include non-volatile memory (non-volatile memory), such as flash memory (flash memory), solid-state hard drive (solid-state drive, SSD), etc.; storage device 503 may also include the above Combination of types of memory.
  • the processor 502 may call the program instructions stored in the storage device 503 for implementing the relevant content of the method for optimizing the parameters of the mobile platform in the foregoing embodiment.
  • the communication interface 501 is used to connect to a visual perception system, and the communication interface 501 may be connected to a mobile platform in a wired or wireless manner; the processor 502 is used to determine the current mobile platform Power-on state; acquiring sensor data collected by the mobile platform in the power-on state; if it is determined that the mobile platform is stable in the power-on state based on the sensor data, then The observation parameters of the mobile platform corresponding to the electrical state are optimized to correct the observation parameters; wherein the observation parameters are calculated based on the sensing data of the posture sensor and/or the visual sensor, so The mobile platform includes multiple power-on states, and different observation parameters correspond to different power-on states.
  • the processor 502 is further configured to detect whether the sensor data meets the preset optimization condition; if the sensor data meets the preset optimization condition, determine that the mobile platform is in The power-on state is stable, and the observation parameters can be optimized.
  • the power-on state includes a motion state
  • the mobile platform further includes a position sensor
  • the sensory data includes: acquired state parameters of the position sensor
  • the state parameters include one or more of attitude parameters, signal strength parameters, and speed accuracy estimation indicators;
  • the sensory data satisfying the preset optimization conditions includes: the attitude parameters satisfying It is assumed that the attitude condition, the signal strength indicated by the signal strength parameter is greater than a preset strength threshold, and the speed accuracy estimation index is less than any one or more of the preset index thresholds.
  • the posture parameters include: speed state parameters and/or altitude state parameters; the posture parameters satisfying posture conditions include: the speed indicated by the speed state parameter is greater than a preset speed threshold, and/or The height indicated by the height state parameter is greater than a preset height threshold.
  • the observation parameters include: visual speed data; the processor 502 is configured to optimize visual speed data of the mobile platform corresponding to the motion state; wherein, the visual speed data It is calculated by sensing data collected by the posture sensor and the visual sensor.
  • the observation parameters include: a first angle parameter; the processor 502 is configured to optimize the first angle parameter of the mobile platform corresponding to the motion state; wherein, the first An angle parameter includes: a first angle between the north direction estimated by the visual perception system and a true north direction, and the first angle is calculated by sensing data collected by the position sensor and the visual sensor.
  • the sensor data includes: a positioning speed parameter of the mobile platform, and the processor 502 is also used to determine whether the difference between the positioning speed parameter and the visual speed data meets the pre- Set a difference condition; and when the preset difference condition is satisfied, optimize the visual speed data of the mobile platform corresponding to the motion state.
  • the difference between the positioning speed parameter and the visual speed data satisfying the preset difference condition includes: between the mold length of the positioning speed parameter and the mold length of the visual speed data The difference is greater than the preset threshold.
  • the positioning speed parameter included in the sensor data is calculated based on an initial positioning speed parameter, and the initial positioning speed parameter is calculated based on positioning data sensed by the position sensor;
  • the processor 502 is configured to perform mapping calculation on the initial positioning speed parameter according to the mapping parameter to obtain a mapping speed parameter of the position sensor in the coordinate system where the attitude sensor is located; and use the mapping speed parameter as the positioning speed parameter.
  • the processor 502 is configured to obtain an angular velocity parameter sensed by the attitude sensor, and obtain a coordinate system rotation transformation matrix between the attitude sensor and the position sensor; according to the angular velocity parameter, The rotation transformation matrix of the coordinate system and the initial positioning speed parameter calculate the mapping speed parameter of the position sensor in the coordinate system where the attitude sensor is located.
  • the initial positioning speed parameter is obtained by calculating the positioning data sensed by the position sensor after acquiring a preset duration threshold of the sensing data collected by the attitude sensor.
  • the power-on state includes a hovering state
  • the sensing data includes: sensing data collected by the attitude sensor
  • the attitude sensor includes an accelerometer and a gyroscope; the sensing data satisfying the preset optimization condition includes: an acceleration modulus calculated based on the sensing data of the accelerometer is less than a preset acceleration
  • the module length threshold, the angle module length calculated based on the gyroscope sensing data is less than the preset angle module length threshold, and the speed module length calculated based on the accelerometer sensing data is less than the preset speed module length threshold Any one or more of them.
  • the processor 502 is configured to call a preset low-pass filter to filter the sensing data collected by the attitude sensor; process the filtered data to obtain the mobile platform in Sensor data in the power-on state.
  • the observation parameters include: a second angle parameter; the processor 502 is configured to optimize the second angle parameter of the mobile platform corresponding to the hover state; wherein, the The second angle parameter includes: a second included angle between the horizontal plane predicted by the visual perception system and a real horizontal plane, and the second included angle is calculated by sensing data collected by the attitude sensor.
  • the power-on state includes a static state
  • the sensory data includes: gyroscope measurements in the attitude sensor.
  • the sensing data satisfying the preset optimization condition includes: a modulus length of the mean value of the zero-axis deviation of the gyroscope is less than a preset first modulus length threshold, and/or, the gyroscope The modulus length of the variance of the zero-axis deviation of the instrument is less than a preset second modulus length threshold.
  • the observation parameters include: gyroscope parameters in the attitude sensor; the optimization of the observation parameters includes: the gyroscope of the attitude sensor in the mobile platform corresponding to the static state The gyroscope parameters are optimized; wherein, the gyroscope parameters include: the zero-axis deviation of the gyroscope in the attitude sensor.
  • the processor 502 is further configured to obtain reference parameters corresponding to the observation parameters of the mobile platform in the power-on state; and, the processor 502 performs the observation parameters Optimization refers to: optimizing the difference data between the reference parameter and the observation parameter to obtain observation compensation data of the observation parameter.
  • the embodiments of the present invention can define different power-on states for the mobile platform, and optimize the observation data obtained by different sensing data based on the visual perception system in different power-on states in a targeted manner, which can better guarantee The accuracy and timeliness of the optimization of the observation parameters facilitates the subsequent safer control of the mobile platform. And from the perspective of optimizing the observation data calculated by the VIO, the power-on state under different judgment conditions is selected to optimize the observation parameters, which can ensure the accuracy of the corresponding observation parameter optimization, so that the mobile platform can Get more accurate control.
  • FIG. 1 shows a multi-rotor aircraft.
  • the aircraft may specifically be a four-rotor aircraft, a six-rotor aircraft, an eight-rotor aircraft, and the like that can be driven by a rotor.
  • the aircraft may also be a fixed-wing aircraft or the like.
  • the aircraft includes a visual perception system 100, a controller 103, and a power assembly 104, wherein the visual perception system 100 includes an attitude sensor 101 and a visual sensor 102.
  • the aircraft also includes a power supply module, and may include sensors such as compasses, ultrasonic waves, and deformation mechanisms as needed.
  • the controller 103 may be a CPU.
  • the controller 103 may further include a hardware chip.
  • the above hardware chip may be ASIC, PLD, etc.
  • the above PLD may be FPGA, GAL, etc.
  • the aircraft may further include a storage device cooperating with the controller 103, the storage device may include a volatile memory (volatile memory), such as RAM; the storage device may also include a non-volatile memory (non-volatile memory), such as flash memory (flash memory), SSD, etc.; the storage device may also include a combination of the above types of memories.
  • the controller 103 may call program instructions stored in the storage device to implement various relevant contents of the parameter optimization method for the mobile platform in the foregoing embodiment.
  • the controller 103 is used to calculate observation parameters based on the sensing data of the posture sensor 101 and/or the visual sensor 102, and to determine the current power-on state of the mobile platform ; Obtain the sensor data collected by the mobile platform in the power-on state; if it is determined that the mobile platform is stable under the power-on state based on the sensor data, then the power-on state is The corresponding observation parameters of the mobile platform are optimized to correct the observation parameters; wherein the observation parameters are calculated based on the sensing data of the posture sensor and/or the visual sensor, the mobile platform It includes multiple power-on states, corresponding to different observation parameters under different power-on states, and is used to control the power assembly 104 based on the corrected observation parameters to control the movement of the aircraft.
  • the controller 103 is further configured to detect whether the sensor data satisfies a preset optimization condition; if the sensor data satisfies the preset optimization condition, determine that the mobile platform is in The power-on state is stable.
  • the power-on state includes a motion state
  • the mobile platform further includes a position sensor
  • the sensory data includes: acquired state parameters of the position sensor
  • the state parameters include one or more of attitude parameters, signal strength parameters, and speed accuracy estimation indicators;
  • the sensory data satisfying the preset optimization conditions includes: the attitude parameters satisfying It is assumed that the attitude condition, the signal strength indicated by the signal strength parameter is greater than a preset strength threshold, and the speed accuracy estimation index is less than any one or more of the preset index thresholds.
  • the posture parameters include: speed state parameters and/or altitude state parameters; the posture parameters satisfying posture conditions include: the speed indicated by the speed state parameter is greater than a preset speed threshold, and/or The height indicated by the height state parameter is greater than a preset height threshold.
  • the observation parameters include: visual speed data; the controller 103 is configured to optimize visual speed data of the mobile platform corresponding to the motion state; wherein, the visual speed data It is calculated by sensing data collected by the position sensor and the visual sensor 102.
  • the observation parameters include: a first angle parameter; the controller 103 is configured to optimize the first angle parameter of the mobile platform corresponding to the motion state; wherein, the first An angle parameter includes: the first angle between the north direction estimated by the visual perception system 100 and the true north direction, the first angle is calculated by sensing data collected by the position sensor and the visual sensor 102 of.
  • the sensor data includes: a positioning speed parameter of the mobile platform, and the controller 103 is further used to determine whether the difference between the positioning speed parameter and the visual speed data meets the pre- Set a difference condition; and when the preset difference condition is satisfied, optimize the visual speed data of the mobile platform corresponding to the motion state.
  • the difference between the positioning speed parameter and the visual speed data satisfying the preset difference condition includes: between the mold length of the positioning speed parameter and the mold length of the visual speed data The difference is greater than the preset threshold.
  • the positioning speed parameter included in the sensor data is calculated based on an initial positioning speed parameter, and the initial positioning speed parameter is calculated based on positioning data sensed by the position sensor;
  • the controller 103 is configured to perform mapping calculation on the initial positioning speed parameter according to the mapping parameter to obtain a mapping speed parameter of the position sensor in the coordinate system where the attitude sensor 101 is located; and use the mapping speed parameter as the positioning speed parameter.
  • the controller 103 is configured to obtain an angular velocity parameter sensed by the attitude sensor 101, and obtain a coordinate transformation rotation matrix between the attitude sensor 101 and the position sensor; according to the angular velocity Parameters, the rotation transformation matrix of the coordinate system, and the initial positioning speed parameter, to calculate the mapping speed parameter of the position sensor in the coordinate system where the attitude sensor 101 is located.
  • the initial positioning speed parameter is obtained by calculating the positioning data sensed by the position sensor after acquiring a preset time threshold of the sensing data collected by the attitude sensor 101.
  • the power-on state includes a hovering state
  • the sensing data includes: sensing data collected by the attitude sensor 101.
  • the attitude sensor 101 includes an accelerometer and a gyroscope; the sensing data satisfying the preset optimization condition includes: an acceleration modulus length calculated based on the accelerometer sensing data is less than a preset The acceleration modulus length threshold, the angular modulus length calculated based on the gyroscope sensing data is less than the preset angle modulus length threshold, and the velocity modulus length calculated based on the accelerometer sensing data is less than the preset velocity modulus length Any one or more of the thresholds.
  • the controller 103 is configured to call a preset low-pass filter to filter the sensing data collected by the attitude sensor 101; process the filtered data to obtain the mobile platform Sensor data in the power-on state.
  • the observation parameters include: a second angle parameter; the controller 103 is configured to optimize the second angle parameter of the mobile platform corresponding to the hovering state; wherein, the The second angle parameter includes: a second included angle between the horizontal plane estimated by the visual perception system 100 and the real horizontal plane, the second included angle is calculated by sensing data collected by the attitude sensor 101.
  • the power-on state includes a static state
  • the sensory data includes: gyroscope measurements in the attitude sensor 101.
  • the sensing data satisfying the preset optimization condition includes: a modulus length of the mean value of the zero-axis deviation of the gyroscope is less than a preset first modulus length threshold, and/or, the gyroscope The modulus length of the variance of the zero-axis deviation of the instrument is less than a preset second modulus length threshold.
  • the observation parameters include: the gyroscope parameters in the attitude sensor 101; the optimization of the observation parameters includes: the attitude sensor 101 in the mobile platform corresponding to the static state The gyroscope parameters are optimized; wherein, the gyroscope parameters include: the zero-axis deviation of the gyroscope in the attitude sensor 101.
  • the controller 103 is further configured to obtain reference parameters corresponding to the observation parameters of the mobile platform in the power-on state; and, the controller 103 performs Optimization refers to: optimizing the difference data between the reference parameter and the observation parameter to obtain observation compensation data of the observation parameter.
  • the embodiments of the present invention can define different power-on states for the mobile platform, and optimize the observation data obtained by different sensing data based on the visual perception system in different power-on states in a targeted manner, which can better guarantee The accuracy and timeliness of the optimization of the observation parameters facilitates the subsequent safer control of the mobile platform. And from the perspective of optimizing the observation data calculated by the VIO, the power-on state under different judgment conditions is selected to optimize the observation parameters, which can ensure the accuracy of the corresponding observation parameter optimization, so that the mobile platform can Get more accurate control.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM) or a random storage memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

本发明实施例提供一种对移动平台的参数优化方法、装置及控制设备、飞行器，其中的方法包括：确定移动平台当前的上电状态（S201）；获取移动平台在上电状态下采集的传感数据（S202）；若根据传感数据确定移动平台在上电状态下为稳定状态，则对上电状态所对应的移动平台的观测参数进行优化，以修正观测参数（S203）；其中，观测参数是根据姿态传感器和/或视觉传感器的感测数据计算得到的，移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。采用本发明实施例，可以较好地保证观测参数优化的准确性和及时性，方便后续更加安全地对移动平台进行控制。

Description

对移动平台的参数优化方法、装置及控制设备、飞行器 技术领域
本发明实施例涉及电子技术领域，尤其涉及一种对移动平台的参数优化方法、装置及飞行器。
背景技术
随着电子技术、自动化技术的不断发展和完善，各类能够自动感知周围环境而进行智能运动控制的移动平台层出不穷，这些移动平台例如为飞行器、智能机器人、自动驾驶汽车等等。
为了实现智能运动控制，在这些移动平台上会设置一些传感器，经由这些传感器来感测移动平台周围的环境以及移动平台自身的数据，以这些数据为依据来完成移动平台的运动控制。例如会设置基于摄像头等装置的视觉传感器、包括加速度计、陀螺仪的IMU(Inertial measurement unit，惯性测量单元)、GPS(Global Positioning System，全球定位系统)模块等能够进行定位的位置传感器，基于这些传感器感测到的环境图像、移动平台的姿态，速度等参数、移动平台的位置等来实现对移动平台的控制。
目前，无人机、自动驾驶汽车等移动平台主要依赖于GPS的定位方式，来对移动平台进行定位，在准确定位的基础上，实现安全控制。为了进一步保证安全性，在实现是还可以引入了依靠计算机视觉算法的视觉感知系统，视觉感知系统可以提供速度、位置等信息的观测，从而实现稳定悬停以及运动规划等控制处理。而如何处理基于视觉感知系统而计算得到的相关参数，以便于更好地对各类移动平台进行自动化、智能化控制成为研究的热点问题。
发明内容
本发明实施例提供了一种对移动平台的参数优化方法、装置及飞行器，可有针对性地对不同的观测参数进行优化。
一方面，本发明实施例提供了一种对移动平台的参数优化方法，所述移动平台上设置有视觉感知系统，所述视觉感知系统包括姿态传感器和视觉传感器，所述方法包括：确定所述移动平台当前的上电状态；获取所述移动平台在所述上电状态下采集的传感数据；
若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；
其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
另一方面，本发明实施例提供了一种对移动平台的参数优化装置，所述移动平台上设置有视觉感知系统，所述视觉感知系统包括姿态传感器和视觉传感器，所述装置包括：确定模块，用于确定所述移动平台当前的上电状态；获取模块，用于获取所述移动平台在所述上电状态下采集的传感数据；优化模块，用于若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
另一方面，本发明实施例提供了一种控制设备，所述控制设备用于对移动平台进行参数优化，所述控制设备与移动平台的视觉感知系统相连，所述视觉感知系统包括姿态传感器和视觉传感器，所述控制设备包括：通信接口和处理器；所述通信接口，用于与视觉感知系统相连；所述处理器，用于获取所述移动平台在所述上电状态下采集的传感数据；若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
另一方面，本发明实施例提供了一种飞行器，所述飞行器包括：视觉感知系统、控制器、动力组件，其中，所述视觉感知系统包括姿态传感器和视觉传感器；
所述控制器，用于根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到观测参数，并且用于确定所述移动平台当前的上电状态；获取所述移动平台在所述上电状态下采集的传感数据；若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的 观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数，并用于基于修正后的观测参数对所述动力组件进行控制，以控制所述飞行器运动。
本发明实施例能够对移动平台定义不同的上电状态，并在不同的上电状态下有针对性地对不同的基于视觉感知系统的感测数据得到的观测数据进行优化，可以较好地保证观测参数优化的准确性和及时性，方便后续更加安全地对移动平台进行控制。
附图说明
图1是本发明实施例的一种飞行器的结构示意图；
图2是本发明实施例的一种对移动平台的参数优化方法的流程示意图；
图3a是本发明实施例的基于视觉定位算法计算相关感测数据的示意图；
图3b是本发明实施例的基于视觉定位算法计算相关感测数据的示意图；
图4是本发明实施例的一种对移动平台的参数优化装置的结构示意图；
图5是本发明实施例的一种控制设备的结构示意图。
具体实施方式
在本发明实施例中，移动平台的运动主要是结合位置传感器的定位数据和视觉感知系统的观测数据，来对移动平台进行自动化控制。位置传感器例如可以是常见的GPS定位传感器，也可以为能够定位经纬度坐标的其他传感器，例如北斗定位传感器、伽利略定位传感器等等。而本发明实施例的视觉感知系统则主要包括姿态传感器和视觉传感器，所述姿态传感器包括加速度计和陀螺仪，例如可以为一个IMU模块，所述视觉传感器则主要基于双目摄像头构建得到。
图1是以飞行器为例示意了本发明实施例的移动平台的结构示意图，其中包括IMU101和双目视觉传感器102，IMU101和双目视觉传感器102的感测数据可以发送给飞行器的飞行控制器103，由飞行控制器103进行计算以得到能够用来控制飞行器飞行的数据，例如基于视觉定位算法对IMU101和双目视觉传感器102的感测数据进行计算得到观测参数，如用于定位的数据。在其他实施例中，可以根据用户的需求以及所处环境的不同，可以在飞行器、智能机器人、自动驾驶汽车等移动平台构建不同结构以及安装方式，以达到对移动平台更为 稳定、安全的控制目的。
在本发明实施例中，请参见图2，是本发明实施例的一种对移动平台的参数优化方法的流程示意图，该优化方法可以由一个单独的控制设备来实现，该控制设备一方面能够与视觉感知系统相连，以便于对视觉感知系统的相关数据进行计算优化，另一方面能够将最终优化得到的数据输出，以便于更好地对移动平台进行安全控制。当然，所述优化方法也可以由移动平台中的某个功能模块来实现，通过该功能模块来获取视觉感知系统的相关数据，然后直接对移动平台进行安全控制，例如，对于飞行器而言，可以是该飞行器的飞行控制器来执行，对于自动驾驶汽车而言，可以是由该自动驾驶汽车的中央控制器来执行。
可以根据移动平台的感测数据和/或移动平台上的部分或者全部的功能部件的传感数据来在S201中确定移动平台当前的上电状态，当然，移动平台的上电状态还可以通过其他方式来确定。在一个实施例中，还可以根据设置的对移动平台的控制模式来确定移动平台的上电状态，例如飞行器可以被用户通过遥控器设置的方式设置为按照预设航线自动飞行的飞行模式、停止飞行的悬停模式、降落后的待机模式等等，这些模式在一个实施例中可以基于用户在遥控器上的一次或多次用户操作来实现。在本发明实施例中，可以为移动平台至少定义两个上电状态，从而可以基于不同的上电状态下的安全控制需求，有针对性地对视觉感知系统对应的观测参数进行优化。在本发明实施例中，上电状态可以包括但不限于：运动状态、悬停状态、静置状态。其中，当移动平台为飞行器时，运动状态可以为飞行状态，且悬停状态可以是飞行器悬停于空中的特有状态；静置状态可以被描述为移动平台已经上电后但并未启动电机，而移动平台被放置在水平地面等场地上时的状态，例如，飞行器被上电后，放在地面上随时可以接收飞行指令时的状态。
可以在确定移动平台当前的上电状态的同时或者之后，在S202中获取移动平台在上电状态下采集的传感数据。传感数据主要是指在移动平台上的传感器输出的数据来确定的，移动平台的传感器例如可以包括位置传感器、上述的姿态传感器如IMU，视觉传感器等等。在不同的上电状态下，所需的传感数据不相同。在一个实施例中，在上电状态为运动状态下，所需的传感数据包括：位置传感器的状态参数，状态参数具体可以是速度状态参数、高度状态参数、信号强度参数、速度精度估计指标中的任意一个或者多个。在上电状态为悬停状态下，传感数据包括：基于姿态传感器采集的感测数据计算得到的数据，姿态 传感器包括加速度计和陀螺仪，具体的，传感数据可以包括：基于加速度计的感测数据计算的加速度、基于陀螺仪的感测数据计算的角度、基于加速度计的感测数据计算得到的速度中的任意一个或者多个数据。在上电状态包括静置状态时，传感数据包括：姿态传感器中的陀螺仪的测量值，具体的，传感器数据可以包括：陀螺仪的零轴偏差。
在获取到上电状态下的传感数据后，在S203中若根据传感数据确定移动平台在上电状态下为稳定状态，则对上电状态所对应的移动平台的观测参数进行优化，以修正观测参数。
由于移动平台已经处于相应的上电状态了，因此，此时需要优化的观测参数为移动平台在当前上电状态下的观测参数，观测参数是根据姿态传感器和/或视觉传感器的感测数据计算得到。在一个实施例中，视觉感知系统对应的观测参数可以是基于视觉定位算法对姿态传感器(如惯性测量单元)和/或视觉传感器的感测数据进行计算得到。视觉定位算法例如可以是VO(Visual Odometry，视觉里程计)算法或VIO(Visual-Inertial Odometry,视觉惯导里程计)算法。
基于视觉与惯导相结合的视觉感知系统最少只需要一个相机(如摄像头)和一个IMU就可以完成移动平台的定位功能，这样可以使移动平台在室内等无GPS或GPS较弱的情况下感知自己相对于环境的位置，进而完成导航等上层应用，扩展了移动平台的使用范围。可以按照是否把视觉传感器感测的图像的图像特征加入到状态向量，将视觉定位算法分为松耦合(loosely-coupled)和紧耦合(tightly-coupled)。
其中，松耦合未把图像特征加入到状态向量中，而是把图像作为一个黑盒子，基于图像独立计算出相机(如视觉传感器)的位姿(位置与姿态)，然后才和IMU信息进行融合，具体如图3a所示。所述的松耦合算法可理解为VO算法。
紧耦合是把图像特征加入到状态向量中，并使用两个传感器的原始数据共同估计一组向量，具体如图3b所示，其充分使用了姿态传感器(如惯性测量单元)和视觉传感器的感测数据，能达到比较高的定位精度。所述的紧耦合算法可理解为VIO算法。
可以理解，在松耦合或紧耦合算法中，也可以融入其它传感器的数据，如GPS等位置传感器，具体可以根据需要进行设定。
在本发明实施例，可以选择使用IMU+视觉传感器，使用6-DoF(Degrees of freedom，六自由度)的VIO算法来计算得到移动平台的观测参数。其中，所述 的六自由度是指x轴、y轴、z轴的旋转以及x轴、y轴、z轴方向上的平移。而计算得到的观测参数则可以包括：视觉速度数据、第一角度参数和第二角度参数、姿态传感器中的陀螺仪参数。其中，第一角度参数包括：视觉感知系统预估的北向与真实北向之间的第一夹角，第一夹角是对位置传感器和视觉传感器采集的感测数据进行计算得到的；第二角度参数包括：视觉感知系统预估的水平面与真实水平面之间的第二夹角，第二夹角是对姿态传感器采集的感测数据进行计算得到的。陀螺仪参数包括：姿态传感器中陀螺仪的零轴偏差。
在得到了上述的观测参数后，且根据传感数据确定移动平台在上电状态下为稳定状态，即可在所述S203中对观测参数进行优化，以控制移动平台。可以基于对观测参数优化后得到的相关参数，对移动平台当前的位置、姿态等进行修正，以便于得到更为准确的相关视觉定位参数，最终依据这些更为准确的视觉定位参数对移动平台进行安全控制。例如，可以控制如图1所述的无人机能够更稳定地飞行、更稳定地悬停。在一个实施例中，对观测参数的优化可以基于卡尔曼滤波器对移动平台的观测参数进行优化。
另外，在优化过程中，针对一些上电状态，例如后续提到的运动状态，可以利用一些参考参数来对观测参数进行优化。具体的，本发明实施例的所述方法包括：获取移动平台在上电状态下的观测参数对应的参考参数；对观测参数进行优化，包括：对参考参数和观测参数之间的差异数据进行优化，得到观测参数的观测补偿数据。所述的参考参数例如可以是基于GPS等位置传感器感测到的相对准确的参数，基于这些相对准确的数据来对基于VIO等算法计算得到的观测参数进行优化。具体的优化方式可参考下述实施例中，对视觉速度数据和第一角度参数数据等观测参数的优化。
在本发明实施例中，可以在对观测参数进行优化之前，先根据传感数据确定移动平台在上电状态下是否为稳定状态。由此，可以定义一些条件，在传感数据满足条件时，才认为移动平台在当前的上电状态下为稳定状态，且可以开始对观测参数进行优化。基于定义的这些条件来触发优化可以在一定程度上保证不会将本来较优的观测参数进行了错误的优化，或保证不会对观测参数进行不必要的优化。在一个实施例中，在执行S203之前，所述方法可以包括：检测所述传感数据是否满足预设优化条件；若传感数据满足预设优化条件，则确定移动平台在上电状态下为稳定状态，以便于执行所述S203中对观测参数进行优化的步骤，以控制移动平台的步骤。
下面基于移动平台的不同上电状态，且以移动平台为飞行器为例，对移动平台的相应上电状态下的相应观测参数的优化进行详细说明：
经研究发现，对于单目的VIO系统，比如一些飞行器是在飞行器的左右侧面仅设置了单目视觉传感器，或是在高空中双目视觉传感器的图像之间基本没有差别，也退化为单目视觉传感器的情况下，基于VIO算法计算得到的观测参数的准确性无法保证。并且，在飞行器匀速运动的时候，姿态传感器IMU中的加速度计基本没有观测(因为加速度计测量的是加速度)，整个算法退化为SfM(Structure from motion，运动推断结构算法)，基于VIO算法计算得到的观测参数的准确性也是无法保证的。例如，经过测试发现，在飞行器以真实速度为10m/s匀速运动时，基于VIO算法计算得到的观测参数(即观测得到的速度)可能只有真实速度的0.92倍，即9.2m/s。也就是说，基于上述情况，可以选择在运动状态下对观测参数进行优化，以尽量得到更优的观测参数。
在一个实施例中，定义了运动状态作为移动平台上电状态之一，移动平台上还设置了上述提及的GPS、北斗、伽利略等位置传感器。处于运动状态下，可以选择采用基于位置传感器的观测值来修正视觉感知系统的观测参数，即所采用的观测值可以对应于上述提及的参考参数，基于位置传感器对应的参考参数与观测参数之间的差异数据进行优化，从而得到观测参数的观测补偿数据。基于此，需要保证位置传感器的观测值为相对较为准确的值，在此情况下需要对位置传感器的数据进行相应的评估，判定其是否满足预设优化条件。因此，传感数据包括获取的位置传感器的状态参数，也即通过位置传感器的状态参数来判断位置传感器的感测信号(如定位信号)是否较优，并在感测信号较优的情况下确定传感数据满足预设优化条件。具体的，在运动状态下，位置传感器的状态参数包括：姿态参数、信号强度参数和速度精度估计指标中的一种或多种，对应的，传感数据满足预设优化条件包括：姿态参数满足预设姿态条件、信号强度参数所指示的信号强度大于预设的强度阈值、速度精度估计指标小于预设的指标阈值中的任意一种或多种。只要在运动状态下选择的这些传感数据满足预设优化条件，则可以认为移动平台在运动状态下为稳定状态。
在一个实施例中，姿态参数包括：速度状态参数和/或高度状态参数；对应的，姿态参数满足姿态条件包括：速度状态参数所指示的速度大于预设的速度阈值，和/或高度状态参数所指示的高度大于预设的高度阈值。在一个实施例中，具体可以判断基于位置传感器的感测数据计算得到的水平速度的模长是否大于 3m/s(或者其他速度阈值)，以及高度是否大于12米(或者其他高度阈值，该高度阈值是根据视觉传感器中的双摄像头的参数确定的，具体可以基于双摄像头的分辨率、焦距以及双目间距)来确定是否满足预设优化条件。其中，速度越大GPS等位置传感器的观测质量越高，可信度也越高，而同时高空高速运行也是VIO算法容易出问题的时段，因此在速度大于3m/s、高度大于12米时，可以认为位置传感器的动态性能较好，基于位置传感器确定的参考参数，能够最终对VIO算法计算得到的观测参数进行优化。同时，基于GPS等位置传感器的姿态参数，也可以确定飞行器等移动平台处于运动状态。
在一个实施例中，还可以参考GPS等位置传感器的信号强度，如果信号强度大于预设的强度阈值例如3，则也可以认为基于GPS等位置传感器得到的观测值较为准确，可以用来对VIO算法计算得到的观测参数进行优化。另外，在参考位置传感器的信号强度时，还可以进一步参考GPS的DOP(Dilution of precision，精度因子)指标，以此来综合评估位置传感器的观测值是否较优。
在一个实施例中，还可以参考GPS等位置传感器的速度精度估计指标，如果该速度精度估计指标小于预设的指标阈值例如20，则可以认为基于GPS等位置传感器得到的观测值较为准确，可以用来对VIO算法计算得到的观测参数进行优化。
在一个实施例中，在运动状态下对观测参数进行优化可以是对观测参数包括的视觉速度数据进行优化。也就是说，在运动状态下，对观测参数进行优化，包括：对运动状态下对应的移动平台的视觉速度数据进行优化；其中，视觉速度数据是对姿态传感器和视觉传感器采集的感测数据进行计算得到的。基于VIO算法计算得到的视觉速度数据V vio的具体计算方式可参考现有的方式。
在本发明实施例中，对视觉速度数据的优化可以是调用预置的卡尔曼滤波器进行的，主要思路是优化需要修正的速度的尺度残差，并利用修正后的速度的尺度残差对观测参数(即视觉速度数据V vio)进行补偿。在此思路中所使用的残差公式如下：
Figure PCTCN2018118768-appb-000001
其中，两个雅克比矩阵利用如下公式表示：
Figure PCTCN2018118768-appb-000002
上述公式1和公式2中，V GPS表示基于GPS的感测数据计算得到的速度，可以称之为定位速度参数，V GPS,x和V GPS,y分别表示V GPS在GPS传感器所在的坐标系下的x轴和y轴上分解的速度，也可以理解为一种定位速度参数，该定位速度参数可以认为是上述提及的位置传感器的参考参数，利用该参考参数(定位速度参数)来对观测参数(视觉速度数据)进行优化。同理，V vio,x和V vio,y分别表示V vio在视觉传感器所对应的坐标系(VIO坐标系)下的x轴和y轴上分解的速度，δs x和δs y是需要卡尔曼滤波器优化得到的数据，δs x和δs y分别可以表示为对V vio在视觉传感器所对应的坐标系下的x轴和y轴上的速度进行补偿的速度补偿量。得到速度的尺度残差r和两个雅克比矩阵的表达式后，基于卡尔曼滤波器来优化得到速度补偿量，以基于该速度补偿量对V vio,x和V vio,y分别进行补偿优化，最终完成对V vio的优化。
在一个实施例中，可以采用非线性的误差状态的扩展卡尔曼滤波器(No-linear error state EKF(Extended Kalman Filter，扩展卡尔曼滤波器))优化得到速度补偿量。具体的，对于上述提及的公式1，具体是将J x和J y、以及
Figure PCTCN2018118768-appb-000003
作为No-linear error state EKF的输入数据，优化得到的输出数据即为δs x和δs y，在得到速度补偿量δs x和δs y后，在基于VIO算法已经得到的V vio,x和V vio,y基础上，加上相应的速度补偿量，即完成了对视觉速度数据的优化。
在一个实施例中，在运动状态下对观测参数进行优化主要还可以是对观测参数包括的第一角度参数进行优化，也就是说，在运动状态下，对观测参数进行优化，包括：对运动状态下对应的移动平台的第一角度参数进行优化；其中，第一角度参数包括：视觉感知系统预估的北向与真实北向之间的第一夹角，第一夹角是对位置传感器和视觉传感器采集的感测数据进行计算得到的。例如，第一角度参数具体可以包括：基于位置传感器和视觉传感器采集的感测数据计算得到视觉感知系统预估的北向与真实北向(如根据GPS的感测数据确定的北向)之间的偏差(如偏航yaw角偏差)。基于位置传感器和视觉传感器采集的感测数据计算得到第一角度参数可以采用现有的计算方式计算得到。
在本发明实施例中，对第一角度参数的优化也可以是调用预置的卡尔曼滤波器进行的，在优化过程中采用的思路可以包括：修正视觉感知系统预估的北向与真实北向之间的偏差，然后将GPS等位置传感器所在的坐标系下的速度观测转到VIO坐标系下求残差修正速度，完成修正。其中，由于IMU所在的坐标 系会与GPS所在的坐标系对齐，则间接修正了VIO坐标系与IMU所在的坐标系之间的偏差。在此思路下的残差公式如下：
Figure PCTCN2018118768-appb-000004
其中，两个雅克比矩阵利用如下公式表示：
Figure PCTCN2018118768-appb-000005
其中，
Figure PCTCN2018118768-appb-000006
可以定义为：二维GPS坐标系按顺时针转动到VIO坐标系的角度。
Figure PCTCN2018118768-appb-000007
为卡尔曼滤波器需要优化输出的值，表示第一角度参数的角度补偿量。同样，在得到残差r和雅克比矩阵的表达式后，即可具体调用预设的卡尔曼滤波器来优化得到相应的角度补偿量，以对基于视觉感知系统所对应的第一角度参数例如yaw角进行补偿优化。在公式3中的δV是指基于VIO计算得到的在VIO坐标系下的速度的速度补偿量，在公式4中的v x和v y则表示为基于VIO计算得到的速度在VIO坐标系的x轴和y轴上的分解速度。
在一个实施例中，可以采用非线性的误差状态的扩展卡尔曼滤波器(No-linear error state EKF)优化得到第一角度参数的角度补偿量。具体的，对于上述提及的公式3，具体是将J v和
Figure PCTCN2018118768-appb-000008
以及
Figure PCTCN2018118768-appb-000009
作为No-linear error state EKF的输入数据，优化得到的输出数据包括
Figure PCTCN2018118768-appb-000010
在得到第一角度参数的角度补偿量
Figure PCTCN2018118768-appb-000011
后，在基于VIO算法已经得到的
Figure PCTCN2018118768-appb-000012
基础上，加上该第一角度参数的角度补偿量，即完成了对第一角度参数的优化。
在一个实施例中，姿态传感器包括陀螺仪，在对第一角度参数进行优化之前，还可以进一步检测陀螺仪的当前读数ω与陀螺仪当前的零轴偏差之间的差异是否满足预设条件，例如，可以检测陀螺仪的当前读数ω与陀螺仪当前的零轴偏差之间的模长是否小于预设阈值，若该模长小于预设阈值，则说明移动平台当前的姿态较为平稳，且可以认为其未绕偏航轴发生转动，那么此时可以对第一角度参数例如yaw角进行补偿优化。
通过上述的实施例可以看出，一方面，确定出了观测参数中视觉速度参数和第一角度参数容易出现误差的运动状态，并在运动状态下对基于VIO算法计算得到观测参数中的视觉速度数据、第一角度参数进行优化，使得观测参数的 优化更具针对性；另一方面也对在观测参数优化所需的参考参数进行了筛选，只有在满足条件时位置传感器的感测数据才会被利用来确定参考参数，这样也较好地保证了对观测参数进行优化的准确性。
另外，在一个实施例中，是对V vio进行优化还是对第一角度参数进行优化可以根据需要进行选择。可以判断定位速度参数与视觉速度数据之间的差异是否满足预设的差异条件；若是，则触发执行对运动状态下对应的移动平台的视觉速度数据进行优化，在优化时将所述定位速度参数进一步作为参考参数参与对视觉速度数据的优化。如果此时在对第一角度参数进行优化，则可以取消对第一角度参数的优化转而进行对视觉速度数据的优化。也就是说，对视觉速度数据进行优化的优先级高，但是并不是一直修正，当检测到尺度差异大于某一阈值V H，如：定位速度参数的模长与视觉速度数据的模长之间的差值大于预设的阈值||V GPS||-||V VIO||＞V H，则可以打断对第一角度参数的优化而对视觉速度数据进行V vio优化。
另外，在一个实施例中，为了保证在计算时使用了准确的V GPS，避免由于GPS等位置传感器和姿态传感器IMU安装位置不同而带来的杆臂误差，可将计算得到的GPS等位置传感器的速度转到IMU端上，将转换后的速度作为位置传感器的观测值即V GPS。也就是说，传感数据中包括的定位速度参数是根据初始定位速度参数计算得到的，初始定位速度参数是根据位置传感器感测到的定位数据计算得到。其中，根据初始定位速度参数计算得到定位速度参数，包括：根据映射参数对初始定位速度参数进行映射计算，得到位置传感器在姿态传感器所在坐标系下的映射速度参数；将映射速度参数作为定位速度参数。在一个实施例中，根据映射参数对初始定位速度参数进行映射计算，得到位置传感器在姿态传感器所在坐标系下的映射速度参数，包括：获取姿态传感器感测得到的角速度参数，并获取姿态传感器与位置传感器之间的坐标系旋转变换矩阵；根据角速度参数、坐标系旋转变换矩阵、以及初始定位速度参数，计算得到位置传感器在姿态传感器所在坐标系下的映射速度参数。在一个实施例中，具体的转化公式如下：
V IMU＝V GPS-R wi[m gyro] ×T IG              公式5；
其中，V IMU表示转化到IMU端的速度，对应于上述的V GPS，V GPS是原始的GPS端的速度即初始定位速度参数，R wi是IMU所在的坐标系到世界坐标系的旋转变换矩阵，m gyro为陀螺测量的角速度，[] ×是叉乘的矩阵表达,T IG是指在IMU 坐标系下，GPS指向IMU的平移向量。
进一步地，在本发明实施例中还可以对GPS等位置传感器和IMU因为时间不同步带来的误差进行处理。具体可以通过时间戳来同步，初始定位速度参数是在获取到姿态传感器采集的感测数据的预设时长阈值后、对位置传感器感测到的定位数据进行计算得到的。例如，GPS的观测一般是500ms，所以IMU的值出来后，需要大概500ms(预设时长阈值)再与GPS速度比较。
在一个实施例中，在VIO计算过程中，可能会引入一些观测较差或是匹配错误的特征点，但这些特征点并不能完全筛除，且会使VIO计算得到的姿态逐渐错误，引起VIO坐标系与IMU的基准坐标系发生了偏移，由此计算出来的相应观测参数例如上述提及的视觉速度数据作为反馈是不准确的。为了进一步保证VIO姿态的稳定性，减少采用错误的特征点或质量较差的特征点用于计算而造成的姿态偏差，可以在VIO中加入重力更新，即重力优化，在稳定悬停状态下，可以修正在VIO坐标系下预估的水平面与在世界坐标系下的真实水平面之间的水平夹角偏差。
因此，本发明实施例还定义了悬停状态作为移动平台的上电状态之一，悬停状态主要是针对如图1所示的无人机之类的移动平台进行定义的，悬停状态是指无人机等移动平台在空中的某个位置停止不动。在悬停状态下，所使用的参考参数主要包括重力加速度即9.8m/s 2。通过重力加速度来对在VIO坐标系下预估的水平面与在世界坐标系下的真实水平面之间的水平夹角偏差进行优化。
在悬停状态下，传感数据包括：姿态传感器采集的感测数据。姿态传感器例如可以是上述的IMU，包括加速度计和陀螺仪，而传感数据满足预设优化条件后即可以认为移动平台目前处于悬停状态且悬停较为稳定。
重力修正即对观测参数包括的第二角度参数的优化是在稳定悬停的时候进行的，此时的加速度基本为0，只能测量到朝向地心的重力加速度，所以用重力来修正是准确的。获取无人机飞行器是否处于稳定的悬停状态，可以是利用现有的状态量，从飞控获取到相应的悬停状态信号，甚至由用户观测判断飞行器悬停稳定后通过遥控信号发起移动平台处于悬停状态的通知。也可以在判定加速度模长、陀螺仪的模长、以及速度的模长都足够小时，即可说明飞行器稳定悬停了。在一个实施例中，传感数据满足预设优化条件可以包括如下情况中的任意一种或多种：
基于加速度计的感测数据计算的加速度模长小于预设的加速度模长阈值， 具体的表达式可以表示为：||m a-b a|| 2＜a th，其中，m a是指根据加速度计的感测数据计算得到的加速度，b a是指加速度计的零轴偏差、a th为加速度模长阈值；
基于陀螺仪的感测数据计算的角度模长小于预设的角度模长阈值，具体的表达式可以表示为：||m ω-b ω|| 2＜ω th，其中，m ω是指根据陀螺仪的感测数据计算得到的角度、b ω是指陀螺仪的零轴偏差，ω th是指角度模长阈值；
基于加速度计的感测数据计算得到的速度模长小于预设的速度模长阈值，具体的表达式可以表示为：||V|| 2＜V th，其中，V是指基于加速度计的感测数据计算得到的速度，V th是指速度模长阈值。
即只要悬停状态下的这些传感数据满足预设优化条件，则可以认为移动平台在悬停状态下为稳定状态，即稳定悬停。
进一步需要说明的是，IMU数据的更新频率比较高，例如可以达到200Hz，而VIO算法的更新速度比较低，例如仅为20Hz，为了保证数据的准确性，可以调用预置的低通滤波器对姿态传感器采集的感测数据进行滤波；对滤波后得到的数据进行处理，得到移动平台在上电状态下的传感数据。即将IMU数据做一个低通滤波，比如二阶巴特沃斯滤波，截止频率设为20Hz，可以滤除高频噪声，使得传感数据即姿态传感器采集的感测数据更准确。
在悬停状态下进行的重力修正即是对观测参数中包括的第二角度参数的优化，对观测参数进行优化，包括：对悬停状态下对应的移动平台的第二角度参数进行优化；其中，第二角度参数包括：视觉感知系统预估的水平面与由世界坐标系下的真实水平面之间的第二夹角，第二夹角是对姿态传感器采集的感测数据进行计算得到的。
对第二夹角参数进行优化时所使用的残差公式如下：
Figure PCTCN2018118768-appb-000013
其中，雅克比矩阵的表达式如下：
Figure PCTCN2018118768-appb-000014
其中，θ即为：二维GPS位置传感器(世界坐标系下)确定的水平面与在VIO坐标系下预估的水平面之间的水平面夹角，m a为加速度计的测量值，b a是加速度计的零轴偏差。g是重力加速度，一般是9.8m/s 2。δθ为第二角度参数的补偿量，是需要卡尔曼滤波器进行优化得到。在得到残差r以及雅克比矩阵后， 可以调用预设的卡尔曼滤波器得到第二角度参数补偿量，在基于视觉感知系统及VIO算法计算得到的第二角度参数的基础上加上该第二角度参数补偿量即完成对观测参数的优化。公式6中的R wi是IMU所在的坐标系到世界坐标系的旋转变换矩阵，而公式7中的[] ×是叉乘的矩阵表达。
在一个实施例中，可以采用非线性的误差状态的扩展卡尔曼滤波器(No-linear error state EKF)优化得到第二角度参数补偿量。具体的，对于上述提及的公式6，具体是将J θ和
Figure PCTCN2018118768-appb-000015
以及
Figure PCTCN2018118768-appb-000016
作为No-linear error state EKF的输入数据，优化得到的输出数据包括δθ，在得到第二角度参数的补偿量δθ后，基于在基于VIO算法已经得到的θ基础上，加上第二角度参数的补偿量，即完成了对第二角度参数的优化。
基于上述实施例的描述，一方面，针对观测参数中第二角度参数容易被估计错误的情况，确定了在悬停状态下基于加速度计的测量值、加速度计的零轴偏差以及重力加速度等参考参数对第二角度参数进行优化，使得所说的第二角度参数能够更加准确地被优化，另一方面，还定义了用来确定处于稳定的悬停状态的确定条件，以便于能够获取准确的相关参考参数而不会被其他数据干扰，也较好地保证了对第二角度参数进行优化的准确性。
进一步的，经研究发现，移动平台的用户在移动平台上电后，并不是马上控制移动平台运动，例如对于飞行器而言，用户可能会倒提着飞行器到处走动以寻找起飞点，而此过程产生了较大的晃动，且飞行器处于倒立状态，若用户在找到合适起飞点后又立刻控制飞行器起飞，则此时飞行器的姿态估计并未收敛或收敛较慢，基于VIO算法就会计算出错误的姿态，造成起飞后悬停不稳定。
因此，在一个实施例中，定义了静置状态为移动平台的上电状态之一，在静置状态下，对陀螺仪的零轴偏差进行优化的参考参数可以为陀螺仪的当前读数，而由于移动平台静置，则陀螺仪的当前读数理论上为0。在静置状态下的传感数据包括：姿态传感器中的陀螺仪的测量值，为了加快计算收敛速度，可以对姿态传感器中的陀螺仪的测量值进行优化，具体可以是对姿态传感器中的陀螺仪参数即上述的陀螺仪的零轴偏差bias进行优化。陀螺仪的零轴偏差bias的修正需要在移动平台静置的时候(具体可以认为是落地且未启动电机)，和上述 提及的稳定悬停一样，可以利用现有的状态观测量从飞控获取，或者由用户观测确定处于静置状态后通过遥控器等设备进行通知。
在本发明实例中，也可以做一个判定处理，即判断传感数据满足预设优化条件包括：陀螺仪的零轴偏差的均值的模长小于预设的第一模长阈值，和/或，陀螺仪的零轴偏差的方差的模长小于预设的第二模长阈值。具体的，首先取最近N秒(例如1秒)内的陀螺仪的观测值即计算得到的陀螺仪的bias，求取均值μ和标准差σ，需要满足条件||μ|| 2＜μ T，||σ|| 2＜σ T，μ T为均值阈值可以取0.05(或其他值)，σ T为标准差阈值可以取0.005(或其他值)来判定，符合条件就认为移动平台处于静置状态，且可认为移动平台在静置状态下为稳定状态，即稳定静置，可以用来更新优化陀螺仪的bias，否则不优化。
在一个实施例中，对静置状态下对应的移动平台中姿态传感器的陀螺仪参数进行优化的过程中，残差的计算表达式如下：
Figure PCTCN2018118768-appb-000017
其中，雅克比矩阵的表达式为：
Figure PCTCN2018118768-appb-000018
其中，m ω是指基于陀螺仪的感测数据确定的角度，b ω是指当前陀螺仪的零轴偏差，I是指Identity matrix单位矩阵。δb ω是需要基于卡尔曼滤波器优化得到的值，表示为陀螺仪的零轴偏差的补偿量，将当前计算得到的陀螺仪的bias加上该δb ω即可完成对姿态传感器中的陀螺仪参数的优化。
在一个实施例中，可以采用非线性的误差状态的扩展卡尔曼滤波器(No-linear error state EKF)优化得到陀螺仪的零轴偏差的补偿量。具体的，对于上述提及的公式8，具体是将
Figure PCTCN2018118768-appb-000019
以及m ω-b ω作为No-linear error state EKF的输入数据，优化得到的输出数据即为δb ω，在得到陀螺仪的零轴偏差的补偿量δb ω后，在基于VIO算法已经得到的b ω基础上，加上δb ω，即完成了对陀螺仪的零轴偏差的优化。
基于上述实施例的描述，一方面确定了观测参数中陀螺仪的零轴偏差容易出现错误的场景，并且确定了一个静置状态，以便在该静置状态下快速地完成陀螺仪的零轴偏差的优化，另一方面定义了确定移动平台是否为静置状态的条件，能够准确地确定移动平台是否处于静置状态，也进一步较好地保证了对陀螺仪的零轴偏差进行优化的准确性。
本发明实施例能够对移动平台定义不同的上电状态，并在不同的上电状态下有针对性地对不同的基于视觉感知系统的感测数据得到的观测数据进行优化，可以较好地保证观测参数优化的准确性和及时性，方便后续更加安全地对移动平台进行控制。并且从更好地对VIO计算的观测数据进行优化的角度出发，选择了在不同的判断条件下的上电状态来对观测参数进行优化，可以保证相应观测参数优化的准确性，使得移动平台能够得到更准确的控制。
再请参见图4，是本发明实施例的一种对移动平台的参数优化装置的结构示意图；所述装置可以设置在一个单独的控制设备中，也可以设置在移动平台的相应控制模块中，例如对于飞行器而言，可以设置在飞行器的飞行控制器中。在本发明实施例中，所述移动平台上设置有视觉感知系统，所述视觉感知系统包括姿态传感器和视觉传感器，所述装置包括如下模块。
确定模块401，用于确定所述移动平台当前的上电状态；获取模块402，用于获取所述移动平台在所述上电状态下采集的传感数据；优化模块403，用于若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
在一个实施例中，在所述获取所述移动平台在所述上电状态下的观测参数之前，所述获取模块402，还用于检测所述传感数据是否满足预设优化条件；若所述传感数据满足所述预设优化条件，则确定所述移动平台在所述上电状态下为稳定状态，可以触发所述优化模块403对现有的观测参数进行优化。
在一个实施例中，所述上电状态包括运动状态，所述移动平台还包括位置传感器，所述传感数据包括：获取的所述位置传感器的状态参数。
在一个实施例中，所述状态参数包括姿态参数、信号强度参数和速度精度估计指标；所述传感数据满足所述预设优化条件包括：所述姿态参数满足预设姿态条件、所述信号强度参数所指示的信号强度大于预设的强度阈值、所述速度精度估计指标小于预设的指标阈值中的任意一种或多种。
在一个实施例中，所述姿态参数包括：速度状态参数和高度状态参数；所述姿态参数满足姿态条件包括：所述速度状态参数所指示的速度大于预设的速度阈值，和/或所述高度状态参数所指示的高度大于预设的高度阈值。
在一个实施例中，所述观测参数包括：视觉速度数据；所述优化模块403在用于所述对所述观测参数进行优化时，用于对所述运动状态下对应的所述移动平台的视觉速度数据进行优化；其中，所述视觉速度数据是对所述姿态传感器和视觉传感器采集的感测数据进行计算得到的。
在一个实施例中，所述观测参数包括：第一角度参数；所述优化模块403在用于对所述观测参数进行优化时，用于对所述运动状态下对应的所述移动平台的第一角度参数进行优化；其中，所述第一角度参数包括：所述视觉感知系统预估的北向与真实北向之间的第一夹角，所述第一夹角是对所述位置传感器和视觉传感器采集的感测数据进行计算得到的。
在一个实施例中，所述传感数据包括：所述移动平台的定位速度参数，所述装置还包括判断模块404，所述判断模块404，用于所述对所述运动状态下对应的所述移动平台的视觉速度数据进行优化之前，判断所述定位速度参数与所述视觉速度数据之间的差异是否满足预设的差异条件；若是，则触发所述优化模块403对所述运动状态下对应的所述移动平台的视觉速度数据进行优化。
在一个实施例中，所述定位速度参数与所述视觉速度数据之间的差异满足所述预设的差异条件包括：所述定位速度参数的模长与所述视觉速度数据的模长之间的差值大于预设的阈值。
在一个实施例中，所述传感数据中包括的定位速度参数是根据初始定位速度参数计算得到的，所述初始定位速度参数是根据所述位置传感器感测到的定位数据计算得到；所述装置还包括计算模块405，所述计算模块405，用于根据初始定位速度参数计算得到定位速度参数。在一个实施例中，所述计算模块405，具体是根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数；将映射速度参数作为定位速度参数。
在一个实施例中，所述计算模块405，在用于根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数时，用于获取所述姿态传感器感测得到的角速度参数，并获取所述姿态传感器与位置传感器之间的坐标系旋转变换矩阵；根据所述角速度参数、坐标系旋转变换矩阵、以及所述初始定位速度参数，计算得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数。
在一个实施例中，所述初始定位速度参数是在获取到所述姿态传感器采集 的感测数据的预设时长阈值后、对所述位置传感器感测到的定位数据进行计算得到的。
在一个实施例中，所述上电状态包括悬停状态，所述传感数据包括：所述姿态传感器采集的感测数据。
在一个实施例中，所述姿态传感器包括加速度计和陀螺仪；所述传感数据满足所述预设优化条件包括：基于所述加速度计的感测数据计算的加速度模长小于预设的加速度模长阈值、基于所述陀螺仪的感测数据计算的角度模长小于预设的角度模长阈值、基于所述加速度计的感测数据计算得到的速度模长小于预设的速度模长阈值中的任意一种或者多种。
在一个实施例中，所述获取模块402，在用于获取所述移动平台在所述上电状态下的传感数据时，用于调用预置的低通滤波器对所述姿态传感器采集的感测数据进行滤波；对滤波后得到的数据进行处理，得到所述移动平台在所述上电状态下的传感数据。
在一个实施例中，所述观测参数包括：第二角度参数；所述优化模块403，在用于对所述观测参数进行优化时，用于对所述悬停状态下对应的所述移动平台的第二角度参数进行优化；其中，所述第二角度参数包括：所述视觉感知系统预估的水平面与真实水平面之间的第二夹角，所述第二夹角是对所述姿态传感器采集的感测数据进行计算得到的。
在一个实施例中，所述上电状态包括静置状态，所述传感数据包括：所述姿态传感器中的陀螺仪的测量值。
在一个实施例中，所述传感数据满足所述预设优化条件包括：所述陀螺仪的零轴偏差的均值的模长小于预设的第一模长阈值，和/或，所述陀螺仪的零轴偏差的方差的模长小于预设的第二模长阈值。
在一个实施例中，所述观测参数包括：姿态传感器中的陀螺仪参数；所述优化模块403，在用于对所述观测参数进行优化时，用于对所述静置状态下对应的所述移动平台中姿态传感器的陀螺仪参数进行优化；其中，所述陀螺仪参数包括：所述姿态传感器中陀螺仪的零轴偏差。
在一个实施例中，所述获取模块402还用于获取所述移动平台在所述上电状态下的所述观测参数对应的参考参数；所述优化模块403，在用于对所述观测参数进行优化时，用于对所述参考参数和所述观测参数之间的差异数据进行优化，得到所述观测参数的观测补偿数据。
本发明实施例中，所述装置的各个模块的具体实现可参考前述各个实施例中相关内容的描述，在此不赘述。
本发明实施例能够对移动平台定义不同的上电状态，并在不同的上电状态下有针对性地对不同的基于视觉感知系统的感测数据得到的观测数据进行优化，可以较好地保证观测参数优化的准确性和及时性，方便后续更加安全地对移动平台进行控制。并且从更好地对VIO计算的观测数据进行优化的角度出发，选择了在不同的判断条件下的上电状态来对观测参数进行优化，可以保证相应观测参数优化的准确性，使得移动平台能够得到更准确的控制。
再请参见图5，是本发明实施例的一种控制设备的结构示意图，本发明实施例的所述控制设备可以根据需要设置在移动平台中，用于对移动平台的数据进行优化。所述控制设备也可以作为一个外部设备与所述移动平台相连，用于接收所述移动平台的相关数据并对移动平台的数据进行优化。而所述移动平台可以为诸如飞行器、自动驾驶汽车等，所述控制设备与移动平台的视觉感知系统相连，所述视觉感知系统包括姿态传感器和视觉传感器。在本发明实施例中，所述控制设备包括通信接口501和处理器502，并且，所述控制设备还可以包括电源模块、用于与用户实现人机交互的用户接口等功能部件。
所述处理器502可以是中央处理器(central processing unit，CPU)。所述处理器502还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。
在一个实施例中，所述控制设备还可以设置存储装置503与所述处理器502配合，所述存储装置503可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置503也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置503还可以包括上述种类的存储器的组合。所述处理器502可以调用所述存储装置503中存储的程序指令，用于实现前述实施例中的对移动平台的参数优化方法的各相关内容。
在一个实施例中，所述通信接口501，用于与视觉感知系统相连，通信接口501可以通过有线或者无线的方式与移动平台相连；所述处理器502，用于确定 所述移动平台当前的上电状态；获取所述移动平台在所述上电状态下采集的传感数据；若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
在一个实施例中，所述处理器502，还用于检测所述传感数据是否满足预设优化条件；若所述传感数据满足所述预设优化条件，则确定所述移动平台在所述上电状态下为稳定状态，可以对观测参数进行优化。
在一个实施例中，所述上电状态包括运动状态，所述移动平台还包括位置传感器，所述传感数据包括：获取的所述位置传感器的状态参数。
在一个实施例中，所述状态参数包括姿态参数、信号强度参数和速度精度估计指标中的一种或多种；所述传感数据满足所述预设优化条件包括：所述姿态参数满足预设姿态条件、所述信号强度参数所指示的信号强度大于预设的强度阈值、所述速度精度估计指标小于预设的指标阈值中的任意一种或多种。
在一个实施例中，所述姿态参数包括：速度状态参数和/或高度状态参数；所述姿态参数满足姿态条件包括：所述速度状态参数所指示的速度大于预设的速度阈值，和/或所述高度状态参数所指示的高度大于预设的高度阈值。
在一个实施例中，所述观测参数包括：视觉速度数据；所述处理器502，用于对所述运动状态下对应的所述移动平台的视觉速度数据进行优化；其中，所述视觉速度数据是对所述姿态传感器和视觉传感器采集的感测数据进行计算得到的。
在一个实施例中，所述观测参数包括：第一角度参数；所述处理器502，用于对所述运动状态下对应的所述移动平台的第一角度参数进行优化；其中，所述第一角度参数包括：所述视觉感知系统预估的北向与真实北向之间的第一夹角，所述第一夹角是对所述位置传感器和视觉传感器采集的感测数据进行计算得到的。
在一个实施例中，所述传感数据包括：所述移动平台的定位速度参数，所述处理器502，还用于判断所述定位速度参数与所述视觉速度数据之间的差异是否满足预设的差异条件；并在满足预设的差异条件时对所述运动状态下对应的所述移动平台的视觉速度数据进行优化。
在一个实施例中，所述定位速度参数与所述视觉速度数据之间的差异满足所述预设的差异条件包括：所述定位速度参数的模长与所述视觉速度数据的模长之间的差值大于预设的阈值。
在一个实施例中，所述传感数据中包括的定位速度参数是根据初始定位速度参数计算得到的，所述初始定位速度参数是根据所述位置传感器感测到的定位数据计算得到；所述处理器502，用于根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数；将映射速度参数作为定位速度参数。
在一个实施例中，所述处理器502，用于获取所述姿态传感器感测得到的角速度参数，并获取所述姿态传感器与位置传感器之间的坐标系旋转变换矩阵；根据所述角速度参数、坐标系旋转变换矩阵、以及所述初始定位速度参数，计算得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数。
在一个实施例中，所述初始定位速度参数是在获取到所述姿态传感器采集的感测数据的预设时长阈值后、对所述位置传感器感测到的定位数据进行计算得到的。
在一个实施例中，所述上电状态包括悬停状态，所述传感数据包括：所述姿态传感器采集的感测数据。
在一个实施例中，所述姿态传感器包括加速度计和陀螺仪；所述传感数据满足所述预设优化条件包括：基于所述加速度计的感测数据计算的加速度模长小于预设的加速度模长阈值、基于所述陀螺仪的感测数据计算的角度模长小于预设的角度模长阈值、基于所述加速度计的感测数据计算得到的速度模长小于预设的速度模长阈值中的任意一种或者多种。
在一个实施例中，所述处理器502，用于调用预置的低通滤波器对所述姿态传感器采集的感测数据进行滤波；对滤波后得到的数据进行处理，得到所述移动平台在所述上电状态下的传感数据。
在一个实施例中，所述观测参数包括：第二角度参数；所述处理器502，用于对所述悬停状态下对应的所述移动平台的第二角度参数进行优化；其中，所述第二角度参数包括：所述视觉感知系统预估的水平面与真实水平面之间的第二夹角，所述第二夹角是对所述姿态传感器采集的感测数据进行计算得到的。
在一个实施例中，所述上电状态包括静置状态，所述传感数据包括：所述姿态传感器中的陀螺仪的测量值。
在一个实施例中，所述传感数据满足所述预设优化条件包括：所述陀螺仪的零轴偏差的均值的模长小于预设的第一模长阈值，和/或，所述陀螺仪的零轴偏差的方差的模长小于预设的第二模长阈值。
在一个实施例中，所述观测参数包括：姿态传感器中的陀螺仪参数；所述对所述观测参数进行优化，包括：对所述静置状态下对应的所述移动平台中姿态传感器的陀螺仪参数进行优化；其中，所述陀螺仪参数包括：所述姿态传感器中陀螺仪的零轴偏差。
在一个实施例中，所述处理器502，还用于获取所述移动平台在所述上电状态下的所述观测参数对应的参考参数；并且，所述处理器502对所述观测参数进行优化是指：对所述参考参数和所述观测参数之间的差异数据进行优化，得到所述观测参数的观测补偿数据。
本发明实施例中，所述控制设备的处理器的具体实现可参考前述各个实施例中相关内容的描述，在此不赘述。
本发明实施例能够对移动平台定义不同的上电状态，并在不同的上电状态下有针对性地对不同的基于视觉感知系统的感测数据得到的观测数据进行优化，可以较好地保证观测参数优化的准确性和及时性，方便后续更加安全地对移动平台进行控制。并且从更好地对VIO计算的观测数据进行优化的角度出发，选择了在不同的判断条件下的上电状态来对观测参数进行优化，可以保证相应观测参数优化的准确性，使得移动平台能够得到更准确的控制。
另外，本发明实施例还提供了一种飞行器，该飞行器的一种组成部分可参考图1所示。图1示出的是一种多旋翼飞行器，该飞行器具体可以是四旋翼飞行器、六旋翼飞行器、八旋翼飞行器等能够通过旋翼带动飞行的飞行器。在其他实施例中，该飞行器也可以为固定翼飞行器等。所述飞行器包括：视觉感知系统100、控制器103、动力组件104，其中，所述视觉感知系统100包括姿态传感器101和视觉传感器102。另外，在具体实现时，所述飞行器还包括供电模块，并可以根据需要包括诸如指南针、超声波等传感器，变形机构等结构。
所述控制器103可以是CPU。所述控制器103还可以进一步包括硬件芯片。上述硬件芯片可以是ASIC，PLD等。上述PLD可以是FPGA，GAL等。在一个实施例中，所述飞行器还可以包括存储装置与所述控制器103配合，所述存储装置可以包括易失性存储器(volatile memory)，例如RAM；存储装置也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)， SSD等；存储装置还可以包括上述种类的存储器的组合。所述控制器103可以调用所述存储装置中存储的程序指令，用于实现前述实施例中的对移动平台的参数优化方法的各相关内容。
在一个实施例中，所述控制器103，用于根据所述姿态传感器101和/或所述视觉传感器102的感测数据计算得到观测参数，并且用于确定所述移动平台当前的上电状态；获取所述移动平台在所述上电状态下采集的传感数据；若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数，并用于基于修正后的观测参数对所述动力组件104进行控制，以控制所述飞行器运动。
在一个实施例中，所述控制器103，还用于检测所述传感数据是否满足预设优化条件；若所述传感数据满足所述预设优化条件，则确定所述移动平台在所述上电状态下为稳定状态。
在一个实施例中，所述上电状态包括运动状态，所述移动平台还包括位置传感器，所述传感数据包括：获取的所述位置传感器的状态参数。
在一个实施例中，所述状态参数包括姿态参数、信号强度参数和速度精度估计指标中的一种或多种；所述传感数据满足所述预设优化条件包括：所述姿态参数满足预设姿态条件、所述信号强度参数所指示的信号强度大于预设的强度阈值、所述速度精度估计指标小于预设的指标阈值中的任意一种或多种。
在一个实施例中，所述姿态参数包括：速度状态参数和/或高度状态参数；所述姿态参数满足姿态条件包括：所述速度状态参数所指示的速度大于预设的速度阈值，和/或所述高度状态参数所指示的高度大于预设的高度阈值。
在一个实施例中，所述观测参数包括：视觉速度数据；所述控制器103，用于对所述运动状态下对应的所述移动平台的视觉速度数据进行优化；其中，所述视觉速度数据是对所述位置传感器和视觉传感器102采集的感测数据进行计算得到的。
在一个实施例中，所述观测参数包括：第一角度参数；所述控制器103，用于对所述运动状态下对应的所述移动平台的第一角度参数进行优化；其中，所述第一角度参数包括：所述视觉感知系统100预估的北向与真实北向之间的第 一夹角，所述第一夹角是对所述位置传感器和视觉传感器102采集的感测数据进行计算得到的。
在一个实施例中，所述传感数据包括：所述移动平台的定位速度参数，所述控制器103，还用于判断所述定位速度参数与所述视觉速度数据之间的差异是否满足预设的差异条件；并在满足预设的差异条件时对所述运动状态下对应的所述移动平台的视觉速度数据进行优化。
在一个实施例中，所述定位速度参数与所述视觉速度数据之间的差异满足所述预设的差异条件包括：所述定位速度参数的模长与所述视觉速度数据的模长之间的差值大于预设的阈值。
在一个实施例中，所述传感数据中包括的定位速度参数是根据初始定位速度参数计算得到的，所述初始定位速度参数是根据所述位置传感器感测到的定位数据计算得到；所述控制器103，用于根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器101所在坐标系下的映射速度参数；将映射速度参数作为定位速度参数。
在一个实施例中，所述控制器103，用于获取所述姿态传感器101感测得到的角速度参数，并获取所述姿态传感器101与位置传感器之间的坐标系旋转变换矩阵；根据所述角速度参数、坐标系旋转变换矩阵、以及所述初始定位速度参数，计算得到所述位置传感器在所述姿态传感器101所在坐标系下的映射速度参数。
在一个实施例中，所述初始定位速度参数是在获取到所述姿态传感器101采集的感测数据的预设时长阈值后、对所述位置传感器感测到的定位数据进行计算得到的。
在一个实施例中，所述上电状态包括悬停状态，所述传感数据包括：所述姿态传感器101采集的感测数据。
在一个实施例中，所述姿态传感器101包括加速度计和陀螺仪；所述传感数据满足所述预设优化条件包括：基于所述加速度计的感测数据计算的加速度模长小于预设的加速度模长阈值、基于所述陀螺仪的感测数据计算的角度模长小于预设的角度模长阈值、基于所述加速度计的感测数据计算得到的速度模长小于预设的速度模长阈值中的任意一种或者多种。
在一个实施例中，所述控制器103，用于调用预置的低通滤波器对所述姿态传感器101采集的感测数据进行滤波；对滤波后得到的数据进行处理，得到所 述移动平台在所述上电状态下的传感数据。
在一个实施例中，所述观测参数包括：第二角度参数；所述控制器103，用于对所述悬停状态下对应的所述移动平台的第二角度参数进行优化；其中，所述第二角度参数包括：所述视觉感知系统100预估的水平面与真实水平面之间的第二夹角，所述第二夹角是对所述姿态传感器101采集的感测数据进行计算得到的。
在一个实施例中，所述上电状态包括静置状态，所述传感数据包括：所述姿态传感器101中的陀螺仪的测量值。
在一个实施例中，所述传感数据满足所述预设优化条件包括：所述陀螺仪的零轴偏差的均值的模长小于预设的第一模长阈值，和/或，所述陀螺仪的零轴偏差的方差的模长小于预设的第二模长阈值。
在一个实施例中，所述观测参数包括：姿态传感器101中的陀螺仪参数；所述对所述观测参数进行优化，包括：对所述静置状态下对应的所述移动平台中姿态传感器101的陀螺仪参数进行优化；其中，所述陀螺仪参数包括：所述姿态传感器101中陀螺仪的零轴偏差。
在一个实施例中，所述控制器103，还用于获取所述移动平台在所述上电状态下的所述观测参数对应的参考参数；并且，所述控制器103对所述观测参数进行优化是指：对所述参考参数和所述观测参数之间的差异数据进行优化，得到所述观测参数的观测补偿数据。
本发明实施例中，所述飞行器中控制器的具体实现可参考前述各个实施例中相关内容的描述，在此不赘述。
本发明实施例能够对移动平台定义不同的上电状态，并在不同的上电状态下有针对性地对不同的基于视觉感知系统的感测数据得到的观测数据进行优化，可以较好地保证观测参数优化的准确性和及时性，方便后续更加安全地对移动平台进行控制。并且从更好地对VIO计算的观测数据进行优化的角度出发，选择了在不同的判断条件下的上电状态来对观测参数进行优化，可以保证相应观测参数优化的准确性，使得移动平台能够得到更准确的控制。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (61)

  1. 一种对移动平台的参数优化方法，其特征在于，所述移动平台上设置有视觉感知系统，所述视觉感知系统包括姿态传感器和视觉传感器，所述方法包括：
    确定所述移动平台当前的上电状态；
    获取所述移动平台在所述上电状态下采集的传感数据；
    若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；
    其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    检测所述传感数据是否满足预设优化条件；
    若所述传感数据满足所述预设优化条件，则确定所述移动平台在所述上电状态下为稳定状态。
  3. 如权利要求2所述的方法，其特征在于，所述上电状态包括运动状态，所述移动平台还包括位置传感器，所述传感数据包括：获取的所述位置传感器的状态参数。
  4. 如权利要求3所述的方法，其特征在于，所述状态参数包括姿态参数、信号强度参数和速度精度估计指标中的一种或多种；
    所述传感数据满足所述预设优化条件包括：所述姿态参数满足预设姿态条件、所述信号强度参数所指示的信号强度大于预设的强度阈值、所述速度精度估计指标小于预设的指标阈值中的任意一种或多种。
  5. 如权利要求4所述的方法，其特征在于，所述姿态参数包括：速度状态参数和/或高度状态参数；
    所述姿态参数满足姿态条件包括：所述速度状态参数所指示的速度大于预设的速度阈值，和/或所述高度状态参数所指示的高度大于预设的高度阈值。
  6. 如权利要求3所述的方法，其特征在于，所述观测参数包括：视觉速度数据；
    所述对所述上电状态所对应的所述移动平台的观测参数进行优化，包括：对所述运动状态下对应的所述移动平台的视觉速度数据进行优化；
    其中，所述视觉速度数据是对所述姿态传感器和视觉传感器采集的感测数据进行计算得到的。
  7. 如权利要求3所述的方法，其特征在于，所述观测参数包括：第一角度参数；
    所述对所述上电状态所对应的所述移动平台的观测参数进行优化，包括：对所述运动状态下对应的所述移动平台的第一角度参数进行优化；
    其中，所述第一角度参数包括：所述视觉感知系统预估的北向与真实北向之间的第一夹角，所述第一夹角是对所述位置传感器和视觉传感器采集的感测数据进行计算得到的。
  8. 如权利要求7所述的方法，其特征在于，所述传感数据包括：所述移动平台的定位速度参数，所述对所述运动状态下对应的所述移动平台的视觉速度数据进行优化之前，还包括：
    判断所述定位速度参数与所述视觉速度数据之间的差异是否满足预设的差异条件；
    若是，则触发执行所述对所述运动状态下对应的所述移动平台的视觉速度数据进行优化。
  9. 如权利要求8所述的方法，其特征在于，所述定位速度参数与所述视觉速度数据之间的差异满足所述预设的差异条件包括：所述定位速度参数的模长与所述视觉速度数据的模长之间的差值大于预设的阈值。
  10. 如权利要求2-9任一项所述的方法，其特征在于，所述传感数据中包括 的定位速度参数是根据初始定位速度参数计算得到的，所述初始定位速度参数是根据所述位置传感器感测到的定位数据计算得到；
    其中，根据初始定位速度参数计算得到定位速度参数，包括：
    根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数；
    将映射速度参数作为定位速度参数。
  11. 如权利要求10所述的方法，其特征在于，所述根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数，包括：
    获取所述姿态传感器感测得到的角速度参数，并获取所述姿态传感器与位置传感器之间的坐标系旋转变换矩阵；
    根据所述角速度参数、坐标系旋转变换矩阵、以及所述初始定位速度参数，计算得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数。
  12. 如权利要求10所述的方法，其特征在于，所述初始定位速度参数是在获取到所述姿态传感器采集的感测数据的预设时长阈值后、对所述位置传感器感测到的定位数据进行计算得到的。
  13. 如权利要求2所述的方法，其特征在于，所述上电状态包括悬停状态，所述传感数据包括：基于所述姿态传感器采集的感测数据计算得到的数据。
  14. 如权利要求13所述的方法，其特征在于，所述姿态传感器包括加速度计和陀螺仪；
    所述传感数据满足所述预设优化条件包括：基于所述加速度计的感测数据计算的加速度模长小于预设的加速度模长阈值、基于所述陀螺仪的感测数据计算的角度模长小于预设的角度模长阈值、基于所述加速度计的感测数据计算得到的速度模长小于预设的速度模长阈值中的任意一种或者多种。
  15. 如权利要求13或14所述的方法，其特征在于，所述获取所述移动平台在所述上电状态下的传感数据，包括：
    调用预置的低通滤波器对所述姿态传感器采集的感测数据进行滤波；
    对滤波后得到的数据进行处理，得到所述移动平台在所述上电状态下的传感数据。
  16. 如权利要求13所述的方法，其特征在于，所述观测参数包括：第二角度参数；
    所述对所述上电状态所对应的所述移动平台的观测参数进行优化，包括：对所述悬停状态下对应的所述移动平台的第二角度参数进行优化；
    其中，所述第二角度参数包括：所述视觉感知系统预估的水平面与真实水平面之间的第二夹角，所述第二夹角是对所述姿态传感器采集的感测数据进行计算得到的。
  17. 如权利要求2所述的方法，其特征在于，所述上电状态包括静置状态，所述传感数据包括：所述姿态传感器中的陀螺仪的测量值。
  18. 如权利要求17所述的方法，其特征在于，所述传感数据满足所述预设优化条件包括：所述陀螺仪的零轴偏差的均值的模长小于预设的第一模长阈值，和/或，所述陀螺仪的零轴偏差的方差的模长小于预设的第二模长阈值。
  19. 如权利要求17或18所述的方法，其特征在于，所述观测参数包括：姿态传感器中的陀螺仪参数；
    所述对所述上电状态所对应的所述移动平台的观测参数进行优化，包括：对所述静置状态下对应的所述移动平台中姿态传感器的陀螺仪参数进行优化；
    其中，所述陀螺仪参数包括：所述姿态传感器中陀螺仪的零轴偏差。
  20. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    获取所述移动平台在所述上电状态下的所述观测参数对应的参考参数；
    所述对所述上电状态所对应的所述移动平台的观测参数进行优化，包括：
    对所述参考参数和所述观测参数之间的差异数据进行优化，得到所述观测参数的观测补偿数据。
  21. 一种对移动平台的参数优化装置，其特征在于，所述移动平台上设置有视觉感知系统，所述视觉感知系统包括姿态传感器和视觉传感器，所述装置包括：
    确定模块，用于确定所述移动平台当前的上电状态；
    获取模块，用于获取所述移动平台在所述上电状态下采集的传感数据；
    优化模块，用于若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；
    其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
  22. 一种控制设备，其特征在于，所述控制设备用于对移动平台进行参数优化，所述控制设备与移动平台的视觉感知系统相连，所述视觉感知系统包括姿态传感器和视觉传感器，所述控制设备包括：通信接口和处理器；
    所述通信接口，用于与视觉感知系统相连；
    所述处理器，用于确定所述移动平台当前的上电状态；获取所述移动平台在所述上电状态下采集的传感数据；若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数。
  23. 根据权利要求22所述的控制设备，其特征在于，
    所述处理器，还用于检测所述传感数据是否满足预设优化条件；若所述传感数据满足所述预设优化条件，则确定所述移动平台在所述上电状态下为稳定状态。
  24. 如权利要求23所述的控制设备，其特征在于，所述上电状态包括运动状态，所述移动平台还包括位置传感器，所述传感数据包括：获取的所述位置传感器的状态参数。
  25. 如权利要求24所述的控制设备，其特征在于，所述状态参数包括姿态参数、信号强度参数和速度精度估计指标中的一种或多种；
    所述传感数据满足所述预设优化条件包括：所述姿态参数满足预设姿态条件、所述信号强度参数所指示的信号强度大于预设的强度阈值、所述速度精度估计指标小于预设的指标阈值中的任意一种或多种。
  26. 如权利要求25所述的控制设备，其特征在于，所述姿态参数包括：速度状态参数和/或高度状态参数；
    所述姿态参数满足姿态条件包括：所述速度状态参数所指示的速度大于预设的速度阈值，和/或所述高度状态参数所指示的高度大于预设的高度阈值。
  27. 如权利要求24所述的控制设备，其特征在于，所述观测参数包括：视觉速度数据；
    所述处理器，用于对所述运动状态下对应的所述移动平台的视觉速度数据进行优化；
    其中，所述视觉速度数据是对所述姿态传感器和视觉传感器采集的感测数据进行计算得到的。
  28. 如权利要求24所述的控制设备，其特征在于，所述观测参数包括：第一角度参数；
    所述处理器，用于对所述运动状态下对应的所述移动平台的第一角度参数进行优化；
    其中，所述第一角度参数包括：所述视觉感知系统预估的北向与真实北向之间的第一夹角，所述第一夹角是对所述位置传感器和视觉传感器采集的感测数据进行计算得到的。
  29. 如权利要求28所述的控制设备，其特征在于，所述传感数据包括：所述移动平台的定位速度参数，所述处理器，还用于判断所述定位速度参数与所述视觉速度数据之间的差异是否满足预设的差异条件；并在满足预设的差异条件时对所述运动状态下对应的所述移动平台的视觉速度数据进行优化。
  30. 如权利要求29所述的控制设备，其特征在于，所述定位速度参数与所述视觉速度数据之间的差异满足所述预设的差异条件包括：所述定位速度参数的模长与所述视觉速度数据的模长之间的差值大于预设的阈值。
  31. 如权利要求23-30任一项所述的控制设备，其特征在于，所述传感数据中包括的定位速度参数是根据初始定位速度参数计算得到的，所述初始定位速度参数是根据所述位置传感器感测到的定位数据计算得到；
    所述处理器，用于根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数；将映射速度参数作为定位速度参数。
  32. 如权利要求31所述的控制设备，其特征在于，所述处理器，用于获取所述姿态传感器感测得到的角速度参数，并获取所述姿态传感器与位置传感器之间的坐标系旋转变换矩阵；根据所述角速度参数、坐标系旋转变换矩阵、以及所述初始定位速度参数，计算得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数。
  33. 如权利要求31所述的控制设备，其特征在于，所述初始定位速度参数是在获取到所述姿态传感器采集的感测数据的预设时长阈值后、对所述位置传感器感测到的定位数据进行计算得到的。
  34. 如权利要求23所述的控制设备，其特征在于，所述上电状态包括悬停状态，所述传感数据包括：所述姿态传感器采集的感测数据。
  35. 如权利要求34所述的控制设备，其特征在于，所述姿态传感器包括加速度计和陀螺仪；
    所述传感数据满足所述预设优化条件包括：基于所述加速度计的感测数据计算的加速度模长小于预设的加速度模长阈值、基于所述陀螺仪的感测数据计算的角度模长小于预设的角度模长阈值、基于所述加速度计的感测数据计算得到的速度模长小于预设的速度模长阈值中的任意一种或者多种。
  36. 如权利要求34或35所述的控制设备，其特征在于，所述处理器，用于调用预置的低通滤波器对所述姿态传感器采集的感测数据进行滤波；对滤波后得到的数据进行处理，得到所述移动平台在所述上电状态下的传感数据。
  37. 如权利要求34所述的控制设备，其特征在于，所述观测参数包括：第二角度参数；
    所述处理器，用于对所述悬停状态下对应的所述移动平台的第二角度参数进行优化；
    其中，所述第二角度参数包括：所述视觉感知系统预估的水平面与真实水平面之间的第二夹角，所述第二夹角是对所述姿态传感器采集的感测数据进行计算得到的。
  38. 如权利要求22所述的控制设备，其特征在于，所述上电状态包括静置状态，所述传感数据包括：所述姿态传感器中的陀螺仪的测量值。
  39. 如权利要求38所述的控制设备，其特征在于，所述传感数据满足所述预设优化条件包括：所述陀螺仪的零轴偏差的均值的模长小于预设的第一模长阈值，和/或，所述陀螺仪的零轴偏差的方差的模长小于预设的第二模长阈值。
  40. 如权利要求38或39所述的控制设备，其特征在于，所述观测参数包括：姿态传感器中的陀螺仪参数；
    所述对所述观测参数进行优化，包括：对所述静置状态下对应的所述移动平台中姿态传感器的陀螺仪参数进行优化；
    其中，所述陀螺仪参数包括：所述姿态传感器中陀螺仪的零轴偏差。
  41. 根据权利要求22所述的控制设备，其特征在于，所述处理器，还用于获取所述移动平台在所述上电状态下的所述观测参数对应的参考参数；并且，所述处理器对所述观测参数进行优化是指：对所述参考参数和所述观测参数之间的差异数据进行优化，得到所述观测参数的观测补偿数据。
  42. 一种飞行器，其特征在于，所述飞行器包括：视觉感知系统、控制器、动力组件，其中，所述视觉感知系统包括姿态传感器和视觉传感器；
    所述控制器，用于根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到观测参数，并且用于确定所述移动平台当前的上电状态；获取所述移动平台在所述上电状态下采集的传感数据；若根据所述传感数据确定所述移动平台在所述上电状态下为稳定状态，则对所述上电状态所对应的所述移动平台的观测参数进行优化，以修正所述观测参数；其中，所述观测参数是根据所述姿态传感器和/或所述视觉传感器的感测数据计算得到的，所述移动平台包括多个上电状态，在不同的上电状态下对应有不同的观测参数，并用于基于修正后的观测参数对所述动力组件进行控制，以控制所述飞行器运动。
  43. 根据权利要求42所述的飞行器，其特征在于，
    所述控制器，还用于检测所述传感数据是否满足预设优化条件；若所述传感数据满足所述预设优化条件，则确定所述移动平台在所述上电状态下为稳定状态。
  44. 如权利要求43所述的飞行器，其特征在于，所述上电状态包括运动状态，所述移动平台还包括位置传感器，所述传感数据包括：获取的所述位置传感器的状态参数。
  45. 如权利要求44所述的飞行器，其特征在于，所述状态参数包括姿态参数、信号强度参数和速度精度估计指标中的一种或多种；
    所述传感数据满足所述预设优化条件包括：所述姿态参数满足预设姿态条件、所述信号强度参数所指示的信号强度大于预设的强度阈值、所述速度精度估计指标小于预设的指标阈值中的任意一种或多种。
  46. 如权利要求45所述的飞行器，其特征在于，所述姿态参数包括：速度状态参数和/或高度状态参数；
    所述姿态参数满足姿态条件包括：所述速度状态参数所指示的速度大于预设的速度阈值，和/或所述高度状态参数所指示的高度大于预设的高度阈值。
  47. 如权利要求44所述的飞行器，其特征在于，所述观测参数包括：视觉速度数据；
    所述控制器，用于对所述运动状态下对应的所述移动平台的视觉速度数据进行优化；
    其中，所述视觉速度数据是对所述姿态传感器和视觉传感器采集的感测数据进行计算得到的。
  48. 如权利要求44所述的飞行器，其特征在于，所述观测参数包括：第一角度参数；
    所述控制器，用于对所述运动状态下对应的所述移动平台的第一角度参数进行优化；
    其中，所述第一角度参数包括：所述视觉感知系统预估的北向与真实北向之间的第一夹角，所述第一夹角是对所述位置传感器和视觉传感器采集的感测数据进行计算得到的。
  49. 如权利要求48所述的飞行器，其特征在于，所述传感数据包括：所述移动平台的定位速度参数，所述控制器，还用于判断所述定位速度参数与所述视觉速度数据之间的差异是否满足预设的差异条件；并在满足预设的差异条件时对所述运动状态下对应的所述移动平台的视觉速度数据进行优化。
  50. 如权利要求49所述的飞行器，其特征在于，所述定位速度参数与所述视觉速度数据之间的差异满足所述预设的差异条件包括：所述定位速度参数的模长与所述视觉速度数据的模长之间的差值大于预设的阈值。
  51. 如权利要求43-50任一项所述的飞行器，其特征在于，所述传感数据中包括的定位速度参数是根据初始定位速度参数计算得到的，所述初始定位速度参数是根据所述位置传感器感测到的定位数据计算得到；
    所述控制器，用于根据映射参数对所述初始定位速度参数进行映射计算，得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数；将映射速度参数作为定位速度参数。
  52. 如权利要求51所述的飞行器，其特征在于，所述控制器，用于获取所述姿态传感器感测得到的角速度参数，并获取所述姿态传感器与位置传感器之间的坐标系旋转变换矩阵；根据所述角速度参数、坐标系旋转变换矩阵、以及所述初始定位速度参数，计算得到所述位置传感器在所述姿态传感器所在坐标系下的映射速度参数。
  53. 如权利要求51所述的飞行器，其特征在于，所述初始定位速度参数是在获取到所述姿态传感器采集的感测数据的预设时长阈值后、对所述位置传感器感测到的定位数据进行计算得到的。
  54. 如权利要求53所述的飞行器，其特征在于，所述上电状态包括悬停状态，所述传感数据包括：所述姿态传感器采集的感测数据。
  55. 如权利要求54所述的飞行器，其特征在于，所述姿态传感器包括加速度计和陀螺仪；
    所述传感数据满足所述预设优化条件包括：基于所述加速度计的感测数据计算的加速度模长小于预设的加速度模长阈值、基于所述陀螺仪的感测数据计算的角度模长小于预设的角度模长阈值、基于所述加速度计的感测数据计算得到的速度模长小于预设的速度模长阈值中的任意一种或者多种。
  56. 如权利要求54或55所述的飞行器，其特征在于，所述控制器，用于调用预置的低通滤波器对所述姿态传感器采集的感测数据进行滤波；对滤波后得到的数据进行处理，得到所述移动平台在所述上电状态下的传感数据。
  57. 如权利要求54所述的飞行器，其特征在于，所述观测参数包括：第二角度参数；
    所述控制器，用于对所述悬停状态下对应的所述移动平台的第二角度参数进行优化；
    其中，所述第二角度参数包括：所述视觉感知系统预估的水平面与真实水平面之间的第二夹角，所述第二夹角是对所述姿态传感器采集的感测数据进行计算得到的。
  58. 如权利要求42所述的飞行器，其特征在于，所述上电状态包括静置状态，所述传感数据包括：所述姿态传感器中的陀螺仪的测量值。
  59. 如权利要求58所述的飞行器，其特征在于，所述传感数据满足所述预设优化条件包括：所述陀螺仪的零轴偏差的均值的模长小于预设的第一模长阈值，和/或，所述陀螺仪的零轴偏差的方差的模长小于预设的第二模长阈值。
  60. 如权利要求58或59所述的飞行器，其特征在于，所述观测参数包括：姿态传感器中的陀螺仪参数；
    所述对所述观测参数进行优化，包括：对所述静置状态下对应的所述移动平台中姿态传感器的陀螺仪参数进行优化；
    其中，所述陀螺仪参数包括：所述姿态传感器中陀螺仪的零轴偏差。
  61. 根据权利要求42所述的飞行器，其特征在于，所述控制器，还用于获取所述移动平台在所述上电状态下的所述观测参数对应的参考参数；并且，所述控制器对所述观测参数进行优化是指：对所述参考参数和所述观测参数之间的差异数据进行优化，得到所述观测参数的观测补偿数据。
PCT/CN2018/118768 2018-11-30 2018-11-30 对移动平台的参数优化方法、装置及控制设备、飞行器 Ceased WO2020107473A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880038852.6A CN110785722A (zh) 2018-11-30 2018-11-30 对移动平台的参数优化方法、装置及控制设备、飞行器
PCT/CN2018/118768 WO2020107473A1 (zh) 2018-11-30 2018-11-30 对移动平台的参数优化方法、装置及控制设备、飞行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/118768 WO2020107473A1 (zh) 2018-11-30 2018-11-30 对移动平台的参数优化方法、装置及控制设备、飞行器

Publications (1)

Publication Number Publication Date
WO2020107473A1 true WO2020107473A1 (zh) 2020-06-04

Family

ID=69383255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/118768 Ceased WO2020107473A1 (zh) 2018-11-30 2018-11-30 对移动平台的参数优化方法、装置及控制设备、飞行器

Country Status (2)

Country Link
CN (1) CN110785722A (zh)
WO (1) WO2020107473A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406964B (zh) * 2021-05-19 2022-11-18 浙江华飞智能科技有限公司 运动参数调节方法、装置、存储介质及电子装置
CN115407381B (zh) * 2021-05-28 2025-04-29 中移物联网有限公司 一种姿态测量方法和装置
CN115096298B (zh) * 2022-06-16 2025-12-23 中国人民解放军空军工程大学 基于自适应梯度下降法的旋翼飞行器组合导航方法及系统
CN119758939B (zh) * 2025-03-06 2025-07-18 中国电建集团西北勘测设计研究院有限公司 用于多波束探测装置安装支架的调控系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425791A (zh) * 2015-11-06 2016-03-23 武汉理工大学 一种基于视觉定位的群机器人控制系统及方法
CN207908981U (zh) * 2018-03-26 2018-09-25 东汉太阳能无人机技术有限公司 一种无人机飞控系统
CN108663067A (zh) * 2017-03-30 2018-10-16 杭州维圣智能科技有限公司 一种运动传感器的自适应校准方法和系统
CN108873928A (zh) * 2017-05-10 2018-11-23 中国航空工业集团公司西安飞行自动控制研究所 一种基于传感器状态评估结果的无人直升机高度保持方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275544B1 (en) * 2005-11-21 2012-09-25 Miltec Missiles & Space Magnetically stabilized forward observation platform
US10444017B2 (en) * 2011-10-25 2019-10-15 Honeywell International Inc. Method to improve leveling performance in navigation systems
CN106441301A (zh) * 2016-09-19 2017-02-22 北京机械设备研究所 一种飞行器发射初始参数获取方法及系统
CN107065900B (zh) * 2017-01-17 2020-04-28 清华大学 无人机飞行控制参数更新系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425791A (zh) * 2015-11-06 2016-03-23 武汉理工大学 一种基于视觉定位的群机器人控制系统及方法
CN108663067A (zh) * 2017-03-30 2018-10-16 杭州维圣智能科技有限公司 一种运动传感器的自适应校准方法和系统
CN108873928A (zh) * 2017-05-10 2018-11-23 中国航空工业集团公司西安飞行自动控制研究所 一种基于传感器状态评估结果的无人直升机高度保持方法
CN207908981U (zh) * 2018-03-26 2018-09-25 东汉太阳能无人机技术有限公司 一种无人机飞控系统

Also Published As

Publication number Publication date
CN110785722A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN109887057B (zh) 生成高精度地图的方法和装置
US20220155800A1 (en) Method and apparatus for yaw fusion and aircraft
US11669109B2 (en) Method and apparatus for yaw fusion and aircraft
US20170123035A1 (en) Autonomous magnetometer calibration
CN111380514A (zh) 机器人位姿估计方法、装置、终端及计算机存储介质
WO2018184467A1 (zh) 一种云台姿态检测方法及装置
WO2022063120A1 (zh) 组合导航系统初始化方法、装置、介质及电子设备
WO2020103049A1 (zh) 旋转微波雷达的地形预测方法、装置、系统和无人机
WO2021081774A1 (zh) 一种参数优化方法、装置及控制设备、飞行器
US20220178697A1 (en) Method and apparatus for correcting yaw angle of aircraft, and aircraft
EP3158293A1 (en) Sensor fusion using inertial and image sensors
JP2017501383A (ja) 飛行機の状態をリアルタイムに修正する方法および装置
US20210165388A1 (en) Gimbal rotation control method and apparatus, control device, and movable platform
US20210229810A1 (en) Information processing device, flight control method, and flight control system
WO2022126397A1 (zh) 传感器的数据融合方法、设备及存储介质
WO2017181513A1 (zh) 无人机的飞行控制方法和装置
WO2020062255A1 (zh) 拍摄控制方法和无人机
CN110785722A (zh) 对移动平台的参数优化方法、装置及控制设备、飞行器
WO2021199449A1 (ja) 位置算出方法及び情報処理システム
WO2021168819A1 (zh) 无人机的返航控制方法和设备
WO2020019260A1 (zh) 磁传感器校准方法、控制终端以及可移动平台
Leichtfried et al. Autonomous flight using a smartphone as on-board processing unit in GPS-denied environments
CN117805876A (zh) 一种无人机对地高度估计方法、装置、无人机及介质
TWI805141B (zh) 用於無人機的定位方法和設備
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941822

Country of ref document: EP

Kind code of ref document: A1