WO2018176373A1 - 基于多传感器数据融合的飞行模拟方法、装置及设备 - Google Patents

基于多传感器数据融合的飞行模拟方法、装置及设备 Download PDF

Info

Publication number
WO2018176373A1
WO2018176373A1 PCT/CN2017/078969 CN2017078969W WO2018176373A1 WO 2018176373 A1 WO2018176373 A1 WO 2018176373A1 CN 2017078969 W CN2017078969 W CN 2017078969W WO 2018176373 A1 WO2018176373 A1 WO 2018176373A1
Authority
WO
WIPO (PCT)
Prior art keywords
flight
simulation
data
sensor
simulator
Prior art date
Application number
PCT/CN2017/078969
Other languages
English (en)
French (fr)
Inventor
陈超彬
彭昭亮
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2017/078969 priority Critical patent/WO2018176373A1/zh
Priority to CN201780004464.1A priority patent/CN108401449A/zh
Publication of WO2018176373A1 publication Critical patent/WO2018176373A1/zh
Priority to US16/572,239 priority patent/US20200013307A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/10—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer with simulated flight- or engine-generated force being applied to aircraft occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Definitions

  • the invention relates to the field of flight simulation technology, and in particular to a flight simulation method, device, unmanned aerial vehicle and flight model system based on multi-sensor data fusion.
  • drone simulators have also been widely used in teaching, games, mapping, and SDK development.
  • the simulator function is usually built in.
  • the user operates in the simulator is familiar with the basic functions of the product and various basic operations, and can set some common abnormal scenes. The user learns how to handle it correctly in these scenarios to enhance the safety awareness and operation level in actual flight.
  • the simulator is an essential core link in the development of drone applications. In the process of development, developers need to use the simulator to debug and verify, and intuitively get the effect of the developed application to improve development efficiency and enhance flight safety.
  • Embodiments of the present invention provide a flight simulation method and apparatus based on multi-sensor data fusion, and
  • the human aircraft and flight mode system can realize flight simulation under different multi-sensor characteristics, which can improve the simulation degree of flight simulation, and thus help to improve the development efficiency and flight safety of the UAV.
  • an embodiment of the present invention provides a flight simulation method based on multi-sensor data fusion, including:
  • a flight simulation control command is generated based on the simulated multi-sensor fusion data.
  • an embodiment of the present invention provides a flight simulation apparatus based on multi-sensor data fusion, including:
  • a flight simulation unit configured to acquire a flight simulator start command sent by the flight simulation control terminal, and start a flight simulator
  • a sensing simulation unit configured to generate multi-sensor simulation data according to preset multi-sensor model parameters and ground truth simulation data output by the flight simulator;
  • a data fusion unit configured to fuse the multi-sensor simulation data to generate simulated multi-sensor fusion data
  • a logic function unit configured to generate a flight simulation control instruction according to the simulated multi-sensor fusion data.
  • an embodiment of the present invention provides a flight simulation method based on multi-sensor data fusion, which is applied to an unmanned aircraft end, and the unmanned aerial vehicle includes a flight simulator, and the method includes:
  • a flight simulation control command is generated based on the simulated multi-sensor fusion data.
  • an embodiment of the present invention provides an unmanned aerial vehicle including a communication interface, a controller, a memory, and a flight simulator, wherein the controller establishes a communication connection with the flight simulator through the communication interface; the memory For storing executable program instructions; the controller is configured to invoke the executable program instructions and perform the following operations:
  • a flight simulation control command is generated based on the simulated multi-sensor fusion data.
  • an embodiment of the present invention provides a flight simulation system based on multi-sensor data fusion, including: an unmanned aerial vehicle, a flight simulator, a multi-sensor data simulator, and a flight simulation control terminal, the unmanned aerial vehicle and the a flight simulator, the multi-sensor data simulator, and the flight simulation control terminal communication connection;
  • the UAV includes a data fusion module, a logic function module, and a data communication module;
  • the data communication module is configured to acquire a flight simulator startup command sent by the flight simulation control terminal, and start the flight simulator;
  • the multi-sensor data simulator is configured to generate multi-sensor simulation data according to preset multi-sensor model parameters and ground truth simulation data output by the flight simulator;
  • the data fusion module is configured to fuse the multi-sensor simulation data to generate simulated multi-sensor fusion data
  • the logic function module is configured to generate a flight simulation control instruction according to the simulated multi-sensor fusion data.
  • the embodiment of the invention combines the ground truth simulation data output by the flight simulator with the multi-sensor model parameters to generate multi-sensor simulation data, and then converts the multi-sensor simulation data into multi-sensor fusion data through data fusion, and according to the multi-sensor
  • the data is fused to generate a flight simulation control command and a corresponding power output command to control the flight simulator for flight simulation by the power output command.
  • FIG. 1 is a schematic structural view of a flight simulation system according to an embodiment of the present invention.
  • FIG. 2 is a schematic flow chart of a flight simulation method according to an embodiment of the present invention.
  • FIG. 3 is another schematic flowchart of a flight simulation method according to an embodiment of the present invention.
  • FIG. 4 is a schematic structural view of a flight simulation device according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural view of an unmanned aerial vehicle according to an embodiment of the present invention.
  • a multi-sensor data fusion based flight simulation system 100 is provided for performing flight simulation on an Unmanned Aerial Vehicle (UAV) to verify that the UAV is in Flight stability under different multi-sensor characteristics.
  • UAV Unmanned Aerial Vehicle
  • the flight simulation system 100 includes an unmanned aerial vehicle 110, a flight simulator 130, a multi-sensor data simulator 150, and a flight simulation control terminal 170.
  • the UAV 110 is communicatively coupled to the flight simulator 130, the multi-sensor data simulator 150, and the flight simulation control terminal 170.
  • the communication connection may be directly connected through a signal cable and a connector (for example, Universal Serial Bus (USB), or a communication connection is established through a wireless communication module (for example, Bluetooth, Wi-Fi), and both sides are electrically connected to each other. They can communicate with each other and complete data transfer.
  • a signal cable and a connector for example, Universal Serial Bus (USB)
  • a wireless communication module for example, Bluetooth, Wi-Fi
  • the UAV 110 can be remotely controlled by a user, flies to a destination area, and performs special tasks. For example, by mounting the camera on the unmanned aerial vehicle 110, the user can monitor the target area and effectively apply it in scenarios such as disaster relief, geological monitoring, and the like.
  • the user can configure control conditions regarding time and/or distance, so that the drone that is mounted by the working module of the camera, the spraying device, etc. can control the working module regularly and/or at a fixed distance, and control the camera.
  • Shoot images at regular and / or distance control the timing of spray devices and / or spray pesticides at a fixed distance.
  • the working modules that can be mounted on the unmanned aerial vehicle include a plurality of types, and may include a radar device, an infrared device, and the like in addition to the camera and the spraying device, and may also include a firepower system in the military field. Wait.
  • the flight simulator 130 is configured to receive a power output command, perform flight simulation under the control of the power output command, and generate flight state simulation data and ground truth simulation data.
  • the flight simulator 130 may include a dynamic/kinetic model of the unmanned aerial vehicle, which can simulate various flight states of the UAV when receiving the power output command, and output flight state simulation data and ground truth (Ground Truth) simulation data.
  • the multi-sensor data simulator 150 is configured to generate multi-sensor simulation data according to preset multi-sensor model parameters and the ground truth simulation data.
  • the multi-sensor data simulator 150 may include, but is not limited to, a model of an accelerometer, a gyroscope, a barometer, an ultrasonic wave, a GPS, a compass, a visual sensor, and the like. Different sensors have different models for receiving the Ground Truth simulation data output by the flight simulator 130, and combined with preset multi-sensor model parameters, a series of processes (such as data conversion, delay, noise) are performed inside the sensor model. Multi-sensor simulation data is output after superimposition, offset, etc.).
  • the preset multi-sensor model parameters may include parameters such as noise type, power, delay, installation position, and nonlinear characteristics.
  • the UAV 110 includes a data fusion module 111, a logic function module 113, a power control module 115, and a data communication module 117.
  • the data fusion module 111 is configured to receive multi-sensor simulation data output by the multi-sensor data simulator 150.
  • the multi-sensor simulation data is fused to generate simulated multi-sensor fusion data.
  • the logic function module 113 is configured to receive the simulated multi-sensor fusion data output by the data fusion module 111, and generate a flight simulation control instruction to the power control module 115 according to the simulated multi-sensor fusion data.
  • the power control module 115 is configured to generate a power output command to the flight simulator 130 according to the flight simulation control instruction.
  • the data communication module 117 is configured to push the flight state simulation data output by the flight simulator 130 to the flight simulation control terminal 170 to perform flight simulation display by the flight simulation control terminal 170.
  • the flight simulation control terminal 170 can be, but not limited to, a personal computer, a mobile phone, and a flat A general-purpose terminal such as a tablet computer can also be a communication terminal dedicated to flight simulation control and display.
  • the flight simulation control terminal 170 can establish a communication connection with the UAV 110 by way of wired (eg, USB) or wireless (eg, Bluetooth or Wi-Fi).
  • the flight simulation control terminal 170 includes a 3D image display engine. After the flight state simulation data output by the flight simulator 130 is pushed to the flight simulation control terminal 170, the simulated UAV and its simulated flight may be dynamically displayed by the 3D image display engine of the flight simulation control terminal 170. 3D image of the environment.
  • the UAV 110 further includes a first changeover switch 112, a second changeover switch 114, a real multi-sensor module 116, and a real actuator 118.
  • the first switch 112 and the second switch 114 are electronically controlled switches including three terminals for respectively switching the input data source of the data fusion module 111 and the power control module 115.
  • the real multi-sensor module 116 includes various sensors such as a speedometer, a gyroscope, a barometer, an ultrasonic, a GPS, a compass, a vision sensor, and the like.
  • the real actuator 118 may be a motor, a steering gear, or the like of the unmanned aerial vehicle 110 for receiving and executing a power output command of the power control module 115.
  • the first switch 112 is connected to the data fusion module 111, the real multi-sensor module 116, and the multi-sensor data simulator 150, for inputting the input data of the data fusion module 111 to the real
  • the multi-sensor data output by the multi-sensor module 116 is switched between the multi-sensor analog data output by the multi-sensor data simulator 150.
  • the first switch 112 can include a first connection end 1121, a second connection end 1123, and a third connection end 1125.
  • the first connection end 1121 is connected to the data input end of the data fusion module 111.
  • the second connection end 1123 is connected to the data output end of the real multi-sensor module 116, and the third connection end 1125 is connected to the output end of the multi-sensor data simulator 150.
  • the first connection end 1121 can be switched to be connected to the second connection end 1123 or to the third connection end 1125.
  • the first connection end 1121 is connected to the second connection end 1123, and the input data of the data fusion module 111 is a real multi-sensor output by the real multi-sensor module 116.
  • Data that is, data collected by a plurality of sensors in the multi-sensor module 116 in an actual working environment; when the unmanned aerial vehicle 110 is in a flight simulation state, the first connection end 1121 switches to the third connection The end 1125 is connected, and the input data of the data fusion module 111 is multi-sensor simulation data output by the multi-sensor data simulator 150.
  • the second switch 114 is connected to the power control module 115, the real actuator 118 and the flight simulator 130 for controlling the power control module 115 to the real actuator 118 and The flight simulator 130 switches between.
  • the second switch 114 may include a first connection end 1141, a second connection end 1143, and a third connection end 1145.
  • the first connection end 1141 is connected to the command output end of the power control module 115.
  • the second connection end 1143 is coupled to an instruction input of the real actuator 118, and the third connection end 1145 is coupled to an instruction input of the flight simulator 130.
  • the first connection end 1141 can be switched to be connected to the second connection end 1143 or to the third connection end 1145.
  • the first connection end 1141 is connected to the second connection end 1143, and the control object of the power control module 115 is the real actuator 118 of the UAV 110;
  • the first connection end 1141 is switched to be connected to the third connection end 1145, and the control object of the power control module 115 is the flight simulator 130.
  • the flight simulation control terminal 170 can be configured to transmit a flight simulator activation command to the UAV 110.
  • the UAV 110 may first store the flight simulator startup command to a storage medium (such as EEPROM, SD card, Flash, etc.), and then restart by hardware or software. The way to complete the reset of the flight state simulation data of the flight simulator. It will be appreciated that it is also possible to only restart the flight simulator. After the restart is completed, the flight simulator startup command is read from the storage medium, thereby controlling the multi-sensor output by the first switch 112 to output the input data of the data fusion module 111 by the real multi-sensor module 116.
  • a storage medium such as EEPROM, SD card, Flash, etc.
  • Data is switched to multi-sensor analog data output by the multi-sensor data simulator 150, and the second switch 114 is controlled to control the object of control of the power control module 115 of the UAV from the unmanned aerial vehicle
  • the actuator 118 switches to the flight simulator 130 and activates the flight simulator 130 for flight simulation.
  • the flight simulation control terminal 170 can send a setting instruction for modifying the flight simulation parameter to the flight simulator 130, thereby controlling the flight simulator 130 to change flight simulation parameters, for example, changing no. Human aircraft weight, changing wind speed, injection failure, etc.
  • the characteristic parameter modification instruction of the multi-sensor model may be sent by the flight simulation control terminal 170, and the characteristic parameters of one or more sensors in the multi-sensor data simulator 150 may be changed, thereby Verifying the unmanned based on the characteristic parameters and the flight state simulation data The flight stability of the aircraft under the sensor configuration of different characteristic parameters, or the stability of the data fusion algorithm under the sensor configuration of different characteristic parameters is verified according to the characteristic parameters and the flight state simulation data.
  • the flight simulation control terminal 170 may further send a characteristic parameter modification instruction of the multi-sensor model to inject a preset fault into one or more sensors in the multi-sensor model, and then according to the preset fault. And the flight state simulation data, verifying the fault diagnosis performance and the isolation algorithm performance of the multi-sensor data simulator 150.
  • the flight simulator exit command may be sent to the UAV 110 by the flight simulation control terminal 170 after the flight simulation mission is completed.
  • the UAV 110 will perform an exit flight simulation operation upon receiving the flight simulator exit command.
  • the first switch 112 is controlled to switch the multi-sensor analog data output by the multi-sensor data simulator 150 of the input data of the data fusion module 111 to the real multi-sensor output by the real multi-sensor module 116.
  • Data, and controlling the second switch 114 to switch the control object of the power control module 115 of the UAV (ie, the receiver of the power output command) from the flight simulator 130 to the real state of the unmanned aerial vehicle Actuator 118.
  • the flight simulator 130 and the multi-sensor data simulator 150 may be disposed inside the UAV 110 or may be disposed outside the UAV 110.
  • a separate flight simulation device such as a computer, a smart phone, a tablet, or a dedicated flight simulation platform.
  • the flight simulation device passes the multi-sensor analog data output by the multi-sensor data simulator 150 through the communication link.
  • the multi-sensor simulation data is processed by the unmanned aerial vehicle 110 for data fusion and the like to generate a corresponding power output command, and transmitted to the flight simulator 130 on the flight simulation device through the communication link.
  • the flight simulator 130 may also be disposed only on the flight simulation device outside the UAV 110, at which time the external flight simulation device outputs the flight simulator 130.
  • Ground Truth data is transmitted to the UAV 110 via a communication link, and the UAV 110 transmits power output commands over a communication link to a flight simulator 130 that is transmitted to the flight simulation device.
  • the communication link may be a communication link established over a wired connection or a wireless connection.
  • the unmanned aerial vehicle 110 may have some theoretically unpredictable conditions in actual operation, it is also possible to simulate a specific scene and generate a specific by the flight simulator 130.
  • the input data is used to control the unmanned aerial vehicle 110 for simulated flight.
  • the flight simulation is closer to the real flight effect by adding a multi-sensor model and a data fusion link in the flight simulation process.
  • multi-sensor models due to the existence of multi-sensor models, it can simulate sensor-related faults and functions, provide users with more simulation scenarios, and can simulate the performance of unmanned aerial vehicles in the case of multi-sensor data, such as ultrasonic elevation, visual obstacle avoidance, etc. To provide users with more advanced features.
  • software developers can be provided with more realistic simulation effects, improving development efficiency and flight safety.
  • a flight simulation method based on multi-sensor data fusion is provided, which is applied to the flight simulation system 100 shown in FIG. 1, and the method includes at least the following steps:
  • Step 210 Acquire a flight simulator startup command sent by the flight simulation control terminal, and start a flight simulator.
  • Step 220 Generate multi-sensor simulation data according to preset multi-sensor model parameters and ground truth simulation data output by the flight simulator;
  • Step 230 merging the multi-sensor simulation data to generate simulated multi-sensor fusion data
  • Step 240 Generate a flight simulation control instruction according to the simulated multi-sensor fusion data.
  • Step 250 Generate a power output command according to the flight simulation control instruction, to control the flight simulator to perform flight simulation by using the power output command, and generate flight state simulation data and ground truth simulation data;
  • Step 260 Push the flight state simulation data to the flight simulation control terminal to perform flight simulation display by the flight simulation control terminal.
  • the method further includes:
  • Step 211 Store the flight simulator startup instruction to a storage medium
  • Step 212 Control the unmanned aerial vehicle or flight simulator to restart to complete the resetting of the flight state simulation data of the flight simulator; wherein the restart is a hardware restart or a software restart.
  • Step 213 Switching the input data of the data fusion module from the real multi-sensor data of the UAV to the multi-sensor simulation data;
  • Step 214 Switch the control object of the power control module of the UAV from the real actuator of the UAV to the flight simulator.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the flight simulator is controlled to change flight simulation parameters according to the flight simulation parameter setting instruction.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the flight stability of the UAV under different sensor configurations of the characteristic parameters is verified.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the stability of the data fusion algorithm under the sensor configuration of different characteristic parameters is verified according to the characteristic parameter and the flight state simulation data.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the method further includes the step 261: acquiring a flight simulator exit instruction sent by the flight simulation control terminal, ending the flight simulation, and inputting the data fusion module after ending the flight simulation.
  • the data is switched to the real multi-sensor data of the UAV and the recipient of the switched power output command to the real actuator of the UAV.
  • a flight simulation apparatus 400 based on multi-sensor data fusion including:
  • a flight simulation unit 410 configured to acquire a flight simulator startup command sent by the flight simulation control terminal, and start a flight simulator
  • the sensing simulation unit 420 is configured to generate multi-sensor simulation data according to preset multi-sensor model parameters and ground truth simulation data output by the flight simulator;
  • a data fusion unit 430 configured to fuse the multi-sensor simulation data to generate simulated multi-sensor fusion data
  • a logic function unit 440 configured to generate a flight simulation control instruction according to the simulated multi-sensor fusion data
  • a power control unit 450 configured to generate a power output command according to the flight simulation control instruction, to control the flight simulator to perform flight simulation by using the power output command, and generate flight state simulation data and ground truth simulation data;
  • the data communication unit 460 is configured to push the flight state simulation data to the flight simulation control terminal to perform flight simulation display by using the flight simulation control terminal.
  • the flight simulation device 400 further includes:
  • a first switching unit 471, configured to switch input data of the data fusion module from multi-sensor data of the UAV to multi-sensor analog data;
  • the second switching unit 472 is configured to switch the control object of the power control module of the UAV from the actuator of the UAV to the flight simulator.
  • the flight simulation device 400 further includes:
  • a storage unit 480 configured to store the flight simulator startup instruction to a storage medium
  • the resetting unit 490 is configured to control the unmanned aerial vehicle or the flight simulator to restart to complete the resetting of the flight state simulation data of the flight simulator; wherein the restart is a hardware restart or a software restart.
  • the flight simulation unit 410 is further configured to:
  • the flight simulator is controlled to change flight simulation parameters according to the flight simulation parameter setting instruction.
  • the flight simulation unit 410 is further configured to:
  • the flight stability of the UAV under different sensor configurations of the characteristic parameters is verified.
  • the flight simulation unit 410 is further configured to:
  • the stability of the data fusion algorithm under the sensor configuration of different characteristic parameters is verified according to the characteristic parameter and the flight state simulation data.
  • the flight simulation unit 410 is further configured to:
  • various instructions acquired by the flight simulation unit 410 may be received by the data communication unit 460 and then sent to the flight simulation unit 410.
  • a flight simulation method based on multi-sensor data fusion is provided, which is applied to an unmanned aircraft end, the unmanned aerial vehicle includes a flight simulator, and the flight simulation method is at least Including the following steps:
  • a flight simulation control command is generated based on the simulated multi-sensor fusion data.
  • the method further includes:
  • the flight state simulation data is pushed to the flight simulation control terminal to perform flight simulation display by the flight simulation control terminal.
  • the method further includes:
  • the control object of the power control module of the UAV is switched from the real actuator of the UAV to the flight simulator.
  • the method before the input data of the data fusion module is switched from the real multi-sensor data of the UAV to the real multi-sensor simulation data, the method further includes:
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the flight simulator is controlled to change flight simulation parameters according to the flight simulation parameter setting instruction.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the verification data fusion algorithm is different in different Stability under the sensor configuration of the sexual parameters.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the flight simulation method further includes:
  • an unmanned aerial vehicle 500 including a rotor, a power supply, a landing gear, and the like (not shown). Further, in the embodiment of the present invention, the The UAV 500 also includes a communication interface 501, a controller 502, a memory 503, and a flight simulator 504.
  • the controller 502 establishes a communication connection with the flight simulator 504 through the communication interface 501, and the communication interface 501, the controller 502, and the memory 503 are electrically connected.
  • the flight simulator 504 can be disposed inside the body of the UAV 500 or outside the body, or the flight simulator 504 can also be set independently of the body of the UAV 500 and wired. Communication or wireless communication establishes a communication connection with an element at the body of the UAV 500.
  • the communication interface 501 is connected to a remote controller at the ground end for receiving data from the ground end.
  • the received data may include: flight control commands for the unmanned aerial vehicle, various parameters configured by the user through the remote controller, and remote controller generation. Various control conditions, control logic, etc.
  • the communication interface 501 is further configured to establish a communication connection with the flight simulation control terminal, and receive a flight simulator startup command, a flight simulation parameter setting instruction, and a characteristic parameter modification instruction sent by the flight simulation control terminal. And transmitting flight state simulation data generated by the flight simulator 504 to the flight simulation control terminal.
  • the memory 503 may include a volatile memory, such as a random-access memory (RAM); the memory 503 may also include a non-volatile memory. Non-volatile memory, such as flash memory, etc.; memory 503 may also include a combination of the above types of memory.
  • RAM random-access memory
  • Non-volatile memory such as flash memory, etc.
  • memory 503 may also include a combination of the above types of memory.
  • the controller 502 can be a central processing unit (CPU).
  • the processor may further include a hardware chip.
  • the hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD) or a combination thereof.
  • the PLD may be a complex programmable logic device (CPLD) or a field-programmable gate array (FPGA).
  • the memory 503 is further configured to store executable program instructions.
  • the controller 502 can invoke the executable program instructions to implement a multi-sensor data fusion based flight simulation method as shown in the embodiment of FIG. 2 of the present application.
  • controller 502 invokes executable program instructions stored in the memory 503 and performs the following operations:
  • a flight simulation control command is generated based on the simulated multi-sensor fusion data.
  • the operation further includes:
  • the flight state simulation data is pushed to the flight simulation control terminal to perform flight simulation display by the flight simulation control terminal.
  • the operation further includes:
  • the control object of the power control module of the UAV is switched from the real actuator of the UAV to the flight simulator.
  • the operation before the input data of the data fusion module is switched from the real multi-sensor data of the UAV to the multi-sensor simulation data, the operation further includes:
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the flight simulator is controlled to change flight simulation parameters according to the flight simulation parameter setting instruction.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the flight stability of the UAV under different sensor configurations of the characteristic parameters is verified.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the stability of the data fusion algorithm under the sensor configuration of different characteristic parameters is verified according to the characteristic parameter and the flight state simulation data.
  • controlling the flight simulator to perform flight simulation by the power output command comprises:
  • the operation further includes:
  • controller 502 can also refer to the related description in the embodiment shown in FIG. 1 , and details are not described herein again.
  • the embodiment of the invention combines the ground truth simulation data output by the flight simulator with the multi-sensor model parameters to generate multi-sensor simulation data, and then converts the multi-sensor simulation data into multi-sensor fusion data through data fusion, and according to the multi-sensor
  • the data is fused to generate a flight simulation control command and a corresponding power output command to control the flight simulator for flight simulation by the power output command.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory RAM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于多传感器数据融合的飞行模拟方法、装置及系统，飞行模拟方法包括：获取飞行模拟控制终端（170）发送的飞行模拟器（130）启动指令，启动飞行模拟器（130）(步骤210)；根据预设多传感器模型参数和飞行模拟器（130）输出的地面实况模拟数据，生成多传感器模拟数据(步骤220)；将多传感器模拟数据进行融合生成多传感器融合数据，生成模拟的多传感器融合数据(步骤230)；根据多传感器融合数据生成飞行模拟控制指令。飞行模拟方法可以实现多传感器特性下的飞行模拟(步骤240)。

Description

基于多传感器数据融合的飞行模拟方法、装置及设备
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或该专利披露。
技术领域
本发明涉及飞行模拟技术领域，尤其涉及一种基于多传感器数据融合的飞行模拟方法、装置、无人飞行器及飞行模系统。
背景技术
随着无人机越来越多地得到应用，无人机模拟器也在示教、游戏、测绘、SDK开发等方面中得到了广泛的应用。例如，在消费级无人机配套的APP或参数调节软件中，一般会内置模拟器功能。用户在模拟器中进行操作，熟悉产品的基本功能和各种基础操作，并可设置一些常见的异常场景，用户在这些场景下学习如何正确处理，以加强在实际飞行时的安全意识和操作水平。此外，在无人机应用开发的过程中，模拟器是一个必不可少的核心环节。开发者在开发的过程中，需要借助模拟器进行调试、验证，直观得到所开发的应用的效果，以提高开发效率和增强飞行安全。
现有模拟器大多是仅仅由模型计算得到Ground Truth(地面实况数据)，并直接利用Ground Truth中的姿态、速度和经纬度等数据进行控制和逻辑运行。这种方法的显著缺点就是缺少传感器模型，无法模拟传感器特性，如噪声、延迟及各种故障(数据卡死、断开连接、跳变等)，进而造成模拟的效果和实际飞行有较大的差别，且无法模拟冗余情况下的传感器切换。同时，该方法缺少数据融合环节，无法验证在多传感器融合方面的算法和功能。上述缺陷的存在，使得现有的模拟器在各方面的应用都受到了很大的限制。
发明内容
本发明实施例提供一种基于多传感器数据融合的飞行模拟方法、装置、无 人飞行器及飞行模系统，可实现不同的多传感器特性下的飞行模拟，可以提升飞行模拟的仿真度，进而有利于提高无人飞行器的开发效率及飞行安全性。
第一方面，本发明实施例提供一种基于多传感器数据融合的飞行模拟方法，包括：
获取飞行模拟控制终端发送的飞行模拟器启动指令，启动飞行模拟器；
根据预设多传感器模型参数和飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
第二方面，本发明实施例提供一种基于多传感器数据融合的飞行模拟装置，包括：
飞行模拟单元，用于获取飞行模拟控制终端发送的飞行模拟器启动指令，启动飞行模拟器；
传感模拟单元，用于根据预设多传感器模型参数和飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
数据融合单元，用于将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
逻辑功能单元，用于根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
第三方面，本发明实施例提供一种基于多传感器数据融合的飞行模拟方法，应用于无人飞行器端，所述无人飞行器包括飞行模拟器，所述方法包括：
获取飞行模拟器启动指令，启动飞行模拟器；
根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
第四方面，本发明实施例提供一种无人飞行器，包括通信接口、控制器、存储器和飞行模拟器，所述控制器通过所述通信接口与所述飞行模拟器建立通信连接；所述存储器，用于存储可执行程序指令；所述控制器，用于调用所述可执行程序指令，并执行如下操作：
获取飞行模拟控制终端发送的飞行模拟器启动指令，启动所述飞行模拟器；
根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
第五方面，本发明实施例提供一种基于多传感器数据融合的飞行模拟系统，包括：无人飞行器、飞行模拟器、多传感数据模拟器及飞行模拟控制终端，所述无人飞行器与所述飞行模拟器、所述多传感数据模拟器及所述飞行模拟控制终端通信连接；所述无人飞行器包括数据融合模块、逻辑功能模块及数据通信模块；
所述数据通信模块，用于获取所述飞行模拟控制终端发送的飞行模拟器启动指令，启动所述飞行模拟器；
所述多传感数据模拟器，用于根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
所述数据融合模块，用于将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
所述逻辑功能模块，用于根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
本发明实施例通过将飞行模拟器输出的地面实况模拟数据与多传感器模型参数结合，生成多传感器模拟数据，进而通过数据融合将多传感器模拟数据转换为多传感器融合数据，并根据所述多传感器融合数据来生成飞行模拟控制指令和对应的动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟。通过改变所述多传感器模型参数，能够实现不同的多传感器特性下的飞行模拟，从而提升飞行模拟的仿真度，有利于提高无人飞行器的开发效率及飞行安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的飞行模拟系统的结构示意图；
图2为本发明实施例的飞行模拟方法的流程示意图；
图3为本发明实施例的飞行模拟方法的另一流程示意图；
图4为本发明实施例的飞行模拟装置的结构示意图；
图5为本发明实施例的无人飞行器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，在本发明一个实施例中，提供一种基于多传感器数据融合的飞行模拟系统100，用于对无人飞行器(Unmanned Aerial Vehicle，UAV)进行飞行模拟，进而验证无人飞行器在不同的多传感器特性条件下的飞行稳定性。
所述飞行模拟系统100包括无人飞行器110、飞行模拟器130、多传感数据模拟器150及飞行模拟控制终端170。所述无人飞行器110与所述飞行模拟器130、所述多传感数据模拟器150及所述飞行模拟控制终端170通信连接。其中，通信连接可以是直接通过信号线缆和连接器连接(例如通用串行总线Universal Serial Bus，USB)，或者通过无线通信模块(例如蓝牙、Wi-Fi)建立通信连接，相互电连接的双方之间可以相互通信并完成数据传输。
所述无人飞行器110可以由用户远程遥控控制，飞行到目的区域，执行特殊任务。例如，通过在无人飞行器110上挂载摄像机，用户可以实现对目的区域进行监控，有效应用在抢险救灾、地质监测等场景下。在本发明实施例中，用户可以配置关于时间和/或距离的控制条件，使得挂载由摄像机、喷洒装置等作业模块的无人机能够定时和/或定距对作业模块进行控制，控制摄像机定时和/或定距拍摄影像，控制喷洒装置定时和/或定距喷洒农药等功能。当然，能够挂载在无人飞行器上的作业模块包括多种，除了包括所述的摄像机、喷洒装置外，还可以包括雷达装置、红外装置等，在军事领域还可以包括火力系统 等。
所述飞行模拟器130用于接收动力输出指令，并在所述动力输出指令的控制下进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据。其中，所述飞行模拟器130可以包括无人飞行器的动力学/运动学模型，该模型在接收动力输出指令时，可以模拟无人飞行器的各种飞行状态，并输出飞行状态模拟数据和地面实况(Ground Truth)模拟数据。
所述多传感数据模拟器150用于根据预设多传感器模型参数和所述地面实况模拟数据，生成多传感器模拟数据。其中，所述多传感数据模拟器150可以包括但不限于加速度计、陀螺仪、气压计、超声波、GPS、指南针、视觉传感器等传感器的模型。不同的传感器有不同的模型，该传感器模型用于接收飞行模拟器130输出的Ground Truth模拟数据，并结合预设多传感器模型参数，在传感器模型内部经过一系列处理(如数据转换、延迟、噪声叠加、偏置等)后输出多传感器模拟数据。其中，所述预设多传感器模型参数可以包括噪声类型、功率、延迟、安装位置、非线性特征等参数。
可以理解，由于不同的模型参数定义了不同的传感器特性，通过修改所述预设多传感器模型参数中的一个或多个传感器的特性参数，从而可以改变对应传感器的特性，进而可以验证无人飞行器在不同特性参数的传感器配置下的飞行稳定性。此外，通过改变预设多传感器模型参数中的一个或多个传感器的特性参数，对多传感数据模拟器150中的一个或多个传感器注入预设故障，还可以验证所述多传感数据模拟器150的故障诊断性能及隔离算法性能。
所述无人飞行器110包括数据融合模块111、逻辑功能模块113、动力控制模块115及数据通信模块117，所述数据融合模块111用于接收多传感数据模拟器150输出的多传感器模拟数据，并将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据。所述逻辑功能模块113用于接收数据融合模块111输出的模拟的多传感器融合数据，并根据所述模拟的多传感器融合数据生成飞行模拟控制指令给所述动力控制模块115。所述动力控制模块115用于根据所述飞行模拟控制指令生成动力输出指令给所述飞行模拟器130。所述数据通信模块117用于将所述飞行模拟器130输出的飞行状态模拟数据推送给所述飞行模拟控制终端170，以通过所述飞行模拟控制终端170进行飞行模拟显示。
其中，所述飞行模拟控制终端170可以是但不限于个人计算机、手机、平 板电脑等通用终端，也可以是专门用于飞行模拟控制和显示的通信终端。所述飞行模拟控制终端170可以通过有线(如USB)或无线(如蓝牙或Wi-Fi)的方式与所述无人飞行器110建立通信连接。所述飞行模拟控制终端170包括3D图像显示引擎。当所述飞行模拟器130输出的飞行状态模拟数据推送给所述飞行模拟控制终端170之后，可以通过所述飞行模拟控制终端170的3D图像显示引擎动态地显示模拟的无人飞行器及其模拟飞行环境的3D影像。
在一种实施方式中，所述无人飞行器110还包括第一切换开关112、第二切换开关114、真实多传感器模块116及真实执行器118。其中，所述第一切换开关112与所述第二切换开关114均为包括三个连接端的电控切换开关，分别用于切换所述数据融合模块111的输入数据来源及所述动力控制模块115的控制对象。所述真实多传感器模块116包括多种传感器，例如速度计、陀螺仪、气压计、超声波、GPS、指南针、视觉传感器等。所述真实执行器118可以为所述无人飞行器110的电机、舵机等，用于接收并执行所述动力控制模块115的动力输出指令。
所述第一切换开关112与所述数据融合模块111、所述真实多传感器模块116及所述多传感数据模拟器150连接，用于将所述数据融合模块111的输入数据在所述真实多传感器模块116输出的多传感器数据与所述多传感数据模拟器150输出的多传感器模拟数据之间切换。具体地，所述第一切换开关112可以包括第一连接端1121、第二连接端1123和第三连接端1125，所述第一连接端1121与所述数据融合模块111的数据输入端连接，所述第二连接端1123与所述真实多传感器模块116的数据输出端连接，所述第三连接端1125与所述多传感数据模拟器150的输出端连接。
可以理解，所述第一连接端1121可以切换为与所述第二连接端1123连接或者与所述第三连接端1125连接。当所述无人飞行器110正常工作时，所述第一连接端1121与所述第二连接端1123连接，所述数据融合模块111的输入数据为所述真实多传感器模块116输出的真实多传感器数据，即实际工作环境下由多传感器模块116中的多个传感器采集到的数据；当所述无人飞行器110处于飞行模拟状态时，所述第一连接端1121切换至与所述第三连接端1125连接，所述数据融合模块111的输入数据为所述多传感数据模拟器150输出的多传感器模拟数据。
所述第二切换开关114与所述动力控制模块115、所述真实执行器118及所述飞行模拟器130连接，用于将所述动力控制模块115的控制对象在所述真实执行器118及所述飞行模拟器130之间切换。具体地，所述第二切换开关114可以包括第一连接端1141、第二连接端1143及第三连接端1145，所述第一连接端1141与所述动力控制模块115的指令输出端连接，所述第二连接端1143与所述真实执行器118的指令输入端连接，所述第三连接端1145与所述飞行模拟器130的指令输入端连接。
可以理解，所述第一连接端1141可以切换为与所述第二连接端1143连接或者与所述第三连接端1145连接。当所述无人飞行器110正常工作时，所述第一连接端1141与所述第二连接端1143连接，所述动力控制模块115的控制对象为所述无人飞行器110的真实执行器118；当所述无人飞行器110处于飞行模拟状态时，所述第一连接端1141切换至与所述第三连接端1145连接，所述动力控制模块115的控制对象为所述飞行模拟器130。
在一种实施方式中，所述飞行模拟控制终端170可以用于发送飞行模拟器启动指令给所述无人飞行器110。所述无人飞行器110在接收到所述飞行模拟器启动指令之后，可以先将所述飞行模拟器启动指令存储至存储介质(如EEPROM、SD卡、Flash等)，进而通过硬件重启或软件重启的方式完成对所述飞行模拟器的飞行状态模拟数据的重置。可以理解，也可以仅重启所述飞行模拟器。在重启完成后，从存储介质中读取所述飞行模拟器启动指令，进而控制所述第一切换开关112将所述数据融合模块111的输入数据由所述真实多传感器模块116输出的多传感器数据切换为所述多传感数据模拟器150输出的多传感器模拟数据，并控制所述第二切换开关114将所述无人飞行器的动力控制模块115的控制对象由所述无人飞行器的真实执行器118切换为所述飞行模拟器130，并启动所述飞行模拟器130进行飞行模拟。
可以理解，在飞行模拟过程中，可以通过所述飞行模拟控制终端170发送修改飞行模拟参数的设置指令给所述飞行模拟器130，进而控制所述飞行模拟器130改变飞行模拟参数，例如改变无人飞行器重量、改变风速、注入故障等。在一种实施方式中，还可以通过所述飞行模拟控制终端170发送多传感器模型的特性参数修改指令，改变所述多传感数据模拟器150中的一个或多个传感器的特性参数，进而可以根据所述特性参数和所述飞行状态模拟数据，验证无人 飞行器在不同特性参数的传感器配置下的飞行稳定性，或者根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。在一种实施方式中，还可以通过所述飞行模拟控制终端170发送多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障，进而根据所述预设故障和所述飞行状态模拟数据，验证所述多传感数据模拟器150的故障诊断性能及隔离算法性能。
可以理解，当完成飞行模拟任务之后，可以通过所述飞行模拟控制终端170发送飞行模拟器退出指令给所述无人飞行器110。所述无人飞行器110收到飞行模拟器退出指令后将执行退出飞行模拟操作。同时，控制所述第一切换开关112将所述数据融合模块111的输入数据由所述多传感数据模拟器150输出的多传感器模拟数据切换为所述真实多传感器模块116输出的真实多传感器数据，并控制所述第二切换开关114将所述无人飞行器的动力控制模块115的控制对象(即动力输出指令的接收者)由所述飞行模拟器130切换为所述无人飞行器的真实执行器118。
可以理解，在一种实施方式中，所述飞行模拟器130和所述多传感数据模拟器150可以设置于所述无人飞行器110的内部，也可以设置于所述无人飞行器110的外部，例如单独的飞行模拟设备上，例如设置于计算机、智能手机、平板电脑或专用飞行模拟平台。当所述飞行模拟器130和所述多传感数据模拟器150设置于单独的飞行模拟设备上时，飞行模拟设备将所述多传感数据模拟器150输出的多传感器模拟数据通过通信链路传输给所述无人飞行器110，多传感器模拟数据经无人飞行器110进行数据融合等处理之后生成对应的动力输出指令，并通过通信链路发送给飞行模拟设备上的飞行模拟器130。在一种实施方式中，也可以仅将所述飞行模拟器130设置于所述无人飞行器110的外部的飞行模拟设备上，此时，外部的飞行模拟设备将所述飞行模拟器130输出的Ground Truth数据通过通信链路传输给所述无人飞行器110，而所述无人飞行器110将动力输出指令通过通信链路传输给发送给飞行模拟设备上的飞行模拟器130。可以理解，所述通信链路可以是通过有线连接或无线连接建立的通信链路。
可以理解，由于所述无人飞行器110在实际运行中可能出现一些理论上不可预测的情况，因此还可以通过所述飞行模拟器130模拟特定场景并生成特定 的输入数据来控制所述无人飞行器110进行模拟飞行。
在本发明实施例中，通过在飞行模拟过程中加入多传感器模型和数据融合环节，使得飞行模拟更加接近真实飞行效果。同时，由于多传感器模型的存在，能够模拟与传感器相关的故障和功能，为用户提供更多模拟场景，且能够模拟多传感器数据情况下的无人飞行器表现，如超声波定高、视觉避障等，为用户提供更多高级功能。此外，通过在飞行模拟过程中加入多传感器模型和数据融合环节，可以为软件开发者提供更加逼真的模拟仿真效果，提高开发效率和飞行安全性。
请参阅图2，在本发明一个实施例中，提供一种基于多传感器数据融合的飞行模拟方法，应用于如图1所示飞行模拟系统100中，所述方法至少包括如下步骤：
步骤210：获取飞行模拟控制终端发送的飞行模拟器启动指令，启动飞行模拟器；
步骤220：根据预设多传感器模型参数和飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
步骤230：将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
步骤240：根据所述模拟的多传感器融合数据生成飞行模拟控制指令；
步骤250：根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
步骤260：将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
请参阅图3，在一种实施方式中，所述获取飞行模拟控制终端发送的飞行模拟器启动指令之后，启动飞行模拟器之前，所述方法还包括：
步骤211：将所述飞行模拟器启动指令存储至存储介质；
步骤212：控制无人飞行器或飞行模拟器重启，以完成对所述飞行模拟器的飞行状态模拟数据的重置；其中，所述重启为硬件重启或软件重启。
步骤213：将数据融合模块的输入数据由无人飞行器的真实多传感器数据切换为多传感器模拟数据；
步骤214：将无人飞行器的动力控制模块的控制对象由无人飞行器的真实执行器切换为飞行模拟器。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
可以理解，在完成飞行模拟的目的之后，所述方法还包括步骤261：获取飞行模拟控制终端发送的飞行模拟器退出指令，并结束飞行模拟，并在结束飞行模拟之后，将数据融合模块的输入数据切换至所述无人飞行器的真实多传感器数据以及切换动力输出指令的接收者至所述无人飞行器的真实执行器。
可以理解，所述飞行模拟方法中各步骤的具体实现还可以参照图1所示实 施例中的相关描述，此处不再赘述。
请参阅图4，在本发明一个实施例中，提供一种基于多传感器数据融合的飞行模拟装置400，包括：
飞行模拟单元410，用于获取飞行模拟控制终端发送的飞行模拟器启动指令，启动飞行模拟器；
传感模拟单元420，用于根据预设多传感器模型参数和飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
数据融合单元430，用于将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
逻辑功能单元440，用于根据所述模拟的多传感器融合数据生成飞行模拟控制指令；
动力控制单元450，用于根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
数据通信单元460，用于将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
在一种实施方式中，所述飞行模拟装置400还包括：
第一切换单元471，用于将数据融合模块的输入数据由无人飞行器的多传感器数据切换为多传感器模拟数据；
第二切换单元472，用于将无人飞行器的动力控制模块的控制对象由无人飞行器的执行器切换为飞行模拟器。
在一种实施方式中，所述飞行模拟装置400还包括：
存储单元480，用于将所述飞行模拟器启动指令存储至存储介质；
重置单元490，用于控制无人飞行器或飞行模拟器重启，以完成对所述飞行模拟器的飞行状态模拟数据的重置；其中，所述重启为硬件重启或软件重启。
在一种实施方式中，所述飞行模拟单元410还用于：
获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
在一种实施方式中，所述飞行模拟单元410还用于：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
在一种实施方式中，所述飞行模拟单元410还用于：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
在一种实施方式中，所述飞行模拟单元410还用于：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
可以理解，在本实施例中，所述飞行模拟单元410获取的各种指令可以是由所述数据通信单元460接收，进而发送给所述飞行模拟单元410。
可以理解，所述飞行模拟装置400中各单元的具体功能及其实现还可以参照图1所示实施例中的相关描述，此处不再赘述。
请再次参阅图2，在本发明一个实施例中，提供一种基于多传感器数据融合的飞行模拟方法，应用于无人飞行器端，所述无人飞行器包括飞行模拟器，所述飞行模拟方法至少包括如下步骤：
获取飞行模拟器启动指令，启动飞行模拟器；
根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
在一种实施方式中，所述根据所述模拟的多传感器融合数据生成飞行模拟控制指令之后，所述方法还包括：
根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟 数据；
将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
请再次参阅图3，在一种实施方式中，所述获取飞行模拟控制终端发送的飞行模拟器启动指令之后，启动飞行模拟器之前，所述方法还包括：
将数据融合模块的输入数据由所述无人飞行器的真实多传感器数据切换为多传感器模拟数据；
将无人飞行器的动力控制模块的控制对象由所述无人飞行器的真实执行器切换为飞行模拟器。
在一种实施方式中，所述将数据融合模块的输入数据由所述无人飞行器的真实多传感器数据切换为真实多传感器模拟数据之前，所述方法还包括：
将所述飞行模拟器启动指令存储至存储介质；
控制所述无人飞行器或所述飞行模拟器重启，以完成对所述飞行模拟器的飞行状态模拟数据的重置；其中，所述重启为硬件重启或软件重启。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证所述无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特 性参数的传感器配置下的稳定性。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
在一种实施方式中，所述飞行模拟方法还包括：
获取所述飞行模拟控制终端发送的飞行模拟器退出指令；
退出飞行模拟器，并将数据融合模块的输入数据切换至所述无人飞行器的真实多传感器数据以及切换动力输出指令的接收者至所述无人飞行器的真实执行器。
再请参阅图5，在本发明一个实施例中，提供一种无人飞行器500，包括旋翼、供电电源、起落架等部件(图未示)，进一步地，在本发明实施例中，所述无人飞行器500还包括：通信接口501、控制器502、存储器503以及飞行模拟器504。所述控制器502通过所述通信接口501与所述飞行模拟器504建立通信连接，所述通信接口501、控制器502以及存储器503之间电连接。可以理解，所述飞行模拟器504可以设置于所述无人飞行器500的机体内或机体外侧，或者，所述飞行模拟器504也可以独立于所述无人飞行器500的机体设置，并通过有线通信或无线通信与所述无人飞行器500的机体处的元件建立通信连接。
所述通信接口501与地面端的遥控器相连，用于接收来自地面端的数据，接收的这些数据可以包括：对无人飞行器的飞行控制指令，用户通过遥控器配置的各种参数，以及遥控器生成的各种控制条件、控制逻辑等。
在本发明实施例中，所述通信接口501还用于与飞行模拟控制终端建立通信连接，接收所述飞行模拟控制终端发送的飞行模拟器启动指令、飞行模拟参数设置指令及特性参数修改指令等，并将飞行模拟器504生成的飞行状态模拟数据推送给所述飞行模拟控制终端。
所述存储器503可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，简称RAM)；存储器503也可以包括非易失 性存储器(non-volatile memory)，例如快闪存储器(flash memory)等；存储器503还可以包括上述种类的存储器的组合。
所述控制器502可以为一个中央处理器(central processing unit，简称CPU)。所述处理器还可以进一步包括硬件芯片。硬件芯片可以是专用集成电路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程逻辑门阵列(field-programmable gate array，简称FPGA)等。
可选地，所述存储器503还用于存储可执行程序指令。所述控制器502可以调用所述可执行程序指令，实现如本申请图2实施例中所示的基于多传感器数据融合的飞行模拟方法。
具体的，所述控制器502调用所述存储器503中存储的可执行程序指令，并执行如下操作：
获取飞行模拟控制终端发送的飞行模拟器启动指令，启动飞行模拟器；
根据预设多传感器模型参数和飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
在一种实施方式中，所述根据所述模拟的多传感器融合数据生成飞行模拟控制指令之后，所述操作还包括：
根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
在一种实施方式中，所述获取飞行模拟控制终端发送的飞行模拟器启动指令之后，启动飞行模拟器之前，所述操作还包括：
将数据融合模块的输入数据由无人飞行器的真实多传感器数据切换为多传感器模拟数据；
将无人飞行器的动力控制模块的控制对象由无人飞行器的真实执行器切换为飞行模拟器。
在一种实施方式中，所述将数据融合模块的输入数据由无人飞行器的真实多传感器数据切换为多传感器模拟数据之前，所述操作还包括：
将所述飞行模拟器启动指令存储至存储介质；
控制无人飞行器或飞行模拟器重启，以完成对所述飞行模拟器的飞行状态模拟数据的重置；其中，所述重启为硬件重启或软件重启。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
在一种实施方式中，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
在一种实施方式中，所述操作还包括：
获取所述飞行模拟控制终端发送的飞行模拟器退出指令；
退出飞行模拟器，并将数据融合模块的输入数据切换至所述无人飞行器的真实多传感器数据以及切换动力输出指令的接收者至所述无人飞行器的真实执行器。
可以理解，所述控制器502执行的各操作的具体功能及其实现还可以参照图1所示实施例中的相关描述，此处不再赘述。
本发明实施例通过将飞行模拟器输出的地面实况模拟数据与多传感器模型参数结合，生成多传感器模拟数据，进而通过数据融合将多传感器模拟数据转换为多传感器融合数据，并根据所述多传感器融合数据来生成飞行模拟控制指令和对应的动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟。通过改变所述多传感器模型参数，能够实现不同的多传感器特性下的飞行模拟，从而提升飞行模拟的仿真度，有利于提高无人飞行器的开发效率及飞行安全性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体RAM等。
可以理解，以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (46)

  1. 一种基于多传感器数据融合的飞行模拟方法，其特征在于，包括：
    获取飞行模拟控制终端发送的飞行模拟器启动指令，启动飞行模拟器；
    根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
    将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
    根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
  2. 如权利要求1所述的飞行模拟方法，其特征在于，所述根据所述模拟的多传感器融合数据生成飞行模拟控制指令之后，所述方法还包括：
    根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
    将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
  3. 如权利要求1所述的飞行模拟方法，其特征在于，所述获取飞行模拟控制终端发送的飞行模拟器启动指令之后，启动飞行模拟器之前，所述方法还包括：
    将数据融合模块的输入数据由无人飞行器的真实多传感器数据切换为多传感器模拟数据；
    将无人飞行器的动力控制模块的控制对象由无人飞行器的真实执行器切换为飞行模拟器。
  4. 如权利要求3所述的飞行模拟方法，其特征在于，所述将数据融合模块的输入数据由无人飞行器的真实多传感器数据切换为真实多传感器模拟数据之前，所述方法还包括：
    将所述飞行模拟器启动指令存储至存储介质；
    控制无人飞行器或飞行模拟器重启，以完成对所述飞行模拟器的飞行状态 模拟数据的重置；其中，所述重启为硬件重启或软件重启。
  5. 如权利要求2至4任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
    根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
  6. 如权利要求2至4任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
  7. 如权利要求2至4任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
  8. 如权利要求2至4任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
    根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
  9. 如权利要求1至4任一项所述的飞行模拟方法，其特征在于，所述飞 行模拟方法还包括：
    获取所述飞行模拟控制终端发送的飞行模拟器退出指令；
    退出飞行模拟器，并将数据融合模块的输入数据切换至无人飞行器的真实多传感器数据以及切换动力输出指令的接收者至无人飞行器的真实执行器。
  10. 一种基于多传感器数据融合的飞行模拟装置，其特征在于，包括：
    飞行模拟单元，用于获取飞行模拟控制终端发送的飞行模拟器启动指令，启动飞行模拟器；
    传感模拟单元，用于根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
    数据融合单元，用于将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
    逻辑功能单元，用于根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
  11. 如权利要求10所述的飞行模拟装置，其特征在于，所述飞行模拟装置还包括：
    动力控制单元，用于根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
    数据通信单元，用于将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
  12. 如权利要求11所述的飞行模拟装置，其特征在于，所述飞行模拟装置还包括：
    第一切换单元，用于将数据融合模块的输入数据由无人飞行器的真实多传感器数据切换为多传感器模拟数据；
    第二切换单元，用于将无人飞行器的动力控制模块的控制对象由无人飞行器的真实执行器切换为飞行模拟器。
  13. 如权利要求12所述的飞行模拟装置，其特征在于，所述飞行模拟装置还包括：
    存储单元，用于将所述飞行模拟器启动指令存储至存储介质；
    重置单元，用于控制无人飞行器或飞行模拟器重启，以完成对所述飞行模拟器的飞行状态模拟数据的重置；其中，所述重启为硬件重启或软件重启。
  14. 如权利要求11至13任一项所述的飞行模拟装置，其特征在于，所述飞行模拟单元还用于：
    获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
    根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
  15. 如权利要求11至13任一项所述的飞行模拟装置，其特征在于，所述飞行模拟单元还用于：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
  16. 如权利要求11至13任一项所述的飞行模拟装置，其特征在于，所述飞行模拟单元还用于：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
  17. 如权利要求11至13任一项所述的飞行模拟装置，其特征在于，所述飞行模拟单元还用于：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
    根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
  18. 如权利要求10至13任一项所述的飞行模拟装置，其特征在于，所述飞行模拟单元，还用于：
    获取所述飞行模拟控制终端发送的飞行模拟器退出指令；
    退出飞行模拟器，并将数据融合模块的输入数据切换至无人飞行器的真实多传感器数据以及切换动力输出指令的接收者至无人飞行器的真实执行器。
  19. 一种基于多传感器数据融合的飞行模拟方法，应用于无人飞行器端，所述无人飞行器包括飞行模拟器，其特征在于，包括：
    获取飞行模拟器启动指令，启动飞行模拟器；
    根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
    将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
    根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
  20. 如权利要求19所述的飞行模拟方法，其特征在于，所述根据所述模拟的多传感器融合数据生成飞行模拟控制指令之后，所述方法还包括：
    根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
    将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
  21. 如权利要求20所述的飞行模拟方法，其特征在于，所述获取飞行模拟控制终端发送的飞行模拟器启动指令之后，启动飞行模拟器之前，所述方法还包括：
    将数据融合模块的输入数据由所述无人飞行器的真实多传感器数据切换为多传感器模拟数据；
    将无人飞行器的动力控制模块的控制对象由所述无人飞行器的真实执行器切换为飞行模拟器。
  22. 如权利要求21所述的飞行模拟方法，其特征在于，所述将数据融合模块的输入数据由所述无人飞行器的真实多传感器数据切换为真实多传感器模拟数据之前，所述方法还包括：
    将所述飞行模拟器启动指令存储至存储介质；
    控制所述无人飞行器或所述飞行模拟器重启，以完成对所述飞行模拟器的飞行状态模拟数据的重置；其中，所述重启为硬件重启或软件重启。
  23. 如权利要求20至22任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
    根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
  24. 如权利要求20至22任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证所述无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
  25. 如权利要求20至22任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
  26. 如权利要求20至22任一项所述的飞行模拟方法，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
    根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
  27. 如权利要求19至22任一项所述的飞行模拟方法，其特征在于，所述飞行模拟方法还包括：
    获取所述飞行模拟控制终端发送的飞行模拟器退出指令；
    退出飞行模拟器，并将数据融合模块的输入数据切换至所述无人飞行器的真实多传感器数据以及切换动力输出指令的接收者至所述无人飞行器的真实执行器。
  28. 一种无人飞行器，其特征在于，包括通信接口、控制器、存储器和飞行模拟器，所述控制器通过所述通信接口与所述飞行模拟器建立通信连接；所述存储器，用于存储可执行程序指令；所述控制器，用于调用所述可执行程序指令，并执行如下操作：
    获取飞行模拟控制终端发送的飞行模拟器启动指令，启动所述飞行模拟器；
    根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
    将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
    根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
  29. 如权利要求28所述的无人飞行器，其特征在于，所述飞行模拟器设置于所述无人飞行器的机体内或机体外侧，或者，所述飞行模拟器独立于所述无人飞行器的机体设置，并通过有线通信或无线通信与所述无人飞行器的机体处的元件建立通信连接。
  30. 如权利要求28或29所述的无人飞行器，其特征在于，所述根据所述模拟的多传感器融合数据生成飞行模拟控制指令之后，所述操作还包括：
    根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
    将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
  31. 如权利要求30所述的无人飞行器，其特征在于，所述获取飞行模拟控制终端发送的飞行模拟器启动指令之后，启动飞行模拟器之前，所述操作还包括：
    将数据融合模块的输入数据由所述无人飞行器的真实多传感器数据切换为多传感器模拟数据；
    将无人飞行器的动力控制模块的控制对象由所述无人飞行器的真实执行器切换为飞行模拟器。
  32. 如权利要求31所述的无人飞行器，其特征在于，所述将数据融合模块的输入数据由所述无人飞行器的真实多传感器数据切换为真实多传感器模拟数据之前，所述操作还包括：
    将所述飞行模拟器启动指令存储至存储介质；
    控制所述无人飞行器或所述飞行模拟器重启，以完成对所述飞行模拟器的飞行状态模拟数据的重置；其中，所述重启为硬件重启或软件重启。
  33. 如权利要求30所述的无人飞行器，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
    根据所述飞行模拟参数设置指令，控制所述飞行模拟器改变飞行模拟参数。
  34. 如权利要求30所述的无人飞行器，其特征在于，所述通过所述动力 输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证所述无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
  35. 如权利要求30所述的无人飞行器，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
  36. 如权利要求30所述的无人飞行器，其特征在于，所述通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，包括：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
    根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
  37. 如权利要求28至29、31至36任一项所述的无人飞行器，其特征在于，所述操作还包括：
    获取所述飞行模拟控制终端发送的飞行模拟器退出指令；
    退出飞行模拟器，并将数据融合模块的输入数据切换至所述无人飞行器的真实多传感器数据以及切换动力输出指令的接收者至所述无人飞行器的真实执行器。
  38. 一种基于多传感器数据融合的飞行模拟系统，其特征在于，包括：无人飞行器、飞行模拟器、多传感数据模拟器及飞行模拟控制终端，所述无人飞行器与所述飞行模拟器、所述多传感数据模拟器及所述飞行模拟控制终端通信 连接；所述无人飞行器包括数据融合模块、逻辑功能模块及数据通信模块；
    所述数据通信模块，用于获取所述飞行模拟控制终端发送的飞行模拟器启动指令，启动所述飞行模拟器；
    所述多传感数据模拟器，用于根据预设多传感器模型参数和所述飞行模拟器输出的地面实况模拟数据，生成多传感器模拟数据；
    所述数据融合模块，用于将所述多传感器模拟数据进行融合，生成模拟的多传感器融合数据；
    所述逻辑功能模块，用于根据所述模拟的多传感器融合数据生成飞行模拟控制指令。
  39. 如权利要求38所述的飞行模拟系统，其特征在于，所述无人飞行器还包括动力控制模块；
    所述动力控制模块，用于根据所述飞行模拟控制指令生成动力输出指令，以通过所述动力输出指令控制所述飞行模拟器进行飞行模拟，并生成飞行状态模拟数据和地面实况模拟数据；
    所述数据通信模块，还用于将所述飞行状态模拟数据推送给所述飞行模拟控制终端，以通过所述飞行模拟控制终端进行飞行模拟显示。
  40. 如权利要求39所述的飞行模拟系统，其特征在于，所述无人飞行器还包括第一切换开关、第二切换开关、真实多传感器模块真实及执行器；
    所述第一切换开关与所述数据融合模块、所述真实多传感器模块及所述多传感数据模拟器连接，用于将所述数据融合模块的输入数据由所述真实多传感器模块输出的真实多传感器数据切换为所述多传感数据模拟器输出的多传感器模拟数据；
    所述第二切换开关与所述动力控制模块、所述真实执行器及所述飞行模拟器连接，用于将所述无人飞行器的动力控制模块的控制对象由所述无人飞行器的真实执行器切换为所述飞行模拟器。
  41. 如权利要求39所述的飞行模拟系统，其特征在于，所述将数据融合模块的输入数据由无人飞行器的真实多传感器数据切换为多传感器模拟数据 之前，所述无人飞行器将所述飞行模拟器启动指令存储至存储介质，并以硬件重启或软件重启的方式完成对所述飞行模拟器的飞行状态模拟数据的重置。
  42. 如权利要求39至41任一项所述的飞行模拟系统，其特征在于，所述飞行模拟器还用于：
    获取所述飞行模拟控制终端发送的飞行模拟参数设置指令；
    并根据所述飞行模拟参数设置指令改变飞行模拟参数。
  43. 如权利要求39至41任一项所述的飞行模拟系统，其特征在于，所述飞行模拟器还用于：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证无人飞行器在不同特性参数的传感器配置下的飞行稳定性。
  44. 如权利要求39至41任一项所述的飞行模拟系统，其特征在于，所述飞行模拟器还用于：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，改变所述多传感器模型中的一个或多个传感器的特性参数；
    根据所述特性参数和所述飞行状态模拟数据，验证数据融合算法在不同特性参数的传感器配置下的稳定性。
  45. 如权利要求39至41任一项所述的飞行模拟系统，其特征在于，所述飞行模拟器还用于：
    获取所述飞行模拟控制终端发送的多传感器模型的特性参数修改指令，对多传感器模型中的一个或多个传感器注入预设故障；
    根据所述预设故障和所述飞行状态模拟数据，验证所述多传感器模型的故障诊断性能及隔离算法性能。
  46. 如权利要求40所述的飞行模拟系统，其特征在于，所述数据通信模 块，还用于获取所述飞行模拟控制终端发送的飞行模拟器退出指令，所述飞行模拟器退出指令用于触发所述飞行模拟器退出飞行模拟；
    所述第一切换开关，还用于将所述数据融合模块的输入数据切换至所述无人飞行器的真实多传感器数据
    所述第二切换开关，还用于将动力输出指令的接收者切换至所述无人飞行器的真实执行器。
PCT/CN2017/078969 2017-03-31 2017-03-31 基于多传感器数据融合的飞行模拟方法、装置及设备 WO2018176373A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/078969 WO2018176373A1 (zh) 2017-03-31 2017-03-31 基于多传感器数据融合的飞行模拟方法、装置及设备
CN201780004464.1A CN108401449A (zh) 2017-03-31 2017-03-31 基于多传感器数据融合的飞行模拟方法、装置及设备
US16/572,239 US20200013307A1 (en) 2017-03-31 2019-09-16 Flight simulation method based on multi-sensor data fusion, device, and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/078969 WO2018176373A1 (zh) 2017-03-31 2017-03-31 基于多传感器数据融合的飞行模拟方法、装置及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/572,239 Continuation US20200013307A1 (en) 2017-03-31 2019-09-16 Flight simulation method based on multi-sensor data fusion, device, and apparatus

Publications (1)

Publication Number Publication Date
WO2018176373A1 true WO2018176373A1 (zh) 2018-10-04

Family

ID=63094896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/078969 WO2018176373A1 (zh) 2017-03-31 2017-03-31 基于多传感器数据融合的飞行模拟方法、装置及设备

Country Status (3)

Country Link
US (1) US20200013307A1 (zh)
CN (1) CN108401449A (zh)
WO (1) WO2018176373A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167848A (zh) * 2022-02-14 2022-03-11 西安羚控电子科技有限公司 一种自动飞行控制试验器数据监控系统及监控方法
CN114221720A (zh) * 2021-10-22 2022-03-22 中国电子科技集团公司第七研究所 一种基于飞行模拟平台的非平稳信道模拟方法及其系统
CN114383879A (zh) * 2022-01-11 2022-04-22 安胜（天津）飞行模拟系统有限公司 二阶微分环路在飞行模拟机鉴定测试指南系统的测试方法
CN115577318A (zh) * 2022-09-30 2023-01-06 北京大数据先进技术研究院 基于半实物的数据融合评估方法、系统、设备及储存介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962979B2 (en) * 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10970564B2 (en) * 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
CN110223565B (zh) * 2019-06-25 2022-02-22 深圳市道通智能航空技术股份有限公司 一种飞行模拟方法、装置、设备及存储介质
CN111131782A (zh) * 2019-12-27 2020-05-08 中国航空工业集团公司沈阳飞机设计研究所 一种飞行器视频图像及传感器数据激励测试装置及系统
CN111694376B (zh) * 2020-06-24 2023-11-17 深圳市道通智能航空技术股份有限公司 飞行模拟方法、装置、电子设备及无人机
CN111857177B (zh) * 2020-07-20 2022-11-01 西安科为实业发展有限责任公司 一种远程操控靶标指令生成方法、装置、设备及介质
CN112034733A (zh) * 2020-08-17 2020-12-04 广东工业大学 一种基于Unity3D的四旋翼无人机城市仿真方法
CN112180760A (zh) * 2020-09-17 2021-01-05 中国科学院上海微系统与信息技术研究所 一种多传感器数据融合半实物仿真系统
US11386800B1 (en) 2021-06-29 2022-07-12 Beta Air, Llc System and method for flight control of a vertical take-off and landing (VTOL) aircraft
CN113885353B (zh) * 2021-09-29 2024-01-30 北京大翔航空科技有限公司 一种分布式智能无人机集群对抗的硬件在回路仿真系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630445A (zh) * 2009-06-10 2010-01-20 民航数据通信有限责任公司 基于噪声误差的异步多传感器数据处理方法和系统
US20100017046A1 (en) * 2008-03-16 2010-01-21 Carol Carlin Cheung Collaborative engagement for target identification and tracking
CN101833104A (zh) * 2010-04-27 2010-09-15 北京航空航天大学 一种基于多传感器信息融合的三维可视化导航方法
CN201937768U (zh) * 2011-03-10 2011-08-17 中科九度(北京)空间信息技术有限责任公司 基于多传感器融合的停机坪移动目标安全管理系统
CN104133378A (zh) * 2014-08-05 2014-11-05 中国民用航空总局第二研究所 一种机场活动区监控引导系统的实时仿真平台
CN106094569A (zh) * 2016-07-06 2016-11-09 西北工业大学 多传感器融合无人机感知与规避仿真系统及其仿真方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8359182B2 (en) * 2007-04-25 2013-01-22 Uti Limited Partnership Methods and systems for evaluating the performance of MEMS-based inertial navigation systems
CN102592007A (zh) * 2011-12-30 2012-07-18 成都飞机工业（集团）有限责任公司 用于飞行控制律设计调参的无人机对象模型建模方法
CN104406605B (zh) * 2014-10-13 2017-06-06 中国电子科技集团公司第十研究所 机载多导航源综合导航仿真系统
JP6429394B2 (ja) * 2015-07-16 2018-11-28 ヒロセ電機株式会社 光コネクタ
CN105354356B (zh) * 2015-09-29 2019-03-29 中国人民解放军63892部队 一种基于雷达情报仿真的空情融合性能评估系统及方法
CN109891347A (zh) * 2017-02-23 2019-06-14 深圳市大疆创新科技有限公司 用于模拟可移动物体状态的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017046A1 (en) * 2008-03-16 2010-01-21 Carol Carlin Cheung Collaborative engagement for target identification and tracking
CN101630445A (zh) * 2009-06-10 2010-01-20 民航数据通信有限责任公司 基于噪声误差的异步多传感器数据处理方法和系统
CN101833104A (zh) * 2010-04-27 2010-09-15 北京航空航天大学 一种基于多传感器信息融合的三维可视化导航方法
CN201937768U (zh) * 2011-03-10 2011-08-17 中科九度(北京)空间信息技术有限责任公司 基于多传感器融合的停机坪移动目标安全管理系统
CN104133378A (zh) * 2014-08-05 2014-11-05 中国民用航空总局第二研究所 一种机场活动区监控引导系统的实时仿真平台
CN106094569A (zh) * 2016-07-06 2016-11-09 西北工业大学 多传感器融合无人机感知与规避仿真系统及其仿真方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114221720A (zh) * 2021-10-22 2022-03-22 中国电子科技集团公司第七研究所 一种基于飞行模拟平台的非平稳信道模拟方法及其系统
CN114221720B (zh) * 2021-10-22 2023-07-04 中国电子科技集团公司第七研究所 一种基于飞行模拟平台的非平稳信道模拟方法及其系统
CN114383879A (zh) * 2022-01-11 2022-04-22 安胜（天津）飞行模拟系统有限公司 二阶微分环路在飞行模拟机鉴定测试指南系统的测试方法
CN114383879B (zh) * 2022-01-11 2024-05-24 安胜（天津）飞行模拟系统有限公司 二阶微分环路在飞行模拟机鉴定测试指南系统的测试方法
CN114167848A (zh) * 2022-02-14 2022-03-11 西安羚控电子科技有限公司 一种自动飞行控制试验器数据监控系统及监控方法
CN115577318A (zh) * 2022-09-30 2023-01-06 北京大数据先进技术研究院 基于半实物的数据融合评估方法、系统、设备及储存介质
CN115577318B (zh) * 2022-09-30 2023-07-21 北京大数据先进技术研究院 基于半实物的数据融合评估方法、系统、设备及储存介质

Also Published As

Publication number Publication date
CN108401449A (zh) 2018-08-14
US20200013307A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
WO2018176373A1 (zh) 基于多传感器数据融合的飞行模拟方法、装置及设备
US9443436B2 (en) System for testing of autonomy in complex environments
JP7126995B2 (ja) 運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体
CN104029825B (zh) 现场虚实耦合无人机系统
US20170023939A1 (en) System and Method for Controlling an Unmanned Aerial Vehicle over a Cellular Network
WO2018180143A1 (ja) 情報処理装置及び情報処理方法、コンピュータ・プログラム、並びにプログラム製造方法
US9053638B2 (en) Unmanned vehicle simulation system
CN109074090A (zh) 无人机硬件架构
US20200012756A1 (en) Vision simulation system for simulating operations of a movable platform
US11312506B2 (en) Autonomous quadcopter piloting controller and debugger
CN211236045U (zh) 一种基于多传感器的adas hil测试系统
US20200226226A1 (en) Autonomous Vehicle Service Simulation
CN111694376A (zh) 飞行模拟方法、装置、电子设备及无人机
Aljehani et al. Safe map generation after a disaster, assisted by an unmanned aerial vehicle tracking system
Er et al. Development control and navigation of Octocopter
CN113009935A (zh) 无人机仿真测试系统及方法，无人机飞行控制器
Berger et al. Bridging physical and digital traffic system simulations with the gulliver test-bed
WO2019227330A1 (zh) 一种无人机的仿真方法及装置
US20150321352A1 (en) Simulation platform for validating a software and material architecture of a robot
Tikanmäki et al. The remote operation and environment reconstruction of outdoor mobile robots using virtual reality
Wong et al. Low cost unmanned aerial vehicle monitoring using smart phone technology
ES2886957T3 (es) Un sistema de prueba automotriz, método y producto de programa informático
CN112783142B (zh) 车道居中控制的仿真测试系统、方法、设备和存储介质
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
WO2021064982A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17904161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17904161

Country of ref document: EP

Kind code of ref document: A1