WO2020155110A1 - 数据处理方法、无人机、移动设备及系统 - Google Patents

数据处理方法、无人机、移动设备及系统 Download PDF

Info

Publication number
WO2020155110A1
WO2020155110A1 PCT/CN2019/074463 CN2019074463W WO2020155110A1 WO 2020155110 A1 WO2020155110 A1 WO 2020155110A1 CN 2019074463 W CN2019074463 W CN 2019074463W WO 2020155110 A1 WO2020155110 A1 WO 2020155110A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
drone
processing result
mobile device
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/074463
Other languages
English (en)
French (fr)
Inventor
马宁
胡攀
胡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to PCT/CN2019/074463 priority Critical patent/WO2020155110A1/zh
Priority to CN201980005633.2A priority patent/CN111386507A/zh
Publication of WO2020155110A1 publication Critical patent/WO2020155110A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control

Definitions

  • the embodiments of the present invention relate to the technical field of drones, in particular to a data processing method, drones, mobile equipment and systems.
  • Unmanned aerial vehicles also known as unmanned aerial vehicles (UAV) can usually be equipped with data collection devices, such as main cameras and vision sensors.
  • the data collection device can collect data, and the drone performs calculation processing on the data collected by the data collection device to achieve certain functions.
  • the images collected by the visual sensor can be processed by the flight control system of the drone using algorithms such as visual ranging to obtain the result of visual positioning.
  • the UAV will visually recognize the image taken by the main camera to obtain the target to be tracked.
  • UAVs usually use neural networks, deep learning and other methods to process the acquired images and other data.
  • UAVs due to factors such as size and power consumption, UAVs usually have limited processing capabilities, and may not be able to process large amounts of data or get better results.
  • the embodiments of the present invention provide a data processing method, a drone, a mobile device, and a system, which are used to solve the limitation in the calculation and processing of the collected data due to the limited processing capability of the drone in the prior art The problem.
  • an embodiment of the present invention provides a data processing method, including:
  • the drone is controlled according to the processing result.
  • an embodiment of the present invention provides a data processing method, including:
  • Receiving the data collected by the data acquisition device on the drone, and the mobile device is in communication connection with the drone;
  • the processing result is sent to the drone, and the processing result is used to control the drone.
  • an embodiment of the present invention provides a data processing method, including:
  • the drone is controlled according to the processing result.
  • an embodiment of the present invention provides a drone, which includes a power system, a data acquisition device, a communication device, and a processor.
  • the power system is used to provide power for the flight of the drone, and the data
  • the collection device is used to collect data;
  • the communication device is configured to send data collected by the data collection device to a mobile device, and the mobile device is in communication connection with the drone;
  • the communication device is further configured to receive a processing result obtained by the mobile device performing calculation processing on the data;
  • the processor is configured to control the drone according to the processing result.
  • an embodiment of the present invention provides a mobile device, including:
  • a processor configured to perform calculation processing on the data to obtain a processing result
  • the communication device is further configured to send the processing result to the drone, and the processing result is used by the drone to control the drone.
  • an embodiment of the present invention provides a data processing system, including: the drone according to any one of the fourth aspect, and the mobile device according to any one of the fifth aspect.
  • an embodiment of the present invention provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes at least one piece of code, and the at least one piece of code can be executed by a computer to control all The computer executes the data processing method according to any one of the first aspect.
  • an embodiment of the present invention provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes at least one piece of code, the at least one piece of code can be executed by a computer to control all The computer executes the data processing method according to any one of the second aspect.
  • an embodiment of the present invention provides a computer program, characterized in that, when the computer program is executed by a computer, it is used to implement the data processing method according to any one of the first aspects.
  • an embodiment of the present invention provides a computer program, characterized in that, when the computer program is executed by a computer, it is used to implement the data processing method according to any one of the second aspects.
  • the data processing method, unmanned aerial vehicle, mobile equipment and system provided by the embodiments of the present invention send the data collected by the data acquisition device on the unmanned aerial vehicle to the mobile equipment, and receive the processing results obtained by the mobile equipment calculating and processing the data. And control the drone according to the processing result, realize that the drone does not need to calculate and process the data collected by the data acquisition device, so that the calculation and processing of the data collected by the acquisition device will not be restricted by the processing capacity of the drone. It avoids the problem that the computational processing of the collected data is restricted due to the limited processing capacity of the UAV.
  • FIGS 1 and 2 are schematic diagrams of application scenarios of embodiments of the present invention.
  • FIG. 3 is a schematic flowchart of a data processing method provided by an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of a data processing method provided by another embodiment of the present invention.
  • FIG. 5 is a schematic flowchart of a data processing method provided by another embodiment of the present invention.
  • FIGS. 6 and 7 are schematic diagrams of data exchange methods provided by embodiments of the present invention.
  • Fig. 8 is a schematic structural diagram of a drone provided by an embodiment of the present invention.
  • FIG. 9 is a schematic structural diagram of a mobile device according to an embodiment of the present invention.
  • Fig. 10 is a schematic diagram of a data processing system provided by an embodiment of the present invention.
  • Fig. 1 is a schematic diagram of an application scenario of an embodiment of the present invention.
  • the application scenario may include a drone 11 and a mobile device 12, where the drone 11 and the mobile device 12 are in communication connection.
  • the drone 11 and the mobile device 12 can communicate directly.
  • the drone 11 and the mobile device 12 can communicate through wireless communication.
  • the mobile device 12 can specifically be any mobile device that can directly communicate with the drone and has computing and processing capabilities.
  • the mobile device 12 can be, for example, a remote control with a screen, or can be a mobile phone or a tablet computer, etc. Handheld terminal for man-machine wireless communication.
  • the drone 11 and the mobile device 12 can communicate indirectly through other devices.
  • the drone 11 can communicate with other devices through wireless communication, and the other devices can communicate with the mobile device 12.
  • the communication can be done through wireless communication or wired communication.
  • the other device may be a remote controller corresponding to the drone, and the mobile device 12 may be any movable device that can directly communicate with the remote controller and has computing and processing capabilities.
  • the terminal device 12 may be, for example, a mobile phone. Taking the drone 11 and the mobile device 12 that can communicate through the remote control 13 as an example, the application scenario of the embodiment of the present invention may be as shown in FIG. 2.
  • the unmanned aerial vehicle may be provided with a data collection device, which can collect data, and the data collection device may specifically be any device capable of collecting data.
  • the data may specifically be image data, and the data collection device may specifically be a device capable of collecting image data, such as a monocular camera or a binocular camera; and/or, the data may specifically be sound data, and the data collection
  • the device may specifically be a device capable of collecting sound data, such as a sound sensor; and/or, the data may specifically be radar data, and the data collection device may specifically be a device capable of collecting radar data, such as lidar, microwave radar, millimeter wave Radar or ultrasonic radar, etc.
  • the relationship between the UAV and the data collection device can be understood as the data collection device is a part of the UAV, and the UAV includes the data collection device, for example, a vision sensor for obstacle avoidance integrated in the UAV body; Or, it can be understood that the data collection device is not part of the drone, and the drone does not include the data collection device.
  • the data collection device is a load carried on the drone, for example, a camera for shooting on the drone.
  • FIG. 3 is a schematic flowchart of a data processing method provided by an embodiment of the present invention.
  • the execution subject of this embodiment may be the drone 11, and specifically may be the processor of the drone 11.
  • the method of this embodiment may include:
  • Step 301 Send the data collected by the data collection device on the drone to the mobile device.
  • the data may include one or more of image data, sound data, or radar data.
  • the data collected by the data collection device may be sent to the mobile device through a communication device.
  • the communication device may specifically be a wireless communication device, and the wireless communication device may specifically include an antenna.
  • the data collected this time can be sent to the mobile device; or, after the data collection device collects multiple times, the data collected multiple times can be sent to the mobile device. For example, after the data collection device collects data every time, the most recently collected data can be sent to the mobile device. For another example, after the data collection device collects data twice, the data collected in the last two times can be sent to the mobile device.
  • Step 302 Receive a processing result obtained by the mobile device performing calculation processing on the data.
  • the processing result obtained by calculating and processing the data by the mobile device may be received through a communication device.
  • the communication device may specifically be a wireless communication device, and the wireless communication device may specifically include an antenna.
  • this step may also be real-time receiving the processing result obtained by the mobile device performing calculation processing on the data.
  • the data collected by the data collection device on the drone is sent to the mobile device in real time, and the mobile device calculates and processes the data in real time to obtain the processing result, and then the drone receives the data obtained by the mobile device for calculation and processing in real time process result.
  • the intermediate drones and mobile devices From the data collection device to the data collection to the real-time reception of the processing results, the intermediate drones and mobile devices will not buffer the collected data or processing results, wait for reception, etc., so the time difference in the entire loop is mainly communication delay And the time required for calculation and processing can be controlled in the order of tens of milliseconds, which can meet the needs of subsequent control of the UAV.
  • the calculation processing may specifically be data processing that can be completed by any processor.
  • the present invention may not limit the specific method of calculation processing.
  • the calculation processing may be calculation processing based on neural networks, deep learning and other methods.
  • the processor may be, for example, a central processing unit (Central Processing Unit, CPU), a digital signal processing (Digital Signal Processing, DSP), a graphics processing unit (Graphics Processing Unit, GPU), and an embedded neural network processor (Neural-network Processing Unit). , NPU) and so on.
  • CPU Central Processing Unit
  • DSP Digital Signal Processing
  • GPU Graphics Processing Unit
  • NPU embedded neural network processor
  • the processing result may specifically be obtained by processing the data collected by the data acquisition device, and can be any type of result that can be used for drone control.
  • the processing result may include one or more of a position recognition result, an object recognition result, and a scene recognition result.
  • the position recognition result can be, for example, the position of the drone, the position of the target (for example, an obstacle), the position of the drone relative to the target, etc.
  • the object recognition result can be, for example, the attribute and type of the target
  • the scene recognition result can be, for example, Day scenes, night scenes, rainy scenes, landscape scenes, portrait scenes, etc.
  • the drone can send the image collected by the camera to the mobile device, and the mobile device uses a visual recognition algorithm to process the received image to obtain the recognition result of the object, and the mobile device recognizes the result of the object Send to the drone, that is, the mobile device can complete the image recognition processing, and return the semantic information of the image to the drone.
  • the mobile device may also use a visual recognition algorithm to process the received image, identify a specific target object therein, and combine the recognition result (which may include information such as the position, size, and movement state of the target object), for example,
  • the form of bounding box and labeling information is sent to the drone, that is, the mobile device can complete the identification process of the specific target object, and return the relevant information of the specific target object to the drone.
  • the image recognition processing can be completed by the mobile device, thereby relying on the stronger processor performance of the mobile device to obtain better recognition results.
  • Step 303 Control the drone according to the processing result.
  • the processing result obtained by calculating and processing the data collected by the data acquisition device is finally used by the drone.
  • it can be used to control the drone (for example, the flying speed and attitude of the drone), or it can be used to control the load of the drone (for example, a camera, a pan/tilt, etc.).
  • the drone Since the calculation and processing of the data collected by the data acquisition device is completed by the mobile device, the drone does not need to calculate and process the data collected by the data acquisition device, so that the calculation and processing of the data collected by the acquisition device will not be affected.
  • the processing power of drones is limited, and the processing power of mobile devices has been greatly improved compared to drones (for example, mobile devices can be designed with software and hardware accelerator computing capabilities), thus avoiding the
  • the processing capability for example, computing capability, data throughput capability
  • is limited which leads to the problem of certain restrictions on the calculation and processing of the collected data.
  • the drone is realized by sending the data collected by the data acquisition device on the drone to the mobile device, receiving the processing result obtained by the mobile device performing calculation and processing on the data, and controlling the drone according to the processing result.
  • the calculation and processing of the data collected by the data acquisition device will not be limited by the processing capacity of the drone, and avoid the limited processing ability of the drone, which may cause problems.
  • the calculation and processing of the collected data is subject to certain restrictions.
  • FIG. 4 is a schematic flowchart of a data processing method according to another embodiment of the present invention.
  • the execution subject of this embodiment may be the mobile device 12, and specifically may be the processor of the mobile device 12.
  • the method of this embodiment may include:
  • Step 401 Receive data collected by the data collection device on the drone.
  • the data may include one or more of image data, sound data, or radar data.
  • the data collected by the data collection device on the drone may be received through a communication device.
  • the communication device may specifically be a wireless communication device or a wired communication device.
  • the wireless communication device (for example, may be Wireless Fidelity, WiFi).
  • the module may specifically include an antenna, and the wired communication device may specifically include a communication interface, such as a universal serial bus (Universal Serial Bus, USB) interface.
  • USB Universal Serial Bus
  • Step 402 Perform calculation processing on the data to obtain a processing result.
  • the calculation processing can specifically be data processing that can be completed by any processor.
  • the present invention may not limit the specific method of calculation processing.
  • the calculation processing can be calculation based on neural networks, deep learning, etc. deal with.
  • the processor may be, for example, one or more of a central processing unit (CPU), a digital signal processing (DSP), or a graphics processing unit (GPU).
  • CPU central processing unit
  • DSP digital signal processing
  • GPU graphics processing unit
  • the processing result may specifically be obtained by processing the data collected by the data acquisition device, and can be any type of result that can be used for drone control.
  • the processing result may include one or more of a position recognition result, an object recognition result, and a scene recognition result.
  • Step 403 Send the processing result to the drone, and the processing result is used to control the drone.
  • the processing result can be sent to the drone through the communication device.
  • the data is calculated and processed to obtain the processing result, and the processing result is sent to the drone, so that the mobile device can complete the collection of the data acquisition device.
  • the data is calculated and processed so that the drone does not need to calculate and process the data collected by the data acquisition device, so that the calculation and processing of the data collected by the acquisition device will not be limited by the processing capacity of the drone, avoiding the The processing power of drones is limited, which leads to certain restrictions on the calculation and processing of the collected data.
  • FIG. 5 is a schematic flowchart of a data processing method provided by another embodiment of the present invention. Based on the embodiments shown in FIG. 3 and FIG. 4, this embodiment mainly describes the interactive processing process between the drone 11 and the mobile device 12. As shown in FIG. 5, the method of this embodiment may include:
  • Step 501 Send the data collected by the data collection device on the drone to the mobile device.
  • the communication device of the drone can send the data collected by the data collection device on the drone to the mobile device.
  • the communication device of the drone may be the image transmission module of the drone.
  • the data collected by the data collection device on the drone can be directly sent to the mobile device.
  • the communication device may specifically be a wireless communication device.
  • the data collected by the data collection device on the drone can be sent to the mobile device through other equipment, where the communication device may specifically be a wireless communication device or a wired communication device.
  • step 501 may specifically include: sending the data collected by the data collection device on the drone to the remote controller corresponding to the drone, and the remote controller forwards the data to The mobile device.
  • the foregoing receiving data collected by the data collection device on the drone may specifically include: receiving data collected by the data collection device on the drone and forwarded by the remote controller corresponding to the drone .
  • the remote controller corresponding to the drone may specifically be a remote controller for controlling the drone.
  • step 501 it may further include: encoding the data collected by the data collecting device to obtain the encoded data.
  • step 501 may specifically include sending the encoded data to the mobile device.
  • the receiving the data collected by the data collection device on the drone may specifically include: receiving the encoded data.
  • step 501 may specifically include: sending the encoded data to the remote controller corresponding to the drone, and the remote controller forwards the encoded data to the mobile device .
  • receiving the encoded data may specifically include: receiving the encoded data forwarded by the remote controller corresponding to the drone.
  • the data may be raw data, or the data may be intermediate data obtained after target processing is performed on the raw data.
  • the original data can be understood as the data that can be obtained by the data collection device through collection, for example, the original image obtained by the camera through shooting.
  • Intermediate data refers to the data obtained after certain processing (ie target processing) of the original data.
  • the present invention may not limit the specific types of target processing.
  • the target processing may include compression processing. It is understandable that for the mobile device, corresponding decompression processing may be performed. And/or, optionally, the target processing includes denoising processing.
  • Step 502 Perform calculation processing on the data to obtain a processing result.
  • the processor of the mobile device may perform calculation processing on the data to obtain the processing result.
  • the mobile device may further include: decoding the received data to obtain the decoded data.
  • step 502 may specifically include: performing calculation processing on the decoded data to obtain a processing result.
  • Step 503 Send the processing result to the drone.
  • the communication device of the mobile device may send the processing result to the drone.
  • the processing result can be directly sent to the drone.
  • the communication device may specifically be a wireless communication device; or, the processing result may be sent to the drone through other equipment, where the communication device specifically It can be a wireless communication device or a wired communication device.
  • step 503 may specifically include: sending the processing result to the remote controller corresponding to the drone, and the remote controller forwards the processing result to the drone.
  • the foregoing receiving the processing result may specifically include: receiving the processing result forwarded by the remote controller corresponding to the drone.
  • the method may further include: encoding the processing result to obtain the encoded processing result.
  • step 503 may specifically include: sending the encoded processing result to the drone.
  • the receiving the processing result may specifically include: receiving the encoded processing result.
  • Step 504 Control the drone according to the processing result.
  • the processor of the drone can control the drone according to the processing result.
  • the drone may further include: decoding the received processing result to obtain the decoded processing result.
  • step 504 may specifically include: controlling the drone according to the decoded processing result.
  • controlling the drone according to the processing result may specifically include: controlling the flight of the drone according to the processing result; and/or controlling the drone according to the processing result
  • the load of the drone may specifically include: controlling control parameters related to flight control of the drone, such as flight speed, flight height, pitch angle, roll angle, and the like.
  • Controlling the load of the drone may specifically include: controlling control parameters related to load control, such as the attitude of the pan/tilt, and the shooting mode of the camera.
  • controlling the drone according to the processing result may specifically include: controlling the drone in real time according to the processing result.
  • the delay of the communication link between the drone and the mobile device may be less than or equal to a delay threshold.
  • the delay threshold may indicate that real-time control cannot be achieved; when the delay of the communication link is less than or equal to the delay threshold, it may indicate that real-time control can be achieved.
  • the method for determining the delay threshold may not be limited in the present invention.
  • the delay threshold may be determined through experiments.
  • step 501 to step 504 Due to the processing method of step 501 to step 504, it can be realized only by means of the communication link between the drone and the mobile device. Specifically, when the communication link is good, the processing methods of step 501 to step 504 can be effectively supported, and when the communication link is poor, the processing methods of step 501 to step 504 cannot be effectively supported. Therefore, optionally, the following steps may be included before step 501: determining whether the communication quality of the communication link between the drone and the mobile device meets a preset condition;
  • step 501 is executed.
  • the method of this embodiment may further include: If the communication quality of the communication link between the aircraft and the mobile device does not meet the preset condition, the UAV calculates and processes the data to obtain the processing result, and controls the station based on the processing result. The drone. That is, the calculation and processing of the data can be completed by the mobile device, and fall back to the drone.
  • the preset conditions include one or more of the following: the delay is less than the delay threshold, the signal-to-noise ratio is lower than the signal-to-noise ratio threshold, the signal intensity is higher than the intensity threshold, or a custom low delay is used letter of agreement. It is understandable that the smaller the delay, the larger the signal-to-noise ratio, the higher the signal strength, and/or the use of a custom low-latency communication protocol can all indicate the better the communication quality.
  • the custom low-latency communication protocol may specifically be a communication protocol defined using Software Definition Radio (SDR).
  • SDR Software Definition Radio
  • the remote controllers of drones and drones can be configured to use custom protocols.
  • a communication device that defines a low-latency communication protocol.
  • the data acquisition device is the camera and the processing result is used to control the flight of the drone as an example, as shown in Figure 6, the camera of the drone can collect the data, After the encoding process is performed by an encoder and the encoded data is obtained, it can be sent to the UAV's image transmission module (which can be understood as a communication device used by the UAV to transmit image data), and the UAV The image transmission module of the mobile device is sent to the wireless communication device of the mobile device. The wireless communication module of the mobile device receives the encoded data, and after the decoder is decoded, it can be sent to the processor of the mobile device. Perform calculation processing.
  • the UAV's image transmission module which can be understood as a communication device used by the UAV to transmit image data
  • the image transmission module of the mobile device is sent to the wireless communication device of the mobile device.
  • the wireless communication module of the mobile device receives the encoded data, and after the decoder is decoded, it can be sent to the processor of the mobile device. Perform calculation processing.
  • the processor of the mobile device here may be a central processing unit CPU, a graphics processor GPU, a neural network processor NPU, a digital signal processor DSP or other processors, and may not be limited to a single processor, that is, it may include multiple processors Or multiple different types of processors, here are unified as processors.
  • the processing result obtained by the processor of the mobile device for calculating and processing the data can be sent to the image transmission module of the drone through the wireless communication device, and the image transmission module of the drone receives the processing result After that, the processing result can be sent to the flight control system to control the flight of the drone.
  • the data acquisition device is the camera and the processing result is used to control the flight of the drone as an example, as shown in Figure 7, the camera of the drone can collect After the data is encoded by an encoder and the encoded data is obtained, it can be sent to the image transmission module of the drone, and sent from the image transmission module of the drone to the image transmission module of the remote control ( It can be understood as the communication device used by the remote control to transmit image data), the image transmission module of the remote control can forward the encoded data to the communication device of the mobile device (can be a wireless communication device or a wired communication device), After the communication device receives the encoded data, it can be sent to the processor of the mobile device after being decoded by a decoder (decoder) for calculation processing by the processor.
  • a decoder decoder
  • the processing result obtained by the processor of the mobile device for calculating the data can be sent to the image transmission module of the drone through the image transmission module of the remote control after being sent to the communication device of the mobile device.
  • the UAV's image transmission module can send the processing result to the flight control system to control the flight of the UAV.
  • the encoder and decoder in Figure 6 and Figure 7 are optional components, that is, no encoding and decoding related processing is performed, and the encoding and decoding process in the figure is skipped; or, the function of the encoder can be Integrated in the camera or processor.
  • the data collected by the data acquisition device on the drone is sent to the mobile device, the data is calculated and processed to obtain the processing result, the processing result is sent to the drone, and the drone is controlled according to the processing result. It is realized that the drone does not need to calculate and process the data collected by the data acquisition device, so that the calculation and processing of the data collected by the acquisition device will not be limited by the processing ability of the drone, and avoid the processing ability of the drone. Limited, which leads to the problem of certain restrictions on the calculation and processing of the collected data.
  • the embodiment of the present invention also provides a computer-readable storage medium, the computer-readable storage medium stores program instructions, and the program execution may include part or all of the data processing methods in the foregoing method embodiments. step.
  • the embodiment of the present invention also provides a computer-readable storage medium, the computer-readable storage medium stores program instructions, and the program execution may include part or all of the data processing methods in the foregoing method embodiments. step.
  • the embodiment of the present invention provides a computer program, when the computer program is executed by a computer, it is used to implement the data processing method in any of the foregoing method embodiments.
  • the embodiment of the present invention provides a computer program, when the computer program is executed by a computer, it is used to implement the data processing method in any of the foregoing method embodiments.
  • Fig. 8 is a schematic structural diagram of a drone provided by an embodiment of the present invention.
  • the drone 800 of this embodiment may include: a power system 801, a data acquisition device 802, an image transmission module 803, and a flight control system 804.
  • the power system 801 is used to provide power for the flight of the drone, and the data collection device 802 is used to collect data.
  • the image transmission module 803 is configured to send the data collected by the data collection device 802 to a mobile device, and the mobile device is in communication connection with the drone;
  • the image transmission module 803 is further configured to receive the processing result obtained by the mobile device performing calculation processing on the data;
  • the flight control system 804 may include a processor and a communication interface, obtain the processing result received by the image transmission module 803 from the mobile device, and control the drone according to the processing result.
  • the flight control system 804 is configured to control the drone according to the processing result, specifically including: controlling the flight of the drone according to the processing result; and/or, According to the processing result, the load of the drone is controlled. Specifically, the flight control system 804 can control the power system 801 according to the processing result to control the flight of the drone.
  • the flight control system 804 is configured to control the drone according to the processing result, which specifically includes:
  • the delay of the communication link between the drone and the mobile device is less than or equal to a delay threshold.
  • the flight control system 804 is also used for:
  • the image transmission module 803 is configured to send the data collected by the data collection device 802 to the mobile device, specifically including: if the communication quality of the communication link between the drone and the mobile device satisfies the The preset condition is to send the data collected by the data collection device 802 to the mobile device.
  • the flight control system 804 is also used to:
  • the processing result obtained by calculating the data is performed, and the control station is controlled according to the processing result.
  • the drone If the communication quality of the communication link between the drone and the mobile device does not meet the preset condition, the processing result obtained by calculating the data is performed, and the control station is controlled according to the processing result. The drone.
  • the preset conditions include one or more of the following:
  • the delay is less than the delay threshold, the signal-to-noise ratio is lower than the signal-to-noise ratio threshold, the signal strength is higher than the intensity threshold, or a custom low-latency communication protocol is used.
  • the data is raw data, or the data is intermediate data obtained after subjecting the raw data to target processing.
  • the target processing includes denoising processing and/or compression processing.
  • the flight control system 804 is further configured to encode the data collected by the data collection device 802 to obtain the encoded data;
  • the image transmission module 803 is configured to send the data collected by the data collection device 802 to the mobile device, and specifically includes:
  • the flight control system 804 is further configured to decode the received processing result to obtain the decoded processing result;
  • the flight control system 804 is configured to control the drone according to the processing result, and specifically includes:
  • the image transmission module 803 is configured to send the data collected by the data collection device 802 to the mobile device, which specifically includes:
  • the data collected by the data collection device 802 is sent to the remote controller corresponding to the drone, and the remote controller forwards the data to the mobile device.
  • the image transmission module 803 is configured to receive the processing result obtained by the mobile device performing calculation processing on the data, which specifically includes:
  • the processing result includes:
  • One or more of location recognition results, object recognition results, and scene recognition results are provided.
  • the data includes one or more of the following:
  • Image data sound data or radar data.
  • the drone provided in this embodiment can be used to implement the technical solution on the drone side of the method embodiment shown in FIG. 3 or the method embodiment shown in FIG. 5 of the present invention.
  • the implementation principles and technical effects are similar. Repeat it again.
  • Fig. 9 is a schematic structural diagram of a mobile device provided by an embodiment of the present invention.
  • the mobile device 900 of this embodiment may include: a communication device 901 for receiving data collected by a data collection device on a drone, so The mobile device is in communication connection with the drone;
  • the processor 902 is configured to perform calculation processing on the data to obtain processing results.
  • the processor 902 may be a central processing unit CPU, a graphics processing unit GPU, a neural network processor NPU, a digital signal processor DSP, or other processors , And may not be limited to a single processor, that is, may include multiple processors or multiple different types of processors, which are collectively used as the processor 902 here;
  • the communication device 901 is further configured to send the processing result to the drone, and the processing result is used by the drone to control the drone.
  • the data is raw data, or the data is intermediate data obtained after subjecting the raw data to target processing.
  • the target processing includes denoising processing and/or compression processing.
  • the processor 902 is further configured to decode the received data to obtain the decoded data;
  • the processor 902 is configured to perform calculation processing on the data to obtain a processing result, which specifically includes:
  • the processor 902 is further configured to encode the processing result to obtain the encoded processing result
  • the processor 902 is configured to send the processing result to the drone, and specifically includes:
  • the communication device 901 is used to receive the data collected by the data collection device on the drone, which specifically includes:
  • the communication device 901 is configured to send the processing result to the drone, which specifically includes:
  • the processing result is sent to the remote controller and forwarded by the remote controller to the drone.
  • the processing result includes:
  • One or more of location recognition results, object recognition results, and scene recognition results are provided.
  • the data includes one or more of the following:
  • Image data sound data or radar data.
  • the mobile device provided in this embodiment can be used to execute the technical solution on the mobile device side of the method embodiment shown in FIG. 4 or the method embodiment shown in FIG. 5 of the present invention.
  • the implementation principles and technical effects are similar, and will not be repeated here. .
  • FIG. 10 is a schematic diagram of a data processing system provided by an embodiment of the present invention.
  • the data processing system 100 of this embodiment includes: a drone 101 and a mobile device 102.
  • the unmanned aerial vehicle 101 may adopt the structure of the embodiment shown in FIG. 8, and accordingly, it may execute the technical solutions of the foregoing method embodiments, and the implementation principles and technical effects are similar, and will not be repeated here.
  • the mobile device 102 may adopt the structure of the embodiment shown in FIG. 9, and accordingly, may execute the technical solutions of the foregoing method embodiments, and the implementation principles and technical effects are similar, and will not be repeated here.
  • a person of ordinary skill in the art can understand that all or part of the steps in the foregoing method embodiments can be implemented by a program instructing relevant hardware.
  • the aforementioned program can be stored in a computer readable storage medium. When the program is executed, it executes the steps including the foregoing method embodiments; and the foregoing storage medium includes: ROM, RAM, magnetic disk, or optical disk and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种数据处理方法、无人机、移动设备及系统。该方法包括：将无人机上数据采集装置采集到的数据发送至移动设备，移动设备与无人机通信连接；接收移动设备对数据进行计算处理所得到的处理结果；根据处理结果控制无人机。本发明解决了由于无人机的处理能力有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。

Description

数据处理方法、无人机、移动设备及系统 技术领域
本发明实施例涉及无人机技术领域，尤其涉及一种数据处理方法、无人机、移动设备及系统。
背景技术
无人机，也可称为无人飞行器(Unmanned Aerial Vehicle，UAV)，其上通常可以搭载有数据采集装置，例如主摄像头、视觉传感器等。
现有技术中，数据采集装置可以采集数据，并由无人机对于数据采集装置采集到的数据，进行计算处理，以实现一定的功能。例如，在视觉定位中，视觉传感器采集到的图像可以由无人机的飞行控制系统采用视觉测距等算法进行处理，以得到视觉定位的结果。又如，在跟踪飞行中，无人机会对主摄像头所拍摄的图像进行视觉识别以获取待跟踪的目标。通常无人机会采用神经网络、深度学习等方法来对所获得的图像等数据进行处理。然而，受限于体积、功耗等因素，通常无人机的处理能力有限，可能不能进行大量数据的处理或者得到更好的结果。
因此，现有技术中，存在由于无人机的处理能力有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。
发明内容
本发明实施例提供一种数据处理方法、无人机、移动设备及系统，用于解决现有技术中由于无人机的处理能力有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。
第一方面，本发明实施例提供一种数据处理方法，包括：
将无人机上数据采集装置采集到的数据发送至移动设备，所述移动设备与所述无人机通信连接；
接收所述移动设备对所述数据进行计算处理所得到的处理结果；
根据所述处理结果控制所述无人机。
第二方面，本发明实施例提供一种数据处理方法，包括：
接收无人机上数据采集装置采集到的数据，所述移动设备与所述无人机通信连接；
对所述数据进行计算处理，得到处理结果；
将所述处理结果发送至所述无人机，所述处理结果用于控制所述无人机。
第三方面，本发明实施例提供一种数据处理方法，包括：
将无人机上数据采集装置采集到的数据发送至移动设备，所述移动设备与所述无人机通信连接；
对所述数据进行计算处理，得到处理结果；
将所述处理结果发送至所述无人机；
根据所述处理结果控制所述无人机。
第四方面，本发明实施例提供一种无人机，其包括动力系统、数据采集装置、通信装置以及处理器，所述动力系统用于为所述无人机的飞行提供动力，所述数据采集装置用于采集数据；
所述通信装置，用于将所述数据采集装置采集到的数据发送至移动设备，所述移动设备与所述无人机通信连接；
所述通信装置，还用于接收所述移动设备对所述数据进行计算处理所得到的处理结果；
所述处理器，用于根据所述处理结果控制所述无人机。
第五方面，本发明实施例提供一种移动设备，包括：
通信装置，用于接收无人机上数据采集装置采集到的数据，所述移动设备与所述无人机通信连接；
处理器，用于对所述数据进行计算处理，得到处理结果；
所述通信装置，还用于将所述处理结果发送至所述无人机，所述处理结果用于所述无人机控制所述无人机。
第六方面，本发明实施例提供一种数据处理系统，包括：第四方面任一项所述的无人机，以及第五方面任一项所述的移动设备。
第七方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如第一方面任一项所述 的数据处理方法。
第八方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如第二方面任一项所述的数据处理方法。
第九方面，本发明实施例提供一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如第一方面任一项所述的数据处理方法。
第十方面，本发明实施例提供一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如第二方面任一项所述的数据处理方法。
本发明实施例提供的数据处理方法、无人机、移动设备及系统，通过将无人机上数据采集装置采集到的数据发送至移动设备，接收移动设备对数据进行计算处理所得到的处理结果，并根据处理结果控制无人机，实现了无人机无需对数据采集装置采集到的数据的计算处理，使得对于采集装置采集到的数据的计算处理不会受到无人机的处理能力的限制，避免了由于无人机的处理能力有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1和图2为本发明实施例的应用场景示意图；
图3为本发明一实施例提供的数据处理方法的流程示意图；
图4为本发明另一实施例提供的数据处理方法的流程示意图；
图5为本发明又一实施例提供的数据处理方法的流程示意图；
图6和图7为本发明实施例提供的数据交互方法的示意图；
图8本发明一实施例提供的无人机的结构示意图；
图9本发明一实施例提供的移动设备的结构示意图；
图10为本发明一实施例提供的数据处理系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的应用场景示意图。如图1所示，该应用场景可以包括无人机11和移动设备12，其中，无人机11和移动设备12之间通信连接。
可选的，无人机11与移动设备12可以直接通信，具体的，无人机11与移动设备12之间可以通过无线通信的方式进行通信。其中，移动设备12具体可以为任何能与无人机直接通信，且具备计算处理能力的可移动的设备，移动设备12例如可以为带屏遥控器，或者可以为手机或平板电脑等直接与无人机无线通信的手持终端。
或者，可选的，无人机11与移动设备12可以通过其他设备间接通信，具体的，无人机11与其他设备之间可以通过无线通信的方式进行通信，其他设备与移动设备12之间可以通过无线通信或有线通信的方式进行通信。进一步可选的，其他设备可以为无人机对应的遥控器，移动设备12可以为任何能与遥控器直接通信，且具备计算处理能力的可移动的设备，终端设备12例如可以为手机。以无人机11与移动设备12可以通过遥控器13进行通信为例，本发明实施例的应用场景可以如图2所示。
其中，无人机上可以设置有数据采集装置，该数据采集装置可以采集数据，数据采集装置具体可以为任意的能够采集数据的装置。可选的，该数据具体可以为图像数据，该数据采集装置具体可以为能够采集图像数据的装置，例如单目摄像头、双目摄像头；和/或，该数据具体可以为声音数据，该数据采集装置具体可以为能够采集声音数据的装置，例如声音传感器；和/或，该数据具体可以为雷达数据，该数据采集装置具体可以为能够采集雷达数据的装置，例如激光雷达、微波雷达、毫米波雷达或超声波雷达等。
可选的，无人机与数据采集装置的关系可以理解为数据采集装置为无人机的一部分，无人机包括数据采集装置，例如，集成于无人机机身的避障用 视觉传感器；或者，可以理解为数据采集装置并不是无人机的一部分，无人机不包括数据采集装置，数据采集装置为无人机上搭载的负载，例如，搭载于无人机的拍摄用摄像头。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图3为本发明一实施例提供的数据处理方法的流程示意图，本实施例的执行主体可以为无人机11，具体可以为该无人机11的处理器。如图3所示，本实施例的方法可以包括：
步骤301，将无人机上数据采集装置采集到的数据发送至移动设备。
本步骤中，可选的，所述数据可以包括图像数据、声音数据或雷达数据中的一种或多种。具体的，可以通过通信装置将数据采集装置采集到的数据发送至移动设备，该通信装置具体可以为无线通信装置，该无线通信装置具体可以包括天线。
可选的，可以在数据采集装置采集一次之后，将该次采集到的数据发送至移动设备；或者，可以在数据采集装置采集多次之后，将该多次采集到的数据发送至移动设备。例如，可以在数据采集装置每采集1次数据之后，将最近一次采集到的数据发送至移动设备。又例如，可以在数据采集装置每采集2次数据之后，将最近两次采集到的数据发送至移动设备。
步骤302，接收所述移动设备对所述数据进行计算处理所得到的处理结果。
本步骤中，具体的，可以通过通信装置接收移动设备对数据进行计算处理得到的处理结果，该通信装置具体可以为无线通信装置，该无线通信装置具体可以包括天线。
可选的，在一些实施例中，本步骤还可以是实时接收所述移动设备对所述数据进行计算处理所得到的处理结果。无人机上数据采集装置采集到的数据实时发送至移动设备，移动设备实时对所述数据进行计算处理得到处理结果，然后无人机实时接收所述移动设备对所述数据进行计算处理所得到的处理结果。从数据采集装置采集到数据起到实时接收到处理结果，中间无人机和移动设备都不会对采集数据或处理结果等作缓存、等待接收等处理，因此整个回路的时间差主要为通信延时及计算处理所需要的时间，可以控制在几 十毫秒的量级，可以满足无人机后续控制的需要。
该计算处理具体可以为任何处理器可以完成的对于数据的处理，对于计算处理的具体方式，本发明可以不作限定，该计算处理例如可以为基于神经网络、深度学习等方法的计算处理。
需要说明的是，对于处理器的类型本发明可以不作限定。处理器例如可以为中央处理器(Central Processing Unit，CPU)、数字信号处理(Digital Signal Processing，DSP)或图形处理器(Graphics Processing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)等中的一个或多个。
其中，处理结果具体可以为通过对数据采集装置采集到的数据进行处理得到的，能够用于无人机控制的任意类型的结果。可选的，处理结果可以包括位置识别结果、对象识别结果、场景识别结果中的一种或多种。其中，位置识别结果例如可以为无人机的位置、目标(例如障碍物)的位置、无人机相对目标的位置等，对象识别结果例如可以为目标的属性、类型等，场景识别结果例如可以白天场景、夜晚场景、雨天场景、风景场景、人像场景等。
示例性的，无人机可以将摄像头采集到的图像发送至移动设备，由移动设备采用视觉识别算法对接收到的图像进行处理，获得对象是什么的识别结果，并由移动设备将对象识别结果发送至无人机，即可以由移动设备完成图像的识别处理，并且向无人机返回图像的语义信息。
示例性的，移动设备还可以采用视觉识别算法对接收到的图像进行处理，并识别其中特定的目标对象，并且将识别结果(可以包括目标对象的位置、大小、运动状态等信息)，例如以边界框及标注信息的形式，发送给无人机，即可以由移动设备完成对特定目标对象的识别处理，并且向无人机返回特定目标对象的相关信息。例如，对无人机的跟踪功能，对图像的识别处理可以由移动设备完成，从而依靠移动设备更强的处理器性能来获得更好的识别结果。
步骤303，根据所述处理结果控制所述无人机。
本步骤中，对数据采集装置采集到的数据进行计算处理所得到的处理结果最终是由无人机使用。可选的，可以用于控制无人机(例如无人机的飞行速度、姿态等)，或者，可以用于控制无人机的负载(例如，摄像头、云台等)。
由于对数据采集装置采集到的数据进行计算处理是由移动设备完成，使得无人机无需对数据采集装置采集到的数据的计算处理，从而使得对于采集装置采集到的数据的计算处理不会受到无人机的处理能力的限制，而移动设备的处理能力相比于无人机得到了较大的提高(例如移动设备可以设计有软件和硬件加速器计算能力)，因此避免了由于无人机的处理能力(例如，计算能力，数据吞吐能力)有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。
本实施例中，通过将无人机上数据采集装置采集到的数据发送至移动设备，接收移动设备对数据进行计算处理所得到的处理结果，并根据处理结果控制无人机，实现了无人机无需对数据采集装置采集到的数据的计算处理，使得对于采集装置采集到的数据的计算处理不会受到无人机的处理能力的限制，避免了由于无人机的处理能力有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。
图4为本发明另一实施例提供的数据处理方法的流程示意图，本实施例的执行主体可以为移动设备12，具体可以为该移动设备12的处理器。如图4所示，本实施例的方法可以包括：
步骤401，接收无人机上数据采集装置采集到的数据。
本步骤中，可选的，所述数据可以包括图像数据、声音数据或雷达数据中的一种或多种。具体的，可以通过通信装置接收无人机上数据采集装置采集到的数据，该通信装置具体可以为无线通信装置或有线通信装置，该无线通信装置(例如，可以为无线保真(Wireless Fidelity，WiFi)模块)具体可以包括天线，该有线通信装置具体可以包括通信接口，例如通用串行总线(Universal Serial Bus，USB)接口等。
步骤402，对所述数据进行计算处理，得到处理结果。
本步骤中，该计算处理具体可以为任何处理器可以完成的对于数据的处理，对于计算处理的具体方式，本发明可以不作限定，该计算处理例如可以为基于神经网络、深度学习等方法的计算处理。
需要说明的是，对于处理器的类型本发明可以不作限定。处理器例如可以为中央处理器(Central Processing Unit，CPU)、数字信号处理(Digital Signal Processing，DSP)或图形处理器(Graphics Processing Unit，GPU)等中的一 个或多个。
其中，处理结果具体可以为通过对数据采集装置采集到的数据进行处理得到的，能够用于无人机控制的任意类型的结果。可选的，处理结果可以包括位置识别结果、对象识别结果、场景识别结果中的一种或多种。
步骤403，将所述处理结果发送至所述无人机，所述处理结果用于控制所述无人机。
本步骤中，具体的，可以通过通信装置将处理结果发送至无人机。
本实施例中，通过接收无人机上数据采集装置采集到的数据，对数据进行计算处理，得到处理结果，并将处理结果发送至无人机，实现了由移动设备完成对数据采集装置采集到的数据进行计算处理，使得无人机无需对数据采集装置采集到的数据的计算处理，从而使得对于采集装置采集到的数据的计算处理不会受到无人机的处理能力的限制，避免了由于无人机的处理能力有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。
图5为本发明又一实施例提供的数据处理方法的流程示意图。本实施例在图3、图4所示实施例的基础上，主要描述了无人机11与移动设备12之间的交互处理过程。如图5所示，本实施例的方法可以包括：
步骤501，将无人机上数据采集装置采集到的数据发送至移动设备。
本步骤中，可选的，可以由无人机的通信装置将该无人机上数据采集装置采集到的数据发送至移动设备。具体的，无人机的通信装置可以是无人机的图传模块。可选的，可以直接将无人机上数据采集装置采集到的数据发送至移动设备，这里，通信装置具体可以为无线通信装置。或者，可以通过其他设备将无人机上数据采集装置采集到的数据发送至移动设备，这里通信装置具体可以为无线通信装置或有线通信装置。
进一步可选的，步骤501具体可以包括：将所述无人机上所述数据采集装置采集到的数据发送至所述无人机对应的遥控器，并由所述遥控器将所述数据转发至所述移动设备。相应的，对于移动设备，上述接收所述无人机上数据采集装置采集到的数据，具体可以包括：接收所述无人机对应的遥控器转发的所述无人机上数据采集装置采集到的数据。这里，无人机对应的遥控器具体可以为用于控制无人机的遥控器。
可选的，为了提高数据传输的可靠性，步骤501之前还可以包括：对所 述数据采集装置采集到的数据进行编码，得到编码后的所述数据。相应的，步骤501具体可以包括将编码后的所述数据发送至移动设备。对于移动设备，所述接收所述无人机上数据采集装置采集到的数据，具体可以包括：接收编码后的所述数据。
进一步可选的，步骤501具体可以包括：将编码后的所述数据发送至所述无人机对应的遥控器，并由所述遥控器将将编码后的所述数据转发至所述移动设备。相应的，对于移动设备，接收编码后的所述数据，具体可以包括：接收所述无人机对应的遥控器转发的编码后的所述数据。
可选的，所述数据可以为原始数据，或者，所述数据可以为对所述原始数据进行目标处理后所得到的中间数据。其中，原始数据可以理解为数据采集装置通过采集所能够获得的数据，例如，摄像头通过拍摄获得的原始图像。中间数据是指对原始数据进行一定处理(即目标处理)后所得到的数据。
需要说明的是，对于目标处理的具体类型，本发明可以不作限定。可选的，为了减小无人机向移动设备发送的数据量，该目标处理可以包括压缩处理，可以理解的是，对于移动设备，可以进行相应的解压缩处理。和/或，可选的，所述目标处理包括去噪处理。
步骤502，对所述数据进行计算处理，得到处理结果。
本步骤中，可选的，可以由移动设备的处理器对数据进行计算处理，得到处理结果。可选的，当移动设备接收到编码后的所述数据时，步骤502之前还可以包括：对接收到的所述数据进行解码，得到解码后的所述数据。相应的，步骤502具体可以包括：对解码后的所述数据进行计算处理，得到处理结果。
需要说明的是，关于计算处理以及处理结果的相关内容，可以参见前述实施例，在此不再赘述。
步骤503，将所述处理结果发送至所述无人机。
本步骤中，可选的，可以由移动设备的通信装置将处理结果发送至无人机。与步骤501对应，可选的，可以直接将处理结果发送至无人机，这里，通信装置具体可以为无线通信装置；或者，可以通过其他设备将处理结果发送至无人机，这里通信装置具体可以为无线通信装置或有线通信装置。
进一步可选的，步骤503具体可以包括：将所述处理结果发送至所述无 人机对应的遥控器，并由所述遥控器将所述处理结果转发至所述无人机。相应的，对于无人机，上述接收所述处理结果，具体可以包括：接收所述无人机对应的遥控器转发的所述处理结果。
可选的，为了提高处理结果传输的可靠性，步骤503之前还可以包括：对所述处理结果进行编码，得到编码后的所述处理结果。相应的，步骤503具体可以包括：将编码后的所述处理结果发送至所述无人机。对于无人机，所述接收所述处理结果，具体可以包括：接收编码后的所述处理结果。
步骤504，根据所述处理结果控制所述无人机。
本步骤中，可选的，可以由无人机的处理器根据处理结果控制无人机。可选的，当无人机接收到编码后的所述处理结果时，步骤504之前还可以包括：对接收到的所述处理结果进行解码，得到解码后的所述处理结果。相应的，步骤504具体可以包括：根据解码后的所述处理结果控制所述无人机。
可选的，所述根据所述处理结果控制所述无人机，具体可以包括：根据所述处理结果，控制所述无人机的飞行；和/或，根据所述处理结果，控制所述无人机的负载。其中，控制所述无人机的飞行具体可以包括：控制所述无人机与飞行控制相关的控制参数，例如飞行速度、飞行高度、俯仰角、横滚角等。控制无人机的负载具体可以包括：控制与负载控制相关的控制参数，例如云台的姿态、摄像头的拍摄模式等。
为了能够实现根据数据采集装置采集到的数据，实时控制无人机，可选的，所述根据所述处理结果控制所述无人机，具体可以包括：根据所述处理结果实时控制所述无人机。
进一步可选的，为了实现控制的实时性，所述无人机与所述移动设备之间的通信链路的延时可以小于或等于延时阈值。这里，当通信链路的延时大于延时阈值时，可以表示无法实现实时控制；当通信链路的延时小于或等于延时阈值时，可以表示能够实现实时控制。需要说明的是，对于延时阈值的确定方式，本发明可以不作限定，例如，延时阈值可以通过实验确定。
由于步骤501-步骤504的处理方式，需要借助于无人机与移动设备之间的通信链路才能实现。具体的，当该通信链路较好时，能够有效的支持步骤501-步骤504的处理方式，而当该通信链路较差时，无法有效的支持步骤501-步骤504的处理方式。因此，可选的，步骤501之前还可以包括如下步骤： 判断所述无人机与所述移动设备之间的通信链路的通信质量是否满足预设条件；
若所述无人机与所述移动设备之间的通信链路的通信质量满足所述预设条件，执行步骤501。
进一步可选的，为了在该通信链路较差时，还能够实现根据对所述数据进行计算处理得到的处理结果，控制无人机，本实施例的方法还可以包括：若所述无人机与所述移动设备之间的通信链路的通信质量不满足所述预设条件，则所述无人机对所述数据进行计算处理所得到的处理结果，并根据所述处理结果控制所述无人机。即，对于数据的计算处理可以由移动设备完成，回退至由无人机完成。
可选的，所述预设条件包括下述中的一种或多种：延时小于延时阈值、信噪比低于信噪比阈值、信号强度高于强度阈值或使用自定义低延时通信协议。可以理解的是，延时越小、信噪比越大、信号强度越高和/或使用自定义低时延通信协议，均可以表示通信质量越好。可选的，自定义低时延通信协议具体可以为使用软件定义的无线电(Software Defination Radio，SDR)定义的通信协议，例如无人机和无人机对应的遥控器上可以均设置有使用自定义低延时通信协议的通信装置。
以无人机与移动设备之间可以直接通信，数据采集装置为摄像头且处理结果用于控制无人机的飞行为例，如图6所示，无人机的摄像头可以将采集到的数据，在经过编码器(encoder)进行编码处理并获得编码后的数据之后，可以发送至无人机的图传模块(可以理解为无人机用于传输图像数据的通信装置)，并由无人机的图传模块发送至移动设备的无线通信装置，移动设备的无线通信模块接收到编码后的数据，在经过解码器(decoder)进行解码处理之后，可以发送至移动设备的处理器，由处理器进行计算处理。此处移动设备的处理器可以为中央处理器CPU、图形处理器GPU、神经网络处理器NPU、数字信号处理器DSP或其他处理器，且可以不限于单个处理器，即可以包括多个处理器或多种不同类处理器，此处统一作处理器。进一步的，如图6所示，移动设备的处理器对数据进行计算处理得到的处理结果，可以通过无线通信装置发送至无人机的图传模块，无人机的图传模块接收到处理结果之后，可以将处理结果发送至飞行控制系统，以实现控制无人机的飞行。
以无人机与移动设备之间可以通过遥控器间接通信，数据采集装置为摄像头且处理结果用于控制无人机的飞行为例，如图7所示，无人机的摄像头可以将采集到的数据，在经过编码器(encoder)进行编码处理并获得编码后的数据之后，可以发送至无人机的图传模块，并由无人机的图传模块发送至遥控器的图传模块(可以理解为遥控器用于传输图像数据的通信装置)，遥控器的图传模块可以将编码后的数据转发至移动设备的通信装置(可以为无线通信装置也可以为有线通信装置)，移动设备的通信装置接收到编码后的数据，在经过解码器(decoder)进行解码处理之后，可以发送至移动设备的处理器，由处理器进行计算处理。进一步的，如图7所示，移动设备的处理器对数据进行计算处理得到的处理结果在发送至移动设备的通信装置之后，可以通过遥控器的图传模块发送至无人机的图传模块，无人机的图传模块接收到处理结果之后，可以将处理结果发送至飞行控制系统，以实现控制无人机的飞行。
需要说明的是，图6和图7中的编码器和解码器为可选部件，即不进行编码及解码相关处理，此时图中编码和解码的过程跳过；或者，编码器的功能可以集成于摄像头或处理器中。
本实施例中，通过将无人机上数据采集装置采集到的数据发送至移动设备，对所述数据进行计算处理得到处理结果，将处理结果发送至无人机，根据处理结果控制无人机，实现了无人机无需对数据采集装置采集到的数据的计算处理，使得对于采集装置采集到的数据的计算处理不会受到无人机的处理能力的限制，避免了由于无人机的处理能力有限，而导致对采集到的数据进行的计算处理受到一定限制的问题。
本发明实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序执行时可包括如上述各方法实施例中的数据处理方法的部分或全部步骤。
本发明实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序执行时可包括如上述各方法实施例中的数据处理方法的部分或全部步骤。
本发明实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述任一方法实施例中的数据处理方法。
本发明实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述任一方法实施例中的数据处理方法。
图8本发明一实施例提供的无人机的结构示意图，如图8所示，本实施例的无人机800可以包括：动力系统801、数据采集装置802、图传模块803以及飞行控制系统804，所述动力系统801用于为所述无人机的飞行提供动力，所述数据采集装置802用于采集数据。
其中，所述图传模块803，用于将所述数据采集装置802采集到的数据发送至移动设备，所述移动设备与所述无人机通信连接；
所述图传模块803，还用于接收所述移动设备对所述数据进行计算处理所得到的处理结果；
所述飞行控制系统804，可以包括处理器和通讯接口，获取所述图传模块803从移动设备处接收的处理结果，并根据所述处理结果控制所述无人机。
在一种可能的实现中，所述飞行控制系统804用于根据所述处理结果控制所述无人机，具体包括：根据所述处理结果，控制所述无人机的飞行；和/或，根据所述处理结果，控制所述无人机的负载。具体的，飞行控制系统804可以根据处理结果控制动力系统801，以控制无人机的飞行。
在一种可能的实现中，所述飞行控制系统804用于根据所述处理结果控制所述无人机，具体包括：
根据所述处理结果实时控制所述无人机。
在一种可能的实现中，所述无人机与所述移动设备之间的通信链路的延时小于或等于延时阈值。
在一种可能的实现中，所述飞行控制系统804，还用于：
判断所述无人机与所述移动设备之间的通信链路的通信质量是否满足预设条件；
所述图传模块803用于将所述数据采集装置802采集到的数据发送至移动设备，具体包括：若所述无人机与所述移动设备之间的通信链路的通信质量满足所述预设条件，则将所述数据采集装置802采集到的数据发送至移动设备。
在一种可能的实现中，所述飞行控制系统804还用于：
若所述无人机与所述移动设备之间的通信链路的通信质量不满足所述预 设条件，则对所述数据进行计算处理所得到的处理结果，并根据所述处理结果控制所述无人机。
在一种可能的实现中，所述预设条件包括下述中的一种或多种：
延时小于延时阈值、信噪比低于信噪比阈值、信号强度高于强度阈值或使用自定义低延时通信协议。
在一种可能的实现中，所述数据为原始数据，或者，所述数据为对所述原始数据进行目标处理后所得到的中间数据。
在一种可能的实现中，所述目标处理包括去噪处理和/或压缩处理。
在一种可能的实现中，所述飞行控制系统804，还用于对所述数据采集装置802采集到的数据进行编码，得到编码后的所述数据；
所述图传模块803用于将所述数据采集装置802采集到的数据发送至移动设备，具体包括：
将编码后的所述数据发送至移动设备。
在一种可能的实现中，所述飞行控制系统804，还用于对接收到的所述处理结果进行解码，得到解码后的所述处理结果；
所述飞行控制系统804用于根据所述处理结果控制所述无人机，具体包括：
根据解码后的所述处理结果控制所述无人机。
在一种可能的实现中，所述图传模块803用于将所述数据采集装置802采集到的数据发送至移动设备，具体包括：
将所述数据采集装置802采集到的数据发送至所述无人机对应的遥控器，并由所述遥控器将所述数据转发至所述移动设备。
在一种可能的实现中，所述图传模块803用于接收所述移动设备对所述数据进行计算处理所得到的处理结果，具体包括：
接收所述遥控器转发的所述移动设备对所述数据进行计算处理所得到的处理结果。
在一种可能的实现中，所述处理结果包括：
位置识别结果、对象识别结果、场景识别结果中的一种或多种。
在一种可能的实现中，所述数据包括下述中的一种或多种：
图像数据、声音数据或雷达数据。
本实施例提供的无人机，可以用于执行本发明上述图3所示方法实施例或图5所示方法实施例无人机侧的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9本发明一实施例提供的移动设备的结构示意图，如图9所示，本实施例的移动设备900可以包括：通信装置901，用于接收无人机上数据采集装置采集到的数据，所述移动设备与所述无人机通信连接；
处理器902，用于对所述数据进行计算处理，得到处理结果，所述处理器902可以为中央处理器CPU、图形处理器GPU、神经网络处理器NPU、数字信号处理器DSP或其他处理器，且可以不限于单个处理器，即可以包括多个处理器或多种不同类处理器，此处统一作处理器902；
所述通信装置901，还用于将所述处理结果发送至所述无人机，所述处理结果用于所述无人机控制所述无人机。
在一种可能的实现中，所述数据为原始数据，或者，所述数据为对所述原始数据进行目标处理后所得到的中间数据。
在一种可能的实现中，所述目标处理包括去噪处理和/或压缩处理。
在一种可能的实现中，所述处理器902，还用于对接收到的所述数据进行解码，得到解码后的所述数据；
所述处理器902用于对所述数据进行计算处理，得到处理结果，具体包括：
对解码后的所述数据进行计算处理，得到处理结果。
在一种可能的实现中，所述处理器902还用于对所述处理结果进行编码，得到编码后的所述处理结果；
所述处理器902用于将所述处理结果发送至所述无人机，具体包括：
将编码后的所述处理结果发送至所述无人机。
在一种可能的实现中，所述通信装置901用于接收无人机上数据采集装置采集到的数据，具体包括：
接收所述无人机对应的遥控器转发的所述无人机上数据采集装置采集到的数据。
在一种可能的实现中，所述通信装置901用于将所述处理结果发送至所述无人机，具体包括：
将所述处理结果发送至所述遥控器，并由所述遥控器转发至所述无人机。
在一种可能的实现中，所述处理结果包括：
位置识别结果、对象识别结果、场景识别结果中的一种或多种。
在一种可能的实现中，所述数据包括下述中的一种或多种：
图像数据、声音数据或雷达数据。
本实施例提供的移动设备，可以用于执行本发明上述图4所示方法实施例或图5所示方法实施例移动设备侧的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明一实施例提供的数据处理系统的示意图，如图10所示，本实施例的数据处理系统100包括：无人机101和移动设备102。其中，无人机101可以采用图8所示实施例的结构，其相应地，可以执行上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。移动设备102可以采用图9所示实施例的结构，其相应地，可以执行上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (68)

  1. 一种数据处理方法，其特征在于，包括：
    将无人机上数据采集装置采集到的数据发送至移动设备，所述移动设备与所述无人机通信连接；
    接收所述移动设备对所述数据进行计算处理所得到的处理结果；
    根据所述处理结果控制所述无人机。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述处理结果控制所述无人机，包括：
    根据所述处理结果，控制所述无人机的飞行；
    和/或，
    根据所述处理结果，控制所述无人机的负载。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据所述处理结果控制所述无人机，包括：
    根据所述处理结果实时控制所述无人机。
  4. 根据权利要求3所述的方法，其特征在于，所述无人机与所述移动设备之间通信链路的延时小于或等于延时阈值。
  5. 根据权利要求1所述的方法，其特征在于，所述将无人机上数据采集装置采集到的数据发送至移动设备之前，包括：
    判断所述无人机与所述移动设备之间的通信链路的通信质量是否满足预设条件；
    若所述无人机与所述移动设备之间的通信链路的通信质量满足所述预设条件，则执行将无人机上数据采集装置采集到的数据发送至移动设备的步骤。
  6. 根据权利要求5所述的方法，其特征在于，所述方法还包括：
    若所述无人机与所述移动设备之间的通信链路的通信质量不满足所述预设条件，则对所述数据进行计算处理所得到的处理结果，并根据所述处理结果控制所述无人机。
  7. 根据权利要求5所述的方法，其特征在于，所述预设条件包括下述中的一种或多种：
    延时小于延时阈值、信噪比低于信噪比阈值、信号强度高于强度阈值或使用自定义低延时通信协议。
  8. 根据权利要求1-7任一项所述的方法，其特征在于，所述数据为原始数据，或者，所述数据为对所述原始数据进行目标处理后所得到的中间数据。
  9. 根据权利要求8所述的方法，其特征在于，所述目标处理包括去噪处理和/或压缩处理。
  10. 根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
    对所述数据采集装置采集到的数据进行编码，得到编码后的所述数据；
    所述将无人机上数据采集装置采集到的数据发送至移动设备，包括：
    将编码后的所述数据发送至移动设备。
  11. 根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
    对接收到的所述处理结果进行解码，得到解码后的所述处理结果；
    所述根据所述处理结果控制所述无人机，包括：
    根据解码后的所述处理结果控制所述无人机。
  12. 根据权利要求1-7任一项所述的方法，其特征在于，所述将无人机上数据采集装置采集到的数据发送至移动设备，包括：
    将所述无人机上所述数据采集装置采集到的数据发送至所述无人机对应的遥控器，并由所述遥控器将所述数据转发至所述移动设备。
  13. 根据权利要求12所述的方法，其特征在于，所述接收所述移动设备对所述数据进行计算处理所得到的处理结果，包括：
    接收所述遥控器转发的所述移动设备对所述数据进行计算处理所得到的处理结果。
  14. 根据权利要求1-7任一项所述的方法，其特征在于，所述处理结果包括：
    位置识别结果、对象识别结果、场景识别结果中的一种或多种。
  15. 根据权利要求1-7任一项所述的方法，其特征在于，所述数据包括下述中的一种或多种：
    图像数据、声音数据或雷达数据。
  16. 一种数据处理方法，应用于移动设备，其特征在于，包括：
    接收无人机上数据采集装置采集到的数据，所述移动设备与所述无人机 通信连接；
    对所述数据进行计算处理，得到处理结果；
    将所述处理结果发送至所述无人机，所述处理结果用于控制所述无人机。
  17. 根据权利要求16所述的方法，其特征在于，所述数据为原始数据，或者，所述数据为对所述原始数据进行目标处理后所得到的中间数据。
  18. 根据权利要求17所述的方法，其特征在于，所述目标处理包括去噪处理和/或压缩处理。
  19. 根据权利要求16-18任一项所述的方法，其特征在于，所述方法还包括：
    对接收到的所述数据进行解码，得到解码后的所述数据；
    所述对所述数据进行计算处理，得到处理结果，包括：
    对解码后的所述数据进行计算处理，得到处理结果。
  20. 根据权利要求16-18任一项所述的方法，其特征在于，所述方法还包括：对所述处理结果进行编码，得到编码后的所述处理结果；
    所述将所述处理结果发送至所述无人机，包括：
    将编码后的所述处理结果发送至所述无人机。
  21. 根据权利要求16-18任一项所述的方法，其特征在于，所述接收无人机上数据采集装置采集到的数据，包括：
    接收所述无人机对应的遥控器转发的所述无人机上数据采集装置采集到的数据。
  22. 根据权利要求21所述的方法，其特征在于，所述将所述处理结果发送至所述无人机，包括：
    将所述处理结果发送至所述遥控器，并由所述遥控器转发至所述无人机。
  23. 根据权利要求16-18任一项所述的方法，其特征在于，所述处理结果包括：
    位置识别结果、对象识别结果、场景识别结果中的一种或多种。
  24. 根据权利要求16-18任一项所述的方法，其特征在于，所述数据包括下述中的一种或多种：
    图像数据、声音数据或雷达数据。
  25. 一种数据处理方法，其特征在于，包括：
    将无人机上数据采集装置采集到的数据发送至移动设备，所述移动设备与所述无人机通信连接；
    对所述数据进行计算处理，得到处理结果；
    将所述处理结果发送至所述无人机；
    根据所述处理结果控制所述无人机。
  26. 根据权利要求25所述的方法，其特征在于，所述根据所述处理结果控制所述无人机，包括：
    根据所述处理结果，控制所述无人机的飞行；
    和/或，
    根据所述处理结果，控制所述无人机的负载。
  27. 根据权利要求25或26所述的方法，其特征在于，所述根据所述处理结果控制所述无人机，包括：
    根据所述处理结果实时控制所述无人机。
  28. 根据权利要求27所述的方法，其特征在于，所述无人机与所述移动设备之间的通信链路的延时小于或等于延时阈值。
  29. 根据权利要求25所述的方法，其特征在于，所述将无人机上数据采集装置采集到的数据发送至移动设备之前，包括：
    判断所述无人机与所述移动设备之间的通信链路的通信质量是否满足预设条件；
    若所述无人机与所述移动设备之间的通信链路的通信质量满足所述预设条件，执行所述将无人机上数据采集装置采集到的数据发送至移动设备的步骤。
  30. 根据权利要求29所述的方法，其特征在于，所述方法还包括：
    若所述无人机与所述移动设备之间的通信链路的通信质量不满足所述预设条件，则所述无人机对所述数据进行计算处理所得到的处理结果，并根据所述处理结果控制所述无人机。
  31. 根据权利要求30所述的方法，其特征在于，所述预设条件包括下述中的一种或多种：
    延时小于延时阈值、信噪比低于信噪比阈值、信号强度高于强度阈值或使用自定义低延时通信协议。
  32. 根据权利要求25-31任一项所述的方法，其特征在于，所述数据为原始数据，或者，所述数据为对所述原始数据进行目标处理后所得到的中间数据。
  33. 根据权利要求32所述的方法，其特征在于，所述目标处理包括去噪处理和/或压缩处理。
  34. 根据权利要求25-31任一项所述的方法，其特征在于，所述方法还包括：对所述数据采集装置采集到的数据进行编码，得到编码后的所述数据；
    所述将无人机上数据采集装置采集到的数据发送至移动设备，包括：将编码后的所述数据发送至移动设备；
    所述方法还包括：
    对接收到的所述数据进行解码，得到解码后的所述数据；
    所述对所述数据进行计算处理，得到处理结果，包括：对解码后的所述数据进行计算处理，得到处理结果。
  35. 根据权利要求25-31任一项所述的方法，其特征在于，所述方法还包括：对所述处理结果进行编码，得到编码后的所述处理结果；
    所述将所述处理结果发送至所述无人机，包括：将编码后的所述处理结果发送至所述无人机；
    所述方法还包括：
    对接收到的所述处理结果进行解码，得到解码后的所述处理结果；
    所述根据所述处理结果控制所述无人机，包括：根据解码后的所述处理结果控制所述无人机。
  36. 根据权利要求25-31任一项所述的方法，其特征在于，所述将无人机上数据采集装置采集到的数据发送至移动设备，包括：将所述无人机上所述数据采集装置采集到的数据发送至所述无人机对应的遥控器，并由所述遥控器将所述数据转发至所述移动设备。
  37. 根据权利要求36所述的方法，其特征在于，所述将所述处理结果发送至所述无人机，包括：将所述处理结果发送至所述遥控器，并由所述遥控器转发至所述无人机；
    所述接收所述移动设备对所述数据进行计算处理，得到的处理结果，包括：接收所述遥控器转发的所述移动设备对所述数据进行计算处理所得到的 处理结果。
  38. 根据权利要求25-31任一项所述的方法，其特征在于，所述处理结果包括：
    位置识别结果、对象识别结果、场景识别结果中的一种或多种。
  39. 根据权利要求25-31任一项所述的方法，其特征在于，所述数据包括下述中的一种或多种：
    图像数据、声音数据或雷达数据。
  40. 一种无人机，其包括动力系统、数据采集装置、图传模块以及飞行控制系统，所述动力系统用于为所述无人机的飞行提供动力，所述数据采集装置用于采集数据，其特征在于：
    所述图传模块，用于将所述数据采集装置采集到的数据发送至移动设备，所述移动设备与所述无人机通信连接；
    所述图传模块，还用于接收所述移动设备对所述数据进行计算处理所得到的处理结果；
    所述飞行控制系统，用于根据所述处理结果控制所述无人机。
  41. 根据权利要求40所述的无人机，其特征在于，所述飞行控制系统用于根据所述处理结果控制所述无人机，具体包括：
    根据所述处理结果，控制所述无人机的飞行；
    和/或，
    根据所述处理结果，控制所述无人机的负载。
  42. 根据权利要求40或41所述的无人机，其特征在于，所述飞行控制系统用于根据所述处理结果控制所述无人机，具体包括：
    根据所述处理结果实时控制所述无人机。
  43. 根据权利要求42所述的无人机，其特征在于，所述无人机与所述移动设备之间的通信链路的延时小于或等于延时阈值。
  44. 根据权利要求40所述的无人机，其特征在于，所述飞行控制系统，还用于：
    判断所述无人机与所述移动设备之间的通信链路的通信质量是否满足预设条件；
    所述图传模块用于将所述数据采集装置采集到的数据发送至移动设备， 具体包括：若所述无人机与所述移动设备之间的通信链路的通信质量满足所述预设条件，则将所述数据采集装置采集到的数据发送至移动设备。
  45. 根据权利要求44所述的无人机，其特征在于，所述飞行控制系统还用于：
    若所述无人机与所述移动设备之间的通信链路的通信质量不满足所述预设条件，则对所述数据进行计算处理所得到的处理结果，并根据所述处理结果控制所述无人机。
  46. 根据权利要求44所述的无人机，其特征在于，所述预设条件包括下述中的一种或多种：
    延时小于延时阈值、信噪比低于信噪比阈值、信号强度高于强度阈值或使用自定义低延时通信协议。
  47. 根据权利要求40-46任一项所述的无人机，其特征在于，所述数据为原始数据，或者，所述数据为对所述原始数据进行目标处理后所得到的中间数据。
  48. 根据权利要求47所述的无人机，其特征在于，所述目标处理包括去噪处理和/或压缩处理。
  49. 根据权利要求40-46任一项所述的无人机，其特征在于，所述飞行控制系统，还用于对所述数据采集装置采集到的数据进行编码，得到编码后的所述数据；
    所述图传模块用于将所述数据采集装置采集到的数据发送至移动设备，具体包括：
    将编码后的所述数据发送至移动设备。
  50. 根据权利要求40-46任一项所述的无人机，其特征在于，所述飞行控制系统，还用于对接收到的所述处理结果进行解码，得到解码后的所述处理结果；
    所述飞行控制系统用于根据所述处理结果控制所述无人机，具体包括：
    根据解码后的所述处理结果控制所述无人机。
  51. 根据权利要求40-46任一项所述的无人机，其特征在于，所述图传模块用于将所述数据采集装置采集到的数据发送至移动设备，具体包括：
    将所述数据采集装置采集到的数据发送至所述无人机对应的遥控器，并 由所述遥控器将所述数据转发至所述移动设备。
  52. 根据权利要求51所述的无人机，其特征在于，所述图传模块用于接收所述移动设备对所述数据进行计算处理所得到的处理结果，具体包括：
    接收所述遥控器转发的所述移动设备对所述数据进行计算处理所得到的处理结果。
  53. 根据权利要求40-46任一项所述的无人机，其特征在于，所述处理结果包括：
    位置识别结果、对象识别结果、场景识别结果中的一种或多种。
  54. 根据权利要求40-46任一项所述的无人机，其特征在于，所述数据包括下述中的一种或多种：
    图像数据、声音数据或雷达数据。
  55. 一种移动设备，其特征在于，包括：
    通信装置，用于接收无人机上数据采集装置采集到的数据，所述移动设备与所述无人机通信连接；
    处理器，用于对所述数据进行计算处理，得到处理结果；
    所述通信装置，还用于将所述处理结果发送至所述无人机，所述处理结果用于所述无人机控制所述无人机。
  56. 根据权利要求55所述的移动设备，其特征在于，所述数据为原始数据，或者，所述数据为对所述原始数据进行目标处理后所得到的中间数据。
  57. 根据权利要求56所述的移动设备，其特征在于，所述目标处理包括去噪处理和/或压缩处理。
  58. 根据权利要求55-57任一项所述的移动设备，其特征在于，所述处理器，还用于对接收到的所述数据进行解码，得到解码后的所述数据；
    所述处理器用于对所述数据进行计算处理，得到处理结果，具体包括：
    对解码后的所述数据进行计算处理，得到处理结果。
  59. 根据权利要求55-57任一项所述的移动设备，其特征在于，所述处理器还用于对所述处理结果进行编码，得到编码后的所述处理结果；
    所述处理器用于将所述处理结果发送至所述无人机，具体包括：
    将编码后的所述处理结果发送至所述无人机。
  60. 根据权利要求55-57任一项所述的移动设备，其特征在于，所述通 信装置用于接收无人机上数据采集装置采集到的数据，具体包括：
    接收所述无人机对应的遥控器转发的所述无人机上数据采集装置采集到的数据。
  61. 根据权利要求60所述的移动设备，其特征在于，所述通信装置用于将所述处理结果发送至所述无人机，具体包括：
    将所述处理结果发送至所述遥控器，并由所述遥控器转发至所述无人机。
  62. 根据权利要求55-57任一项所述的移动设备，其特征在于，所述处理结果包括：
    位置识别结果、对象识别结果、场景识别结果中的一种或多种。
  63. 根据权利要求55-57任一项所述的移动设备，其特征在于，所述数据包括下述中的一种或多种：
    图像数据、声音数据或雷达数据。
  64. 一种数据处理系统，其特征在于，包括：权利要求40-54任一项所述的无人机，以及权利要求55-63任一项所述的移动设备。
  65. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求1-15任一项所述的数据处理方法。
  66. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求16-24任一项所述的数据处理方法。
  67. 一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求1-15任一项所述的数据处理方法。
  68. 一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求16-24任一项所述的数据处理方法。
PCT/CN2019/074463 2019-02-01 2019-02-01 数据处理方法、无人机、移动设备及系统 Ceased WO2020155110A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/074463 WO2020155110A1 (zh) 2019-02-01 2019-02-01 数据处理方法、无人机、移动设备及系统
CN201980005633.2A CN111386507A (zh) 2019-02-01 2019-02-01 数据处理方法、无人机、移动设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/074463 WO2020155110A1 (zh) 2019-02-01 2019-02-01 数据处理方法、无人机、移动设备及系统

Publications (1)

Publication Number Publication Date
WO2020155110A1 true WO2020155110A1 (zh) 2020-08-06

Family

ID=71220447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/074463 Ceased WO2020155110A1 (zh) 2019-02-01 2019-02-01 数据处理方法、无人机、移动设备及系统

Country Status (2)

Country Link
CN (1) CN111386507A (zh)
WO (1) WO2020155110A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112484703A (zh) * 2020-12-15 2021-03-12 广州极飞科技有限公司 测绘设备及无人机
CN114445929A (zh) * 2022-04-11 2022-05-06 广东电网有限责任公司佛山供电局 无人机巡检系统及无人机巡检的控制方法和控制装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295501A1 (en) * 2009-11-27 2011-12-01 Thales Method of planning, trajectory computation, predictions and guidance for compliance with an aircraft flypast time constraint
US8509968B1 (en) * 2012-03-20 2013-08-13 The Boeing Company System and method for real-time aircraft efficiency analysis and compilation
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN105759839A (zh) * 2016-03-01 2016-07-13 深圳市大疆创新科技有限公司 无人机视觉跟踪方法、装置以及无人机
CN105931263A (zh) * 2016-03-31 2016-09-07 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106909172A (zh) * 2017-03-06 2017-06-30 重庆零度智控智能科技有限公司 环绕跟踪方法、装置和无人机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796611A (zh) * 2015-04-20 2015-07-22 零度智控（北京）智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
CN105100728A (zh) * 2015-08-18 2015-11-25 零度智控（北京）智能科技有限公司 无人机视频跟踪拍摄系统及方法
WO2018011792A1 (en) * 2016-07-12 2018-01-18 Daniel Aljadeff Methods and systems for the location and monitoring of mobile units
CN106444849A (zh) * 2016-12-02 2017-02-22 上海巽晔计算机科技有限公司 一种基于图像识别的无人机自主飞行系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295501A1 (en) * 2009-11-27 2011-12-01 Thales Method of planning, trajectory computation, predictions and guidance for compliance with an aircraft flypast time constraint
US8509968B1 (en) * 2012-03-20 2013-08-13 The Boeing Company System and method for real-time aircraft efficiency analysis and compilation
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
CN105759839A (zh) * 2016-03-01 2016-07-13 深圳市大疆创新科技有限公司 无人机视觉跟踪方法、装置以及无人机
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN105931263A (zh) * 2016-03-31 2016-09-07 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106909172A (zh) * 2017-03-06 2017-06-30 重庆零度智控智能科技有限公司 环绕跟踪方法、装置和无人机

Also Published As

Publication number Publication date
CN111386507A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US12345806B2 (en) Extrinsic parameter calibration for 4D millimeter-wave radar and camera based on adaptive projection error
CN113096185B (zh) 视觉定位方法、视觉定位装置、存储介质与电子设备
CN112543347B (zh) 基于机器视觉编解码的视频超分辨率方法、装置、系统和介质
US20210168376A1 (en) Method, device, and storage medium for encoding video data base on regions of interests
WO2019033747A1 (zh) 无人机智能跟随目标确定方法、无人机和遥控器
CN104796611A (zh) 移动终端遥控无人机实现智能飞行拍摄的方法及系统
WO2019085621A1 (zh) 目标追踪方法、装置及追踪器
CN109978947B (zh) 一种监控无人机的方法、装置、设备和存储介质
CN112287803B (zh) 基于RoI编码的边缘协同目标检测方法及装置
CN116721141A (zh) 自适应面部深度图生成
CN109949381B (zh) 图像处理方法、装置、图像处理芯片、摄像组件及飞行器
US20200264602A1 (en) Unmanned aerial vehicle system and communication method
CN111386507A (zh) 数据处理方法、无人机、移动设备及系统
CN114172809A (zh) 一种基于目标追踪的视频计算云边协同任务调度方法
CN107197136A (zh) 实现无人机机载相机图像美化、视频剪辑的控制方法
WO2021249562A1 (zh) 一种信息传输方法、相关设备及系统
CN113204249B (zh) 无人机近远程联合控制系统、方法以及无人机
US12094137B2 (en) Accelerated alignment of high-resolution image and depth map for low-bit-width floating-point representation
CN105657422A (zh) 多场景的图像压缩处理方法及系统
US20250005920A1 (en) Identifying antenna communication issues using unmanned aerial vehicles
WO2020107376A1 (zh) 图像处理的方法、设备及存储介质
CN119485696A (zh) 通信方法、存储介质及终端设备
CN118628426A (zh) 图像处理方法及装置、电子设备、存储介质
JP7153089B2 (ja) 位置推定システム
CN109819139B (zh) 一种智能电子设备和图像处理单元、装置、方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912234

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19912234

Country of ref document: EP

Kind code of ref document: A1