WO2021012212A1 - 数据发送、处理方法、可移动平台、显示设备、眼镜和系统 - Google Patents

数据发送、处理方法、可移动平台、显示设备、眼镜和系统 Download PDF

Info

Publication number
WO2021012212A1
WO2021012212A1 PCT/CN2019/097485 CN2019097485W WO2021012212A1 WO 2021012212 A1 WO2021012212 A1 WO 2021012212A1 CN 2019097485 W CN2019097485 W CN 2019097485W WO 2021012212 A1 WO2021012212 A1 WO 2021012212A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
screen
user terminal
image information
movable platform
Prior art date
Application number
PCT/CN2019/097485
Other languages
English (en)
French (fr)
Inventor
赵财华
刘俞聪
向春
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/097485 priority Critical patent/WO2021012212A1/zh
Priority to CN201980031843.9A priority patent/CN112119630A/zh
Publication of WO2021012212A1 publication Critical patent/WO2021012212A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This specification relates to the field of data communication technology, and in particular to a data transmission and processing method, a movable platform, a display device, glasses and a system.
  • the traversing drone used for aerobatics is a high-speed small drone with a maximum speed of 280km/h per hour; therefore, the display and recording of some status information during the flight is more important; In some competitions, it is also necessary to record these status information as the basis for the referee to make a penalty.
  • the prior art generally adds a hardware module for flight status processing on the flight control board of the drone, such as an on-screen display (OSD) module.
  • OSD on-screen display
  • this manual provides a data transmission, processing method, movable platform, display device, glasses and system, which aims to solve the technical problems of the existing on-screen display information transmission and processing methods requiring additional hardware.
  • this specification provides a data sending method for a mobile platform, the method including:
  • the image information and the information displayed on the screen are sent to the user terminal through an image transmission channel.
  • this specification provides a data processing method for the user side, and the data processing method includes:
  • this specification provides a data processing method, including:
  • the movable platform obtains the image information taken by the camera equipped with the movable platform, and sends the image information to the user terminal through the image transmission channel;
  • the movable platform generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, and sends the on-screen display information to the user terminal through an image transmission channel;
  • the user terminal displays the image information, and simultaneously displays the information displayed on the screen when the image information is displayed.
  • this specification provides a movable platform, including a memory and a processor
  • the memory is used to store computer programs
  • the processor is configured to execute the computer program, and when executing the computer program, implement the following steps:
  • the image information and the information displayed on the screen are sent to the user terminal through an image transmission channel.
  • this specification provides a display device, including a display component, a memory, and a processor;
  • the display component is used for display
  • the memory is used to store computer programs
  • the processor is configured to execute the computer program, and when executing the computer program, implement the following steps:
  • this specification provides a pair of glasses, including a display component, a memory, and a processor;
  • the display component is used for display
  • the memory is used to store computer programs
  • the processor is configured to execute the computer program, and when executing the computer program, implement the following steps:
  • this specification provides a movable platform system, including a movable platform and a display device;
  • the movable platform is used to obtain image information captured by a camera equipped on the movable platform, and send the image information to a user terminal through an image transmission channel;
  • the movable platform is configured to generate on-screen display information time-synchronized with the image information based on the state data of the movable platform, and send the on-screen display information to the user terminal through the image transmission channel;
  • the user terminal is used for displaying the image information, and simultaneously displaying the information displayed on the screen when displaying the image information.
  • this specification provides a computer-readable storage medium that stores a computer program, and the computer program can be used by a processor to implement the above-mentioned method.
  • the embodiments of this specification provide a data transmission and processing method, a movable platform, a display device, glasses, and a system.
  • the image information captured by the camera on the movable platform is acquired through the movable platform, and based on the state data of the movable platform, Generate on-screen display information synchronized with the time of the image information; then the mobile platform sends the image information and on-screen display information to the user terminal through the image transmission channel, so that the user terminal can display the image information and synchronize the display screen when displaying the image information Information on the display.
  • the image information and the status data of the movable platform are transmitted separately to avoid the increase in time delay, increase in power consumption and increase in heat caused by the image processing process of the on-screen display module, and no additional hardware is required.
  • Figure 1 is a schematic diagram of the structure of the on-screen display module application
  • FIG. 2 is a schematic flowchart of a data sending method provided by an embodiment of this specification
  • Figure 3 is a schematic diagram of data transmission between the mobile platform and the user terminal
  • FIG. 4 is a schematic flowchart of an embodiment of the data sending method in FIG. 2;
  • Figure 5 is a schematic diagram of image information displayed on the display interface and information displayed on the screen;
  • FIG. 6 is a schematic flowchart of a data processing method provided by an embodiment of this specification.
  • FIG. 7 is a schematic flowchart of another embodiment of the data processing method in FIG. 6;
  • FIG. 8 is a schematic flowchart of a data processing method provided by another embodiment of this specification.
  • FIG. 9 is a schematic flowchart of another embodiment of the data processing method in FIG. 8;
  • FIG. 10 is a schematic flowchart of another embodiment of the data processing method in FIG. 8;
  • FIG. 11 is a schematic block diagram of a movable platform provided by an embodiment of this specification.
  • FIG. 12 is a schematic block diagram of a display device according to an embodiment of the present specification.
  • FIG. 13 is a schematic block diagram of glasses according to an embodiment of the present specification.
  • Fig. 14 is a schematic diagram of a kind of glasses in Fig. 13.
  • the on-screen display module 11 (OSD) is connected to the flight control module 12 and the camera device 13 carried by the drone 10 as shown in FIG. 1.
  • This hardware module superimposes the status during the flight and the images taken by the drone, and then transmits them to the display device for display and recording. For example, using liveview.
  • this method of superimposition processing requires the OSD data to be superimposed and associated with the image, and additional hardware is needed, which leads to increased power consumption and introduces a large processing delay, which will cause the overall delay of the UAV to increase.
  • this specification provides a data transmission, processing method, movable platform, display device, glasses and system.
  • FIG. 2 is a schematic flowchart of a data sending method according to an embodiment of this specification.
  • the data sending method can be applied to a mobile platform for data transmission between the mobile platform and the user terminal;
  • the mobile platform includes a drone or a cloud trolley, etc.
  • the user terminal can be a mobile phone or a tablet Computers, laptops, desktop computers, personal digital assistants, wearable devices, remote controls, etc., for example, the user end is FPV (First Person View) glasses;
  • the drone can be a rotary wing type unmanned Aircraft, such as four-rotor UAV, six-rotor UAV, eight-rotor UAV, or fixed-wing UAV, for example, a traversing aircraft.
  • the mobile platform and the user terminal transmit data through a wireless channel.
  • the wireless channel from the mobile platform to the user terminal is called the image transmission channel, which is used to transmit the image information taken by the mobile platform equipped with a camera device, and can also be used to transmit the state of the mobile platform Data etc.;
  • the wireless channel from the user end to the movable platform is called the uplink channel, which is used to transmit remote control data; for example, when the movable platform is a drone, the uplink channel is used to transmit flight control instructions And control commands such as taking photos, videos, and returning to home.
  • the remote control data sending method for a movable platform of this embodiment includes steps S110 to S130.
  • the movable platform is a traversing aircraft, which is a high-speed small unmanned aerial vehicle, and the maximum speed of the traversing aircraft can reach 280 km/h per hour.
  • the movable platform has its own camera device or the user adds a camera device by itself.
  • the camera device may include a camera, for example, or a pan-tilt for improving the quality of captured image information.
  • the movable platform if the movable platform receives the image transmission instruction sent by the user terminal through the uplink channel, it will start to acquire the image information captured by the camera mounted on the movable platform.
  • the user terminal is FPV glasses that are communicatively connected to the mobile platform.
  • the user can control the user terminal to send to the mobile platform by clicking the button or touch pad on the FPV glasses, or inputting voice commands to the FPV glasses.
  • the image transmission instruction is used to notify the movable platform to start capturing images and send the captured images to the user terminal for the user to view and/or for the user terminal to store image information.
  • S120 Based on the state data of the movable platform, generate on-screen display information time-synchronized with the image information.
  • the user terminal includes a display component
  • the display component may include any type of display screen, including a cathode ray tube (CRT), a liquid crystal display (LCD), a thin film transistor (TFT) screen, and a plasma.
  • CTR cathode ray tube
  • LCD liquid crystal display
  • TFT thin film transistor
  • the information displayed on the screen is specifically the information used to be sent to the user terminal for display by the user terminal.
  • the mobile platform if it receives the image transmission instruction sent by the user terminal via the uplink channel, it starts to generate on-screen display information time-synchronized with the image information based on the state data of the mobile platform .
  • the user terminal when the user starts to use the traversing machine to fly, the user terminal is triggered to send an image transmission instruction to the movable platform; after the movable platform receives the image transmission instruction sent by the user terminal, it starts to obtain the status data of the movable platform, According to the status data, the on-screen display information synchronized with the time of the image information is generated, so that the on-screen display information is sent to the user terminal for display.
  • step S120 generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, including step S121 and step S122.
  • the status data of the movable platform may reflect the status of the movable platform and/or the remote control environment of the movable platform.
  • the user can judge the working status of the traversing machine based on these status data, so as to adjust the movable platform in time under certain conditions.
  • the work of the mobile platform such as controlling grounding, controlling return, switching communication frequency, etc.
  • step S120 generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, including: based on the first parameter information of the movable platform and/or the movable platform
  • the second parameter information of data transmission between the platform and the user terminal generates on-screen display information time-synchronized with the image information.
  • the first parameter information of the movable platform and/or the second parameter information of data transmission between the movable platform and the user terminal are acquired as the state data of the movable platform.
  • the first parameter information includes at least one of the unlocking time flightTime of the movable platform, the voltage uavBat, and the number of cells uavBatCells, where the unlocking time represents, for example, the unlocking duration of the rider.
  • the user can learn the health status, power, battery life, etc. of the movable platform according to the first parameter information of the movable platform.
  • the second parameter information includes at least one of signal strength signal, channel information ch, transmission delay, and transmission bitrate of data transmission between the mobile platform and the user terminal; for example, the signal strength indicator
  • the user can understand the communication quality between the mobile platform and the user terminal according to the second parameter information.
  • step S120 generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, including: based on the state data of the movable platform and the third parameter information of the user terminal To generate on-screen display information synchronized with the image information time.
  • the third parameter information includes at least one of the voltage glsBat of the user terminal and the number of cells glsBatCells; for example, glsBat and glsBatCells indicate the voltage and the number of cells of FPV glasses communicatively connected with the mobile platform.
  • the movable platform obtains the third parameter information from the user terminal that is communicatively connected with the movable platform, for example, the user terminal periodically sends the third parameter information to the movable platform.
  • the movable platform determines the display time of the status data according to the time when the image information is taken.
  • the mobile platform obtains state data once after the camera device captures certain image information, and then the display time corresponding to the state data can be determined according to the shooting time of the image information; thus, it can be realized to generate time synchronization with the image information.
  • Information is displayed on the screen.
  • the shooting time of a certain image information is 00:00:00,116 to 00:00:00,283
  • the display time corresponding to the status data is 00:00:00,116 to 00:00:00,283.
  • S122 Generate the on-screen display information according to the status data and the display time.
  • the status data obtained at the same time and the display time corresponding to the status data generate a piece of on-screen display information.
  • Table 1 includes three on-screen display information, which are the on-screen display information corresponding to the first three pieces of image information.
  • step S120 generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, including: generating a screen in a preset format according to the state data and the display time. Information on the display.
  • the on-screen display information in SRT format, binary DAT format, text format, SSA format or SUB format is generated according to the status data and the display time.
  • the on-screen display information in SRT format is a text file, and its generation specification is simple, including a time code and a subtitle.
  • the display time can be used as the time code, and the status data of the mobile platform and the third parameter information of the user terminal can be used as the subtitle.
  • the on-screen display information is determined according to the time axis of the image information, that is, the display time of the OSD information. Taking the on-screen display information in SRT format as an example, 00:00:00,050-->00:00:00,116 means The image display information and the length of the information corresponding to the graphic information at time zero.
  • SubStation Alpha is a subtitle format created by CS Low (also known as Kotus) to achieve more complex functions than traditional subtitle formats such as SRT. Font format, font color, font size, etc. can be defined.
  • SUB is a graphic format subtitle, generally composed of idx and sub files; idx is equivalent to an index file, including the time code of the subtitles and subtitle display attributes, etc.
  • the sub file stores the subtitle itself, such as the status data of the movable platform and The third parameter information of the user terminal.
  • the movable platform acquires the image information captured by the camera device on the movable platform, it sends the acquired image information to the user terminal through the image transmission channel in real time; the movable platform generates based on the state data of the movable platform After the on-screen display information time-synchronized with the image information, the generated on-screen display information is sent to the user terminal through the image transmission channel in real time. So that the user terminal can receive and display the image information and the information displayed on the screen in time.
  • the information displayed on the screen includes a display time
  • the display time is used to restrict the time and/or duration of the display of the information displayed on the screen by the user terminal.
  • the information displayed on the screen is sent to the user terminal in the form of data packets and image information in the image transmission channel.
  • OSD information is encoded into image information for transmission.
  • the user terminal may be a remote controller, a mobile terminal, or flying glasses with display and control functions.
  • step S130 sends the image information and the on-screen display information to the user terminal through the image transmission channel, including step S131.
  • S131 Send the information displayed on the screen to the user terminal through the image transmission channel, so that the user terminal displays the information displayed on the screen according to the display time.
  • the user terminal displays the image information on a display interface, and simultaneously displays the on-screen display information in a preset area of the display interface when the image information is displayed. Therefore, when viewing the image information displayed on the display interface, the user can also pay attention to the information displayed on the screen, so as to determine the working status of the traversing machine, for example, to adjust the work of the movable platform in time under certain conditions, such as controlling the grounding , Control return home, switch communication frequency, etc.
  • the user terminal displays the information displayed on the screen synchronously when displaying the image information according to the display time of the information displayed on the screen.
  • the user terminal will display the information on the screen in the time period of 00:00:00, 116 to 00:00:00, 283 when the image information starts to be played.
  • the on-screen display information is sent to the user terminal through an image transmission channel, so that the user terminal displays the status data according to the display time.
  • the user terminal synchronously displays the status data in the information displayed on the screen when displaying the image information according to the display time of the information displayed on the screen.
  • the user terminal displays the status data in the information on the display in the lower right corner of the display interface, so that the user can understand the working status of the movable platform.
  • the mobile platform sends the on-screen display information to the user terminal through a video transmission channel, so that the user terminal displays the status data according to the display time, including: It is assumed that the on-screen display information in a format is sent to the user terminal through an image transmission channel, so that the user terminal receives the on-screen display information and analyzes the on-screen display information to obtain the status data and the display time, And make the user terminal display the status data according to the display time.
  • the user terminal receives the on-screen display information in SRT format, binary DAT format, text format, SSA format, or SUB format from the mobile platform, and then parses the status data and the display time from the on-screen display information, such as
  • the parsed display time is 00:00:00,116 to 00:00:00,283.
  • the status data corresponding to the display time includes: signal:4ch:4flightTime:1uavBat:16.4VglsBat:11.7VuavBatCells:4glsBatCells:3 delay: 28ms bitrate: 20.9Mbps; then the status data is displayed according to the display time, as shown in Figure 5.
  • the image information includes a time axis. For example, when a camera mounted on a movable platform takes an image, the taken image is added with time axis information.
  • step S131 sends the on-screen display information to the user terminal through the image transmission channel, so that the user terminal displays the on-screen display information according to the display time, including:
  • the display information is sent to the user terminal through the image transmission channel, so that the user terminal determines the on-screen display information corresponding to the time axis for the display time according to the time axis of the image information being displayed, and makes the user terminal view the screen Display information on the display.
  • the user terminal After receiving the image information and the information displayed on the screen sent by the movable platform, the user terminal sequentially displays the image information according to the shooting order of the image information, that is, the order of the time axis.
  • the user terminal determines the on-screen display information corresponding to the display time and the time axis according to the time axis of the image information, and then displays the displayed information on the screen, thereby realizing the user-side image information and screen Synchronous playback of information displayed on the
  • the user terminal stores the image information from the movable platform to generate a video file.
  • the user terminal generates a video file according to the received image information from the mobile platform.
  • the multiple image information is stored according to the sequence of receiving the image information to obtain the video file. So that the video file can be replayed later, for example, it is convenient for the referee to judge the penalty, or the operator can replay the operation based on the OSD information.
  • step S130 sends the image information and the information displayed on the screen to the user terminal through the image transmission channel, including step S132.
  • S132 Send the image information and the information displayed on the screen to the user terminal through the image transmission channel, so that the user terminal generates the information related to the image based on the time axis of the image information according to the information displayed on the screen.
  • the information file is displayed on the screen of information synchronization.
  • the user terminal generates an on-screen display information file according to the time axis of the image information. For example, according to the corresponding relationship between the time axis of each image information in the video file and the display time of the on-screen display information, the multiple pieces of on-screen display information received are sorted and stored to obtain the on-screen display information file synchronized with the video file.
  • the user terminal may also store multiple pieces of on-screen information according to the display time of the on-screen information to obtain an on-screen display information file corresponding to the video file. Makes that when replaying the video file, the user terminal can still call up the information file displayed on the screen, and synchronize the information displayed on the display screen when the image information is displayed, so as to restore the state of the movable platform and/or the state of the user terminal when the image information was taken .
  • the data sending method further includes: acquiring from the user terminal an operation event of the user on the user terminal, and according to the operation event and on-screen display information and/or images associated with the operation event The information generates buried point data; when connected to a terminal device, the buried point data is sent to the terminal device.
  • the user operates the user terminal so that the user terminal generates a control instruction for the movable platform, and the user terminal sends the control instruction to the movable platform through the uplink channel.
  • the movable platform implements corresponding control operations according to control instructions, and also sends image information and information displayed on the screen to the user terminal in real time.
  • the user operates the user terminal to cause the user terminal to send a control instruction to the movable platform; at the same time, the control instruction triggers the embedding event of the movable platform, and the movable platform generates embedding data.
  • the movable platform determines the on-screen display information and/or image information associated with the operation event according to the generation time or the receiving time of the control instruction, the time axis of the image information, and the display time of the on-screen information ; Then, according to the operation event and the on-screen display information and/or image information associated with the operation event, the embedded point data is generated. Exemplarily, due to the relatively large amount of embedded point data, format conversion, packaging and compression processing are required to achieve the effect of saving space.
  • the time stamp of each buried point data is recorded. For example, the generation time of the control instruction is used as the time stamp of the corresponding buried point data, and then the movable platform generates a buried point file from the processed buried point data.
  • the data sending method further includes: if an upload success notification sent by the terminal device is received, deleting the buried point data corresponding to the upload success notification.
  • the mobile platform when it detects that it is connected to a terminal device such as a mobile phone or a computer, it will trigger the acquisition of a stored point file, such as a JSON file. Since the embedded point file is encapsulated and compressed, it needs to be decompressed according to the rules to restore it to the real embedded point data, including the trigger time of the event; then the movable platform uploads the embedded point data to the connected terminal device.
  • a terminal device such as a mobile phone or a computer
  • the data sending method for a movable platform obtaineds image information taken by a camera device on the movable platform, and generates on-screen display information time-synchronized with the image information based on the state data of the movable platform;
  • the image information and the information displayed on the screen are sent to the user terminal through the image transmission channel, so that the user terminal displays the image information and synchronizes the display information on the display screen when the image information is displayed.
  • the image information and the status data of the movable platform are transmitted separately to avoid the increase in time delay, increase in power consumption and increase in heat caused by the image processing process of the on-screen display module, and no additional hardware is required.
  • FIG. 6 is a schematic flowchart of a data processing method according to an embodiment of this specification.
  • the data processing method can be applied to the user terminal for processing data received from a mobile platform, etc.; wherein the user terminal can be a mobile phone, tablet computer, notebook computer, desktop computer, personal digital assistant, wearable device, remote control Etc.
  • the user end is FPV glasses.
  • the data processing method for the user terminal of this embodiment includes step S210 to step S230.
  • S210 Receive image information from the movable platform through the image transmission channel.
  • the movable platform is a traversing aircraft, which is a high-speed small unmanned aerial vehicle, and the maximum speed of the traversing aircraft can reach 280 km/h per hour.
  • the user terminal receives the image information captured by the camera device on the mobile platform through the image transmission channel with the mobile platform.
  • the user terminal sends an image transmission instruction to the movable platform, so that the movable platform obtains the image information taken by the camera equipped with the movable platform and sends the image information to the user end.
  • the user terminal sends an image transmission instruction to the movable platform according to the user's operation.
  • the movable platform After receiving the image transmission instruction sent by the user terminal, the movable platform starts to acquire the image information taken by the mobile platform equipped with the camera device, and transfer the image The information is sent to the client.
  • the user terminal is FPV glasses that are communicatively connected with the mobile platform.
  • the user can control the user terminal to send images to the mobile platform by clicking the button or touchpad on the FPV glasses, or inputting voice commands to the FPV glasses.
  • a transmission instruction is used to notify the movable platform to start capturing images and send the captured images to the user terminal for the user to view and/or for the user terminal to store image information.
  • S220 Receive the on-screen display information from the movable platform through the image transmission channel and time-synchronized with the image information.
  • the information displayed on the screen is generated by the movable platform according to the status data and display time of the movable platform.
  • the movable platform acquires the status data of the movable platform, determines the display time of the status data according to the time when the image information is taken; then generates the on-screen display according to the status data and the display time Display information.
  • the user terminal sends an image transmission instruction to the movable platform according to the user's operation, so that the movable platform generates a screen synchronized with the image information time based on the state data of the movable platform.
  • the information displayed on the screen is displayed, and the movable platform sends the displayed information on the screen to the user terminal.
  • the user terminal when the user starts to use the FPV glasses to use the traversing machine, the user terminal is triggered to send an image transmission instruction to the movable platform; the movable platform starts to obtain the state of the movable platform after receiving the image transmission instruction sent by the user terminal According to the data, the on-screen display information that is time-synchronized with the image information is generated according to the status data, so as to send the on-screen display information to the user terminal for display by the user terminal.
  • the status data of the movable platform may reflect the status of the movable platform and/or the remote control environment of the movable platform.
  • the user can judge the working status of the traversing machine based on these status data, so as to adjust the movable platform in time under certain conditions.
  • the work of the mobile platform such as controlling grounding, controlling return, switching communication frequency, etc.
  • the information displayed on the screen includes: at least one of first parameter information of the movable platform and second parameter information of data transmission between the movable platform and the user terminal.
  • the user can learn about the health, power, battery life, etc. of the movable platform according to the first parameter information of the movable platform; the user can learn about the communication quality between the movable platform and the user terminal according to the second parameter information.
  • the information displayed on the screen may further include third parameter information of the user terminal.
  • the movable platform may generate on-screen display information synchronized with the image information time based on the state data of the movable platform and/or the third parameter information of the user terminal, and the display time.
  • the mobile platform obtains the third parameter information from the user terminal communicatively connected with the mobile platform, for example, the user terminal periodically sends the third parameter information to the mobile platform; so that the mobile platform can generate the third parameter information including the user terminal
  • the third parameter information is displayed on the screen.
  • the first parameter information includes at least one of the unlocking time flightTime of the movable platform, voltage uavBat, and the number of cells uavBatCells;
  • the second parameter information includes the distance between the movable platform and the user terminal.
  • the third parameter information includes at least one of the voltage glsBat of the user terminal and the number of cells glsBatCells.
  • the on-screen display information is generated by the movable platform according to the state data and display time of the movable platform, and the on-screen display information is in a preset format.
  • the on-screen display information is in SRT format, binary DAT format, text format, SSA format, or SUB format.
  • the information displayed on the screen is in SRT format.
  • the information displayed on the screen obtained at a certain time is: 00:00:00,116-->00:00:00,283; signal:4ch:4flightTime:1uavBat:16.4 V glsBat:11.7V uavBatCells:4 glsBatCells:3delay:28ms bitrate:20.9Mbps.
  • S230 Display the image information, and synchronously display the on-screen display information when the image information is displayed.
  • the user terminal displays the image information on a display interface, and simultaneously displays the on-screen display information in a preset area of the display interface when the image information is displayed. Therefore, when viewing the image information displayed on the display interface, the user can also pay attention to the information displayed on the screen, so as to determine the working status of the traversing machine, for example, to adjust the work of the movable platform in time under certain conditions, such as controlling the grounding , Control return home, switch communication frequency, etc.
  • the information displayed on the screen includes display time.
  • the display time is determined by the movable platform according to the time when the image information is taken.
  • the display time corresponding to the state data can be determined according to the shooting time of the image information; thus, the screen synchronized with the time of the image information can be generated. Information on the display.
  • step S230 the user terminal synchronously displaying the information displayed on the screen while displaying the image information includes: according to the display time of the information displayed on the screen, synchronously displaying the screen while displaying the image information. Information on the display.
  • the user terminal will display the information on the screen in the time period of 00:00:00, 116 to 00:00:00, 283 when the image information starts to be played.
  • the synchronously displaying the on-screen information when displaying the image information according to the display time of the information displayed on the screen includes: displaying the image according to the display time of the on-screen information
  • the status data in the information displayed on the screen is synchronously displayed during the information.
  • the user terminal displays the status data in the information on the display in the lower right corner of the display interface, so that the user can understand the working status.
  • the movable platform generates on-screen display information in a preset format according to the status data and display time of the movable platform.
  • the user terminal synchronously displays the status data in the information displayed on the screen when the image information is displayed, including: parsing the information displayed on the screen in the preset format to obtain The status data and the display time; according to the display time, the status data is synchronously displayed when the image information is displayed.
  • the user terminal receives the on-screen display information in SRT format, binary DAT format, text format, SSA format, or SUB format from the mobile platform, and then parses the status data and the display time from the on-screen display information, such as
  • the parsed display time is 00:00:00,116 to 00:00:00,283.
  • the status data corresponding to the display time includes: signal:4ch:4flightTime:1uavBat:16.4VglsBat:11.7VuavBatCells:4glsBatCells:3 delay: 28ms bitrate: 20.9Mbps; then the status data is displayed according to the display time, as shown in Figure 5.
  • the image information received from the movable platform through the image transmission channel includes a time axis. For example, when a camera device mounted on a movable platform takes an image, the time axis information is added to the taken image.
  • the synchronously displaying the on-screen display information when the image information is displayed according to the display time of the on-screen information includes: determining the display time and the time axis of the image information being displayed The information displayed on the screen corresponding to the time axis is displayed on the screen.
  • the user terminal After receiving the image information and the information displayed on the screen sent by the movable platform, the user terminal sequentially displays the image information according to the shooting order of the image information, that is, the order of the time axis.
  • the user terminal determines the on-screen display information corresponding to the display time and the time axis according to the time axis of the image information, and then displays the displayed information on the screen, thereby realizing the user-side image information and screen Synchronous playback of information displayed on the
  • the data processing method further includes step S240.
  • the user terminal generates a video file according to the received image information from the movable platform. Specifically, the user terminal stores multiple image information according to the sequence of receiving image information to obtain a video file, or sorts and stores multiple image information according to the time axis of the image information to obtain a video file; so that the video file can be replayed later, If it is convenient for the referee to make a penalty.
  • the data processing method further includes step S250.
  • S250 Store the on-screen display information time-synchronized with the image information to generate an on-screen display information file of the video file.
  • the user terminal stores a plurality of on-screen information according to the display time of the on-screen information to obtain an on-screen display information file corresponding to the video file.
  • On the user side such as glasses, while generating a video file based on image information, it will record the information displayed on the screen into the information file displayed on the screen. Makes that when replaying the video file, the user terminal can still call up the information file displayed on the screen, and synchronize the information displayed on the display screen when the image information is displayed, so as to restore the state of the movable platform and/or the state of the user terminal when the image information was taken .
  • the user terminal generates an on-screen display information file according to the time axis of the image information. For example, according to the corresponding relationship between the time axis of each image information in the video file and the display time of the on-screen display information, the multiple pieces of on-screen display information received are sorted and stored to obtain the on-screen display information file synchronized with the video file.
  • the data processing method further includes step S260.
  • S260 If the playback instruction input by the user is received, display the image information in the video file, and synchronously display the on-screen display information in the on-screen display information file when the image information is displayed.
  • the user terminal can be operated to make the user terminal receive the play instruction.
  • the user terminal can display the image information in the video file, and simultaneously display the on-screen display information in the on-screen display information file when the image information is displayed, so as to restore the image information that can be taken during shooting.
  • the status of the mobile platform and/or the status of the client is not limited to, but not limited to, but not limited to, but not limited to, but not limited to, but not limited to replay the video file in the user terminal.
  • the user terminal such as FPV glasses, can perform data burial statistics, storage, and upload locally.
  • the function of data embedding is generally used for statistics, collecting user's usage habits, behaviors and other information, and then uploading the collected data to the data server through network media for analysis, understanding user needs, improving and optimizing product functions.
  • the data burying function is generally applied to devices with network modules, such as mobile phones, computers, etc., which can achieve real-time transmission; for some devices without a network module, such as consumer drones, they are not implemented locally on the aircraft.
  • the burying function is to connect mobile devices such as mobile phones, and the mobile device agent is responsible for the collection, statistics, and transmission of burying data.
  • a typical example is through the machine FPV glasses.
  • Such devices generally have independent user interactions, such as UI interfaces, Button touchpads, etc., do not require the intervention of mobile devices such as mobile phones. If you want to collect and count user's usage habits and other information, then you need to collect, count, and store data locally on the device.
  • the user terminal when the user terminal is not connected to a mobile device such as a mobile phone or a PC computer, the user terminal encapsulates and compresses the embedded point data into a embedded point file through software, and each embedded point data contains time information, and Save the buried point file on the user side, such as FPV glasses locally.
  • the user terminal When the user terminal is connected to terminal devices such as mobile phones and PC computers for system upgrades, debugging and other operations, the user terminal will trigger the analysis of the embedded point file and upload the analyzed embedded point data to the terminal device. Since each buried point data contains time information, there is no difference between the transmission method of this buried point data and real-time transmission. The buried point data can still be classified and counted based on the time axis on the data server.
  • the data processing method used on the user terminal further includes: acquiring an operation event of the user operating the user terminal, and generating embedded point data based on the operation event and on-screen display information and/or image information associated with the operation event .
  • the user operates the user terminal so that the user terminal generates a control instruction for the movable platform, and the user terminal sends the control instruction to the movable platform through the uplink channel.
  • the movable platform implements corresponding control operations according to control instructions, and also sends image information and information displayed on the screen to the user terminal in real time.
  • the user operates the user terminal, so that the user terminal generates a control instruction sent to the movable platform; at the same time, triggering the embedding event will generate embedding data.
  • the user terminal determines the on-screen display information and/or image information associated with the operation event according to the generation time of the control instruction, the time axis of the image information, and the display time of the on-screen information;
  • the operation event and the on-screen display information and/or image information associated with the operation event generate embedded point data.
  • the time stamp of each embedded point data is recorded, for example, the generation time of the control instruction is used as the time stamp of the corresponding embedded point data, and then the user terminal generates the embedded point file from the processed embedded point data.
  • An exemplary embedded point file may be a binary DAT file, an ini file, or a text TXT file, etc.; the embedded point file can be saved to a storage medium that is not lost after power failure, such as an SD card, NAND FLASH, etc.
  • the user terminal generates a JSON file of the processed embedded point data, and saves it in an internal EMMC (Embedded MultiMedia Card) module to ensure that no data is lost after power failure.
  • EMMC embedded MultiMedia Card
  • the data processing method for the user terminal further includes: when the user terminal is connected to the terminal device, sending the buried point data to the terminal device.
  • the user terminal when it detects that it is connected to a terminal device such as a mobile phone or a computer, it will trigger the acquisition of a stored embedded point file, such as a JSON file. Since the embedded point file is encapsulated and compressed, it needs to be decompressed according to the rules to restore it to the real embedded point data, including the trigger time of the event; then the user terminal uploads the embedded point data to the connected terminal device.
  • a terminal device such as a mobile phone or a computer
  • FPV glasses and traversing machine glasses For user-end electronic devices that do not have a network module, such as FPV glasses and traversing machine glasses, although they do not have a network module, they still need to be connected to terminal devices such as mobile phones or PCs when the equipment is upgraded and debugged. This is stored locally on the user side. The buried point data provides the opportunity to upload.
  • the buried point data is sent to the terminal device, so that the terminal device uploads the buried point data to the server.
  • the terminal device can further upload the buried point data to the server, so that the server can classify and count the buried point data, and obtain the user's usage habits, real needs, etc., which is beneficial to the product Update iterations, optimization and improvement.
  • the data processing method for the user side further includes: if the upload success notification sent by the terminal device is received, deleting the buried point data and/or the buried point file corresponding to the upload success notification.
  • the terminal device that is in communication with the user terminal receives the complete burying point data, it feeds back the upload success notification to the user terminal; the user terminal can send the locally stored burying point data and/or the burying point file according to the upload success notification Delete to free up more space to record new buried point data.
  • the data processing method for the user terminal receives image information from a mobile platform through an image transmission channel and displays information on a screen synchronized with the image information in time to display image information, and synchronizes when displaying image information Information is displayed on the display screen; image information and status data of the movable platform are transmitted separately to avoid increased delay, increased power consumption and increased heat caused by the image processing process of the on-screen display module, and no additional hardware is required.
  • FIG. 8 is a schematic flowchart of a data processing method provided by another embodiment of the present application.
  • the data processing method can be applied to the mobile platform and the user terminal, and is used for data transmission between the mobile platform and the user terminal, and the user terminal processes data received from the mobile platform.
  • the mobile platform includes drones or pan-tilt carts
  • the user end can be a mobile phone, tablet computer, notebook computer, desktop computer, personal digital assistant, wearable device, remote control, etc.
  • the user end is FPV (First Person View , First-person main perspective) glasses
  • the drone can be a rotary wing drone, such as a quadrotor drone, a hexarotor drone, an eight rotor drone, or a fixed wing drone Etc., for example, a traversing machine.
  • the data processing method of this embodiment includes step S310 to step S330.
  • the movable platform obtains the image information captured by the camera equipped with the movable platform, and sends the image information to the user terminal through the image transmission channel.
  • the movable platform receives the image transmission instruction sent by the user terminal, the image information captured by the camera device on the movable platform is acquired.
  • the user can control the user terminal to send an image transmission instruction to the movable platform by clicking a button or touch pad on the FPV glasses, or by inputting a voice command to the FPV glasses, to notify the movable platform to start capturing images and Sending the captured image to the user side for the user to view and/or for the user side to store image information.
  • the movable platform After the movable platform obtains the image information captured by the camera equipped with the movable platform, it sends the obtained image information to the user terminal through the image transmission channel in real time.
  • the movable platform generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, and sends the on-screen display information to the user terminal through the image transmission channel.
  • the movable platform receives the image transmission instruction sent by the user terminal, based on the state data of the movable platform, generate on-screen display information synchronized with the time of the image information.
  • the mobile platform After the mobile platform generates on-screen display information time-synchronized with the image information based on the state data of the mobile platform, the generated on-screen display information is sent to the user terminal through the image transmission channel in real time. So that the user terminal can receive and display the image information and the information displayed on the screen in time.
  • the user terminal when the user starts to fly with the traversing machine, the user terminal is triggered to send an image transmission instruction to the movable platform; after receiving the image transmission instruction sent by the user terminal, the movable platform starts to obtain the status data of the movable platform, according to The status data generates on-screen display information time-synchronized with the image information, so that the on-screen display information is sent to the user terminal for display.
  • the movable platform generates on-screen display information time-synchronized with the image information based on the status data of the movable platform, including: the movable platform obtains the status of the movable platform Data, the display time of the status data is determined according to the time when the image information is taken; the movable platform generates the on-screen display information according to the status data and the display time.
  • the status data of the movable platform may reflect the status of the movable platform and/or the remote control environment of the movable platform.
  • the user can judge the working status of the traversing machine based on these status data, so as to adjust the movable platform in time under certain conditions.
  • the work of the mobile platform such as controlling grounding, controlling return, switching communication frequency, etc.
  • the movable platform generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, including: the movable platform is based on the first parameter of the movable platform The information and/or the second parameter information of data transmission between the movable platform and the user terminal generates on-screen display information time-synchronized with the image information.
  • the movable platform generates on-screen display information time-synchronized with the image information based on the state data of the movable platform, including: the movable platform is based on the state data of the movable platform and The third parameter information of the user terminal generates on-screen display information time-synchronized with the image information.
  • the first parameter information includes at least one of the unlocking time, voltage, and the number of battery cells of the movable platform;
  • the second parameter information includes data transmission between the movable platform and the user terminal.
  • the third parameter information includes at least one of the voltage of the user terminal and the number of cells.
  • the mobile platform obtains state data once after the camera device captures certain image information, and then the display time corresponding to the state data can be determined according to the shooting time of the image information; thus, it can be realized to generate time synchronization with the image information.
  • Information is displayed on the screen.
  • the shooting time of a certain image information is 00:00:00,116 to 00:00:00,283
  • the display time corresponding to the status data is 00:00:00,116 to 00:00:00,283.
  • the status data acquired at the same time and the display time corresponding to the status data generate a piece of on-screen display information.
  • the movable platform generating the on-screen display information according to the status data and the display time includes: the movable platform generating a preset format according to the status data and the display time Information is displayed on the screen.
  • the mobile platform generating on-screen display information in a preset format according to the status data and the display time includes: generating the SRT format by the mobile platform according to the status data and the display time, On-screen display information in binary DAT format, text format, SSA format or SUB format.
  • the user terminal displays the image information, and simultaneously displays the on-screen display information when displaying the image information.
  • the user terminal displays the image information on a display interface, and simultaneously displays the on-screen display information in a preset area of the display interface when the image information is displayed, as shown in FIG. 5. Therefore, when viewing the image information displayed on the display interface, the user can also pay attention to the information displayed on the screen, so as to determine the working status of the traversing machine, for example, to adjust the work of the movable platform in time under certain conditions, such as controlling the grounding , Control return home, switch communication frequency, etc.
  • the information displayed on the screen includes display time.
  • the display time is determined by the movable platform according to the time when the image information is taken.
  • step S330 the user terminal synchronously displaying the information displayed on the screen while displaying the image information includes: the user terminal synchronizes when displaying the image information according to the display time of the information displayed on the screen Display the information displayed on the screen.
  • the user terminal will display the information on the screen in the time period of 00:00:00, 116 to 00:00:00, 283 when the image information starts to be played.
  • the user terminal displays the information displayed on the screen synchronously when displaying the image information according to the display time of the information displayed on the screen, including: the user terminal displays the information displayed on the screen according to the display time Time, the status data in the information displayed on the screen is displayed synchronously when the image information is displayed.
  • the user terminal displays the status data in the information on the display in the lower right corner of the display interface, so that the user can understand the working status.
  • the movable platform generates on-screen display information in a preset format according to the status data and the display time.
  • the user terminal synchronously displays the status data in the information displayed on the screen when displaying the image information, including: the user terminal parses the on-screen display in the preset format The information is displayed to obtain the status data and the display time; according to the display time, the user terminal synchronously displays the status data when displaying the image information.
  • the user terminal receives the on-screen display information in SRT format, binary DAT format, text format, SSA format, or SUB format from the mobile platform, and then parses the status data and the display time from the on-screen display information, such as
  • the parsed display time is 00:00:00,116 to 00:00:00,283, and the status data corresponding to the display time includes: signal:4ch:4flightTime:1 uavBat:16.4VglsBat:11.7VuavBatCells:4glsBatCells:3 delay: 28ms bitrate: 20.9Mbps; then the status data is displayed according to the display time, as shown in Figure 5.
  • the image information includes a time axis. For example, when a camera device mounted on a movable platform takes an image, the time axis information is added to the taken image.
  • the user terminal synchronously displaying the on-screen display information when displaying the image information according to the display time of the information displayed on the screen includes: the user terminal determines the display time and the display time according to the time axis of the image information being displayed The on-screen display information corresponding to the time axis displays the on-screen display information.
  • the user terminal After receiving the image information and the information displayed on the screen sent by the movable platform, the user terminal sequentially displays the image information according to the shooting order of the image information, that is, the order of the time axis.
  • the user terminal determines the on-screen display information corresponding to the display time and the time axis according to the time axis of the image information, and then displays the displayed information on the screen, thereby realizing the user-side image information and screen Synchronous playback of information displayed on the
  • the data processing method further includes step S340.
  • the user terminal stores the image information sent by the movable platform to generate a video file.
  • the data processing method further includes step S350.
  • the user terminal stores the on-screen display information time-synchronized with the image information to generate an on-screen display information file of the video file.
  • the data processing method further includes step S360.
  • S360 If the user terminal receives the play instruction input by the user, display the image information in the video file, and synchronously display the on-screen display information in the on-screen display information file when the image information is displayed.
  • the user terminal can be operated to make the user terminal receive the play instruction.
  • the user terminal can display the image information in the video file, and simultaneously display the on-screen display information in the on-screen display information file when the image information is displayed, so as to restore the image information that can be taken during shooting.
  • the status of the mobile platform and/or the status of the client By parsing the recorded on-screen display information file, when the video file is played, the on-screen display information of the video scene is updated in real time to the user terminal, such as the display interface of glasses.
  • the data processing method further includes: the user terminal obtains an operation event of the user operating the user terminal, and according to the operation event and on-screen display information and/or image information associated with the operation event Generate buried point data.
  • the user operates the user terminal so that the user terminal generates a control instruction for the movable platform, and the user terminal sends the control instruction to the movable platform through the uplink channel.
  • the movable platform implements corresponding control operations according to control instructions, and also sends image information and information displayed on the screen to the user terminal in real time.
  • the user operates the user terminal, so that the user terminal generates a control instruction to the movable platform; at the same time, triggering the embedding event will generate embedding data.
  • the user terminal determines the on-screen display information and/or image information associated with the operation event according to the generation time of the control instruction, the time axis of the image information, and the display time of the on-screen information;
  • the operation event and the on-screen display information and/or image information associated with the operation event generate embedded point data.
  • the data processing method further includes: when the user terminal is connected to a terminal device, sending the buried point data to the terminal device.
  • the user terminal when it detects that it is connected to a terminal device such as a mobile phone or a computer, it will trigger the acquisition of a stored embedded point file, such as a JSON file. Since the embedded point file is encapsulated and compressed, it needs to be decompressed according to the rules to restore the real embedded point data, including the trigger time of the event; then the user terminal uploads the embedded point data to the connected terminal device.
  • a terminal device such as a mobile phone or a computer
  • the buried point data is sent to the terminal device, so that the terminal device uploads the buried point data to the server.
  • the terminal device can further upload the buried point data to the server, so that the server can classify and count the buried point data, and obtain the user's usage habits, real needs, etc., which is beneficial to the product Update iterations, optimization and improvement.
  • the data processing method further includes: if the user terminal receives the upload success notification sent by the terminal device, deleting the buried point data corresponding to the upload success notification.
  • the terminal device that is in communication with the user terminal receives the complete burying point data, it feeds back the upload success notification to the user terminal; the user terminal can send the locally stored burying point data and/or the burying point file according to the upload success notification Delete to free up more space to record new buried point data.
  • the data processing method further includes: the movable platform obtains the user's operation event on the user terminal from the user terminal, and according to the operation event and the on-screen display associated with the operation event Information and/or image information generates buried point data; when the mobile platform is connected to a terminal device, the buried point data is sent to the terminal device.
  • the user operates the user terminal so that the user terminal generates a control instruction for the movable platform, and the user terminal sends the control instruction to the movable platform through the uplink channel.
  • the movable platform implements corresponding control operations according to control instructions, and also sends image information and information displayed on the screen to the user terminal in real time.
  • the user operates the user terminal to cause the user terminal to send a control instruction to the movable platform; at the same time, the control instruction triggers the embedding event of the movable platform, and the movable platform generates embedding data.
  • the movable platform determines the on-screen display information and/or image information associated with the operation event according to the generation time or the receiving time of the control instruction, the time axis of the image information, and the display time of the on-screen information ; Then, according to the operation event and the on-screen display information and/or image information associated with the operation event, the embedded point data is generated.
  • the time stamp of each buried point data is recorded. For example, the generation time of the control instruction is used as the time stamp of the corresponding buried point data, and then the movable platform generates a buried point file from the processed buried point data.
  • the data sending method further includes: if the movable platform receives the upload success notification sent by the terminal device, deleting the buried point data corresponding to the upload success notification.
  • the mobile platform when it detects that it is connected to a terminal device such as a mobile phone or a computer, it will trigger the acquisition of a stored point file, such as a JSON file. Since the embedded point file is encapsulated and compressed, it needs to be decompressed according to the rules to restore it to the real embedded point data, including the trigger time of the event; then the movable platform uploads the embedded point data to the connected terminal device.
  • a terminal device such as a mobile phone or a computer
  • the data processing method provided by the above embodiment obtains the image information taken by the camera equipped with the movable platform through the movable platform, and generates on-screen display information synchronized with the time of the image information based on the state data of the movable platform; then the movable platform
  • the image information and the information displayed on the screen are sent to the user terminal through the image transmission channel, so that the user terminal displays the image information and synchronizes the display information on the display screen when the image information is displayed.
  • the image information and the status data of the movable platform are transmitted separately to avoid the increase in time delay, increase in power consumption and increase in heat caused by the image processing process of the on-screen display module, and no additional hardware is required.
  • FIG. 10 is a schematic flowchart of an implementation manner of a data processing method.
  • the data processing method includes step S410 to step S450.
  • the user terminal sends an image transmission instruction to the movable platform according to the user's operation.
  • a signal is sent to notify the software module displaying the information record on the screen to start working.
  • the movable platform receives the image transmission instruction, acquires the image information taken by the camera device on the movable platform according to the image transmission instruction, and generates a screen synchronized with the image information based on the state data of the movable platform. Information on the display.
  • the software module that displays the information record on the screen obtains the information from the state data providing module of the traversing machine, and then generates the information displayed on the screen in a defined format.
  • the movable platform sends the image information and the information displayed on the screen to the user terminal through the image transmission channel.
  • the glasses receive the image information and the information displayed on the screen, and store the image information from the mobile platform to generate a video file, and generate a screen synchronized with the image information according to the information displayed on the screen.
  • the information file is displayed on the display.
  • the client parses the information displayed on the screen to obtain display time and status data.
  • the glasses when they start to play the video file, they will send a signal to notify the glasses to analyze the on-screen display information file generated by the glasses, and analyze the on-screen display information saved before.
  • the user terminal When the user terminal displays the image information, it determines the status data corresponding to the display time and the time axis according to the time axis of the displayed image information, and displays the status data.
  • the display interface of the glasses will update the display by fetching corresponding on-screen information according to the time axis of the currently played image information.
  • FIG. 11 is a schematic block diagram of a movable platform 600 according to an embodiment of this specification.
  • the mobile platform 600 includes a processor 601 and a memory 602, and the processor 601 and the memory 602 are connected by a bus 603, which is, for example, an I2C (Inter-integrated Circuit) bus.
  • I2C Inter-integrated Circuit
  • the processor 601 may be a micro-controller unit (MCU), a central processing unit (Central Processing Unit, CPU), a digital signal processor (Digital Signal Processor, DSP), or the like.
  • MCU micro-controller unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 602 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the processor 601 is used to run a computer program stored in the memory 602, and when executing the computer program, implement the aforementioned data sending method for a movable platform.
  • the processor 601 is configured to run a computer program stored in the memory 602, and implement the following steps when executing the computer program:
  • the image information and the information displayed on the screen are sent to the user terminal through an image transmission channel.
  • the movable platform includes an unmanned aerial vehicle or a cloud trolley, such as a traversing machine.
  • FIG. 12 is a schematic block diagram of a display device 700 according to an embodiment of the present specification.
  • the display device 700 includes a processor 701 and a memory 702, and the processor 701 and the memory 702 are connected by a bus 703.
  • the bus 703 is, for example, an I2C (Inter-integrated Circuit) bus.
  • the display device 700 also includes a display component 704 for displaying.
  • the processor 701 may be a micro-controller unit (MCU), a central processing unit (Central Processing Unit, CPU), a digital signal processor (Digital Signal Processor, DSP), or the like.
  • MCU micro-controller unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 702 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the processor 701 is configured to run a computer program stored in the memory 702, and implement the aforementioned data processing method for the user side when the computer program is executed.
  • the processor 701 is configured to run a computer program stored in the memory 702, and implement the following steps when executing the computer program:
  • FIG. 13 is a schematic block diagram of glasses 800 according to an embodiment of the present specification.
  • the glasses 800 includes a processor 801 and a memory 802, and the processor 801 and the memory 802 are connected by a bus 803, and the bus 803 is, for example, an I2C (Inter-integrated Circuit) bus.
  • I2C Inter-integrated Circuit
  • the glasses 800 also include a display component 804 for display.
  • the processor 801 may be a micro-controller unit (MCU), a central processing unit (CPU), a digital signal processor (Digital Signal Processor, DSP), or the like.
  • MCU micro-controller unit
  • CPU central processing unit
  • DSP Digital Signal Processor
  • the memory 802 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the processor 801 is configured to run a computer program stored in the memory 802, and implement the aforementioned data processing method for the user side when the computer program is executed.
  • the processor 801 is configured to run a computer program stored in the memory 802, and implement the following steps when executing the computer program:
  • FIG. 14 is a schematic diagram of a kind of glasses, specifically FPV glasses.
  • the embodiment of this specification also provides a movable platform system, including a movable platform and a user terminal.
  • the user terminal shown is specifically glasses, such as FPV glasses.
  • the movable platform is used to obtain image information captured by a camera device on the movable platform, and send the image information to the user terminal through an image transmission channel;
  • the movable platform is configured to generate on-screen display information time-synchronized with the image information based on the state data of the movable platform, and send the on-screen display information to the user terminal through the image transmission channel;
  • the user terminal is used for displaying the image information, and simultaneously displaying the information displayed on the screen when displaying the image information.
  • the embodiments of this specification also provide a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes program instructions, and the processor executes the program instructions to implement the foregoing implementation Example provides the steps of a data sending method for a mobile platform.
  • the computer-readable storage medium may be the internal storage unit of the removable platform described in any of the foregoing embodiments, such as the hard disk or memory of the removable platform.
  • the computer-readable storage medium may also be an external storage device of the removable platform, such as a plug-in hard disk, a smart media card (SMC), or a secure digital (Secure Digital) equipped on the removable platform. , SD) card, flash card (Flash Card), etc.
  • the embodiments of this specification also provide a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes program instructions, and the processor executes the program instructions to implement the foregoing implementation
  • the example provides the steps of the data processing method for the user side.
  • the computer-readable storage medium may be the display device described in any of the foregoing embodiments, such as an internal storage unit of glasses, for example, the hard disk or memory of the display device.
  • the computer-readable storage medium may also be an external storage device of the display device, such as a plug-in hard disk equipped on the display device, a smart memory card (Smart Media Card, SMC), and a Secure Digital (SD) ) Card, Flash Card, etc.
  • a plug-in hard disk equipped on the display device such as a smart memory card (Smart Media Card, SMC), and a Secure Digital (SD) ) Card, Flash Card, etc.
  • SD Secure Digital
  • the movable platform, display equipment, glasses, movable platform system, and computer readable storage medium provided by the above-mentioned embodiments of this specification can obtain image information taken by the movable platform equipped with a camera device through the movable platform, and based on the state of the movable platform Data, generate the on-screen display information synchronized with the time of the image information; then the mobile platform sends the image information and the on-screen display information to the user terminal through the image transmission channel, so that the user terminal displays the image information and synchronizes when the image information is displayed Information appears on the display.
  • the image information and the status data of the movable platform are transmitted separately to avoid the increase in time delay, increase in power consumption and increase in heat caused by the image processing process of the on-screen display module, and no additional hardware is required.

Abstract

本说明书公开了一种数据发送、处理方法、可移动平台、显示设备、眼镜和系统，包括:获取所述可移动平台搭载摄像装置拍摄的图像信息(S110)；基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息(S120)；将所述图像信息和所述屏上显示信息通过图传信道发送给用户端(S130)。

Description

数据发送、处理方法、可移动平台、显示设备、眼镜和系统 技术领域
本说明书涉及数据通信技术领域，尤其涉及一种数据发送、处理方法、可移动平台、显示设备、眼镜和系统。
背景技术
在用户使用可移动平台，如无人机的时候，有时需要实时查看可移动平台的一些状态，或者需要记录可移动平台的状态便于后续分析。例如，用于特技飞行的穿越无人机，属于高竞速小型无人机，最高时速可达到每小时280km/h；所以在飞行过程中一些状态信息的显示、记录就更为重要；而且在一些比赛中，也需要记录这些状态信息作为裁判判罚的依据。现有技术一般是在无人机的飞控板上加设飞行状态处理的硬件模块，如屏上显示(On-Screen Display，OSD)模块。
发明内容
基于此，本说明书提供了一种数据发送、处理方法、可移动平台、显示设备、眼镜和系统，旨在解决现有的屏上显示信息传输、处理的方式需要额外增设硬件等技术问题。
第一方面，本说明书提供了一种数据发送方法，用于可移动平台，所述方法包括：
获取所述可移动平台搭载摄像装置拍摄的图像信息；
基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息；
将所述图像信息和所述屏上显示信息通过图传信道发送给用户端。
第二方面，本说明书提供了一种数据处理方法，用于用户端，所述数据处理方法包括：
通过图传信道接收来自可移动平台的图像信息；以及，
与所述图像信息时间同步的屏上显示信息；
显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
第三方面，本说明书提供了一种数据处理方法，包括：
可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息，通过图传信道将所述图像信息发送给用户端；
所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，通过图传信道将所述屏上显示信息发送给所述用户端；
所述用户端显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
第四方面，本说明书提供了一种可移动平台，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述可移动平台搭载摄像装置拍摄的图像信息；
基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息；
将所述图像信息和所述屏上显示信息通过图传信道发送给用户端。
第五方面，本说明书提供了一种显示设备，包括显示组件、存储器和处理器；
所述显示组件用于显示；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
通过图传信道接收来自可移动平台的图像信息；以及，
与所述图像信息时间同步的屏上显示信息；
显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
第六方面，本说明书提供了一种眼镜，包括显示组件、存储器和处理器；
所述显示组件用于显示；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
通过图传信道接收来自可移动平台的图像信息；以及，
与所述图像信息时间同步的屏上显示信息；
显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
第七方面，本说明书提供了一种可移动平台系统，包括可移动平台和显示设备；
所述可移动平台用于获取所述可移动平台搭载摄像装置拍摄的图像信息，通过图传信道将所述图像信息发送给用户端；
所述可移动平台用于基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，通过图传信道将所述屏上显示信息发送给所述用户端；
所述用户端用于显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
第八方面，本说明书提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器以实现上述的方法。
本说明书实施例提供了一种数据发送、处理方法、可移动平台、显示设备、眼镜和系统，通过可移动平台获取可移动平台搭载摄像装置拍摄的图像信息，并基于可移动平台的状态数据，生成与图像信息时间同步的屏上显示信息；然后可移动平台将图像信息和屏上显示信息通过图传信道发送给用户端，以使用户端显示图像信息，以及在显示图像信息时同步显示屏上显示信息。图像信息和可移动平台的状态数据分别进行传输，避免屏上显示模块的图像处理过程引起的时延增加、功耗增加和发热增加，且不需要额外增设硬件。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书的公开内容。
附图说明
为了更清楚地说明本说明书实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是屏上显示模块应用的结构示意图；
图2是本说明书一实施例提供的一种数据发送方法的流程示意图；
图3是可移动平台和用户端之间进行数据传输的示意图；
图4是图2中数据发送方法一实施方式的流程示意图；
图5是显示界面显示图像信息和屏上显示信息的示意图；
图6是本说明书一实施例提供的一种数据处理方法的流程示意图；
图7是图6中数据处理方法另一实施方式的流程示意图；
图8是本说明书另一实施例提供的一种数据处理方法的流程示意图；
图9是图8中数据处理方法另一实施方式的流程示意图；
图10是图8中数据处理方法又一实施方式的流程示意图；
图11是本说明书一实施例提供的一种可移动平台的示意性框图；
图12是本说明书一实施例提供的一种显示设备的示意性框图；
图13是本说明书一实施例提供的一种眼镜的示意性框图；
图14是图13中一种眼镜的示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
屏上显示模块11(On Screen Display,OSD)与飞控模块12以及无人机10搭载的摄像装置13连接如图1所示。这个硬件模块将飞行过程中的状态和 无人机所拍摄图像进行叠加处理后传输给显示设备进行显示和记录。例如采用liveview的方式。但是叠加处理这种方式需要将OSD数据与图像叠加和关联，需要额外增加硬件，导致功耗变大，引入较大的处理时延，这会导致无人机的整体时延变大。功耗变大会导致无人机的整体续航时间变短，图像处理过程还容易导致无人机的局部发热大；对于依赖图传数据进行无人机操控的情况，图传时延的危害可能会导致危害结果，严重的甚至会导致无人机炸机。
为了解决以上技术问题，本说明书提供了一种数据发送、处理方法、可移动平台、显示设备、眼镜和系统。
下面结合附图，对本说明书的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图2，图2是本说明书一实施例提供的一种数据发送方法的流程示意图。所述数据发送方法可以应用在可移动平台中，用于可移动平台和用户端之间的数据传输等过程；其中可移动平台包括无人机或者云台车等，用户端可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理、穿戴式设备、遥控器等，例如用户端为FPV(First Person View，第一人称主视角)眼镜；进一步而言，无人机可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机等，例如为穿越机。
进一步而言，可移动平台和用户端之间通过无线信道传输数据。示例性的，如图3所示，从可移动平台到用户端的无线信道，称为图传信道，用于传输可移动平台搭载摄像装置拍摄的图像信息，还可以用于传输可移动平台的状态数据等；
示例性的，如图3所示，从用户端到可移动平台的无线信道，称为上行信道，用于传输遥控数据；例如可移动平台为无人机时，上行信道用于传输飞控指令以及拍照、录像、返航等控制指令。
如图2所示，本实施例的用于可移动平台的遥控数据发送方法包括步骤S110至步骤S130。
S110、获取所述可移动平台搭载摄像装置拍摄的图像信息。
示例性的，可移动平台为穿越机，是一种高竞速小型无人机，穿越机的最高时速可达到每小时280km/h。
示例性的，可移动平台自带摄像装置或者由用户自行增设摄像装置，摄像 装置例如可以包括摄像头，还可以包括云台用于提高拍摄的图像信息的质量。
在一些实施例中，若可移动平台接收到用户端通过上行信道发送的图像传输指令，则开始获取所述可移动平台搭载摄像装置拍摄的图像信息。
示例性的，用户端为与可移动平台通信连接的FPV眼镜，用户可以通过点击FPV眼镜上的按钮或触摸板，或者通过向FPV眼镜输入语音指令等交互方式，控制用户端向可移动平台发送图像传输指令，以通知可移动平台开始拍摄图像和将拍摄的图像发送给用户端便于用户查看和/或便于用户端存储图像信息。
S120、基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息。
具体的，用户端包括显示组件，显示组件可以包括任意类型的显示屏，包括阴极射线管(CRT)、液晶显示器(LCD)、薄膜晶体管(TFT)屏幕、等离子等。
具体的，屏上显示信息具体为用于发送给用户端，由用户端进行显示的信息。
在一些实施例中，若可移动平台接收到所述用户端通过上行信道发送的图像传输指令，则开始基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息。
示例性的，用户开始使用穿越机进行飞行时，触发用户端向可移动平台发送图像传输指令；可移动平台接收到所述用户端发送的图像传输指令后，开始获取可移动平台的状态数据，根据状态数据生成与所述图像信息时间同步的屏上显示信息，以将屏上显示信息发送给用户端，由用户端进行显示。
在一些实施方式中，如图4所示，步骤S120基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括步骤S121和步骤S122。
S121、获取所述可移动平台的状态数据，根据拍摄所述图像信息的时间确定所述状态数据的显示时间。
示例性的，可移动平台的状态数据可以体现可移动平台的自身状况和/或可移动平台的遥控环境，用户可以根据这些状态数据判断例如穿越机的工作状态，以在一些条件下及时调整可移动平台的工作，如控制停飞、控制返航、切换通信频率等。
示例性的，步骤S120基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：基于所述可移动平台的第一参数信息和/ 或所述可移动平台与用户端之间数据传输的第二参数信息，生成与所述图像信息时间同步的屏上显示信息。
具体的，获取可移动平台的第一参数信息和/或所述可移动平台与用户端之间数据传输的第二参数信息作为所述可移动平台的状态数据。
具体的，所述第一参数信息包括所述可移动平台的解锁时间flightTime、电压uavBat、电芯数目uavBatCells中的至少一项，其中，解锁时间例如表示穿越机解锁持续时间。用户可以根据可移动平台的第一参数信息了解可移动平台的健康状况、电量、续航时间等。
具体的，所述第二参数信息包括所述可移动平台与用户端之间数据传输的信号强度signal、信道信息ch、传输延时delay、传输码率bitrate中的至少一项；例如信号强度表示图传信道上数据传输的信号强度，信道信息表示图传传输的频道编号，传输延时、传输码率表示图传信道上数据传输的延时、码率。用户可以根据第二参数信息了解可移动平台和用户端之间的通信质量等。
示例性的，步骤S120基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：基于所述可移动平台的状态数据和所述用户端的第三参数信息，生成与所述图像信息时间同步的屏上显示信息。
具体的，所述第三参数信息包括所述用户端的电压glsBat、电芯数目glsBatCells中的至少一项；例如，glsBat、glsBatCells表示与可移动平台通信连接的FPV眼镜的电压、电芯数目。
具体的，可移动平台从与可移动平台通信连接的用户端获取所述第三参数信息，例如用户端周期性的向可移动平台发送第三参数信息。
在一些实施方式中，可移动平台根据拍摄所述图像信息的时间确定所述状态数据的显示时间。
示例性的，可移动平台在摄像装置拍摄某图像信息后获取一次状态数据，则可以根据该图像信息的拍摄时间确定该状态数据对应的显示时间；从而可以实现生成与所述图像信息时间同步的屏上显示信息。
例如，某图像信息的拍摄时间为00:00:00,116至00:00:00,283，则该状态数据对应的显示时间为00:00:00,116至00:00:00,283。
S122、根据所述状态数据和所述显示时间生成所述屏上显示信息。
示例性的，同一次获取的状态数据和所述状态数据对应的显示时间生成一 条屏上显示信息。
例如，屏上显示信息如表1所示，表1中包括三条屏上显示信息，为前三条图像信息对应的屏上显示信息。
表1屏上显示信息
Figure PCTCN2019097485-appb-000001
在一些实施方式中，步骤S120基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：根据所述状态数据和所述显示时间生成预设格式的屏上显示信息。
示例性的，根据所述状态数据和所述显示时间生成SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息。
其中，SRT格式的屏上显示信息是文本文件，其生成规范简单，包括一句时间代码和一句字幕，可以将显示时间作为时间代码，可移动平台的状态数据和用户端的第三参数信息作为字幕。在本实施例中，根据图像信息的时间轴确定屏上显示信息，即OSD信息的显示时间，以SRT格式的屏上显示信息为例，00:00:00,050-->00:00:00,116表示零时刻图形信息对应的图像显示信息和信息的长度。SSA全称SubStation Alpha,是由CS Low(又称Kotus)创建的一种字幕格式,用以实现比传统字幕诸如SRT等格式更为复杂的功能，可以定义字体格式、字体颜色、字体大小等。SUB则是一种图形格式字幕，一般由idx和sub文件组成；idx相当于索引文件，包括了字幕出现的时间码和字幕显示 属性等，sub文件存放字幕本身，如可移动平台的状态数据和用户端的第三参数信息。
S130、将所述图像信息和所述屏上显示信息通过图传信道发送给用户端。
具体的，可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息之后，实时将获取的图像信息通过图传信道发送给用户端；可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息之后，实时将生成的屏上显示信息通过图传信道发送给用户端。以便用户端及时接收和显示图像信息和屏上显示信息。
在一些实施方式中，所述屏上显示信息包括显示时间，显示时间用于约束用户端显示所述屏上显示信息的时间和/或显示的时长。
在一个可选的实施例中，屏上显示信息，即OSD信息与图像信息在图传信道中通过数据包的形式与图像信息被发送至用户端。
在一个可选的实施例中，OSD信息被编码入图像信息中进行发送。
在一个可选的实施例中，用户端可以是遥控器、移动终端或者带有显示和控制功能的飞行眼镜。
在一些实施方式中，如图4所示，步骤S130将所述图像信息和所述屏上显示信息通过图传信道发送给用户端，包括步骤S131。
S131、将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述屏上显示信息进行显示。
示例性的，如图5所示，所述用户端在显示界面上显示所述图像信息，以及在显示所述图像信息时在所述显示界面的预设区域同步显示所述屏上显示信息。从而用户可以在查看显示界面上显示所述图像信息时，也注意到屏上显示信息，从而可以判断例如穿越机的工作状态，以在一些条件下及时调整可移动平台的工作，如控制停飞、控制返航、切换通信频率等。
示例性的，用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息。
例如，某一条屏上显示信息的显示时间为00:00:00,116至00:00:00,283，则用户端在开始播放图像信息的00:00:00,116至00:00:00,283时间段显示该屏上显示信息；在之后的时间段显示新的屏上显示信息，如显示时间为00:00:00,283至00:00:00,450的屏上显示信息。
示例性的，将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述状态数据进行显示。
具体的，用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据。如图5所示，用户端在显示界面的右下角显示屏上显示信息中的状态数据，便于用户了解可移动平台的工作状态。
在一些实施方式中，所述可移动平台将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述状态数据进行显示，包括：将预设格式的所述屏上显示信息通过图传信道发送给用户端，以使所述用户端接收所述屏上显示信息和解析所述屏上显示信息得到所述状态数据和所述显示时间，并使所述用户端根据所述显示时间对所述状态数据进行显示。
具体的，用户端接收来自可移动平台的SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息，然后从屏上显示信息中解析出状态数据和所述显示时间，例如解析出的显示时间为00:00:00,116至00:00:00,283，该显示时间对应的状态数据包括：signal:4 ch:4 flightTime:1 uavBat:16.4V glsBat:11.7V uavBatCells:4 glsBatCells:3 delay:28ms bitrate:20.9Mbps；之后根据显示时间显示所述状态数据，如图5所示。
在一些实施方式中，所述图像信息包括时间轴。例如可移动平台搭载的摄像装置在拍摄图像时，拍摄的图像加入了时间轴的信息。
示例性的，步骤S131将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述屏上显示信息进行显示，包括：将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据正在显示图像信息的时间轴确定显示时间与所述时间轴对应的屏上显示信息，并使所述用户端对所述屏上显示信息进行显示。
具体的，用户端在接收到可移动平台发送的图像信息和屏上显示信息后，根据图像信息的拍摄顺序，即时间轴的顺序依次显示各图像信息。当显示到某图像信息时，用户端根据该图像信息的时间轴确定显示时间与所述时间轴对应的屏上显示信息，然后对该屏上显示信息进行显示，从而实现用户端图像信息和屏上显示信息的同步播放。
在一些实施方式中，用户端存储所述来自可移动平台的图像信息以生成视 频文件。例如，用户端根据接收到的来自可移动平台的图像信息生成视频文件。具体的，根据接收图像信息的先后顺序将多个图像信息进行存储得到视频文件。以便后续可以重放视频文件，如便于裁判判罚，或者操作者可以根据OSD信息对操作进行复盘。
示例性的，如图4所示，步骤S130将所述图像信息和所述屏上显示信息通过图传信道发送给用户端，包括步骤S132。
S132、将所述图像信息和所述屏上显示信息通过图传信道发送给用户端，以使所述用户端基于所述图像信息的时间轴，根据所述屏上显示信息生成与所述图像信息同步的屏上显示信息文件。
示例性的，用户端根据图像信息的时间轴生成屏上显示信息文件。例如，根据视频文件中各图像信息时间轴与屏上显示信息显示时间的对应关系，对接收到的多条屏上显示信息进行排序存储，得到与视频文件同步的屏上显示信息文件。
示例性的，用户端还可以根据屏上显示信息的显示时间，将多个屏上显示信息进行存储得到与视频文件对应的屏上显示信息文件。使得在重放视频文件时，用户端依然可以调出屏上显示信息文件，在显示的图像信息时同步显示屏上显示信息，以还原图像信息拍摄时可移动平台的状态和/或用户端的状态。
在一些实施方式中，所述数据发送方法还包括：从所述用户端获取用户对所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据；在连接至终端设备时，将所述埋点数据发送给所述终端设备。
具体的，用户操作用户端，使得用户端产生对可移动平台的控制指令，用户端通过上行信道将控制指令发送给可移动平台。可移动平台根据控制指令实现相应的控制操作，还实时向用户端发送图像信息和屏上显示信息。
具体的，用户操作用户端，使得用户端向可移动平台发送控制指令；同时控制指令触发可移动平台的埋点事件，可移动平台会产生埋点数据。
具体的，可移动平台根据所述控制指令的生成时间或接收时间、以及图像信息的时间轴、屏上显示信息的显示时间，确定与所述操作事件关联的屏上显示信息和/或图像信息；之后根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据。示例性的，由于埋点数据的数据量比较庞 大，需要格式转换、封装压缩处理，达到节省空间的效果。同时记录每个埋点数据的时间戳，如将控制指令的生成时间作为相应埋点数据的时间戳，然后可移动平台将处理后的埋点数据生成埋点文件。
在一些实施方式中，所述数据发送方法还包括：若接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据删除。
示例性的，可移动平台检测到连接至手机、电脑等终端设备时，会触发获取存储的埋点文件，如JSON文件。由于埋点文件是经过封装压缩的，需要按规则解压才能还原成真实的埋点数据，包括事件的触发时间；之后可移动平台将埋点数据上传给连接的终端设备。
从而可以实现在可移动平台，如无人机本地实现埋点功能；可以在可移动平台升级等场景下需要连接手机、电脑的时候，用户无感地将埋点数据上传到手机、电脑等终端设备；还可以由可联网的终端设备将埋点数据上传至服务器；因此对于无人机不连接移动设备的情况下，也可以进行埋点统计。
上述实施例提供的用于可移动平台的数据发送方法，通过获取可移动平台搭载摄像装置拍摄的图像信息，并基于可移动平台的状态数据，生成与图像信息时间同步的屏上显示信息；然后将图像信息和屏上显示信息通过图传信道发送给用户端，以使用户端显示图像信息，以及在显示图像信息时同步显示屏上显示信息。图像信息和可移动平台的状态数据分别进行传输，避免屏上显示模块的图像处理过程引起的时延增加、功耗增加和发热增加，且不需要额外增设硬件。
请参阅图6，图6是本说明书一实施例提供的一种数据处理方法的流程示意图。所述数据处理方法可以应用在用户端，用于处理从可移动平台接收的数据等过程；其中用户端可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理、穿戴式设备、遥控器等，例如用户端为FPV眼镜。
如图6所示，本实施例的用于用户端的数据处理方法包括步骤S210至步骤S230。
S210、通过图传信道接收来自可移动平台的图像信息。
示例性的，可移动平台为穿越机，是一种高竞速小型无人机，穿越机的最高时速可达到每小时280km/h。
用户端通过与可移动平台之间的图传信道接收可移动平台搭载摄像装置拍 摄的图像信息。
在一些实施例中，用户端向所述可移动平台发送图像传输指令，以使所述可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息并将所述图像信息发送给所述用户端。
示例性的，用户端根据用户的操作向可移动平台发送图像传输指令，可移动平台接收到用户端发送的图像传输指令后开始获取所述可移动平台搭载摄像装置拍摄的图像信息，并将图像信息发送至用户端。
具体的，用户端为与可移动平台通信连接的FPV眼镜，用户可以通过点击FPV眼镜上的按钮或触摸板，或者通过向FPV眼镜输入语音指令等交互方式，控制用户端向可移动平台发送图像传输指令，以通知可移动平台开始拍摄图像和将拍摄的图像发送给用户端便于用户查看和/或便于用户端存储图像信息。
S220、通过图传信道接收来自可移动平台的，且与所述图像信息时间同步的屏上显示信息。
在一些实施方式中，所述屏上显示信息是所述可移动平台根据所述可移动平台的状态数据和显示时间生成的。
示例性的，可移动平台获取所述可移动平台的状态数据，根据拍摄所述图像信息的时间确定所述状态数据的显示时间；然后根据所述状态数据和所述显示时间生成所述屏上显示信息。
在一些实施例中，用户端根据用户的操作向所述可移动平台发送图像传输指令，以使所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，并使所述可移动平台将所述屏上显示信息发送给所述用户端。
示例性的，在用户开始使用FPV眼镜使用穿越机时，触发用户端向可移动平台发送图像传输指令；可移动平台接收到所述用户端发送的图像传输指令后，开始获取可移动平台的状态数据，根据状态数据生成与所述图像信息时间同步的屏上显示信息，以将屏上显示信息发送给用户端，由用户端进行显示。
示例性的，可移动平台的状态数据可以体现可移动平台的自身状况和/或可移动平台的遥控环境，用户可以根据这些状态数据判断例如穿越机的工作状态，以在一些条件下及时调整可移动平台的工作，如控制停飞、控制返航、切换通信频率等。
示例性的，所述屏上显示信息包括：所述可移动平台的第一参数信息、所述可移动平台与用户端之间数据传输的第二参数信息中的至少一项。
具体的，用户可以根据可移动平台的第一参数信息了解可移动平台的健康状况、电量、续航时间等；用户可以根据第二参数信息了解可移动平台和用户端之间的通信质量等。
示例性的，所述屏上显示信息还可以包括所述用户端的第三参数信息。所述可移动平台可以基于所述可移动平台的状态数据和/或所述用户端的第三参数信息，以及显示时间生成与所述图像信息时间同步的屏上显示信息。
具体的，可移动平台从与可移动平台通信连接的用户端获取所述第三参数信息，例如用户端周期性的向可移动平台发送第三参数信息；以使可移动平台可以生成包括用户端所述第三参数信息的屏上显示信息。
具体的，所述第一参数信息包括所述可移动平台的解锁时间flightTime、电压uavBat、电芯数目uavBatCells中的至少一项；所述第二参数信息包括所述可移动平台与用户端之间数据传输的信号强度signal、信道信息ch、传输延时delay、传输码率bitrate中的至少一项；所述第三参数信息包括所述用户端的电压glsBat、电芯数目glsBatCells中的至少一项。
在一些实施方式中，所述屏上显示信息是所述可移动平台根据所述可移动平台的状态数据和显示时间生成的，预设格式的屏上显示信息。
示例性的，所述屏上显示信息为SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息。
示例性的，屏上显示信息为SRT格式，例如，某一次获取的屏上显示信息为：00:00:00,116-->00:00:00,283；signal:4 ch:4 flightTime:1 uavBat:16.4V glsBat:11.7V uavBatCells:4 glsBatCells:3 delay:28ms bitrate:20.9Mbps。
S230、显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
示例性的，如图5所示，用户端在显示界面上显示所述图像信息，以及在显示所述图像信息时在所述显示界面的预设区域同步显示所述屏上显示信息。从而用户可以在查看显示界面上显示所述图像信息时，也注意到屏上显示信息，从而可以判断例如穿越机的工作状态，以在一些条件下及时调整可移动平台的 工作，如控制停飞、控制返航、切换通信频率等。
在一些实施方式中，所述屏上显示信息包括显示时间。
示例性的，显示时间是可移动平台根据拍摄所述图像信息的时间确定的。
具体的，可移动平台在摄像装置拍摄某图像信息后获取一次状态数据，则可以根据该图像信息的拍摄时间确定该状态数据对应的显示时间；从而可以实现生成与所述图像信息时间同步的屏上显示信息。
示例性的，步骤S230中用户端在显示所述图像信息时同步显示所述屏上显示信息，包括：根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息。
例如，某一条屏上显示信息的显示时间为00:00:00,116至00:00:00,283，则用户端在开始播放图像信息的00:00:00,116至00:00:00,283时间段显示该屏上显示信息；在之后的时间段显示新的屏上显示信息，如显示时间为00:00:00,283至00:00:00,450的屏上显示信息。
具体的，所述根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据。
如图5所示，用户端在显示界面的右下角显示屏上显示信息中的状态数据，便于用户了解工作状态。
在一些实施方式中，可移动平台根据所述可移动平台的状态数据和显示时间生成预设格式的屏上显示信息。所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据，包括：解析所述预设格式的屏上显示信息，得到所述状态数据和所述显示时间；根据所述显示时间，在显示所述图像信息时同步显示所述状态数据。
具体的，用户端接收来自可移动平台的SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息，然后从屏上显示信息中解析出状态数据和所述显示时间，例如解析出的显示时间为00:00:00,116至00:00:00,283，该显示时间对应的状态数据包括：signal:4 ch:4 flightTime:1 uavBat:16.4V glsBat:11.7V uavBatCells:4 glsBatCells:3 delay:28ms bitrate:20.9Mbps；之后根据显示时间显示所述状态数据，如图5所示。
在一些实施方式中，通过图传信道从可移动平台接收的图像信息包括时间 轴。例如，可移动平台搭载的摄像装置在拍摄图像时，拍摄的图像加入了时间轴的信息。
示例性的，所述根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：根据正在显示图像信息的时间轴，确定显示时间与所述时间轴对应的屏上显示信息，对所述屏上显示信息进行显示。
具体的，用户端在接收到可移动平台发送的图像信息和屏上显示信息后，根据图像信息的拍摄顺序，即时间轴的顺序依次显示各图像信息。当显示到某图像信息时，用户端根据该图像信息的时间轴确定显示时间与所述时间轴对应的屏上显示信息，然后对该屏上显示信息进行显示，从而实现用户端图像信息和屏上显示信息的同步播放。
在一些实施方式中，如图7所示，数据处理方法还包括步骤S240。
S240、存储所述来自可移动平台的图像信息以生成视频文件。
示例性的，用户端根据接收到的来自可移动平台的图像信息生成视频文件。具体的，用户端根据接收图像信息的先后顺序将多个图像信息进行存储得到视频文件，或者根据图像信息的时间轴对多个图像信息进行排序存储得到视频文件；以便后续可以重放视频文件，如便于裁判判罚。
示例性的，如图7所示，数据处理方法还包括步骤S250。
S250、存储所述与所述图像信息时间同步的屏上显示信息以生成所述视频文件的屏上显示信息文件。
示例性的，用户端根据屏上显示信息的显示时间，将多个屏上显示信息进行存储得到与视频文件对应的屏上显示信息文件。在用户端，如眼镜根据图像信息生成视频文件的同时，会将屏上显示信息记录到屏上显示信息文件中。使得在重放视频文件时，用户端依然可以调出屏上显示信息文件，在显示的图像信息时同步显示屏上显示信息，以还原图像信息拍摄时可移动平台的状态和/或用户端的状态。
示例性的，用户端根据图像信息的时间轴生成屏上显示信息文件。例如，根据视频文件中各图像信息时间轴与屏上显示信息显示时间的对应关系，对接收到的多条屏上显示信息进行排序存储，得到与视频文件同步的屏上显示信息文件。
示例性的，如图7所示，数据处理方法还包括步骤S260。
S260、若接收到用户输入的播放指令，显示所述视频文件中的图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息文件中的屏上显示信息。
具体的，若用户需要重放用户端中的视频文件，则可以通过操作用户端使用户端接收到播放指令。用户端接收到播放指令后，可以显示所述视频文件中的图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息文件中的屏上显示信息，以还原图像信息拍摄时可移动平台的状态和/或用户端的状态。
在一些实施方式中，用户端如FPV眼镜可以在本地进行数据埋点统计、存储、上传。
数据埋点功能一般用于统计、收集用户的使用习惯、行为操作等信息，然后把收集到的数据通过网络媒介上传到数据服务器，进行分析，了解用户需求，改进、优化产品功能。传统上，数据埋点功能一般运用于有网络模块的设备，如手机、电脑等，可以做到实时传输；对于一些本身无网络模块的设备，如消费机无人机，也没有在飞机本地实现埋点功能，而是连接手机等移动设备，由移动设备代理负责埋点数据的收集、统计、传输。
但是目前有一些用户端，如无网络模块的FPV眼镜、穿越机眼镜，是没有实现埋点统计、存储、上传的功能的，所以无法收集到用户使用眼镜设备的习惯、行为等信息。
对于本身无网络模块的用户端电子设备，而且长期不需要连接如手机、电脑等具有网络模块的设备，典型的例子就是穿越机FPV眼镜，此类设备一般具有独立的用户交互，如UI界面、按键触控板等，完全不需要手机等移动设备的介入，如果希望能收集、统计用户的使用习惯等信息，那么就需要在设备本地进行数据的收集、统计、存储。
在本实施例中，在用户端未连接手机等移动设备或PC电脑时，用户端将埋点数据通过软件方式封装、压缩存储成埋点文件，且每一个埋点数据都包含时间信息，并将埋点文件保存在用户端，如FPV眼镜本地。当用户端连接至手机、PC电脑等终端设备进行系统升级、调试等操作时，用户端会触发解析埋点文件、将解析得到的埋点数据上传至终端设备。由于每个埋点数据都包含了时间信息，所以这种埋点数据的传输方式和实时传输无差别，在数据服务器上仍然可以基于时间轴对埋点数据进行分类、统计。
对于本身无网络模块的用户端电子设备，而且长期不需要连接如手机、电 脑等具有网络模块的设备，用户一般只会在设备需要升级的时候才会尝试将用户端连接至手机、电脑等终端设备；这个时候，就可以把存储在用户端本地的埋点数据通过手机、电脑等代理上传到服务器上，而用户也无感知，不影响其正常使用。
示例性的，用于用户端的数据处理方法还包括：获取用户操作所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据。
具体的，用户操作用户端，使得用户端产生对可移动平台的控制指令，用户端通过上行信道将控制指令发送给可移动平台。可移动平台根据控制指令实现相应的控制操作，还实时向用户端发送图像信息和屏上显示信息。
具体的，用户操作用户端，使得用户端产生向可移动平台发送的控制指令；同时触发埋点事件，会产生埋点数据。
具体的，用户端根据所述控制指令的生成时间、图像信息的时间轴、屏上显示信息的显示时间，确定与所述操作事件关联的屏上显示信息和/或图像信息；之后根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据。
示例性的，由于埋点数据的数据量比较庞大，需要格式转换、封装压缩处理，达到节省空间的效果。同时记录每个埋点数据的时间戳，如将控制指令的生成时间作为相应埋点数据的时间戳，然后用户端将处理后的埋点数据生成埋点文件。
示例性的埋点文件可以是二进制DAT文件、ini文件、又或者是文本TXT文件等；埋点文件可以保存到掉电不丢失存储介质，例如SD卡，NAND FLASH等。
示例性的，用户端将处理后的埋点数据生成JSON文件，保存到内部EMMC(Embedded Multi Media Card)模块中，确保掉电不丢失数据。
在一些实施例中，用于用户端的数据处理方法还包括：在用户端连接至终端设备时，将所述埋点数据发送给所述终端设备。
示例性的，用户端检测到连接至手机、电脑等终端设备时，会触发获取存储的埋点文件，如JSON文件。由于埋点文件是经过封装压缩的，需要按规则解压才能还原成真实的埋点数据，包括事件的触发时间；之后用户端将埋点数据 上传给连接的终端设备。
对于本身无网络模块的用户端电子设备，如FPV眼镜、穿越机眼镜尽管没有网络模块，但是设备进行系统升级、调试时，仍需要连接手机或PC电脑等终端设备，这就给用户端本地存储的埋点数据提供上传的机会。
由于用户对设备进行升级的操作，不是高频行为，这就要求用户端本地存储的埋点数据必须是高压缩的，以实现有限的空间存储更多的埋点数据，一般要求做到存储半年以上的数据。
示例性的，在用户端连接至可联网的终端设备时，将所述埋点数据发送给所述终端设备，以使所述终端设备将所述埋点数据上传至服务器。
用户端将埋点数据上传给连接的终端设备之后，终端设备可以将埋点数据进一步上传至服务器，以便服务器对埋点数据进行分类、统计，获取用户的使用习惯、真实需求等，有利于产品更新迭代、优化改进。
在一些实施例中，用于用户端的数据处理方法还包括：若接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据和/或埋点文件删除。
具体的，当与用户端通信连接的终端设备接收到完整的埋点数据之后，向用户端反馈上传成功通知；用户端根据上传成功通知后可以将本地存储的埋点数据和/或埋点文件删除，以释放更多的空间记录新的埋点数据。
上述实施例提供的用于用户端的数据处理方法，通过图传信道从可移动平台接收图像信息和与所述图像信息时间同步的屏上显示信息，以显示图像信息，以及在显示图像信息时同步显示屏上显示信息；图像信息和可移动平台的状态数据分别进行传输，避免屏上显示模块的图像处理过程引起的时延增加、功耗增加和发热增加，且不需要额外增设硬件。
请参阅图8，图8是本申请另一实施例提供的一种数据处理方法的流程示意图。所述数据处理方法可以应用在可移动平台和用户端中，用于可移动平台和用户端之间的数据传输、用户端处理从可移动平台接收的数据等过程。其中可移动平台包括无人机或者云台车等，用户端可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理、穿戴式设备、遥控器等，例如用户端为FPV(First Person View，第一人称主视角)眼镜；进一步而言，无人机可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固 定翼无人机等，例如为穿越机。
如图8所示，本实施例数据处理方法包括步骤S310至步骤S330。
S310、可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息，通过图传信道将所述图像信息发送给用户端。
示例性的，若所述可移动平台接收到所述用户端发送的图像传输指令，获取所述可移动平台搭载摄像装置拍摄的图像信息。
示例性的，用户可以通过点击FPV眼镜上的按钮或触摸板，或者通过向FPV眼镜输入语音指令等交互方式，控制用户端向可移动平台发送图像传输指令，以通知可移动平台开始拍摄图像和将拍摄的图像发送给用户端便于用户查看和/或便于用户端存储图像信息。
具体的，可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息之后，实时将获取的图像信息通过图传信道发送给用户端。
S320、所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，通过图传信道将所述屏上显示信息发送给所述用户端。
示例性的，若所述可移动平台接收到所述用户端发送的图像传输指令，基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息。
具体的，可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息之后，实时将生成的屏上显示信息通过图传信道发送给用户端。以便用户端及时接收和显示图像信息和屏上显示信息。
具体的，用户开始使用穿越机进行飞行时，触发用户端向可移动平台发送图像传输指令；可移动平台接收到所述用户端发送的图像传输指令后，开始获取可移动平台的状态数据，根据状态数据生成与所述图像信息时间同步的屏上显示信息，以将屏上显示信息发送给用户端，由用户端进行显示。
在一些实施方式中，所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：所述可移动平台获取所述可移动平台的状态数据，根据拍摄所述图像信息的时间确定所述状态数据的显示时间；所述可移动平台根据所述状态数据和所述显示时间生成所述屏上显示信息。
示例性的，可移动平台的状态数据可以体现可移动平台的自身状况和/或可 移动平台的遥控环境，用户可以根据这些状态数据判断例如穿越机的工作状态，以在一些条件下及时调整可移动平台的工作，如控制停飞、控制返航、切换通信频率等。
示例性的，所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：所述可移动平台基于所述可移动平台的第一参数信息和/或所述可移动平台与用户端之间数据传输的第二参数信息，生成与所述图像信息时间同步的屏上显示信息。
示例性的，所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：所述可移动平台基于所述可移动平台的状态数据和所述用户端的第三参数信息，生成与所述图像信息时间同步的屏上显示信息。
具体的，所述第一参数信息包括所述可移动平台的解锁时间、电压、电芯数目中的至少一项；所述第二参数信息包括所述可移动平台与用户端之间数据传输的信号强度、信道信息、传输延时、传输码率中的至少一项；所述第三参数信息包括所述用户端的电压、电芯数目中的至少一项。
示例性的，可移动平台在摄像装置拍摄某图像信息后获取一次状态数据，则可以根据该图像信息的拍摄时间确定该状态数据对应的显示时间；从而可以实现生成与所述图像信息时间同步的屏上显示信息。
例如，某图像信息的拍摄时间为00:00:00,116至00:00:00,283，则该状态数据对应的显示时间为00:00:00,116至00:00:00,283。
示例性的，同一次获取的状态数据和所述状态数据对应的显示时间生成一条屏上显示信息。
在一些实施方式中，所述可移动平台根据所述状态数据和所述显示时间生成所述屏上显示信息，包括：所述可移动平台根据所述状态数据和所述显示时间生成预设格式的屏上显示信息。
示例性的，所述可移动平台根据所述状态数据和所述显示时间生成预设格式的屏上显示信息，包括：所述可移动平台根据所述状态数据和所述显示时间生成SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息。
S330、所述用户端显示所述图像信息，以及在显示所述图像信息时同步显 示所述屏上显示信息。
示例性的，所述用户端在显示界面上显示所述图像信息，以及在显示所述图像信息时在所述显示界面的预设区域同步显示所述屏上显示信息，如图5所示。从而用户可以在查看显示界面上显示所述图像信息时，也注意到屏上显示信息，从而可以判断例如穿越机的工作状态，以在一些条件下及时调整可移动平台的工作，如控制停飞、控制返航、切换通信频率等。
在一些实施方式中，所述屏上显示信息包括显示时间。示例性的，显示时间是可移动平台根据拍摄所述图像信息的时间确定的。
示例性的，步骤S330中用户端在显示所述图像信息时同步显示所述屏上显示信息，包括：所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息。
例如，某一条屏上显示信息的显示时间为00:00:00,116至00:00:00,283，则用户端在开始播放图像信息的00:00:00,116至00:00:00,283时间段显示该屏上显示信息；在之后的时间段显示新的屏上显示信息，如显示时间为00:00:00,283至00:00:00,450的屏上显示信息。
示例性的，所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据。
如图5所示，用户端在显示界面的右下角显示屏上显示信息中的状态数据，便于用户了解工作状态。
在一些实施方式中，所述可移动平台根据所述状态数据和所述显示时间生成预设格式的屏上显示信息。所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据，包括：所述用户端解析所述预设格式的屏上显示信息，得到所述状态数据和所述显示时间；所述用户端根据所述显示时间，在显示所述图像信息时同步显示所述状态数据。
具体的，用户端接收来自可移动平台的SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息，然后从屏上显示信息中解析出状态数据和所述显示时间，例如解析出的显示时间为00:00:00,116至00:00:00,283，该显示时间对应的状态数据包括：signal:4 ch:4 flightTime:1  uavBat:16.4V glsBat:11.7V uavBatCells:4 glsBatCells:3 delay:28ms bitrate:20.9Mbps；之后根据显示时间显示所述状态数据，如图5所示。
在一些实施方式中，所述图像信息包括时间轴。例如，可移动平台搭载的摄像装置在拍摄图像时，拍摄的图像加入了时间轴的信息。
所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：所述用户端根据正在显示图像信息的时间轴，确定显示时间与所述时间轴对应的屏上显示信息，对所述屏上显示信息进行显示。
具体的，用户端在接收到可移动平台发送的图像信息和屏上显示信息后，根据图像信息的拍摄顺序，即时间轴的顺序依次显示各图像信息。当显示到某图像信息时，用户端根据该图像信息的时间轴确定显示时间与所述时间轴对应的屏上显示信息，然后对该屏上显示信息进行显示，从而实现用户端图像信息和屏上显示信息的同步播放。
在一些实施方式中，如图9所示，所述的数据处理方法还包括步骤S340。
S340、所述用户端存储所述可移动平台发送的图像信息以生成视频文件。
示例性的，如图9所示，所述的数据处理方法还包括步骤S350。
S350、所述用户端存储所述与所述图像信息时间同步的屏上显示信息以生成所述视频文件的屏上显示信息文件。
示例性的，如图9所示，所述的数据处理方法还包括步骤S360。
S360、若所述用户端接收到用户输入的播放指令，显示所述视频文件中的图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息文件中的屏上显示信息。
具体的，若用户需要重放用户端中的视频文件，则可以通过操作用户端使用户端接收到播放指令。用户端接收到播放指令后，可以显示所述视频文件中的图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息文件中的屏上显示信息，以还原图像信息拍摄时可移动平台的状态和/或用户端的状态。通过解析记录的屏上显示信息文件，在播放视频文件时，实时更新录像场景的屏上显示信息到用户端，如眼镜的显示界面上。
在一些实施方式中，所述数据处理方法还包括：所述用户端获取用户操作所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示 信息和/或图像信息生成埋点数据。
具体的，用户操作用户端，使得用户端产生对可移动平台的控制指令，用户端通过上行信道将控制指令发送给可移动平台。可移动平台根据控制指令实现相应的控制操作，还实时向用户端发送图像信息和屏上显示信息。
具体的，用户操作用户端，使得用户端产生对可移动平台的控制指令；同时触发埋点事件，会产生埋点数据。
具体的，用户端根据所述控制指令的生成时间、图像信息的时间轴、屏上显示信息的显示时间，确定与所述操作事件关联的屏上显示信息和/或图像信息；之后根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据。
在一些实施方式中，所述数据处理方法还包括：在所述用户端连接至终端设备时，将所述埋点数据发送给所述终端设备。
示例性的，用户端检测到连接至手机、电脑等终端设备时，会触发获取存储的埋点文件，如JSON文件。由于埋点文件是经过封装压缩的，需要按规则解压才能还原成真实的埋点数据，包括事件的触发时间；之后用户端将埋点数据上传给连接的终端设备。
示例性的，在用户端连接至可联网的终端设备时，将所述埋点数据发送给所述终端设备，以使所述终端设备将所述埋点数据上传至服务器。
用户端将埋点数据上传给连接的终端设备之后，终端设备可以将埋点数据进一步上传至服务器，以便服务器对埋点数据进行分类、统计，获取用户的使用习惯、真实需求等，有利于产品更新迭代、优化改进。
在一些实施方式中，所述数据处理方法还包括：若所述用户端接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据删除。
具体的，当与用户端通信连接的终端设备接收到完整的埋点数据之后，向用户端反馈上传成功通知；用户端根据上传成功通知后可以将本地存储的埋点数据和/或埋点文件删除，以释放更多的空间记录新的埋点数据。
在一些实施方式中，所述数据处理方法还包括：所述可移动平台从所述用户端获取用户对所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据；在所述可移动平台连接至终端设备时，将所述埋点数据发送给所述终端设备。
具体的，用户操作用户端，使得用户端产生对可移动平台的控制指令，用户端通过上行信道将控制指令发送给可移动平台。可移动平台根据控制指令实现相应的控制操作，还实时向用户端发送图像信息和屏上显示信息。
具体的，用户操作用户端，使得用户端向可移动平台发送控制指令；同时控制指令触发可移动平台的埋点事件，可移动平台会产生埋点数据。
具体的，可移动平台根据所述控制指令的生成时间或接收时间、以及图像信息的时间轴、屏上显示信息的显示时间，确定与所述操作事件关联的屏上显示信息和/或图像信息；之后根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据。示例性的，由于埋点数据的数据量比较庞大，需要格式转换、封装压缩处理，达到节省空间的效果。同时记录每个埋点数据的时间戳，如将控制指令的生成时间作为相应埋点数据的时间戳，然后可移动平台将处理后的埋点数据生成埋点文件。
在一些实施方式中，所述数据发送方法还包括：若所述可移动平台接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据删除。
示例性的，可移动平台检测到连接至手机、电脑等终端设备时，会触发获取存储的埋点文件，如JSON文件。由于埋点文件是经过封装压缩的，需要按规则解压才能还原成真实的埋点数据，包括事件的触发时间；之后可移动平台将埋点数据上传给连接的终端设备。
从而可以实现在可移动平台，如无人机本地实现埋点功能；可以在可移动平台升级等场景下需要连接手机、电脑的时候，用户无感地将埋点数据上传到手机、电脑等终端设备；还可以由可联网的终端设备将埋点数据上传至服务器；因此对于无人机不连接移动设备的情况下，也可以进行埋点统计。
上述实施例提供的数据处理方法，通过可移动平台获取可移动平台搭载摄像装置拍摄的图像信息，并基于可移动平台的状态数据，生成与图像信息时间同步的屏上显示信息；然后可移动平台将图像信息和屏上显示信息通过图传信道发送给用户端，以使用户端显示图像信息，以及在显示图像信息时同步显示屏上显示信息。图像信息和可移动平台的状态数据分别进行传输，避免屏上显示模块的图像处理过程引起的时延增加、功耗增加和发热增加，且不需要额外增设硬件。
如图10所示为数据处理方法一种实施方式的流程示意图。
如图10所示，数据处理方法包括步骤S410至步骤S450。
S410、用户端根据用户的操作向可移动平台发送图像传输指令。
示例性的，眼镜录像开始时，会发出信号通知屏上显示信息记录的软件模块开始工作。
S420、可移动平台接收到图像传输指令，根据图像传输指令获取所述可移动平台搭载摄像装置拍摄的图像信息，以及基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息。
示例性的，屏上显示信息记录的软件模块会从穿越机的状态数据提供模块去获取信息，进而按定义的格式生成屏上显示信息。
S430、可移动平台将所述图像信息和所述屏上显示信息通过图传信道发送给用户端。
示例性的，眼镜接收所述图像信息和所述屏上显示信息，并将存储来自可移动平台的图像信息以生成视频文件，并根据所述屏上显示信息生成与所述图像信息同步的屏上显示信息文件。
S440、用户端解析所述屏上显示信息得到显示时间和状态数据。
示例性的，眼镜在播放视频文件开始时，会发出信号通知眼镜解析生成的屏上显示信息文件，解析出之前保存出的屏上显示信息。
S450、用户端显示图像信息时，根据所显示图像信息的时间轴确定显示时间与所述时间轴对应的状态数据，显示所述状态数据。
示例性的，眼镜的显示界面会根据当前播放图像信息的时间轴去取相应的屏上显示信息来更新显示。
请结合上述实施例参阅图11，图11是本说明书一实施例提供的可移动平台600的示意性框图。该可移动平台600包括处理器601和存储器602，处理器601和存储器602通过总线603连接，该总线603比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器601可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器602可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现前述的用于可移动平台的数据发送方法。
示例性的，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述可移动平台搭载摄像装置拍摄的图像信息；
基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息；
将所述图像信息和所述屏上显示信息通过图传信道发送给用户端。
示例性的，所述可移动平台包括无人机或者云台车，如穿越机。
请参阅图12，图12是本说明书一实施例提供的显示设备700的示意性框图。该显示设备700包括处理器701和存储器702，处理器701和存储器702通过总线703连接，该总线703比如为I2C(Inter-integrated Circuit)总线。
显示设备700还包括显示组件704，用于显示。
具体地，处理器701可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器702可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器701用于运行存储在存储器702中的计算机程序，并在执行所述计算机程序时实现前述的用于用户端的数据处理方法。
示例性的，所述处理器701用于运行存储在存储器702中的计算机程序，并在执行所述计算机程序时实现如下步骤：
通过图传信道接收来自可移动平台的图像信息；以及，
与所述图像信息时间同步的屏上显示信息；
显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
请参阅图13，图13是本说明书一实施例提供的眼镜800的示意性框图。该眼镜800包括处理器801和存储器802，处理器801和存储器802通过总线803连接，该总线803比如为I2C(Inter-integrated Circuit)总线。
眼镜800还包括显示组件804，用于显示。
具体地，处理器801可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器802可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器801用于运行存储在存储器802中的计算机程序，并在执行所述计算机程序时实现前述的用于用户端的数据处理方法。
示例性的，所述处理器801用于运行存储在存储器802中的计算机程序，并在执行所述计算机程序时实现如下步骤：
通过图传信道接收来自可移动平台的图像信息；以及，
与所述图像信息时间同步的屏上显示信息；
显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
示例性的，如图14所示为一种眼镜的示意图，具体为FPV眼镜。
本说明书实施例还提供了一种可移动平台系统，包括可移动平台和用户端。
示例性的，如图3所示，所示用户端具体为眼镜，如FPV眼镜。
具体的，所述可移动平台用于获取所述可移动平台搭载摄像装置拍摄的图像信息，通过图传信道将所述图像信息发送给用户端；
所述可移动平台用于基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，通过图传信道将所述屏上显示信息发送给所述用户端；
所述用户端用于显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
本说明书的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的用于可移动平台的数据发送方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的可移动平台的内部存储单元，例如所述可移动平台的硬盘或内存。所述计算机可读存储介质也可以是所述可移动平台的外部存储设备，例如所述可移动平台上配备的插 接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
本说明书的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的用于用户端的数据处理方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的显示设备，如眼镜的内部存储单元，例如所述显示设备的硬盘或内存。所述计算机可读存储介质也可以是所述显示设备的外部存储设备，例如所述显示设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
本说明书上述实施例提供的可移动平台、显示设备、眼镜、可移动平台系统、计算机可读存储介质，通过可移动平台获取可移动平台搭载摄像装置拍摄的图像信息，并基于可移动平台的状态数据，生成与图像信息时间同步的屏上显示信息；然后可移动平台将图像信息和屏上显示信息通过图传信道发送给用户端，以使用户端显示图像信息，以及在显示图像信息时同步显示屏上显示信息。图像信息和可移动平台的状态数据分别进行传输，避免屏上显示模块的图像处理过程引起的时延增加、功耗增加和发热增加，且不需要额外增设硬件。
应当理解，在此本说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本说明书。
还应当理解，在本说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本说明书的具体实施方式，但本说明书的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本说明书的保护范围之内。因此，本说明书的保护范围应以权利要求的保护范围为准。

Claims (59)

  1. 一种数据发送方法，用于可移动平台，其特征在于，所述方法包括：
    获取所述可移动平台搭载摄像装置拍摄的图像信息；
    基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息；
    将所述图像信息和所述屏上显示信息通过图传信道发送给用户端。
  2. 根据权利要求1所述的数据发送方法，其特征在于，所述屏上显示信息包括：
    显示时间；
    所述将所述屏上显示信息通过图传信道发送给用户端，包括：
    将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述屏上显示信息进行显示。
  3. 根据权利要求2所述的数据发送方法，其特征在于，所述基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    获取所述可移动平台的状态数据，根据拍摄所述图像信息的时间确定所述状态数据的显示时间；
    根据所述状态数据和所述显示时间生成所述屏上显示信息。
  4. 根据权利要求3所述的数据发送方法，其特征在于，所述将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述屏上显示信息进行显示，包括：
    将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述状态数据进行显示。
  5. 根据权利要求3所述的数据发送方法，其特征在于，所述根据所述状态数据和所述显示时间生成所述屏上显示信息，包括：
    根据所述状态数据和所述显示时间生成预设格式的屏上显示信息。
  6. 根据权利要求5所述的数据发送方法，其特征在于，所述将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述状态数据进行显示，包括：
    将预设格式的所述屏上显示信息通过图传信道发送给用户端，以使所述用户端接收所述屏上显示信息和解析所述屏上显示信息得到所述状态数据和所述显示时间，并使所述用户端根据所述显示时间对所述状态数据进行显示。
  7. 根据权利要求5或6所述的数据发送方法，其特征在于，所述根据所述状态数据和所述显示时间生成预设格式的屏上显示信息，包括：
    根据所述状态数据和所述显示时间生成SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息。
  8. 根据权利要求2-6中任一项所述的数据发送方法，其特征在于，所述图像信息包括：
    时间轴；
    所述将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据所述显示时间对所述屏上显示信息进行显示，包括：
    将所述屏上显示信息通过图传信道发送给用户端，以使所述用户端根据正在显示图像信息的时间轴确定显示时间与所述时间轴对应的屏上显示信息，并使所述用户端对所述屏上显示信息进行显示。
  9. 根据权利要求8所述的数据发送方法，其特征在于，所述将所述图像信息和所述屏上显示信息通过图传信道发送给用户端，包括：
    将所述图像信息和所述屏上显示信息通过图传信道发送给用户端，以使所述用户端基于所述图像信息的时间轴，根据所述屏上显示信息生成与所述图像信息同步的屏上显示信息文件。
  10. 根据权利要求1-6中任一项所述的数据发送方法，其特征在于，所述基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    基于所述可移动平台的第一参数信息和/或所述可移动平台与用户端之间数据传输的第二参数信息，生成与所述图像信息时间同步的屏上显示信息。
  11. 根据权利要求10所述的数据发送方法，其特征在于，所述基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    基于所述可移动平台的状态数据和所述用户端的第三参数信息，生成与所述图像信息时间同步的屏上显示信息。
  12. 根据权利要求11所述的数据发送方法，其特征在于，所述第一参数信 息包括所述可移动平台的解锁时间、电压、电芯数目中的至少一项；所述第二参数信息包括所述可移动平台与用户端之间数据传输的信号强度、信道信息、传输延时、传输码率中的至少一项；所述第三参数信息包括所述用户端的电压、电芯数目中的至少一项。
  13. 根据权利要求1-6中任一项所述的数据发送方法，其特征在于，所述基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    若接收到所述用户端发送的图像传输指令，基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息。
  14. 根据权利要求13所述的数据发送方法，其特征在于，所述获取所述可移动平台搭载摄像装置拍摄的图像信息，包括：
    若接收到所述用户端发送的图像传输指令，获取所述可移动平台搭载摄像装置拍摄的图像信息。
  15. 根据权利要求1-6中任一项所述的数据发送方法，其特征在于，还包括：
    从所述用户端获取用户对所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据；
    在连接至终端设备时，将所述埋点数据发送给所述终端设备。
  16. 根据权利要求15所述的数据发送方法，其特征在于，还包括：
    若接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据删除。
  17. 一种数据处理方法，用于用户端，其特征在于，所述方法包括：
    通过图传信道接收来自可移动平台的图像信息；以及，
    与所述图像信息时间同步的屏上显示信息；
    显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
  18. 根据权利要求17所述的数据处理方法，其特征在于，所述屏上显示信息包括：
    显示时间；
    所述在显示所述图像信息时同步显示所述屏上显示信息，包括：
    根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述 屏上显示信息。
  19. 根据权利要求18所述的数据处理方法，其特征在于，所述屏上显示信息是所述可移动平台根据所述可移动平台的状态数据和显示时间生成的；
    所述根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：
    根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据。
  20. 根据权利要求19所述的数据处理方法，其特征在于，所述屏上显示信息是所述可移动平台根据所述可移动平台的状态数据和显示时间生成的，预设格式的屏上显示信息；
    所述根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据，包括：
    解析所述预设格式的屏上显示信息，得到所述状态数据和所述显示时间；
    根据所述显示时间，在显示所述图像信息时同步显示所述状态数据。
  21. 根据权利要求20所述的数据处理方法，其特征在于，所述接收来自可移动平台的屏上显示信息，包括：
    接收来自可移动平台的SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息。
  22. 根据权利要求18-21中任一项所述的数据处理方法，其特征在于，所述图像信息包括：
    时间轴；
    所述根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：
    根据正在显示图像信息的时间轴，确定显示时间与所述时间轴对应的屏上显示信息，对所述屏上显示信息进行显示。
  23. 根据权利要求17-21中任一项所述的数据处理方法，其特征在于，所述屏上显示信息，包括：
    所述可移动平台的第一参数信息、所述可移动平台与用户端之间数据传输的第二参数信息、所述用户端的第三参数信息中的至少一项。
  24. 根据权利要求23所述的数据处理方法，其特征在于，所述第一参数信 息包括所述可移动平台的解锁时间、电压、电芯数目中的至少一项；所述第二参数信息包括所述可移动平台与用户端之间数据传输的信号强度、信道信息、传输延时、传输码率中的至少一项；所述第三参数信息包括所述用户端的电压、电芯数目中的至少一项。
  25. 根据权利要求17-21中任一项所述的数据处理方法，其特征在于，所述显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息，包括：
    在显示界面上显示所述图像信息，以及在显示所述图像信息时在所述显示界面的预设区域同步显示所述屏上显示信息。
  26. 根据权利要求17-21中任一项所述的数据处理方法，其特征在于，还包括：
    向所述可移动平台发送图像传输指令，以使所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，并使所述可移动平台将所述屏上显示信息发送给所述用户端。
  27. 根据权利要求26所述的数据处理方法，其特征在于，还包括：
    向所述可移动平台发送图像传输指令，以使所述可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息并将所述图像信息发送给所述用户端。
  28. 根据权利要求17-21中任一项所述的数据处理方法，其特征在于，还包括：
    存储所述来自可移动平台的图像信息以生成视频文件。
  29. 根据权利要求28所述的数据处理方法，其特征在于，还包括：
    存储所述与所述图像信息时间同步的屏上显示信息以生成所述视频文件的屏上显示信息文件。
  30. 根据权利要求29所述的数据处理方法，其特征在于，还包括：
    若接收到用户输入的播放指令，显示所述视频文件中的图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息文件中的屏上显示信息。
  31. 根据权利要求17-21中任一项所述的数据处理方法，其特征在于，还包括：
    获取用户操作所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据；
    在连接至终端设备时，将所述埋点数据发送给所述终端设备。
  32. 根据权利要求31所述的数据处理方法，其特征在于，还包括：
    若接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据删除。
  33. 一种数据处理方法，其特征在于，包括：
    可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息，通过图传信道将所述图像信息发送给用户端；
    所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，通过图传信道将所述屏上显示信息发送给所述用户端；
    所述用户端显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
  34. 根据权利要求33所述的数据处理方法，其特征在于，所述屏上显示信息包括：
    显示时间；
    所述用户端在显示所述图像信息时同步显示所述屏上显示信息，包括：
    所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息。
  35. 根据权利要求34所述的数据处理方法，其特征在于，所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    所述可移动平台获取所述可移动平台的状态数据，根据拍摄所述图像信息的时间确定所述状态数据的显示时间；
    所述可移动平台根据所述状态数据和所述显示时间生成所述屏上显示信息。
  36. 根据权利要求35所述的数据处理方法，其特征在于，所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：
    所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据。
  37. 根据权利要求35所述的数据处理方法，其特征在于，所述可移动平台根据所述状态数据和所述显示时间生成所述屏上显示信息，包括：
    所述可移动平台根据所述状态数据和所述显示时间生成预设格式的屏上显示信息。
  38. 根据权利要求37所述的数据处理方法，其特征在于，所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息中的状态数据，包括：
    所述用户端解析所述预设格式的屏上显示信息，得到所述状态数据和所述显示时间；
    所述用户端根据所述显示时间，在显示所述图像信息时同步显示所述状态数据。
  39. 根据权利要求37或38所述的数据处理方法，其特征在于，所述可移动平台根据所述状态数据和所述显示时间生成预设格式的屏上显示信息，包括：
    所述可移动平台根据所述状态数据和所述显示时间生成SRT格式、二进制DAT格式、文本格式、SSA格式或者SUB格式的屏上显示信息。
  40. 根据权利要求34-38中任一项所述的数据处理方法，其特征在于，所述图像信息包括：
    时间轴；
    所述用户端根据所述屏上显示信息的显示时间，在显示所述图像信息时同步显示所述屏上显示信息，包括：
    所述用户端根据正在显示图像信息的时间轴，确定显示时间与所述时间轴对应的屏上显示信息，对所述屏上显示信息进行显示。
  41. 根据权利要求33-38中任一项所述的数据处理方法，其特征在于，所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    所述可移动平台基于所述可移动平台的第一参数信息和/或所述可移动平台与用户端之间数据传输的第二参数信息，生成与所述图像信息时间同步的屏上显示信息。
  42. 根据权利要求41所述的数据处理方法，其特征在于，所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    所述可移动平台基于所述可移动平台的状态数据和所述用户端的第三参数 信息，生成与所述图像信息时间同步的屏上显示信息。
  43. 根据权利要求42所述的数据处理方法，其特征在于，所述第一参数信息包括所述可移动平台的解锁时间、电压、电芯数目中的至少一项；所述第二参数信息包括所述可移动平台与用户端之间数据传输的信号强度、信道信息、传输延时、传输码率中的至少一项；所述第三参数信息包括所述用户端的电压、电芯数目中的至少一项。
  44. 根据权利要求33-38中任一项所述的数据处理方法，其特征在于，所述用户端显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息，包括：
    所述用户端在显示界面上显示所述图像信息，以及在显示所述图像信息时在所述显示界面的预设区域同步显示所述屏上显示信息。
  45. 根据权利要求33-38中任一项所述的数据处理方法，其特征在于，所述可移动平台基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，包括：
    若所述可移动平台接收到所述用户端发送的图像传输指令，基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息。
  46. 根据权利要求45所述的数据处理方法，其特征在于，所述可移动平台获取所述可移动平台搭载摄像装置拍摄的图像信息，包括：
    若所述可移动平台接收到所述用户端发送的图像传输指令，获取所述可移动平台搭载摄像装置拍摄的图像信息。
  47. 根据权利要求33-38中任一项所述的数据处理方法，其特征在于，还包括：
    所述用户端存储所述可移动平台发送的图像信息以生成视频文件。
  48. 根据权利要求47所述的数据处理方法，其特征在于，还包括：
    所述用户端存储所述与所述图像信息时间同步的屏上显示信息以生成所述视频文件的屏上显示信息文件。
  49. 根据权利要求48所述的数据处理方法，其特征在于，还包括：
    若所述用户端接收到用户输入的播放指令，显示所述视频文件中的图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息文件中的屏上显示信息。
  50. 根据权利要求33-38中任一项所述的数据处理方法，其特征在于，还包括：
    所述用户端获取用户操作所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据；
    在所述用户端连接至终端设备时，将所述埋点数据发送给所述终端设备。
  51. 根据权利要求50所述的数据处理方法，其特征在于，还包括：
    若所述用户端接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据删除。
  52. 根据权利要求33-38中任一项所述的数据处理方法，其特征在于，还包括：
    所述可移动平台从所述用户端获取用户对所述用户端的操作事件，根据所述操作事件和与所述操作事件关联的屏上显示信息和/或图像信息生成埋点数据；
    在所述可移动平台连接至终端设备时，将所述埋点数据发送给所述终端设备。
  53. 根据权利要求52所述的数据处理方法，其特征在于，还包括：
    若所述可移动平台接收到所述终端设备发送的上传成功通知，将所述上传成功通知对应的埋点数据删除。
  54. 一种可移动平台，其特征在于，包括存储器和处理器；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取所述可移动平台搭载摄像装置拍摄的图像信息；
    基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息；
    将所述图像信息和所述屏上显示信息通过图传信道发送给用户端。
  55. 根据权利要求54所述的可移动平台，其特征在于，所述可移动平台包括无人机或者云台车。
  56. 一种显示设备，其特征在于，包括显示组件、存储器和处理器；
    所述显示组件用于显示；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    通过图传信道接收来自可移动平台的图像信息；以及，
    与所述图像信息时间同步的屏上显示信息；
    显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
  57. 一种眼镜，其特征在于，包括显示组件、存储器和处理器；
    所述显示组件用于显示；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    通过图传信道接收来自可移动平台的图像信息；以及，
    与所述图像信息时间同步的屏上显示信息；
    显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
  58. 一种可移动平台系统，其特征在于，包括可移动平台和用户端；
    所述可移动平台用于获取所述可移动平台搭载摄像装置拍摄的图像信息，通过图传信道将所述图像信息发送给用户端；
    所述可移动平台用于基于所述可移动平台的状态数据，生成与所述图像信息时间同步的屏上显示信息，通过图传信道将所述屏上显示信息发送给所述用户端；
    所述用户端用于显示所述图像信息，以及在显示所述图像信息时同步显示所述屏上显示信息。
  59. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现：
    如权利要求1-16中任一项所述的数据发送方法；和/或
    如权利要求17-32中任一项所述的数据处理方法。
PCT/CN2019/097485 2019-07-24 2019-07-24 数据发送、处理方法、可移动平台、显示设备、眼镜和系统 WO2021012212A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/097485 WO2021012212A1 (zh) 2019-07-24 2019-07-24 数据发送、处理方法、可移动平台、显示设备、眼镜和系统
CN201980031843.9A CN112119630A (zh) 2019-07-24 2019-07-24 数据发送、处理方法、可移动平台、显示设备、眼镜和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/097485 WO2021012212A1 (zh) 2019-07-24 2019-07-24 数据发送、处理方法、可移动平台、显示设备、眼镜和系统

Publications (1)

Publication Number Publication Date
WO2021012212A1 true WO2021012212A1 (zh) 2021-01-28

Family

ID=73799210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/097485 WO2021012212A1 (zh) 2019-07-24 2019-07-24 数据发送、处理方法、可移动平台、显示设备、眼镜和系统

Country Status (2)

Country Link
CN (1) CN112119630A (zh)
WO (1) WO2021012212A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105278362A (zh) * 2015-01-16 2016-01-27 深圳一电科技有限公司 无人侦查系统的控制方法、装置及系统
US20160313732A1 (en) * 2015-04-23 2016-10-27 Parrot Drones System for piloting a drone in immersion
CN108156418A (zh) * 2017-12-14 2018-06-12 沈阳无距科技有限公司 通过无人机获取实时影像的方法、装置和系统
CN108205618A (zh) * 2016-12-20 2018-06-26 亿航智能设备（广州）有限公司 Vr眼镜及控制vr眼镜与无人机的连接方法、装置及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516604A (zh) * 2016-01-20 2016-04-20 陈昊 一种航拍视频分享方法和系统
CN106292719B (zh) * 2016-09-21 2023-10-27 深圳智航无人机有限公司 地面站融合系统及地面站视频数据融合方法
CN108319289A (zh) * 2017-01-16 2018-07-24 翔升（上海）电子技术有限公司 头戴显示装置、无人机、飞行系统和无人机控制方法
IT201700101255A1 (it) * 2017-09-11 2019-03-11 Catellani Andrea Bonasi Dispositivo elettronico per la ricezione di dati in tempo reale da almeno un ulteriore dispositivo elettronico e relativo sistema elettronico e metodo di ricezione di dati in tempo reale
CN109753330A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种导航设备界面显示方法、系统、计算机设备及存储介质
CN109729293A (zh) * 2019-01-21 2019-05-07 深圳市敢为软件技术有限公司 视频关联信息的显示方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105278362A (zh) * 2015-01-16 2016-01-27 深圳一电科技有限公司 无人侦查系统的控制方法、装置及系统
US20160313732A1 (en) * 2015-04-23 2016-10-27 Parrot Drones System for piloting a drone in immersion
CN108205618A (zh) * 2016-12-20 2018-06-26 亿航智能设备（广州）有限公司 Vr眼镜及控制vr眼镜与无人机的连接方法、装置及系统
CN108156418A (zh) * 2017-12-14 2018-06-12 沈阳无距科技有限公司 通过无人机获取实时影像的方法、装置和系统

Also Published As

Publication number Publication date
CN112119630A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US10841661B2 (en) Interactive method, apparatus, and system in live room
US20210224022A1 (en) Cooperative control method for user equipment, user equipment, and communications system
CN106791958B (zh) 位置标记信息生成方法及装置
CN108737908B (zh) 一种媒体播放方法、装置及存储介质
CN102421012B (zh) 一种获得电视节目截屏图片的方法和系统
CN107454416B (zh) 视频流发送方法和装置
WO2017016339A1 (zh) 视频分享方法和装置、视频播放方法和装置
US10863072B2 (en) Image processing system, method, apparatus and device of processing image data
CN103546453A (zh) 一种跨设备播放多媒体的方法及设备
CN106973321B (zh) 确定视频卡顿的方法及装置
US11778267B2 (en) Multi-mode conversion of multiple video streams
CN202444580U (zh) 一种获得电视节目截屏图片的系统，终端和服务器
CN103596063B (zh) 终端、电视机、多屏互动系统和抓屏参数的设置方法
CN110636337B (zh) 视频图像的截取方法、装置及系统
CN111182306B (zh) 用于视频压缩的视频提取方法、系统、终端及存储介质
WO2021012212A1 (zh) 数据发送、处理方法、可移动平台、显示设备、眼镜和系统
CN104936003A (zh) 一种截图方法及装置
CN113099212A (zh) 3d显示方法、装置、计算机设备和存储介质
CN201458446U (zh) 电梯用远程影音播放控制系统
CN203675196U (zh) 网络控制3g-sdi高清字符叠加器
CN217085729U (zh) 投屏器和图像识别系统
CN110278472B (zh) 一种按键管理方法及电子设备
CN107566784B (zh) 图像处理方法
CN116762344A (zh) 音视频数据的处理方法、直播装置、电子设备和存储介质
CN113990292A (zh) 一种基于多语种处理参数调用的方法及显示设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938198

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938198

Country of ref document: EP

Kind code of ref document: A1