WO2022000350A1 - 视频传输方法、可移动平台、终端设备、系统及存储介质 - Google Patents

视频传输方法、可移动平台、终端设备、系统及存储介质 Download PDF

Info

Publication number
WO2022000350A1
WO2022000350A1 PCT/CN2020/099596 CN2020099596W WO2022000350A1 WO 2022000350 A1 WO2022000350 A1 WO 2022000350A1 CN 2020099596 W CN2020099596 W CN 2020099596W WO 2022000350 A1 WO2022000350 A1 WO 2022000350A1
Authority
WO
WIPO (PCT)
Prior art keywords
video frame
wireless communication
terminal device
frame
video
Prior art date
Application number
PCT/CN2020/099596
Other languages
English (en)
French (fr)
Inventor
马宁
苏文艺
陈颖
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202080006506.7A priority Critical patent/CN113170052A/zh
Priority to PCT/CN2020/099596 priority patent/WO2022000350A1/zh
Publication of WO2022000350A1 publication Critical patent/WO2022000350A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Definitions

  • the present application relates to the technical field of wireless image transmission, and in particular, to a video transmission method, a movable platform, a terminal device and a storage medium.
  • the mobile platform can transmit the captured video to the terminal device in real time through wireless communication, and the terminal device displays the transmitted video image.
  • the real-time transmission of the video between the mobile platform and the terminal device is mainly realized by private communication. .
  • the mobile platform as an UAV as an example, in the prior art, most of the communication methods between UAVs and terminal equipment are based on Software Defined Radio (SDR).
  • SDR Software Defined Radio
  • this single wireless communication method is used to achieve Real-time video transmission is difficult to meet the increasing demands of users for various performance indicators such as delay and image transmission quality.
  • the embodiments of the present application provide a video transmission method, a movable platform, a terminal device, and a storage medium, which aim to improve the quality of wireless image transmission between the movable platform and the terminal device.
  • an embodiment of the present application provides a video transmission method, which is applied to a movable platform, where the movable platform includes a photographing device, and the movable platform can communicate with the terminal device communication, the method includes:
  • the target video frame in the initial video frame is encoded based on the reference video frame to obtain a second video frame, and the second video frame is transmitted to the terminal device through the second wireless communication method.
  • an embodiment of the present application further provides a video transmission method, which is applied to a terminal device, where the terminal device can communicate with a movable platform through a first wireless communication manner and a second wireless communication manner, and the method includes:
  • the second video frame is decoded according to the reference video frame.
  • an embodiment of the present application further provides a movable platform, where the movable platform can communicate with a terminal device through a first wireless communication manner and a second wireless communication manner;
  • the movable platform includes a camera, memory, and one or more processors;
  • the memory for storing computer programs
  • the one or more processors are configured to execute the computer program and implement the following steps when executing the computer program:
  • the target video frame in the initial video frame is encoded based on the reference video frame to obtain a second video frame, and the second video frame is transmitted to the terminal device through the second wireless communication method.
  • an embodiment of the present application further provides a movable platform, where the movable platform can communicate with a terminal device through a first wireless communication manner and a second wireless communication manner;
  • the movable platform includes a camera, a first wireless communication device and a second wireless communication device;
  • the first wireless communication device is configured to: encode an initial video frame captured by the photographing device to obtain a first video frame, and transmit the first video frame to the Terminal Equipment;
  • the second wireless communication device is configured to: obtain a reference video frame in the first video frame; encode a target video frame in the initial video frame based on the reference video frame to obtain a second video frame, and The second video frame is transmitted to the terminal device through the second wireless communication method.
  • an embodiment of the present application further provides a terminal device, where the terminal device includes a memory and one or more processors;
  • the memory for storing computer programs
  • the one or more processors are configured to execute the computer program and implement the following steps when executing the computer program:
  • the second video frame is decoded according to the reference video frame.
  • an embodiment of the present application further provides a terminal device, where the terminal device can communicate with the movable platform through a first wireless communication manner and a second wireless communication manner;
  • the terminal equipment includes a third wireless communication device and a fourth wireless communication device;
  • the third wireless communication device is configured to: acquire a first video frame transmitted by the movable platform based on the first wireless communication manner;
  • the fourth wireless communication device is configured to: acquire a second video frame transmitted by the movable platform based on the second wireless communication manner;
  • the second video frame is decoded according to the reference video frame.
  • an embodiment of the present application further provides a video transmission system, the video transmission system includes the aforementioned movable platform and any of the aforementioned terminal devices, the movable platform and the aforementioned The terminal device can communicate through the first wireless communication manner and the second wireless communication manner.
  • the embodiments of the present application further provide a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by one or more processors, the one or more A processor implements the steps of the video transmission method as described above.
  • the embodiments of the present application provide a video transmission method, a movable platform, a terminal device, a system, and a storage medium.
  • the first video frame is obtained by encoding an initial video frame captured by a photographing device of the movable platform, and the first video frame is obtained through the first video frame.
  • a wireless communication method transmits the first video frame to the terminal device, obtains a reference video frame in the first video frame, and encodes the target video frame in the initial video frame based on the reference video frame to obtain a second video frame
  • the second video frame is transmitted to the terminal device through the second wireless communication method
  • the encoded video frame is transmitted to the terminal device through the first wireless communication method and the second wireless communication method, which can take into account the first wireless communication method and the second wireless communication method.
  • FIG. 1 is a schematic diagram of a scene for implementing the video transmission method provided by the embodiment of the present application
  • FIG. 2 is a schematic flowchart of steps of a video transmission method provided by an embodiment of the present application.
  • Fig. 3 is the sub-step schematic flow chart of the video transmission method in Fig. 2;
  • FIG. 4 is a schematic flowchart of steps of another video transmission method provided by an embodiment of the present application.
  • FIG. 5 is a schematic diagram of a scene of transmitting video frames between a movable platform and a terminal device in an embodiment of the present application
  • FIG. 6 is a schematic structural block diagram of a movable platform provided by an embodiment of the present application.
  • FIG. 7 is a schematic block diagram of the structure of another movable platform provided by an embodiment of the present application.
  • FIG. 8 is a schematic structural block diagram of a terminal device provided by an embodiment of the present application.
  • FIG. 9 is a schematic structural block diagram of another terminal device provided by an embodiment of the present application.
  • FIG. 10 is a schematic structural block diagram of a video transmission system provided by an embodiment of the present application.
  • FIG. 1 is a schematic diagram of a scenario for implementing the video transmission method provided by the embodiment of the present application.
  • the scenario includes a movable platform 100 and a terminal device 200, and the movable platform 100 and the terminal
  • the device 200 can communicate with the terminal device through the first wireless communication mode and the second wireless communication mode, and a first wireless communication link 10 and a second wireless communication link 20 are established between the movable platform 100 and the terminal device 200.
  • the wireless communication link 10 is realized by a first wireless communication manner
  • the second wireless communication link 20 is realized by a second wireless communication manner
  • the movable platform 100 includes a photographing device 101 .
  • the movable platform 100 encodes the initial video frame captured by the photographing device 101 to obtain the first video frame, and transmits the first video frame to the terminal device 200 through the first wireless communication method, that is, through the first wireless communication method.
  • the first wireless communication link 10 transmits the first video frame to the terminal device 200; obtains the reference video frame in the first video frame, and encodes the target video frame in the initial video frame based on the reference video frame to obtain the first video frame.
  • the second video frame is transmitted to the terminal device 200 through the second wireless communication method, that is, the second video frame is transmitted to the terminal device 200 through the second wireless communication link 20;
  • the terminal device 200 obtains the movable
  • the platform 100 obtains the first video frame transmitted by the movable platform 100 based on the first wireless communication method, that is, obtains the first video frame transmitted by the movable platform 100 through the first wireless communication link 10;
  • the second video frame that is, the first video frame transmitted by the movable platform 100 is obtained through the second wireless communication link 20; if the reference video frame corresponding to the second video frame is obtained from the first video frame, then according to the reference video frame
  • the video frame decodes the second video frame.
  • the movable platform 100 includes movable robots, drones, and unmanned vehicles, etc.
  • the terminal equipment 200 includes remote controllers, ground control platforms, mobile phones, tablet computers, notebook computers, and PC computers, etc.
  • the drone can be a rotary-wing aircraft.
  • the drone may be a multi-rotor aircraft that may include multiple rotors. Multiple rotors can be rotated to generate lift for the drone.
  • the rotors can be propulsion units that allow the drone to move freely in the air.
  • the rotors may rotate at the same rate and/or may generate the same amount of lift or thrust.
  • the rotors can freely rotate at different rates, producing different amounts of lift or thrust and/or allowing the drone to rotate.
  • one, two, three, four, five, six, seven, eight, nine, ten or more rotors may be provided on the drone.
  • the rotors may be arranged with their axes of rotation parallel to each other. In some cases, the axes of rotation of the rotors can be at any angle relative to each other, which can affect the movement of the drone.
  • Drones can have multiple rotors.
  • the rotor may be connected to the body of the drone, which may contain a control unit, inertial measurement unit (IMU), processor, battery, power supply, and/or other sensors.
  • the rotor may be connected to the body by one or more arms or extensions branching off from the central portion of the body.
  • one or more arms may extend radially from the central body of the drone and may have rotors at or near the ends of the arms.
  • FIG. 2 is a schematic flowchart of steps of a video transmission method provided by an embodiment of the present application.
  • the video transmission method can be applied to a movable platform, and the movable platform can communicate with the terminal device through the first wireless communication manner and the second wireless communication manner.
  • the video transmission method includes steps S101 to S103.
  • the movable platform includes a photographing device, which can be mounted on the platform of the movable platform, or can be integrated with the movable platform. Through the photographing device, the environment where the movable platform is located can be photographed to obtain the initial Video frame, the initial video frame may be a single video frame, or may be a frame sequence composed of multiple video frames, which is not specifically limited in this embodiment of the present application.
  • the movable platform acquires the initial video frame captured by the photographing device, and encodes the initial video frame captured by the photographing device according to a video encoding algorithm corresponding to the first wireless communication mode to obtain the first video frame. , and transmit the first video frame to the terminal device through the first wireless communication method.
  • the first video frame includes an I frame and a P frame, and the first video frame may be a single video frame, or may be a frame sequence composed of multiple video frames, which is not specifically limited in this embodiment of the present application.
  • the wireless communication method is a public communication method, and the first wireless communication method includes but is not limited to 4G communication and 5G communication.
  • obtaining the reference video frame in the first video frame facilitates subsequent encoding of the target video frame in the initial video frame based on the reference video frame, and the target video frame is encoded with reference to the video frame whose shooting time is located before the target video frame .
  • step S102 may include sub-steps S1021 to S1022.
  • the reference frame identifier is the identifier of the reference video frame, which is used to identify the reference video frame.
  • the identifier of the reference video frame and the identifier of the target video frame satisfy a preset relationship.
  • the identifier is represented by a frame number. The number is determined according to the shooting time of each initial video frame, and the preset relationship includes that the frame number of the reference video frame is smaller than the frame number of the target video frame.
  • the preset relationship further includes that the difference between the frame number of the target video frame and the frame number of the reference video frame is a preset value, and the preset value can be based on the first transmission corresponding to the first wireless communication mode.
  • the delay is determined according to the second transmission delay corresponding to the second wireless communication mode.
  • the difference between the frame number of the target video frame and the frame number of the reference video frame and the first transmission delay corresponding to the first wireless communication method and the second transmission delay corresponding to the second wireless communication method are It is related to the difference value of the time, and the difference between the frame number of the target video frame and the frame number of the reference video frame is recorded as the frame number difference value, and the first transmission delay corresponding to the first wireless communication method and the second wireless communication method
  • the difference of the corresponding second transmission delay is the delay difference
  • the frame number difference is related to the delay difference, specifically: the frame number difference can be determined according to the delay difference and the frame interval time, for example, the delay
  • the time difference value is ⁇ t
  • the frame interval time is T, so the frame number difference value is ⁇ t/T, or the frame number difference value is greater than or equal to ⁇ t/T.
  • the identifier of the target video frame is obtained; according to the identifier of the target video frame, the reference frame identifier is obtained, that is, the interval frame number between the target video frame and the reference video frame is obtained, and the identifier of the target video frame is obtained according to the identifier of the target video frame. and the interval frame number to obtain the reference frame identifier.
  • the reference frame identifier can be accurately determined, which is convenient for subsequent encoding of the target video frame based on the reference video frame corresponding to the reference frame identifier to obtain the second video frame.
  • the terminal device can decode the second video frame based on the reference video frame.
  • the identifier of the first video frame received by the terminal device and fed back by the terminal device is obtained; according to the identifier of the first video frame received by the terminal device fed back by the terminal device, the reference frame identifier is obtained, that is, the terminal The identifier of the first video frame received by the terminal device fed back by the device is used as the reference frame identifier.
  • the terminal device can feed back the identifier of the first video frame received by the terminal device to the mobile platform through the first wireless communication method or the second wireless communication method, that is, the mobile platform can obtain the terminal device based on the first wireless communication method or the identifier of the first video frame.
  • the identifier of the first video frame received by the terminal device fed back by the second wireless communication method is obtained; according to the identifier of the first video frame received by the terminal device fed back by the terminal device, the reference frame identifier is obtained, that is, the terminal The identifier of the first video frame received by the terminal device fed back by the device is used as the reference frame identifier.
  • the target video frame is subsequently encoded based on the reference video frame corresponding to the reference frame identifier, and the second video frame is obtained after the second video frame is obtained.
  • the terminal device can decode the second video frame based on the reference video frame.
  • the reference video frame in the first video frame can be acquired according to the reference frame identifier.
  • the method of obtaining the reference video frame in the first video frame may be: obtaining the first transmission delay corresponding to the first wireless communication method and the second transmission delay corresponding to the second wireless communication method; A transmission delay and a second transmission delay are obtained to obtain a reference video frame in the first video frame.
  • the reference video frame in the first video frame can be accurately acquired, so that the target video frame can be accurately determined based on the reference video frame.
  • the terminal device After encoding the video frame to obtain the second video frame, it is ensured that the terminal device can decode the second video frame based on the reference video frame when the second video frame is transmitted to the terminal device through the second wireless communication method.
  • the manner of obtaining the reference video frame in the first video frame may be: determining the difference between the first transmission delay and the second transmission delay, Obtain the delay difference value; determine the interval frame number between the reference video frame and the target video frame according to the delay difference value and the frame interval time; obtain the number of frames in the first video frame according to the interval frame number and the identifier of the target video frame reference video frame.
  • the frame interval time is the absolute value of the time difference between two adjacent video frames, and the first transmission delay is greater than the second transmission delay.
  • the first transmission delay is t 1
  • the second transmission delay is t 2
  • the delay difference is ⁇ t
  • ⁇ t t 1 ⁇ t 2
  • the frame interval time is T
  • the movable platform can encode the target video frame in the initial video frame according to the video encoding algorithm corresponding to the second wireless communication mode and the reference video frame to obtain the second video frame, the second video frame includes P frame, the second video frame
  • the frame may be a single video frame, or may be a frame sequence composed of multiple video frames, which is not specifically limited in this embodiment of the present application.
  • the terminal device acquires the first video frame transmitted by the movable platform based on the first wireless communication method; acquires the second video frame transmitted by the movable platform based on the second wireless communication method; if acquired from the first video frame
  • the second video frame is decoded according to the reference video frame, that is, the reference video frame is reconstructed, and the second video frame is decoded according to the reconstructed reference video frame. It can take into account the advantages of the first wireless communication method and the second wireless communication method, improve the wireless image transmission quality between the mobile platform and the terminal device, and improve the user experience. By decoding the second video frame by referring to the video frame, the image can be guaranteed quality.
  • the first wireless communication mode and the second wireless communication mode are different wireless communication modes, and the first transmission delay corresponding to the first wireless communication mode is greater than the second transmission delay and/or the first transmission delay corresponding to the second wireless communication mode
  • the first transmission data volume corresponding to one wireless communication mode is greater than the second transmission data volume corresponding to the second wireless communication mode.
  • the first wireless communication method is a public communication method
  • the second wireless communication direction is a private communication method.
  • the public communication method includes but is not limited to 4G communication and 5G communication. SDR) Lightbridge and Ocusync, etc.
  • the real-time video backhaul between the mobile platform and the terminal device is mainly realized by private communication.
  • the video transmission system based on private communication has the advantage of low delay, but the throughput rate of the wireless channel will vary with the mobile platform.
  • the distance between the platform and the terminal device decreases rapidly as the distance increases, resulting in a decrease in image quality and poor user experience.
  • the public communication method has the characteristics of high delay and large amount of transmitted data.
  • the obtained initial video frame is encoded to obtain the first video frame, and the first video frame is transmitted to the terminal device through public communication; the reference video frame in the first video frame is obtained, and the initial video frame is compared based on the reference video frame
  • the target video frame in the frame is encoded to obtain the second video frame, and the second video frame is transmitted to the terminal device through the private communication mode, which can take into account the advantages of the public communication mode and the private communication mode, and make the mobile platform and the terminal device. It has the advantages of low transmission delay and large amount of transmitted data, which can ensure low delay while ensuring image quality.
  • the distance between the movable platform and the terminal device is obtained; if the distance is less than the preset distance, the initial video frame captured by the photographing device is encoded to obtain a third video frame;
  • the communication method that is, the private communication method transmits the third video frame to the terminal device, and the terminal device obtains the third video frame transmitted by the movable platform through the second wireless communication method, that is, the private communication method, and decodes the third video frame. And the decoded third video frame is displayed.
  • the preset distance may be set based on an actual situation, which is not specifically limited in this embodiment of the present application. Due to the low latency of the private communication method, the throughput rate of the wireless channel will decrease rapidly with the increase of the distance between the mobile platform and the terminal device. Therefore, the distance between the mobile platform and the terminal device is less than When the distance is fixed, the encoded video frames are transmitted through private communication, which can ensure low latency and ensure image quality.
  • steps S101 to S103 are performed, that is, the initial video frame captured by the photographing device is encoded to obtain the first video frame, and transmit the first video frame to the terminal device through the first wireless communication mode, that is, the public communication mode; obtain the reference video frame in the first video frame; and compare the target video frame in the initial video frame based on the reference video frame Encoding is performed to obtain a second video frame, and the second video frame is transmitted to the terminal device through a second wireless communication mode, that is, a private communication mode.
  • the throughput rate of the wireless channel will decrease rapidly with the increase of the distance between the mobile platform and the terminal device. Therefore, the distance between the mobile platform and the terminal device is greater than or equal to When it is equal to the set distance, the first video frame obtained by encoding is transmitted to the terminal device through public communication, and the second video frame obtained by encoding is transmitted to the terminal device through private communication, which can take into account both public communication and private communication.
  • the advantages of the mobile platform and the terminal device have the advantages of low transmission delay and large amount of transmitted data, which can ensure low delay and at the same time ensure image quality.
  • the method of obtaining the distance between the movable platform and the terminal device may be: obtaining the position information of the movable platform and the position information of the terminal device; according to the position information of the movable platform and the position information of the terminal device, Determine the distance between the movable platform and the end device.
  • the position information of the movable platform can be determined by the positioning device on the movable platform
  • the position information of the terminal device can be determined by the positioning device on the terminal device
  • the terminal device can be determined by the first wireless communication method or the second wireless communication method. position information is transmitted to the mobile platform.
  • the first transmission delay corresponding to the first wireless communication mode and the second transmission delay corresponding to the second wireless communication mode are obtained; the difference between the first transmission delay and the second transmission delay is determined to obtain: Delay difference; if the delay difference is greater than the preset threshold, encode the initial video frame captured by the shooting device to obtain a third video frame; transmit the third video frame to the terminal through the second wireless communication method
  • the device, the terminal device acquires the third video frame transmitted by the movable platform through the second wireless communication mode, that is, the private communication mode, decodes the third video frame, and displays the decoded third video frame.
  • the preset threshold may be set based on the actual situation, which is not specifically limited in this embodiment of the present application.
  • the difference between the first transmission delay and the second transmission delay that is, when the delay difference is large, the interval frame number between the reference video frame and the corresponding second video frame is large, and the reference video frame and the corresponding second video frame are larger.
  • the difference between the image data of the second video frame is relatively large.
  • the terminal device decodes the corresponding second video frame based on the reference video frame, the image quality of the decoded video frame is low. Therefore, when the delay difference is large, Only transmitting the encoded third video frame through the private communication mode can ensure low delay and at the same time ensure image quality.
  • steps S101 to S103 are performed, that is, the initial video frame captured by the photographing device is encoded to obtain the first video frame, and the first video frame is obtained through the first wireless
  • the communication method that is, the public communication method transmits the first video frame to the terminal device; obtains the reference video frame in the first video frame; encodes the target video frame in the initial video frame based on the reference video frame, and obtains the first video frame.
  • Two video frames, and the second video frames are transmitted to the terminal device through a second wireless communication method, that is, a private communication method.
  • the terminal device Since the difference between the first transmission delay and the second transmission delay, that is, when the delay difference is small, the number of frames between the reference video frame and the corresponding second video frame is small, the terminal device is based on the reference video frame. After the frame decodes the corresponding second video frame, the image quality of the decoded video frame is high. Therefore, when the delay difference is small, the encoded first video frame is transmitted to the terminal device through the public communication method, and the private The communication method transmits the encoded second video frame to the terminal device, which can take into account the advantages of the public communication method and the private communication method, so that the mobile platform and the terminal device have the advantages of low transmission delay and large amount of transmitted data, which can While ensuring low latency, image quality is guaranteed.
  • the first video frame is obtained by encoding the initial video frame obtained by the shooting device of the movable platform, and the first video frame is transmitted to the terminal device through the first wireless communication method, and the obtained video frame is obtained.
  • a reference video frame in the first video frame, and encoding the target video frame in the initial video frame based on the reference video frame to obtain a second video frame, and transmitting the second video frame to the terminal through a second wireless communication method The device transmits the encoded video frames to the terminal device through the first wireless communication method and the second wireless communication method at the same time, which can take into account the advantages of the first wireless communication method and the second wireless communication method, and improves the relationship between the mobile platform and the terminal device. improve the quality of wireless image transmission between users and improve user experience.
  • FIG. 4 is a schematic flowchart of steps of another video transmission method provided by an embodiment of the present application.
  • the video transmission method is applied to a terminal device, and the terminal device can communicate with the movable platform through the first wireless communication manner and the second wireless communication manner.
  • the video transmission method includes steps S201 to S203.
  • the movable platform obtains the initial video frame captured by the photographing device, and encodes the initial video frame captured by the photographing device according to a video coding algorithm corresponding to the first wireless communication mode to obtain the first video frame, and transmits the first video frame through the first wireless communication method.
  • the communication mode transmits the first video frame to the terminal device, and the terminal device obtains the first video frame transmitted by the movable platform based on the first wireless communication mode.
  • the first video frame includes an I frame and a P frame, and the first video frame may be a single video frame, or may be a frame sequence composed of multiple video frames, which is not specifically limited in this embodiment of the present application.
  • the wireless communication method is a public communication method, and the first wireless communication method includes but is not limited to 4G communication and 5G communication.
  • the movable platform obtains the reference video frame in the first video frame, encodes the target video frame in the initial video frame based on the reference video frame, obtains the second video frame, and transmits the second video frame through the second wireless communication method. It is transmitted to the terminal device, and the terminal device acquires the second video frame transmitted by the movable platform based on the second wireless communication method.
  • the movable platform can encode the target video frame in the initial video frame according to the video encoding algorithm corresponding to the second wireless communication mode and the reference video frame to obtain the second video frame, the second video frame includes P frame, the second video frame
  • the frame may be a single video frame, or may be a frame sequence composed of multiple video frames, which is not specifically limited in this embodiment of the present application.
  • the terminal device After acquiring the first video frame and the second video frame, acquires the reference video frame corresponding to the second video frame from the first video frame. If the reference video frame corresponding to the second video frame can be acquired from the first video frame video frame, the second video frame is decoded according to the reference video frame, that is, the reference video frame is reconstructed, and the second video frame is decoded according to the reconstructed reference video frame.
  • the first wireless communication mode and the second wireless communication mode are different wireless communication modes, and the first transmission delay corresponding to the first wireless communication mode is greater than the second transmission delay and/or the first transmission delay corresponding to the second wireless communication mode
  • the first transmission data volume corresponding to one wireless communication mode is greater than the second transmission data volume corresponding to the second wireless communication mode.
  • the first wireless communication method is a public communication method
  • the second wireless communication direction is a private communication method.
  • the public communication method includes but is not limited to 4G communication and 5G communication. SDR) Lightbridge and Ocusync, etc.
  • the first wireless communication mode as 5G communication and the private communication mode as SDR as an example to explain the video transmission between the mobile platform and the terminal device, as shown in Figure 5, there are a total of 5 initial video frames, and the frame numbers are respectively 0, 1, 2, 3, and 4, encode the initial video frames with frame numbers 0, 1, 2, 3, and 4 by the video encoder to obtain five first video frames, and the first video frame with frame number 0
  • the video frame is an I frame, and the first video frames with frame numbers 1, 2, 3, and 4 are all P frames.
  • the video encoder encodes the initial video frames with frame numbers 1, 2, 3, and 4 to obtain frames.
  • the second video frames with numbers 1, 2, 3, and 4 are all P frames, and the reference video frame of the initial video frame with frame number 1 is the first video frame with frame number 0 (frame number is 0). 1), the reference video frame of the initial video frame whose frame number is 2 is the first video frame whose frame number is 1 (the encoding of the second video frame whose frame number is 2), and the frame number is 3 The reference video frame of the initial video frame is the first video frame whose frame number is 2 (the encoding of the second video frame whose frame number is 3), and the reference video frame of the initial video frame whose frame number is 4 is the frame number 3.
  • the first video frame (the encoding of the second video frame with frame number 4), the movable platform transmits the first video frame with frame numbers 0, 1, 2, 3 and 4 to the terminal device through 5G communication, and at the same time through SDR
  • the second video frames with frame numbers 1, 2, 3 and 4 are transmitted to the terminal device, and the terminal device decodes the second video frame with frame number 1 based on the first video frame with frame number 0 through the video decoder,
  • the second video frame with frame number 2 is decoded based on the first video frame with frame number 1
  • the second video frame with frame number 3 is decoded based on the first video frame with frame number 2
  • the second video frame with frame number 3 is decoded based on the first video frame with frame number 2.
  • the first video frame of 3 decodes the second video frame of frame number 4, and the terminal device decodes the first video frame of frame number 1 based on the first video frame of frame number 0.
  • the first video frame decodes the first video frame with frame number 2, decodes the first video frame with frame number 3 based on the first video frame with frame number 2, and decodes the first video frame with frame number 3 based on the first video frame with frame number 2 Decode the first video frame with frame number 4.
  • the second video frame received by the terminal device is buffered;
  • the buffered second video frame is decoded according to the reference video frame corresponding to the second video frame.
  • the waiting time required for the reference video frame corresponding to the second video frame to arrive at the terminal device is estimated; If the duration is less than or equal to the preset waiting duration, the second video frame received by the terminal device is cached; when the terminal device receives the reference video frame corresponding to the second video frame, the cache is stored according to the reference video frame corresponding to the second video frame.
  • the received second video frame is decoded; if the waiting time is longer than the preset waiting time, the received second video frame is discarded.
  • the preset waiting period may be set based on the actual situation, which is not specifically limited in this embodiment of the present application.
  • the terminal device By estimating the waiting time required for the reference video frame corresponding to the second video frame to arrive at the terminal device when the reference video frame corresponding to the second video frame is not obtained from the first video frame, when the waiting time is greater than the set value , discard the corresponding second video frame, and buffer the corresponding second video frame when the waiting time is less than the set value.
  • the terminal device receives the reference video frame corresponding to the buffered second video frame, according to the received reference video frame
  • the video frame decodes the buffered second video frame, which can reduce discarded video frames and improve image quality.
  • the method of estimating the waiting time required for the reference video frame of the second video frame to arrive at the terminal device may be: acquiring the identifier of the first video frame received by the terminal device, the reference corresponding to the second video frame.
  • the identifier of the video frame and the frame interval time may be: according to the identifier of the first video frame received by the terminal device, the identifier of the reference video frame corresponding to the second video frame, and the frame interval time, estimate the reference corresponding to the second video frame.
  • the identifier is represented by a frame number
  • the frame number of the first video frame received by the terminal device is n 1
  • the frame number of the reference video frame corresponding to the second video frame is n 2
  • the frame interval is T
  • the first video frame transmitted by the movable platform based on the first wireless communication mode is obtained; the second video frame transmitted by the movable platform based on the second wireless communication mode is obtained; After obtaining the reference video frame corresponding to the second video frame, the second video frame is decoded according to the reference video frame, that is, the reference video frame is reconstructed, and the second video frame is decoded according to the reconstructed reference video frame,
  • the advantages of the first wireless communication method and the second wireless communication method can be taken into account, the wireless image transmission quality between the mobile platform and the terminal device can be improved, the user experience can be improved, and the image quality can also be improved.
  • FIG. 6 is a schematic structural block diagram of a movable platform provided by an embodiment of the present application.
  • the movable platform can communicate with the terminal device through the first wireless communication mode and the second wireless communication mode.
  • the movable platform 300 includes a photographing device 301, one or more processors 302 and a memory 303.
  • the photographing device 301 , One or more processors 302 and the memory 303 are connected through a bus 304, and the bus 304 is, for example, an I2C (Inter-integrated Circuit) bus.
  • the movable platform 300 includes movable robots, unmanned aerial vehicles, and unmanned vehicles. It can also be a fixed-wing UAV, or a combination of a rotary-wing type and a fixed-wing UAV, which is not limited here.
  • the processor 302 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU) or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 303 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a removable hard disk, or the like.
  • ROM Read-Only Memory
  • the memory 303 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a removable hard disk, or the like.
  • the one or more processors 302 are configured to run the computer program stored in the memory 303, and implement the following steps when executing the computer program:
  • the target video frame in the initial video frame is encoded based on the reference video frame to obtain a second video frame, and the second video frame is transmitted to the terminal device through the second wireless communication method.
  • the first transmission delay corresponding to the first wireless communication mode is greater than the second transmission delay corresponding to the second wireless communication mode.
  • the first transmission data volume corresponding to the first wireless communication mode is greater than the second transmission data volume corresponding to the second wireless communication mode.
  • the first wireless communication method is a public communication method
  • the second wireless communication method is a private communication method
  • the first wireless communication manner includes 4G communication and 5G communication.
  • the identifier of the reference video frame and the identifier of the target video frame satisfy a preset relationship.
  • the identifier is represented by a frame number
  • the preset relationship includes that the frame number of the reference video frame is smaller than the frame number of the target video frame.
  • the preset relationship further includes that the difference between the frame number of the target video frame and the frame number of the reference video frame is a preset value.
  • the difference between the frame number of the target video frame and the frame number of the reference video frame and the first transmission delay corresponding to the first wireless communication mode and the second wireless communication It is related to the difference of the second transmission delay corresponding to the mode.
  • the obtaining a reference video frame in the first video frame includes:
  • the obtaining the reference frame identifier includes:
  • the reference frame identifier is obtained according to the identifier of the target video frame.
  • the obtaining the reference frame identifier includes:
  • the reference frame identifier is obtained according to the identifier of the first video frame received by the terminal device fed back by the terminal device.
  • the acquiring the identifier of the first video frame received by the terminal device that is fed back by the terminal device includes:
  • the obtaining a reference video frame in the first video frame includes:
  • the obtaining a reference video frame in the first video frame according to the first transmission delay and the second transmission delay includes:
  • the delay difference value and the frame interval time determine the interval frame number between the reference video frame and the target video frame
  • encoding the initial video frame captured by the capturing device to obtain a first video frame, and transmitting the first video frame to the terminal device through the first wireless communication method Before, also included:
  • the distance is greater than or equal to the preset distance, perform encoding on the initial video frame captured by the photographing device to obtain a first video frame, and transmit the first video frame through the first wireless communication method steps to the terminal device.
  • the processor is further configured to implement the following steps:
  • the third video frame is transmitted to the terminal device through the second wireless communication method.
  • the acquiring the distance between the movable platform and the terminal device includes:
  • the distance between the movable platform and the terminal device is determined.
  • the processor is further configured to implement the following steps:
  • the third video frame is transmitted to the terminal device through the second wireless communication method.
  • the first video frame includes an I frame and a P frame
  • the second video frame includes a P frame
  • the encoding of the initial video frame obtained by the photographing device to obtain the first video frame includes:
  • the encoding of the target video frame in the initial video frame based on the reference video frame to obtain a second video frame including:
  • the target video frame in the initial video frame is encoded according to the video encoding algorithm corresponding to the second wireless communication mode and the reference video frame to obtain a second video frame.
  • FIG. 7 is a schematic structural block diagram of another movable platform provided by an embodiment of the present application.
  • the movable platform can communicate with the terminal device through the first wireless communication mode and the second wireless communication mode.
  • the movable platform 400 includes a photographing device 401, a first wireless communication device 402 and a second wireless communication device 403, in:
  • the first wireless communication device 402 is configured to: encode the initial video frame captured by the photographing device to obtain a first video frame, and transmit the first video frame to the first video frame through the first wireless communication manner. the terminal equipment;
  • the second wireless communication device 403 is configured to: obtain a reference video frame in the first video frame; encode a target video frame in the initial video frame based on the reference video frame to obtain a second video frame, and transmitting the second video frame to the terminal device through the second wireless communication method.
  • the first transmission delay corresponding to the first wireless communication mode is greater than the second transmission delay corresponding to the second wireless communication mode.
  • the first transmission data volume corresponding to the first wireless communication mode is greater than the second transmission data volume corresponding to the second wireless communication mode.
  • the first wireless communication method is a public communication method
  • the second wireless communication method is a private communication method
  • the first wireless communication manner includes 4G communication and 5G communication.
  • the identifier of the reference video frame and the identifier of the target video frame satisfy a preset relationship.
  • the identifier is represented by a frame number
  • the preset relationship includes that the frame number of the reference video frame is smaller than the frame number of the target video frame.
  • the preset relationship further includes that the difference between the frame number of the target video frame and the frame number of the reference video frame is a preset value.
  • the difference between the frame number of the target video frame and the frame number of the reference video frame and the first transmission delay corresponding to the first wireless communication mode and the second wireless communication It is related to the difference of the second transmission delay corresponding to the mode.
  • the second wireless communication device 403 is further configured to:
  • the obtaining the reference frame identifier includes:
  • the reference frame identifier is obtained according to the identifier of the target video frame.
  • the second wireless communication device 403 is further configured to:
  • the reference frame identifier is obtained according to the identifier of the first video frame received by the terminal device fed back by the terminal device.
  • the second wireless communication device 403 is further configured to:
  • the second wireless communication device 403 is further configured to:
  • the second wireless communication device 403 is further configured to:
  • the delay difference value and the frame interval time determine the interval frame number between the reference video frame and the target video frame
  • the movable platform further includes one or more processors for implementing the following steps:
  • the second wireless communication device 403 is controlled to encode the initial video frame captured by the photographing device to obtain the first video frame, and the first video frame is obtained by using the first wireless communication method.
  • the first video frame is transmitted to the terminal device.
  • the second wireless communication device 403 is further configured to:
  • the acquiring the distance between the movable platform and the terminal device includes:
  • the distance between the movable platform and the terminal device is determined.
  • the second wireless communication device 403 is further configured to:
  • the third video frame is transmitted to the terminal device through the second wireless communication method.
  • the first video frame includes an I frame and a P frame
  • the second video frame includes a P frame
  • the first wireless communication device 402 is further configured to:
  • the second wireless communication device 403 is also used for:
  • the target video frame in the initial video frame is encoded according to the video encoding algorithm corresponding to the second wireless communication mode and the reference video frame to obtain a second video frame.
  • FIG. 8 is a schematic structural block diagram of a terminal device provided by an embodiment of the present application.
  • the terminal device 500 includes one or more processors 501 and a memory 502, and the one or more processors 501 and the memory 502 are connected through a bus 503, such as an I2C (Inter-integrated Circuit) bus.
  • the terminal device 500 can communicate with the movable platform through the first wireless communication method and the second wireless communication method.
  • the terminal device 500 includes a remote controller, a ground control platform, a mobile phone, a tablet computer, a notebook computer, a PC computer, and the like.
  • the processor 501 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 502 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a mobile hard disk, and the like.
  • ROM Read-Only Memory
  • the memory 502 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a mobile hard disk, and the like.
  • the processor 501 is used for running the computer program stored in the memory 502, and implements the following steps when executing the computer program:
  • the second video frame is decoded according to the reference video frame.
  • the first transmission delay corresponding to the first wireless communication mode is greater than the second transmission delay corresponding to the second wireless communication mode.
  • the first transmission data volume corresponding to the first wireless communication mode is greater than the second transmission data volume corresponding to the second wireless communication mode.
  • the first wireless communication method is a public communication method
  • the second wireless communication method is a private communication method
  • the first wireless communication manner includes 4G communication and 5G communication.
  • the processor is further configured to implement the following steps:
  • the buffered second video frame is decoded according to the reference video frame corresponding to the second video frame.
  • the method before the buffering the second video frame received by the terminal device, the method further includes:
  • the second video frame received by the terminal device is buffered.
  • the estimating the waiting time required for the reference video frame of the second video frame to arrive at the terminal device includes:
  • the identifier of the first video frame received by the terminal device the identifier of the reference video frame corresponding to the second video frame, and the frame interval time, it is estimated that the reference video frame corresponding to the second video frame arrives at the The waiting time required by the terminal device.
  • the processor is further configured to implement the following steps:
  • the received second video frame is discarded.
  • the decoding the second video frame according to the reference video frame includes:
  • the reference video frame is reconstructed, and the second video frame is decoded according to the reconstructed reference video frame.
  • FIG. 9 is a schematic structural block diagram of another terminal device provided by an embodiment of the present application.
  • the terminal device 600 includes a third wireless communication device 601 and a fourth wireless communication device 602, and the terminal device 600 can communicate with the mobile platform through the first wireless communication mode and the second wireless communication mode, wherein:
  • the third wireless communication device 601 is configured to: acquire a first video frame transmitted by the movable platform based on the first wireless communication manner;
  • the fourth wireless communication device 602 is configured to: acquire a second video frame transmitted by the movable platform based on the second wireless communication manner;
  • the second video frame is decoded according to the reference video frame.
  • the first transmission delay corresponding to the first wireless communication mode is greater than the second transmission delay corresponding to the second wireless communication mode.
  • the first transmission data volume corresponding to the first wireless communication mode is greater than the second transmission data volume corresponding to the second wireless communication mode.
  • the first wireless communication method is a public communication method
  • the second wireless communication method is a private communication method
  • the first wireless communication manner includes 4G communication and 5G communication.
  • the fourth wireless communication device 602 is further configured to:
  • the buffered second video frame is decoded according to the reference video frame corresponding to the second video frame.
  • the fourth wireless communication device 602 is further configured to:
  • the second video frame received by the terminal device is buffered.
  • the fourth wireless communication device 602 is further configured to:
  • the identifier of the first video frame received by the terminal device the identifier of the reference video frame corresponding to the second video frame, and the frame interval time, it is estimated that the reference video frame corresponding to the second video frame arrives at the The waiting time required by the terminal device.
  • the fourth wireless communication device 602 is further configured to:
  • the received second video frame is discarded.
  • the fourth wireless communication device 602 is further configured to:
  • the reference video frame is reconstructed, and the second video frame is decoded according to the reconstructed reference video frame.
  • FIG. 10 is a schematic structural block diagram of a video transmission system provided by an embodiment of the present application.
  • the video transmission system 700 includes a movable platform 701 and a terminal device 702, and the movable platform 701 and the terminal device 702 can communicate through a first wireless communication manner and a second wireless communication manner.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and the computer program includes program instructions, and the one or more processors execute the program instructions , to implement the steps of the video transmission method provided by the foregoing embodiments.
  • the computer-readable storage medium may be an internal storage unit of the removable platform or terminal device described in any of the foregoing embodiments, such as a hard disk or memory of the removable platform or terminal device.
  • the computer-readable storage medium may also be an external storage device of the removable platform or terminal device, for example, a pluggable hard disk equipped on the removable platform or terminal device, a smart memory card (Smart Media Card, SMC) , Secure Digital (SD) card, flash memory card (Flash Card), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了一种视频传输方法、可移动平台、终端设备及存储介质，该方法包括：通过第一无线通信方式将编码得到的第一视频帧传输至终端设备(S101)；获取参考视频帧(S102)；通过第二无线通信方式将基于参考视频帧对目标视频帧进行编码得到的第二视频帧传输至终端设备(S103)。本申请提高了可移动平台的无线图传质量。

Description

视频传输方法、可移动平台、终端设备、系统及存储介质 技术领域
本申请涉及无线图传技术领域，尤其涉及一种视频传输方法、可移动平台、终端设备及存储介质。
背景技术
目前，可移动平台可以通过无线通信方式将拍摄得到的视频实时传输至终端设备，由终端设备显示传输的视频画面，可移动平台与终端设备之间的视频实时传输主要是通过私有通信方式实现的。以可移动平台为无人机为例，现有技术中，无人机和终端设备的通信方式大多数是基于软件无线电(Software Defined Radio，SDR)，然而，采用这种单一的无线通信方式实现视频实时传输难以满足用户日益增长的对时延、图像传输质量等多种性能指标的要求。
发明内容
基于此，本申请实施例提供了一种视频传输方法、可移动平台、终端设备及存储介质，旨在提高可移动平台与终端设备之间的无线图传质量。
第一方面，本申请实施例提供了一种视频传输方法，应用于可移动平台，所述可移动平台包括拍摄装置，所述可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信，所述方法包括：
对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
获取所述第一视频帧中的参考视频帧；
基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
第二方面，本申请实施例还提供了一种视频传输方法，应用于终端设备，所述终端设备能够通过第一无线通信方式和第二无线通信方式与可移动平台通信，所述方法包括：
获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；
若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
第三方面，本申请实施例还提供了一种可移动平台，所述可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信；
所述可移动平台包括拍摄装置、存储器和一个或多个处理器；
所述存储器，用于存储计算机程序；
所述一个或多个处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
获取所述第一视频帧中的参考视频帧；
基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
第四方面，本申请实施例还提供了一种可移动平台，所述可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信；
所述可移动平台包括拍摄装置、第一无线通信装置和第二无线通信装置；
所述第一无线通信装置用于：对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
所述第二无线通信装置用于：获取所述第一视频帧中的参考视频帧；基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
第五方面，本申请实施例还提供了一种终端设备，所述终端设备包括存储器和一个或多个处理器；
所述存储器，用于存储计算机程序；
所述一个或多个处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；
若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
第六方面，本申请实施例还提供了一种终端设备，所述终端设备能够通过第一无线通信方式和第二无线通信方式与可移动平台通信；
所述终端设备包括第三无线通信装置和第四无线通信装置；
所述第三无线通信装置用于：获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
所述第四无线通信装置用于：获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；以及
若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
第七方面，本申请实施例还提供了一种视频传输系统，所述视频传输系统包括如前所述可移动平台和如前所述的任一项终端设备，所述可移动平台与所述终端设备能够通过第一无线通信方式和第二无线通信方式实现通信。
第八方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时使所述一个或多个处理器实现如前所述的视频传输方法的步骤。
本申请实施例提供了一种视频传输方法、可移动平台、终端设备、系统及存储介质，通过对可移动平台的拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过第一无线通信方式将第一视频帧传输至终端设备，获取第一视频帧中的参考视频帧，并基于该参考视频帧对该初始视频帧中的目标视频帧进行编码，得到第二视频帧，且通过第二无线通信方式将第二视频帧传输至终端设备，通过第一无线通信方式和第二无线通信方式将编码后的视频帧传输至终端设备，能够兼顾第一无线通信方式和第二无线通信方式的优点，提高可移动平台与终端设备之间的无线图传质量，提高用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的视频传输方法的一场景示意图；
图2是本申请实施例提供的一种视频传输方法的步骤示意流程图；
图3是图2中的视频传输方法的子步骤示意流程图；
图4是本申请实施例提供的另一种视频传输方法的步骤示意流程图；
图5是本申请实施例中可移动平台与终端设备之间传输视频帧的一场景示意图；
图6是本申请实施例提供的一种可移动平台的结构示意性框图；
图7是本申请实施例提供的另一种可移动平台的结构示意性框图；
图8是本申请实施例提供的一种终端设备的结构示意性框图；
图9是本申请实施例提供的另一种终端设备的结构示意性框图；
图10是本申请实施例提供的一种视频传输系统的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
基于上述问题，本申请实施例提供一种视频传输方法、可移动平台、终端设备、系统及存储介质，该视频传输方法可以应用于可移动平台，也可以应用于终端设备，也可以应用于视频传输系统，请参阅图1，图1是实施本申请实施例提供的视频传输方法的一场景示意图，如图1所示，该场景包括可移动平台100和终端设备200，可移动平台100与终端设备200能够通过第一无线通信方式和第二无线通信方式与终端设备通信，可移动平台100与终端设备200之间建立有第一无线通信链路10和第二无线通信链路20，第一无线通信链路10通过第一无线通信方式实现，第二无线通信链路20通过第二无线通信方式实现，该可移动平台100包括拍摄装置101。
在一实施例中，可移动平台100对拍摄装置101拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过第一无线通信方式将第一视频帧传输至终端 设备200，也即通过第一无线通信链路10将第一视频帧传输至终端设备200；获取第一视频帧中的参考视频帧，并基于该参考视频帧对该初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过该第二无线通信方式将第二视频帧传输至终端设备200，也即通过第二无线通信链路20将第二视频帧传输至终端设备200；终端设备200获取可移动平台100基于第一无线通信方式传输的第一视频帧，也即通过第一无线通信链路10获取可移动平台100传输的第一视频帧；获取可移动平台100基于第二无线通信方式传输的第二视频帧，也即通过第二无线通信链路20获取可移动平台100传输的第一视频帧；若从第一视频帧中获取到第二视频帧对应的参考视频帧，则根据该参考视频帧对第二视频帧进行解码。
其中，可移动平台100包括可移动机器人、无人机和无人汽车等，终端设备200包括遥控器、地面控制平台、手机、平板电脑、笔记本电脑和PC电脑等，无人机可以是旋翼飞机。在某些情形下，无人机可以是可包括多个旋翼的多旋翼飞行器。多个旋翼可旋转而为无人机产生提升力。旋翼可以是推进单元，可使得无人机在空中自由移动。旋翼可按相同速率旋转和/或可产生相同量的提升力或推力。旋翼可按不同的速率随意地旋转，产生不同量的提升力或推力和/或允许无人机旋转。在某些情形下，在无人机上可提供一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。这些旋翼可布置成其旋转轴彼此平行。在某些情形下，旋翼的旋转轴可相对于彼此呈任意角度，从而可影响无人机的运动。
无人机可具有多个旋翼。旋翼可连接至无人机的本体，本体可包含控制单元、惯性测量单元(inertial measuring unit，IMU)、处理器、电池、电源和/或其他传感器。旋翼可通过从本体中心部分分支出来的一个或多个臂或延伸而连接至本体。例如，一个或多个臂可从无人机的中心本体放射状延伸出来，而且在臂末端或靠近末端处可具有旋翼。
请参阅图2，图2是本申请实施例提供的一种视频传输方法的步骤示意流程图。该视频传输方法可以应用于可移动平台，可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信。
如图2所示，该视频传输方法包括步骤S101至步骤S103。
S101、对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备。
其中，可移动平台包括拍摄装置，该拍摄装置可以搭载在可移动平台的云 台上，也可以与可移动平台一体化设置，通过该拍摄装置可以对可移动平台所处环境进行拍摄，得到初始视频帧，该初始视频帧可以为单个的视频帧，也可以为由多个视频帧组成的帧序列，本申请实施例对此不做具体限定。
在一实施例中，可移动平台获取该拍摄装置拍摄到的初始视频帧，并根据第一无线通信方式对应的视频编码算法对该拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过第一无线通信方式将第一视频帧传输至终端设备。其中，第一视频帧包括I帧和P帧，第一视频帧可以为单个的视频帧，也可以为由多个视频帧组成的帧序列，本申请实施例对此不做具体限定，第一无线通信方式为公有通信方式，第一无线通信方式包括但不限于4G通信和5G通信。
S102、获取所述第一视频帧中的参考视频帧。
其中，通过获取第一视频帧中的参考视频帧，便于后续基于参考视频帧对初始视频帧中的目标视频帧进行编码，目标视频帧编码时参考的是拍摄时间位于目标视频帧之前的视频帧。
在一实施例中，如图3所示，步骤S102可以包括子步骤S1021至S1022。
S1021、获取参考帧标识符。
其中，参考帧标识符为参考视频帧的标识符，用于标识参考视频帧，参考视频帧的标识符和目标视频帧的标识符满足预设关系，例如，标识符用帧号表示，该帧号是按照各个初始视频帧的拍摄时间确定的，预设关系包括参考视频帧的帧号小于目标视频帧的帧号。
在一实施例中，预设关系还包括目标视频帧的帧号与参考视频帧的帧号之间的差值为预设值，该预设值可以根据第一无线通信方式对应的第一传输延时与第二无线通信方式对应的第二传输延时确定。
在一实施例中，该目标视频帧的帧号与参考视频帧的帧号之间的差值和第一无线通信方式对应的第一传输延时与第二无线通信方式对应的第二传输延时的差值有关，记该目标视频帧的帧号与参考视频帧的帧号之间的差值为帧号差值，第一无线通信方式对应的第一传输延时与第二无线通信方式对应的第二传输延时的差值为延时差值，则帧号差值与延时差值有关，具体为：帧号差值可以根据延时差值和帧间隔时间确定，例如，延时差值为Δt，帧间隔时间为T，因此帧号差值为Δt/T，或者说帧号差值大于等于Δt/T。
在一实施例中，获取目标视频帧的标识符；根据目标视频帧的标识符，获取参考帧标识符，即获取目标视频帧与参考视频帧的间隔帧数，并根据目标视 频帧的标识符和该间隔帧数，获取参考帧标识符。通过间隔帧数和目标视频帧的标识符，可以准确地确定参考帧标识符，便于后续基于该参考帧标识符对应的参考视频帧对目标视频帧进行编码，得到第二视频帧，能够保证在通过第二无线通信方式将第二视频帧传输至终端设备时，终端设备能够基于参考视频帧对第二视频帧进行解码。
其中，目标视频帧的标识符与参考帧标识符满足预设关系，标识符用帧号表示，则该预设关系包括参考视频帧的帧号小于目标视频帧的帧号，该间隔帧数可以根据第一无线通信方式对应的第一传输延时和第二无线通信方式对应的第二传输延时确定。例如，目标视频帧的帧号为n 1，间隔帧数为m，则参考视频帧的帧号为n 2，且n 2＝n 1-m。
在一实施例中，获取终端设备反馈的终端设备接收到的第一视频帧的标识符；根据终端设备反馈的终端设备接收到的第一视频帧的标识符，得到参考帧标识符，即将终端设备反馈的终端设备接收到的第一视频帧的标识符作为参考帧标识符。其中，终端设备可以通过第一无线通信方式或第二无线通信方式向可移动平台反馈终端设备接收到的第一视频帧的标识符，也即可移动平台获取终端设备基于第一无线通信方式或第二无线通信方式反馈的终端设备接收到的第一视频帧的标识符。通过将终端设备反馈的终端设备接收到的第一视频帧的标识符作为参考帧标识符，使得后续基于该参考帧标识符对应的参考视频帧对目标视频帧进行编码，得到第二视频帧后，保证在通过第二无线通信方式将第二视频帧传输至终端设备时，终端设备可以基于参考视频帧对第二视频帧进行解码。
S1022、根据所述参考帧标识符获取所述第一视频帧中的参考视频帧。
在获取到参考帧标识符后，可以根据该参考帧标识符获取第一视频帧中的参考视频帧。
在一实施例中，获取第一视频帧中的参考视频帧的方式可以为：获取第一无线通信方式对应的第一传输延时和第二无线通信方式对应的第二传输延时；根据第一传输延时和第二传输延时，获取第一视频帧中的参考视频帧。通过第一无线通信方式对应的第一传输延时和第二无线通信方式对应的第二传输延时，能够准确地获取第一视频帧中的参考视频帧，使得后续基于该参考视频帧对目标视频帧进行编码，得到第二视频帧后，保证在通过第二无线通信方式将第二视频帧传输至终端设备时，终端设备可以基于参考视频帧对第二视频帧进行解码。
在一实施例中，根据第一传输延时和第二传输延时，获取第一视频帧中的参考视频帧的方式可以为：确定第一传输延时与第二传输延时的差值，得到延时差值；根据该延时差值和帧间隔时间，确定该参考视频帧与目标视频帧的间隔帧数；根据该间隔帧数和目标视频帧的标识符，获取第一视频帧中的参考视频帧。其中，帧间隔时间为相邻的两个视频帧之间的时间差值的绝对值，第一传输延时大于第二传输延时。示例性的，第一传输延时为t 1，第二传输延时为t 2，延时差值为Δt，且Δt＝t 1-t 2，帧间隔时间为T，因此间隔帧数为M，且M＝Δt/T，例如，Δt＝0.5秒，T＝0.1秒，则M＝0.5/0.1＝5，且目标视频帧的标识符为N＝100，则参考视频帧的标识符为N+M＝100+5＝105。
S103、基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
在获取到第一视频帧中的参考视频帧后，基于该参考视频帧对初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过第二无线通信方式将第二视频帧传输至终端设备。其中，可移动平台可以根据第二无线通信方式对应的视频编码算法和参考视频帧对初始视频帧中的目标视频帧进行编码，得到第二视频帧，第二视频帧包括P帧，第二视频帧可以为单个的视频帧，也可以为由多个视频帧组成的帧序列，本申请实施例对此不做具体限定。
在一实施例中，终端设备获取可移动平台基于第一无线通信方式传输的第一视频帧；获取可移动平台基于第二无线通信方式传输的第二视频帧；若从第一视频帧中获取到第二视频帧对应的参考视频帧，则根据参考视频帧对第二视频帧进行解码，即对该参考视频帧进行重建，并根据重建后的参考视频帧对第二视频帧进行解码。能够兼顾第一无线通信方式和第二无线通信方式的优点，提高可移动平台与终端设备之间的无线图传质量，提高用户体验，通过参考视频帧对第二视频帧进行解码，可以保证图像质量。
其中，第一无线通信方式与第二无线通信方式为不相同的无线通信方式，第一无线通信方式对应的第一传输延时大于第二无线通信方式对应的第二传输延时和/或第一无线通信方式对应的第一传输数据量大于第二无线通信方式对应的第二传输数据量。例如，第一无线通信方式为公有通信方式，第二无线通信方向为私有通信方式，公有通信方式包括但不限于4G通信和5G通信，私有通信方式包括但不限于基于软件无线电(Software Defined Radio，SDR)的Lightbridge和Ocusync等。
目前，可移动平台与终端设备之间的视频实时回传主要是通过私有通信方式实现的，基于私有通信方式实现的视频传输系统具备延迟低的优势，但无线信道的吞吐率会随着可移动平台与终端设备之间的距离的增加而快速下降，导致图像质量下降，用户体验不好，而公有通信方式具备高延迟和大传输数据量的特定，本申请实施例的技术方案对拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过公有通信方式将第一视频帧传输至终端设备；获取所述第一视频帧中的参考视频帧，并基于参考视频帧对初始视频帧中的目标视频帧进行编码，得到第二视频帧，且通过私有通信方式将第二视频帧传输至终端设备，能够兼顾公有通信方式和私有通信方式的优点，使可移动平台与终端设备之间具备传输延迟低，且传输数据量大的优势，能够在保证低延迟的同时，保证图像质量。
在一实施例中，获取可移动平台与终端设备之间的距离；若该距离小于预设距离，则对该拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；通过第二无线通信方式，即私有通信方式将第三视频帧传输至终端设备，终端设备获取可移动平台通过第二无线通信方式，即私有通信方式传输的第三视频帧，并对第三视频帧进行解码，且显示解码后的第三视频帧。其中，预设距离可基于实际情况进行设置，本申请实施例对此不做具体限定。由于私有通信方式具备低延迟，但无线信道的吞吐率会随着可移动平台与终端设备之间的距离的增加而快速下降的特点，因此，在可移动平台与终端设备之间的距离小于设定的距离时，通过私有通信方式传输编码后的视频帧，能够在保证低延迟的同时，保证图像质量。
在一实施例中，若可移动平台与终端设备之间的距离大于或等于预设距离，则执行步骤S101至S103，即对拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过第一无线通信方式，即公有通信方式将所述第一视频帧传输至所述终端设备；获取第一视频帧中的参考视频帧；基于参考视频帧对初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过第二无线通信方式，即私有通信方式将第二视频帧传输至终端设备。由于私有通信方式具备低延迟，但无线信道的吞吐率会随着可移动平台与终端设备之间的距离的增加而快速下降的特点，因此，在可移动平台与终端设备之间的距离大于或等于设定的距离时，通过公有通信方式将编码得到第一视频帧传输至终端设备，同时通过私有通信方式将编码得到的第二视频帧传输至终端设备，能够兼顾公有通信方式和私有通信方式的优点，使可移动平台与终端设备之间具备传输延迟低， 且传输数据量大的优势，能够在保证低延迟的同时，保证图像质量。
在一实施例中，获取可移动平台与终端设备之间的距离的方式可以为：获取可移动平台的位置信息和终端设备的位置信息；根据可移动平台的位置信息和终端设备的位置信息，确定可移动平台与终端设备之间的距离。其中，可移动平台的位置信息可以通过可移动平台上的定位装置确定，终端设备的位置信息可以通过终端设备上的定位装置确定，并通过第一无线通信方式或第二无线通信方式将终端设备的位置信息传输至可移动平台。
在一实施例中，获取第一无线通信方式对应的第一传输延时和第二无线通信方式对应的第二传输延时；确定第一传输延时与第二传输延时的差值，得到延时差值；若该延时差值大于预设阈值，则对该拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；通过第二无线通信方式将第三视频帧传输至终端设备，终端设备获取可移动平台通过第二无线通信方式，即私有通信方式传输的第三视频帧，并对第三视频帧进行解码，且显示解码后的第三视频帧。其中，预设阈值可基于实际情况进行设置，本申请实施例对此不做具体限定。由于在第一传输延时与第二传输延时的差值，即延时差值较大时，参考视频帧与对应的第二视频帧之间的间隔帧数较大，参考视频帧与对应的第二视频帧的图像数据相差较大，终端设备在基于参考视频帧解码对应的第二视频帧后，解码得到的视频帧的图像质量较低，因此，在延时差值较大时，仅通过私有通信方式传输编码得到的第三视频帧，能够在保证低延迟的同时，保证图像质量。
在一实施例中，若该延时差值小于或等于预设阈值，则执行步骤S101至S103，即对拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过第一无线通信方式，即公有通信方式将所述第一视频帧传输至所述终端设备；获取第一视频帧中的参考视频帧；基于参考视频帧对初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过第二无线通信方式，即私有通信方式将第二视频帧传输至终端设备。由于在第一传输延时与第二传输延时的差值，即延时差值较小时，参考视频帧与对应的第二视频帧之间的间隔帧数较小，终端设备在基于参考视频帧解码对应的第二视频帧后，解码得到的视频帧的图像质量较高，因此，在延时差值较小时，通过公有通信方式将编码得到第一视频帧传输至终端设备，同时通过私有通信方式将编码得到的第二视频帧传输至终端设备，能够兼顾公有通信方式和私有通信方式的优点，使可移动平台与终端设备之间具备传输延迟低，且传输数据量大的优势，能够在保证低延迟的同时，保证图像质量。
上述实施例提供的视频传输方法，通过对可移动平台的拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过第一无线通信方式将第一视频帧传输至终端设备，获取第一视频帧中的参考视频帧，并基于该参考视频帧对该初始视频帧中的目标视频帧进行编码，得到第二视频帧，且通过第二无线通信方式将第二视频帧传输至终端设备，通过第一无线通信方式和第二无线通信方式同时将编码后的视频帧传输至终端设备，能够兼顾第一无线通信方式和第二无线通信方式的优点，提高可移动平台与终端设备之间的无线图传质量，提高用户体验。
请参阅图4，图4是本申请实施例提供的另一种视频传输方法的步骤示意流程图。该视频传输方法应用于终端设备，终端设备能够通过第一无线通信方式和第二无线通信方式与可移动平台通信。
如图4所示，该视频传输方法包括步骤S201至S203。
S201、获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧。
可移动平台获取该拍摄装置拍摄到的初始视频帧，并根据第一无线通信方式对应的视频编码算法对该拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过第一无线通信方式将第一视频帧传输至终端设备，终端设备获取可移动平台基于第一无线通信方式传输的第一视频帧。其中，第一视频帧包括I帧和P帧，第一视频帧可以为单个的视频帧，也可以为由多个视频帧组成的帧序列，本申请实施例对此不做具体限定，第一无线通信方式为公有通信方式，第一无线通信方式包括但不限于4G通信和5G通信。
S202、获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧。
可移动平台获取第一视频帧中的参考视频帧，并基于该参考视频帧对初始视频帧中的目标视频帧进行编码，得到第二视频帧，且通过第二无线通信方式将第二视频帧传输至终端设备，终端设备获取可移动平台基于第二无线通信方式传输的第二视频帧。其中，可移动平台可以根据第二无线通信方式对应的视频编码算法和参考视频帧对初始视频帧中的目标视频帧进行编码，得到第二视频帧，第二视频帧包括P帧，第二视频帧可以为单个的视频帧，也可以为由多个视频帧组成的帧序列，本申请实施例对此不做具体限定。
S203、若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
当终端设备获取到第一视频帧和第二视频帧后，从第一视频帧中获取第二视频帧对应的参考视频帧，若能够从第一视频帧中获取到第二视频帧对应的参 考视频帧，则根据该参考视频帧对第二视频帧进行解码，即对该参考视频帧进行重建，并根据重建后的参考视频帧对第二视频帧进行解码。
其中，第一无线通信方式与第二无线通信方式为不相同的无线通信方式，第一无线通信方式对应的第一传输延时大于第二无线通信方式对应的第二传输延时和/或第一无线通信方式对应的第一传输数据量大于第二无线通信方式对应的第二传输数据量。例如，第一无线通信方式为公有通信方式，第二无线通信方向为私有通信方式，公有通信方式包括但不限于4G通信和5G通信，私有通信方式包括但不限于基于软件无线电(Software Defined Radio，SDR)的Lightbridge和Ocusync等。
以第一无线通信方式为5G通信、私有通信方式为SDR为例对可移动平台与终端设备之间的视频传输进行解释说明，如图5所示，初始视频帧一共有5个，帧号分别为0、1、2、3和4，通过视频编码器对帧号为0、1、2、3和4的初始视频帧进行编码，得到五个第一视频帧，帧号为0的第一视频帧为I帧，帧号为1、2、3和4的第一视频帧均为P帧，通过视频编码器对帧号为1、2、3和4的初始视频帧进行编码，得到帧号为1、2、3和4的第二视频帧，第二视频帧均为P帧，帧号为1的初始视频帧的参考视频帧为帧号为0的第一视频帧(帧号为1的第二视频帧的编码)，帧号为2的初始视频帧的参考视频帧为帧号为1的第一视频帧(帧号为2的第二视频帧的编码)，帧号为3的初始视频帧的参考视频帧为帧号为2的第一视频帧(帧号为3的第二视频帧的编码)，帧号为4的初始视频帧的参考视频帧为帧号为3的第一视频帧(帧号为4的第二视频帧的编码)，可移动平台通过5G通信将帧号为0、1、2、3和4的第一视频帧传输至终端设备，同时通过SDR将帧号为1、2、3和4的第二视频帧传输至终端设备，终端设备通过视频解码器基于帧号为0的第一视频帧对帧号为1的第二视频帧进行解码，基于帧号为1的第一视频帧对帧号为2的第二视频帧进行解码，基于帧号为2的第一视频帧对帧号为3的第二视频帧进行解码，基于帧号为3的第一视频帧对帧号为4的第二视频帧进行解码，终端设备基于帧号为0的第一视频帧对帧号为1的第一视频帧进行解码，基于帧号为1的第一视频帧对帧号为2的第一视频帧进行解码，基于帧号为2的第一视频帧对帧号为3的第一视频帧进行解码，基于帧号为3的第一视频帧对帧号为4的第一视频帧进行解码。
在一实施例中，若未从第一视频帧中获取到第二视频帧对应的参考视频帧，则缓存终端设备接收到的第二视频帧；待到终端设备接收到第二视频帧对应的 参考视频帧时，根据第二视频帧对应的参考视频帧对缓存的第二视频帧进行解码。通过在未从第一视频帧中获取到第二视频帧对应的参考视频帧时，缓存终端设备接收到的第二视频帧，待到终端设备接收到缓存的第二视频帧对应的参考视频帧时，根据接收到的参考视频帧对缓存的第二视频帧进行解码，可以减少丢弃的视频帧，提高图像质量。
在一实施例中，若未从第一视频帧中获取到第二视频帧对应的参考视频帧，则预估第二视频帧对应的参考视频帧到达终端设备所需的等待时长；若该等待时长小于或等于预设等待时长，则缓存终端设备接收到的第二视频帧；待到终端设备接收到第二视频帧对应的参考视频帧时，根据第二视频帧对应的参考视频帧对缓存的第二视频帧进行解码；若等待时长大于预设等待时长，则丢弃接收到的第二视频帧。其中，预设等待时长可基于实际情况进行设置，本申请实施例对此不做具体限定。通过在未从第一视频帧中获取到第二视频帧对应的参考视频帧时，预估第二视频帧对应的参考视频帧到达终端设备所需的等待时长，在等待时长大于设定值时，丢弃对应的第二视频帧，而在等待时长小于设定时，缓存对应的第二视频帧，待到终端设备接收到缓存的第二视频帧对应的参考视频帧时，根据接收到的参考视频帧对缓存的第二视频帧进行解码，可以减少丢弃的视频帧，提高图像质量。
在一实施例中，预估第二视频帧的参考视频帧到达终端设备所需的等待时长的方式可以为：获取终端设备接收到的第一视频帧的标识符、第二视频帧对应的参考视频帧的标识符以及帧间隔时间；根据终端设备接收到的第一视频帧的标识符、第二视频帧对应的参考视频帧的标识符以及帧间隔时间，预估第二视频帧对应的参考视频帧到达终端设备所需的等待时长。例如，标识符用帧号表示，终端设备接收到的第一视频帧的帧号为n 1，第二视频帧对应的参考视频帧的帧号为n 2，帧间隔时间为T，则预估得到的第二视频帧对应的参考视频帧到达终端设备所需的等待时长为(n 2-n 1)*T。
上述实施例提供的视频传输方法，获取可移动平台基于第一无线通信方式传输的第一视频帧；获取可移动平台基于第二无线通信方式传输的第二视频帧；若从第一视频帧中获取到第二视频帧对应的参考视频帧，则根据参考视频帧对第二视频帧进行解码，即对该参考视频帧进行重建，并根据重建后的参考视频帧对第二视频帧进行解码，能够兼顾第一无线通信方式和第二无线通信方式的优点，提高可移动平台与终端设备之间的无线图传质量，提高用户体验，也可以提高图像质量。
请参阅图6，图6是本申请实施例提供的一种可移动平台的结构示意性框图。可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信，如图6所示，可移动平台300包括拍摄装置301、一个或多个处理器302和存储器303，拍摄装置301、一个或多个处理器302和存储器303通过总线304连接，该总线304比如为I2C(Inter-integrated Circuit)总线。其中，可移动平台300包括可移动机器人、无人机和无人汽车等，无人机可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不做限定。
具体地，处理器302可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器303可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述一个或多个处理器302用于运行存储在存储器303中的计算机程序，并在执行所述计算机程序时实现如下步骤：
对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
获取所述第一视频帧中的参考视频帧；
基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
在一实施例中，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
在一实施例中，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
在一实施例中，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
在一实施例中，所述第一无线通信方式包括4G通信和5G通信。
在一实施例中，所述参考视频帧的标识符和所述目标视频帧的标识符满足预设关系。
在一实施例中，所述标识符用帧号表示，所述预设关系包括所述参考视频帧的帧号小于所述目标视频帧的帧号。
在一实施例中，所述预设关系还包括所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值为预设值。
在一实施例中，所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值和所述第一无线通信方式对应的第一传输延时与所述第二无线通信方式对应的第二传输延时的差值有关。
在一实施例中，所述获取所述第一视频帧中的参考视频帧，包括：
获取参考帧标识符；
根据所述参考帧标识符获取所述第一视频帧中的参考视频帧。
在一实施例中，所述获取参考帧标识符，包括：
获取所述目标视频帧的标识符；
根据所述目标视频帧的标识符，获取所述参考帧标识符。
在一实施例中，所述获取参考帧标识符，包括：
获取所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符；
根据所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符，得到参考帧标识符。
在一实施例中，所述获取所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符，包括：
获取所述终端设备基于所述第一无线通信方式或所述第二无线通信方式反馈的所述终端设备接收到的第一视频帧的标识符。
在一实施例中，所述获取所述第一视频帧中的参考视频帧，包括：
获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
根据所述第一传输延时和所述第二传输延时，获取所述第一视频帧中的参考视频帧。
在一实施例中，所述根据所述第一传输延时和所述第二传输延时，获取所述第一视频帧中的参考视频帧，包括：
确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
根据所述延时差值和帧间隔时间，确定所述参考视频帧与所述目标视频帧的间隔帧数；
根据所述间隔帧数和所述目标视频帧的标识符，获取所述第一视频帧中的参考视频帧。
在一实施例中，所述对所述拍摄装置拍摄得到的初始视频帧进行编码，得 到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备之前，还包括：
获取所述可移动平台与所述终端设备之间的距离；
若所述距离大于或等于预设距离，则执行对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备的步骤。
在一实施例中，所述处理器还用于实现以下步骤：
若所述距离小于预设距离，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；
通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
在一实施例中，所述获取所述可移动平台与所述终端设备之间的距离，包括：
获取所述可移动平台的位置信息和所述终端设备的位置信息；
根据所述可移动平台的位置信息和所述终端设备的位置信息，确定所述可移动平台与所述终端设备之间的距离。
在一实施例中，所述处理器还用于实现以下步骤：
获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
若所述延时差值大于预设阈值，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；
通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
在一实施例中，所述第一视频帧包括I帧和P帧，第二视频帧包括P帧。
在一实施例中，所述对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，包括：
根据所述第一无线通信方式对应的视频编码算法对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧；
所述基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，包括：
根据所述第二无线通信方式对应的视频编码算法和所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便 和简洁，上述描述的可移动平台的具体工作过程，可以参考前述视频传输方法实施例中的对应过程，在此不再赘述。
请参阅图7，图7是本申请实施例提供的另一种可移动平台的结构示意性框图。可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信，如图7所示，可移动平台400包括拍摄装置401、第一无线通信装置402和第二无线通信装置403，其中：
所述第一无线通信装置402用于：对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
所述第二无线通信装置403用于：获取所述第一视频帧中的参考视频帧；基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
在一实施例中，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
在一实施例中，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
在一实施例中，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
在一实施例中，所述第一无线通信方式包括4G通信和5G通信。
在一实施例中，所述参考视频帧的标识符和所述目标视频帧的标识符满足预设关系。
在一实施例中，所述标识符用帧号表示，所述预设关系包括所述参考视频帧的帧号小于所述目标视频帧的帧号。
在一实施例中，所述预设关系还包括所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值为预设值。
在一实施例中，所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值和所述第一无线通信方式对应的第一传输延时与所述第二无线通信方式对应的第二传输延时的差值有关。
在一实施例中，所述第二无线通信装置403还用于：
获取参考帧标识符；
根据所述参考帧标识符获取所述第一视频帧中的参考视频帧。
在一实施例中，所述获取参考帧标识符，包括：
获取所述目标视频帧的标识符；
根据所述目标视频帧的标识符，获取所述参考帧标识符。
在一实施例中，所述第二无线通信装置403还用于：
获取所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符；
根据所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符，得到参考帧标识符。
在一实施例中，所述第二无线通信装置403还用于：
获取所述终端设备基于所述第一无线通信方式或所述第二无线通信方式反馈的所述终端设备接收到的第一视频帧的标识符。
在一实施例中，所述第二无线通信装置403还用于：
获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
根据所述第一传输延时和所述第二传输延时，获取所述第一视频帧中的参考视频帧。
在一实施例中，所述第二无线通信装置403还用于：
确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
根据所述延时差值和帧间隔时间，确定所述参考视频帧与所述目标视频帧的间隔帧数；
根据所述间隔帧数和所述目标视频帧的标识符，获取所述第一视频帧中的参考视频帧。
在一实施例中，所述可移动平台还包括一个或多个处理器，所述处理器用于实现以下步骤：
获取所述可移动平台与所述终端设备之间的距离；
若所述距离大于或等于预设距离，则控制第二无线通信装置403对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备。
在一实施例中，所述第二无线通信装置403还用于：
若所述距离小于预设距离，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧，并通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
在一实施例中，所述获取所述可移动平台与所述终端设备之间的距离，包括：
获取所述可移动平台的位置信息和所述终端设备的位置信息；
根据所述可移动平台的位置信息和所述终端设备的位置信息，确定所述可移动平台与所述终端设备之间的距离。
在一实施例中，所述第二无线通信装置403还用于：
获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
若所述延时差值大于预设阈值，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；
通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
在一实施例中，所述第一视频帧包括I帧和P帧，第二视频帧包括P帧。
在一实施例中，所述第一无线通信装置402还用于：
根据所述第一无线通信方式对应的视频编码算法对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧；
所述第二无线通信装置403还用于：
根据所述第二无线通信方式对应的视频编码算法和所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的可移动平台的具体工作过程，可以参考前述视频传输方法实施例中的对应过程，在此不再赘述。
请参阅图8，图8是本申请实施例提供的一种终端设备的结构示意性框图。
终端设备500包括一个或多个处理器501和存储器502，一个或多个处理器501和存储器502通过总线503连接，该总线503比如为I2C(Inter-integrated Circuit)总线。终端设备500能够通过第一无线通信方式和第二无线通信方式与可移动平台通信。终端设备500包括遥控器、地面控制平台、手机、平板电脑、笔记本电脑和PC电脑等。
具体地，处理器501可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器502可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器501用于运行存储在存储器502中的计算机程序，并在 执行所述计算机程序时实现如下步骤：
获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；
若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
在一实施例中，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
在一实施例中，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
在一实施例中，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
在一实施例中，所述第一无线通信方式包括4G通信和5G通信。
在一实施例中，所述处理器还用于实现以下步骤：
若未从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则缓存所述终端设备接收到的第二视频帧；
待到所述终端设备接收到所述第二视频帧对应的参考视频帧，则根据所述第二视频帧对应的参考视频帧对缓存的所述第二视频帧进行解码。
在一实施例中，所述缓存所述终端设备接收到的第二视频帧之前，还包括：
预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长；
若所述等待时长小于或等于预设等待时长，则缓存所述终端设备接收到的第二视频帧。
在一实施例中，所述预估所述第二视频帧的参考视频帧到达所述终端设备所需的等待时长，包括：
获取所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间；
根据所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间，预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长。
在一实施例中，所述处理器还用于实现以下步骤：
若所述等待时长大于预设等待时长，则丢弃接收到的所述第二视频帧。
在一实施例中，所述根据所述参考视频帧对所述第二视频帧进行解码，包括：
对所述参考视频帧进行重建，并根据重建后的所述参考视频帧对所述第二视频帧进行解码。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述视频传输方法实施例中的对应过程，在此不再赘述。
请参阅图9，图9是本申请实施例提供的另一种终端设备的结构示意性框图。如图9所示，终端设备600包括第三无线通信装置601和第四无线通信装置602，终端设备能够600通过第一无线通信方式和第二无线通信方式与可移动平台通信，其中：
所述第三无线通信装置601用于：获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
所述第四无线通信装置602用于：获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；以及
若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
在一实施例中，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
在一实施例中，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
在一实施例中，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
在一实施例中，所述第一无线通信方式包括4G通信和5G通信。
在一实施例中，所述第四无线通信装置602还用于：
若未从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则缓存所述终端设备接收到的第二视频帧；
待到所述终端设备接收到所述第二视频帧对应的参考视频帧，则根据所述第二视频帧对应的参考视频帧对缓存的所述第二视频帧进行解码。
在一实施例中，所述第四无线通信装置602还用于：
预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长；
若所述等待时长小于或等于预设等待时长，则缓存所述终端设备接收到的第二视频帧。
在一实施例中，所述第四无线通信装置602还用于：
获取所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间；
根据所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间，预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长。
在一实施例中，所述第四无线通信装置602还用于：
若所述等待时长大于预设等待时长，则丢弃接收到的所述第二视频帧。
在一实施例中，所述第四无线通信装置602还用于：
对所述参考视频帧进行重建，并根据重建后的所述参考视频帧对所述第二视频帧进行解码。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述视频传输方法实施例中的对应过程，在此不再赘述。
请参阅图10，图10是本申请实施例提供的一种视频传输系统的结构示意性框图。
如图10所示，视频传输系统700包括可移动平台701和终端设备702，可移动平台701与终端设备702能够通过第一无线通信方式和第二无线通信方式实现通信。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的视频传输系统的具体工作过程，可以参考前述视频传输方法实施例中的对应过程，在此不再赘述。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述一个或多个处理器执行所述程序指令，实现上述实施例提供的视频传输方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的可移动平台或终端设备的内部存储单元，例如所述可移动平台或终端设备的硬盘或内存。所述计算机可读存储介质也可以是所述可移动平台或终端设备的外部存储设备，例如所述可移动平台或终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该” 意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (66)

  1. 一种视频传输方法，其特征在于，应用于可移动平台，所述可移动平台包括拍摄装置，所述可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信，所述方法包括：
    对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
    获取所述第一视频帧中的参考视频帧；
    基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
  2. 根据权利要求1所述的视频传输方法，其特征在于，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
  3. 根据权利要求1所述的视频传输方法，其特征在于，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
  4. 根据权利要求1所述的视频传输方法，其特征在于，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
  5. 根据权利要求4所述的视频传输方法，其特征在于，所述第一无线通信方式包括4G通信和5G通信。
  6. 根据权利要求1所述的视频传输方法，其特征在于，所述参考视频帧的标识符和所述目标视频帧的标识符满足预设关系。
  7. 根据权利要求6所述的视频传输方法，其特征在于，所述标识符用帧号表示，所述预设关系包括所述参考视频帧的帧号小于所述目标视频帧的帧号。
  8. 根据权利要求7所述的视频传输方法，其特征在于，所述预设关系还包括所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值为预设值。
  9. 根据权利要求7所述的视频传输方法，其特征在于，所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值和所述第一无线通信方式对应的第一传输延时与所述第二无线通信方式对应的第二传输延时的差值有关。
  10. 根据权利要求1所述的视频传输方法，其特征在于，所述获取所述第一视频帧中的参考视频帧，包括：
    获取参考帧标识符；
    根据所述参考帧标识符获取所述第一视频帧中的参考视频帧。
  11. 根据权利要求10所述的视频传输方法，其特征在于，所述获取参考帧标识符，包括：
    获取所述目标视频帧的标识符；
    根据所述目标视频帧的标识符，获取所述参考帧标识符。
  12. 根据权利要求10所述的视频传输方法，其特征在于，所述获取参考帧标识符，包括：
    获取所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符；
    根据所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符，得到参考帧标识符。
  13. 根据权利要求12所述的视频传输方法，其特征在于，所述获取所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符，包括：
    获取所述终端设备基于所述第一无线通信方式或所述第二无线通信方式反馈的所述终端设备接收到的第一视频帧的标识符。
  14. 根据权利要求1所述的视频传输方法，其特征在于，所述获取所述第一视频帧中的参考视频帧，包括：
    获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
    根据所述第一传输延时和所述第二传输延时，获取所述第一视频帧中的参考视频帧。
  15. 根据权利要求14所述的视频传输方法，其特征在于，所述根据所述第一传输延时和所述第二传输延时，获取所述第一视频帧中的参考视频帧，包括：
    确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
    根据所述延时差值和帧间隔时间，确定所述参考视频帧与所述目标视频帧的间隔帧数；
    根据所述间隔帧数和所述目标视频帧的标识符，获取所述第一视频帧中的参考视频帧。
  16. 根据权利要求1至15中任一项所述的视频传输方法，其特征在于，所述对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备之前，还包括：
    获取所述可移动平台与所述终端设备之间的距离；
    若所述距离大于或等于预设距离，则执行对所述拍摄装置拍摄得到的初始 视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备的步骤。
  17. 根据权利要求16所述的视频传输方法，其特征在于，所述方法还包括：
    若所述距离小于预设距离，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；
    通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
  18. 根据权利要求16所述的视频传输方法，其特征在于，所述获取所述可移动平台与所述终端设备之间的距离，包括：
    获取所述可移动平台的位置信息和所述终端设备的位置信息；
    根据所述可移动平台的位置信息和所述终端设备的位置信息，确定所述可移动平台与所述终端设备之间的距离。
  19. 根据权利要求1至15中任一项所述的视频传输方法，其特征在于，所述方法还包括：
    获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
    确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
    若所述延时差值大于预设阈值，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；
    通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
  20. 根据权利要求1至15中任一项所述的视频传输方法，其特征在于，所述第一视频帧包括I帧和P帧，第二视频帧包括P帧。
  21. 根据权利要求1至15所述的视频传输方法，其特征在于，所述对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，包括：
    根据所述第一无线通信方式对应的视频编码算法对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧；
    所述基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，包括：
    根据所述第二无线通信方式对应的视频编码算法和所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧。
  22. 一种视频传输方法，其特征在于，应用于终端设备，所述终端设备能够通过第一无线通信方式和第二无线通信方式与可移动平台通信，所述方法包括：
    获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
    获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；
    若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
  23. 根据权利要求22所述的视频传输方法，其特征在于，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
  24. 根据权利要求22所述的视频传输方法，其特征在于，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
  25. 根据权利要求22所述的视频传输方法，其特征在于，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
  26. 根据权利要求25所述的视频传输方法，其特征在于，所述第一无线通信方式包括4G通信和5G通信。
  27. 根据权利要求22所述的视频传输方法，其特征在于，所述方法还包括：
    若未从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则缓存所述终端设备接收到的第二视频帧；
    待到所述终端设备接收到所述第二视频帧对应的参考视频帧，则根据所述第二视频帧对应的参考视频帧对缓存的所述第二视频帧进行解码。
  28. 根据权利要求27所述的视频传输方法，其特征在于，所述缓存所述终端设备接收到的第二视频帧之前，还包括：
    预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长；
    若所述等待时长小于或等于预设等待时长，则缓存所述终端设备接收到的第二视频帧。
  29. 根据权利要求28所述的视频传输方法，其特征在于，所述预估所述第二视频帧的参考视频帧到达所述终端设备所需的等待时长，包括：
    获取所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间；
    根据所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间，预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长。
  30. 根据权利要求28所述的视频传输方法，其特征在于，所述方法还包括：
    若所述等待时长大于预设等待时长，则丢弃接收到的所述第二视频帧。
  31. 根据权利要求22至30中任一项所述的视频传输方法，其特征在于，所述根据所述参考视频帧对所述第二视频帧进行解码，包括：
    对所述参考视频帧进行重建，并根据重建后的所述参考视频帧对所述第二视频帧进行解码。
  32. 一种可移动平台，其特征在于，所述可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信；
    所述可移动平台包括拍摄装置、存储器和一个或多个处理器；
    所述存储器用于存储计算机程序；
    所述一个或多个处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
    获取所述第一视频帧中的参考视频帧；
    基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
  33. 根据权利要求32所述的可移动平台，其特征在于，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
  34. 根据权利要求32所述的可移动平台，其特征在于，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
  35. 根据权利要求32所述的可移动平台，其特征在于，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
  36. 根据权利要求35所述的可移动平台，其特征在于，所述第一无线通信方式包括4G通信和5G通信。
  37. 根据权利要求32所述的可移动平台，其特征在于，所述参考视频帧的标识符和所述目标视频帧的标识符满足预设关系。
  38. 根据权利要求37所述的可移动平台，其特征在于，所述标识符用帧号表示，所述预设关系包括所述参考视频帧的帧号小于所述目标视频帧的帧号。
  39. 根据权利要求38所述的可移动平台，其特征在于，所述预设关系还包括所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值为预设值。
  40. 根据权利要求38所述的可移动平台，其特征在于，所述目标视频帧的帧号与所述参考视频帧的帧号之间的差值和所述第一无线通信方式对应的第一 传输延时与所述第二无线通信方式对应的第二传输延时的差值有关。
  41. 根据权利要求32所述的可移动平台，其特征在于，所述获取所述第一视频帧中的参考视频帧，包括：
    获取参考帧标识符；
    根据所述参考帧标识符获取所述第一视频帧中的参考视频帧。
  42. 根据权利要求41所述的可移动平台，其特征在于，所述获取参考帧标识符，包括：
    获取所述目标视频帧的标识符；
    根据所述目标视频帧的标识符，获取所述参考帧标识符。
  43. 根据权利要求41所述的可移动平台，其特征在于，所述获取参考帧标识符，包括：
    获取所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符；
    根据所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符，得到参考帧标识符。
  44. 根据权利要求43所述的可移动平台，其特征在于，所述获取所述终端设备反馈的所述终端设备接收到的第一视频帧的标识符，包括：
    获取所述终端设备基于所述第一无线通信方式或所述第二无线通信方式反馈的所述终端设备接收到的第一视频帧的标识符。
  45. 根据权利要求32所述的可移动平台，其特征在于，所述获取所述第一视频帧中的参考视频帧，包括：
    获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
    根据所述第一传输延时和所述第二传输延时，获取所述第一视频帧中的参考视频帧。
  46. 根据权利要求45所述的可移动平台，其特征在于，所述根据所述第一传输延时和所述第二传输延时，获取所述第一视频帧中的参考视频帧，包括：
    确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
    根据所述延时差值和帧间隔时间，确定所述参考视频帧与所述目标视频帧的间隔帧数；
    根据所述间隔帧数和所述目标视频帧的标识符，获取所述第一视频帧中的参考视频帧。
  47. 根据权利要求32至46中任一项所述的可移动平台，其特征在于，所 述对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备之前，还包括：
    获取所述可移动平台与所述终端设备之间的距离；
    若所述距离大于或等于预设距离，则执行对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备的步骤。
  48. 根据权利要求47所述的可移动平台，其特征在于，所述处理器还用于实现以下步骤：
    若所述距离小于预设距离，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；
    通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
  49. 根据权利要求47所述的可移动平台，其特征在于，所述获取所述可移动平台与所述终端设备之间的距离，包括：
    获取所述可移动平台的位置信息和所述终端设备的位置信息；
    根据所述可移动平台的位置信息和所述终端设备的位置信息，确定所述可移动平台与所述终端设备之间的距离。
  50. 根据权利要求32至46中任一项所述的可移动平台，其特征在于，所述处理器还用于实现以下步骤：
    获取所述第一无线通信方式对应的第一传输延时和所述第二无线通信方式对应的第二传输延时；
    确定所述第一传输延时与所述第二传输延时的差值，得到延时差值；
    若所述延时差值大于预设阈值，则对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第三视频帧；
    通过所述第二无线通信方式将所述第三视频帧传输至所述终端设备。
  51. 根据权利要求32至46中任一项所述的可移动平台，其特征在于，所述第一视频帧包括I帧和P帧，第二视频帧包括P帧。
  52. 根据权利要求32至46所述的可移动平台，其特征在于，所述对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，包括：
    根据所述第一无线通信方式对应的视频编码算法对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧；
    所述基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，包括：
    根据所述第二无线通信方式对应的视频编码算法和所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧。
  53. 一种可移动平台，其特征在于，所述可移动平台能够通过第一无线通信方式和第二无线通信方式与终端设备通信；
    所述可移动平台包括拍摄装置、第一无线通信装置和第二无线通信装置；
    所述第一无线通信装置用于：对所述拍摄装置拍摄得到的初始视频帧进行编码，得到第一视频帧，并通过所述第一无线通信方式将所述第一视频帧传输至所述终端设备；
    所述第二无线通信装置用于：获取所述第一视频帧中的参考视频帧；基于所述参考视频帧对所述初始视频帧中的目标视频帧进行编码，得到第二视频帧，并通过所述第二无线通信方式将所述第二视频帧传输至所述终端设备。
  54. 一种终端设备，其特征在于，所述终端设备能够通过第一无线通信方式和第二无线通信方式与可移动平台通信；
    所述终端设备包括存储器和一个或多个处理器；
    所述存储器用于存储计算机程序；
    所述一个或多个处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
    获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；
    若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
  55. 根据权利要求54所述的终端设备，其特征在于，所述第一无线通信方式对应的第一传输延时大于所述第二无线通信方式对应的第二传输延时。
  56. 根据权利要求54所述的终端设备，其特征在于，所述第一无线通信方式对应的第一传输数据量大于所述第二无线通信方式对应的第二传输数据量。
  57. 根据权利要求54所述的终端设备，其特征在于，所述第一无线通信方式为公有通信方式，第二无线通信方式为私有通信方式。
  58. 根据权利要求57所述的终端设备，其特征在于，所述第一无线通信方式包括4G通信和5G通信。
  59. 根据权利要求54所述的终端设备，其特征在于，所述处理器还用于实现以下步骤：
    若未从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则缓 存所述终端设备接收到的第二视频帧；
    待到所述终端设备接收到所述第二视频帧对应的参考视频帧，则根据所述第二视频帧对应的参考视频帧对缓存的所述第二视频帧进行解码。
  60. 根据权利要求59所述的终端设备，其特征在于，所述缓存所述终端设备接收到的第二视频帧之前，还包括：
    预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长；
    若所述等待时长小于或等于预设等待时长，则缓存所述终端设备接收到的第二视频帧。
  61. 根据权利要求60所述的终端设备，其特征在于，所述预估所述第二视频帧的参考视频帧到达所述终端设备所需的等待时长，包括：
    获取所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间；
    根据所述终端设备接收到的第一视频帧的标识符、所述第二视频帧对应的参考视频帧的标识符以及帧间隔时间，预估所述第二视频帧对应的参考视频帧到达所述终端设备所需的等待时长。
  62. 根据权利要求60所述的终端设备，其特征在于，所述处理器还用于实现以下步骤：
    若所述等待时长大于预设等待时长，则丢弃接收到的所述第二视频帧。
  63. 根据权利要求54至62中任一项所述的终端设备，其特征在于，所述根据所述参考视频帧对所述第二视频帧进行解码，包括：
    对所述参考视频帧进行重建，并根据重建后的所述参考视频帧对所述第二视频帧进行解码。
  64. 一种终端设备，其特征在于，所述终端设备能够通过第一无线通信方式和第二无线通信方式与可移动平台通信；
    所述终端设备包括第三无线通信装置和第四无线通信装置；
    所述第三无线通信装置用于：获取所述可移动平台基于所述第一无线通信方式传输的第一视频帧；
    所述第四无线通信装置用于：获取所述可移动平台基于所述第二无线通信方式传输的第二视频帧；以及
    若从所述第一视频帧中获取到所述第二视频帧对应的参考视频帧，则根据所述参考视频帧对所述第二视频帧进行解码。
  65. 一种视频传输系统，其特征在于，所述视频传输系统包括如权利要求 32至53中任一项所述的可移动平台和如权利要求54至64中任一项所述的终端设备，所述可移动平台与所述终端设备能够通过第一无线通信方式和第二无线通信方式实现通信。
  66. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时使所述一个或多个处理器实现如权利要求1-31中任一项所述的视频传输方法的步骤。
PCT/CN2020/099596 2020-06-30 2020-06-30 视频传输方法、可移动平台、终端设备、系统及存储介质 WO2022000350A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080006506.7A CN113170052A (zh) 2020-06-30 2020-06-30 视频传输方法、可移动平台、终端设备、系统及存储介质
PCT/CN2020/099596 WO2022000350A1 (zh) 2020-06-30 2020-06-30 视频传输方法、可移动平台、终端设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/099596 WO2022000350A1 (zh) 2020-06-30 2020-06-30 视频传输方法、可移动平台、终端设备、系统及存储介质

Publications (1)

Publication Number Publication Date
WO2022000350A1 true WO2022000350A1 (zh) 2022-01-06

Family

ID=76879291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/099596 WO2022000350A1 (zh) 2020-06-30 2020-06-30 视频传输方法、可移动平台、终端设备、系统及存储介质

Country Status (2)

Country Link
CN (1) CN113170052A (zh)
WO (1) WO2022000350A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116489342A (zh) * 2023-06-20 2023-07-25 中央广播电视总台 确定编码延时的方法、装置、及电子设备、存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022204997A1 (zh) * 2021-03-30 2022-10-06 深圳市大疆创新科技有限公司 无线通信方法、可移动平台、系统及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210697A (zh) * 2010-11-15 2013-07-17 英特尔公司 多无线电共存的方法和设备
CN105979558A (zh) * 2016-04-19 2016-09-28 杭州若联科技有限公司 一种基于云的无人机集群通信系统
CN208399999U (zh) * 2018-07-23 2019-01-18 河北冉冉无人机科技有限公司 基于数字通信的无人机远程控制系统
CN111279691A (zh) * 2019-01-31 2020-06-12 深圳市大疆创新科技有限公司 多负载多路图传方法、控制系统和终端、无人机和服务器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951914B2 (en) * 2015-08-27 2021-03-16 Intel Corporation Reliable large group of pictures (GOP) file streaming to wireless displays
EP3481142B1 (en) * 2016-08-08 2020-10-28 Huawei Technologies Co., Ltd. Data transmission method and transmitting terminal device
CN113315973B (zh) * 2019-03-06 2022-12-20 深圳市道通智能航空技术股份有限公司 编码方法、图像编码器及图像传输系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210697A (zh) * 2010-11-15 2013-07-17 英特尔公司 多无线电共存的方法和设备
CN105979558A (zh) * 2016-04-19 2016-09-28 杭州若联科技有限公司 一种基于云的无人机集群通信系统
CN208399999U (zh) * 2018-07-23 2019-01-18 河北冉冉无人机科技有限公司 基于数字通信的无人机远程控制系统
CN111279691A (zh) * 2019-01-31 2020-06-12 深圳市大疆创新科技有限公司 多负载多路图传方法、控制系统和终端、无人机和服务器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116489342A (zh) * 2023-06-20 2023-07-25 中央广播电视总台 确定编码延时的方法、装置、及电子设备、存储介质
CN116489342B (zh) * 2023-06-20 2023-09-15 中央广播电视总台 确定编码延时的方法、装置、及电子设备、存储介质

Also Published As

Publication number Publication date
CN113170052A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US11070732B2 (en) Method for image processing, device, unmanned aerial vehicle, and receiver
EP2890080B1 (en) Method for wirelessly transmitting content from a source device to a sink device
WO2022000350A1 (zh) 视频传输方法、可移动平台、终端设备、系统及存储介质
US20200244970A1 (en) Video processing method, device, aerial vehicle, system, and storage medium
WO2018103034A1 (zh) 用于传输图像的方法、设备和无人机
US20170064344A1 (en) Video encoding for reduced streaming latency
US20170195617A1 (en) Image processing method and electronic device
WO2020010730A1 (zh) 无人机系统的数据传输方法、装置、系统和地面图传模块
WO2018058575A1 (zh) 一种飞行图像数据的处理方法、系统及地面端设备
WO2019051649A1 (zh) 图像传输方法、设备、可移动平台、监控设备及系统
WO2019019128A1 (zh) 视频传输的方法、设备及系统
WO2020258256A1 (zh) 一种图像处理的方法、装置和无人机
US11627307B2 (en) Transport controlled video coding
CN110996120A (zh) 一种视频流发送、接收方法
US20210227102A1 (en) Systems and methods for synchronizing frame timing between physical layer frame and video frame
WO2019119175A1 (zh) 码率控制方法、码率控制装置和无线通信设备
US20190245609A1 (en) Methods and systems for live video broadcasting from a remote location based on an overlay of audio
WO2022140971A1 (zh) 图像传输方法、装置、平台、设备及计算机可读存储介质
WO2022021090A1 (zh) 视频传输方法、可移动平台及计算机可读存储介质
US20170262399A1 (en) Universal serial bus data routing
WO2022204997A1 (zh) 无线通信方法、可移动平台、系统及计算机可读存储介质
WO2022141316A1 (zh) 图像传输方法、可移动平台、设备、系统及可读存储介质
WO2020019279A1 (zh) 视频压缩的方法、装置、计算机系统和可移动设备
US20150149652A1 (en) Method and apparatus for network streaming
WO2020155110A1 (zh) 数据处理方法、无人机、移动设备及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20943617

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20943617

Country of ref document: EP

Kind code of ref document: A1