WO2020107375A1 - 图像处理的方法、装置、设备及存储介质 - Google Patents

图像处理的方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2020107375A1
WO2020107375A1 PCT/CN2018/118425 CN2018118425W WO2020107375A1 WO 2020107375 A1 WO2020107375 A1 WO 2020107375A1 CN 2018118425 W CN2018118425 W CN 2018118425W WO 2020107375 A1 WO2020107375 A1 WO 2020107375A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
original
size
control terminal
ground control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/118425
Other languages
English (en)
French (fr)
Inventor
朱涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN201880069059.2A priority Critical patent/CN111386710A/zh
Priority to PCT/CN2018/118425 priority patent/WO2020107375A1/zh
Publication of WO2020107375A1 publication Critical patent/WO2020107375A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Definitions

  • Embodiments of the present invention relate to the field of drones, and in particular, to an image processing method, device, equipment, and storage medium.
  • a shooting device mounted on a movable platform such as a drone can be used for aerial photography.
  • the drone can send the aerial image information of the shooting device to a ground control terminal such as a remote control.
  • the user hopes to see the shooting picture of the drone and the picture around the ground control terminal.
  • the drone is taking pictures of news events, and the host reports the news events around the ground control terminal.
  • the user wants to watch the news event and the host at the same time.
  • the ground control terminal may be far away from the drone, resulting in that the image information of the aerial photography of the shooting device may not have a picture around the ground control terminal, and the user cannot see
  • the shooting pictures of the man-machine and the pictures around the ground control end reduce the presence of the environment around the ground control end.
  • Embodiments of the present invention provide an image processing method, device, equipment, and storage medium to improve the presence of the environment around the ground control terminal.
  • a first aspect of an embodiment of the present invention is to provide an image processing method, which is applied to a ground control terminal and includes:
  • first image is one of a captured image of a drone camera and a captured image of a ground camera connected to the ground control terminal
  • second image is Another image different from the first image in the captured image of the shooting device of the drone and the captured image of the ground shooting device communicatively connected to the ground control terminal
  • the second image is superimposed on the first image to obtain a third image.
  • a second aspect of an embodiment of the present invention is to provide a ground control terminal, including: a memory, a processor, and a first communication interface;
  • the first communication interface is used for communication connection with the ground shooting device
  • the memory is used to store program codes
  • the processor calls the program code, and when the program code is executed, it is used to perform the following operations:
  • the first image is one of a captured image of a drone camera and a captured image of the ground camera connected to the ground control terminal
  • the second image is another image different from the first image in the captured image of the shooting device of the drone and the captured image of the ground shooting device communicatively connected to the ground control terminal;
  • the second image is superimposed on the first image to obtain a third image.
  • a third aspect of the embodiments of the present invention is to provide a computer-readable storage medium on which a computer program is stored, which is executed by a processor to implement the method of the first aspect.
  • the image processing method, device, equipment and storage medium provided in this embodiment simultaneously acquire the captured image of the drone's shooting device and the ground shooting device's captured image in communication with the ground control terminal through the ground control terminal
  • the shooting image of the shooting device is superimposed on the shooting image of the drone shooting device, or the shooting image of the drone shooting device is superimposed on the shooting image of the ground shooting device, so that the superimposed image also includes the drone The captured image of the shooting device and the captured image of the ground shooting device.
  • the captured image of the ground shooting device can include images of characters such as pilots, commentators, moderators, etc., and can also include scene images around the ground control terminal, so that users can see It is possible to see the shooting environment of the drone and the shooting environment of the ground shooting device at the same time in one image, thereby improving the presence of the surrounding environment of the ground control end.
  • FIG. 1 is a schematic diagram of an application scenario provided by an embodiment of the present invention.
  • FIG. 2 is a flowchart of an image processing method provided by an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of an image processing provided by an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of another image processing provided by an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of still another image processing provided by an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of still another image processing provided by an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of still another image processing provided by an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of still another image processing provided by an embodiment of the present invention.
  • FIG. 9 is a schematic diagram of still another image processing provided by an embodiment of the present invention.
  • FIG. 10 is a structural diagram of a ground control terminal provided by an embodiment of the present invention.
  • 100 ground control terminal; 101: memory; 102: processor;
  • a component when a component is said to be “fixed” to another component, it can be directly on another component or it can also exist in a centered component. When a component is considered to be “connected” to another component, it can be directly connected to another component or there can be centered components at the same time.
  • An embodiment of the present invention provides an image processing method.
  • the image processing method described in this embodiment can be applied to the ground control terminal of an unmanned aerial vehicle.
  • the ground control terminal can be a remote controller, a mobile phone, a tablet computer, and other devices.
  • the drone 10 is equipped with a shooting device 11.
  • the shooting device 11 is connected to the body of the drone 10 through a supporting member such as a gimbal 12.
  • the interface 13 is sent to the ground control terminal 14.
  • the ground control terminal 14 is communicatively connected to the ground shooting device 15.
  • the ground shooting device 15 may be integrated in the ground control terminal 14, such as a ground shooting device 15 can be provided on the ground control terminal 14.
  • the ground shooting device 15 may be a shooting device external to the ground control terminal 14.
  • the ground control terminal 14 can receive the image captured by the shooting device 11 of the drone 10 or the image captured by the ground shooting device 15, and the ground control terminal 14 can capture the image captured by the shooting device 11 Image processing is performed with the image captured by the ground shooting device 15, and the image processing method will be described in detail below through specific embodiments.
  • FIG. 2 is a flowchart of an image processing method provided by an embodiment of the present invention. As shown in FIG. 2, the method in this embodiment may include:
  • Step S201 Acquire a first image and a second image, where the first image is one of a captured image of a drone camera and a captured image of a ground camera connected to the ground control terminal, and The second image is another image different from the first image in the captured image of the shooting device of the drone and the captured image of the ground shooting device communicatively connected to the ground control terminal.
  • the ground control terminal 14 may receive the image captured by the shooting device 11 of the drone 10 or the image captured by the ground shooting device 15.
  • the image captured by the shooting device 11 may specifically be a drone 10 aerial image during flight.
  • the image captured by the ground shooting device 15 may specifically be an image around the ground control terminal 14, for example, images of characters such as pilots, narrators, and moderators near the ground control terminal 14, and/or scene images around the ground control terminal 14 .
  • one of the image captured by the shooting device 11 and the image captured by the ground shooting device 15 is recorded as the first image
  • the other of the image captured by the shooting device 11 and the image captured by the ground shooting device 15 is the other.
  • One image is recorded as the second image. That is to say, the first image may be an image captured by the shooting device 11, the second image may be an image captured by the ground shooting device 15, or the first image may be an image captured by the ground shooting device 15, and the second image may be The image captured by the shooting device 11.
  • the ground control terminal and the ground shooting device are connected by wireless communication or wired communication.
  • the ground control terminal 14 and the ground shooting device 15 may be connected by wired communication, or may be connected by wireless communication.
  • the wireless communication method may specifically be a wireless fidelity (WIreless-Fidelity, WIFI) communication method.
  • WIFI wireless fidelity
  • the connection interface between the ground control terminal and the ground shooting device includes at least one of the following: composite synchronous video broadcast signal (Composite Video Broadcast Signal) , CVBS) interface, high definition multimedia interface (High Definition Multimedia Interface, IDMI), digital component serial interface (Serial) digital interface (SDI), mobile industry processor interface (Mobile Industry Processor Interface, MIPI), universal serial bus (Universal Serial Bus, USB) interface.
  • composite synchronous video broadcast signal Composite Video Broadcast Signal
  • CVBS high definition multimedia interface
  • IDMI High Definition Multimedia Interface
  • SDI digital component serial interface
  • MIPI mobile industry processor interface
  • USB Universal Serial Bus
  • the ground control terminal 14 and the ground shooting device 15 are in communication connection through at least one interface of CVBS, IDMI, SDI, and MIPI
  • the image acquired by the ground control terminal 14 from the ground shooting device 15 is taken by the ground shooting device 15
  • the original image of, that is, the original image captured by the ground shooting device 15 can be sent to the ground control terminal 14 through at least one interface of CVBS, IDMI, SDI, and MIPI without being encoded.
  • the image acquired by the ground control terminal 14 from the ground shooting device 15 is an encoded image, that is, the ground shooting device 15
  • the original image captured needs to be encoded, for example, encoded by H.264 encoding to obtain an encoded image, and further, the encoded image is sent to the ground control terminal 14 via at least one of USB and WIFI.
  • the drone 10 can encode the image captured by the shooting device 11, for example, encoding by H.264 encoding to obtain an encoded image, and further, the encoded image can be encoded by wireless communication, such as WIFI, software-defined radio (Software At least one of Defined Radio (SDR) is sent to the ground control terminal 14.
  • wireless communication such as WIFI
  • software-defined radio Software At least one of Defined Radio (SDR) is sent to the ground control terminal 14.
  • the ground control terminal 14 when the ground control terminal 14 receives the encoded image sent by the drone 10 and/or the encoded image sent by the ground shooting device 15, the ground control terminal 14 also needs to decode the encoded image to obtain the original image.
  • the acquiring the first image and the second image includes: receiving a first encoded image sent by one of the drone and the ground shooting device; and performing the first encoded image Decoding to obtain the first image; and/or receiving a second coded image sent by the other of the drone and the ground shooting device; decoding the second coded image to obtain the first image Second image.
  • the image captured by the ground camera 15 is recorded as the first image
  • the image captured by the camera 11 of the drone 10 is recorded as the second image.
  • the ground camera 15 may send the first image to the ground control terminal 14 Or, send the encoded image of the first image to the ground control terminal 14, where the encoded image of the first image is recorded as the first encoded image.
  • the unmanned aerial vehicle 10 may send the second image to the ground control terminal 14, or send the encoded image of the second image to the ground control terminal 14, here, the encoded image of the second image Record as the second coded image.
  • a possible situation is that: the ground shooting device 15 sends the first encoded image to the ground control terminal 14, and the drone 10 sends the second image to the ground control terminal 14. At this time, the ground control terminal 14 needs to encode the first image The image is decoded to obtain the first image.
  • ground shooting device 15 sends a first image to the ground control terminal 14, and the drone 10 sends a second coded image to the ground control terminal 14. At this time, the ground control terminal 14 needs to encode the second image The image is decoded to obtain the second image.
  • ground shooting device 15 sends the first coded image to the ground control terminal 14, and the drone 10 sends the second coded image to the ground control terminal 14.
  • the ground control terminal 14 needs to The encoded image is decoded to obtain the first image, and the second encoded image is decoded to obtain the second image.
  • step S202 the second image is superimposed on the first image to obtain a third image.
  • the first image is an image captured by the camera 11 and the second image is an image captured by the ground camera 15
  • the image captured by the camera 11 can be used as the main screen, and the image captured by the ground camera 15 can be used as the auxiliary screen
  • the image captured by the ground imaging device 15 is superimposed on the image captured by the imaging device 11 to obtain a third image.
  • the first image is an image captured by the ground camera 15 and the second image is an image captured by the camera 11
  • the image captured by the ground camera 15 can be used as the main screen
  • the image captured by the camera 11 can be used as the auxiliary screen
  • the image captured by the camera 11 is superimposed on the image captured by the ground camera 15 to obtain a third image.
  • the superposition may be implemented by using a pixel superposition algorithm.
  • the first image is an image captured by the imaging device 11 and the second image is an image captured by the ground imaging device 15 as an example, and the following schematic description will be made.
  • the superimposing the second image onto the first image to obtain a third image includes adjusting the original size of the first image and/or the second image so that after the adjustment The size of the first image is larger than the size of the second image; after the adjustment, the second image is superimposed on the first image to obtain the third image.
  • the size of the first image captured by the camera 11 and the size of the second image captured by the ground camera 15 may be different or the same.
  • the first image and The original size of the second image is adjusted so that after adjustment, the size of the first image is larger than the size of the second image.
  • the second image is superimposed on the first image to obtain the third image.
  • 31 represents the first image captured by the camera 11, and 32 represents the second image captured by the ground camera 15.
  • the size of the second image 32 is equal to the size of the first image 31. In other embodiments, The size of the second image 32 may be larger than the size of the first image 31. In this case, the size of the first image 31 and/or the size of the second image 32 needs to be adjusted. After the adjustment, the second image is superimposed The third image is obtained from the first image.
  • a possible implementation manner is: performing reduction processing on the second image 32, as shown in FIG. 3, 33 represents an image after performing reduction processing on the second image 32.
  • the superimposed image 33 on the second image 32 is superimposed on the first image 31 to obtain the third image 34.
  • Another possible implementation manner is: performing an enlargement process on the first image 31, as shown in FIG. 4, 41 represents an image after performing the enlargement process on the first image 31, and superimposing the second image 32 on the first image 31
  • the third image 42 is obtained from the image 41 subjected to the enlargement process.
  • Another possible implementation is to perform a reduction process on the second image 32, and at the same time, perform an enlargement process on the first image 31, as shown in FIG. 5, 33 represents the image after the second image 32 is reduced, 41 It represents an image after the first image 31 is enlarged, and the image 33 obtained by performing the reduction process on the second image 32 is superimposed on the image 41 after performing the enlargement process on the first image 31 to obtain a third image 42.
  • the superimposing the second image on the first image to obtain the third image includes superimposing the second image on a preset position in the first image to obtain the third image Describe the third image.
  • the preset position is determined according to the original size of the first image or the adjusted size of the first image.
  • the second image 32 is superimposed on the preset position in the first image 31 to obtain the third image.
  • the preset position is determined according to the original size of the first image 31 or the adjusted size of the first image 31.
  • the size of the first image 31 may be greater than the size of the second image 32, and the ratio of the size of the first image 31 to the size of the second image 32 is greater than the preset ratio, or, the size of the first image 31 If the absolute value of the difference between the size and the size of the second image 32 is greater than the preset difference, you can directly superimpose the second image 32 without adjusting the size of the first image 31 and/or the size of the second image 32 A third image is obtained from the first image 31. Specifically, the second image 32 is superimposed on a preset position in the first image 31 to obtain a third image.
  • the method further includes: displaying the third image on a display component.
  • the third image 34 may be further displayed on the display component.
  • the display component may specifically be a screen of the ground control terminal 14 or a display device external to the ground control terminal 14, such as a display screen.
  • the third image 42 shown in FIGS. 4 and 5 can also be displayed on the display component.
  • the captured image of the drone camera and the captured image of the ground camera connected to the ground controller are acquired through the ground control terminal, and the captured image of the ground camera is superimposed on the drone camera.
  • the captured image or superimpose the captured image of the drone camera to the captured image of the ground camera, so that the superimposed image includes both the captured image of the drone camera and the captured image of the ground camera.
  • the captured images of the ground shooting device may include images of characters such as flying pilots, narrators, moderators, etc., and may also include scene images around the ground control terminal, so that users can see the shooting of the drone in one image at the same time Environment and the shooting environment of the ground shooting device, thereby improving the presence of the environment around the ground control end.
  • An embodiment of the present invention provides an image processing method. Based on the embodiment shown in FIG. 2, the adjusting the original size of the first image and/or the second image includes: adjusting the original size of the second image according to the original size of the first image Original size.
  • the original size of the second image 32 is adjusted according to the original size of the first image 31.
  • the adjusting the original size of the second image according to the original size of the first image includes the following feasible implementation manners:
  • a feasible implementation manner is: adjusting the original height of the second image according to the original size of the first image; according to the adjusted height of the second image and the original height of the second image and The ratio of the original width adjusts the original width of the second image.
  • the original height of the second image 32 when the original height of the second image 32 is adjusted according to the original size of the first image 31, specifically the original height of the second image 32 may be adjusted according to the original height of the first image 31, for example, the first image 31
  • the original height of is recorded as H
  • the original height of the second image 32 is adjusted according to the original height H of the first image 31, so that the height of the adjusted second image 32 is smaller than H
  • 61 indicates that the height of the second image 32 is adjusted
  • the height of the adjusted second image 32 is recorded as h, for example, h is equal to a quarter of H.
  • the width of the image 61 is adjusted to obtain the image 33.
  • Another possible implementation is to adjust the original width of the second image according to the original size of the first image; according to the adjusted width of the second image and the original height of the second image Adjust the original height of the second image in proportion to the original width.
  • the original width of the second image 32 when the original width of the second image 32 is adjusted according to the original size of the first image 31, specifically the original width of the second image 32 may be adjusted according to the original width of the first image 31, for example, the first image 31
  • the original width of W is denoted as W
  • the original width of the second image 32 is adjusted according to the original width W of the first image 31, so that the width of the adjusted second image 32 is smaller than W
  • 71 indicates that the width of the second image 32 is adjusted
  • the width of the adjusted second image 32 is recorded as w, for example, w is equal to a quarter of W.
  • the height of the image 71 is adjusted to obtain the image 33.
  • the method further includes: adjusting the size of the third image according to at least one resolution supported by the display component.
  • the image 33 after the second image 32 is subjected to the reduction process is superimposed on the first image 31 to obtain a third image 34 whose size is the same as the original size of the first image 31 .
  • the third image 34 needs to be adjusted according to the resolution of the display component
  • the display component can support at least one resolution
  • the size of the third image 34 can be adjusted according to the at least one resolution supported by the display component.
  • the adjusting the size of the third image according to at least one resolution supported by the display component includes: determining, from the at least one resolution supported by the display component, the resolution closest to the resolution of the first image Target resolution; adjust the size of the third image according to the target resolution.
  • a target resolution closest to the resolution of the first image 31 is determined from at least one resolution supported by the display component, and the size of the third image 34 is adjusted according to the target resolution.
  • the resolutions supported by the display component include: 320*240 and 640*480, and the resolution of the first image 31 is 640*640, compared to the resolution supported by the display component 320*240, The resolution 640*480 supported by the display component is closer to the resolution of the first image 31, and the size of the third image 34 is adjusted according to the resolution 640*480 supported by the display component to reduce the The third image 34 is scaled so that the third image 34 is less distorted.
  • the current resolution of the display component is adjusted to 640*480.
  • the original size of the first image is adjusted to adjust the original size of the second image, and the adjusted second image is superimposed on the first image to obtain the third image, and further distinguished according to at least one resolution supported by the display component
  • Adjust the size of the third image to adapt the size of the third image to the resolution supported by the display component, and in addition, determine the resolution from the first image from at least one resolution supported by the display component
  • the target resolution with the closest rate; adjusting the size of the third image according to the target resolution can reduce the zoom ratio for scaling the third image, so that the third image is less distorted.
  • An embodiment of the present invention provides an image processing method. Based on the embodiment shown in FIG. 2, the adjusting the original size of the first image and/or the second image includes: adjusting the original size of the first image; according to the adjusted For the size of an image, adjust the original size of the second image.
  • the first image 31 is enlarged to obtain the image 41, and further, the original size of the second image 32 is adjusted according to the size of the image 41 to obtain the image 33, and the image 33 is superimposed on the image 41 to obtain the first Three images 42.
  • the adjusting the original size of the first image includes: adjusting the original size of the first image according to at least one resolution supported by the display component.
  • the first image 31 is the main screen of the display component, and the resolution of the first image 31 and the resolution of the display component may not match.
  • the original size of the first image 31 needs to be adjusted according to the resolution of the display component
  • the display component may support at least one resolution, and the original size of the first image 31 is adjusted according to the at least one resolution supported by the display component.
  • the adjusting the original size of the first image according to at least one resolution supported by the display component includes: determining the resolution of the first image from the at least one resolution supported by the display component The target resolution with the closest resolution; adjusting the original size of the first image according to the target resolution.
  • the target resolution closest to the resolution of the first image 31 is determined from at least one resolution supported by the display component, and the original size of the first image 31 is adjusted according to the target resolution, for example ,
  • the resolution supported by the display component includes: 320*240 and 640*480, the resolution of the first image 31 is 640*640, compared to the resolution supported by the display component 320*240, the The resolution 640*480 supported by the display component is closer to the resolution of the first image 31, and the size of the first image 31 is adjusted according to the resolution 640*480 supported by the display component to reduce
  • the image 31 is scaled so that the first image 31 is less distorted.
  • the current resolution of the display component is adjusted to 640*480.
  • the adjusting the original size of the second image according to the adjusted size of the first image includes the following feasible implementation methods:
  • a feasible implementation manner is: adjusting the original height of the second image according to the adjusted size of the first image; according to the adjusted height of the second image and the original of the second image The ratio of the height to the original width adjusts the original width of the second image.
  • the original size of the first image 31 is adjusted according to the resolution of the display component to obtain the image 41, and when the original height of the second image 32 is adjusted according to the size of the image 41, the height can be adjusted specifically according to the height of the image 41
  • the original height of the second image 32 for example, the height of the image 41 is recorded as H, and the original height of the second image 32 is adjusted according to the height H of the image 41, so that the height of the adjusted second image 32 is smaller than H, and 61 indicates The height of the second image 32 is adjusted.
  • the height of the adjusted second image 32 is denoted as h.
  • h is equal to a quarter of H.
  • the width of the image 61 is adjusted to obtain the image 33.
  • Another feasible implementation manner is: adjusting the original width of the second image according to the adjusted size of the first image; according to the adjusted width of the second image and the size of the second image The ratio of the original height to the original width adjusts the original height of the second image.
  • the original size of the first image 31 is adjusted according to the resolution of the display component to obtain the image 41, and when the original width of the second image 32 is adjusted according to the size of the image 41, it can be specifically adjusted according to the width of the image 41
  • the original width of the second image 32 for example, the width of the image 41 is denoted as W
  • the original width of the second image 32 is adjusted according to the width W of the image 41, so that the width of the adjusted second image 32 is smaller than W
  • 71 indicates An image after the width of the second image 32 is adjusted, and the width of the adjusted second image 32 is denoted by w, for example, w is equal to a quarter of W.
  • the height of the image 71 is adjusted to obtain the image 33.
  • the original size of the first image 31 is adjusted according to the resolution of the display component to obtain the image 41, that is, the size of the image 41 has been adapted to the resolution of the display component, so ,
  • the size of the third image 42 is the same as the size of the image 41. Therefore, the size of the third image 42 is also adapted to the resolution of the display component. The size of the third image 42 is not adjusted again.
  • the zoom ratio of the first image is reduced to make the first image less distorted.
  • An embodiment of the present invention provides an image processing method. Based on the above embodiment, after the second image is superimposed on the first image to obtain a third image, the method further includes: running an application in the ground control terminal, and using the application to The third image performs a sharing operation.
  • the ground control terminal 14 may be installed with an application program, and the application program may be an instant messaging application, such as WeChat, Facebook, Douyin, etc.
  • the ground control terminal 14 may start according to the user's start operation of the application Run the application program, and perform a sharing operation on the third image through the application program.
  • the method further includes: sending the third image to at least one of a live broadcast device, a relay device, and a server .
  • the ground control terminal 14 may also send the third image to at least one of a live broadcast device, a relay device, and a server, and the live broadcast device may send the third image to a television station to achieve live TV broadcast.
  • the live broadcast device may perform live webcast of the third image.
  • the rebroadcasting device may send the third image to a television station to achieve television rebroadcasting.
  • the ground control terminal 14 receives the first image sent by the drone 10 in real time and the second image captured by the ground shooting device 15.
  • the ground control terminal 14 can superimpose the second image on the first image in real time
  • the server 16 may specifically be A streaming media server. Other user terminals may download the third image from the streaming media server.
  • the superimposed image of the ground shooting device is superimposed on the drone's shooting device, or the drone's shooting device is superimposed on the ground shooting device.
  • the application in the control terminal performs a sharing operation on the superimposed image, or sends the superimposed image to at least one of the live broadcast device, the relay device, and the server through the ground control terminal, thereby realizing the superimposed image Live broadcast, rebroadcast or share.
  • FIG. 10 is a structural diagram of a ground control terminal provided by an embodiment of the present invention.
  • the ground control terminal 100 includes: a memory 101, a processor 102, and a first communication interface 103;
  • the ground shooting device is communicatively connected;
  • the memory 101 is used to store the program code;
  • the processor 102 calls the program code, and when the program code is executed, it is used to perform the following operations: acquire the first image and the second image, wherein, the first One image is one of the captured image of the drone camera and the captured image of the ground camera connected to the ground control terminal, and the second image is the camera of the drone
  • the captured image of the camera and another image of the grounded camera that is in communication with the ground control terminal are different from the first image; the second image is superimposed on the first image to obtain The third image.
  • the processor 102 is further used to display the third image on the display component.
  • the processor 102 when the processor 102 superimposes the second image onto the first image to obtain a third image, it is specifically used to: adjust the original size of the first image and/or the second image to After the adjustment, the size of the first image is larger than the size of the second image; after the adjustment, the second image is superimposed on the first image to obtain the third image.
  • the processor 102 adjusts the original size of the first image and/or the second image, it is specifically used to: adjust the original size of the second image according to the original size of the first image.
  • the processor 102 adjusts the original size of the second image according to the original size of the first image, it is specifically used to: adjust the original size of the second image according to the original size of the first image Height; adjust the original width of the second image according to the adjusted height of the second image and the ratio of the original height of the second image to the original width.
  • the processor 102 adjusts the original size of the second image according to the original size of the first image, it is specifically used to: adjust the original size of the second image according to the original size of the first image Width; adjust the original height of the second image according to the adjusted width of the second image and the ratio of the original height of the second image to the original width.
  • the processor 102 is further used to: adjust the third image according to at least one resolution supported by the display component the size of.
  • the processor 102 adjusts the size of the third image according to at least one resolution supported by the display component, it is specifically used to: determine the resolution of the third image from at least one resolution supported by the display component The resolution of an image is closest to the target resolution; according to the target resolution, the size of the third image is adjusted.
  • the processor 102 adjusts the original size of the first image and/or the second image, it is specifically used to: adjust the original size of the first image; according to the adjusted Size, adjust the original size of the second image.
  • the processor 102 when the processor 102 adjusts the original size of the first image, it is specifically used to adjust the original size of the first image according to at least one resolution supported by the display component.
  • the processor 102 adjusts the original size of the first image according to at least one resolution supported by the display component, it is specifically used to: determine and determine from the at least one resolution supported by the display component The resolution of the first image is closest to the target resolution; according to the target resolution, the original size of the first image is adjusted.
  • the processor 102 adjusts the original size of the second image according to the adjusted size of the first image, it is specifically used to: adjust the first size according to the adjusted size of the first image The original height of the second image; adjusting the original width of the second image according to the adjusted height of the second image and the ratio of the original height of the second image to the original width.
  • the processor 102 adjusts the original size of the second image according to the adjusted size of the first image, it is specifically used to: adjust the first size according to the adjusted size of the first image The original width of the second image; adjusting the original height of the second image according to the adjusted width of the second image and the ratio of the original height of the second image to the original width.
  • the processor 102 when the processor 102 superimposes the second image on the first image to obtain the third image, it is specifically used to: superimpose the second image on the preset in the first image Position to get the third image.
  • the preset position is determined according to the original size of the first image or the adjusted size of the first image.
  • the ground control terminal further includes: a second communication interface; when the processor 102 acquires the first image and the second image, it is specifically used to: receive the drone and the ground through the second communication interface 104 A first encoded image sent by one of the shooting devices; decode the first encoded image to obtain the first image; and/or, receive the drone and the ground shot through the second communication interface 104 A second encoded image sent by another in the device; decoding the second encoded image to obtain the second image.
  • a second communication interface when the processor 102 acquires the first image and the second image, it is specifically used to: receive the drone and the ground through the second communication interface 104 A first encoded image sent by one of the shooting devices; decode the first encoded image to obtain the first image; and/or, receive the drone and the ground shot through the second communication interface 104 A second encoded image sent by another in the device; decoding the second encoded image to obtain the second image.
  • the ground control terminal and the ground shooting device are connected by wireless communication or wired communication.
  • connection interface between the ground control terminal and the ground shooting device includes at least one of the following: composite synchronous video broadcasting signal CVBS interface, high-definition multimedia interface IDMI, digital component serial interface SDI, mobile industry processor Interface MIPI, universal serial bus USB interface.
  • the processor 102 after the processor 102 superimposes the second image on the first image to obtain a third image, it is also used to: run an application program on the ground control terminal, and use the application program to The third image performs a sharing operation.
  • the ground control terminal further includes: a second communication interface; after the processor 102 superimposes the second image on the first image to obtain a third image, it is also used to: through the second communication interface 104 Sending the third image to at least one of a live broadcast device, a relay device, and a server.
  • first communication interface 103 and the second communication interface 104 may be the same interface or different interfaces.
  • the captured image of the drone camera and the captured image of the ground camera connected to the ground controller are acquired through the ground control terminal, and the captured image of the ground camera is superimposed on the drone In the captured image, or superimpose the captured image of the drone camera to the captured image of the ground camera, so that the superimposed image includes both the captured image of the drone camera and the ground camera
  • the captured images of the ground shooting device may include images of characters such as flying pilots, narrators, moderators, etc., and may also include scene images around the ground control terminal, so that users can see the shooting of the drone in one image Environment and the shooting environment of the ground shooting device, thereby improving the presence of the environment around the ground control end.
  • this embodiment also provides a computer-readable storage medium on which a computer program is stored, and the computer program is executed by a processor to implement the image processing method described in the above embodiment.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the units is only a division of logical functions.
  • there may be other divisions for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware, or in the form of hardware plus software functional units.
  • the above integrated unit implemented in the form of a software functional unit may be stored in a computer-readable storage medium.
  • the above software functional units are stored in a storage medium, and include several instructions to enable a computer device (which may be a personal computer, server, or network device, etc.) or processor to execute the method described in each embodiment of the present invention Partial steps.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种图像处理的方法、装置、设备及存储介质，本发明实施例通过地面控制端同时获取无人机的拍摄装置的拍摄图像和与地面控制端通信连接的地面拍摄装置的拍摄图像，并将地面拍摄装置的拍摄图像叠加到无人机的拍摄装置的拍摄图像中，或者，将无人机的拍摄装置的拍摄图像叠加到地面拍摄装置的拍摄图像中，使得叠加后的图像同时包括无人机的拍摄装置的拍摄图像和地面拍摄装置的拍摄图像，该地面拍摄装置的拍摄图像可以包括飞手、解说员、主持人等人物图像，也可以包括地面控制端周围的景物图像，使用户可以看到可以在一个图像中同时看到无人机的拍摄的环境和地面拍摄装置的拍摄环境，从而提高了该地面控制端周围环境的存在感。

Description

图像处理的方法、装置、设备及存储介质 技术领域
本发明实施例涉及无人机领域，尤其涉及一种图像处理的方法、装置、设备及存储介质。
背景技术
现有技术中，搭载在可移动平台例如无人机上的拍摄设备可用于航拍，该无人机可将该拍摄设备航拍的图像信息发送给地面控制端例如遥控器。
在某些应用场景中，用户希望通过看到无人机的拍摄画面和地面控制端周围的画面。例如，无人机在拍摄新闻事件的画面，主持人在地面控制端的周围对该新闻事件进行同步报道，用户希望同时观看到新闻事件的画面和主持人的画面。然而，无人机在飞行时，该地面控制端可能在距离该无人机较远的地方，导致该拍摄设备航拍的图像信息中可能没有该地面控制端周围的画面，用户无法同时看到无人机的拍摄画面和地面控制端周围的画面，从而降低了该地面控制端周围环境的存在感。
发明内容
本发明实施例提供一种图像处理的方法、装置、设备及存储介质，以提高该地面控制端周围环境的存在感。
本发明实施例的第一方面是提供一种图像处理的方法，应用于地面控制端，包括：
获取第一图像和第二图像，其中，所述第一图像为无人机的拍摄装置的拍摄图像和与地面控制端通信连接的地面拍摄装置的拍摄图像中的一种图像，第二图像为所述无人机的所述拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中不同于所述第一图像的另一种图像；
将所述第二图像叠加到所述第一图像中得到第三图像。
本发明实施例的第二方面是提供一种地面控制端，包括：存储器、处 理器和第一通讯接口；
所述第一通讯接口用于与地面拍摄装置通信连接；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取第一图像和第二图像，其中，所述第一图像为无人机的拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中的一种图像，第二图像为所述无人机的所述拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中不同于所述第一图像的另一种图像；
将所述第二图像叠加到所述第一图像中得到第三图像。
本发明实施例的第三方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本实施例提供的图像处理的方法、装置、设备及存储介质，通过地面控制端同时获取无人机的拍摄装置的拍摄图像和与地面控制端通信连接的地面拍摄装置的拍摄图像，并将地面拍摄装置的拍摄图像叠加到无人机的拍摄装置的拍摄图像中，或者，将无人机的拍摄装置的拍摄图像叠加到地面拍摄装置的拍摄图像中，使得叠加后的图像同时包括无人机的拍摄装置的拍摄图像和地面拍摄装置的拍摄图像，该地面拍摄装置的拍摄图像可以包括飞手、解说员、主持人等人物图像，也可以包括地面控制端周围的景物图像，使用户可以看到可以在一个图像中同时看到无人机的拍摄的环境和地面拍摄装置的拍摄环境，从而提高了该地面控制端周围环境的存在感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种应用场景的示意图；
图2为本发明实施例提供的图像处理的方法的流程图；
图3为本发明实施例提供的一种图像处理的示意图；
图4为本发明实施例提供的另一种图像处理的示意图；
图5为本发明实施例提供的又一种图像处理的示意图；
图6为本发明实施例提供的又一种图像处理的示意图；
图7为本发明实施例提供的又一种图像处理的示意图；
图8为本发明实施例提供的又一种图像处理的示意图；
图9为本发明实施例提供的又一种图像处理的示意图；
图10为本发明实施例提供的地面控制端的结构图。
附图标记：
10：无人机；     11：拍摄装置；   12：云台；
13：通讯接口；   14：地面控制端；   15：地面拍摄装置；
16：服务器；     31：第一图像；     32：第二图像；
33：图像；       34：第三图像；   41：图像；
42：第三图像；    61：图像；      71：图像；
100：地面控制端；   101：存储器； 102：处理器；
103：第一通讯接口；   104：第二通讯接口。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和 所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种图像处理的方法。本实施例所述的图像处理的方法可以应用于无人机的地面控制端，该地面控制端可以是遥控器、手机、平板电脑等设备。如图1所示，无人机10搭载有拍摄装置11，拍摄装置11通过支撑部件例如云台12与无人机10的机身连接，无人机10可将拍摄装置11拍摄的图像通过通讯接口13发送给地面控制端14，在本实施例中，地面控制端14与地面拍摄装置15通信连接，在一些实施例中，地面拍摄装置15可集成在地面控制端14中，例如地面拍摄装置15可以设置在地面控制端14上。在其他一些实施例中，地面拍摄装置15可以是地面控制端14外接的拍摄装置。在本实施例中，地面控制端14可接收到无人机10的拍摄装置11拍摄的图像，也可以接收到地面拍摄装置15拍摄到的图像，地面控制端14可以对拍摄装置11拍摄的图像和地面拍摄装置15拍摄到的图像进行图像处理，下面通过具体的实施例详细介绍该图像处理的方法。
图2为本发明实施例提供的图像处理的方法的流程图。如图2所示，本实施例中的方法，可以包括：
步骤S201、获取第一图像和第二图像，其中，所述第一图像为无人机的拍摄装置的拍摄图像和与地面控制端通信连接的地面拍摄装置的拍摄图像中的一种图像，第二图像为所述无人机的所述拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中不同于所述第一图像的另一种图像。
如图1所示，地面控制端14可接收到无人机10的拍摄装置11拍摄的图像，也可以接收到地面拍摄装置15拍摄到的图像，拍摄装置11拍摄的图像具体可以是无人机10在飞行时的航拍图。地面拍摄装置15拍摄到的图像具体可以是地面控制端14周围的图像，例如，地面控制端14附近的飞手、解说员、主持人等人物图像，和/或地面控制端14周围的景物图像。可选的，将拍摄装置11拍摄的图像和地面拍摄装置15拍摄到的图像中的一种图像记为第一图像，将拍摄装置11拍摄的图像和地面拍摄装置 15拍摄到的图像中的另一种图像记为第二图像。也就是说，第一图像可以是拍摄装置11拍摄的图像，第二图像可以是地面拍摄装置15拍摄到的图像，或者，第一图像是地面拍摄装置15拍摄到的图像，第二图像可以是拍摄装置11拍摄的图像。
可选的，所述地面控制端和所述地面拍摄装置通过无线通信方式或有线通信方式进行通信连接。如图1所示，地面控制端14和地面拍摄装置15可通过有线通信方式通信连接，或者，通过无线通信方式进行通信连接。
当地面控制端14和地面拍摄装置15通过无线通信方式进行通信连接时，该无线通信方式具体可以是无线保真(WIreless-Fidelity，WIFI)通信方式。
当所述地面控制端和所述地面拍摄装置通过有线通信方式通信连接时，所述地面控制端和所述地面拍摄装置的连接接口包括如下至少一种：复合同步视频广播信号(Composite Video Broadcast Signal,CVBS)接口、高清晰度多媒体接口(High Definition Multimedia Interface,IDMI)、数字分量串行接口(serial digital interface,SDI)、移动产业处理器接口(Mobile Industry Processor Interface,MIPI)、通用串行总线(Universal Serial Bus,USB)接口。
另外，当地面控制端14和地面拍摄装置15通过CVBS、IDMI、SDI、MIPI中的至少一种接口进行通信连接时，地面控制端14从地面拍摄装置15获取到的图像是地面拍摄装置15拍摄的原始图像，也就是说，地面拍摄装置15拍摄的原始图像不需要经过编码即可通过CVBS、IDMI、SDI、MIPI中的至少一种接口发送给地面控制端14。
此外，当地面控制端14和地面拍摄装置15通过USB、WIFI中的至少一种进行通信连接时，地面控制端14从地面拍摄装置15获取到的图像是编码图像，也就是说，地面拍摄装置15拍摄的原始图像需要经过编码，例如，通过H.264编码方式进行编码得到编码图像，进一步，将编码图像通过USB、WIFI中的至少一种发送给地面控制端14。
此外，无人机10可将拍摄装置11拍摄的图像进行编码，例如，通过H.264编码方式进行编码得到编码图像，进一步，将编码图像通过无线通信方式，例如WIFI、软件定义的无线电(Software Defined Radio，SDR)中的至少一种发送给地面控制端14。
因此，当地面控制端14接收到无人机10发送的编码图像和/或地面拍摄装置15发送的编码图像时，该地面控制端14还需要对编码图像进行解码得到原始的图像。
作为一种可实现方式，所述获取第一图像和第二图像，包括：接收所述无人机和所述地面拍摄装置中的一个发送的第一编码图像；对所述第一编码图像进行解码以获取所述第一图像；和/或，接收所述无人机和所述地面拍摄装置中的另一个发送的第二编码图像；对所述第二编码图像进行解码以获取所述第二图像。
例如，将地面拍摄装置15拍摄到的图像记为第一图像，将无人机10的拍摄装置11拍摄的图像记为第二图像，地面拍摄装置15可以向地面控制端14发送该第一图像，或者，给向地面控制端14发送该第一图像的编码图像，此处，将该第一图像的编码图像记为第一编码图像。在一些实施例中，无人机10可以向地面控制端14发送该第二图像，或者，给向地面控制端14发送该第二图像的编码图像，此处，将该第二图像的编码图像记为第二编码图像。
一种可能的情况是：地面拍摄装置15向地面控制端14发送第一编码图像，无人机10向地面控制端14发送该第二图像，此时，地面控制端14需要对该第一编码图像进行解码以获取该第一图像。
另一种可能的情况是：地面拍摄装置15向地面控制端14发送第一图像，无人机10向地面控制端14发送第二编码图像，此时，地面控制端14需要对该第二编码图像进行解码以获取该第二图像。
再一种可能的情况是：地面拍摄装置15向地面控制端14发送第一编码图像，无人机10向地面控制端14发送第二编码图像，此时，地面控制端14需要对该第一编码图像进行解码以获取该第一图像，以及对该第二编码图像进行解码以获取该第二图像。
步骤S202、将所述第二图像叠加到所述第一图像中得到第三图像。
若第一图像是拍摄装置11拍摄的图像，第二图像是地面拍摄装置15拍摄到的图像，则可以将拍摄装置11拍摄的图像作为主画面，将地面拍摄装置15拍摄到的图像作为辅画面，将地面拍摄装置15拍摄到的图像叠加到拍摄装置11拍摄的图像中得到第三图像。
若第一图像是地面拍摄装置15拍摄到的图像，第二图像是拍摄装置11拍摄的图像，则可以将地面拍摄装置15拍摄到的图像作为主画面，将拍摄装置11拍摄的图像作为辅画面，将拍摄装置11拍摄的图像叠加到地面拍摄装置15拍摄到的图像中得到第三图像。
可以理解的是，所述叠加可以是利用像素叠加算法实现。
本实施例以第一图像是拍摄装置11拍摄的图像，第二图像是地面拍摄装置15拍摄到的图像为例，进行如下示意性说明。
可选的，所述将所述第二图像叠加到所述第一图像中得到第三图像，包括：调整所述第一图像和/或所述第二图像的原始大小，以使在调整之后所述第一图像的大小大于所述第二图像的大小；在调整之后，将所述第二图像叠加到所述第一图像中得到所述第三图像。
例如，拍摄装置11拍摄的第一图像的大小和地面拍摄装置15拍摄到的第二图像的大小可能不同，也可能相同，在将第二图像叠加到第一图像之前，需要对第一图像和第二图像的原始大小进行调整，使得调整后，第一图像的大小大于第二图像的大小。在调整之后，将第二图像叠加到第一图像中得到该第三图像。
如图3所示，31表示拍摄装置11拍摄的第一图像，32表示地面拍摄装置15拍摄到的第二图像，第二图像32的大小等于第一图像31的大小，在其他实施例中，第二图像32的大小可能大于第一图像31的大小，在这种情况下，需要对第一图像31的大小和/或第二图像32的大小进行调整，在调整之后，将第二图像叠加到第一图像中得到该第三图像。
一种可能的实现方式是：对第二图像32进行缩小处理，如图3所示，33表示对第二图像32进行缩小处理后的图像。将对第二图像32进行缩小处理后的图像33叠加到第一图像31中得到第三图像34。
另一种可能的实现方式是：对第一图像31进行放大处理，如图4所示，41表示对第一图像31进行放大处理后的图像，将第二图像32叠加到对第一图像31进行放大处理后的图像41中得到第三图像42。
再一种可能的实现方式是：对第二图像32进行缩小处理，同时，对第一图像31进行放大处理，如图5所示，33表示对第二图像32进行缩小处理后的图像，41表示对第一图像31进行放大处理后的图像，将对第二 图像32进行缩小处理后得到的图像33叠加到对第一图像31进行放大处理后的图像41中，得到第三图像42。
在一些实施例中，所述将所述第二图像叠加到所述第一图像中得到所述第三图像，包括将所述第二图像叠加到所述第一图像中的预设位置得到所述第三图像。可选的，所述预设位置是根据所述第一图像的原始大小或者调整后的所述第一图像的大小确定的。
例如，对第一图像31的大小和/或第二图像32的大小进行调整，使得第一图像31的大小大于第二图像32的大小后，将第二图像32叠加到该第一图像31时，具体的，将第二图像32叠加到该第一图像31中的预设位置得到第三图像。例如，将第二图像32叠加到该第一图像31的左下角。在一些实施例中，该预设位置是根据第一图像31的原始大小或者调整后的第一图像31的大小确定的。
在其他一些实施例中，第一图像31的大小可能大于第二图像32的大小，并且第一图像31的大小与第二图像32的大小的比值大于预设比值，或者，第一图像31的大小与第二图像32的大小的差值的绝对值大于预设差值，则可以不需要对第一图像31的大小和/或第二图像32的大小进行调整，直接将第二图像32叠加到该第一图像31中得到第三图像，具体的，将第二图像32叠加到该第一图像31中的预设位置得到第三图像。
在一些实施例中，所述将所述第二图像叠加到所述第一图像中得到第三图像之后，还包括：将所述第三图像显示在显示组件上。
如图3所示，将对第二图像32进行缩小处理后的图像33叠加到第一图像31中得到第三图像34之后，还可以进一步将该第三图像34显示在显示组件上。该显示组件具体可以是地面控制端14的屏幕，也可以是该地面控制端14外接的显示设备，例如显示屏。同理，如图4和图5所示的第三图像42也可显示在显示组件上。
本实施例通过地面控制端同时获取无人机的拍摄装置的拍摄图像和与地面控制端通信连接的地面拍摄装置的拍摄图像，并将地面拍摄装置的拍摄图像叠加到无人机的拍摄装置的拍摄图像中，或者，将无人机的拍摄装置的拍摄图像叠加到地面拍摄装置的拍摄图像中，使得叠加后的图像同时包括无人机的拍摄装置的拍摄图像和地面拍摄装置的拍摄图像，该地面 拍摄装置的拍摄图像可以包括飞手、解说员、主持人等人物图像，也可以包括地面控制端周围的景物图像，使用户可以看到可以在一个图像中同时看到无人机的拍摄的环境和地面拍摄装置的拍摄环境，从而提高了该地面控制端周围环境的存在感。
本发明实施例提供一种图像处理的方法。在图2所示实施例的基础上，所述调整所述第一图像和/或所述第二图像的原始大小，包括：根据所述第一图像的原始大小，调整所述第二图像的原始大小。
具体地，如图3所示，保持第一图像31的大小不变，根据第一图像31的原始大小，调整第二图像32的原始大小。
可选的，所述根据所述第一图像的原始大小，调整所述第二图像的原始大小，包括如下几种可行的实现方式：
一种可行的实现方式是：根据所述第一图像的原始大小，调整所述第二图像的原始高度；根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
如图6所示，在根据第一图像31的原始大小调整第二图像32的原始高度时，具体可根据第一图像31的原始高度调整第二图像32的原始高度，例如，第一图像31的原始高度记为H，根据第一图像31的原始高度H调整第二图像32的原始高度，使得调整后的第二图像32的高度比H小，61表示对第二图像32的高度进行调整后的图像，调整后的第二图像32的高度记为h，例如，h等于H的四分之一。进一步，根据调整后的第二图像32的高度h，以及第二图像32的原始高度与原始宽度的比例，调整图像61的宽度，得到图像33。
另一种可行的实现方式是：根据所述第一图像的原始大小，调整所述第二图像的原始宽度；根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
如图7所示，在根据第一图像31的原始大小调整第二图像32的原始宽度时，具体可根据第一图像31的原始宽度调整第二图像32的原始宽度，例如，第一图像31的原始宽度记为W，根据第一图像31的原始宽度W调整第二图像32的原始宽度，使得调整后的第二图像32的宽度比W小， 71表示对第二图像32的宽度进行调整后的图像，调整后的第二图像32的宽度记为w，例如，w等于W的四分之一。进一步，根据调整后的第二图像32的宽度w，以及第二图像32的原始高度与原始宽度的比例，调整图像71的高度，得到图像33。
所述将所述第二图像叠加到所述第一图像中得到所述第三图像之后，还包括：根据显示组件支持的至少一种分辨率，调整所述第三图像的大小。如图6或图7所示，将对第二图像32进行缩小处理后的图像33叠加到第一图像31中得到第三图像34，第三图像34的大小和第一图像31的原始大小相同，将第三图像34显示在显示组件时，该显示组件的分辨率和主画面即第一图像31的分辨率可能不匹配，此时，还需要根据该显示组件的分辨率调整第三图像34的大小，具体的，该显示组件可支持至少一种分辨率，根据该显示组件所支持的至少一种分辨率，调整第三图像34的大小。
所述根据显示组件支持的至少一种分辨率，调整所述第三图像的大小，包括：从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；根据所述目标分辨率，调整所述第三图像的大小。
例如，从该显示组件所支持的至少一种分辨率中确定出与该第一图像31的分辨率最接近的目标分辨率，根据该目标分辨率来调整该第三图像34的大小。例如，该显示组件所支持的分辨率包括：320*240和640*480两种，该第一图像31的分辨率为640*640，相比于该显示组件所支持的分辨率320*240，该显示组件所支持的分辨率640*480更接近于该第一图像31的分辨率，则根据显示组件所支持的分辨率640*480来调整该第三图像34的大小，以降低对该第三图像34进行缩放的缩放比例，以使该第三图像34失真较小。同时，将该显示组件当前的分辨率调整为640*480。
本实施例通过第一图像的原始大小，调整该第二图像的原始大小，将调整后的第二图像叠加到该第一图像中得到该第三图像，进一步根据显示组件支持的至少一种分辨率，调整该第三图像的大小，可使得第三图像的大小适配于该显示组件支持的分辨率，另外，从该显示组件支持的至少一种分辨率中确定与该第一图像的分辨率最接近的目标分辨率；根据该目标 分辨率，调整该第三图像的大小，可降低对该第三图像进行缩放的缩放比例，以使该第三图像失真较小。
本发明实施例提供一种图像处理的方法。在图2所示实施例的基础上，所述调整所述第一图像和/或所述第二图像的原始大小，包括：调整所述第一图像的原始大小；根据调整后的所述第一图像的大小，调整所述第二图像的原始大小。
如图5所示，对第一图像31进行放大处理，得到图像41，进一步，根据图像41的大小，调整第二图像32的原始大小，得到图像33，将图像33叠加到图像41，得到第三图像42。
可选的，所述调整所述第一图像的原始大小，包括：根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小。
例如，第一图像31是显示组件的主画面，第一图像31的分辨率和该显示组件的分辨率可能不匹配，此时，需要根据该显示组件的分辨率调整第一图像31的原始大小，具体的，该显示组件可支持至少一种分辨率，根据该显示组件所支持的至少一种分辨率，调整第一图像31的原始大小。
可选的，所述根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小，包括：从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；根据所述目标分辨率，调整所述第一图像的原始大小。
例如，从该显示组件所支持的至少一种分辨率中确定出与该第一图像31的分辨率最接近的目标分辨率，根据该目标分辨率来调整该第一图像31的原始大小，例如，该显示组件所支持的分辨率包括：320*240和640*480两种，该第一图像31的分辨率为640*640，相比于该显示组件所支持的分辨率320*240，该显示组件所支持的分辨率640*480更接近于该第一图像31的分辨率，则根据显示组件所支持的分辨率640*480来调整该第一图像31的大小，以降低对该第一图像31进行缩放的缩放比例，以使该第一图像31失真较小。同时，将该显示组件当前的分辨率调整为640*480。
可选的，所述根据调整后的所述第一图像的大小，调整所述第二图像 的原始大小，包括如下几种可行的实现方式：
一种可行的实现方式是：根据调整后的所述第一图像的大小，调整所述第二图像的原始高度；根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
如图8所示，根据显示组件的分辨率对第一图像31的原始大小进行调整后得到图像41，根据图像41的大小调整第二图像32的原始高度时，具体可根据图像41的高度调整第二图像32的原始高度，例如，图像41的高度记为H，根据图像41的高度H调整第二图像32的原始高度，使得调整后的第二图像32的高度比H小，61表示对第二图像32的高度进行调整后的图像，调整后的第二图像32的高度记为h，例如，h等于H的四分之一。进一步，根据调整后的第二图像32的高度h，以及第二图像32的原始高度与原始宽度的比例，调整图像61的宽度，得到图像33。
另一种可行的实现方式是：根据调整后的所述第一图像的大小，调整所述第二图像的原始宽度；根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
如图9所示，根据显示组件的分辨率对第一图像31的原始大小进行调整后得到图像41，根据图像41的大小调整第二图像32的原始宽度时，具体可根据图像41的宽度调整第二图像32的原始宽度，例如，图像41的宽度记为W，根据图像41的宽度W调整第二图像32的原始宽度，使得调整后的第二图像32的宽度比W小，71表示对第二图像32的宽度进行调整后的图像，调整后的第二图像32的宽度记为w，例如，w等于W的四分之一。进一步，根据调整后的第二图像32的宽度w，以及第二图像32的原始高度与原始宽度的比例，调整图像71的高度，得到图像33。
如图8或图9所述，根据显示组件的分辨率对第一图像31的原始大小进行调整后得到图像41，也就是说，图像41的大小已经适配于该显示组件的分辨率，因此，将图像33叠加到该图像41中得到第三图像42时，第三图像42的大小与图像41的大小相同，因此，第三图像42的大小也适配于该显示组件的分辨率，可以不对第三图像42的大小再次调整。
本实施例通过从该显示组件所支持的至少一种分辨率中确定出与该第一图像的分辨率最接近的目标分辨率，根据该目标分辨率来调整该第一 图像的原始大小，可降低对该第一图像进行缩放的缩放比例，以使该第一图像失真较小。
本发明实施例提供一种图像处理的方法。在上述实施例的基础上，将所述第二图像叠加到所述第一图像中得到第三图像之后，还包括：运行所述地面控制端中的应用程序，通过所述应用程序对所述第三图像执行分享操作。
如图1所示，地面控制端14可安装有应用程序，该应用程序可以是即时通信应用程序，例如微信、Facebook、抖音等，地面控制端14可根据用户对该应用程序的启动操作开始运行该应用程序，并通过该应用程序对该第三图像执行分享操作。
在一些实施例中，所述将所述第二图像叠加到所述第一图像中得到第三图像之后，还包括：将所述第三图像发送给直播设备、转播设备和服务器中的至少一个。
例如，地面控制端14还可以将第三图像发送给直播设备、转播设备和服务器中的至少一个，该直播设备可以将该第三图像发送到电视台实现电视直播。或者，该直播设备可以对该第三图像进行网络直播。该转播设备可以将该第三图像发送到电视台实现电视转播。
可选的，地面控制端14实时接收无人机10发送的第一图像，以及地面拍摄装置15拍摄到的第二图像，该地面控制端14可实时将第二图像叠加到第一图像中得到第三图像，并将该第三图像实时发送给服务器16，或者，该地面控制端14对该第三图像进行实时编码得到编码图像，将该编码图像发送给服务器16，该服务器16具体可以是流媒体服务器，其他用户终端可以从该流媒体服务器中下载该第三图像。
本实施例通过将地面拍摄装置的拍摄图像叠加到无人机的拍摄装置的拍摄图像中，或者，将无人机的拍摄装置的拍摄图像叠加到地面拍摄装置的拍摄图像中，并通过该地面控制端中的应用程序对叠加后的图像执行分享操作，或者，通过该地面控制端将该叠加后的图像发送给直播设备、转播设备和服务器中的至少一个，实现了对该叠加后图像的直播、转播或分享。
本发明实施例提供一种地面控制端。图10为本发明实施例提供的地面控制端的结构图，如图10所示，地面控制端100包括：存储器101、处理器102和第一通讯接口103；其中，第一通讯接口103用于与地面拍摄装置通信连接；存储器101用于存储程序代码；处理器102调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取第一图像和第二图像，其中，所述第一图像为无人机的拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中的一种图像，第二图像为所述无人机的所述拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中不同于所述第一图像的另一种图像；将所述第二图像叠加到所述第一图像中得到第三图像。
可选的，处理器102将所述第二图像叠加到所述第一图像中得到第三图像之后，还用于：将所述第三图像显示在显示组件上。
可选的，处理器102将所述第二图像叠加到所述第一图像中得到第三图像时，具体用于：调整所述第一图像和/或所述第二图像的原始大小，以使在调整之后所述第一图像的大小大于所述第二图像的大小；在调整之后，将所述第二图像叠加到所述第一图像中得到所述第三图像。
可选的，处理器102调整所述第一图像和/或所述第二图像的原始大小时，具体用于：根据所述第一图像的原始大小，调整所述第二图像的原始大小。
可选的，处理器102根据所述第一图像的原始大小，调整所述第二图像的原始大小时，具体用于：根据所述第一图像的原始大小，调整所述第二图像的原始高度；根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
可选的，处理器102根据所述第一图像的原始大小，调整所述第二图像的原始大小时，具体用于：根据所述第一图像的原始大小，调整所述第二图像的原始宽度；根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
可选的，处理器102将所述第二图像叠加到所述第一图像中得到所述第三图像之后，还用于：根据显示组件支持的至少一种分辨率，调整所述 第三图像的大小。
可选的，处理器102根据显示组件支持的至少一种分辨率，调整所述第三图像的大小时，具体用于：从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；根据所述目标分辨率，调整所述第三图像的大小。
可选的，处理器102调整所述第一图像和/或所述第二图像的原始大小时，具体用于：调整所述第一图像的原始大小；根据调整后的所述第一图像的大小，调整所述第二图像的原始大小。
可选的，处理器102调整所述第一图像的原始大小时，具体用于：根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小。
可选的，处理器102根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小时，具体用于：从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；根据所述目标分辨率，调整所述第一图像的原始大小。
可选的，处理器102根据调整后的所述第一图像的大小，调整所述第二图像的原始大小时，具体用于：根据调整后的所述第一图像的大小，调整所述第二图像的原始高度；根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
可选的，处理器102根据调整后的所述第一图像的大小，调整所述第二图像的原始大小时，具体用于：根据调整后的所述第一图像的大小，调整所述第二图像的原始宽度；根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
可选的，处理器102将所述第二图像叠加到所述第一图像中得到所述第三图像时，具体用于：将所述第二图像叠加到所述第一图像中的预设位置得到所述第三图像。
可选的，所述预设位置是根据所述第一图像的原始大小或者调整后的所述第一图像的大小确定的。
可选的，所述地面控制端还包括：第二通讯接口；处理器102获取第一图像和第二图像时，具体用于：通过第二通讯接口104接收所述无人机和所述地面拍摄装置中的一个发送的第一编码图像；对所述第一编码图像 进行解码以获取所述第一图像；和/或，通过第二通讯接口104接收所述无人机和所述地面拍摄装置中的另一个发送的第二编码图像；对所述第二编码图像进行解码以获取所述第二图像。
可选的，所述地面控制端和所述地面拍摄装置通过无线通信方式或有线通信方式进行通信连接。
可选的，所述地面控制端和所述地面拍摄装置的连接接口包括如下至少一种：复合同步视频广播信号CVBS接口、高清晰度多媒体接口IDMI、数字分量串行接口SDI、移动产业处理器接口MIPI、通用串行总线USB接口。
可选的，处理器102将所述第二图像叠加到所述第一图像中得到第三图像之后，还用于：运行所述地面控制端中的应用程序，通过所述应用程序对所述第三图像执行分享操作。
可选的，所述地面控制端还包括：第二通讯接口；处理器102将所述第二图像叠加到所述第一图像中得到第三图像之后，还用于：通过第二通讯接口104将所述第三图像发送给直播设备、转播设备和服务器中的至少一个。
可选的，第一通讯接口103和第二通讯接口104可以是相同的接口，也可以是不同的接口。
本发明实施例提供的地面控制端的具体原理和实现方式均与上述实施例类似，此处不再赘述。
本实施例通过地面控制端同时获取无人机的拍摄装置的拍摄图像和与地面控制端通信连接的地面拍摄装置的拍摄图像，并将地面拍摄装置的拍摄图像叠加到无人机的拍摄装置的拍摄图像中，或者，将无人机的拍摄装置的拍摄图像叠加到地面拍摄装置的拍摄图像中，使得叠加后的图像同时包括无人机的拍摄装置的拍摄图像和地面拍摄装置的拍摄图像，该地面拍摄装置的拍摄图像可以包括飞手、解说员、主持人等人物图像，也可以包括地面控制端周围的景物图像，使用户可以看到可以在一个图像中同时看到无人机的拍摄的环境和地面拍摄装置的拍摄环境，从而提高了该地面控制端周围环境的存在感。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的图像处理的方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (41)

  1. 一种图像处理的方法，应用于地面控制端，其特征在于，包括：
    获取第一图像和第二图像，其中，所述第一图像为无人机的拍摄装置的拍摄图像和与地面控制端通信连接的地面拍摄装置的拍摄图像中的一种图像，第二图像为所述无人机的所述拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中不同于所述第一图像的另一种图像；
    将所述第二图像叠加到所述第一图像中得到第三图像。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述第二图像叠加到所述第一图像中得到第三图像之后，还包括：
    将所述第三图像显示在显示组件上。
  3. 根据权利要求1或2所述的方法，其特征在于，所述将所述第二图像叠加到所述第一图像中得到第三图像，包括：
    调整所述第一图像和/或所述第二图像的原始大小，以使在调整之后所述第一图像的大小大于所述第二图像的大小；
    在调整之后，将所述第二图像叠加到所述第一图像中得到所述第三图像。
  4. 根据权利要求3所述的方法，其特征在于，所述调整所述第一图像和/或所述第二图像的原始大小，包括：
    根据所述第一图像的原始大小，调整所述第二图像的原始大小。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述第一图像的原始大小，调整所述第二图像的原始大小，包括：
    根据所述第一图像的原始大小，调整所述第二图像的原始高度；
    根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
  6. 根据权利要求4所述的方法，其特征在于，所述根据所述第一图像的原始大小，调整所述第二图像的原始大小，包括：
    根据所述第一图像的原始大小，调整所述第二图像的原始宽度；
    根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
  7. 根据权利要求4-6任一项所述的方法，其特征在于，所述将所述第二图像叠加到所述第一图像中得到所述第三图像之后，还包括：
    根据显示组件支持的至少一种分辨率，调整所述第三图像的大小。
  8. 根据权利要求7所述的方法，其特征在于，所述根据显示组件支持的至少一种分辨率，调整所述第三图像的大小，包括：
    从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；
    根据所述目标分辨率，调整所述第三图像的大小。
  9. 根据权利要求3所述的方法，其特征在于，所述调整所述第一图像和/或所述第二图像的原始大小，包括：
    调整所述第一图像的原始大小；
    根据调整后的所述第一图像的大小，调整所述第二图像的原始大小。
  10. 根据权利要求9所述的方法，其特征在于，所述调整所述第一图像的原始大小，包括：
    根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小。
  11. 根据权利要求10所述的方法，其特征在于，所述根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小，包括：
    从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；
    根据所述目标分辨率，调整所述第一图像的原始大小。
  12. 根据权利要求9-11任一项所述的方法，其特征在于，所述根据调整后的所述第一图像的大小，调整所述第二图像的原始大小，包括：
    根据调整后的所述第一图像的大小，调整所述第二图像的原始高度；
    根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
  13. 根据权利要求9-11任一项所述的方法，其特征在于，所述根据调整后的所述第一图像的大小，调整所述第二图像的原始大小，包括：
    根据调整后的所述第一图像的大小，调整所述第二图像的原始宽度；
    根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
  14. 根据权利要求3所述的方法，其特征在于，所述将所述第二图像叠加到所述第一图像中得到所述第三图像，包括：
    将所述第二图像叠加到所述第一图像中的预设位置得到所述第三图像。
  15. 根据权利要求14所述的方法，其特征在于，所述预设位置是根据所述第一图像的原始大小或者调整后的所述第一图像的大小确定的。
  16. 根据权利要求1-15任一项所述的方法，其特征在于，所述获取第一图像和第二图像，包括：
    接收所述无人机和所述地面拍摄装置中的一个发送的第一编码图像；
    对所述第一编码图像进行解码以获取所述第一图像；和/或，
    接收所述无人机和所述地面拍摄装置中的另一个发送的第二编码图像；
    对所述第二编码图像进行解码以获取所述第二图像。
  17. 根据权利要求1-16任一项所述的方法，其特征在于，所述地面控制端和所述地面拍摄装置通过无线通信方式或有线通信方式进行通信连接。
  18. 根据权利要求17所述的方法，其特征在于，所述地面控制端和所述地面拍摄装置的连接接口包括如下至少一种：
    复合同步视频广播信号CVBS接口、高清晰度多媒体接口IDMI、数字分量串行接口SDI、移动产业处理器接口MIPI、通用串行总线USB接口。
  19. 根据权利要求1所述的方法，其特征在于，所述将所述第二图像叠加到所述第一图像中得到第三图像之后，还包括：
    运行所述地面控制端中的应用程序，通过所述应用程序对所述第三图像执行分享操作。
  20. 根据权利要求1所述的方法，其特征在于，所述将所述第二图像叠加到所述第一图像中得到第三图像之后，还包括：
    将所述第三图像发送给直播设备、转播设备和服务器中的至少一个。
  21. 一种地面控制端，其特征在于，包括：存储器、处理器和第一通讯接口；
    所述第一通讯接口用于与地面拍摄装置通信连接；
    所述存储器用于存储程序代码；
    所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
    获取第一图像和第二图像，其中，所述第一图像为无人机的拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中的一种图像，第二图像为所述无人机的所述拍摄装置的拍摄图像和与所述地面控制端通信连接的所述地面拍摄装置的拍摄图像中不同于所述第一图像的另一种图像；
    将所述第二图像叠加到所述第一图像中得到第三图像。
  22. 根据权利要求21所述的地面控制端，其特征在于，所述处理器将所述第二图像叠加到所述第一图像中得到第三图像之后，还用于：
    将所述第三图像显示在显示组件上。
  23. 根据权利要求21所述的地面控制端，其特征在于，所述处理器将所述第二图像叠加到所述第一图像中得到第三图像时，具体用于：
    调整所述第一图像和/或所述第二图像的原始大小，以使在调整之后所述第一图像的大小大于所述第二图像的大小；
    在调整之后，将所述第二图像叠加到所述第一图像中得到所述第三图像。
  24. 根据权利要求23所述的地面控制端，其特征在于，所述处理器调整所述第一图像和/或所述第二图像的原始大小时，具体用于：
    根据所述第一图像的原始大小，调整所述第二图像的原始大小。
  25. 根据权利要求24所述的地面控制端，其特征在于，所述处理器根据所述第一图像的原始大小，调整所述第二图像的原始大小时，具体用于：
    根据所述第一图像的原始大小，调整所述第二图像的原始高度；
    根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
  26. 根据权利要求24所述的地面控制端，其特征在于，所述处理器根据所述第一图像的原始大小，调整所述第二图像的原始大小时，具体用 于：
    根据所述第一图像的原始大小，调整所述第二图像的原始宽度；
    根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
  27. 根据权利要求24-26任一项所述的地面控制端，其特征在于，所述处理器将所述第二图像叠加到所述第一图像中得到所述第三图像之后，还用于：
    根据显示组件支持的至少一种分辨率，调整所述第三图像的大小。
  28. 根据权利要求27所述的地面控制端，其特征在于，所述处理器根据显示组件支持的至少一种分辨率，调整所述第三图像的大小时，具体用于：
    从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；
    根据所述目标分辨率，调整所述第三图像的大小。
  29. 根据权利要求23所述的地面控制端，其特征在于，所述处理器调整所述第一图像和/或所述第二图像的原始大小时，具体用于：
    调整所述第一图像的原始大小；
    根据调整后的所述第一图像的大小，调整所述第二图像的原始大小。
  30. 根据权利要求29所述的地面控制端，其特征在于，所述处理器调整所述第一图像的原始大小时，具体用于：
    根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小。
  31. 根据权利要求30所述的地面控制端，其特征在于，所述处理器根据显示组件支持的至少一种分辨率，调整所述第一图像的原始大小时，具体用于：
    从所述显示组件支持的至少一种分辨率中确定与所述第一图像的分辨率最接近的目标分辨率；
    根据所述目标分辨率，调整所述第一图像的原始大小。
  32. 根据权利要求29-31任一项所述的地面控制端，其特征在于，所述处理器根据调整后的所述第一图像的大小，调整所述第二图像的原始大小时，具体用于：
    根据调整后的所述第一图像的大小，调整所述第二图像的原始高度；
    根据调整后的所述第二图像的高度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始宽度。
  33. 根据权利要求29-31任一项所述的地面控制端，其特征在于，所述处理器根据调整后的所述第一图像的大小，调整所述第二图像的原始大小时，具体用于：
    根据调整后的所述第一图像的大小，调整所述第二图像的原始宽度；
    根据调整后的所述第二图像的宽度、以及所述第二图像的原始高度与原始宽度的比例，调整所述第二图像的原始高度。
  34. 根据权利要求23所述的地面控制端，其特征在于，所述处理器将所述第二图像叠加到所述第一图像中得到所述第三图像时，具体用于：
    将所述第二图像叠加到所述第一图像中的预设位置得到所述第三图像。
  35. 根据权利要求34所述的地面控制端，其特征在于，所述预设位置是根据所述第一图像的原始大小或者调整后的所述第一图像的大小确定的。
  36. 根据权利要求21-35任一项所述的地面控制端，其特征在于，所述地面控制端还包括：第二通讯接口；
    所述处理器获取第一图像和第二图像时，具体用于：
    通过所述第二通讯接口接收所述无人机和所述地面拍摄装置中的一个发送的第一编码图像；
    对所述第一编码图像进行解码以获取所述第一图像；和/或，
    通过所述第二通讯接口接收所述无人机和所述地面拍摄装置中的另一个发送的第二编码图像；
    对所述第二编码图像进行解码以获取所述第二图像。
  37. 根据权利要求21-36任一项所述的地面控制端，其特征在于，所述地面控制端和所述地面拍摄装置通过无线通信方式或有线通信方式进行通信连接。
  38. 根据权利要求37所述的地面控制端，其特征在于，所述地面控制端和所述地面拍摄装置的连接接口包括如下至少一种：
    复合同步视频广播信号CVBS接口、高清晰度多媒体接口IDMI、数字分量串行接口SDI、移动产业处理器接口MIPI、通用串行总线USB接口。
  39. 根据权利要求21所述的地面控制端，其特征在于，所述处理器将所述第二图像叠加到所述第一图像中得到第三图像之后，还用于：
    运行所述地面控制端中的应用程序，通过所述应用程序对所述第三图像执行分享操作。
  40. 根据权利要求21所述的地面控制端，其特征在于，所述地面控制端还包括：第二通讯接口；
    所述处理器将所述第二图像叠加到所述第一图像中得到第三图像之后，还用于：
    通过所述第二通讯接口将所述第三图像发送给直播设备、转播设备和服务器中的至少一个。
  41. 一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-20任一项所述的方法。
PCT/CN2018/118425 2018-11-30 2018-11-30 图像处理的方法、装置、设备及存储介质 Ceased WO2020107375A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880069059.2A CN111386710A (zh) 2018-11-30 2018-11-30 图像处理的方法、装置、设备及存储介质
PCT/CN2018/118425 WO2020107375A1 (zh) 2018-11-30 2018-11-30 图像处理的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/118425 WO2020107375A1 (zh) 2018-11-30 2018-11-30 图像处理的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020107375A1 true WO2020107375A1 (zh) 2020-06-04

Family

ID=70852633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/118425 Ceased WO2020107375A1 (zh) 2018-11-30 2018-11-30 图像处理的方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111386710A (zh)
WO (1) WO2020107375A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222834A1 (en) * 2019-08-27 2022-07-14 Nippon Telegraph And Telephone Corporation Image processing system, image processing device, image processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357542A (zh) * 2015-11-20 2016-02-24 广州华多网络科技有限公司 直播方法、装置及系统
CN105791958A (zh) * 2016-04-22 2016-07-20 北京小米移动软件有限公司 游戏直播方法及装置
CN105916004A (zh) * 2016-06-08 2016-08-31 深圳创维数字技术有限公司 一种图像的叠加显示方法和系统
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
US20160366376A1 (en) * 2012-04-19 2016-12-15 David Aaron Merritt Portable real-time video signal capturing, transforming and relay system for transmitting high fidelity video imagery by wifi to portable video imaging devices
CN107257506A (zh) * 2017-06-29 2017-10-17 徐文波 多画面特效加载方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016082469A (ja) * 2014-10-20 2016-05-16 株式会社日立ソリューションズ 撮像抽出装置
CN106559696A (zh) * 2016-12-01 2017-04-05 北京小米移动软件有限公司 信息发送方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160366376A1 (en) * 2012-04-19 2016-12-15 David Aaron Merritt Portable real-time video signal capturing, transforming and relay system for transmitting high fidelity video imagery by wifi to portable video imaging devices
CN105357542A (zh) * 2015-11-20 2016-02-24 广州华多网络科技有限公司 直播方法、装置及系统
CN105791958A (zh) * 2016-04-22 2016-07-20 北京小米移动软件有限公司 游戏直播方法及装置
CN105916004A (zh) * 2016-06-08 2016-08-31 深圳创维数字技术有限公司 一种图像的叠加显示方法和系统
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
CN107257506A (zh) * 2017-06-29 2017-10-17 徐文波 多画面特效加载方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222834A1 (en) * 2019-08-27 2022-07-14 Nippon Telegraph And Telephone Corporation Image processing system, image processing device, image processing method, and program

Also Published As

Publication number Publication date
CN111386710A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111580765B (zh) 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备
US11463700B2 (en) Video picture processing method and apparatus
US8953079B2 (en) System and method for generating 360 degree video recording using MVC
US11153615B2 (en) Method and apparatus for streaming panoramic video
CN108650542B (zh) 生成竖屏视频流、图像处理的方法、电子设备和视频系统
CN114979650B (zh) 编码装置及解码装置
US11829405B2 (en) Image display device and image display system
US20140244858A1 (en) Communication system and relaying device
US20170134654A1 (en) Video recording method and device
CN105872386A (zh) 一种全景摄像装置以及全景图片生成方法
CN108924590B (zh) 视频播放及拍照系统
CN103078924A (zh) 视野共享方法及设备
EP3621309A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
US8659662B2 (en) Surveillance system with target based scrolling and related methods
CN119603464A (zh) 图像解码方法、图像编码方法及图像数据发送方法
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
CN110870293B (zh) 视频拍摄处理方法、设备以及视频拍摄处理系统
US12160617B2 (en) In-loop filtering-based image coding device and method
US20130162844A1 (en) Remote target viewing and control for image-capture device
WO2015118664A1 (ja) 画像伝送装置と画像受信装置、並びに、これらを利用した監視カメラシステム、テレビ会議システム、そして、車載カメラシステム
CN108141564B (zh) 用于视频广播的系统和方法
EP4021001A1 (en) Code stream processing method and device, first terminal, second terminal and storage medium
KR20020015219A (ko) 영상회의 시스템에서의 영상 전송 장치 및 그 방법
WO2020103018A1 (zh) 视频处理的方法、地面控制端及存储介质
JP2019075633A (ja) 撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941778

Country of ref document: EP

Kind code of ref document: A1