WO2021035674A1 - 一种图像生成方法、设备、可移动平台及存储介质 - Google Patents

一种图像生成方法、设备、可移动平台及存储介质 Download PDF

Info

Publication number
WO2021035674A1
WO2021035674A1 PCT/CN2019/103622 CN2019103622W WO2021035674A1 WO 2021035674 A1 WO2021035674 A1 WO 2021035674A1 CN 2019103622 W CN2019103622 W CN 2019103622W WO 2021035674 A1 WO2021035674 A1 WO 2021035674A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
joint point
human body
prediction model
palm
Prior art date
Application number
PCT/CN2019/103622
Other languages
English (en)
French (fr)
Inventor
刘志鹏
李思晋
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980030470.3A priority Critical patent/CN112106347A/zh
Priority to PCT/CN2019/103622 priority patent/WO2021035674A1/zh
Publication of WO2021035674A1 publication Critical patent/WO2021035674A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to the field of control technology, in particular to an image generation method, equipment, movable platform and storage medium.
  • the embodiments of the present invention provide an image generation method, equipment, movable platform and storage medium, which can determine the action of the target animated character corresponding to the human body joint point of the target user in the image, and generate the target animated character superimposed on the image.
  • Video or images increase the fun of user photography.
  • an embodiment of the present invention provides an image generation method, including:
  • the target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • an embodiment of the present invention provides an image generation device, including a memory and a processor;
  • the memory is used to store programs
  • the processor executes the program stored in the memory, and when the program is executed, the processor is configured to execute the following steps:
  • the target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • an embodiment of the present invention provides a movable platform, including:
  • the processor is configured to obtain an image of an environment shot by a photographing device, where the environment includes a target user; determine the position of the human body joint point of the target user in the image; and determine the position of the human body joint point in the image according to the The position in determines the action of the target animated character; the target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • an embodiment of the present invention provides a terminal device, including the image generating device described in the second aspect.
  • an embodiment of the present invention provides a computer-readable storage medium that stores a computer program that, when executed by a processor, implements the image generation method described in the first aspect.
  • the embodiment of the present invention can obtain the image of the environment of the target user captured by the camera, determine the position of the human body joint point of the target user in the image, and determine the action of the target animated character according to the position of the human body joint point in the image, thereby The target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • the action of the target animated character corresponding to the human body joint point of the target user in the image can be determined, and the video or image of the target animated character superimposed on the image can be generated, which increases the interest of the user's photography.
  • Fig. 1 is a schematic structural diagram of an image generation system provided by an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of an image generation method provided by an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of another image generation method provided by an embodiment of the present invention.
  • 4a is a schematic diagram of the joint points of a human torso provided by an embodiment of the present invention.
  • 4b is a schematic diagram of a joint point of a palm provided by an embodiment of the present invention.
  • FIG. 5 is a flowchart of an image generation method provided by an embodiment of the present invention.
  • Fig. 6 is a schematic diagram of a superimposed image provided by an embodiment of the present invention.
  • Fig. 7 is a schematic structural diagram of an image generation device provided by an embodiment of the present invention.
  • the image generation method provided in the embodiment of the present invention can be executed by an image generation device, and the image generation device can be set on a movable platform on which a photographing device is mounted.
  • the movable platform may be an unmanned robot (such as an unmanned aerial vehicle, an unmanned vehicle, etc.) or a handheld device (such as a handheld pan/tilt camera).
  • the image generating device may be set on a terminal device (for example, a smart phone, a tablet computer, a laptop computer, etc.). The following describes the image generation method for the movable platform.
  • the image generating device can acquire an image of the environment shot by the camera, where the environment includes the target user, and can determine the position of the target user’s human body joint points in the image, and according to the human body joint points The position in the image determines the action of the target animated character, so that the target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • the image of the environment photographed by the photographing device may be a color image or a depth image.
  • the present invention is technically composed of five parts: human body detection 52, human trunk joint point detection 53, palm joint point detection 55, and plane area detection 57 as shown in FIG. 5. It is a flowchart of an image generation method provided by an embodiment of the present invention.
  • the joint point detection 53 of the human torso and the joint point detection 55 of the palm may be respectively adopted by the first human trunk joint point prediction model and the first palm joint point prediction model in the first joint point prediction model. to fulfill.
  • an image 51 including the target user can be captured by a camera on a movable platform, and a human body detection 52 can be performed on the image to obtain the user area of the target user in the image, and then according to the first human body
  • the trunk joint point prediction model performs joint point detection 53 of the human trunk to predict the position of the joint points of the human trunk, such as the wrist, such as three-dimensional coordinates (x, y, z), where z is the image coordinate.
  • the joint points of the human torso include 18 joint points as shown in FIG. 4a, wherein FIG. 4a is a schematic diagram of the joint points of the human torso provided by an embodiment of the present invention.
  • the palm area can be estimated 54 to determine the palm image, and the first palm joint point prediction model can be used to detect the joint points of the palm 55 to predict that the joint points of the palm are in the The position in the image is like three-dimensional coordinates.
  • the joint points of the palm include 21 joint points as shown in FIG. 4b, wherein FIG. 4b is a schematic diagram of the joint points of the palm provided by an embodiment of the present invention.
  • the positions of the joint points of the human body's torso and the positions of the joint points of the palm are imported into the pre-designed three-dimensional human body model for action generation 56 to determine the torso and palm actions of the target animated character.
  • the plane area 58 where the target user is standing is detected by the plane area detection 57, and the target animated character is superimposed on the plane area 58 to obtain the superimposed image, thus constructing the target user and the target animated character together to do the same Action images or videos.
  • the user can select the target animated character he likes.
  • the target animated character may be pre-made by the user through three-dimensional software such as 3Dmax, blender, makehuman, etc. Then enter the video or photo interface, and point the camera mounted on the movable platform toward the target user to take a photo or video. There are multiple user areas in the captured image. The user can select one of the user areas by clicking and other selection operations.
  • the target position, and the target animated character is superimposed on the plane area where the target user stands at the target position in the image, so as to generate an image or video in which the target user and the target animated character do the same action after the superimposition.
  • FIG. 1 is a schematic structural diagram of an image generation system according to an embodiment of the present invention.
  • the system includes: an image generating device 11 and a movable platform 12.
  • the image generating device 11 may be set on the movable platform 12, that is, the movable platform 12 includes the image generating device 12.
  • the image generation device 11 may be independent of the movable platform 12.
  • the communication connection between the movable platform 12 and the image generating device 11 may be a wired communication connection or a wireless communication connection.
  • a camera 121 can be mounted on the movable platform 12.
  • the photographing device 121 is used to photograph images or videos.
  • the photographing device 121 includes, but is not limited to, a multispectral imager, a hyperspectral imager, a visible light camera, an infrared camera, and the like.
  • the image generating device 11 may obtain an image of an environment photographed by the photographing device 121, wherein the environment includes a target user, and determine the position of the human body joint point of the target user in the image, And the action of the target animated character is determined according to the position of the human body joint point in the image, so that the target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • Figure 2 is a schematic flow chart of an image generation method provided by an embodiment of the present invention.
  • the method can be executed by an image generation device.
  • the image generation device can be set on a movable platform.
  • a camera is mounted on the platform, wherein the specific explanation of the movable platform is as described above.
  • the method of the embodiment of the present invention includes the following steps.
  • S201 Acquire an image of an environment photographed by a photographing device, where the environment includes a target user.
  • the image generating device may obtain an image of the environment photographed by the photographing device, where the environment includes the target user.
  • the target user may be a human.
  • the number of images of the environment photographed by the photographing device may include one frame or multiple frames, which is not specifically limited in the embodiment of the present invention.
  • S202 Determine the position of the human body joint point of the target user in the image.
  • the image generating device can determine the position of the human body joint point of the target user in the image.
  • the joint points of the human body include joint points of the human trunk and/or joint points of the palm.
  • the joint points of the human torso include 18 joint points as shown in FIG. 4a.
  • the joint points of the palm include 21 joint points as shown in FIG. 4b.
  • the number of the images may be multiple frames, and the image generation device may determine the positions of the human body joint points of the target user in each frame of the multiple frames of images.
  • the positions of the joint points of the human body in each of the multiple frames of images may be two-dimensional coordinates or three-dimensional coordinates.
  • the human body joint points include the joint points of the human torso; when the image generation device determines the position of the target user's human body joint points in the image, it can determine the target user's body The position of the joint points of the torso in the image.
  • the image generating device determines the position of the human body joint points of the target user in the image, it can determine that the 18 joint points of the human body torso of the target user are in the image as shown in FIG. 4a s position. It can be seen that through this implementation of determining the position of the joint points of the human torso in the image, it is helpful to determine the actions of the human torso of the target user and the target animated character for the follow-up.
  • the human body joint points include palm joint points; when the image generation device determines the position of the target user's human body joint points in the image, it can determine the palm position of the target user. The position of the key node in the image.
  • the image generating device determines the position of the human body joint points of the target user in the image, it can determine that the 21 joint points of the target user’s palm are in the image as shown in Figure 4b. position. It can be seen that, through this implementation of determining the position of the joint point of the palm in the image, it is helpful to determine the palm motion of the target user and the target animated character for the follow-up.
  • the image generation device may input the image into the first joint point prediction model to obtain the first joint point prediction The position of the human body joint point output by the model in the image.
  • the human body joint points include the joint points of the human body torso
  • the first joint point prediction model includes the first human body torso joint point prediction model
  • the image generation device is inputting the image into the first joint point prediction model.
  • Model to obtain the position of the human body joint points output by the first joint point prediction model in the image the image can be input into the first user recognition model to determine the target user’s position in the image User area; and according to the user area of the target user in the image, the user image of the target user is determined from the image.
  • the image generation device when the image generation device inputs the image into the first joint point prediction model to obtain the positions of the human body joint points output by the first joint point prediction model in the image, the image generation device may input the image The user image of the target user is input into the first human torso joint point prediction model to obtain the positions of the joint points of the human torso in the image output by the first human torso joint point prediction model.
  • the image generation device can input the user image of the target user into the first human torso joint point prediction model to obtain the first human torso joint point prediction model and output the 18 joint points of the human torso as shown in Figure 4a Position in the image.
  • the human body joint points include palm joint points
  • the first joint point prediction model includes a first palm joint point prediction model
  • the image generation device may be based on the wrist joint points of the human trunk joint points. In the image, determine the first palm prediction area of the palm of the target user in the image; and determine from the image according to the first palm prediction area of the palm in the image The predicted image of the palm.
  • the image generation device may input the predicted image of the palm into the first palm joint point prediction model to obtain the number of joint points of the palm of the target user output by the first palm joint point prediction model in the image position.
  • the image generation device can input the predicted image of the palm into the first palm joint point prediction model to obtain the 21 joint points of the palm of the target user as shown in Figure 4b output by the first palm joint point prediction model Position in the image.
  • S203 Determine the action of the target animated character according to the position of the human body joint point in the image.
  • the image generating device may determine the action of the target animated character according to the positions of the human body joint points in the image.
  • the image generating device may determine the target animated character and each frame of image according to the position of the human body joint point in each frame of image The corresponding action.
  • the image generating device may determine the position of the joint point of the human torso in the image. Describe the movement of the torso of the target animated character. In some embodiments, the image generation device may determine the torso action of the target animated character corresponding to the position of the joint point of the human torso in the image according to the position of the joint point of the human torso in the image.
  • the image generation device when the image generation device determines the position of the joint points of the palm of the target user in the image, the image generation device may determine the target according to the position of the joint points of the palm in the image. The movement of the palm of the animated character.
  • the image generation device can respond to the "OK" gesture of the palm of the target user.
  • the gesture to determine the palm of the target animation character corresponds to an "OK" gesture.
  • the image generation device may detect the user's selection operation of the animated character before determining the action of the target animated character according to the position of the human joint point in the image, and according to the detected selection operation , Determine the target animated character from a plurality of animated characters.
  • the image generating device may output an interface including multiple animated characters before determining the action of the target animated character based on the position of the human joint point in the image, so that the user can Select a target animated character from multiple animated characters by clicking, sliding and other selection operations.
  • the image generation device may superimpose the target animated character presenting the action on the image to obtain the superimposed image.
  • the image generation device may superimpose the target animated character presenting the action corresponding to each frame of the image to each frame of the image to obtain the superimposed image. Multi-frame images.
  • the image generation device may send the superimposed image to the display device to display the superimposed image on the display device.
  • the superimposed image may be sent the superimposed image to the display device to display the superimposed image on the display device.
  • the image generation device may determine the plane area where the target user stands in the image, and when superimposing the target animated character presenting the action on the image, the target animation of the action will be presented The character is superimposed on the plane area where the target user stands in the image.
  • FIG. 6 is a schematic diagram of a superimposed image provided by an embodiment of the present invention.
  • the image generating device determines in the image that the plane area where the target user 61 stands is 62, then The image generating device may superimpose the target animated character 63 presenting the action on the plane area 62 where the target user 61 stands in the image.
  • the image generating device when the image generating device determines the plane area where the target user stands in the image, it may determine that the plane in the environment is in the multiple first plane areas in the image; and determine the A user area of the target user in the image; and determining a first planar area including a lower edge of the user area among the plurality of first planar areas as a planar area where the target user stands.
  • the image generation device determines that the plane in the environment is in the multiple first plane areas in the image
  • the image may be input into the first plane area detection model to obtain the first plane area.
  • the plane area detection model outputs the positions of the planes in the environment in the plurality of first plane areas in the image.
  • the image generating device may detect the user's position selection operation, and determine the position in the image according to the detected position selection operation target location.
  • the image generating device may superimpose the target animated character presenting the action on the image when superimposing the target animated character presenting the action on the image In the target location.
  • the embodiment of the present invention can obtain the image of the environment of the target user captured by the camera, determine the position of the human body joint point of the target user in the image, and determine the action of the target animated character according to the position of the human body joint point in the image, thereby The target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • the action of the target animated character corresponding to the human body joint point of the target user in the image can be determined, and the video or image of the target animated character superimposed on the image can be generated, which increases the interest of the user's photography.
  • FIG. 3 is a schematic flowchart of another image generation method provided by an embodiment of the present invention.
  • the method can be executed by an image generation device.
  • the image generation device can be set on a movable platform.
  • a camera is mounted on the mobile platform, wherein the specific explanation of the mobile platform is as described above.
  • the difference between the embodiment of the present invention and the embodiment described in FIG. 2 is that the embodiment of the present invention determines the position of the human joint point in the image according to the acquired depth image of the environment, and determines the position of the human joint point in the image according to the position of the human joint point in the image.
  • the action of the target animated character so that the target animated character presenting the action is superimposed on the depth image to obtain the superimposed image.
  • S301 Acquire a depth image of an environment photographed by a photographing device, where the environment includes a target user.
  • the image generating device may obtain a depth image of the environment photographed by the photographing device, where the environment includes the target user.
  • S302 Input the depth image into a second joint point prediction model to obtain the positions of the human body joint points output by the second joint point prediction model in the depth image.
  • the image generation device may input the depth image into the second joint point prediction model to obtain the positions of the human body joint points output by the second joint point prediction model in the depth image.
  • the human body joint points include joint points of the human body torso
  • the second joint point prediction model includes a second human body torso joint point prediction model
  • the image generation device inputs the depth image into the second joint point prediction model
  • the depth image may be input into a second user recognition model to determine whether the target user is in the depth image According to the user area of the target user in the depth image, the user image of the target user is determined from the depth image.
  • the image generation device when the image generation device inputs the depth image into the second joint point prediction model to obtain the positions of the human body joint points output by the second joint point prediction model in the depth image, it may The user image of the target user is input into the second human torso joint point prediction model to obtain the positions of the joint points of the human torso output by the second human torso joint point prediction model in the depth image.
  • the human body joint points include palm joint points
  • the second joint point prediction model includes a second palm joint point prediction model
  • the image generation device may be based on the wrist joint points of the human trunk joint points. In the depth image, determine the second palm prediction area of the palm of the target user in the depth image, and determine the second palm prediction area in the depth image according to the palm of the hand, from the depth Determine the predicted image of the palm in the image.
  • the image generation device may input the predicted image of the palm into the second palm joint point prediction model to obtain the output of the second palm joint point prediction model of the target user’s palm joint points in the depth image s position.
  • S303 Determine the position of the human body joint point in the image according to the position of the human body joint point in the depth image.
  • the image generating device may determine the position of the human body joint point in the image according to the position of the human body joint point in the depth image.
  • the image generating device may determine the position of the human body joint point in the image according to the installation position relationship of the photographing device that outputs the depth image and according to the position of the human body joint point in the depth image.
  • S304 Determine the action of the target animated character according to the position of the human body joint point in the image.
  • the image generating device may determine the action of the target animated character according to the positions of the human body joint points in the image.
  • the specific implementation is as described above.
  • the image generation device may superimpose the target animated character presenting the action on the image to obtain the superimposed image.
  • the image generating device may determine the plane area where the target user stands in the image, and superimpose the target animated character presenting the action on the plane area where the target user stands in the image.
  • the image generating device when the image generating device determines the plane area on which the target user stands in the image, it may determine that the plane in the environment is in the multiple first plane areas in the image, and determine the target For the user area of the user in the image, a first flat area including a lower edge of the user area among the plurality of first flat areas is determined as a flat area where the target user stands.
  • the image generation device may input the depth image into a second plane area detection model to obtain the first plane area.
  • the positions of the planes in the environment in the plurality of second plane regions in the depth image output by the two-plane region detection model; and according to the positions of the plurality of second plane regions, the plurality of second plane regions Projecting into the image to determine a plurality of first plane areas in the image.
  • the embodiment of the present invention can obtain the depth image of the environment of the target user captured by the camera, and input the depth image into the second joint point prediction model to obtain the position of the human body joint point output by the second joint point prediction model in the depth image, and Determine the position of the human joint point in the image according to the position of the human joint point in the depth image, and determine the action of the target animated character according to the position of the human joint point in the image, thereby superimposing the target animated character presenting the action on the image To get the superimposed image.
  • the action of the target animated character can be determined according to the depth image, and a video or image in which the target animated character is superimposed on the image is generated, which increases the interest of the user's photography.
  • FIG. 7 is a schematic structural diagram of an image generation device provided by an embodiment of the present invention.
  • the image generating device includes: a memory 701, a processor 702, and a data interface 703.
  • the memory 701 may include a volatile memory (volatile memory); the memory 701 may also include a non-volatile memory (non-volatile memory); the memory 701 may also include a combination of the foregoing types of memories.
  • the processor 702 may be a central processing unit (CPU).
  • the processor 702 may further include a hardware chip.
  • the above-mentioned hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD), or a combination thereof. Specifically, for example, it may be a complex programmable logic device (CPLD), a field-programmable gate array (FPGA), or any combination thereof.
  • ASIC application-specific integrated circuit
  • PLD programmable logic device
  • FPGA field-programmable gate array
  • the memory 701 is used to store a program, and when the program is executed, the processor 702 can call the program stored in the memory 701 to perform the following steps:
  • the target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • the processor 702 is further configured to:
  • the target animated character presenting the action corresponding to each frame of image is superimposed on each frame of image to obtain the superimposed multi-frame image.
  • processor 702 is further configured to:
  • the superimposed image is sent to a display device to make the display device display the superimposed image.
  • joint points of the human body include joint points of the human trunk
  • the processor 702 determines the position of the human body joint point of the target user in the image, it is specifically configured to:
  • processor 702 determines the action of the target animated character according to the position of the human body joint point in the image, it is specifically configured to:
  • the motion of the torso of the target animated character is determined according to the positions of the joint points of the human torso in the image.
  • joint points of the human body include joint points of the palm
  • the processor 702 determines the position of the human body joint point of the target user in the image, it is specifically configured to:
  • processor 702 determines the action of the target animated character according to the position of the human body joint point in the image, it is specifically configured to:
  • the motion of the palm of the target animated character is determined according to the positions of the joint points of the palm in the image.
  • processor 702 is further configured to:
  • the processor 702 When the processor 702 superimposes the target animated character presenting the action into the image, it is specifically used to:
  • the target animated character presenting the action is superimposed on the plane area where the target user stands in the image.
  • processor 702 determines the plane area where the target user stands in the image, it is specifically configured to:
  • the first planar area including the lower edge of the user area among the plurality of first planar areas is determined as the planar area where the target user stands.
  • processor 702 determines that the plane in the environment is in the multiple first plane regions in the image, it is specifically configured to:
  • the image is input into a first plane area detection model to obtain the positions of a plurality of first plane areas in the image of the plane in the environment output by the first plane area detection model.
  • processor 702 is further configured to:
  • processor 702 determines that the plane in the environment is in the multiple first plane regions in the image, it is specifically configured to:
  • the plurality of second planes are projected into the image to determine the plurality of first plane regions in the image.
  • processor 702 determines the position of the human body joint point of the target user in the image, it is specifically configured to:
  • the image is input into the first joint point prediction model to obtain the positions of the human body joint points output by the first joint point prediction model in the image.
  • the human body joint points include joint points of the human body torso
  • the first joint point prediction model includes a first human body torso joint point prediction model
  • the processor 702 inputs the image into the first joint point prediction model, Before obtaining the position in the image of the human body joint point output by the first joint point prediction model, it is also used to:
  • the processor 702 inputs the image into the first joint point prediction model to obtain the positions of the human body joint points output by the first joint point prediction model in the image, it is specifically used for:
  • the user image of the target user is input into the first human torso joint point prediction model to obtain the positions of the joint points of the human torso output by the first human torso joint point prediction model in the image.
  • the human body joint points include palm joint points
  • the first joint point prediction model includes a first palm joint point prediction model
  • the processor 702 is further configured to:
  • the processor 702 inputs the image into the first joint point prediction model to obtain the positions of the human body joint points output by the first joint point prediction model in the image, it is specifically used for:
  • the predicted image of the palm is input into the first palm joint point prediction model to obtain the position of the joint point of the palm of the target user output by the first palm joint point prediction model in the image.
  • processor 702 is further configured to:
  • the processor 702 determines the position of the human body joint point of the target user in the image, it is specifically configured to:
  • the human body joint points include the joint points of the human body torso
  • the second joint point prediction model includes a second human body torso joint point prediction model
  • the processor 702 inputs the depth image into the second joint point prediction model to Before acquiring the position of the human body joint point output by the second joint point prediction model in the depth image, it is also used to:
  • the processor 702 inputs the depth image into the second joint point prediction model to obtain the positions of the human body joint points output by the second joint point prediction model in the depth image, it is specifically used for:
  • the user image of the target user is input into the second human torso joint point prediction model to obtain the positions of the joint points of the human torso output by the second human torso joint point prediction model in the depth image.
  • the human body joint points include palm joint points
  • the second joint point prediction model includes a second palm joint point prediction model
  • the processor 702 is further configured to:
  • the processor 702 inputs the depth image into the second joint point prediction model to obtain the positions of the human body joint points output by the second joint point prediction model in the depth image, it is specifically used for:
  • the predicted image of the palm is input into the second palm joint point prediction model to obtain the position of the joint point of the palm of the target user output by the second palm joint point prediction model in the depth image.
  • processor 702 is further configured to:
  • the target animated character is determined from a plurality of animated characters.
  • processor 702 is further configured to:
  • the processor 702 When the processor 702 superimposes the target animated character presenting the action into the image, it is specifically used to:
  • the target animated character presenting the action is superimposed on the target position in the image.
  • the embodiment of the present invention can obtain the image of the environment of the target user captured by the camera, determine the position of the human body joint point of the target user in the image, and determine the action of the target animated character according to the position of the human body joint point in the image, thereby The target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • the action of the target animated character corresponding to the human body joint point of the target user in the image can be determined, and the video or image of the target animated character superimposed on the image can be generated, which increases the interest of the user's photography.
  • the embodiment of the present invention also provides a movable platform, including: a photographing device for photographing an environment; a processor for acquiring an image of the environment photographed by the photographing device, wherein the environment includes a target user; The position of the human body joint points of the target user in the image; the action of the target animated character is determined according to the position of the human body joint point in the image; the target animated character presenting the action is superimposed on the image to Get the superimposed image.
  • the processor is further configured to:
  • the target animated character presenting the action corresponding to each frame of image is superimposed on each frame of image to obtain the superimposed multi-frame image.
  • processor is also used for:
  • the superimposed image is sent to a display device to cause the display device to display the superimposed image.
  • joint points of the human body include joint points of the human trunk
  • the processor determines the position of the human body joint point of the target user in the image, it is specifically used to:
  • the processor determines the action of the target animated character according to the position of the human body joint point in the image, it is specifically configured to:
  • the motion of the torso of the target animated character is determined according to the positions of the joint points of the human torso in the image.
  • joint points of the human body include joint points of the palm
  • the processor determines the position of the human body joint point of the target user in the image, it is specifically used to:
  • the processor determines the action of the target animated character according to the position of the human body joint point in the image, it is specifically configured to:
  • the motion of the palm of the target animated character is determined according to the positions of the joint points of the palm in the image.
  • processor is also used for:
  • the processor When the processor superimposes the target animated character presenting the action into the image, it is specifically used to:
  • the target animated character presenting the action is superimposed on the plane area where the target user stands in the image.
  • the processor determines the plane area where the target user stands in the image, it is specifically configured to:
  • the first planar area including the lower edge of the user area among the plurality of first planar areas is determined as the planar area where the target user stands.
  • the processor determines that the plane in the environment is in the multiple first plane areas in the image, it is specifically configured to:
  • the image is input into a first plane area detection model to obtain the positions of a plurality of first plane areas in the image of the plane in the environment output by the first plane area detection model.
  • processor is also used for:
  • the processor determines that the plane in the environment is in the multiple first plane regions in the image, it is specifically configured to:
  • the plurality of second planes are projected into the image to determine the plurality of first plane regions in the image.
  • the processor determines the position of the human body joint point of the target user in the image, it is specifically configured to:
  • the image is input into the first joint point prediction model to obtain the positions of the human body joint points output by the first joint point prediction model in the image.
  • the human body joint points include joint points of the human body torso
  • the first joint point prediction model includes a first human body torso joint point prediction model
  • the processor inputs the image into the first joint point prediction model to Before obtaining the position of the human body joint point output by the first joint point prediction model in the image, it is also used to:
  • the processor inputs the image into the first joint point prediction model to obtain the positions of the human body joint points output by the first joint point prediction model in the image, it is specifically used for:
  • the user image of the target user is input into the first human torso joint point prediction model to obtain the positions of the joint points of the human torso output by the first human torso joint point prediction model in the image.
  • the human body joint points include palm joint points
  • the first joint point prediction model includes a first palm joint point prediction model
  • the processor is further configured to:
  • the processor inputs the image into the first joint point prediction model to obtain the positions of the human body joint points output by the first joint point prediction model in the image, it is specifically used for:
  • the predicted image of the palm is input into the first palm joint point prediction model to obtain the positions of the joint points of the palm of the target user output by the first palm joint point prediction model in the image.
  • processor is also used for:
  • the processor determines the position of the human body joint point of the target user in the image, it is specifically used to:
  • the human body joint points include joint points of the human body torso
  • the second joint point prediction model includes a second human body torso joint point prediction model
  • the processor inputs the depth image into the second joint point prediction model to obtain The position of the human body joint point output by the second joint point prediction model before the position in the depth image is also used for:
  • the processor inputs the depth image into the second joint point prediction model to obtain the positions of the human body joint points output by the second joint point prediction model in the depth image, it is specifically used for:
  • the user image of the target user is input into the second human torso joint point prediction model to obtain the positions of the joint points of the human torso output by the second human torso joint point prediction model in the depth image.
  • the human body joint points include palm joint points
  • the second joint point prediction model includes a second palm joint point prediction model
  • the processor is further configured to:
  • the processor inputs the depth image into the second joint point prediction model to obtain the positions of the human body joint points output by the second joint point prediction model in the depth image, it is specifically used for:
  • the predicted image of the palm is input into the second palm joint point prediction model to obtain the positions of the joint points of the palm of the target user output by the second palm joint point prediction model in the depth image.
  • processor is also used for:
  • the target animated character is determined from a plurality of animated characters.
  • processor is also used for:
  • the processor When the processor superimposes the target animated character presenting the action into the image, it is specifically used to:
  • the target animated character presenting the action is superimposed on the target position in the image.
  • the embodiment of the present invention can obtain the image of the environment of the target user captured by the camera, determine the position of the human body joint point of the target user in the image, and determine the action of the target animated character according to the position of the human body joint point in the image, thereby The target animated character presenting the action is superimposed on the image to obtain the superimposed image.
  • the action of the target animated character corresponding to the human body joint point of the target user in the image can be determined, and the video or image of the target animated character superimposed on the image can be generated, which increases the interest of the user's photography.
  • a terminal device which is characterized by including: the image generating device as described above.
  • the terminal device includes a camera.
  • the photographing device is set on other equipment independent of the terminal equipment (for example, an unmanned aerial vehicle, a handheld pan-tilt camera, etc.), and the image generation device obtains the photographing device from the other equipment to photograph the environment Image.
  • a computer-readable storage medium stores a computer program.
  • the computer program is executed by a processor, the implementation corresponding to FIG. 2 or FIG. 3 of the present invention
  • the image generation method described in the example can also implement the image generation device according to the embodiment of the present invention described in FIG. 7, and will not be repeated here.
  • the computer-readable storage medium may be an internal storage unit of the device described in any of the foregoing embodiments, such as a hard disk or memory of the device.
  • the computer-readable storage medium may also be an external storage device of the device, such as a plug-in hard disk equipped on the device, a smart memory card (Smart Media Card, SMC), or a Secure Digital (SD) card. , Flash Card, etc.
  • the computer-readable storage medium may also include both an internal storage unit of the device and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the terminal.
  • the computer-readable storage medium can also be used to temporarily store data that has been output or will be output.
  • the program can be stored in a computer readable storage medium. During execution, it may include the procedures of the above-mentioned method embodiments.
  • the storage medium may be a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种图像生成方法，包括：S201.获取拍摄装置(121)拍摄的环境的图像，其中，环境包括目标用户(61)；S202.确定目标用户(61)的人体关节点在图像中的位置；S203.根据人体关节点在图像中的位置确定目标动画人物(63)的动作；S204.将呈现该动作的目标动画人物(63)叠加到图像中以获取叠加后的图像。有益效果：能够确定出与图像中目标用户(61)的人体关节点对应的目标动画人物(63)的动作，生成目标动画人物(63)叠加到图像后的视频或图像，增加了用户摄影的趣味性。

Description

一种图像生成方法、设备、可移动平台及存储介质 技术领域
本发明涉及控制技术领域，尤其涉及一种图像生成方法、设备、可移动平台及存储介质。
背景技术
近年来热度越来越高的虚拟人物具有超高的人气，由于其独有的气质和无限加持的才艺，引来越来越多年轻人的追捧，甚至还有虚拟人物的主播专栏，可见虚拟人物或许是下一个短视频的风口。
以相关的短视频APP为例，其特效多是在人物背景中添加如雨滴、花瓣等，还有人物面部的特殊变化等，大多是美化背景、装饰、滤镜、夸张搞笑等技术，并没有用户与虚拟人物合影录像的技术。因此如何更好地增加拍照或录像的趣味性成为研究的热点问题。
发明内容
本发明实施例提供了一种图像生成方法、设备、可移动平台及存储介质，可以确定出与图像中目标用户的人体关节点对应的目标动画人物的动作，生成目标动画人物叠加到图像后的视频或图像，增加了用户摄影的趣味性。
第一方面，本发明实施例提供了一种图像生成方法，包括：
获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；
确定所述目标用户的人体关节点在所述图像中的位置；
根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；
将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
第二方面，本发明实施例提供了一种图像生成设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，执行所述存储器存储的程序，当程序被执行时，所述处理器用于执行如下步骤：
获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；
确定所述目标用户的人体关节点在所述图像中的位置；
根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；
将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
第三方面，本发明实施例提供了一种可移动平台，包括：
拍摄装置，用于对环境进行拍摄；
处理器，用于获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；确定所述目标用户的人体关节点在所述图像中的位置；根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
第四方面，本发明实施例提供了一种终端设备，包括如上述第二方面所述的图像生成设备。
第五方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的图像生成方法。
本发明实施例可以获取拍摄装置拍摄的包括目标用户的环境的图像，确定目标用户的人体关节点在图像中的位置，并根据人体关节点在图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到图像中以获取叠加后的图像。通过这种方式，可以确定出与图像中目标用户的人体关节点对应的目标动画人物的动作，生成目标动画人物叠加到图像后的视频或图像，增加了用户摄影的趣味性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像生成系统的结构示意图；
图2是本发明实施例提供的一种图像生成方法的流程示意图；
图3是本发明实施例提供的另一种图像生成方法的流程示意图；
图4a是本发明实施例提供的一种人体躯干的关节点的示意图；
图4b是本发明实施例提供的一种手掌的关节点的示意图；
图5是本发明实施例提供一种图像生成方法的流程图；
图6是本发明实施例提供的一种叠加图像的示意图；
图7是本发明实施例提供的一种图像生成设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例中提供的图像生成方法可以由一种图像生成设备执行，该图像生成设备可以设置在可移动平台上，所述可移动平台上挂载有拍摄装置。在某些实施例中，所述可移动平台可以是无人控制机器人(例如无人飞行器、无人车等)或者手持式设备(例如手持云台相机)。在某些实施例中，所述图像生成设备可以设置在终端设备(例如智能手机、平板电脑、膝上型电脑等)上。下面对应用于可移动平台的图像生成方法进行说明。
本发明实施例中，所述图像生成设备可以获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户，并可以确定目标用户的人体关节点在图像中的位置，以及根据人体关节点在图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到图像中以获取叠加后的图像。在某些实施例中，所述拍摄装置拍摄的环境的图像可以为彩色图像或深度图像。
在一个实施例中，本发明在技术上主要由如图5所示的人体检测52、人体躯干的关节点检测53、手掌的关节点检测55、平面区域检测57五部分组成，其中，图5是本发明实施例提供一种图像生成方法的流程图。在某些实施例中，所述人体躯干的关节点检测53和手掌的关节点检测55可以分别通过第一关节点预测模型中的第一人体躯干关节点预测模型和第一手掌关节点预测模型来实现。
具体可以图5为例，首先可以通过可移动平台上的拍摄装置拍摄包括目标用户的图像51，并对图像进行人体检测52，得到目标用户在所述图像中的用 户区域，然后根据第一人体躯干关节点预测模型进行人体躯干的关节点检测53，以预测人体躯干的关节点如手腕等的位置如三维坐标(x,y,z)，其中，z是图像坐标。在某些实施例中，所述人体躯干的关节点包括如图4a所示的18个关节点，其中，图4a是本发明实施例提供的一种人体躯干的关节点的示意图。之后可以根据人体躯干的关节点如左右手手腕的位置进行手掌区域推测54以确定出手掌图像，并通过第一手掌关节点预测模型进行手掌的关节点检测55以预测出手掌的关节点在所述图像中的位置如三维坐标。在某些实施例中，所述手掌的关节点包括如图4b所示的21个关节点，其中，图4b是本发明实施例提供的一种手掌的关节点的示意图。随后将人体躯干的关节点的位置和手掌的关节点的位置导入至预先设计好的人体三维模型进行动作生成56，以确定出目标动画人物躯干的动作和手掌动作。最后通过平面区域检测57检测到目标用户站立的平面区域58，并在将目标动画人物叠加到该平面区域58，以获取叠加后的图像，从而这样就构造出目标用户和目标动画人物一起做相同动作的图像或视频。
在一个实施例中，用户可以选取自己喜欢的目标动画人物，在某些实施例中，所述目标动画人物可以是用户预先通过三维软件如3Dmax、blender、makehuman等制作完成的。然后进入录像或拍照的界面，将可移动平台上挂载的拍摄装置朝向目标用户拍照或者录像，拍摄的图像中出现多个用户区域的位置，用户可以通过点击等选择操作选取其中一个用户区域的目标位置，并将目标动画人物叠加到所述图像中目标位置的目标用户站立的平面区域，以生成叠加后目标用户和目标动画人物做相同动作的图像或视频。
通过将目标动画人物叠加到目标用户站立的平面区域，可以避免将目标动画人物叠加到与目标用户不在一个平面的区域如水面、楼房、玻璃等，有助于使叠加后的图像或视频更加真实以及切合实际。
具体请参见图1，图1是本发明实施例提供的一种图像生成系统的结构示意图。所述系统包括：图像生成设备11和可移动平台12。在某些实施例中，所述图像生成设备11可以设置在所述可移动平台12上，即所述可移动平台12包括图像生成设备12。在某些实施例中，所述图像生成设备11可以独立于所述可移动平台12。这里为了方便说明，将可移动平台12和图像生成设备11 分别放置。其中，可移动平台12和图像生成设备11之间的通信连接可以为有线通信连接，也可以为无线通信连接。在某些实施例中，所述可移动平台12上可以挂载拍摄装置121。所述拍摄装置121用于拍摄图像或视频。在某些实施例中，所述拍摄装置121包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等。
在一个实施例中，所述图像生成设备11可以获取拍摄装置121拍摄的环境的图像，其中，所述环境包括目标用户，并确定所述目标用户的人体关节点在所述图像中的位置，以及根据所述人体关节点在所述图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
下面结合附图对应用于可移动平台的图像生成方法进行举例说明。
请参见图2，图2是本发明实施例提供的一种图像生成方法的流程示意图，所述方法可以由图像生成设备执行，所述图像生成设备可以设置在可移动平台上，所述可移动平台上挂载有拍摄装置，其中，所述可移动平台的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S201：获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户。
本发明实施例中，图像生成设备可以获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户。在一个示例中，所述目标用户可以为人。
在一个实施例中，所述拍摄装置拍摄的环境的图像数量可以包括一帧或多帧，本发明实施例不做具体限定。
S202：确定所述目标用户的人体关节点在所述图像中的位置。
本发明实施例中，图像生成设备可以确定所述目标用户的人体关节点在所述图像中的位置。
在一些实施例中，所述人体关节点包括人体躯干的关节点和/或手掌的关节点。在某些实施例中，所述人体躯干的关节点包括如图4a所示的18个关节点。在某些实施例中，所述手掌的关节点包括如图4b所示的21个关节点。
在一个实施例中，所述图像的数量可以为多帧，所述图像生成设备可以确定所述目标用户的人体关节点在所述多帧图像中每一帧图像中的位置。在某些实施例中，所述人体关节点在所述多帧图像中每一帧图像中的位置可以为二维 坐标或三维坐标。
在一个实施例中，所述人体关节点包括人体躯干的关节点；所述图像生成设备在确定所述目标用户的人体关节点在所述图像中的位置时，可以确定所述目标用户的人体躯干的关节点在所述图像中的位置。
以图4a为例，所述图像生成设备在确定所述目标用户的人体关节点在所述图像中的位置时，可以确定如图4a所示目标用户的人体躯干的18个关节点在图像中的位置。可见，通过这种确定人体躯干的关节点在图像中的位置的实施方式，有助于为后续确定目标用户和目标动画人物的人体躯干的动作。
在一个实施例中，所述人体关节点包括手掌的关节点；所述图像生成设备在确定所述目标用户的人体关节点在所述图像中的位置时，可以确定所述目标用户的手掌的关节点在所述图像中的位置。
以图4b为例，所述图像生成设备在确定所述目标用户的人体关节点在所述图像中的位置时，可以确定如图4b所示目标用户的手掌的21个关节点在图像中的位置。可见，通过这种确定手掌的关节点在图像中的位置的实施方式，有助于为后续确定目标用户和目标动画人物的手掌的动作。
在一个实施例中，图像生成设备在确定所述目标用户的人体关节点在所述图像中的位置时，可以将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置。
在一个实施例中，所述人体关节点包括人体躯干的关节点，所述第一关节点预测模型包括第一人体躯干关节点预测模型；图像生成设备在将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置之前，可以将所述图像输入第一用户识别模型，以确定所述目标用户在所述图像中的用户区域；并根据所述目标用户在所述图像中的用户区域，从所述图像中确定所述目标用户的用户图像。
在一个实施例中，图像生成设备在将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，可以将所述目标用户的用户图像输入所述第一人体躯干关节点预测模型，以获取所述第一人体躯干关节点预测模型输出的人体躯干的关节点在所述图像中的位置。
以图4a为例，图像生成设备可以将目标用户的用户图像输入第一人体躯 干关节点预测模型，以获取第一人体躯干关节点预测模型输出如图4a所示的人体躯干的18个关节点在图像中的位置。
在一个实施例中，所述人体关节点包括手掌的关节点，所述第一关节点预测模型包括第一手掌关节点预测模型；图像生成设备可以根据所述人体躯干关节点中的手腕关节点在所述图像中的位置，确定所述目标用户的手掌在所述图像中的第一手掌预测区域；并根据所述手掌在所述图像中的第一手掌预测区域，从所述图像中确定所述手掌的预测图像。图像生成设备可以将所述手掌的预测图像输入所述第一手掌关节点预测模型，以获取所述第一手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述图像中的位置。
以图4b为例，图像生成设备可以将手掌的预测图像输入第一手掌关节点预测模型，以获取第一手掌关节点预测模型输出的如图4b所示的目标用户的手掌的21个关节点在图像中的位置。
S203：根据所述人体关节点在所述图像中的位置确定目标动画人物的动作。
本发明实施例中，图像生成设备可以根据所述人体关节点在所述图像中的位置确定目标动画人物的动作。
在一个实施例中，当所述图像的数量为多帧时，图像生成设备可以根据所述人体关节点在所述每一帧图像中的位置确定所述目标动画人物与所述每一帧图像对应的动作。
在一个实施例中，当图像生成设备确定出目标用户的人体躯干的关节点在所述图像中的位置时，图像生成设备可以根据所述人体躯干的关节点在所述图像中的位置确定所述目标动画人物的躯干的动作。在某些实施例中，图像生成设备可以根据人体躯干的关节点在图像中的位置确定与人体躯干的关节点在图像中的位置对应的目标动画人物的躯干的动作。
在一个实施例中，当图像生成设备确定出目标用户的手掌的关节点在所述图像中的位置时，图像生成设备可以根据所述手掌的关节点在所述图像中的位置确定所述目标动画人物的手掌的动作。
以图4b为例，假设目标用户的手掌关节点在图像中的位置组成了如图4b所示的目标用户的手掌的“OK”手势，则图像生成设备可以根据目标用户的手掌的“OK”手势确定目标动画人物的手掌的动作对应为“OK”手势。
在一个实施例中，图像生成设备在根据所述人体关节点在所述图像中的位置确定目标动画人物的动作之前，可以检测用户对动画人物的选择操作，并根据检测到的所述选择操作，从多个动画人物中确定所述目标动画人物。
例如，假设预先设置了多个动画人物，图像生成设备在根据所述人体关节点在所述图像中的位置确定目标动画人物的动作之前，可以输出包括多个动画人物的界面，以使用户可以通过点击、滑动等选择操作从多个动画人物中选择一个目标动画人物。
S204：将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
本发明实施例中，图像生成设备可以将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
在一个实施例中，当所述图像的数量为多帧时，图像生成设备可以将呈现与所述每一帧图像对应的动作的目标动画人物叠加到所述每一帧图像中以获取叠加后的多帧图像。
在一个实施例中，将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像之后，图像生成设备可以将所述叠加后的图像发送至显示设备以使所示显示装置显示所述叠加后的图像。
在一个实施例中，图像生成设备可以在所述图像中确定所述目标用户站立的平面区域，并在将呈现该动作的目标动画人物叠加到所述图像中时，将呈现该动作的目标动画人物叠加到所述图像中所述目标用户站立的平面区域。
以图6为例，图6是本发明实施例提供的一种叠加图像的示意图，如图6所示，假设图像生成设备在所述图像中确定出目标用户61站立的平面区域为62，则图像生成设备可以在将呈现该动作的目标动画人物63叠加到所述图像中目标用户61站立的平面区域62中。
在一个实施例中，图像生成设备在所述图像中确定所述目标用户站立的平面区域时，可以确定所述环境中的平面在所述图像中的多个第一平面区域；并确定所述目标用户在所述图像中的用户区域；以及将所述多个第一平面区域中包括所述用户区域下边沿的第一平面区域确定为所述目标用户站立的平面区域。
在一个实施例中，图像生成设备在确定所述环境中的平面在所述图像中的 多个第一平面区域时，可以将所述图像输入第一平面区域检测模型，以获取所述第一平面区域检测模型输出的所述环境中的平面在所述图像中的多个第一平面区域的位置。
在一个实施例中，图像生成设备在将呈现该动作的目标动画人物叠加到所述图像中之前，可以检测用户的位置选择操作，并根据检测到的所述位置选择操作确定所述图像中的目标位置。
在一个实施例中，图像生成设备在确定出图像中的目标位置后，在将呈现该动作的目标动画人物叠加到所述图像中时，可以将呈现该动作的目标动画人物叠加到所述图像中的目标位置中。
本发明实施例可以获取拍摄装置拍摄的包括目标用户的环境的图像，确定目标用户的人体关节点在图像中的位置，并根据人体关节点在图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到图像中以获取叠加后的图像。通过这种方式，可以确定出与图像中目标用户的人体关节点对应的目标动画人物的动作，生成目标动画人物叠加到图像后的视频或图像，增加了用户摄影的趣味性。
请参见图3，图3是本发明实施例提供的另一种图像生成方法的流程示意图，所述方法可以由图像生成设备执行，所述图像生成设备可以设置在可移动平台上，所述可移动平台上挂载有拍摄装置，其中，所述可移动平台的具体解释如前所述。本发明实施例与上述图2所述实施例的区别在于，本发明实施例是根据获取到的环境的深度图像确定人体关节点在图像中的位置，并根据人体关节点在图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到深度图像中以获取叠加后的图像。
S301：获取拍摄装置拍摄的环境的深度图像，其中，所述环境包括目标用户。
本发明实施例中，图像生成设备可以获取拍摄装置拍摄的环境的深度图像，其中，所述环境包括目标用户。
S302：将所述深度图像输入第二关节点预测模型，以获取第二关节点预测模型输出的人体关节点在所述深度图像中的位置。
本发明实施例中，图像生成设备可以将所述深度图像输入第二关节点预测 模型，以获取第二关节点预测模型输出的人体关节点在所述深度图像中的位置。
在一个实施例中，所述人体关节点包括人体躯干的关节点，第二关节点预测模型包括第二人体躯干关节点预测模型；图像生成设备将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置之前，可以将所述深度图像输入第二用户识别模型，以确定所述目标用户在所述深度图像中的用户区域，并根据所述目标用户在所述深度图像中的用户区域，从所述深度图像中确定所述目标用户的用户图像。
在一个实施例中，图像生成设备将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，可以将所述目标用户的用户图像输入所述第二人体躯干关节点预测模型，以获取所述第二人体躯干关节点预测模型输出的人体躯干的关节点在所述深度图像中的位置。
在一个实施例中，所述人体关节点包括手掌的关节点，所述第二关节点预测模型包括第二手掌关节点预测模型；图像生成设备可以根据所述人体躯干关节点中的手腕关节点在所述深度图像中的位置，确定所述目标用户的手掌在所述深度图像中的第二手掌预测区域，并根据所述手掌所述深度图像中的第二手掌预测区域，从所述深度图像中确定所述手掌的预测图像。图像生成设备可以将所述手掌的预测图像输入所述第二手掌关节点预测模型，以获取所述第二手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述深度图像中的位置。
S303：根据所述人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
本发明实施例中，图像生成设备可以根据所述人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
在一个实施例中，图像生成设备可以根据输出深度图像的拍摄装置的安装位置关系以及根据人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
S304：根据所述人体关节点在所述图像中的位置确定目标动画人物的动作。
本发明实施例中，图像生成设备可以根据所述人体关节点在所述图像中的位置确定目标动画人物的动作。具体实施例如前所述。
S305：将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
本发明实施例中，图像生成设备可以将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
在一个实施例中，图像生成设备可以在所述图像中确定所述目标用户站立的平面区域，并将呈现该动作的目标动画人物叠加到所述图像中所述目标用户站立的平面区域。
在一个实施例中，图像生成设备在所述图像中确定所述目标用户站立的平面区域时，可以确定所述环境中的平面在所述图像中的多个第一平面区域，确定所述目标用户在所述图像中的用户区域，将所述多个第一平面区域中包括所述用户区域下边沿的第一平面区域确定为所述目标用户站立的平面区域。
在一个实施例中，图像生成设备在确定所述环境中的平面在所述图像中的多个第一平面区域时，可以将所述深度图像输入第二平面区域检测模型，以获取所述第二平面区域检测模型输出的所述环境中的平面在所述深度图像中的多个第二平面区域的位置；并根据所述多个第二平面区域的位置，将所述多个第二平面投影到所述图像中以确定所述图像中的多个第一平面区域。
本发明实施例可以获取拍摄装置拍摄的包括目标用户的环境的深度图像，将深度图像输入第二关节点预测模型以获取第二关节点预测模型输出的人体关节点在深度图像中的位置，并根据人体关节点在深度图像中的位置，确定人体关节点在图像中的位置，以及根据人体关节点在图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到图像中以获取叠加后的图像。通过这种方式可以根据深度图像确定出目标动画人物的动作，生成目标动画人物叠加到图像中的视频或图像，增加了用户摄影的趣味性。
请参见图7，图7是本发明实施例提供的一种图像生成设备的结构示意图。具体的，所述图像生成设备包括：存储器701、处理器702以及数据接口703。
所述存储器701可以包括易失性存储器(volatile memory)；存储器701也可以包括非易失性存储器(non-volatile memory)；存储器701还可以包括上 述种类的存储器的组合。所述处理器702可以是中央处理器(central processing unit，CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
进一步地，所述存储器701用于存储程序，当程序被执行时所述处理器702可以调用存储器701中存储的程序，用于执行如下步骤：
获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；
确定所述目标用户的人体关节点在所述图像中的位置；
根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；
将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
进一步地，所述图像的数量为多帧；所述处理器702还用于：
确定所述目标用户的人体关节点在所述多帧图像中每一帧图像中的位置；
根据所述人体关节点在所述每一帧图像中的位置确定所述目标动画人物与所述每一帧图像对应的动作；
将呈现与所述每一帧图像对应的动作的目标动画人物叠加到所述每一帧图像中以获取叠加后的多帧图像。
进一步地，所述处理器702还用于：
将所述叠加后的图像发送至显示设备以使所示显示装置显示所述叠加后的图像。
进一步地，所述人体关节点包括人体躯干的关节点；
所述处理器702确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
确定所述目标用户的人体躯干的关节点在所述图像中的位置；
所述处理器702根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
根据所述人体躯干的关节点在所述图像中的位置确定所述目标动画人物的躯干的动作。
进一步地，所述人体关节点包括手掌的关节点；
所述处理器702确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
确定所述目标用户的手掌的关节点在所述图像中的位置；
所述处理器702根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
根据所述手掌的关节点在所述图像中的位置确定所述目标动画人物的手掌的动作。
进一步地，所述处理器702还用于：
在所述图像中确定所述目标用户站立的平面区域；
所述处理器702将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
将呈现该动作的目标动画人物叠加到所述图像中所述目标用户站立的平面区域。
进一步地，所述处理器702在所述图像中确定所述目标用户站立的平面区域时，具体用于：
确定所述环境中的平面在所述图像中的多个第一平面区域；
确定所述目标用户在所述图像中的用户区域；
将所述多个第一平面区域中包括所述用户区域下边沿的第一平面区域确定为所述目标用户站立的平面区域。
进一步地，所述处理器702确定所述环境中的平面在所述图像中的多个第一平面区域时，具体用于：
将所述图像输入第一平面区域检测模型，以获取所述第一平面区域检测模型输出的所述环境中的平面在所述图像中的多个第一平面区域的位置。
进一步地，所述处理器702还用于：
获取所述环境的深度图像；
所述处理器702确定所述环境中的平面在所述图像中的多个第一平面区域时，具体用于：
将所述深度图像输入第二平面区域检测模型，以获取所述第二平面区域检测模型输出的所述环境中的平面在所述深度图像中的多个第二平面区域的位置；
根据所述多个第二平面区域的位置，将所述多个第二平面投影到所述图像中以确定所述图像中的多个第一平面区域。
进一步地，所述处理器702确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置。
进一步地，所述人体关节点包括人体躯干的关节点，所述第一关节点预测模型包括第一人体躯干关节点预测模型，所述处理器702将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置之前，还用于：
将所述图像输入第一用户识别模型，以确定所述目标用户在所述图像中的用户区域；
根据所述目标用户在所述图像中的用户区域，从所述图像中确定所述目标用户的用户图像；
所述处理器702将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
将所述目标用户的用户图像输入所述第一人体躯干关节点预测模型，以获取所述第一人体躯干关节点预测模型输出的人体躯干的关节点在所述图像中的位置。
进一步地，所述人体关节点包括手掌的关节点，所述第一关节点预测模型包括第一手掌关节点预测模型，所述处理器702还用于：
根据所述人体躯干关节点中的手腕关节点在所述图像中的位置，确定所述目标用户的手掌在所述图像中的第一手掌预测区域；
根据所述手掌在所述图像中的第一手掌预测区域，从所述图像中确定所述手掌的预测图像；
所述处理器702将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
将所述手掌的预测图像输入所述第一手掌关节点预测模型，以获取所述第一手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述图像中的位置。
进一步地，所述处理器702还用于：
获取所述环境的深度图像；
所述处理器702确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置；
根据所述人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
进一步地，所述人体关节点包括人体躯干的关节点，第二关节点预测模型包括第二人体躯干关节点预测模型，所述处理器702将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置之前，还用于：
将所述深度图像输入第二用户识别模型，以确定所述目标用户在所述深度图像中的用户区域；
根据所述目标用户在所述深度图像中的用户区域，从所述深度图像中确定所述目标用户的用户图像；
所述处理器702将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
将所述目标用户的用户图像输入所述第二人体躯干关节点预测模型，以获取所述第二人体躯干关节点预测模型输出的人体躯干的关节点在所述深度图像中的位置。
进一步地，所述人体关节点包括手掌的关节点，所述第二关节点预测模型包括第二手掌关节点预测模型，所述处理器702还用于：
根据所述人体躯干关节点中的手腕关节点在所述深度图像中的位置，确定所述目标用户的手掌在所述深度图像中的第二手掌预测区域；
根据所述手掌所述深度图像中的第二手掌预测区域，从所述深度图像中确定所述手掌的预测图像；
所述处理器702将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
将所述手掌的预测图像输入所述第二手掌关节点预测模型，以获取所述第 二手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述深度图像中的位置。
进一步地，所述处理器702还用于：
检测用户对动画人物选择操作；
根据检测到的所述选择操作，从多个动画人物中确定所述目标动画人物。
进一步地，所述处理器702还用于：
检测用户的位置选择操作；
根据检测到的所述位置选择操作确定所述图像中的目标位置；
所述处理器702将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
将呈现该动作的目标动画人物叠加到所述图像中的目标位置中。
本发明实施例可以获取拍摄装置拍摄的包括目标用户的环境的图像，确定目标用户的人体关节点在图像中的位置，并根据人体关节点在图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到图像中以获取叠加后的图像。通过这种方式，可以确定出与图像中目标用户的人体关节点对应的目标动画人物的动作，生成目标动画人物叠加到图像后的视频或图像，增加了用户摄影的趣味性。
本发明实施例还提供了一种可移动平台，包括：拍摄装置，用于对环境进行拍摄；处理器，用于获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；确定所述目标用户的人体关节点在所述图像中的位置；根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
进一步地，所述图像的数量为多帧；所述处理器还用于：
确定所述目标用户的人体关节点在所述多帧图像中每一帧图像中的位置；
根据所述人体关节点在所述每一帧图像中的位置确定所述目标动画人物与所述每一帧图像对应的动作；
将呈现与所述每一帧图像对应的动作的目标动画人物叠加到所述每一帧图像中以获取叠加后的多帧图像。
进一步地，所述处理器还用于：
将所述叠加后的图像发送至显示设备以使所示显示装置显示所述叠加后 的图像。
进一步地，所述人体关节点包括人体躯干的关节点；
所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
确定所述目标用户的人体躯干的关节点在所述图像中的位置；
所述处理器根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
根据所述人体躯干的关节点在所述图像中的位置确定所述目标动画人物的躯干的动作。
进一步地，所述人体关节点包括手掌的关节点；
所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
确定所述目标用户的手掌的关节点在所述图像中的位置；
所述处理器根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
根据所述手掌的关节点在所述图像中的位置确定所述目标动画人物的手掌的动作。
进一步地，所述处理器还用于：
在所述图像中确定所述目标用户站立的平面区域；
所述处理器将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
将呈现该动作的目标动画人物叠加到所述图像中所述目标用户站立的平面区域。
进一步地，所述处理器在所述图像中确定所述目标用户站立的平面区域时，具体用于：
确定所述环境中的平面在所述图像中的多个第一平面区域；
确定所述目标用户在所述图像中的用户区域；
将所述多个第一平面区域中包括所述用户区域下边沿的第一平面区域确定为所述目标用户站立的平面区域。
进一步地，所述处理器确定所述环境中的平面在所述图像中的多个第一平 面区域时，具体用于：
将所述图像输入第一平面区域检测模型，以获取所述第一平面区域检测模型输出的所述环境中的平面在所述图像中的多个第一平面区域的位置。
进一步地，所述处理器还用于：
获取所述环境的深度图像；
所述处理器确定所述环境中的平面在所述图像中的多个第一平面区域时，具体用于：
将所述深度图像输入第二平面区域检测模型，以获取所述第二平面区域检测模型输出的所述环境中的平面在所述深度图像中的多个第二平面区域的位置；
根据所述多个第二平面区域的位置，将所述多个第二平面投影到所述图像中以确定所述图像中的多个第一平面区域。
进一步地，所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置。
进一步地，所述人体关节点包括人体躯干的关节点，所述第一关节点预测模型包括第一人体躯干关节点预测模型，所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置之前，还用于：
将所述图像输入第一用户识别模型，以确定所述目标用户在所述图像中的用户区域；
根据所述目标用户在所述图像中的用户区域，从所述图像中确定所述目标用户的用户图像；
所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
将所述目标用户的用户图像输入所述第一人体躯干关节点预测模型，以获取所述第一人体躯干关节点预测模型输出的人体躯干的关节点在所述图像中的位置。
进一步地，所述人体关节点包括手掌的关节点，所述第一关节点预测模型 包括第一手掌关节点预测模型，所述处理器还用于：
根据所述人体躯干关节点中的手腕关节点在所述图像中的位置，确定所述目标用户的手掌在所述图像中的第一手掌预测区域；
根据所述手掌在所述图像中的第一手掌预测区域，从所述图像中确定所述手掌的预测图像；
所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
将所述手掌的预测图像输入所述第一手掌关节点预测模型，以获取所述第一手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述图像中的位置。
进一步地，所述处理器还用于：
获取所述环境的深度图像；
所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置；
根据所述人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
进一步地，所述人体关节点包括人体躯干的关节点，第二关节点预测模型包括第二人体躯干关节点预测模型，所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置之前，还用于：
将所述深度图像输入第二用户识别模型，以确定所述目标用户在所述深度图像中的用户区域；
根据所述目标用户在所述深度图像中的用户区域，从所述深度图像中确定所述目标用户的用户图像；
所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
将所述目标用户的用户图像输入所述第二人体躯干关节点预测模型，以获取所述第二人体躯干关节点预测模型输出的人体躯干的关节点在所述深度图 像中的位置。
进一步地，所述人体关节点包括手掌的关节点，所述第二关节点预测模型包括第二手掌关节点预测模型，所述处理器还用于：
根据所述人体躯干关节点中的手腕关节点在所述深度图像中的位置，确定所述目标用户的手掌在所述深度图像中的第二手掌预测区域；
根据所述手掌所述深度图像中的第二手掌预测区域，从所述深度图像中确定所述手掌的预测图像；
所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
将所述手掌的预测图像输入所述第二手掌关节点预测模型，以获取所述第二手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述深度图像中的位置。
进一步地，所述处理器还用于：
检测用户对动画人物选择操作；
根据检测到的所述选择操作，从多个动画人物中确定所述目标动画人物。
进一步地，所述处理器还用于：
检测用户的位置选择操作；
根据检测到的所述位置选择操作确定所述图像中的目标位置；
所述处理器将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
将呈现该动作的目标动画人物叠加到所述图像中的目标位置中。
本发明实施例可以获取拍摄装置拍摄的包括目标用户的环境的图像，确定目标用户的人体关节点在图像中的位置，并根据人体关节点在图像中的位置确定目标动画人物的动作，从而将呈现该动作的目标动画人物叠加到图像中以获取叠加后的图像。通过这种方式，可以确定出与图像中目标用户的人体关节点对应的目标动画人物的动作，生成目标动画人物叠加到图像后的视频或图像，增加了用户摄影的趣味性。
在本发明的实施例中还提供一种终端设备，其特征在于，包括：如前所述的图像生成设备。在某些实施例中，所述终端设备包括拍摄装置。在某些实施例中，所述拍摄装置设置在独立于终端设备的其他设备上(例如无人飞行器、 手持云台相机等)，所述图像生成设备从所述其他设备获取拍摄装置对环境拍摄的图像。
在本发明的实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图2或图3所对应实施例中描述的图像生成方法方式，也可实现图7所述本发明所对应实施例的图像生成设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (54)

  1. 一种图像生成方法，其特征在于，包括：
    获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；
    确定所述目标用户的人体关节点在所述图像中的位置；
    根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；
    将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
  2. 根据权利要求1所述的方法，其特征在于，所述图像的数量为多帧；所述方法还包括：
    确定所述目标用户的人体关节点在所述多帧图像中每一帧图像中的位置；
    根据所述人体关节点在所述每一帧图像中的位置确定所述目标动画人物与所述每一帧图像对应的动作；
    将呈现与所述每一帧图像对应的动作的目标动画人物叠加到所述每一帧图像中以获取叠加后的多帧图像。
  3. 根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
    将所述叠加后的图像发送至显示设备以使所示显示装置显示所述叠加后的图像。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，所述人体关节点包括人体躯干的关节点；
    所述确定所述目标用户的人体关节点在所述图像中的位置，包括：
    确定所述目标用户的人体躯干的关节点在所述图像中的位置；
    所述根据所述人体关节点在所述图像中的位置确定目标动画人物的动作，包括：
    根据所述人体躯干的关节点在所述图像中的位置确定所述目标动画人物的躯干的动作。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述人体关节点 包括手掌的关节点；
    所述确定所述目标用户的人体关节点在所述图像中的位置，包括：
    确定所述目标用户的手掌的关节点在所述图像中的位置；
    所述根据所述人体关节点在所述图像中的位置确定目标动画人物的动作，包括：
    根据所述手掌的关节点在所述图像中的位置确定所述目标动画人物的手掌的动作。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
    在所述图像中确定所述目标用户站立的平面区域；
    所述将呈现该动作的目标动画人物叠加到所述图像中，包括：
    将呈现该动作的目标动画人物叠加到所述图像中所述目标用户站立的平面区域。
  7. 根据权利要求6所述的方法，其特征在于，所述在所述图像中确定所述目标用户站立的平面区域，包括：
    确定所述环境中的平面在所述图像中的多个第一平面区域；
    确定所述目标用户在所述图像中的用户区域；
    将所述多个第一平面区域中包括所述用户区域下边沿的第一平面区域确定为所述目标用户站立的平面区域。
  8. 根据权利要求7所述的方法，其特征在于，所述确定所述环境中的平面在所述图像中的多个第一平面区域，包括：
    将所述图像输入第一平面区域检测模型，以获取所述第一平面区域检测模型输出的所述环境中的平面在所述图像中的多个第一平面区域的位置。
  9. 根据权利要求7所述的方法，其特征在于，所述方法还包括：
    获取所述环境的深度图像；
    所述确定所述环境中的平面在所述图像中的多个第一平面区域，包括：
    将所述深度图像输入第二平面区域检测模型，以获取所述第二平面区域检 测模型输出的所述环境中的平面在所述深度图像中的多个第二平面区域的位置；
    根据所述多个第二平面区域的位置，将所述多个第二平面投影到所述图像中以确定所述图像中的多个第一平面区域。
  10. 根据权利要求1-9任一项所述的方法，其特征在于，所述确定所述目标用户的人体关节点在所述图像中的位置，包括：
    将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置。
  11. 根据权利要求10所述的方法，其特征在于，所述人体关节点包括人体躯干的关节点，所述第一关节点预测模型包括第一人体躯干关节点预测模型，所述将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置之前，还包括：
    将所述图像输入第一用户识别模型，以确定所述目标用户在所述图像中的用户区域；
    根据所述目标用户在所述图像中的用户区域，从所述图像中确定所述目标用户的用户图像；
    所述将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置，包括：
    将所述目标用户的用户图像输入所述第一人体躯干关节点预测模型，以获取所述第一人体躯干关节点预测模型输出的人体躯干的关节点在所述图像中的位置。
  12. 根据权利要求11所述的方法，其特征在于，所述人体关节点包括手掌的关节点，所述第一关节点预测模型包括第一手掌关节点预测模型，所述方法还包括：
    根据所述人体躯干关节点中的手腕关节点在所述图像中的位置，确定所述目标用户的手掌在所述图像中的第一手掌预测区域；
    根据所述手掌在所述图像中的第一手掌预测区域，从所述图像中确定所述 手掌的预测图像；
    所述将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置，包括：
    将所述手掌的预测图像输入所述第一手掌关节点预测模型，以获取所述第一手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述图像中的位置。
  13. 根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
    获取所述环境的深度图像；
    所述确定所述目标用户的人体关节点在所述图像中的位置，包括：
    将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置；
    根据所述人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
  14. 根据权利要求13所述的方法，其特征在于，所述人体关节点包括人体躯干的关节点，第二关节点预测模型包括第二人体躯干关节点预测模型，所述将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置之前，还包括：
    将所述深度图像输入第二用户识别模型，以确定所述目标用户在所述深度图像中的用户区域；
    根据所述目标用户在所述深度图像中的用户区域，从所述深度图像中确定所述目标用户的用户图像；
    所述将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置，包括：
    将所述目标用户的用户图像输入所述第二人体躯干关节点预测模型，以获取所述第二人体躯干关节点预测模型输出的人体躯干的关节点在所述深度图像中的位置。
  15. 根据权利要求14所述的方法，其特征在于，所述人体关节点包括手 掌的关节点，所述第二关节点预测模型包括第二手掌关节点预测模型，所述方法还包括：
    根据所述人体躯干关节点中的手腕关节点在所述深度图像中的位置，确定所述目标用户的手掌在所述深度图像中的第二手掌预测区域；
    根据所述手掌在所述深度图像中的第二手掌预测区域，从所述深度图像中确定所述手掌的预测图像；
    所述将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置，包括：
    将所述手掌的预测图像输入所述第二手掌关节点预测模型，以获取所述第二手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述深度图像中的位置。
  16. 根据权利要求1-15任一项所述的方法，其特征在于，所述方法还包括：
    检测用户对动画人物选择操作；
    根据检测到的所述选择操作，从多个动画人物中确定所述目标动画人物。
  17. 根据权利要求1-16任一项所述的方法，其特征在于，所述方法还包括：
    检测用户的位置选择操作；
    根据检测到的所述位置选择操作确定所述图像中的目标位置；
    所述将呈现该动作的目标动画人物叠加到所述图像中，包括：
    将呈现该动作的目标动画人物叠加到所述图像中的目标位置中。
  18. 一种图像生成设备，其特征在于，包括存储器和处理器；
    所述存储器，用于存储程序；
    所述处理器，执行所述存储器存储的程序，当程序被执行时，所述处理器用于执行如下步骤：
    获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；
    确定所述目标用户的人体关节点在所述图像中的位置；
    根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；
    将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
  19. 根据权利要求18所述的设备，其特征在于，所述图像的数量为多帧；所述处理器还用于：
    确定所述目标用户的人体关节点在所述多帧图像中每一帧图像中的位置；
    根据所述人体关节点在所述每一帧图像中的位置确定所述目标动画人物与所述每一帧图像对应的动作；
    将呈现与所述每一帧图像对应的动作的目标动画人物叠加到所述每一帧图像中以获取叠加后的多帧图像。
  20. 根据权利要求18或19所述的设备，其特征在于，所述处理器还用于：
    将所述叠加后的图像发送至显示设备以使所示显示装置显示所述叠加后的图像。
  21. 根据权利要求18-20任一项所述的设备，其特征在于，所述人体关节点包括人体躯干的关节点；
    所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    确定所述目标用户的人体躯干的关节点在所述图像中的位置；
    所述处理器根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
    根据所述人体躯干的关节点在所述图像中的位置确定所述目标动画人物的躯干的动作。
  22. 根据权利要求18-21任一项所述的设备，其特征在于，所述人体关节点包括手掌的关节点；
    所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    确定所述目标用户的手掌的关节点在所述图像中的位置；
    所述处理器根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
    根据所述手掌的关节点在所述图像中的位置确定所述目标动画人物的手掌的动作。
  23. 根据权利要求18-22任一项所述的设备，其特征在于，所述处理器还用于：
    在所述图像中确定所述目标用户站立的平面区域；
    所述处理器将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
    将呈现该动作的目标动画人物叠加到所述图像中所述目标用户站立的平面区域。
  24. 根据权利要求23所述的设备，其特征在于，所述处理器在所述图像中确定所述目标用户站立的平面区域时，具体用于：
    确定所述环境中的平面在所述图像中的多个第一平面区域；
    确定所述目标用户在所述图像中的用户区域；
    将所述多个第一平面区域中包括所述用户区域下边沿的第一平面区域确定为所述目标用户站立的平面区域。
  25. 根据权利要求24所述的设备，其特征在于，所述处理器确定所述环境中的平面在所述图像中的多个第一平面区域时，具体用于：
    将所述图像输入第一平面区域检测模型，以获取所述第一平面区域检测模型输出的所述环境中的平面在所述图像中的多个第一平面区域的位置。
  26. 根据权利要求24所述的设备，其特征在于，所述处理器还用于：
    获取所述环境的深度图像；
    所述处理器确定所述环境中的平面在所述图像中的多个第一平面区域时，具体用于：
    将所述深度图像输入第二平面区域检测模型，以获取所述第二平面区域检 测模型输出的所述环境中的平面在所述深度图像中的多个第二平面区域的位置；
    根据所述多个第二平面区域的位置，将所述多个第二平面投影到所述图像中以确定所述图像中的多个第一平面区域。
  27. 根据权利要求18-26任一项所述的设备，其特征在于，所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置。
  28. 根据权利要求27所述的设备，其特征在于，所述人体关节点包括人体躯干的关节点，所述第一关节点预测模型包括第一人体躯干关节点预测模型，所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置之前，还用于：
    将所述图像输入第一用户识别模型，以确定所述目标用户在所述图像中的用户区域；
    根据所述目标用户在所述图像中的用户区域，从所述图像中确定所述目标用户的用户图像；
    所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
    将所述目标用户的用户图像输入所述第一人体躯干关节点预测模型，以获取所述第一人体躯干关节点预测模型输出的人体躯干的关节点在所述图像中的位置。
  29. 根据权利要求28所述的设备，其特征在于，所述人体关节点包括手掌的关节点，所述第一关节点预测模型包括第一手掌关节点预测模型，所述处理器还用于：
    根据所述人体躯干关节点中的手腕关节点在所述图像中的位置，确定所述目标用户的手掌在所述图像中的第一手掌预测区域；
    根据所述手掌在所述图像中的第一手掌预测区域，从所述图像中确定所述 手掌的预测图像；
    所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
    将所述手掌的预测图像输入所述第一手掌关节点预测模型，以获取所述第一手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述图像中的位置。
  30. 根据权利要求18-26任一项所述的设备，其特征在于，所述处理器还用于：
    获取所述环境的深度图像；
    所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置；
    根据所述人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
  31. 根据权利要求30所述的设备，其特征在于，所述人体关节点包括人体躯干的关节点，第二关节点预测模型包括第二人体躯干关节点预测模型，所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置之前，还用于：
    将所述深度图像输入第二用户识别模型，以确定所述目标用户在所述深度图像中的用户区域；
    根据所述目标用户在所述深度图像中的用户区域，从所述深度图像中确定所述目标用户的用户图像；
    所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
    将所述目标用户的用户图像输入所述第二人体躯干关节点预测模型，以获取所述第二人体躯干关节点预测模型输出的人体躯干的关节点在所述深度图像中的位置。
  32. 根据权利要求31所述的设备，其特征在于，所述人体关节点包括手掌的关节点，所述第二关节点预测模型包括第二手掌关节点预测模型，所述处理器还用于：
    根据所述人体躯干关节点中的手腕关节点在所述深度图像中的位置，确定所述目标用户的手掌在所述深度图像中的第二手掌预测区域；
    根据所述手掌所述深度图像中的第二手掌预测区域，从所述深度图像中确定所述手掌的预测图像；
    所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
    将所述手掌的预测图像输入所述第二手掌关节点预测模型，以获取所述第二手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述深度图像中的位置。
  33. 根据权利要求18-32任一项所述的设备，其特征在于，所述处理器还用于：
    检测用户对动画人物选择操作；
    根据检测到的所述选择操作，从多个动画人物中确定所述目标动画人物。
  34. 根据权利要求18-33任一项所述的设备，其特征在于，所述处理器还用于：
    检测用户的位置选择操作；
    根据检测到的所述位置选择操作确定所述图像中的目标位置；
    所述处理器将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
    将呈现该动作的目标动画人物叠加到所述图像中的目标位置中。
  35. 一种可移动平台，其特征在于，包括：
    拍摄装置，用于对环境进行拍摄；
    处理器，用于获取拍摄装置拍摄的环境的图像，其中，所述环境包括目标用户；确定所述目标用户的人体关节点在所述图像中的位置；根据所述人体关节点在所述图像中的位置确定目标动画人物的动作；将呈现该动作的目标动画人物叠加到所述图像中以获取叠加后的图像。
  36. 根据权利要求35所述的可移动平台，其特征在于，所述图像的数量为多帧；所述处理器还用于：
    确定所述目标用户的人体关节点在所述多帧图像中每一帧图像中的位置；
    根据所述人体关节点在所述每一帧图像中的位置确定所述目标动画人物与所述每一帧图像对应的动作；
    将呈现与所述每一帧图像对应的动作的目标动画人物叠加到所述每一帧图像中以获取叠加后的多帧图像。
  37. 根据权利要求35所述的可移动平台，其特征在于，所述处理器还用于：
    将所述叠加后的图像发送至显示设备以使所示显示装置显示所述叠加后的图像。
  38. 根据权利要求35-37任一项所述的可移动平台，其特征在于，所述人体关节点包括人体躯干的关节点；
    所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    确定所述目标用户的人体躯干的关节点在所述图像中的位置；
    所述处理器根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
    根据所述人体躯干的关节点在所述图像中的位置确定所述目标动画人物的躯干的动作。
  39. 根据权利要求35-37任一项所述的可移动平台，其特征在于，所述人体关节点包括手掌的关节点；
    所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    确定所述目标用户的手掌的关节点在所述图像中的位置；
    所述处理器根据所述人体关节点在所述图像中的位置确定目标动画人物的动作时，具体用于：
    根据所述手掌的关节点在所述图像中的位置确定所述目标动画人物的手掌的动作。
  40. 根据权利要求35-39任一项所述的可移动平台，其特征在于，所述处理器还用于：
    在所述图像中确定所述目标用户站立的平面区域；
    所述处理器将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
    将呈现该动作的目标动画人物叠加到所述图像中所述目标用户站立的平面区域。
  41. 根据权利要求40所述的可移动平台，其特征在于，所述处理器在所述图像中确定所述目标用户站立的平面区域时，具体用于：
    确定所述环境中的平面在所述图像中的多个第一平面区域；
    确定所述目标用户在所述图像中的用户区域；
    将所述多个第一平面区域中包括所述用户区域下边沿的第一平面区域确定为所述目标用户站立的平面区域。
  42. 根据权利要求41所述的可移动平台，其特征在于，所述处理器确定所述环境中的平面在所述图像中的多个第一平面区域时，具体用于：
    将所述图像输入第一平面区域检测模型，以获取所述第一平面区域检测模型输出的所述环境中的平面在所述图像中的多个第一平面区域的位置。
  43. 根据权利要求41所述的可移动平台，其特征在于，所述处理器还用于：
    获取所述环境的深度图像；
    所述处理器确定所述环境中的平面在所述图像中的多个第一平面区域时，具体用于：
    将所述深度图像输入第二平面区域检测模型，以获取所述第二平面区域检测模型输出的所述环境中的平面在所述深度图像中的多个第二平面区域的位置；
    根据所述多个第二平面区域的位置，将所述多个第二平面投影到所述图像中以确定所述图像中的多个第一平面区域。
  44. 根据权利要求35-43任一项所述的可移动平台，其特征在于，所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置。
  45. 根据权利要求44所述的可移动平台，其特征在于，所述人体关节点包括人体躯干的关节点，所述第一关节点预测模型包括第一人体躯干关节点预测模型，所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置之前，还用于：
    将所述图像输入第一用户识别模型，以确定所述目标用户在所述图像中的用户区域；
    根据所述目标用户在所述图像中的用户区域，从所述图像中确定所述目标用户的用户图像；
    所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
    将所述目标用户的用户图像输入所述第一人体躯干关节点预测模型，以获取所述第一人体躯干关节点预测模型输出的人体躯干的关节点在所述图像中的位置。
  46. 根据权利要求45所述的可移动平台，其特征在于，所述人体关节点包括手掌的关节点，所述第一关节点预测模型包括第一手掌关节点预测模型， 所述处理器还用于：
    根据所述人体躯干关节点中的手腕关节点在所述图像中的位置，确定所述目标用户的手掌在所述图像中的第一手掌预测区域；
    根据所述手掌在所述图像中的第一手掌预测区域，从所述图像中确定所述手掌的预测图像；
    所述处理器将所述图像输入第一关节点预测模型，以获取所述第一关节点预测模型输出的人体关节点在所述图像中的位置时，具体用于：
    将所述手掌的预测图像输入所述第一手掌关节点预测模型，以获取所述第一手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述图像中的位置。
  47. 根据权利要求35-43任一项所述的可移动平台，其特征在于，所述处理器还用于：
    获取所述环境的深度图像；
    所述处理器确定所述目标用户的人体关节点在所述图像中的位置时，具体用于：
    将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置；
    根据所述人体关节点在所述深度图像中的位置，确定所述人体关节点在所述图像中的位置。
  48. 根据权利要求47所述的可移动平台，其特征在于，所述人体关节点包括人体躯干的关节点，第二关节点预测模型包括第二人体躯干关节点预测模型，所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置之前，还用于：
    将所述深度图像输入所述第二用户识别模型，以确定所述目标用户在所述深度图像中的用户区域；
    根据所述目标用户在所述深度图像中的用户区域，从所述深度图像中确定所述目标用户的用户图像；
    所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关 节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
    将所述目标用户的用户图像输入所述第二人体躯干关节点预测模型，以获取所述第二人体躯干关节点预测模型输出的人体躯干的关节点在所述深度图像中的位置。
  49. 根据权利要求48所述的可移动平台，其特征在于，所述人体关节点包括手掌的关节点，所述第二关节点预测模型包括第二手掌关节点预测模型，所述处理器还用于：
    根据所述人体躯干关节点中的手腕关节点在所述深度图像中的位置，确定所述目标用户的手掌在所述深度图像中的第二手掌预测区域；
    根据所述手掌所述深度图像中的第二手掌预测区域，从所述深度图像中确定所述手掌的预测图像；
    所述处理器将所述深度图像输入第二关节点预测模型，以获取所述第二关节点预测模型输出的人体关节点在所述深度图像中的位置时，具体用于：
    将所述手掌的预测图像输入所述第二手掌关节点预测模型，以获取所述第二手掌关节点预测模型输出的所述目标用户的手掌的关节点在所述深度图像中的位置。
  50. 根据权利要求35-49任一项所述的可移动平台，其特征在于，所述处理器还用于：
    检测用户对动画人物选择操作；
    根据检测到的所述选择操作，从多个动画人物中确定所述目标动画人物。
  51. 根据权利要求35-50任一项所述的可移动平台，其特征在于，所述处理器还用于：
    检测用户的位置选择操作；
    根据检测到的所述位置选择操作确定所述图像中的目标位置；
    所述处理器将呈现该动作的目标动画人物叠加到所述图像中时，具体用于：
    将呈现该动作的目标动画人物叠加到所述图像中的目标位置中。
  52. 一种终端设备，其特征在于，包括：如权利要求18-34任一项所述的图像生成设备。
  53. 根据权利要求52所述的终端设备，其特征在于，所述终端设备还包括所述拍摄装置。
  54. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述方法。
PCT/CN2019/103622 2019-08-30 2019-08-30 一种图像生成方法、设备、可移动平台及存储介质 WO2021035674A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980030470.3A CN112106347A (zh) 2019-08-30 2019-08-30 一种图像生成方法、设备、可移动平台及存储介质
PCT/CN2019/103622 WO2021035674A1 (zh) 2019-08-30 2019-08-30 一种图像生成方法、设备、可移动平台及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/103622 WO2021035674A1 (zh) 2019-08-30 2019-08-30 一种图像生成方法、设备、可移动平台及存储介质

Publications (1)

Publication Number Publication Date
WO2021035674A1 true WO2021035674A1 (zh) 2021-03-04

Family

ID=73748801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103622 WO2021035674A1 (zh) 2019-08-30 2019-08-30 一种图像生成方法、设备、可移动平台及存储介质

Country Status (2)

Country Link
CN (1) CN112106347A (zh)
WO (1) WO2021035674A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205167A1 (zh) * 2021-03-31 2022-10-06 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台、终端设备和存储介质
CN113538696A (zh) * 2021-07-20 2021-10-22 广州博冠信息科技有限公司 特效生成方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279079A1 (en) * 2014-03-26 2015-10-01 Mark D. Wieczorek Virtual reality devices and accessories
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及系统
CN108492363A (zh) * 2018-03-26 2018-09-04 广东欧珀移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN108737715A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
CN109806580A (zh) * 2019-01-23 2019-05-28 感悟科技（深圳）有限公司 基于无线传输的混合现实系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830782B (zh) * 2018-05-29 2022-08-05 北京字节跳动网络技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质
CN109618183B (zh) * 2018-11-29 2019-10-25 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109600559B (zh) * 2018-11-29 2021-07-23 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279079A1 (en) * 2014-03-26 2015-10-01 Mark D. Wieczorek Virtual reality devices and accessories
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及系统
CN108737715A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
CN108492363A (zh) * 2018-03-26 2018-09-04 广东欧珀移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN109806580A (zh) * 2019-01-23 2019-05-28 感悟科技（深圳）有限公司 基于无线传输的混合现实系统及方法

Also Published As

Publication number Publication date
CN112106347A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
US11636653B2 (en) Method and apparatus for synthesizing virtual and real objects
KR102497683B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
US10580205B2 (en) 3D model generating system, 3D model generating method, and program
JP2021527895A (ja) オブジェクト・モデリング動作方法及び装置並びにデバイス
US20180169934A1 (en) 3d printing data generation method and device
CN109815843A (zh) 目标检测方法及相关产品
CN109584362B (zh) 三维模型构建方法及装置、电子设备和存储介质
US11030733B2 (en) Method, electronic device and storage medium for processing image
WO2019237745A1 (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
US20140192055A1 (en) Method and apparatus for displaying video on 3d map
US11688136B2 (en) 3D object model reconstruction from 2D images
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
US20230267687A1 (en) 3d object model reconstruction from 2d images
WO2021035674A1 (zh) 一种图像生成方法、设备、可移动平台及存储介质
CN112532881A (zh) 图像处理方法、装置和电子设备
US10354399B2 (en) Multi-view back-projection to a light-field
JP2020030748A (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
JP2006107145A (ja) 顔形状モデリングシステムおよび顔形状モデリング方法
CN114358112A (zh) 视频融合方法、计算机程序产品、客户端及存储介质
CN113596323A (zh) 智能合影方法、装置、移动终端及计算机程序产品
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US10990802B2 (en) Imaging apparatus providing out focusing and method for controlling the same
JP6744237B2 (ja) 画像処理装置、画像処理システムおよびプログラム
CN109308740B (zh) 3d场景数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19943574

Country of ref document: EP

Kind code of ref document: A1