WO2022171114A1 - 图像处理方法、装置、设备及介质 - Google Patents

图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
WO2022171114A1
WO2022171114A1 PCT/CN2022/075622 CN2022075622W WO2022171114A1 WO 2022171114 A1 WO2022171114 A1 WO 2022171114A1 CN 2022075622 W CN2022075622 W CN 2022075622W WO 2022171114 A1 WO2022171114 A1 WO 2022171114A1
Authority
WO
WIPO (PCT)
Prior art keywords
video image
motion state
material object
target
image
Prior art date
Application number
PCT/CN2022/075622
Other languages
English (en)
French (fr)
Inventor
叶欣靖
吴俊生
吕海涛
高茜
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Priority to KR1020237028745A priority Critical patent/KR20230130748A/ko
Priority to EP22752274.5A priority patent/EP4206982A4/en
Priority to JP2023548283A priority patent/JP7467780B2/ja
Publication of WO2022171114A1 publication Critical patent/WO2022171114A1/zh
Priority to US18/089,377 priority patent/US20230133416A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present disclosure relates to the field of multimedia technologies, and in particular, to an image processing method, apparatus, device, medium, and program product.
  • the user When making a video, the user first needs to perform a series of complex material editing operations on the material, and then perform video editing operations on the edited material to finally generate a video work. If the user is not good at material editing, it will not only increase the time cost of video production, but also cannot guarantee the quality of the video work, reducing the user experience.
  • the present disclosure provides an image processing method, apparatus, device, medium and computer program product.
  • the present disclosure provides an image processing method, including:
  • the first style video image and the second style video image are different stylized images obtained based on the initial video image.
  • an image processing apparatus including:
  • a first processing unit configured to determine the motion state of the first recognition object in the initial video image
  • a second processing unit configured to determine the motion state of the material object according to the motion state of the first identification object
  • the first synthesizing unit is configured to, if the motion state of the material object belongs to the first state, synthesize the material object and the first style video image according to the motion state of the material object to obtain the first target video image;
  • the second synthesizing unit is configured to, if the motion state of the material object belongs to the second state, synthesize the material object and the second style video image according to the motion state of the material object to obtain the second target video image;
  • the first style video image and the second style video image are different stylized images obtained based on the initial video image.
  • an image processing device including:
  • the processor is configured to read executable instructions from the memory and execute the executable instructions to implement the image processing method described in the first aspect.
  • the present disclosure provides a computer-readable storage medium, where the storage medium stores a computer program, and when the computer program is executed by a processor, enables the processor to implement the image processing method described in the first aspect.
  • the present disclosure provides a computer program product containing instructions that, when executed on a device, cause the device to perform the image processing method described in the first aspect above.
  • the image processing method, device, device, and medium of the embodiments of the present disclosure can determine the motion state of the first recognition object in the initial video image, and determine the motion state of the material object according to the motion state of the first recognition object, and then determine the motion state of the material object.
  • the motion state of the material object is judged. If the motion state of the material object belongs to the first state, the material object and the first style video image are synthesized according to the motion state of the material object to obtain the first target video image. In the second state, the material object and the second style video image are synthesized according to the motion state of the material object to obtain the second target video image. Therefore, the original video image as the video material can be automatically edited, and the edited video image can be obtained. Synthesizing images eliminates the need for users to manually edit material, thereby reducing the time and cost of video production, improving the quality of video works, and enhancing user experience.
  • FIG. 1 is a schematic flowchart of an image processing method according to an embodiment of the present disclosure
  • FIG. 2 is a schematic flowchart of another image processing method provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic flowchart of another image processing method provided by an embodiment of the present disclosure.
  • FIG. 4 is a schematic flowchart of an image processing process according to an embodiment of the present disclosure.
  • FIG. 5 is a schematic structural diagram of an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of an image processing device according to an embodiment of the present disclosure.
  • the term “including” and variations thereof are open-ended inclusions, ie, "including but not limited to”.
  • the term “based on” is “based at least in part on.”
  • the term “one embodiment” means “at least one embodiment”; the term “another embodiment” means “at least one additional embodiment”; the term “some embodiments” means “at least some embodiments”. Relevant definitions of other terms will be given in the description below.
  • a user when making a video, a user first needs to perform a series of complex material editing operations on the material, and then perform video editing operations on the edited material to finally generate a video work. If the user is not good at material editing, it will not only increase the time cost of video production, but also cannot guarantee the quality of the video work, reducing the user experience.
  • embodiments of the present disclosure provide an image processing method, apparatus, device, and medium capable of automatically performing material editing on video materials.
  • the image processing method may be performed by an electronic device.
  • the electronic devices may include mobile phones, tablet computers, desktop computers, notebook computers, vehicle-mounted terminals, wearable electronic devices, all-in-one computers, smart home devices, and other devices with communication functions, and may also be virtual machines or devices simulated by simulators .
  • FIG. 1 shows a schematic flowchart of an image processing method provided by an embodiment of the present disclosure.
  • the image processing method includes the following steps.
  • the electronic device may perform motion analysis on the first recognized object in the initial video image based on the object detection method, and determine the motion state of the first recognized object.
  • the initial video image may be a video image in a video that has been captured.
  • the initial video image may be a video image stored locally by the electronic device, a video sent by other electronic devices, or a video image on the Internet, and the like.
  • the initial video image may be a video image captured by the electronic device in real time.
  • the virtual world and the real world can be combined on the screen based on the Augmented Reality (AR, Augmented Reality) technology to achieve The material editing of the video material to achieve the effect of interacting with the user.
  • AR Augmented Reality
  • the first identification object may be preset according to actual needs, which is not limited herein.
  • the first recognition object may include any one of a person, an animal, or a thing.
  • the motion state of the first recognition object may refer to the overall motion state of the person.
  • the first identification object may also include any body part.
  • the motion state of the first recognition object may refer to the motion state of the hand.
  • the motion type to which the motion state of the first identification object belongs may be preset according to actual needs, which is not limited herein.
  • the motion state of the first recognition object may include any one of the following: a movement state of the first recognition object along the target moving direction, a state of change in the posture of the first recognition object toward the target object, and a movement state of the first recognition object along the target movement direction.
  • the rotation state of the target rotation direction may include any one of the following: a movement state of the first recognition object along the target moving direction, a state of change in the posture of the first recognition object toward the target object, and a movement state of the first recognition object along the target movement direction.
  • the target moving direction may be preset according to actual needs, which is not limited herein.
  • the moving direction of the target may be the depth direction of any angle in the video image.
  • the moving direction of the target may also be a direction at any angle in the video image plane.
  • the movement state along the target movement direction may include the movement distance along the target movement direction.
  • the motion state of the first recognition object may be the movement distance of the hand along the depth direction of the vertical video image.
  • the gesture of the target object may be preset according to actual needs, which is not limited herein.
  • the gesture change state of the gesture toward the target object may include an amount of gesture change in the gesture towards the target object.
  • the motion state of the first recognition object may be a gesture change amount from the hand gesture to the open palm gesture.
  • the target rotation direction may be preset according to actual needs, which is not limited herein.
  • the target rotation direction may be clockwise or counterclockwise at any angle in the depth direction of the video image.
  • the target direction may also be a clockwise direction or a counterclockwise direction in the video image plane.
  • the rotational state in the target rotational direction may include a rotational angle in the target rotational direction.
  • the motion state of the first recognition object may be the rotation angle at which the hand rotates in the video image plane.
  • S120 Determine the motion state of the material object according to the motion state of the first identification object.
  • the electronic device may determine the motion state of the material object in the motion state of the first recognition object.
  • the motion state of the material object may be a state of change in the positional relationship of the material object relative to the second identification object.
  • the motion state of the material object may be preset according to actual needs, which is not limited here.
  • the motion state of the material object may include the change state of the angle between the target inclination direction and the second recognition object, the layer change state relative to the second recognition object, and the change state of the layer relative to the second recognition object in the image plane. At least one of position change status and the like.
  • the second identification object may be preset according to actual needs, which is not limited herein.
  • the second recognition object may be an image subject such as a person or an animal.
  • the target tilt direction may be preset according to actual needs, which is not limited herein.
  • the oblique direction of the target may be the depth direction of any angle in the video image.
  • the inclination direction of the target may also be a direction at any angle in the video image plane.
  • the state of the angle between the target inclination direction and the second recognition object may include an angle between the target inclination direction and the second recognition object.
  • the layer state relative to the second identified object may include a layer position relative to the second identified object.
  • the layer position relative to the second identified object may include the foreground or background of the second identified object.
  • the positional state relative to the second identification object in the image plane may include a relative distance relative to the second identification object in the image plane.
  • the material object may be preset according to actual needs, which is not limited herein.
  • a material object can be a scene decoration effect.
  • the material object can be a greeting card decoration effect.
  • the footage objects may include moving footage objects.
  • the motion state of the material object may be the motion state of the moving material object.
  • a moving footage object may include a moving greeting card border effect.
  • the motion state of the material object is the angle between the character and the greeting card frame effect during the inclination of the greeting card frame effect to the depth direction of the vertical video image, it will vary with With the movement of the first recognition object, the angle between the special effect of the greeting card frame and the character also changes, so that the effect of falling and standing up of the special effect of the frame of the greeting card can be realized.
  • the border effect can be changed by the character.
  • the foreground of the character can be switched to the background of the character, and the foreground of the character can also be switched from the background of the character to the foreground of the character.
  • the material objects may include moving material objects and fixed material objects.
  • the motion state of the material object may be the motion state of the moving material object.
  • the fixed material object is displayed in a fixed preset display state and has no motion state.
  • a moving material object may include a movable greeting card border feature
  • a fixed material object may include an immovable greeting card bottom frame special effect
  • the electronic device may also judge the motion state of the material object. If the motion state of the material object belongs to the first state, execute S130, if the motion state of the material object is in S130 If it belongs to the second state, execute S140.
  • the first state may indicate that the material object and the second recognition object in the initial video image satisfy the first positional relationship.
  • the first positional relationship may specifically be that the angle change value of the included angle falls within the first angle range, or the first relationship may be Specifically, the included angle angles all fall within the first angle range during the changing process.
  • the first positional relationship may specifically be that the included angle falls within an angle range of [0°, 45°] under the depth direction of the vertical video image.
  • the first positional relationship may specifically be that the material object is located in the foreground of the second identification object.
  • the first positional relationship may specifically be that the change value of the relative distance falls within the first distance range, or the relative distance falls within the range of the relative distance during the change process. into the first distance range.
  • the electronic device when the electronic device determines that the motion state of the material object belongs to the first state, the electronic device can obtain the first style video image corresponding to the initial video image, and then synthesize the material object and the first style video image according to the motion state of the material object, The first target video image corresponding to the first state is obtained.
  • the first style video image may be a video image with a first style obtained based on an initial video image, and the first style is a style corresponding to the first state.
  • the second state may indicate that the material object and the second recognition object in the initial video image satisfy the second positional relationship.
  • the second positional relationship may specifically be that the angle change value of the included angle falls within the second angle range, or the second relationship may be Specifically, the included angles all fall within the second angle range during the changing process.
  • the second positional relationship may specifically be that the included angle falls within an angle range of (45,90] under the depth direction of the vertical video image.
  • the second positional relationship may specifically be that the material object is located in the background of the second identification object.
  • the second positional relationship may specifically be that the change value of the relative distance falls within the second distance range, or the relative distance falls within the range of the relative distance during the change process. into the second distance range.
  • the electronic device when the electronic device determines that the motion state of the material object belongs to the second state, the electronic device can acquire the second style video image corresponding to the initial video image, and then synthesize the material object and the second style video image according to the motion state of the material object, A second target video image corresponding to the second state is obtained.
  • the second style video image may be a video image with a second style obtained based on the initial video image, and the second style is a style corresponding to the second state.
  • first style video image and the second style video image are different stylized images obtained based on the initial video image, that is, the first style is different from the second style.
  • the motion state of the first recognition object can be determined in the initial video image, and the motion state of the material object can be determined according to the motion state of the first recognition object, and then the motion state of the material object can be judged, If the motion state of the material object belongs to the first state, the material object and the first style video image are synthesized according to the motion state of the material object to obtain the first target video image; if the motion state of the material object belongs to the second state, The motion state of the object synthesizes the material object and the second style video image to obtain the second target video image. Therefore, the material editing of the initial video image as the video material can be performed automatically to obtain the edited composite image, without the need for the user to manually edit the material. Editing can reduce the time cost of video production, improve the quality of video works, and improve user experience.
  • S110 in order to accurately determine the motion state of the first recognition object, S110 may specifically include:
  • the display parameter variable of the first identification object is zero.
  • the reference video image adjacent to the initial video image can be obtained.
  • the electronic device may detect the first display parameter of the first recognition object in the initial video image and the second display parameter in the reference video image based on the object detection method, and then subtract the first display parameter from the first display parameter. Second, the display parameters are obtained, and the display parameter variables of the first identification object are obtained.
  • the parameter types of the first display parameter and the second display parameter may be the parameter types preset according to actual needs for calculating the motion state of the first identification object, which is not limited herein.
  • the above-mentioned display parameters may include the object posture of the first recognition object, the display size of the first recognition object, the display position of the first recognition object in the video image, and the distance of the first recognition object relative to the third recognition object. at least one of etc.
  • the third identification object may be a position reference object pre-selected according to actual needs, which is not limited herein.
  • the third recognition object may be the head.
  • the display parameter may be the display size of the hand
  • the first display parameter may be the first display size of the hand in the initial video image.
  • Display size the second display parameter can be the second display size of the hand in the reference video image, and then subtract the second display size from the first display size to obtain the display parameter variable of the first recognition object.
  • the electronic device may use the display parameter variable as the motion state of the first identification object.
  • the first display parameter as the first display size of the hand in the initial video image
  • the second display parameter as the hand in the reference video
  • the display parameter variable can be used as the moving distance of the hand approaching along the depth direction of the vertical video image
  • the display parameter variable can be The parameter variable is the moving distance that the hand moves away in the depth direction of the vertical video image.
  • the manners of acquiring style video images corresponding to the motion states of different material objects are different.
  • the first style video image may be an image obtained by performing style transfer processing on the initial video image.
  • the image processing method may further include:
  • the stylized face image and the stylized non-face image are synthesized into a first style video image.
  • the electronic device can perform face detection on the initial video image to obtain a face region image in the initial video image, and input the face region image into a pre-trained face stylization model to obtain a stylized face image.
  • the face stylization model may be a cartoon face conversion model
  • the electronic device may input a face region image into the cartoon face conversion model to obtain a cartoon style stylized face image.
  • the electronic device can use a preset background stylization algorithm to perform non-face stylization processing on the non-face area of the initial video image to obtain a stylized non-face image.
  • the background stylization algorithm may be an esoteric background conversion algorithm
  • the electronic device may use the esoteric background conversion algorithm to perform non-face stylization processing on the non-face area of the initial video image to obtain a comic-style stylized non-face image.
  • the electronic device can determine the relative position of the face region image in the initial video image, and stitch the stylized face image to the relative position of the stylized non-face image to obtain the first style video image.
  • synthesizing the material object and the first style video image according to the motion state of the material object in S130 to obtain the first target video image may specifically include:
  • the material object is superimposed on the first style video image in the motion state of the material object to obtain the first target video image.
  • the moving material object is directly superimposed with the motion state of the moving material object and the designated position of the first style video image to obtain the first target video image.
  • the moving material object is directly superimposed on the designated position of the video image of the first style in the motion state of the moving material object, and the fixed material object is displayed in a preset display state with the specified position of the video image of the first style.
  • the first style video images are superimposed to obtain a first target video image.
  • the second style video image may be an initial video image.
  • the image processing method may further include: taking the initial video image as the second style video image.
  • the electronic device may directly use the original video image as the second style video image, so that the second style video image is the original video image with the original image style.
  • synthesizing the material object and the second style video image according to the motion state of the material object in S140 to obtain the second target video image may specifically include:
  • the image and the background image are superimposed to obtain the second target video image.
  • the moving material object is directly superimposed with the motion state of the moving material object and the designated position of the second recognition object image and the background image to obtain the third person target video image.
  • the moving material object is directly superimposed on the designated position of the second recognition object image and the background image in the motion state of the moving material object, and the fixed material object is set to the preset position.
  • the display state is superimposed with the second recognition object image and the background image, thereby obtaining the second target video image.
  • the embodiment of the present disclosure further provides another image processing method, which will be described below with reference to FIG. 2 .
  • the image processing method may be performed by an electronic device.
  • the electronic devices may include mobile phones, tablet computers, desktop computers, notebook computers, vehicle-mounted terminals, wearable electronic devices, all-in-one computers, smart home devices, and other devices with communication functions, and may also be virtual machines or devices simulated by simulators .
  • FIG. 2 shows a schematic flowchart of another image processing method provided by an embodiment of the present disclosure.
  • the image processing method includes the following steps.
  • the electronic device may detect the object pose of the first recognized object in the initial video image based on the object detection method.
  • the initial video image has already been described in S110 shown in FIG. 1 , and details are not described here.
  • the electronic device may first judge the object posture of the first recognition object: if the object posture of the first recognition object is the target posture, then in the initial video image, determine the motion state of the first recognition object; Otherwise, the original video image is not processed.
  • the target posture may be preset according to actual needs, which is not limited herein.
  • the target object can be a hand
  • the target gesture can be a palm open gesture.
  • the specific method for determining the motion state of the first recognition object is similar to S110 shown in FIG. 1 , and details are not described here.
  • the electronic device may also judge the motion state of the material object. If the motion state of the material object belongs to the first state, S240 is executed. If it belongs to the second state, execute S250.
  • the first style video image and the second style video image may be different stylized images obtained based on the initial video image.
  • S230-S250 are similar to S120-S140 shown in FIG. 1 , and details are not described here.
  • the initial video image can be edited on the premise that the first recognition object is a designated gesture, which further improves the interestingness of the interaction.
  • the embodiment of the present disclosure further provides another image processing method, which will be described below with reference to FIG. 3 .
  • the image processing method may be performed by an electronic device.
  • the electronic devices may include mobile phones, tablet computers, desktop computers, notebook computers, vehicle-mounted terminals, wearable electronic devices, all-in-one computers, smart home devices, and other devices with communication functions, and may also be virtual machines or devices simulated by simulators .
  • FIG. 3 shows a schematic flowchart of still another image processing method provided by an embodiment of the present disclosure.
  • the image processing method includes the following steps.
  • S310 is similar to S110 shown in FIG. 1 , and details are not described here.
  • the electronic device may select a target template video image corresponding to the motion state of the first recognition object from among multiple template video images of the template video of the material object.
  • S320 may specifically include:
  • the target jump frame number is 0, and if the motion state of the first recognition object is not zero, the target jump frame number is 1.
  • the electronic device may be preset with a corresponding relationship between the motion state and the number of jumping frames, the number of jumping frames may be proportional to the motion state, and then determine the motion of the first recognition object according to the corresponding relationship The number of target jump frames corresponding to the state.
  • S322 Determine the target video frame number corresponding to the motion state of the first identification object according to the target jump frame number.
  • the initial video frame number may be the 0th frame.
  • the initial video frame number may be the video frame number corresponding to the reference video image adjacent to the initial video image.
  • the electronic device can determine the target video corresponding to the motion state of the first recognition object according to the initial video frame number, the movement direction of the first recognition object, that is, the change direction of the display parameter variable of the first recognition object and the target jump frame number. number of frames.
  • the electronic device can add the initial video frame number and the target jump frame number to obtain the target video frame number; when the display parameter variable of the first recognition object is a negative number In the case of , the electronic device may subtract the target jump frame number from the initial video frame number to obtain the target video frame number.
  • the processing of the initial video image is stopped.
  • the target template video image corresponding to the motion state of the first recognition object can be selected quickly and reliably.
  • a template video image includes material objects with one motion state, that is, the motion states of the material objects in different template video images are different, and the motion states of the material objects in each template video image may be Pre-set according to actual needs.
  • a specific method for determining the motion state of the material object according to the motion state of the first recognition object may be to use the motion state of the material object in the target template video image as the motion state of the material object.
  • S330 may specifically include:
  • the motion state of the material object under the target video frame number is taken as the motion state of the material object.
  • a template video image includes a material object with a motion state
  • the number of video frames corresponding to a template video image can also be used to indicate a motion state of the material object, that is, the number of video frames corresponding to a template video image is also It can be used to indicate the motion state of the material object in the corresponding template video image. Therefore, the electronic device can take the motion state of the material object under the target video frame number as the motion state of the material object.
  • the electronic device may also judge the motion state of the material object. If the motion state of the material object belongs to the first state, S340 is executed. If it belongs to the second state, execute S350.
  • the electronic device may determine whether the motion state of the material object belongs to the first state or the second state by judging the frame number range to which the target video frame number belongs.
  • the number of video frames corresponding to one template video image can be used to indicate the motion state of the material object in the corresponding template video image, it can be determined that the first frame of the template video image pair containing the material object belonging to the motion state of the first state is the first frame of the template video image pair.
  • the electronic device can determine the frame number range to which the target video frame number belongs, and when determining that the target video frame number belongs to the first frame number range, determine that the motion state of the material object belongs to the first state; When the number of video frames falls within the range of the second number of frames, it is determined that the motion state of the material object belongs to the second state.
  • the first style video image and the second style video image may be different stylized images obtained based on the initial video image.
  • S340-S250 are similar to S130-S140 shown in FIG. 1 , and details are not described here.
  • whether the motion state of the material object belongs to the first state or the second state can be directly determined by the number of video frames, without detecting the motion state of the material object, reducing the amount of data processing, and further The efficiency of material editing has been improved.
  • the following takes the template video of the material object as the greeting card falling animation template video, the material object is the greeting card, and the greeting card includes a movable greeting card border special effect and an immovable greeting card bottom frame
  • the image processing process provided by the embodiments of the present disclosure is described in detail by taking special effects as an example.
  • FIG. 4 shows a schematic flowchart of an image processing process provided by an embodiment of the present disclosure.
  • the image processing process may include the following steps.
  • the electronic device obtains a comic-style video image corresponding to the real-time captured image, and displays the special effect of the bottom frame of the greeting card, the special effect of the frame of the greeting card, and the cartoon.
  • the style video images are superimposed in order from the top to the bottom to obtain the effect video image;
  • the greeting card border special effect is the background of the character, the real-time captured image is divided into portrait and background images, and the bottom frame special effects of the greeting card, portrait, greeting card
  • the border special effect and the background image are superimposed in order from the top layer to the bottom layer to obtain the effect video image.
  • the image is collected in real time for each frame, and subsequent steps may be performed from S402 until the electronic device stops collecting images.
  • the electronic device may detect the user's hand gesture in the real-time captured image, and if the hand gesture is the palm open gesture, perform S404; otherwise, perform S403.
  • the electronic device can obtain the detection result of the hand posture in the previous frame of the captured image, and determine whether the user's hand in the previous frame of the captured image is in an open palm posture according to the detection result.
  • S405. Determine that the real-time captured image corresponds to the first frame template video image in the greeting card falling animation template video, and then execute S408.
  • S407 Determine the template video image corresponding to the real-time captured image according to the change in hand size, the positive and negative directions of the change in hand size, and the number of video frames corresponding to the captured image in the previous frame, and then execute S408.
  • the electronic device can obtain the target jump frame number corresponding to the hand size change, and then compare the video frame number corresponding to the captured image of the previous frame with the video frame number corresponding to the captured image.
  • the number of target jump frames is added to determine the number of playback frames of the animation template video of the greeting card falling down, so as to obtain the effect of the greeting card frame effect that the image captured in the previous frame is tilted backward; otherwise, the electronic device can match the captured image of the previous frame to the corresponding Subtract the number of video frames from the target jump frame number to determine the number of playback frames of the animation template video of the greeting card falling down, so as to obtain the effect of the greeting card border special effect rising forward for the image captured in the previous frame.
  • S408 Determine whether the playing frame number of the greeting card falling animation template video is higher than the frame number threshold, and if so, execute S409, otherwise, execute S411.
  • S409 Perform image segmentation on the real-time captured image to obtain a portrait and a background image in the real-time captured image, and then execute S410.
  • the image processing process shown in FIG. 4 can visually display the effect of the greeting card falling down or standing up through the face during the process of real-time video shooting by the user, and in the process of the greeting card falling down or standing up , which can realize the switching between comic effect and real effect, without the need for users to edit the material of the captured video material, it can automatically generate interesting videos with special effects, increase the interactive fun, and improve the user experience.
  • the embodiment of the present disclosure further provides an image processing apparatus capable of implementing the above-mentioned image processing method.
  • the following describes the image processing apparatus provided by the embodiment of the present disclosure with reference to FIG. 5 .
  • the image processing apparatus may be an electronic device.
  • the electronic devices may include mobile phones, tablet computers, desktop computers, notebook computers, vehicle-mounted terminals, wearable electronic devices, all-in-one computers, smart home devices, and other devices with communication functions, and may also be virtual machines or devices simulated by simulators .
  • FIG. 5 shows a schematic structural diagram of an image processing apparatus provided by an embodiment of the present disclosure.
  • the image processing apparatus 500 may include a first processing unit 510 , a second processing unit 520 , a first combining unit 530 and a second combining unit 540 .
  • the first processing unit 510 may be configured to determine the motion state of the first recognized object in the initial video image.
  • the second processing unit 520 may be configured to determine the motion state of the material object according to the motion state of the first recognized object.
  • the first synthesizing unit 530 may be configured to, if the motion state of the material object belongs to the first state, synthesize the material object and the first style video image according to the motion state of the material object to obtain the first target video image.
  • the second synthesizing unit 540 may be configured to, if the motion state of the material object belongs to the second state, synthesize the material object and the second style video image according to the motion state of the material object to obtain the second target video image.
  • the first style video image and the second style video image may be different stylized images obtained based on the initial video image.
  • the motion state of the first recognition object can be determined in the initial video image, and the motion state of the material object can be determined according to the motion state of the first recognition object, and then the motion state of the material object can be judged, If the motion state of the material object belongs to the first state, the material object and the first style video image are synthesized according to the motion state of the material object to obtain the first target video image; if the motion state of the material object belongs to the second state, The motion state of the object synthesizes the material object and the second style video image to obtain the second target video image. Therefore, the material editing of the initial video image as the video material can be performed automatically to obtain the edited composite image, without the need for the user to manually edit the material. Editing can reduce the time cost of video production, improve the quality of video works, and improve user experience.
  • the first state may indicate that the material object and the second identification object in the initial video image satisfy the first positional relationship
  • the second state may indicate that the material object and the second identification object in the initial video image satisfy the first positional relationship Two positional relationship.
  • the first style video image may be an image obtained by performing style transfer processing on an initial video image
  • the second style video image may be an initial video image
  • the motion state of the first recognition object may include any of the following:
  • the first identifies the rotation state of the object along the target rotation direction.
  • the first processing unit 510 may include a first sub-processing unit and a second sub-processing unit.
  • the first sub-processing unit may be configured to detect display parameter variables of the first identified object in the initial video image.
  • the second sub-processing unit may be configured to determine the motion state of the first recognition object according to the display parameter variable.
  • the image processing apparatus 500 may further include a third processing unit, and the third processing unit may be configured to detect the object pose of the first recognized object in the initial video image.
  • the first processing unit 510 may be further configured to determine, in the initial video image, the motion state of the first recognized object when the object pose of the first recognized object is the target pose.
  • the image processing apparatus 500 may further include a fourth processing unit, and the fourth processing unit may be configured to select a target template video corresponding to the motion state of the first recognized object in the template video of the material object image.
  • the second processing unit 520 may be further configured to take the motion state of the material object in the target template video image as the motion state of the material object.
  • the fourth processing unit may include a third sub-processing unit, a fourth sub-processing unit, and a fifth sub-processing unit.
  • the third sub-processing unit may be configured to determine the target jump frame number corresponding to the motion state of the first recognition object.
  • the fourth sub-processing unit may be configured to determine the target video frame number corresponding to the motion state of the first identification object according to the target jump frame number.
  • the fifth sub-processing unit may be configured to use the template video image corresponding to the target video frame number in the template video of the material object as the target template video image.
  • the second processing unit 520 may be further configured to use the motion state of the material object under the target video frame number as the motion state of the material object.
  • the material object includes a moving material object and a fixed material object
  • the motion state of the material object is the motion state of the moving material object
  • the image processing apparatus 500 shown in FIG. 5 may perform various steps in the method embodiments shown in FIG. 1 to FIG. 4 , and implement each process and The effect will not be repeated here.
  • Embodiments of the present disclosure also provide an image processing device, the image processing device may include a processor and a memory, and the memory may be used to store executable instructions.
  • the processor may be configured to read executable instructions from the memory, and execute the executable instructions to implement the image processing method in the above embodiments.
  • FIG. 6 shows a schematic structural diagram of an image processing device provided by an embodiment of the present disclosure. Referring specifically to FIG. 6 below, it shows a schematic structural diagram of an image processing apparatus 600 suitable for implementing an embodiment of the present disclosure.
  • the image processing device 600 in the embodiment of the present disclosure may be an electronic device.
  • the electronic equipment may include, but not limited to, such as mobile phones, notebook computers, digital broadcast receivers, PDAs (Personal Digital Assistants), PADs (Tablet Computers), PMPs (Portable Multimedia Players), in-vehicle terminals (such as in-vehicle navigation terminals) , wearable devices, etc., as well as stationary terminals such as digital TVs, desktop computers, smart home devices, and the like.
  • image processing apparatus 600 shown in FIG. 6 is only an example, and should not impose any limitations on the functions and scope of use of the embodiments of the present disclosure.
  • the image processing apparatus 600 may include a processing device (eg, a central processing unit, a graphics processor, etc.) 601 , which may be loaded from a storage device 608 according to a program stored in a read-only memory (ROM) 602 or from a storage device 608 .
  • a program in a random access memory (RAM) 603 executes various appropriate actions and processes.
  • various programs and data necessary for the operation of the image processing apparatus 600 are also stored.
  • the processing device 601, the ROM 602, and the RAM 603 are connected to each other through a bus 604.
  • An input/output (I/O) interface 605 is also connected to bus 604 .
  • the following devices can be connected to the I/O interface 605: input devices 606 including, for example, a touch screen, touchpad, keyboard, mouse, camera, microphone, accelerometer, gyroscope, etc.; including, for example, a liquid crystal display (LCD), speakers, vibration An output device 607 of a computer, etc.; a storage device 608 including, for example, a magnetic tape, a hard disk, etc.; and a communication device 609.
  • the communication means 609 may allow the image processing apparatus 600 to communicate wirelessly or wiredly with other apparatuses to exchange data.
  • FIG. 6 shows an image processing apparatus 600 having various means, it should be understood that not all of the illustrated means are required to be implemented or provided. More or fewer devices may alternatively be implemented or provided.
  • Embodiments of the present disclosure also provide a computer-readable storage medium, where a computer program is stored in the storage medium, and when the computer program is executed by a processor, the processor enables the processor to implement the image processing method in the foregoing embodiments.
  • Embodiments of the present disclosure also provide a computer program product, where the computer program product may include a computer program, which, when executed by a processor, causes the processor to implement the image processing method in the foregoing embodiments.
  • embodiments of the present disclosure include a computer program product comprising a computer program carried on a non-transitory computer readable medium, the computer program containing program code for performing the method illustrated in the flowchart.
  • the computer program may be downloaded and installed from the network via the communication device 609, or from the storage device 608, or from the ROM 602.
  • the processing apparatus 601 the above-mentioned functions defined in the image processing method of the embodiment of the present disclosure are executed.
  • the computer-readable medium mentioned above in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium, or any combination of the above two.
  • the computer-readable storage medium can be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or a combination of any of the above. More specific examples of computer readable storage media may include, but are not limited to, electrical connections with one or more wires, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable read only memory (EPROM or flash memory), fiber optics, portable compact disk read only memory (CD-ROM), optical storage devices, magnetic storage devices, or any suitable combination of the foregoing.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave with computer-readable program code embodied thereon. Such propagated data signals may take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a computer-readable signal medium can also be any computer-readable medium other than a computer-readable storage medium that can transmit, propagate, or transport the program for use by or in connection with the instruction execution system, apparatus, or device .
  • Program code embodied on a computer readable medium may be transmitted using any suitable medium including, but not limited to, electrical wire, optical fiber cable, RF (radio frequency), etc., or any suitable combination of the foregoing.
  • clients, servers can communicate using any currently known or future developed network protocol, such as HTTP, and can be interconnected with any form or medium of digital data communication (eg, a communication network).
  • a communication network examples include local area networks (“LAN”), wide area networks (“WAN”), the Internet (eg, the Internet), and peer-to-peer networks (eg, adhoc peer-to-peer networks), as well as any currently known or future developed network.
  • LAN local area networks
  • WAN wide area networks
  • the Internet eg, the Internet
  • peer-to-peer networks eg, adhoc peer-to-peer networks
  • the above-mentioned computer-readable medium may be included in the above-mentioned image processing apparatus; or may exist alone without being incorporated into the image processing apparatus.
  • the above-mentioned computer-readable medium carries one or more programs, and when the above-mentioned one or more programs are executed by the image processing device, the image processing device is made to execute:
  • the motion state of the first recognition object is determined; according to the motion state of the first recognition object, the motion state of the material object is determined; if the motion state of the material object belongs to the first state, the material object is classified according to the motion state of the material object
  • the object and the first style video image are synthesized to obtain the first target video image; if the motion state of the material object belongs to the second state, the material object and the second style video image are synthesized according to the motion state of the material object to obtain the second target video image ; wherein, the first style video image and the second style video image are different stylized images obtained based on the initial video image.
  • computer program code for performing operations of the present disclosure may be written in one or more programming languages, including but not limited to object-oriented programming languages—such as Java, Smalltalk, C++, and also conventional procedural programming languages - such as the "C" language or similar programming languages.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server.
  • the remote computer may be connected to the user's computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (eg, using an Internet service provider through Internet connection).
  • LAN local area network
  • WAN wide area network
  • each block in the flowchart or block diagrams may represent a module, segment, or portion of code that contains one or more logical functions for implementing the specified functions executable instructions.
  • the functions noted in the blocks may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented in dedicated hardware-based systems that perform the specified functions or operations , or can be implemented in a combination of dedicated hardware and computer instructions.
  • the units involved in the embodiments of the present disclosure may be implemented in a software manner, and may also be implemented in a hardware manner. Among them, the name of the unit does not constitute a limitation of the unit itself under certain circumstances.
  • exemplary types of hardware logic components include: Field Programmable Gate Arrays (FPGAs), Application Specific Integrated Circuits (ASICs), Application Specific Standard Products (ASSPs), Systems on Chips (SOCs), Complex Programmable Logical Devices (CPLDs) and more.
  • FPGAs Field Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • ASSPs Application Specific Standard Products
  • SOCs Systems on Chips
  • CPLDs Complex Programmable Logical Devices
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with the instruction execution system, apparatus or device.
  • the machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any suitable combination of the foregoing.
  • machine-readable storage media would include one or more wire-based electrical connections, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), fiber optics, compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • CD-ROM compact disk read only memory
  • magnetic storage or any suitable combination of the foregoing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

一种图像处理方法、装置、设备及介质，其中，图像处理方法包括：在初始视频图像中，确定第一识别对象的运动状态（S110）；根据第一识别对象的运动状态，确定素材对象的运动状态（S120）；若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像（S130）；若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像（S140）；其中，第一风格视频图像和第二风格视频图像是基于初始视频图像得到的不同风格的图像。能够自动对视频素材进行素材编辑得到合成图像，减少制作视频的时间成本，提高视频作品的质量，以及提升用户的体验。

Description

图像处理方法、装置、设备及介质
本申请要求于2021年02月09日提交中国国家知识产权局、申请号为202110180571.8、申请名称为“图像处理方法、装置、设备及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及多媒体技术领域，尤其涉及一种图像处理方法、装置、设备及介质、程序产品。
背景技术
随着计算机技术和移动通信技术的迅速发展，基于电子设备的各种视频平台得到了普遍应用，极大地丰富了人们的日常生活。越来越多的用户乐于在视频平台上分享自己的视频作品，以供其他用户观看。
在制作视频时，用户首先需要对素材进行一些列复杂的素材编辑操作，然后对编辑后的素材进行视频剪辑操作，最终生成一个视频作品。如果用户不善于素材编辑，不但会使制作视频的时间成本较高，还无法保证视频作品的质量，降低了用户的体验。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法、装置、设备、介质及计算机程序产品。
第一方面，本公开提供了一种图像处理方法，包括：
在初始视频图像中，确定第一识别对象的运动状态；
根据第一识别对象的运动状态，确定素材对象的运动状态；
若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像；
若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像；
其中，第一风格视频图像和第二风格视频图像是基于初始视频图像得到的不同风格化的图像。
第二方面，本公开提供了一种图像处理装置，包括：
第一处理单元，配置为在初始视频图像中，确定第一识别对象的运动状态；
第二处理单元，配置为根据第一识别对象的运动状态，确定素材对象的运动状态；
第一合成单元，配置为若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图 像；
第二合成单元，配置为若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像；
其中，第一风格视频图像和第二风格视频图像是基于初始视频图像得到的不同风格化的图像。
第三方面，本公开提供了一种图像处理设备，包括：
处理器；
存储器，用于存储可执行指令；
其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面所述的图像处理方法。
第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面所述的图像处理方法。
第五方面，本公开提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述第一方面所述的图像处理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例的图像处理方法、装置、设备及介质，能够在初始视频图像中，确定第一识别对象的运动状态，并且根据第一识别对象的运动状态，确定素材对象的运动状态，然后对素材对象的运动状态进行判断，若素材对象的运动状态属于第一状态，则按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像，若素材对象的运动状态属于第二状态，则按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像，因此，可以自动对作为视频素材的初始视频图像进行素材编辑，得到编辑后的合成图像，无需用户手动进行素材编辑，从而可以减少制作视频的时间成本，提高视频作品的质量，以提升用户的体验。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种图像处理方法的流程示意图；
图2为本公开实施例提供的另一种图像处理方法的流程示意图；
图3为本公开实施例提供的又一种图像处理方法的流程示意图；
图4为本公开实施例提供的一种图像处理过程的流程示意图；
图5为本公开实施例提供的一种图像处理装置的结构示意图；
图6为本公开实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
目前，在制作视频时，用户首先需要对素材进行一些列复杂的素材编辑操作，然后对编辑后的素材进行视频剪辑操作，最终生成一个视频作品。如果用户不善于素材编辑，不但会使制作视频的时间成本较高，还无法保证视频作品的质量，降低了用户的体验。
为了解决上述的问题，本公开实施例提供了一种能够自动对视频素材进行素材编辑的图像处理方法、装置、设备及介质。
下面首先参考图1对本公开实施例提供的一种图像处理方法进行说明。
在本公开一些实施例中，该图像处理方法可以由电子设备执行。其中，电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴电子设备、一体机、智能家居设备等具有通信功能的设备，也可以是虚拟机或者模拟器模拟的设备。
图1示出了本公开实施例提供的一种图像处理方法的流程示意图。
如图1所示，该图像处理方法包括如下步骤。
S110、在初始视频图像中，确定第一识别对象的运动状态。
在本公开实施例中，电子设备可以在获取初始视频图像之后，基于对象检测方法，对初始视频图像中的第一识别对象进行运动分析，并确定第一识别对象的运动状态。
在一些实施例中，初始视频图像可以为已经拍摄完成的视频中的视频图像。例如，初始视频图像可以为电子设备本地存储的视频、其他电子设备发送的视频或者互联网上的视频等中的视频图像。
在另一些实施例中，初始视频图像可以为电子设备实时拍摄的视频图像。
可选地，在本公开实施例中，在初始视频图像为电子设备实时拍摄的视频图像的情况下，可以基于增强现实(AR，Augmented Reality)技术在屏幕上将虚拟世界和现实世界结合，实现对视频素材的素材编辑，以达到与用户进行互动的效果。
在本公开实施例中，第一识别对象可以根据实际需要预先设定，在此不作限制。
在一些实施例中，第一识别对象可以包括人物、动物或事物中的任意一种。
以第一识别对象为人物为例，第一识别对象的运动状态可以指人物的整体运动状态。
在另一些实施例中，第一识别对象也可以包括任意的身体部位。
以第一识别对象为手部为例，第一识别对象的运动状态可以指手部的运动状态。
在本公开实施例中，第一识别对象的运动状态所属的运动类型可以根据实际需要预先设定，在此不作限制。
可选地，第一识别对象的运动状态可以包括下列中的任一项：第一识别对象沿目标移动方向的移动状态、第一识别对象向目标对象姿态的姿态变化状态、第一识别对象沿目标旋转方向的旋转状态。
在一些实施例中，目标移动方向可以根据实际需要预先设定，在此不作限制。例如，目标移动方向可以为视频图像内任意角度的深度方向。再例如，目标移动方向也可以为视频图像平面内任意角度的方向。
在这些实施例中，沿目标移动方向的移动状态可以包括沿目标移动方向的移动距离。
在目标对象为手部、目标移动方向为垂直视频图像的深度方向的情况下，第一识别对象的运动状态可以为手部沿垂直视频图像的深度方向上的移动距离。
在另一些实施例中，目标对象姿态可以根据实际需要预先设定，在此不作限制。
在这些实施例中，向目标对象姿态的姿态变化状态可以包括向目标对象姿态的姿态变化量。
在目标对象为手部、目标对象姿态为手掌张开姿态的情况下，第一识别对象的运动状态可以为手部姿态向手掌张开姿态的姿态变化量。
在又一些实施例中，目标旋转方向可以根据实际需要预先设定，在此不作限制。
例如，目标旋转方向可以为在视频图像的深度方向上的任意角度下的顺时针方向或逆时针方向。再例如，目标方向也可以为在视频图像平面内的顺时针方向或逆时针方向。
在这些实施例中，沿目标旋转方向的旋转状态可以包括沿目标旋转方向的旋转角度。
在目标对象为手部、目标旋转方向为在视频图像平面内的顺时针方向的情况下，第一识别对象的运动状态可以为手部在视频图像平面内旋转的旋转角度。
S120、根据第一识别对象的运动状态，确定素材对象的运动状态。
在本公开实施例中，电子设备可以在确定第一识别对象的运动状态之后，确定在第一识别对象的运动状态下的素材对象的运动状态。
在本公开实施例中，素材对象的运动状态可以为素材对象相对于第二识别对象的位置关系变化状态。
其中，素材对象的运动状态可以根据实际需要预先设定，在此不作限制。例如，素材对象的运动状态可以包括在目标倾斜方向下与第二识别对象之间的夹角变化状态、相对于第二识别对象的图层变化状态以及在图像平面内相对于第二识别对象的位置变化状态等中的至少一种。
其中，第二识别对象可以根据实际需要预先设定，在此不作限制。例如第二识别对象可以为图像主体如人物或动物。
在一些实施例中，目标倾斜方向可以根据实际需要预先设定，在此不作限制。例如，目标倾斜方向可以为视频图像内任意角度的深度方向。再例如，目标倾斜方向也可以为视频图像平面内任意角度的方向。
在这些实施例中，在目标倾斜方向下与第二识别对象之间的夹角状态可以包括在目标倾斜方向下与第二识别对象之间的夹角角度。
在另一些实施例中，相对于第二识别对象的图层状态可以包括相对于第二识别对象的图层位置。
例如，相对于第二识别对象的图层位置可以包括第二识别对象的前景或后景。
在又一些实施例中，在图像平面内相对于第二识别对象的位置状态可以包括在图像平面内相对于第二识别对象的相对距离。
在本公开实施例中，素材对象可以根据实际需要预先设定，在此不作限制。
例如，素材对象可以为场景装饰物特效。再例如，素材对象可以为贺卡 装饰物特效。
在一些实施例中，素材对象可以包括运动素材对象。此时，素材对象的运动状态可以为运动素材对象的运动状态。
例如，运动素材对象可以包括可运动的贺卡边框特效。
以运动素材对象为贺卡边框特效、第二识别对象为人物为例，若素材对象的运动状态为在贺卡边框特效向垂直视频图像的深度方向倾斜的过程中与人物之间的夹角角度，随着第一识别对象的运动，贺卡边框特效与人物之间的夹角角度也随之改变，可以实现贺卡边框特效的倒下和立起效果。
以运动素材对象为贺卡边框特效、第二识别对象为人物为例，若素材对象的运动状态为相对于第二识别对象的图层位置，随着第一识别对象的运动，边框特效可以由人物的前景切换为人物的后景，也可以由人物的后景切换为人物的前景。
在另一些实施例中，为了进一步提高编辑后的视频素材的美观性，素材对象可以包括运动素材对象和固定素材对象。此时，素材对象的运动状态可以为运动素材对象的运动状态。而固定素材对象则以固定的预设显示状态进行显示，不具有运动状态。
例如，运动素材对象可以包括可运动的贺卡边框特性，固定素材对象可以包括不可运动的贺卡底框特效。
在本公开实施例中，电子设备在确定素材对象的运动状态之后，还可以对素材对象的运动状态进行判断，若素材对象的运动状态属于第一状态，则执行S130，若素材对象的运动状态属于第二状态，则执行S140。
S130、若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像。
在本公开实施例中，第一状态可以表示素材对象与初始视频图像中的第二识别对象满足第一位置关系。
在素材对象的运动状态为在目标倾斜方向下与第二识别对象之间存在夹角的情况下，第一位置关系可以具体为夹角角度变化值落入第一角度范围，或者第一关系可以具体为变化过程中夹角角度均落入第一角度范围内。
以目标倾斜方向为垂直视频图像的深度方向为例，第一位置关系可以具体为夹角角度落入在垂直视频图像的深度方向下的[0°,45°]角度范围内。
在素材对象的运动状态为相对于第二识别对象的图层位置的情况下，第一位置关系可以具体为素材对象位于第二识别对象的前景。
在素材对象的运动状态为在图像平面内相对于第二识别对象存在距离的情况下，第一位置关系可以具体为相对距离的变化值落入第一距离范围，或者变化过程中相对距离均落入第一距离范围。
因此，电子设备在确定素材对象的运动状态属于第一状态的情况下，可以获取初始视频图像对应的第一风格视频图像，进而按照素材对象的运动状 态将素材对象和第一风格视频图像合成，得到第一状态对应的第一目标视频图像。
在本公开实施例中，第一风格视频图像可以为基于初始视频图像得到的具有第一风格的视频图像，第一风格为第一状态对应的风格。
S140、若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像。
在本公开实施例中，第二状态可以表示素材对象与初始视频图像中的第二识别对象满足第二位置关系。
在素材对象的运动状态为在目标倾斜方向下与第二识别对象之间存在夹角的情况下，第二位置关系可以具体为夹角角度变化值落入第二角度范围，或者第二关系可以具体为变化过程中夹角角度均落入第二角度范围内。
以目标倾斜方向为垂直视频图像的深度方向为例，第二位置关系可以具体为夹角角度落入在垂直视频图像的深度方向下的(45,90]角度范围内。
在素材对象的运动状态为相对于第二识别对象的图层位置的情况下，第二位置关系可以具体为素材对象位于第二识别对象的背景。
在素材对象的运动状态为在图像平面内相对于第二识别对象存在距离的情况下，第二位置关系可以具体为相对距离的变化值落入第二距离范围，或者变化过程中相对距离均落入第二距离范围。
因此，电子设备在确定素材对象的运动状态属于第二状态的情况下，可以获取初始视频图像对应的第二风格视频图像，进而按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二状态对应的第二目标视频图像。
在本公开实施例中，第二风格视频图像可以为基于初始视频图像得到的具有第二风格的视频图像，第二风格为第二状态对应的风格。
进一步地，第一风格视频图像和第二风格视频图像是基于初始视频图像得到的不同风格化的图像，即第一风格与第二风格不同。
在本公开实施例中，能够在初始视频图像中，确定第一识别对象的运动状态，并且根据第一识别对象的运动状态，确定素材对象的运动状态，然后对素材对象的运动状态进行判断，若素材对象的运动状态属于第一状态，则按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像，若素材对象的运动状态属于第二状态，则按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像，因此，可以自动对作为视频素材的初始视频图像进行素材编辑，得到编辑后的合成图像，无需用户手动进行素材编辑，从而可以减少制作视频的时间成本，提高视频作品的质量，以提升用户的体验。
在本公开一种实施方式中，为了准确地确定第一识别对象的运动状态，S110可以具体包括：
S111、在初始视频图像中，检测第一识别对象的显示参数变量。
在初始视频图像为首帧视频图像的情况下，可以确定第一识别对象的显示参数变量为零。
在初始视频图像为非首帧视频图像的情况下，可以获取与初始视频图像前相邻的参考视频图像。
在这种情况下，电子设备可以基于对象检测方法，检测第一识别对象在初始视频图像中的第一显示参数和在参考视频图像中的第二显示参数，然后将第一显示参数减去第二显示参数，得到第一识别对象的显示参数变量。
其中，第一显示参数和第二显示参数的参数类型可以为根据实际需要预先设定的用于计算第一识别对象的运动状态的参数类型，在此不作限制。
可选地，上述的显示参数可以包括第一识别对象的对象姿态、第一识别对象的显示尺寸、第一识别对象在视频图像中的显示位置和第一识别对象相对于第三识别对象的距离等中的至少一项。
其中，第三识别对象可以为根据实际需要预先选择的位置参考对象，在此不做限制。例如第一识别对象为手部时，第三识别对象可以为头部。
以第一识别对象的运动状态为手部沿垂直视频图像的深度方向的移动距离为例，显示参数可以为手部的显示尺寸，第一显示参数可以为手部在初始视频图像中的第一显示尺寸，第二显示参数可以为手部在参考视频图像中的第二显示尺寸，然后将第一显示尺寸减去第二显示尺寸，得到第一识别对象的显示参数变量。
S112、根据显示参数变量，确定第一识别对象的运动状态。
在本公开实施例中，电子设备可以将显示参数变量作为第一识别对象的运动状态。
以第一识别对象的运动状态为手部沿垂直视频图像的深度方向的移动距离、第一显示参数为手部在初始视频图像中的第一显示尺寸、第二显示参数为手部在参考视频图像中的第二显示尺寸为例，若显示参数变量大于或等于零，则可以将显示参数变量作为手部沿垂直视频图像的深度方向靠近的移动距离，若显示参数变量小于零，则可以将显示参数变量作为手部沿垂直视频图像的深度方向远离的移动距离。
由此，在本公开实施例中，可以通过检测第一识别对象初始视频图像中的显示参数变量，对第一识别对象进行可靠地运动分析，进而确定第一识别对象的运动状态。
在本公开另一种实施方式中，不同素材对象的运动状态对应的风格视频图像的获取方式不同。
在本公开一些实施例中，第一风格视频图像可以为初始视频图像经过风格迁移处理得到的图像。
进一步地，在S130之前，该图像处理方法还可以包括：
对初始视频图像进行人脸风格化处理，得到风格化人脸图像；
对初始视频图像进行非人脸风格化处理，得到风格化非人脸图像；
将风格化人脸图像和风格化非人脸图像合成为第一风格视频图像。
首先，电子设备可以对初始视频图像进行人脸检测，得到初始视频图像中的人脸区域图像，并将人脸区域图像输入预先训练得到的人脸风格化模型，得到风格化人脸图像。
例如，人脸风格化模型可以为漫画人脸转换模型，电子设备可以将人脸区域图像输入漫画人脸转换模型，得到漫画风格的风格化人脸图像。
然后，电子设备可以利用预设的背景风格化算法，对初始视频图像的非人脸区域进行非人脸风格化处理，得到风格化非人脸图像。
例如，背景风格化算法可以为奥义背景转换算法，电子设备可以利用奥义背景转换算法对初始视频图像的非人脸区域进行非人脸风格化处理，得到漫画风格的风格化非人脸图像。
最后，电子设备可以确定人脸区域图像在初始视频图像中的相对位置，将风格化人脸图像拼接至风格化非人脸图像的相对位置上，得到第一风格视频图像。
在这些实施例中，可选地，S130中的按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像可以具体包括：
将素材对象以素材对象的运动状态与第一风格视频图像进行叠加，得到第一目标视频图像。
在素材对象包括运动素材对象的情况下，直接将运动素材对象以运动素材对象的运动状态与第一风格视频图像的指定位置进行叠加，得到第一目标视频图像。
在素材对象包括运动素材对象和固定素材对象的情况下，直接将运动素材对象以运动素材对象的运动状态与第一风格视频图像的指定位置进行叠加，并且将固定素材对象以预设显示状态与第一风格视频图像进行叠加，进而得到第一目标视频图像。
在本公开另一些实施例中，第二风格视频图像可以为初始视频图像。
进一步地，在S140之前，该图像处理方法还可以包括：将初始视频图像作为第二风格视频图像。
具体地，电子设备可以直接将初始视频图像作为第二风格视频图像，使得第二风格视频图像为具有原始图像风格的初始视频图像。
由此，在本公开实施例中，可以通过不同的风格化处理方式，得到初始视频图像对应的不同风格的风格视频图像，进一步提高互动趣味性。
在这些实施例中，可选地，S140中的按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像可以具体包括：
首先对第二风格视频图像进行图像分割，得到第二风格视频图像中的第 二识别对象图像和第二识别对象图像以外的背景图像，然后将素材对象以素材对象的运动状态与第二识别对象图像和背景图像进行叠加，得到第二目标视频图像。
在素材对象包括运动素材对象的情况下，直接将运动素材对象以运动素材对象的运动状态与第二识别对象图像和背景图像的指定位置进行叠加，得到第人目标视频图像。
在素材对象包括运动素材对象和固定素材对象的情况下，直接将运动素材对象以运动素材对象的运动状态与第二识别对象图像和背景图像的指定位置进行叠加，并且将固定素材对象以预设显示状态与第二识别对象图像和背景图像进行叠加，进而得到第二目标视频图像。
为了提高互动趣味性，本公开实施例还提供了另一种图像处理方法，下面将参考图2进行说明。
在本公开一些实施例中，该图像处理方法可以由电子设备执行。其中，电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴电子设备、一体机、智能家居设备等具有通信功能的设备，也可以是虚拟机或者模拟器模拟的设备。
图2示出了本公开实施例提供的另一种图像处理方法的流程示意图。
如图2所示，该图像处理方法包括如下步骤。
S210、在初始视频图像中，检测第一识别对象的对象姿态。
在本公开实施例中，电子设备可以在获取初始视频图像之后，基于对象检测方法，检测第一识别对象在初始视频图像中的对象姿态。
其中，初始视频图像已在图1所示的S110中说明，在此不做赘述。
S220、在第一识别对象的对象姿态为目标姿态的情况下，在初始视频图像中，确定第一识别对象的运动状态。
在本公开实施例中，电子设备可以首先对第一识别对象的对象姿态进行判断：如果第一识别对象的对象姿态为目标姿态，则在初始视频图像中，确定第一识别对象的运动状态；否则，不对初始视频图像进行处理。
在本公开实施例中，目标姿态可以根据实际需要预先设定，在此不作限制。例如，目标对象可以为手部，目标姿态可以为手掌张开姿态。
其中，确定第一识别对象的运动状态的具体方法与图1所示的S110相似，在此不做赘述。
S230、根据第一识别对象的运动状态，确定素材对象的运动状态。
在本公开实施例中，电子设备在确定素材对象的运动状态之后，还可以对素材对象的运动状态进行判断，若素材对象的运动状态属于第一状态，则执行S240，若素材对象的运动状态属于第二状态，则执行S250。
S240、若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像。
S250、若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像。
其中，第一风格视频图像和第二风格视频图像可以是基于初始视频图像得到的不同风格化的图像。
其中，S230-S250与图1所示的S120-S140相似，在此不做赘述。
由此，在本公开实施例中，可以在第一识别对象为指定的姿态的前提下，对初始视频图像进行编辑，进一步提高了互动趣味性。
为了提高素材编辑效率，本公开实施例还提供了又一种图像处理方法，下面将参考图3进行说明。
在本公开一些实施例中，该图像处理方法可以由电子设备执行。其中，电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴电子设备、一体机、智能家居设备等具有通信功能的设备，也可以是虚拟机或者模拟器模拟的设备。
图3示出了本公开实施例提供的又一种图像处理方法的流程示意图。
如图3所示，该图像处理方法包括如下步骤。
S310、在初始视频图像中，确定第一识别对象的运动状态。
其中，S310与图1所示的S110相似，在此不做赘述。
S320、在素材对象的模板视频中，选择第一识别对象的运动状态对应的目标模板视频图像。
在本公开实施例中，电子设备可以在确定第一识别对象的运动状态之后，在素材对象的模板视频的多个模板视频图像中，选择第一识别对象的运动状态对应的目标模板视频图像。
可选地，S320可以具体包括：
S321、确定第一识别对象的运动状态对应的目标跳转帧数。
在一些实施例中，如果第一识别对象的运动状态为零，则目标跳转帧数为0，如果第一识别对象的运动状态不为零，则目标跳转帧数为1。
在另一些实施例中，电子设备可以预先设置有运动状态与跳转帧数之间的对应关系，跳转帧数可以与运动状态成正比，进而根据该对应关系，确定第一识别对象的运动状态对应的目标跳转帧数。
S322、根据目标跳转帧数，确定第一识别对象的运动状态对应的目标视频帧数。
在初始视频图像为首帧视频图像的情况下，初始视频帧数可以为第0帧。
在初始视频图像为非首帧视频图像的情况下，初始视频帧数可以为与初始视频图像前相邻的参考视频图像对应的视频帧数。
进一步地，电子设备可以根据初始视频帧数、第一识别对象的运动方向即第一识别对象的显示参数变量的变化方向和目标跳转帧数，确定第一识别对象的运动状态对应的目标视频帧数。
在第一识别对象的显示参数变量为正数的情况下，电子设备可以将初始视频帧数与目标跳转帧数相加，得到目标视频帧数；在第一识别对象的显示参数变量为负数的情况下，电子设备可以将初始视频帧数减去目标跳转帧数，得到目标视频帧数。
进一步地，在目标跳转帧数为负数的情况下，停止对初始视频图像进行处理。
S323、将素材对象的模板视频中的目标视频帧数对应的模板视频图像作为目标模板视频图像。
由此，在本公开实施例中，可以快速、可靠地选择第一识别对象的运动状态对应的目标模板视频图像。
S330、将素材对象在目标模板视频图像中的运动状态作为素材对象的运动状态。
在本公开实施例中，一个模板视频图像包括具有一种运动状态的素材对象，即素材对象在不同的模板视频图像中的运动状态不同，并且素材对象在每个模板视频图像中的运动状态可以根据实际需要预先设定。
因此，根据第一识别对象的运动状态确定素材对象的运动状态的具体方法可以为将素材对象在目标模板视频图像中的运动状态作为素材对象的运动状态。
可选地，S330可以具体包括：
将素材对象在目标视频帧数下的运动状态作为素材对象的运动状态。
由于一个模板视频图像包括具有一种运动状态的素材对象，因此，一个模板视频图像对应的视频帧数也可以用于指示素材对象的一种运动状态，即一个模板视频图像对应的视频帧数也可以用于指示素材对象在对应模板视频图像中的运动状态，因此，电子设备可以将素材对象在目标视频帧数下的运动状态作为素材对象的运动状态。
在本公开实施例中，电子设备在确定素材对象的运动状态之后，还可以对素材对象的运动状态进行判断，若素材对象的运动状态属于第一状态，则执行S340，若素材对象的运动状态属于第二状态，则执行S350。
可选地，电子设备可以通过判断目标视频帧数所属的帧数范围，来确定素材对象的运动状态是属于第一状态，还是属于第二状态。
由于一个模板视频图像对应的视频帧数可以用于指示素材对象在对应模板视频图像中的运动状态，因此，可以确定包含属于第一状态的运动状态的素材对象的模板视频图像对的第一帧数范围和包含属于第二状态的运动状态的素材对象的模板视频图像对的第二帧数范围。
具体地，电子设备可以对目标视频帧数所属的帧数范围进行判断，并且在确定目标视频帧数属于第一帧数范围的情况下，确定素材对象的运动状态属于第一状态；在确定目标视频帧数属于第二帧数范围的情况下，确定素材 对象的运动状态属于第二状态。
S340、若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像。
S350、若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像。
其中，第一风格视频图像和第二风格视频图像可以是基于初始视频图像得到的不同风格化的图像。
其中，S340-S250与图1所示的S130-S140相似，在此不做赘述。
由此，在本公开实施例中，可以直接通过视频帧数确定素材对象的运动状态是属于第一状态还是第二状态，无需对素材对象的运动状态进行检测，减小了数据处理量，进而提高了素材编辑效率。
为了更清楚地说明本公开实施例提供的图像处理方法，下面以素材对象的模板视频为贺卡倒下动画模板视频、素材对象为贺卡、贺卡包括可运动的贺卡边框特效和不可运动的贺卡底框特效为例对本公开实施例提供的图像处理过程进行详细说明。
图4示出了本公开实施例提供的一种图像处理过程的流程示意图。
如图4所示，该图像处理过程可以包括如下步骤。
S401、在拍摄预览画面内，播放贺卡倒下动画的效果视频，其中，效果视频中的每一帧效果视频图像中均显示有效果控制引导信息，该效果控制引导信息可以用于引导用户张手并且前后推动手掌。
其中，电子设备在播放贺卡倒下动画的效果视频的过程中，若贺卡边框特效为人物的前景，则获取实时拍摄图像对应的漫画风格视频图像，并将贺卡底框特效、贺卡边框特效和漫画风格视频图像按照由顶层至底层的顺序依次叠加，得到效果视频图像；若贺卡边框特效为人物的后景，则将实时拍摄图像分割为人像和背景图像，并将贺卡底框特效、人像、贺卡边框特效和背景图像按照由顶层至底层的顺序依次叠加，得到效果视频图像。
在效果视频播放完毕后，针对每一帧实时采集图像，可以从S402开始执行后续步骤，直至电子设备停止采集图像。
S402、检测实时采集图像中用户是否张手，如果不是，则执行S403，如果是，则执行S404。
其中，电子设备可以对实时采集图像中的用户的手部姿态进行检测，如果手部姿态为手掌张开姿态，则执行S404，否则执行S403。
S403、在拍摄预览画面内，显示实时采集图像，并返回S402。
S404、判断实时采集图像的前一帧采集图像中用户是否张手，如果不是，则执行S405，否则执行S406。
其中，电子设备可以获取前一帧采集图像对手部姿态的检测结果，并且根据该检测结果确定前一帧采集图像中用户的手部是否为手掌张开姿态。
S405、确定实时采集图像对应贺卡倒下动画模板视频中的第一帧模板视频图像，然后执行S408。
S406、将实时采集图像中的手部尺寸与前一帧采集图像中的手部尺寸进行比较，计算手部尺寸变化量，然后执行S407。
S407、按照手部尺寸变化量、手部尺寸变化量的正负方向和前一帧采集图像对应的视频帧数，确定实时采集图像对应的模板视频图像，然后执行S408。
其中，如果手部尺寸变化量为正数，则说明手部向前推动，电子设备可以获取手部尺寸变化量对应的目标跳转帧数，然后将前一帧采集图像对应的视频帧数与目标跳转帧数相加，来确定贺卡倒下动画模板视频的播放帧数，以获取贺卡边框特效针对前一帧采集图像向后倾倒的效果；否则，电子设备可以将前一帧采集图像对应的视频帧数与目标跳转帧数相减，来确定贺卡倒下动画模板视频的播放帧数，以获取贺卡边框特效针对前一帧采集图像向前立起的效果。
S408、判断贺卡倒下动画模板视频的播放帧数是否高于帧数阈值，如果是，则执行S409，否则，执行S411。
S409、对实时采集图像进行图像分割，得到实时采集图像中的人像和背景图像，然后执行S410。
S410、将贺卡底框特效、人像、贺卡边框特效和背景图像由顶层至底层的顺序依次叠加，得到合成的视频图像，然后执行S413。
S411、对实时采集图像进行漫画风格化处理，得到漫画风格视频图像，然后执行S412。
S412、将贺卡底框特效、贺卡边框特效和漫画风格视频图像依次叠加，得到合成的视频图像，然后执行S413。
S413、在拍摄预览画面内，显示合成的视频图像。
由此，图4所示的图像处理过程可以在用户实时拍摄视频的过程中，实现视觉上贺卡穿过人脸倒下或立起的效果的显示，并在贺卡倒下或者立起的过程中，可以实现漫画效果和真人效果的切换，无需用户对拍摄的视频素材进行素材编辑，即可自动生成具有特殊效果的趣味视频，增加互动趣味性，提升了用户的体验。
本公开实施例还提供了一种能够实现上述的图像处理方法的图像处理装置，下面参考图5对本公开实施例提供的图像处理装置进行说明。
在本公开一些实施例中，该图像处理装置可以为电子设备。其中，电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴电子设备、一体机、智能家居设备等具有通信功能的设备，也可以是虚拟机或者模拟器模拟的设备。
图5示出了本公开实施例提供的一种图像处理装置的结构示意图。
如图5所示，该图像处理装置500可以包括第一处理单元510、第二处理单元520、第一合成单元530和第二合成单元540。
该第一处理单元510可以配置为在初始视频图像中，确定第一识别对象的运动状态。
该第二处理单元520可以配置为根据第一识别对象的运动状态，确定素材对象的运动状态。
该第一合成单元530可以配置为若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像。
该第二合成单元540可以配置为若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像。
其中，第一风格视频图像和第二风格视频图像可以是基于初始视频图像得到的不同风格化的图像。
在本公开实施例中，能够在初始视频图像中，确定第一识别对象的运动状态，并且根据第一识别对象的运动状态，确定素材对象的运动状态，然后对素材对象的运动状态进行判断，若素材对象的运动状态属于第一状态，则按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像，若素材对象的运动状态属于第二状态，则按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像，因此，可以自动对作为视频素材的初始视频图像进行素材编辑，得到编辑后的合成图像，无需用户手动进行素材编辑，从而可以减少制作视频的时间成本，提高视频作品的质量，以提升用户的体验。
在本公开一些实施例中，第一状态可以表示素材对象与初始视频图像中的第二识别对象满足第一位置关系，第二状态可以表示素材对象与初始视频图像中的第二识别对象满足第二位置关系。
在本公开一些实施例中，第一位置关系可以具体为：素材对象位于第二识别对象的前景；第二位置关系可以具体为：素材对象位于第二识别对象的背景。
在本公开一些实施例中，第一风格视频图可以像为初始视频图像经过风格迁移处理得到的图像，第二风格视频图像可以为初始视频图像。
在本公开一些实施例中，第一识别对象的运动状态可以包括下列中的任一项：
第一识别对象沿目标移动方向的移动状态；
第一识别对象向目标对象姿态的姿态变化状态；
第一识别对象沿目标旋转方向的旋转状态。
在本公开一些实施例中，该第一处理单元510可以包括第一子处理单元 和第二子处理单元。
该第一子处理单元可以配置为在初始视频图像中，检测第一识别对象的显示参数变量。
该第二子处理单元可以配置为根据显示参数变量，确定第一识别对象的运动状态。
在本公开一些实施例中，该图像处理装置500还可以包括第三处理单元，该第三处理单元可以配置为在初始视频图像中，检测第一识别对象的对象姿态。
相应地，该第一处理单元510可以进一步配置为在第一识别对象的对象姿态为目标姿态的情况下，在初始视频图像中，确定第一识别对象的运动状态。
在本公开一些实施例中，该图像处理装置500还可以包括第四处理单元，该第四处理单元可以配置为在素材对象的模板视频中，选择第一识别对象的运动状态对应的目标模板视频图像。
相应地，该第二处理单元520可以进一步配置为将素材对象在目标模板视频图像中的运动状态作为素材对象的运动状态。
在本公开一些实施例中，该第四处理单元可以包括第三子处理单元、第四子处理单元和第五子处理单元。
该第三子处理单元可以配置为确定第一识别对象的运动状态对应的目标跳转帧数。
该第四子处理单元可以配置为根据目标跳转帧数，确定第一识别对象的运动状态对应的目标视频帧数。
该第五子处理单元可以配置为将素材对象的模板视频中的目标视频帧数对应的模板视频图像作为目标模板视频图像。
在本公开一些实施例中，该第二处理单元520可以进一步配置为将素材对象在目标视频帧数下的运动状态作为素材对象的运动状态。
在本公开一些实施例中，素材对象包括运动素材对象和固定素材对象，素材对象的运动状态为运动素材对象的运动状态。
需要说明的是，图5所示的图像处理装置500可以执行图1至图4所示的方法实施例中的各个步骤，并且实现图1至图4所示的方法实施例中的各个过程和效果，在此不做赘述。
本公开实施例还提供了一种图像处理设备，该图像处理设备可以包括处理器和存储器，存储器可以用于存储可执行指令。其中，处理器可以用于从存储器中读取可执行指令，并执行可执行指令以实现上述实施例中的图像处理方法。
图6示出了本公开实施例提供的一种图像处理设备的结构示意图。下面 具体参考图6，其示出了适于用来实现本公开实施例中的图像处理设备600的结构示意图。
本公开实施例中的图像处理设备600可以为电子设备。其中，电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)、可穿戴设备、等等的移动终端以及诸如数字TV、台式计算机、智能家居设备等等的固定终端。
需要说明的是，图6示出的图像处理设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，该图像处理设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有图像处理设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许图像处理设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的图像处理设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
本公开实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现上述实施例中的图像处理方法。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。
本公开实施例还提供了一种计算机程序产品，该计算机程序产品可以包括计算机程序，当计算机程序被处理器执行时，使得处理器实现上述实施例中的图像处理方法。
例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的图像处理方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介 质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述图像处理设备中所包含的；也可以是单独存在，而未装配入该图像处理设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该图像处理设备执行时，使得该图像处理设备执行：
在初始视频图像中，确定第一识别对象的运动状态；根据第一识别对象的运动状态，确定素材对象的运动状态；若素材对象的运动状态属于第一状态，按照素材对象的运动状态将素材对象和第一风格视频图像合成，得到第一目标视频图像；若素材对象的运动状态属于第二状态，按照素材对象的运动状态将素材对象和第二风格视频图像合成，得到第二目标视频图像；其中，第一风格视频图像和第二风格视频图像是基于初始视频图像得到的不同风格化的图像。
在本公开实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在 用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替 换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

  1. 一种图像处理方法，其特征在于，包括：
    在初始视频图像中，确定第一识别对象的运动状态；
    根据所述第一识别对象的运动状态，确定素材对象的运动状态；
    若所述素材对象的运动状态属于第一状态，按照所述素材对象的运动状态将所述素材对象和第一风格视频图像合成，得到第一目标视频图像；
    若所述素材对象的运动状态属于第二状态，按照所述素材对象的运动状态将所述素材对象和第二风格视频图像合成，得到第二目标视频图像；
    其中，所述第一风格视频图像和所述第二风格视频图像是基于所述初始视频图像得到的不同风格化的图像。
  2. 根据权利要求1所述的方法，其特征在于，所述第一状态表示所述素材对象与所述初始视频图像中的第二识别对象满足第一位置关系，所述第二状态表示所述素材对象与所述初始视频图像中的第二识别对象满足第二位置关系。
  3. 根据权利要求2所述的方法，其特征在于，所述第一位置关系具体为：所述素材对象位于所述第二识别对象的前景；所述第二位置关系具体为：所述素材对象位于所述第二识别对象的背景。
  4. 根据权利要求1所述的方法，其特征在于，所述第一风格视频图像为所述初始视频图像经过风格迁移处理得到的图像，所述第二风格视频图像为所述初始视频图像。
  5. 根据权利要求1所述的方法，其特征在于，所述第一识别对象的运动状态包括下列中的任一项：
    所述第一识别对象沿目标移动方向的移动状态；
    所述第一识别对象向目标对象姿态的姿态变化状态；
    所述第一识别对象沿目标旋转方向的旋转状态。
  6. 根据权利要求1所述的方法，其特征在于，所述在初始视频图像中，确定第一识别对象的运动状态，包括：
    在所述初始视频图像中，检测所述第一识别对象的显示参数变量；
    根据所述显示参数变量，确定所述第一识别对象的运动状态。
  7. 根据权利要求1所述的方法，其特征在于，在所述在初始视频图像中，确定第一识别对象的运动状态之前，所述方法还包括：
    在所述初始视频图像中，检测所述第一识别对象的对象姿态；
    其中，所述在初始视频图像中，确定第一识别对象的运动状态，包括：
    在所述第一识别对象的对象姿态为目标姿态的情况下，在所述初始视频图像中，确定所述第一识别对象的运动状态。
  8. 根据权利要求1所述的方法，其特征在于，在所述根据所述第一识别对象的运动状态，确定素材对象的运动状态之前，所述方法还包括：
    在素材对象的模板视频中，选择所述第一识别对象的运动状态对应的目标模板视频图像；
    其中，所述根据所述第一识别对象的运动状态，确定素材对象的运动状态，包括：
    将所述素材对象在所述目标模板视频图像中的运动状态作为所述素材对象的运动状态。
  9. 根据权利要求8所述的方法，其特征在于，所述在素材对象的模板视频中，选择所述第一识别对象的运动状态对应的目标模板视频图像，包括：
    确定所述第一识别对象的运动状态对应的目标跳转帧数；
    根据所述目标跳转帧数，确定所述第一识别对象的运动状态对应的目标视频帧数；
    将所述素材对象的模板视频中的所述目标视频帧数对应的模板视频图像作为所述目标模板视频图像。
  10. 根据权利要求9所述的方法，其特征在于，所述将所述素材对象在所述目标模板视频图像中的运动状态作为所述素材对象的运动状态，包括：
    将所述素材对象在所述目标视频帧数下的运动状态作为所述素材对象的运动状态。
  11. 根据权利要求1所述的方法，其特征在于，所述素材对象包括运动素材对象和固定素材对象，所述素材对象的运动状态为运动素材对象的运动状态。
  12. 一种图像处理装置，其特征在于，包括：
    第一处理单元，配置为在初始视频图像中，确定第一识别对象的运动状态；
    第二处理单元，配置为根据所述第一识别对象的运动状态，确定素材对象的运动状态；
    第一合成单元，配置为若所述素材对象的运动状态属于第一状态，按照所述素材对象的运动状态将所述素材对象和第一风格视频图像合成，得到第一目标视频图像；
    第二合成单元，配置为若所述素材对象的运动状态属于第二状态，按照所述素材对象的运动状态将所述素材对象和第二风格视频图像合成，得到第二目标视频图像；
    其中，所述第一风格视频图像和所述第二风格视频图像是基于所述初始视频图像得到的不同风格化的图像。
  13. 一种图像处理设备，其特征在于，包括：
    处理器；
    存储器，用于存储可执行指令；
    其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所 述可执行指令以实现上述权利要求1-11中任一项所述的图像处理方法。
  14. 一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现上述权利要求1-11中任一项所述的图像处理方法。
  15. 一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行如权利要求1-11中任一项所述的图像处理方法。
PCT/CN2022/075622 2021-02-09 2022-02-09 图像处理方法、装置、设备及介质 WO2022171114A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020237028745A KR20230130748A (ko) 2021-02-09 2022-02-09 이미지 처리 방법 및 장치, 디바이스 및 매체
EP22752274.5A EP4206982A4 (en) 2021-02-09 2022-02-09 IMAGE PROCESSING METHOD AND DEVICE AS WELL AS DEVICE AND MEDIUM
JP2023548283A JP7467780B2 (ja) 2021-02-09 2022-02-09 画像処理方法、装置、デバイス及び媒体
US18/089,377 US20230133416A1 (en) 2021-02-09 2022-12-27 Image processing method and apparatus, and device and medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110180571.8A CN112906553B (zh) 2021-02-09 2021-02-09 图像处理方法、装置、设备及介质
CN202110180571.8 2021-02-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/089,377 Continuation US20230133416A1 (en) 2021-02-09 2022-12-27 Image processing method and apparatus, and device and medium

Publications (1)

Publication Number Publication Date
WO2022171114A1 true WO2022171114A1 (zh) 2022-08-18

Family

ID=76123194

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/075622 WO2022171114A1 (zh) 2021-02-09 2022-02-09 图像处理方法、装置、设备及介质

Country Status (6)

Country Link
US (1) US20230133416A1 (zh)
EP (1) EP4206982A4 (zh)
JP (1) JP7467780B2 (zh)
KR (1) KR20230130748A (zh)
CN (1) CN112906553B (zh)
WO (1) WO2022171114A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906553B (zh) * 2021-02-09 2022-05-17 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质
CN115719468B (zh) * 2023-01-10 2023-06-20 清华大学 图像处理方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609970A (zh) * 2011-12-19 2012-07-25 中山大学 一种基于运动元素复用的二维动画合成方法
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
US20190019031A1 (en) * 2017-07-12 2019-01-17 Electronics And Telecommunications Research Institute System and method for detecting dynamic object
CN110012237A (zh) * 2019-04-08 2019-07-12 厦门大学 基于交互引导及云端增强渲染的视频生成方法及系统
CN110189246A (zh) * 2019-05-15 2019-08-30 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN111145088A (zh) * 2020-01-07 2020-05-12 中国传媒大学 适用于观演空间的投影风格渲染方法及渲染系统
CN111783729A (zh) * 2020-07-17 2020-10-16 商汤集团有限公司 视频分类方法、装置、设备及存储介质
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质
WO2020248767A1 (en) * 2019-06-11 2020-12-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for stylizing video frames
US10896534B1 (en) * 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
CN112906553A (zh) * 2021-02-09 2021-06-04 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4695275B2 (ja) * 2001-03-07 2011-06-08 独立行政法人科学技術振興機構 動画像生成システム
JP3819911B2 (ja) 2004-03-18 2006-09-13 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置
JP4005061B2 (ja) 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
JPWO2007138858A1 (ja) * 2006-05-25 2009-10-01 日本電気株式会社 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置
CN106373170A (zh) * 2016-08-31 2017-02-01 北京云图微动科技有限公司 一种视频制作方法及装置
CN106303291B (zh) * 2016-09-30 2019-06-07 努比亚技术有限公司 一种图片处理方法及终端
CN106484416B (zh) * 2016-09-30 2021-02-05 腾讯科技（北京）有限公司 一种信息处理方法及终端
CN107105173A (zh) * 2017-04-24 2017-08-29 武汉折叠空间科技有限公司 一种互动型自助视频制作方法
CN107944397A (zh) * 2017-11-27 2018-04-20 腾讯音乐娱乐科技（深圳）有限公司 视频录制方法、装置及计算机可读存储介质
CN107911614B (zh) 2017-12-25 2019-09-27 腾讯数码（天津）有限公司 一种基于手势的图像拍摄方法、装置和存储介质
CN108289180B (zh) * 2018-01-30 2020-08-21 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108234903B (zh) * 2018-01-30 2020-05-19 广州市百果园信息技术有限公司 互动特效视频的处理方法、介质和终端设备
CN108810597B (zh) * 2018-06-25 2021-08-17 百度在线网络技术（北京）有限公司 视频特效处理方法及装置
CN109495695A (zh) * 2018-11-29 2019-03-19 北京字节跳动网络技术有限公司 运动物体视频特效添加方法、装置、终端设备及存储介质
CN110139159B (zh) * 2019-06-21 2021-04-06 上海摩象网络科技有限公司 视频素材的处理方法、装置及存储介质
CN110381266A (zh) * 2019-07-31 2019-10-25 百度在线网络技术（北京）有限公司 一种视频生成方法、装置以及终端
CN111416991B (zh) * 2020-04-28 2022-08-05 Oppo（重庆）智能科技有限公司 特效处理方法和设备，及存储介质
CN112311966A (zh) * 2020-11-13 2021-02-02 深圳市前海手绘科技文化有限公司 一种短视频中动态镜头制作的方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609970A (zh) * 2011-12-19 2012-07-25 中山大学 一种基于运动元素复用的二维动画合成方法
US20190019031A1 (en) * 2017-07-12 2019-01-17 Electronics And Telecommunications Research Institute System and method for detecting dynamic object
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
US10896534B1 (en) * 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
CN110012237A (zh) * 2019-04-08 2019-07-12 厦门大学 基于交互引导及云端增强渲染的视频生成方法及系统
CN110189246A (zh) * 2019-05-15 2019-08-30 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
WO2020248767A1 (en) * 2019-06-11 2020-12-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for stylizing video frames
CN111145088A (zh) * 2020-01-07 2020-05-12 中国传媒大学 适用于观演空间的投影风格渲染方法及渲染系统
CN111783729A (zh) * 2020-07-17 2020-10-16 商汤集团有限公司 视频分类方法、装置、设备及存储介质
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质
CN112906553A (zh) * 2021-02-09 2021-06-04 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP4206982A4
XIAO, JUN ET AL.: "Computer Vision and Machine Learning in 3D Human Animation: a Survey", JOURNAL OF COMPUTER-AIDED DESIGN & COMPUTER GRAPHICS, vol. 20, no. 3, 31 March 2008 (2008-03-31), pages 281 - 290, XP055960030 *

Also Published As

Publication number Publication date
CN112906553A (zh) 2021-06-04
EP4206982A1 (en) 2023-07-05
JP2024505597A (ja) 2024-02-06
CN112906553B (zh) 2022-05-17
JP7467780B2 (ja) 2024-04-15
KR20230130748A (ko) 2023-09-12
EP4206982A4 (en) 2023-09-13
US20230133416A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
WO2022083383A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022166872A1 (zh) 一种特效展示方法、装置、设备及介质
WO2022171114A1 (zh) 图像处理方法、装置、设备及介质
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
WO2022007627A1 (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
WO2021254502A1 (zh) 目标对象显示方法、装置及电子设备
WO2023051185A1 (zh) 图像处理方法、装置、电子设备及存储介质
US11587280B2 (en) Augmented reality-based display method and device, and storage medium
WO2023179346A1 (zh) 特效图像处理方法、装置、电子设备及存储介质
CN109600559B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
WO2022171024A1 (zh) 图像显示方法、装置、设备及介质
US20240119082A1 (en) Method, apparatus, device, readable storage medium and product for media content processing
WO2022183887A1 (zh) 视频编辑及播放方法、装置、设备、介质
CN112884908A (zh) 基于增强现实的显示方法、设备、存储介质及程序产品
WO2023151525A1 (zh) 生成特效视频的方法、装置、电子设备及存储介质
WO2022227909A1 (zh) 视频的动画添加方法、装置、设备及介质
WO2023273697A1 (zh) 图像处理方法、模型训练方法、装置、电子设备及介质
WO2023140786A2 (zh) 特效视频处理方法、装置、电子设备及存储介质
WO2024027819A1 (zh) 图像处理方法、装置、设备及存储介质
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
WO2023226814A1 (zh) 视频处理方法、装置、电子设备及存储介质
WO2023138441A1 (zh) 视频生成方法、装置、设备及存储介质
WO2023071694A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2022170975A1 (zh) 视频生成方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22752274

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022752274

Country of ref document: EP

Effective date: 20230331

WWE Wipo information: entry into national phase

Ref document number: 2023548283

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20237028745

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237028745

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE