WO2022095859A1 - 定格动画的生成方法、计算机可读存储介质及计算机设备 - Google Patents

定格动画的生成方法、计算机可读存储介质及计算机设备 Download PDF

Info

Publication number
WO2022095859A1
WO2022095859A1 PCT/CN2021/128254 CN2021128254W WO2022095859A1 WO 2022095859 A1 WO2022095859 A1 WO 2022095859A1 CN 2021128254 W CN2021128254 W CN 2021128254W WO 2022095859 A1 WO2022095859 A1 WO 2022095859A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
period
video
video frame
stop
Prior art date
Application number
PCT/CN2021/128254
Other languages
English (en)
French (fr)
Inventor
苏坦
贾配洋
高飞
Original Assignee
影石创新科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 影石创新科技股份有限公司 filed Critical 影石创新科技股份有限公司
Priority to EP21888556.4A priority Critical patent/EP4242971A4/en
Priority to JP2023526556A priority patent/JP2023548843A/ja
Publication of WO2022095859A1 publication Critical patent/WO2022095859A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals

Definitions

  • the present application belongs to the field of video processing, and in particular, relates to a method, apparatus, computer-readable storage medium, and computer equipment for generating stop-motion animation.
  • the method for generating stop-motion animation in the prior art includes the following steps: acquiring at least a part of video data frames in a target video; The difference between the time values of the data frames in the target video is greater than a preset minimum time interval; a stop-motion animation is generated by connecting the extracted multiple video data frames in time series.
  • Timing frame extraction is not intelligent enough, and manual frame extraction is labor-intensive and inefficient.
  • the embodiments of the present application provide a method, apparatus, computer-readable storage medium, and computer equipment for generating a stop-motion animation, aiming to solve one of the above problems.
  • the present application provides a method for generating stop-motion animation, the method comprising:
  • S103 Determine a starting period node according to the initial motion period, determine subsequent period nodes according to the starting period node, and extract a video corresponding to the same posture in each motion period for the continuous preset number of motion periods. frame, or extract a video frame corresponding to a different posture in each motion cycle in the order or reverse order of the motion, to obtain a video frame sequence of stop-motion animation;
  • the present application provides an apparatus for generating stop-motion animation, the apparatus comprising:
  • an acquisition module for acquiring a video containing periodic motion of the target, the video containing a continuous preset number of motion cycles
  • a determination module for using an attitude estimation algorithm to determine the initial motion period of the target in the video
  • the extraction module is used to determine the starting period node according to the initial motion period, determine the subsequent period node according to the starting period node, and extract an identical posture in each motion period for the continuous preset number of motion periods. Corresponding video frames, or respectively extracting a video frame corresponding to a different posture in each motion cycle in the order or reverse order of the motion, to obtain the video frame sequence of the stop-motion animation;
  • the generation module is used to generate a stop-motion animation video according to the video frame sequence of the stop-motion animation.
  • the present application provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, implements the steps of the method for generating a stop-motion animation as described above.
  • the present application provides a computer device, comprising:
  • processors one or more processors
  • the processor implements the steps of the stop-motion animation generation method described above when the processor executes the computer program.
  • the attitude estimation algorithm is used to determine the initial motion period of the target in the video; the initial period node is determined according to the initial motion period, and the subsequent period nodes are determined according to the initial period node.
  • Video frame sequence generate stop-motion animation video according to the video frame sequence of stop-motion animation. Therefore, the operation is simple, there is no need to manually select video frames, and the algorithm is used to automatically extract frames, which greatly improves the efficiency of generating stop-motion animation, and has strong robustness.
  • FIG. 1 is a schematic diagram of an application scenario of a method for generating a stop motion animation provided by an embodiment of the present application.
  • FIG. 2 is a flowchart of a method for generating a stop motion animation provided by an embodiment of the present application.
  • Figure 3 is a schematic diagram of the object before perspective transformation.
  • FIG. 4 is a schematic diagram of the object after perspective transformation.
  • FIG. 5 is a schematic diagram of an apparatus for generating a stop motion animation provided by an embodiment of the present application.
  • FIG. 6 is a specific structural block diagram of a computer device provided by an embodiment of the present application.
  • An application scenario of the method for generating a stop-motion animation provided by an embodiment of the present application may be a computer device, and the computer device executes the method for generating a stop-motion animation provided by an embodiment of the present application to generate a stop-motion animation.
  • An application scenario of the method for generating a stop motion animation provided by an embodiment of the present application may also include a connected computer device 100 and a camera 200 (as shown in FIG. 1 ). At least one application program of the computer device 100 and the camera 200 may be executed.
  • the computer device 100 may be a server, a desktop computer, a mobile terminal, and the like, and the mobile terminal includes a mobile phone, a tablet computer, a notebook computer, a personal digital assistant, and the like.
  • the camera 200 may be an ordinary camera or a panoramic camera or the like.
  • a common camera refers to a photographing device for taking flat images and flat videos.
  • the computer device 100 or the camera 200 executes the method for generating a stop-motion animation provided by an embodiment of the present application to generate a stop-motion animation.
  • FIG. 2 is a flowchart of a method for generating a stop-motion animation provided by an embodiment of the present application.
  • This embodiment mainly takes the application of the method for generating a stop-motion animation to a computer device as an example for illustration.
  • the generation method of stop motion animation includes the following steps:
  • the video is obtained by shooting with a fixed viewing angle.
  • the fixed angle of view may be any angle of 360° that remains substantially unchanged, for example, the side of a periodically moving target is fixedly photographed.
  • the target can be all objects that can move periodically, such as people, animals, vehicles, etc.
  • the number of motion periods included in the video is greater than a preset period threshold, for example, the preset period threshold is greater than or equal to 20 periods.
  • the periodic motion of the object in the video is uninterrupted.
  • the video may be a plane video or a panoramic video, and the panoramic video may be shot by a panoramic camera, or may be formed by splicing plane videos shot by a plurality of ordinary cameras.
  • the method may further include the following steps:
  • target recognition and tracking algorithms including but not limited to classical recognition and tracking algorithms
  • target recognition and tracking algorithms including but not limited to classical recognition and tracking algorithms
  • perspective transformation operations on the target in the video frame, so that the target remains in each video frame.
  • the target in the video frame is reduced or tilted in the picture.
  • the target in the video frame is enlarged or straightened, so that the target roughly maintains the picture in each video frame. in the same position and/or the same size.
  • the method may further include the following steps:
  • S102 may specifically include the following steps:
  • the consecutive preset number of video frames may be consecutive frames N (N is any value such as 300, 500, etc.) video frames starting from the video.
  • the pose estimation algorithm is used to identify key points such as the head, left and right shoulders, left and right elbows, left and right hands, left and right hips, left and right knees, and left and right feet of a person who periodically moves, and each key point is represented by a coordinate value.
  • the periodic motion can be mapped to the periodic change law of the coordinate value of a certain key point of the target; for example, taking the side shot of walking as an example, as the feet move when a person walks, the distance between the left and right feet will also periodically change. Therefore, the distance between the feet in the picture can be used as the observation value, and the coordinates of the left foot in the key point of the i-th video frame are set as p l (i) x and p l (i) y , and the coordinates of the right foot The values are p r (i) x and p r (i) y , then the periodicity index of the i-th video frame And in a walking cycle, the index of the distance between feet undergoes two periodic processes of increasing and decreasing, that is, the actual walking cycle is twice the change period of the observed index, so the periodic node of walking is determined to be twice the change period of the observed index;
  • the initial motion period M(0) (N/F)*2
  • the initial motion Period M(0) N/F.
  • S103 Determine a starting period node according to the initial motion period, determine subsequent period nodes according to the starting period node, and extract a video corresponding to the same posture in each motion period for the continuous preset number of motion periods. frame, or extract a video frame corresponding to a different posture in each motion cycle in the sequence or reverse order of motion, to obtain a video frame sequence of stop motion animation.
  • a typical usage scenario is that the camera takes pictures of people walking from the side of the person for more than half a minute. Because the action of walking is cyclical, and the feet alternate left and right once is a cycle, so the same posture will appear repeatedly in different cycles. For example, if the left foot is in the back and the right foot is in front, the posture of the farthest distance between the two feet will appear repeatedly during the whole walking process, and it will appear once in each cycle, and the frequency of occurrence is equal to the cadence.
  • extracting a video frame corresponding to the same posture in each motion cycle, and obtaining a video frame sequence of a stop-motion animation may specifically include the following steps:
  • the motion period node k(0); the video frame from the start of the first initial motion period to the end of the second initial motion period may specifically be the 1/2 initial motion period M(0) to the 3/2 initial motion period Video frames between motion periods M(0).
  • the lengths of adjacent motion periods (which can be represented by the number of video frames) are relatively close, so after obtaining the initial motion period M(0), you can know the approximate location of the next period node, that is, the upper Near the M(0)th frame after a period node. Therefore, the video frame with the largest observation value is searched for the next period node near the M(0)th frame, and the length of the motion period is updated.
  • the video frame with the largest observed value is selected as the starting video frame k(0) of the initial motion period.
  • the video frame with the largest observation value is selected as the starting video frame k(0) of the initial motion period.
  • the first frame of the video frame sequence for outputting the stop motion animation according to the initial video frame k(0) is k(0)+ ⁇ *M(0), where ⁇ is the expected output posture during the entire initial motion period M( 0)
  • ⁇ is the expected output posture during the entire initial motion period M( 0)
  • the position in all postures, the value of ⁇ is in the interval [0,1], 0 represents the first posture in the entire motion cycle, and 1 represents the last posture in the entire motion cycle;
  • the video frames within the range of the two consecutive initial motion periods may specifically be video frames between the 3/4 initial motion period M(0) to the 5/4 initial motion period M(0).
  • the length of the next motion period is updated, and the length of the next motion period should be close to the length of the previous motion period, so the next period node should appear at k(i -1)+3/4*M(0) to k(i-1)+5/4*M(0). That is, assuming that the length of the motion period is constant, the period nodes after one motion period are in the range of half the motion period.
  • a video frame corresponding to a different posture is extracted in each motion cycle in the order or reverse order of motion, to obtain a video frame sequence of stop motion animation. Specifically, the following steps may be included:
  • Period node k(0); the video frame from the start of the first initial motion period to the end of the second initial motion period may specifically be the 1/2 initial motion period M(0) to the 3/2 initial motion period Video frames between periods M(0).
  • the first frame of the video frame sequence for outputting the stop motion animation according to the initial video frame k(0) is k(0)+ ⁇ (0)*M(0), where ⁇ (0) is the initial output posture in the whole
  • ⁇ (0) is the initial output posture in the whole
  • M(0) the value of ⁇ (0) is in the interval [0,1]
  • 0 represents the first posture in the entire motion cycle
  • 1 represents the last in the entire motion cycle. attitude
  • the video frames within the range of the two consecutive initial motion periods may specifically be video frames between the 3/4th initial motion period M(0) to the 5/4th initial motion period M(0).
  • S104 may specifically include the following steps:
  • the video frames are sorted according to preset rules and played in sequence to generate the stop-motion animation video.
  • the preset rules may be: order or reverse order, or other custom sorting methods.
  • the time value difference between adjacent video frames in the stop-motion animation video may be a fixed value or may vary according to a preset rule; for example, the time value difference may be preset to a fixed value of 0.5 seconds, or other variable values.
  • the device for generating a stop-motion animation provided by an embodiment of the present application may be a computer program or a piece of program code running in a computer device or a camera, for example, the generating device for the stop-motion animation is an application software; the stop-motion animation The generating device can be used to execute the corresponding steps in the stop-motion animation generating method provided by the embodiment of the present application.
  • An apparatus for generating a stop motion animation provided by an embodiment of the present application includes:
  • the acquisition module 11 is used to acquire a video containing the periodic motion of the target, and the video contains a continuous preset number of motion cycles;
  • a determination module 12 used for determining the initial motion period of the target in the video by adopting an attitude estimation algorithm
  • the extraction module 13 is used to determine the initial period node according to the initial motion period, determine the subsequent period node according to the initial period node, and extract an identical motion period from each motion period for the continuous preset number of motion periods.
  • the generating module 14 is configured to generate a stop-motion animation video according to the video frame sequence of the stop-motion animation.
  • the device for generating a stop-motion animation provided by an embodiment of the present application and the method for generating a stop-motion animation provided by an embodiment of the present application belong to the same concept, and the specific implementation process thereof is detailed in the full text of the specification, which will not be repeated here.
  • An embodiment of the present application further provides a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and when the computer program is executed by a processor, the stop-motion animation as provided by an embodiment of the present application is generated. steps of the method.
  • FIG. 6 shows a specific structural block diagram of a computer device provided by an embodiment of the present application.
  • the computer device may be the computer device shown in FIG. 1 .
  • a computer device 100 includes: one or more processors 101 and a memory 102 , and one or more computer programs, wherein the processor 101 and the memory 102 are connected by a bus, the one or more computer programs are stored in the memory 102 and are configured to be executed by the one or A plurality of processors 101 execute, and when the processors 101 execute the computer program, the steps of the method for generating a stop-motion animation provided by an embodiment of the present application are implemented.
  • the computer equipment may be a server, a desktop computer, a mobile terminal, etc.
  • the mobile terminal includes a mobile phone, a tablet computer, a notebook computer, a personal digital assistant, and the like.
  • the attitude estimation algorithm is used to determine the initial motion period of the target in the video; the initial period node is determined according to the initial motion period, and the subsequent period nodes are determined according to the initial period node.
  • Video frame sequence generate stop-motion animation video according to the video frame sequence of stop-motion animation. Therefore, the operation is simple, and there is no need to manually select video frames, and the algorithm is used to automatically extract frames, which greatly improves the efficiency of generating stop-motion animation, and has strong robustness.
  • the steps in the embodiments of the present application are not necessarily executed sequentially in the order indicated by the step numbers. Unless explicitly stated herein, the execution of these steps is not strictly limited to the order, and these steps may be performed in other orders. Moreover, at least a part of the steps in each embodiment may include multiple sub-steps or multiple stages. These sub-steps or stages are not necessarily executed and completed at the same time, but may be executed at different times. The execution of these sub-steps or stages The sequence is also not necessarily sequential, but may be performed alternately or alternately with other steps or sub-steps of other steps or at least a portion of a phase.
  • Nonvolatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in various forms such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Road (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain Road (Synchlink) DRAM
  • SLDRAM synchronous chain Road (Synchlink) DRAM
  • Rambus direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Abstract

一种定格动画的生成方法、装置、计算机可读存储介质及计算机设备，包括：获取包含目标周期性运动的视频，视频包含连续的预设数量运动周期（S101）；采用姿态估计算法确定视频中目标的初始运动周期（S102）；根据初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列（S103）；根据定格动画的视频帧序列生成定格动画视频（S104）。本方法操作简单，不需要人工挑选视频帧，采用算法自动抽帧，大大提高了生成定格动画的效率，且鲁棒性强。

Description

定格动画的生成方法、计算机可读存储介质及计算机设备 技术领域
本申请属于视频处理领域，尤其涉及一种定格动画的生成方法、装置、计算机可读存储介质及计算机设备。
背景技术
现有技术的定格动画的生成方法包括以下步骤：获取目标视频中的至少一部分视频数据帧；在获取的至少一部分视频数据帧中，抽取相互间隔的多个视频数据帧，所述抽取的不同视频数据帧在所述目标视频中的时间值之差大于预设的最小时间间隔；将所述抽取的多个视频数据帧按时序连接生成定格动画。
技术问题
然而，现有技术的定格动画的生成方法的抽帧操作主要是靠定时抽帧或者人工抽帧来完成，定时抽帧不够智能，人工抽帧则耗费人力效率低。
本申请实施例在于提供一种定格动画的生成方法、装置、计算机可读存储介质及计算机设备，旨在解决以上问题之一。
技术解决方案
第一方面，本申请提供了一种定格动画的生成方法，所述方法包括：
S101、获取包含目标周期性运动的视频，所述视频包含连续的预设数量运动周期；
S102、采用姿态估计算法确定所述视频中目标的初始运动周期；
S103、根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对所述连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列；
S104、根据定格动画的视频帧序列生成定格动画视频。
第二方面，本申请提供了一种定格动画的生成装置，所述装置包括：
获取模块，用于获取包含目标周期性运动的视频，所述视频包含连续的预设数量运动周期；
确定模块，用于采用姿态估计算法确定所述视频中目标的初始运动周 期；
抽取模块，用于根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对所述连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列；
生成模块，用于根据定格动画的视频帧序列生成定格动画视频。
第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的定格动画的生成方法的步骤。
第四方面，本申请提供了一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的定格动画的生成方法的步骤。
有益效果
在本申请实施例中，由于采用姿态估计算法确定所述视频中目标的初始运动周期；根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列；根据定格动画的视频帧序列生成定格动画视频。因此操作简单，不需要人工挑选视频帧，采用算法自动抽帧，大大提高了生成定格动画的效率，且鲁棒性强。
附图说明
图1是本申请一实施例提供的定格动画的生成方法的应用场景示意图。
图2是本申请一实施例提供的定格动画的生成方法的流程图。
图3是经透视变换之前的目标示意图。
图4是经透视变换之后的目标示意图。
图5是本申请一实施例提供的定格动画的生成装置示意图。
图6是本申请一实施例提供的计算机设备的具体结构框图。
本发明的实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
本申请一实施例提供的定格动画的生成方法的应用场景可以是计算机设备，计算机设备执行本申请一实施例提供的定格动画的生成方法生成定格动画。本申请一实施例提供的定格动画的生成方法的应用场景也可以包括相连接的计算机设备100和相机200(如图1所示)。计算机设备100和相机200中可运行至少一个的应用程序。计算机设备100可以是服务器、台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。相机200可以是普通的相机或者全景相机等。普通的相机是指用于拍摄平面图像和平面视频的拍摄装置。计算机设备100或者是相机200执行本申请一实施例提供的定格动画的生成方法生成定格动画。
请参阅图2，是本申请一实施例提供的定格动画的生成方法的流程图，本实施例主要以该定格动画的生成方法应用于计算机设备为例来举例说明，本申请一实施例提供的定格动画的生成方法包括以下步骤：
S101、获取包含目标周期性运动的视频，所述视频包含连续的预设数量运动周期。
在本申请一实施例中，所述视频是通过固定视角拍摄得到的。
所述固定视角可以为360°中任何一个基本保持不变的角度,例如固定拍摄周期性运动的目标的侧面。
所述目标可以是人、动物、交通工具等所有能周期性运动的物体。
所述视频包括的运动周期的数量大于预设周期阈值，例如预设周期阈值大于或等于20个周期。
所述视频中目标的周期性运动是无间断的。
所述视频可以是平面视频，也可以是全景视频，全景视频可以是由全景相机拍摄的，也可以是由多个普通的相机拍摄的平面视频拼接而成的。
在本申请一实施例中，S101之后，所述方法还可以包括以下步骤：
S1012、采用目标识别和跟踪算法(包括但不限于经典的识别和跟踪算法)，从起始点开始识别并跟踪目标，对视频帧中的目标进行透视变换操作，使目标在每个视频帧中保持在相同位置，和/或，使目标在每个视频帧中保持相同大小。如图3所示，视频帧中的目标在画面中有缩小或倾斜，如图4所示，经透视变换后放大或摆正视频帧中的目标，使目标在每个视频帧中大致保持画面中的相同位置和/或相同大小。
在本申请一实施例中，S101之后或S1012之前，所述方法还可以包括以下步骤：
手动或自动选择所述视频中目标开始周期性运动之后的其中一帧视频帧作为执行S102或S1012的起始点。
S102、采用姿态估计算法确定所述视频中目标的初始运动周期。
在本申请一实施例中，S102具体可以包括以下步骤：
S1021、在所述视频中抽取连续预设数量的视频帧。
S1022、针对所述连续预设数量的视频帧，采用目标识别和跟踪算法识别每一帧视频帧中周期性运动的目标的关键点，每个关键点用坐标值来表示。
连续预设数量的视频帧可以是从所述视频开始的连续帧N(N为300、500等任意数值)视频帧。
例如采用姿态估计算法识别出周期性运动的人的头、左右肩、左右肘、左右手、左右胯、左右膝、左右脚等关键点，每个关键点用坐标值来表示。
S1023、根据所述连续预设数量的视频帧中的目标的关键点，计算每个视频帧中预设两个关键点的观测值V(i)，得到所述视频的观测值序列，所述观测值为所述目标的预设两个关键点在视频帧中的距离；
由于周期性运动可以映射为目标的某个关键点的坐标数值的周期变化规律；例如以侧面拍摄走路为例，随着人走路时的双脚运动，左右脚之间的距离也会随之周期性变化；因此可以使用双脚在画面中距离作为观测值，设第i帧视频帧的关键点中左脚的坐标值为p l(i) x和p l(i) y，右脚的坐标值为p r(i) x和p r(i) y，则第i帧视频帧的周期性指标
Figure PCTCN2021128254-appb-000001
且一个步行周期内，双脚距离的指标 经历两次周期性变大变小过程，即实际步行周期是观测指标变化周期的两倍，因而确定步行的周期节点为观测指标变化周期的两倍；
S1024、对观测值序列进行离散傅里叶变换，找到响应最大的频率F，则初始观测值的周期为N/F，其中，N是所述连续预设数量的视频帧的数量；
S1025、根据所述初始观测值的周期得到初始运动周期M(0)。
对于以侧面拍摄人或动物走路的场景，以双脚的距离作为观测值时，则初始运动周期M(0)＝(N/F)*2，对于交通工具或其他目标的运动，则初始运动周期M(0)＝N/F。
S103、根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对所述连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列。
一个典型的使用场景是，相机从人物侧面拍摄人走路的画面，持续超过半分钟。因为走路的动作具有周期性，双脚左右交替一次即为一个周期，所以同一个姿态会在不同周期中反复出现。比如，左脚在后右脚在前，双脚距离最远的姿态会在整个走路的过程中反复出现，且每个周期出现一次，出现的频率和步频相等。
如果分别在每个运动周期中抽取一个相同姿态对应的视频帧。则所有这些相同姿态对应的视频帧连起来可以组成一个新的帧序列，看起来就像是人保持这个姿态在路上滑动/飘动一样。
如果在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，则这样选出来的视频帧连起来看依然具有原本的动作，而背景却以更快的速度变化。
将一个运动周期内的姿态分为m个，m是大于或等于2的自然数，第x个姿态为在整个运动周期内的位置x∈[0,m]；β＝x/m，代表期望输出姿态在整个运动周期内的位置；例如一个运动周期内的姿态按出现的顺序可分为10个姿态，则如果想输出所有第五种姿态的视频帧，则β＝5/10＝0.5。
针对连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列
在本申请一实施例中，所述针对连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，得到定格动画的视频帧序列具体可以包括以下步骤：
S10311、在第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧中，选择观测值最大的视频帧作为初始运动周期的起始视频帧k(0)，并作为起始运动周期节点k(0)；所述第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧具体可以是第1/2初始运动周期M(0)至第3/2初始运动周期M(0)之间的视频帧。
因为是周期性运动，相邻运动周期的长度(可以用视频帧数来表示)比较接近，所以在得到初始运动周期M(0)之后，就可以知道下一个周期节点出现的大致位置，即上一个周期节点之后的第M(0)帧附近。所以在第M(0)帧附近搜寻出观测值最大的视频帧作为下一个周期节点，并更新运动周期的长度。
一般来说，只需要在某个范围内选择观测值最大的视频帧，并且保证此帧的观测值是局部最大值即可。因为在第0视频帧是视频刚刚开始，很多时候画面中的目标运动的周期性还不稳定，所以选择之后的一段时间，一个完整运动周期内的最佳值当作第一个周期节点。因此在第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧中，选择观测值最大的视频帧作为初始运动周期的起始视频帧k(0)。实际上，在第0视频帧至0.5*M(0)视频帧内都是视频刚刚开始，很多时候画面中的目标运动的周期性还不稳定，为了减少运算量，因此可以选择在第1/2初始运动周期M(0)至第3/2初始运动周期M(0)之间的视频帧中，选择观测值最大的视频帧作为初始运动周期的起始视频帧k(0)。
S10312、根据所述起始视频帧k(0)输出定格动画的视频帧序列的第一帧为k(0)+β*M(0)，其中β是期望输出姿态在整个初始运动周期M(0)内所有姿态中的位置，β的取值在区间[0,1]，0表示整个运动周期中的第一个姿态，1表示整个运动周期中的最后一个姿态；
S10313、在上一个周期节点k(i-1)之后的连续两个初始运动周期范围内的视频帧中，选择观测值最大的视频帧作为下一个运动周期节点k(i)，i是正整数；所述连续两个初始运动周期范围内的视频帧具体可以是第3/4初始运 动周期M(0)至5/4初始运动周期M(0)之间的视频帧。
因为知道了上一个周期节点k(i-1)之后，下一个运动周期的长度就更新了，下一个运动周期长度应跟上一个运动周期长度接近，所以下一个周期节点应该出现在k(i-1)+3/4*M(0)到k(i-1)+5/4*M(0)范围内。即，假设运动周期长度不变时，一个运动周期之后的周期节点在半个运动周期的范围。
S10314、根据下一个周期节点k(i)计算第i个运动周期M(i)。
S10314具体可以为：第i个运动周期M(i)＝k(i)-k(i-1)。
为了使相邻的运动周期变化不太剧烈，S10314具体也可以为：第i个运动周期M(i)＝M(i)'*x+M(i-1)*(1-x)，其中，M(i)'＝k(i)'-k(i-1)，k(i)'＝k(i)，1＞x＞0，且x表示相邻两个运动周期长度的变化快慢，例如x＝0.5,M(i)＝M(i)'*0.5+M(i-1)*0.5；利用这种办法计算的M(i)，会相对平缓的改变，而不会剧烈变化，更符合周期性运动的特征；根据得到的第i个运动周期M(i)，重新计算下一个周期节点k(i)＝k(i-1)+M(i)。从而得到更准确的下一个周期节点k(i)。
S10315、选择第k(i)+β*M(i)帧输出到定格动画的视频帧序列中。
在本申请一实施例中，所述针对连续的预设数量运动周期，分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列具体可以包括以下步骤：
S10321、在第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧中，选择观测值最大的视频帧作为初始运动周期的起始视频帧k(0)，并作为起始周期节点k(0)；所述第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧具体可以是第1/2初始运动周期M(0)至第3/2初始运动周期M(0)之间的视频帧。
S10322、根据起始视频帧k(0)输出定格动画的视频帧序列的第一帧为k(0)+β(0)*M(0)，其中β(0)是初始的输出姿态在整个初始运动周期M(0)内所有姿态中的位置，β(0)的取值在区间[0,1]，0表示整个运动周期中的第一个姿态，1表示整个运动周期中的最后一个姿态；
S10323、在上一个周期节点k(i-1)之后的连续两个初始运动周期范围内的视频帧中，选择观测值最大的视频帧作为下一个运动周期节点k(i)，i是正 整数；所述连续两个初始运动周期范围内的视频帧具体可以是第3/4初始运动周期M(0)至第5/4初始运动周期M(0)之间的视频帧。
S10324、根据下一个周期节点k(i)计算第i个运动周期M(i)。
S10324具体可以为：第i个运动周期M(i)＝k(i)-k(i-1)。
为了使相邻的运动周期变化不太剧烈，S10324具体也可以为：第i个运动周期M(i)＝M(i)'*x+M(i-1)*(1-x)，其中，M(i)'＝k(i)'-k(i-1)，k(i)'＝k(i)，1＞x＞0，且x表示相邻两个运动周期长度的变化快慢；例如x＝0.5,M(i)＝M(i)'*0.5+M(i-1)*0.5；利用这种办法计算的M(i)，会相对平缓的改变，而不会剧烈变化，更符合周期性运动的特征；根据得到的第i个运动周期M(i)，重新计算下一个周期节点k(i)＝k(i-1)+M(i)。从而得到更准确的下一个周期节点k(i)。
S10325、选择第k(i)+β(i)*M(i)帧输出到定格动画的视频帧序列中，其中，当目标的周期性运动是向前进时，则β(i)＝β (i-1)+1/M(i)，如果β(i)＞1，则β(i)＝β(i)-1，即输出到最后一个姿态了，再回到运动周期中的第一个姿态，当目标的周期性运动是向后退时，则β(i)＝β (i-1)-1/M(i)，如果β(i)＜0，则β(i)＝β(i)+1，即输出到第一个姿态了，再回到运动周期中的最后一个姿态。
S104、根据定格动画的视频帧序列生成定格动画视频。
在本申请一实施例中，S104具体可以包括以下步骤：
根据定格动画的视频帧序列中视频帧在所述视频中出现的顺序按预设规则排序，依次播放，生成定格动画视频。
所述预设规则可以为：顺序或逆序，或其他自定义的排序方法。
在本申请一实施例中，定格动画视频中相邻的视频帧的时间值之差可以为固定值也可以按预设规律变化；例如，时间值之差可以预设固定值为0.5秒，或者其他变化数值。
请参阅图5，本申请一实施例提供的定格动画的生成装置可以是运行于计算机设备或相机中的一个计算机程序或一段程序代码，例如该定格动画的生成装置为一个应用软件；该定格动画的生成装置可以用于执行本申请实施例提供的定格动画的生成方法中的相应步骤。本申请一实施例提供的定格动画的生成装置包括：
获取模块11，用于获取包含目标周期性运动的视频，所述视频包含连续的预设数量运动周期；
确定模块12，用于采用姿态估计算法确定所述视频中目标的初始运动周期；
抽取模块13，用于根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对所述连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列；
生成模块14，用于根据定格动画的视频帧序列生成定格动画视频。
本申请一实施例提供的定格动画的生成装置与本申请一实施例提供的定格动画的生成方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的定格动画的生成方法的步骤。
图6示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的定格动画的生成方法的步骤。
计算机设备可以是服务器、台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。
在本申请实施例中，由于采用姿态估计算法确定所述视频中目标的初始运动周期；根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在不同的运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列；根据定格动画的视频帧序列生成定格动画视频。因此操作简 单，不需要人工挑选视频帧，采用算法自动抽帧，大大提高了生成定格动画的效率，且鲁棒性强。
应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

  1. 一种定格动画的生成方法，其特征在于，所述方法包括：
    S101、获取包含目标周期性运动的视频，所述视频包含连续的预设数量运动周期；
    S102、采用姿态估计算法确定所述视频中目标的初始运动周期；
    S103、根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对所述连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列；
    S104、根据定格动画的视频帧序列生成定格动画视频。
  2. 如权利要求1所述的方法，其特征在于，所述视频是通过固定视角拍摄得到的。
  3. 如权利要求1所述的方法，其特征在于，S101之后，所述方法还包括：
    S1012、采用目标识别和跟踪算法，从起始点开始识别并跟踪目标，对视频帧中的目标进行透视变换操作，使目标在每个视频帧中保持在相同位置，和/或，使目标在每个视频帧中保持相同大小。
  4. 如权利要求3所述的方法，其特征在于，S101之后或S1012之前，所述方法还包括：
    手动或自动选择所述视频中目标开始周期性运动之后的其中一帧视频帧作为执行S102或S1012的起始点。
  5. 如权利要求1所述的方法，其特征在于，S102具体包括：
    S1021、在所述视频中抽取连续预设数量的视频帧；
    S1022、针对所述连续预设数量的视频帧，采用目标识别和跟踪算法识别每一帧视频帧中周期性运动的目标的关键点，每个关键点用坐标值来表示；
    S1023、根据所述连续预设数量的视频帧中的目标的关键点，计算每个视频帧中预设两个关键点的观测值V(i)，得到所述视频的观测值序列，所述观测值为所述目标的预设两个关键点在视频帧中的距离；
    S1024、对观测值序列进行离散傅里叶变换，找到响应最大的频率F，则初始观测值的周期为N/F，其中，N是所述连续预设数量的视频帧的数量；
    S1025、根据所述初始观测值的周期得到初始运动周期M(0)。
  6. 如权利要求1所述的方法，其特征在于，所述针对所述连续的预设数量 运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，得到定格动画的视频帧序列具体包括：
    S10311、在第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧中，选择观测值最大的视频帧作为初始运动周期的起始视频帧k(0)，并作为起始运动周期节点k(0)；
    S10312、根据所述起始视频帧k(0)输出定格动画的视频帧序列的第一帧为k(0)+β*M(0)，其中β是期望输出姿态在整个初始运动周期M(0)内所有姿态中的位置，β的取值在区间[0,1]，0表示整个运动周期中的第一个姿态，1表示整个运动周期中的最后一个姿态；
    S10313、在上一个周期节点k(i-1)之后的连续两个初始运动周期范围内的视频帧中，选择观测值最大的视频帧作为下一个运动周期节点k(i)，i是正整数；
    S10314、根据下一个周期节点k(i)计算第i个运动周期M(i)；
    S10315、选择第k(i)+β*M(i)帧输出到定格动画的视频帧序列中。
  7. 如权利要求1所述的方法，其特征在于，所述针对所述连续的预设数量运动周期，分别在不同的运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列具体包括：
    S10321、在第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧中，选择观测值最大的视频帧作为初始运动周期的起始视频帧k(0)，并作为起始周期节点k(0)；
    S10322、根据起始视频帧k(0)输出定格动画的视频帧序列的第一帧为k(0)+β(0)*M(0)，其中β(0)是初始的输出姿态在整个初始运动周期M(0)内所有姿态中的位置，β(0)的取值在区间[0,1]，0表示整个运动周期中的第一个姿态，1表示整个运动周期中的最后一个姿态；
    S10323、在上一个周期节点k(i-1)之后的连续两个初始运动周期范围内的视频帧中，选择观测值最大的视频帧作为下一个运动周期节点k(i)，i是正整数；
    S10324、根据下一个周期节点k(i)计算第i个运动周期M(i)；
    S10325、选择第k(i)+β(i)*M(i)帧输出到定格动画的视频帧序列中，其中， 当目标的周期性运动是向前进时，则β(i)＝β (i-1)+1/M(i)，如果β(i)＞1，则β(i)＝β(i)-1，当目标的周期性运动是向后退时，则β(i)＝β (i-1)-1/M(i)，如果β(i)＜0，则β(i)＝β(i)+1。
  8. 如权利要求6或7所述的方法，其特征在于，
    所述第一个初始运动周期开始后至第二个初始运动周期结束之前的视频帧具体是第1/2初始运动周期M(0)至第3/2初始运动周期M(0)之间的视频帧；
    所述连续两个初始运动周期范围内的视频帧具体是第3/4初始运动周期M(0)至第5/4初始运动周期M(0)之间的视频帧。
  9. 如权利要求6或7所述的方法，其特征在于，所述根据下一个周期节点k(i)计算第i个运动周期M(i)具体为：第i个运动周期M(i)＝k(i)-k(i-1)；
    或者，
    根据下一个周期节点k(i)计算第i个运动周期M(i)具体为：
    第i个运动周期M(i)＝M(i)'*x+M(i-1)*(1-x)，其中，M(i)'＝k(i)'-k(i-1)，k(i)'＝k(i)，1＞x＞0，且x表示相邻两个运动周期长度的变化快慢；
    根据得到的第i个运动周期M(i)，重新计算下一个周期节点k(i)＝k(i-1)+M(i)。
  10. 如权利要求1所述的方法，其特征在于，S104具体包括：
    根据定格动画的视频帧序列中视频帧在所述视频中出现的顺序按预设规则排序，依次播放，生成定格动画视频。
  11. 一种定格动画的生成装置，其特征在于，所述装置包括：
    获取模块，用于获取包含目标周期性运动的视频，所述视频包含连续的预设数量运动周期；
    确定模块，用于采用姿态估计算法确定所述视频中目标的初始运动周期；
    抽取模块，用于根据所述初始运动周期确定起始周期节点，根据起始周期节点确定后续的周期节点，针对所述连续的预设数量运动周期，分别在每个运动周期中抽取一个相同姿态对应的视频帧，或者分别在每个运动周期中按运动的顺序或逆序分别抽取一个不同的姿态对应的视频帧，得到定格动画的视频帧序列；
    生成模块，用于根据定格动画的视频帧序列生成定格动画视频。
  12. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的定格动画的生成方法的步骤。
  13. 一种计算机设备，包括：
    一个或多个处理器；
    存储器；以及
    一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的定格动画的生成方法的步骤。
PCT/CN2021/128254 2020-11-03 2021-11-02 定格动画的生成方法、计算机可读存储介质及计算机设备 WO2022095859A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21888556.4A EP4242971A4 (en) 2020-11-03 2021-11-02 METHOD FOR GENERATING A VOLUME ANIMATION, COMPUTER READABLE RECORDING MEDIUM AND COMPUTER DEVICE
JP2023526556A JP2023548843A (ja) 2020-11-03 2021-11-02 ストップモーションアニメーションの作成方法、コンピュータ可読記憶媒体及びコンピュータデバイス

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011210963.6A CN112465937B (zh) 2020-11-03 2020-11-03 定格动画的生成方法、计算机可读存储介质及计算机设备
CN202011210963.6 2020-11-03

Publications (1)

Publication Number Publication Date
WO2022095859A1 true WO2022095859A1 (zh) 2022-05-12

Family

ID=74834912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/128254 WO2022095859A1 (zh) 2020-11-03 2021-11-02 定格动画的生成方法、计算机可读存储介质及计算机设备

Country Status (4)

Country Link
EP (1) EP4242971A4 (zh)
JP (1) JP2023548843A (zh)
CN (1) CN112465937B (zh)
WO (1) WO2022095859A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465937B (zh) * 2020-11-03 2024-03-15 影石创新科技股份有限公司 定格动画的生成方法、计算机可读存储介质及计算机设备
CN113038010B (zh) * 2021-03-12 2022-11-29 Oppo广东移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
CN114494534B (zh) * 2022-01-25 2022-09-27 成都工业学院 基于动作点捕捉分析的帧动画自适应显示方法及系统
CN114612775A (zh) * 2022-03-04 2022-06-10 北京科技大学设计研究院有限公司 一种基于机器视觉的棒材全线跟踪方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036536A (zh) * 2013-03-07 2014-09-10 腾讯科技（深圳）有限公司 一种定格动画的生成方法和装置
US9242379B1 (en) * 2015-02-09 2016-01-26 The Trustees Of The University Of Pennysylvania Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
CN108712607A (zh) * 2018-05-16 2018-10-26 电子科技大学中山学院 一种定格动画的制作方法
CN109714629A (zh) * 2019-01-30 2019-05-03 南华大学 一种定格动画的生成方法和生成系统
CN112465937A (zh) * 2020-11-03 2021-03-09 影石创新科技股份有限公司 定格动画的生成方法、计算机可读存储介质及计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4860096A (en) * 1988-07-21 1989-08-22 Ball Corporation Motion analysis tool and method therefor
US10038858B1 (en) * 2017-03-31 2018-07-31 Intel Corporation Automated stop-motion animation
CN108446669B (zh) * 2018-04-10 2023-01-10 腾讯科技（深圳）有限公司 运动识别方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036536A (zh) * 2013-03-07 2014-09-10 腾讯科技（深圳）有限公司 一种定格动画的生成方法和装置
US9242379B1 (en) * 2015-02-09 2016-01-26 The Trustees Of The University Of Pennysylvania Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
CN108712607A (zh) * 2018-05-16 2018-10-26 电子科技大学中山学院 一种定格动画的制作方法
CN109714629A (zh) * 2019-01-30 2019-05-03 南华大学 一种定格动画的生成方法和生成系统
CN112465937A (zh) * 2020-11-03 2021-03-09 影石创新科技股份有限公司 定格动画的生成方法、计算机可读存储介质及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4242971A4 *

Also Published As

Publication number Publication date
CN112465937B (zh) 2024-03-15
CN112465937A (zh) 2021-03-09
EP4242971A1 (en) 2023-09-13
EP4242971A4 (en) 2024-05-08
JP2023548843A (ja) 2023-11-21

Similar Documents

Publication Publication Date Title
WO2022095859A1 (zh) 定格动画的生成方法、计算机可读存储介质及计算机设备
WO2020052476A1 (zh) 特征点定位方法、存储介质和计算机设备
WO2020199480A1 (zh) 一种人体动作的识别方法及设备
US10275654B1 (en) Video microsummarization
WO2021139583A1 (zh) 自动调整视角的全景视频渲染方法、存储介质及计算机设备
US10319410B1 (en) Video story assembly
CN109685121B (zh) 图像检索模型的训练方法、图像检索方法、计算机设备
US11636610B2 (en) Determining multiple camera positions from multiple videos
US20190205625A1 (en) Facial expression recognition utilizing unsupervised learning
CN108875487B (zh) 行人重识别网络的训练及基于其的行人重识别
JP7112595B2 (ja) 画像処理方法及びその装置、コンピュータ機器並びにコンピュータプログラム
JP2017529620A (ja) 姿勢推定のシステムおよび方法
JP6054771B2 (ja) 背景モデル構築装置、背景モデル構築方法、およびプログラム
CN112584196A (zh) 视频插帧方法、装置及服务器
WO2017054652A1 (zh) 一种对图像进行关键点定位的方法和装置
CN109919190A (zh) 直线段匹配方法、装置、存储介质及终端
Yang et al. MetaMP: Metalearning-based multipatch image aesthetics assessment
CN110856014B (zh) 动态图像生成方法、装置、电子设备及存储介质
WO2017096859A1 (zh) 照片的处理方法及装置
CN115917597A (zh) 使用注意力模型将2d表示提升到3d
CN115022549B (zh) 拍摄构图方法、装置、计算机设备和存储介质
CN114443870A (zh) 人像数据库建立方法、人像检索方法及装置、介质
CN111598806B (zh) 图像滤波方法和装置、电子设备及存储介质
Han et al. Lightweight generative network for image inpainting using feature contrast enhancement
Niu et al. Multi-view 3D Smooth Human Pose Estimation based on Heatmap Filtering and Spatio-temporal Information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21888556

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023526556

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021888556

Country of ref document: EP

Effective date: 20230605