WO2020029523A1 - 视频生成方法、装置、电子设备及存储介质 - Google Patents

视频生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2020029523A1
WO2020029523A1 PCT/CN2018/124067 CN2018124067W WO2020029523A1 WO 2020029523 A1 WO2020029523 A1 WO 2020029523A1 CN 2018124067 W CN2018124067 W CN 2018124067W WO 2020029523 A1 WO2020029523 A1 WO 2020029523A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
user
action
evaluation information
music
Prior art date
Application number
PCT/CN2018/124067
Other languages
English (en)
French (fr)
Inventor
韩旭
Original Assignee
北京微播视界科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京微播视界科技有限公司 filed Critical 北京微播视界科技有限公司
Publication of WO2020029523A1 publication Critical patent/WO2020029523A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Definitions

  • the present disclosure provides a video generation method, which includes:
  • a video recording resource is obtained, and the video recording resource includes music and humanoid standard action pictures corresponding to each playing node of the music;
  • Target video generation based on video recording resources, user videos, and action evaluation information for each user action includes:
  • adding the action evaluation information of each user action to the corresponding video frame image in the user video includes:
  • the apparatus further includes:
  • the computer program instructions are stored in the memory
  • the processor is configured to read computer program instructions to execute the video generation method shown in the first aspect of the present disclosure or any optional implementation manner of the first aspect.
  • FIG. 6 is a schematic flowchart of a video generating method according to an example of the present disclosure.
  • FIG. 7 is a schematic structural diagram of a video generating apparatus provided in an embodiment of the present disclosure.
  • a video recording button may be set on a user interface of an application program in a terminal device, such as a virtual video such as “dance video shooting” or “personal video shooting” displayed on the user interface. Press the key.
  • a virtual video such as “dance video shooting” or “personal video shooting” displayed on the user interface. Press the key.
  • the terminal device receives the user's video recording trigger operation.
  • Step S120 play music, collect user videos during playback, and display corresponding humanoid standard action pictures when playing to each playback node;
  • a user video is collected during the playing of music, and a humanoid standard action picture is displayed to the user, so that the user can make a corresponding action based on the picture, and by comparing the user action with the standard action, Obtain the user's motion evaluation information, so that the target video can be generated based on the video recording resources, the user's video, and the motion evaluation information.
  • the recording of videos with user dance actions is realized, which provides users with a richer choice of video recording methods, which can effectively enhance the user's sense of participation and use experience, and better meet the needs of users.
  • the user can know whether his motion meets the standard based on the evaluation information, and further improve the user's perception of use.
  • the specific display content (such as a song name list, etc.) in the music selection interface may be content acquired by the terminal device from the server and stored locally, or after receiving the user ’s video recording trigger operation.
  • the video recording resource may be a resource that has been obtained from the server and stored locally, or a video recording resource obtained from the server after receiving a music selection operation.
  • obtaining a video recording resource when a user's video recording trigger operation is received may include:
  • a user performs a video recording trigger operation when playing a video or entering a video playback interface, it indicates that the user is likely to want to perform video recording with the music corresponding to the current video, so At this time, the video can be recorded directly based on the video recording resources corresponding to the current video, so that the user can quickly enter the video recording.
  • before playing music it may be determined that the user is within a video shooting range.
  • the humanoid standard action picture is a picture used to guide the user to complete the dance action.
  • the transparency of the humanoid standard action picture is too low, it is likely to occlude the user, affecting the effect of the target video, and the user's satisfaction will decrease. Therefore, by using the humanoid standard action picture in the target video, The transparency is adjusted from the first transparency to the second transparency when instructing the user to complete the dance movement, which can effectively reduce the impact of the action picture on the user's movement in the target video, improve user satisfaction, and better meet the actual application needs.
  • Adjust to the first transparency no need to adjust the transparency when the target video is generated; if the transparency of the humanoid standard action picture in the configured video recording resources is neither the first transparency nor the second transparency, then the resources are obtained Later, before displaying the acquired pictures, the transparency of the humanoid standard action picture needs to be adjusted to the first transparency, and when generating the target video, the humanoid standard action picture in the resource needs to be adjusted first.
  • the video frame image corresponding to each playback node in the generated target video carries the corresponding motion evaluation information, so that the user can learn the effect of his own dance motion and understand which motions by playing the target video. Completed better, what actions need to be improved, etc.
  • the action evaluation information of the current user action can be displayed on the display interface of the corresponding humanoid action picture, and the corresponding special effect information can also be displayed to the user based on the action evaluation information. Users can learn the effect of their actions based on the action evaluation information and / or special effect information. In addition, this way can effectively increase the user ’s sense of participation in recording video, make the recording process more interesting, and improve the user ’s perception of use.
  • the comprehensive evaluation information of the user video may also be determined according to the motion evaluation information of all user actions;
  • the video publishing platform may be the platform corresponding to the application itself.
  • the video publishing platform may be a Douyin video publishing platform, a third-party publishing platform, or other applications, such as , Users can share the target video to others through other applications.
  • the user may only need to perform the release trigger operation, such as clicking the target video release button, etc., and if it is another release platform or application, after the user performs the release trigger operation,
  • the platform options and / or application options can be shown to the user, and the user selects the specific platform or application that they want to publish from the options.
  • the evaluation information determining module 430 is configured to determine the motion evaluation information of each user action according to the degree of matching between the user action in the video frame image corresponding to each playback node in the user video and the standard action in the corresponding humanoid standard action picture. ;
  • the video generating device collects user videos during playing music, and displays a standard action picture of a human figure to the user, so that the user can make corresponding actions based on the pictures, and by comparing the user action with the standard action, Obtain the user's motion evaluation information, so that the target video can be generated based on the video recording resources, the user's video, and the motion evaluation information.
  • the recording of videos with user dance actions is realized, which provides users with a richer choice of video recording methods, which can effectively enhance the user's sense of participation and use experience, and better meet the needs of users.
  • the user can know whether his motion meets the standard based on the evaluation information, and further improve the user's perception of use.
  • the target video generating module 440 may generate a target video based on music, humanoid standard action pictures corresponding to each playing node of the music, and transparency of the second transparency, user videos, and motion evaluation information of each user action, where the second transparency is greater than First transparency.
  • the first display module is used to display comprehensive evaluation information after the music playback is completed.
  • the video recording resource further includes special effect information corresponding to the motion evaluation information, and the special effect information includes animation special effects and / or sound special effects;
  • the video generating device 400 may further include:
  • the control displays the music selection interface
  • the recording resource acquisition module 410 may acquire a video recording resource corresponding to a video currently playing on the video playback interface when a user's video recording trigger operation is received through the video playback interface.
  • An embodiment of the present disclosure further provides a terminal device, as shown in FIG. 8.
  • the terminal device 2000 may include, but is not limited to, a processor 2001, a memory 2002, and a communication bus 2003 for connecting different components of the device to implement communication between the different components.
  • the memory 2002 may store computer programs and data, and the processor 2001 may perform corresponding actions and processes by calling the computer program in the memory 2002 to implement the video generating method in the embodiment of the present disclosure.
  • the structure of the terminal device 2000 shown in the figure does not constitute a limitation to the embodiments of the present disclosure.
  • the terminal device 2000 may further include a communication component 2006 configured to implement communication interaction between the terminal device 2000 and other devices (for example, a terminal device, a storage device).
  • the communication component 2006 may include, but is not limited to, a wired communication component, a wireless communication component (for example, a mobile network communication unit such as 2G / 3G / 4G / 5G, Bluetooth, WIFI communication unit), a USB communication component, an audio component, a video component, and the like.
  • the terminal device in the embodiment of the present disclosure may be specifically implemented as including, but not limited to, a smart phone, a smart television, a Personal Digital Assistant (PDA), a tablet computer, a desktop computer, and a portable terminal device (such as a portable Computer), automotive equipment, etc.
  • PDA Personal Digital Assistant
  • a tablet computer such as a smart television
  • desktop computer such as a laptop computer
  • portable terminal device such as a portable Computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种视频生成方法、装置、电子设备及存储介质。该方法包括:当接收到用户的视频录制触发操作时,获取视频录制资源,视频录制资源包括音乐以及与音乐的各播放节点对应的人形标准动作图片;播放音乐,并在播放过程中采集用户视频,在播放至每个播放节点时,展示对应的人形标准动作图片;根据用户视频中与每个播放节点对应的视频帧图像中的用户动作和对应的人形标准动作图片中的标准动作的匹配程度,确定每个用户动作的动作评价信息;根据视频录制资源、用户视频和每个用户动作的动作评价信息,生成目标视频。根据本公开的方案,为用户提供了更多的视频录制方式的选择,提高了用户在视频录制时的参与感,有效提升了用户的体验。

Description

视频生成方法、装置、电子设备及存储介质
相关申请的交叉引用
本公开要求于2018年8月10日在中国国家知识产权局提交的申请号为201810911033.X的中国专利申请的权益,其全部内容通过引用整体并入本文。
技术领域
本公开涉及终端技术,具体涉及一种视频生成方法、装置、电子设备及存储介质。
背景技术
随着科技的快速发展以及人们生活水平的提高,终端设备(如智能手机、平板电脑等)已经成为人们生活中不可或缺的一部分,用户可以在终端设备上安装终端应用程序(APP,Application)来丰富其使用终端的体验。
随着APP的种类及数量的急速增加,用户对APP的要求也越来越多。为了更好地满足用户的需求,现有的APP也开始越来越注重用户的交互体验,很多的社交应用平台也应运而生。通过这些平台,用户能够自己录制视频并上传,并能够观看到各种类型的视频,但现有的视频录制方式比较单一,不能够满足用户的娱乐需求,且用户的参与感也较低。
发明内容
第一方面,本公开提供了一种视频生成方法,该方法包括:
当接收到用户的视频录制触发操作时,获取视频录制资源,视频录制资源包括音乐以及与音乐的各播放节点对应的人形标准动作图片;
播放音乐,并在播放过程中采集用户视频,在播放至每个播放节点时, 展示对应的人形标准动作图片;
根据用户视频中与每个播放节点对应的视频帧图像中的用户动作和对应的人形标准动作图片中的标准动作的匹配程度,确定每个用户动作的动作评价信息;
根据视频录制资源、用户视频和每个用户动作的动作评价信息,生成目标视频。
在一种可选实施方式中,展示的对应的标准动作图片是透明度为第一透明度的人形标准动作图片;
根据视频录制资源、用户视频和每个用户动作的动作评价信息生成目标视频包括:
根据音乐、与音乐的各播放节点对应的且透明度为第二透明度的人形标准动作图片、用户视频和每个用户动作的动作评价信息,生成目标视频,其中,第二透明度大于第一透明度。
在一种可选实施方式中,根据视频录制资源、用户视频和每个用户动作的动作评价信息生成目标视频包括:
将视频录制资源中的人形标准动作图片添加到用户视频中的对应视频帧图像中;
根据音乐、添加人形标准动作图片后的用户视频和用户动作的动作评价信息,生成目标视频。
在一种可选实施方式中,根据视频录制资源、用户视频和每个用户动作的动作评价信息生成目标视频包括:
将每个用户动作的动作评价信息添加到用户视频中的对应视频帧图像中;
根据视频录制资源和添加动作评价信息后的用户视频,生成目标视频。
在一种可选实施方式中,在确定每个用户动作的动作评价信息之后,根据每个用户动作的动作评价信息,确定用户视频的综合评价信息,
根据视频录制资源和添加动作评价信息后的用户视频生成目标视频包括:根据视频录制资源、添加动作评价信息后的用户视频、以及综合评价信息,生成目标视频。
在一种可选实施方式中,该方法还包括:在音乐播放完成之后,展示综 合评价信息。
在一种可选实施方式中,视频录制资源还包括与动作评价信息对应的特效信息,特效信息包括动画特效和/或音效特效,
在确定每个用户动作的动作评价信息后,将每个用户动作的动作评价信息和/或每个用户动作的动作评价信息所对应的特效信息展示到对应的人形标准动作图片的展示界面。
在一种可选实施方式中,将每个用户动作的动作评价信息添加到用户视频中的对应视频帧图像中包括:
将每个用户动作的动作评价信息、以及与每个用户动作的动作评价信息对应的特效信息添加到用户视频中的对应视频帧图像中;
根据视频录制资源和添加动作评价信息后的用户视频生成目标视频,包括:
根据视频录制资源、以及添加动作评价信息和特效信息后的用户视频,生成目标视频。
在一种可选实施方式中,在播放音乐之前,可以确定用户在视频拍摄范围内。
在一种可选实施方式中,在生成目标视频之后,还可以执行下列操作:
当接收到用户的目标视频发布操作时,将目标视频发布至视频发布平台;或者,
当接收到用户的重拍触发操作时,基于视频录制资源,重新生成目标视频。
在一种可选实施方式中,当接收到用户的视频录制触发操作时获取视频录制资源,包括:
当接收到用户的视频录制触发操作时,控制显示音乐选择界面;
通过音乐选择界面,获取用户的音乐选择操作;
根据音乐选择操作,获取视频录制资源。
在一种可选实施方式中,当接收到用户的视频录制触发操作时获取视频录制资源,包括:
当通过视频播放界面接收到用户的视频录制触发操作时,获取视频播放 界面当前播放的视频所对应的视频录制资源。
第二方面,本公开提供了一种视频生成装置,该装置包括:
录制资源获取模块,用于在接收到用户的视频录制触发操作时,获取视频录制资源,视频录制资源包括音乐以及与音乐的各播放节点对应的人形标准动作图片;
视频采集模块,用于播放音乐,并在播放过程中采集用户视频,在播放至每个播放节点时,展示对应的人形标准动作图片;
评价信息确定模块,用于根据用户视频中与每个播放节点对应的视频帧图像中的用户动作和对应的人形标准动作图片中的标准动作的匹配程度,确定每个用户动作的动作评价信息;
目标视频生成模块,用于根据视频录制资源、用户视频和每个用户动作的动作评价信息,生成目标视频。
在一种可选实施方式中,视频采集模块展示透明度为第一透明度的人形标准动作图片;
目标视频生成模块根据音乐、与音乐的各播放节点对应且透明度为第二透明度的人形标准动作图片、用户视频和每个用户动作的动作评价信息,生成目标视频,其中,第二透明度大于第一透明度。
在一种可选实施方式中,目标视频生成模块被配置成:
将视频录制资源中的人形标准动作图片添加到用户视频中的对应视频帧图像中;
根据音乐、添加人形标准动作图片后的用户视频和用户动作的动作评价信息,生成目标视频。
在一种可选实施方式中,目标视频生成模块被配置成:将每个用户动作的动作评价信息添加到用户视频中的对应视频帧图像中;
根据视频录制资源和添加动作评价信息后的用户视频,生成目标视频。
在一种可选实施方式中,评价信息确定模块还被配置成:
在确定每个用户动作的动作评价信息之后,根据每个用户动作的动作评价信息,确定用户视频的综合评价信息;
目标视频生成模块被配置成:根据视频录制资源、添加动作评价信息后 的用户视频、以及综合评价信息,生成目标视频。
在一种可选实施方式中,该装置还包括:
第一展示模块,用于在确定用户视频的综合评价信息之后,且在音乐播放完成之后,展示综合评价信息。
在一种可选实施方式中,视频录制资源还包括与动作评价信息对应的特效信息,特效信息包括动画特效和/或音效特效;该装置还包括:
第二展示模块,用于在确定每个用户动作的动作评价信息后,将每个用户动作的动作评价信息和/或每个用户动作的动作评价信息所对应的特效信息展示到对应的人形标准动作图片的展示界面。
在一种可选实施方式中,目标视频生成模块被配置成:将每个用户动作的动作评价信息以及与每个用户动作的动作评价信息对应的特效信息添加到用户视频中的对应视频帧图像中;
目标视频生成模块被配置成:根据视频录制资源、以及添加动作评价信息和特效信息后的用户视频,生成目标视频。
在一种可选实施方式中,视频采集模块还被配置成:
在播放音乐之前,确定用户在视频拍摄范围内。
在一种可选实施方式中,该装置还包括:
目标视频发布模块,用于在生成目标视频之后,当接收到用户的目标视频发布操作时,将目标视频发布至视频发布平台。
在一种可选实施方式中,该装置还包括:
重拍模块,用于在生成目标视频之后,在接收到用户的重拍触发操作时,基于视频录制资源,重新生成目标视频。
在一种可选实施方式中,录制资源获取模块被配置成:
当接收到用户的视频录制触发操作时,控制显示音乐选择界面;
通过音乐选择界面,获取用户的音乐选择操作;
根据音乐选择操作,获取视频录制资源。
在一种可选实施方式中,录制资源获取模块被配置成:
当通过视频播放界面接收到用户的视频录制触发操作时,获取视频播放界面当前播放的视频所对应的视频录制资源。
第三方面,本公开提供了一种电子设备,包括存储器和处理器,
其中,存储器中存储有计算机程序指令;
处理器用于读取计算机程序指令,以执行本公开第一方面或第一方面的任一可选实施方式中所示的视频生成方法。
第四方面,本公开提供了一种计算机可读存储介质,该存储介质中存储有计算机程序指令,当计算机程序指令被计算机执行时实现本公开第一方面或第一方面任一可选实施方式中所示的视频生成方法。
根据本公开的实施例,在视频录制的过程中,用户能够依据展示的图片中的标准动作做出动作,完成带有舞蹈动作的视频的录制,能够有效提升用户的参与感和使用体验,为用户提供了更加丰富的视频录制方式的选择,更好地满足了用户的需要。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对本公开实施例描述中所需要使用的附图作简单地介绍。
图1为本公开实施例中提供的一种视频生成方法的流程示意图;
图2a为本公开一示例中用于接收视频录制触发操作的界面示意图;
图2b为本公开另一示例中用于接收视频录制触发操作的界面示意图;
图3a为本公开一示例中展示人形标准动作图片的示意图;
图3b为本公开另一示例中展示人形标准动作图片的示意图;
图4为本公开一示例中音乐选择界面的示意图;
图5为本公开一示例中展示目标视频中视频帧图像的示意图;
图6为本公开一个示例中一种视频生成方法的流程示意图;
图7为本公开实施例中提供的一种视频生成装置的结构示意图;
图8为本公开实施例中提供的一种终端设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似 功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开,而不能解释为对本公开的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
图1示出了本公开一实施例中提供的一种视频生成方法的流程示意图,如图1所示,该方法具体可以由终端设备执行,该方法主要可以包括:
步骤S110:当接收到用户的视频录制触发操作时,获取视频录制资源,视频录制资源包括音乐以及与音乐的各播放节点对应的人形标准动作图片;
需要说明的是,用户的视频录制触发操作的具体形式不受限制,可以根据需要在对应的应用程序中配置,具体可以包括但不限于在应用程序的用户界面上指定位置的触发动作、用户的视频录制语音指令等。
例如,在一种可能的实现方式中,可以在终端设备中应用程序的用户界面上设置视频录制按键,如显示在应用户界面上的名称为“舞蹈视频拍摄”或者“个性视频拍摄”等虚拟按键,如图2a中所示的示例中,当用户触发到“舞蹈视频拍摄”相应的按键区域时,则终端设备接收到了用户的视频录制触发操作。
在另一种可能的实现方式中,可以终端设备中应用程序的用户界面上设置搜索按键或语音按键等,用户可以通过搜索或触发语音按键与设备进行语 音交互。如图2b所示的示例中,用户可以通过在应用程序界面的搜索
Figure PCTCN2018124067-appb-000001
区域通过输入“舞蹈视频录制”或“个性视频录制”等关键词(关键词可以根据需要进行配置)之后,通过点击
Figure PCTCN2018124067-appb-000002
按钮进行视频录制触发操作,也可以通过点击语音按钮
Figure PCTCN2018124067-appb-000003
说出视频录制指令,如“录制个性视频”或“录制舞蹈视频”等,此时,用户的语音指令即为用户的视频录制触发操作。
终端设备在接收到用户的视频录制触发操作后,获取录制视频所需的视频录制资源,音乐的各播放节点与各播放节点对应的人形标准动作图片可以是预配置的,每个播放节点对应一个动作图片。在实际应用中,可以根据每首音乐的音律或其它音乐特征配置人形标准动作图片与播放节点的对应关系。
其中,人形标准动作图片是指包含有虚拟人物形态的图片,虚拟人物形态具有预配置的标准动作,该标准动作即为用户需要完成的动作。
步骤S120:播放音乐,并在播放过程中采集用户视频,在播放至每个播放节点时,展示对应的人形标准动作图片;
在开始播放音乐时,通过启动终端设备的摄像头,开启拍摄界面,并开始拍摄,采集用户视频。每当播放至一个播放节点时,将该播放节点对应的人形标准动作图片展示在拍摄界面,以使用户能够根据图片中的标准动作做出舞蹈动作,获取到带有舞蹈动作的视频帧的图像。如图3a中所示,在开始播放音乐后,控制开启摄像头,开始拍摄用户图像,进行用户视频的录制,在播放至音乐节点时,将人形标准动作图片P显示到拍摄界面,用户需要根据图片中的动作完成相应的舞蹈动作。
在实际应用中,用户还可以根据需要控制音乐的暂停,音乐暂停时可以配置用户视频录制也暂停或者继续录制。
其中,展示人形标准动作图片的具体方式可以根据实际需要配置。例如,在可选的实施方式中,可以将图片固定显示在用户界面中预配置好的位置,或者控制图片按照预设的移动轨迹在拍摄界面中移动,如控制图片P从终端设备的底部按照预设轨迹移动至拍摄界面的指定位置后再消失。
在实际应用中,由于用户从看到人形标准动作图片到做出相应的动作,需要一定的反应时间,因此,可以在根据播放节点的实际播放时间,提前设定时间播放该节点对应的人形标准动作图片。该设定时间可以根据实际需要 配置,例如,可以设置为0.5秒,则在每个播放节点前的0.5秒播放对应的动作图片,也可以设置为人脑平均反应时间,或者,还可以通过统计不同用户在看到图片到做出反应的时间,根据统计的平均反应时间设置等。可以理解的是,人形标准动作图片的展示时长也可以根据需要配置。
在实际应用中,根据所配置的人形标准动作图片的展示方式、展示时间等因素的不同,不同播放节点所对应的不同人形标准动作图片也可能会同时展示在同一界面。如图3b中所示的示例中,人形标准图片可以从界面底部沿预设估计移动至界面顶部再消失,在界面上方的图片还未消失之前,下一播放节点对应的人形标准动作图片也已经展示出来,通过该方式为用户提供了充足的做动作的时间。
此外,在实际应用中,配置人形标准动作图片时,还可以根据男/女用户的不同,配置两套或多套人向标准动作图片组,在用户注册应用程序账号或进行应用程序设置时,还可以通过获取用户的性别或其它相关信息,为用户提供展示更加符合用户需求的图片,或者在视频录制时,为用户提供图片类型选项。例如,可以为女性用户提供图片中人形为着裙装等类型的人形标准动作图片等方案。
步骤S130:根据用户视频中与每个播放节点对应的视频帧图像中的用户动作和对应的人形标准动作图片中的标准动作的匹配程度,确定每个用户动作的动作评价信息;
其中,匹配程度可以为用户动作与标准动作的相似度。动作评价信息的具体形式可以根据需要配置,例如,可以是动作得分,如0-100分中的一具体分值,也可以是评价结果,如差、一般、好、很好、非常好等结果中的一个。在一可选的实施方式中,可以配置相似度在95%-100%之间时,动作评价信息为完美(perfect),相似度在90%-95%之间时,动作评价信息为很好(very good),在80%-90%之间,动作评价信息为好(good),相似度在70%-80%时,动作评价信息为可以(OK),相似度低于70%时,动作评价信息为错过(miss)。
在实际应用中,根据用户动作的保持时间的不同,采集的用户视频中与每个播放节点对应的视频帧图像可能是一帧图像,也可能是多帧图像。对于每个播放节点,根据其所对应的视频帧图像中的用户动作和与其对应的标准 动作的匹配程度,确定用户动作的动作评价信息时,可以是基于播放节点对应的任一帧图像中的用户动作,也可以是基于播放节点对应的每一帧图像,根据每一帧图像中的用户动作和标准动作的匹配程度,得到每一帧图像对应的动作评价信息,再基于每一帧图像对应的动作评价信息,确定出该播放节点对应的用户动作的动作评价信息。例如,可以综合每一帧图像对应的用户动作评价信息得到该播放节点对应的用户动作的动作评价信息,也可以将该播放节点对应的所有帧图像所对应的动作评价信息中最好的动作评价信息,作为该播放节点对应的用户动作的动作评价信息。
其中,用户动作的识别,以及确定用户动作与标准动作的匹配程度的具体方式,均可以采用现有技术实现,例如,可以基于图像的深度信息或者人体的关节点信息识别图像中的用户动作,可以基于用户动作中的关键点信息与标准动作中的关键点信息确定匹配程度或者通过基于训练得到神经元网络得到用户动作与标准动作的匹配程度,在此不再详细描述。
步骤S140:根据视频录制资源、用户视频和每个用户动作的动作评价信息,生成目标视频。
本公开实施例的视频生成方法,在播放音乐的过程中采集用户视频,并向用户展示人形标准动作图片,以使用户能够根据图片做出相应的动作,并通过比对用户动作与标准动作,得到用户的动作评价信息,从而能够根据视频录制资源、用户视频和动作评价信息,生成目标视频。通过该方案,实现了带有用户舞蹈动作的视频的录制,为用户提供了更加丰富的视频录制方式的选择,能够有效提升用户的参与感和使用体验,更好地满足了用户的需要。此外,通过生成每个用户的动作评价信息,使用户能够基于该评价信息了解到自己的动作是否符合标准,进一步提升用户的使用感知。
本公开的可选实施例中,当接收到用户的视频录制触发操作时获取视频录制资源可以包括:
当接收到用户的视频录制触发操作时,控制显示音乐选择界面;
通过音乐选择界面,获取用户的音乐选择操作;
根据音乐选择操作,获取视频录制资源。
在实际应用中,当在应用程序的用户界面接收到用户的视频录制触发操 作时,可以通过显示音乐选择界面,为用户提供音乐选择,用户可以通过该界面进行音乐选择操作,该操作用于指示用户选择的音乐,从而应用程序可以根据用户的选择操作来获取对应的视频录制资源。通过该方案,使用户能够根据自己的喜好来选择音乐,进一步提升了用户了使用感知。
其中,音乐选择界面即供用户选择音乐的用户界面,该界面的具体形式可以根据需要配置。例如,在可选的实施方式中,可以将所有可选音乐的名称以列表的形式显示,用户通过点击或其它方式来选择列表中的一音乐的名称完成音乐选择操作;还可以在界面中先显示音乐类型,由用户选择一音乐类型后,再将该类型下的所有音乐的名称显示给用户,供用户选择。在另一可选的实施方式中,还可以在音乐选择界面中为用户提供音乐搜索选项,根据用户的搜索指令(搜索关键词或语音搜索指令等)将相应的音乐搜索结果展示给用户供用户选择。
如图4中所示的一示例中,在接收到用户的视频录制触发操作时,可以通过音乐列表的形式将音乐名称(如图中所示的音乐1、音乐2等)展示到音乐选择界面,用户可以根据喜好从列表中选择音乐,以更好地提升用户体验。
本公开实施例中,音乐选择界面中的具体显示内容(如歌曲名称列表等)可以是终端设备从服务器端获取并已经存储在本地的内容,也可以是在接收到用户的视频录制触发操作后,向服务器端获取到的内容。同样的,视频录制资源可以是已经从服务端获取并存储在本地的资源,或者在接收到音乐选择操作后,向服务器端获取的视频录制资源。
在实际应用中,为了提高对用户操作的响应效率,使用户在离线状态下也能够录制视频,提升用户的体验,音乐选择界面中的具体显示内容以及视频录制资源可选为已经从服务器端获取并存储到本地的资源。
本公开的可选实施例中,当接收到用户的视频录制触发操作时获取视频录制资源可以包括:
当通过视频播放界面接收到用户的视频录制触发操作时,获取视频播放界面当前播放的视频所对应的视频录制资源。
在实际应用中,若用户在播放某个视频或者是在进入到某一视频的播放 界面时,进行了视频录制触发操作,则表明用户很可能想要以当前视频对应的音乐进行视频录制,因此,此时可以直接基于该当前视频对应的视频录制资源进行视频的录制,使用户能够方面快捷到进入到视频录制。
可以理解的是,在视频录制触发操作为通过视频播放界面接收到的操作时,也可以采用上述显示音乐选择界面的方式来确定视频录制资源。
本公开的可选实施例中,在播放音乐之前,可以确定用户在视频拍摄范围内。
为了保证目标视频的效果,在开始播放音乐之前,可以首先确定用户是否在视频拍摄范围内,在确定用户在拍摄范围内时,再开始拍摄,以使用户出现在视频帧图像中。在用户不在拍摄范围内时,可以通过语音提示或文本提示的方式对用户进行提示,以使用户进入到拍摄范围内。
需要说明的是,在实际应用中,可以是在确定视频录制资源后,自动开始音乐的播放,也可以是确定视频录制资源并在接收到用户的开始录制的触发动作时,再开始音乐的播放。不论采用哪种方式,在真正开始播放之前,均可以进行确定用户在视频拍摄范围内的判断,以保证目标视频的视频效果,提升用户的满意度。
本公开的可选实施例中,展示的对应的标准动作图片可以是透明度为第一透明度的人形标准动作图片;
根据视频录制资源、用户视频和每个用户动作的动作评价信息生成目标视频可以包括:
根据视频录制资源中的音乐、与音乐的各播放节点对应的且透明度为第二透明度的人形标准动作图片、用户视频和每个用户动作的动作评价信息,生成目标视频。
在实际应用中,第一透明度可选为零,即完全不透明,第二透明度设置为大于零的值即可,如可以设置为50%。
人形标准动作图片是用于指导用户完成舞蹈动作的图片,透明度越低,如完全不透明,用户越能够清楚的看清标准动作,以起到更好的指导作用。而生成的目标视频中,如果人形标准动作图片的透明度太低,则很可能会遮挡到用户,影响目标视频的效果,用户的满意度会下降,因此,通过将目标 视频中人形标准动作图片的透明度由指导用户完成舞蹈动作时的第一透明度调整为第二透明度,可有效降低动作图片对目标视频中用户动作的影响,提高用户满意度,更好地满足了实际应用需求。
在可选实施例中,第二透明度可选设置为小于100%,从而使用户能够根据目标视频中的人形标准动作图片和自己完成的动作,了解到自己的动作是否标准,进一步提升用户的使用体验。
如图5中所示的一示例中,图中示出了目标视频中的一帧的视频帧图像,该图像中展示出了用户动作H、人形标准动作图片P、以及特效信息(将在下文中具体描述)等。图5中所示出的人形标准的动作图片P与图3a中视频录制的过程中所展示的人形标准动作图片P是同一图片,图3a中图片的透明度为第一透明度,图5中图片的透明度为第二透明度,由两幅图中可以看出,第二透明度低于第一透明度,图3a中的透明度较低,能够在视频录制过程中为用户展示出更加清晰的指示动作,图5中的透明度较高,能够有效避免人形标准动作图片对用户图像的遮挡。可以理解的,图5中只是一示例,在实际应用中的效果会更加明显,提升了用户的使用体验。
需要说明的是,在音乐播放过程中所展示的人形标准动作图片和生成目录视频时所基于的人形标准动作图片,对应的都是视频录制资源中的人形标准动作图片,不同的只是在展示图片时和基于图片得到目标视频时,为了更好地满足实际需要,提升用户体验,可以对图片的透明度进行调整。
可以理解的是,在实际应用中,若配置的视频录制资源中人形标准动作图片的透明度为第一透明度,则在展示的时候无需对透明度进行调整,只需在生成目标视频时将视频录制资源的人形标准动作图片的透明度进行调整即可;若配置的视频录制资源中人形标准动作图片的透明度为第二透明度,则在获取到资源后,展示获取的图片之前需要将人形标准动作图片的透明度调整为第一透明度,在生成目标视频时则无需再进行透明度的调整;若配置的视频录制资源中人形标准动作图片的透明度为既不是第一透明度,也不是第二透明度,则在获取到资源后,展示获取的图片之前需要将人形标准动作图片的透明度调整为第一透明度,生成目标视频时也需要先对资源中的人形标准动作图片进行调整。
在本公开的一可选实施方式中,根据视频录制资源、用户视频和每个用户动作的动作评价信息生成目标视频可以包括:
将视频录制资源中的人形标准动作图片添加到用户视频中的对应视频帧图像中;
根据音乐、添加人形标准动作图片后的用户视频和用户动作的动作评价信息,生成目标视频。
通过该方式,将视频录制资源中的人形标准动作图片添加至所采集到的用户完成同一动作时的视频帧图像中,从而使用户能够在播放目标视频时能够在同一视频帧图像中同时看到标准动作和自己的动作,了解自己动作的完成情况,提升用户体验。如图5中所示的示例中,在得到目标视频后,用户可以播放该目标视频,在目标视频播放界面中,当音乐播放至播放节点时,用户能够同时看到标准动作图片P中的标准动作和用户视频中对应视频帧图像中自己完成的动作H。
本公开的可选实施例中,根据视频录制资源、用户视频和每个用户动作的动作评价信息生成目标视频可以包括:
将每个用户动作的动作评价信息添加到用户视频中的对应视频帧图像中;
根据视频录制资源和添加动作评价信息后的用户视频,生成目标视频。
通过该方案,使生成的目标视频中每个播放节点对应的视频帧图像中都携带有相应的动作评价信息,从而使用户能够通过播放目标视频了解到自己的舞蹈动作的效果,了解到哪些动作完成的较好,哪些动作需要改进等。
由前文描述可知,每个播放节点对应的视频帧图像可能为多帧的图像,在将每个用户动作的动作评价信息添加到对应的视频帧图像中时,可以将评价信息添加到对应的任一视频帧图像中,也可以添加到每一帧图像中,在动作评价信息是基于多帧图像中的一帧图像得到的时,还可以将动作评价信息添加到该一帧图像中。
本公开的可选实施例中,视频录制资源还可以包括与动作评价信息对应的特效信息,特效信息包括动画特效和/或音效特效;在确定每个用户动作的动作评价信息后,还可以将每个用户动作的动作评价信息和/或每个用户动作的动作评价信息所对应的特效信息展示到对应的人形标准动作图片的展示界 面。
在确定出每个用户动作的动作评价信息后,可以将当前用户动作的动作评价信息展示到所对应的人形动作图片的展示界面上,还可以根据动作评价信息向用户展示对应的特效信息,以使用户可以根据动作评价信息和/或特效信息了解到自身动作的完成效果,此外,通过该方式,能够有效增加用户录制视频的参与感,使录制过程更加有趣,提升了用户的使用感知。
其中,特效的具体形式可以根据需要配置,例如,可以是鲜花特效、动画特效、声音特效等等,不同的动作评价信息对应于不同的特效信息。如图3a中所示,在基于人形标准动作图片P中的标准动作与用户根据该图片做出的用户动作的匹配程度,确定出当前用户动作的动作评价信息(如good)后,可以将动作评价信息“good”和图3a中所示的动画特效展示到图片P的展示界面,用户通过界面能够更好地知晓自己动作的完成情况,此外,还可以同时播放音效特效“good”。
本公开的可选实施例中,将每个用户动作的动作评价信息添加到用户视频中的对应视频帧图像中可以包括:
将每个用户动作的动作评价信息、以及与每个用户动作的动作评价信息对应的特效信息,添加到用户视频中的对应视频帧图像中;
相应地,根据视频录制资源和添加动作评价信息后的用户视频生成目标视频可以包括:
根据视频录制资源、以及添加动作评价信息和特效信息后的用户视频,生成目标视频。
采用该方案,可以使用户在生成的目标视频中也能够看到动作评价信息和特效信息,能够有效提升用户的满意度,丰富了目标视频的内容。
本公开的可选实施例中,在确定每个用户动作的动作评价信息之后,还可以根据所有的用户动作的动作评价信息,确定用户视频的综合评价信息;
根据视频录制资源和添加动作评价信息后的用户视频生成目标视频可以包括:
根据视频录制资源、添加动作评价信息后的用户视频、以及综合评价信息,生成目标视频。
相应地,本公开的可选实施例中,在确定用户视频的综合评价信息之后,还可以在音乐播放完成之后,展示综合评价信息。
在音乐播放完成后,通过展示用户视频的综合评价信息,使用户能够了解到在视频录制过程中,用户对所有标准动作的完成情况。
通过将综合评价信息添加到目标视频中,使用户能够同时得到包含其每个动作的评价信息以及综合评价信息的目标视频,用户可以通过播放该目标视频,可以知晓自身对每个动作的完成情况以及综合完成情况。
其中,综合评价信息的形式也可以根据需要配置,例如,可以是综合得分,也可以是综合评价结果。在一可选的实施方式中,每一个用户动作的动作评价信息可以为动作得分,综合评价信息可以是基于每个用户动作的动作得分,采用加权平均的方式计算得到。
在实际应用中,同样可以为综合评价信息配置特效信息,不同的综合评价信息对应不同的特效信息,在确定出综合评价信息时,为用户展示相应的特效信息。可以理解的是,综合评价信息对应的特效信息可以采用与每个用户动作对应的特效信息相同的配置方式,也可以采用不同的配置方式。
本公开的可选实施例中,在生成目标视频之后,还可以在接收到用户的目标视频发布操作时,将目标视频发布至视频发布平台。
其中,视频发布平台可以是应用程序自身所对应的平台,例如,对于抖音应用程序,视频发布平台可以是抖音视频发布平台,也可以是第三方发布平台,还可以是其它应用程序,例如,用户可以将目标视频分享通过其它应用程序分享给他人。
可以理解的是,如果是应用程序自身所对应的平台,用户可以只需要进行发布触发操作,如点击目标视频发布按键等,如果是其它发布平台或应用程序,则用户在进行发布触发操作后,可以为用户展示平台选项和/或应用选项,用户从选项中选择想要发布的具体平台或应用程序。
本公开的可选实施例中,在生成目标视频之后,当接收到用户的重拍触发操作时,可以基于视频录制资源,重新生成目标视频。
在完成目标视频的生成后,可以在用户界面为用户提供重拍选项,如重拍按键,用户可以通过重拍选项基于同样的视频录制资源,重新视频录制, 重新生成视频。
在一可选的实施方式中,可以在综合评价信息显示界面上显示重拍选项,使用户能够根据综合评价信息确定是否进行重新录制。
在另一可选实施例方式中,还可以在用户界面为用户同时提供目标视频播放选项,用户可以触发该选项播放目标视频,通过播放目标视频来确定是否进行重新录制,在播放完成页面为用户提供重拍选项,如果需要重新录制,用户在该页面触发重拍选型即可。
可以理解的是,上述所列举的两种实施方式只是作为示例进行的说明,并不构成对接收用户的重拍触发操作的方式的限定。
需要说明的,本公开的实施例中所涉及的用户界面,指的均是应用程序上的显示界面,通过用户界面能够接收用户的操作。对于不同的操作所对应的用户界面,在实际应用中,可以根据需要配置为相同的用户界面,也可以配置成不同的用户界面。
下面结合一个具体的示例对本公开实施例中提供的视频生成方法进行进一步说明。由本公开实施例的方案可知,采用本公开实施例的方案所生成的目标视频是带有用户动作的视频,本示例中,为了更生动形象的描述该视频,将目标视频称为舞蹈视频,生成目标视频时所需要的视频录制资源称为舞蹈视频录制资源。本示例中用户动作的动作评价信息为动作得分,动作得分范围可以为0-100,用户动作与标准动作的匹配程度越高,动作得分越高。
图6中示出了本示例中的视频生成方法的流程示意图,该示例中主要可以分为舞蹈视频录制资源制作、舞蹈视频录制资源获取以及舞蹈视频生成三个主要部分。
舞蹈视频录制资源制作:该部分为本公开实施例实现的准备阶段,用于制作生成舞蹈视频所需的视频录制资源。如图6中所示,在实际应用中,舞蹈视频录制资源可以根据实际应用需求进行配置,舞蹈视频录制资源可以包括背景音乐(录制视频时用户可以选择的音乐)、特效音乐(即音乐特效)、动画特效、资源图片(即人形标准动作图片)等,为每首背景音乐配置对应的资源图片,并配置好每个资源图片与播放节点的对应关系(即,在音乐播放到什么时候展示哪个资源图片),还需要配置不同的特效信息与动作得分的 对应关系(即,动作得分是多少或者在哪个范围时,应该播放什么特效信息)。完成舞蹈视频录制资源的制作后,将舞蹈视频录制资源上传到服务器。
舞蹈视频录制资源获取:不同的用户可以通过各自的终端设备上所安装的应用程序即客户端向服务器发送舞蹈视频录制资源获取请求,服务器接收到请求后,将舞蹈视频录制资源下发至各客户端。
舞蹈视频的生成:客户端在接收到用户的舞蹈视频录制触发操作时,如用户在应用程序的用户界面点击“舞蹈视频录制”按键时,客户端可以将从服务器下载的舞蹈视频录制资源以歌曲名称即音乐名称的形式展示给用户,用户可以选择某首歌曲进入到录制模式,即开启摄像头,进入视频录制页面。
在开始播放用户选中的音乐之前,可以首先识别是否有用户站在镜头内,即判断用户是否在拍摄范围内,具体可以通过不断拍摄图像,通过识别图像中是否有用户来确定用户是否在拍摄范围内,如果不在,则可以提示用户移动以进入拍摄范围,如果用户在拍摄范围内,则可以开始播放音乐,同时开始录制用户视频。
在音乐的播放过程中,在每次播放至播放节点时,向用户展示该节点对应的人形标准动作图片,并根据展示的动作与对应的视频帧图像中用户做的动作的匹配程度,得到用户动作的动作得分。本示例中,以透明度为零的方式展示标准动作图片并根据动作得分展示对应的特效信息,如展示得分动画,播放得分音效;在音乐播放完毕时,结束用户视频的录制。结束录制后,可以基于每个用户动作的动作得分,得到用户视频的总得分即综合信息,例如,可以通过加权平均的方式或其它预配置的方式计算出总得分。最后根据用户选择的舞蹈视频录制资源、录制的用户视频、每个用户动作的动作得分、对应的特效信息以及总得分生成用户的舞蹈视频,其中,在生成舞蹈视频时,人形标准动作图片的透明度可以调整为50%,总得分可以位于舞蹈视频的首帧图像中,也可以位于最后一帧图像中,也可以新增一帧图像,将总得分添加到该新增的图像中。
在完成舞蹈视频的生成后,用户可以播放该视频,由于生成的舞蹈视频中人形标准动作图片为半透明,因此不会遮挡住用户自己的舞蹈动作,且用户可以同时看到对应的标准动作,因此可以比对自身动作与标准动作,并结 合动作得分以及特效信息,随时了解到自己舞蹈动作的完成情况。用户还可以基于总得分得知整体完成情况。
此外,在舞蹈视频生成后或者播放完成后,用户还可以基于视频的相关信息(例如每个用户动作的动作得分、总得分等)选择是否重新录制视频,或者根据需要将舞蹈视频发布至相关的视频发布平台等。视频发布平台中记录有不同用户发布的舞蹈视频,用户可通过该视频发布平台观看不同用户发布的舞蹈视频,还可以向某一舞蹈视频的作者发起挑战,即基于该作者所采用的音乐录制视频,可进一步提高不同用户之间的交互,调动起用户参与视频录制的积极性。
基于与图1中所示的方法相同的原理,本公开实施例中还提供了一种视频生成装置,如图7所示,该视频生成装置400可以包括录制资源获取模块410、视频采集模块420、评价信息确定模块430和目标视频生成模块440。其中:
录制资源获取模块410,用于在接收到用户的视频录制触发操作时,获取视频录制资源,视频录制资源包括音乐以及与音乐的各播放节点对应的人形标准动作图片;
视频采集模块420,用于播放音乐,并在播放过程中采集用户视频,在播放至每个播放节点时,展示对应的人形标准动作图片;
评价信息确定模块430,用于根据用户视频中与每个播放节点对应的视频帧图像中的用户动作和对应的人形标准动作图片中的标准动作的匹配程度,确定每个用户动作的动作评价信息;
目标视频生成模块440,用于根据视频录制资源、用户视频和每个用户动作的动作评价信息,生成目标视频。
本公开实施例的视频生成装置,在播放音乐的过程中采集用户视频,并向用户展示人形标准动作图片,以使用户能够根据图片做出相应的动作,并通过比对用户动作与标准动作,得到用户的动作评价信息,从而能够根据视频录制资源、用户视频和动作评价信息,生成目标视频。通过该方案,实现了带有用户舞蹈动作的视频的录制,为用户提供了更加丰富的视频录制方式的选择,能够有效提升用户的参与感和使用体验,更好地满足了用户的需要。 此外,通过生成每个用户的动作评价信息,使用户能够基于该评价信息了解到自己的动作是否符合标准,进一步提升用户的使用感知。
可以理解的是,本公开实施例中的视频生成装置的上述各模块具有实现上述图1中所示的视频生成方法中相应步骤的功能,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现,该硬件或软件包括一个或多个与上述功能相对应的模块。上述各模块可以单独实现,也可以多个模块集成实现。对于视频生成装置的各模块的功能描述具体可以参见前文中对图1所示的视频生成方法中的对应描述,在此不再赘述。
本公开的可选实施例中,视频采集模块420可以展示透明度为第一透明度的人形标准动作图片;
目标视频生成模块440可以根据音乐、与音乐的各播放节点对应且透明度为第二透明度的人形标准动作图片、用户视频和每个用户动作的动作评价信息,生成目标视频,其中,第二透明度大于第一透明度。
在本公开的一可选实施例中,目标视频生成模块440可以将视频录制资源中的人形标准动作图片添加到用户视频中的对应视频帧图像中,并根据音乐、添加人形标准动作图片后的用户视频和用户动作的动作评价信息,生成目标视频。
在本公开的可选实施例中,目标视频生成模块440可以将每个用户动作的动作评价信息添加到用户视频中的对应视频帧图像中,并根据视频录制资源和添加动作评价信息后的用户视频,生成目标视频。
本公开的实施例中,评价信息确定模块430可以在确定每个用户动作的动作评价信息之后,根据每个用户动作的动作评价信息,确定用户视频的综合评价信息;
目标视频生成模块440可以根据视频录制资源、添加动作评价信息后的用户视频、以及综合评价信息,生成目标视频。
本公开的实施例中,视频生成装置400还可以包括:
第一展示模块,用于在在音乐播放完成之后,展示综合评价信息。
本公开的实施例中,视频录制资源还包括与动作评价信息对应的特效信息,特效信息包括动画特效和/或音效特效;
视频生成装置400还可以包括:
第二展示模块,用于在确定每个用户动作的动作评价信息之后,将每个用户动作的动作评价信息和/或每个用户动作的动作评价信息所对应的特效信息,展示到对应的人形标准动作图片的展示界面。
可以理解的是,第一展示模块和第二展示模块可以集成为同一模块,也可以是不同的模块。
本公开的实施例中,目标视频生成模块440可以将每个用户动作的动作评价信息、以及与每个用户动作的动作评价信息对应的特效信息,添加到用户视频中的对应视频帧图像中;
相应地,目标视频生成模块440可以根据视频录制资源、以及添加动作评价信息和特效信息后的用户视频,生成目标视频。
本公开的实施例中,视频采集模块420还可以在播放音乐之前,确定用户在视频拍摄范围内。
本公开的实施例中,视频生成装置400还可以包括:
目标视频发布模块,用于在生成目标视频之后,当接收到用户的目标视频发布操作时,将目标视频发布至视频发布平台。
本公开的实施例中,视频生成装置400还可以包括:
重拍模块,用于在当接收到用户的重拍触发操作时,基于视频录制资源,通过视频采集模块420、评价信息确定模块430和目标视频生成模块440重新生成目标视频。
本公开的实施例中,录制资源获取模块410可以被配置成:
当接收到用户的视频录制触发操作时,控制显示音乐选择界面;
通过音乐选择界面,获取用户的音乐选择操作;
根据音乐选择操作,获取视频录制资源。
本公开的实施例中,录制资源获取模块410可以在通过视频播放界面接收到用户的视频录制触发操作时,获取视频播放界面当前播放的视频所对应的视频录制资源。
可以理解的是,本公开各实施例中的视频生成装置中的各模块所执行的动作是与本公开各实施例中的视频生成方法中的步骤相对应的,对于视 频生成装置的各模块的详细功能描述具体可以参见前文中所示的对应的视频生成方法中的描述,在此不再赘述。
基于与本公开实施例的视频生成方法相同的原理,本公开实施例中还提供了一种电子设备,该电子设备包括存储器和处理器,存储器中存储有计算机程序指令,处理器用于读取计算机程序指令,以执行上述本公开任一实施例中所示的视频生成方法。
基于与本公开实施例的视频生成方法相同的原理,本公开实施例中还提供了一种计算机可读存储介质,该存储介质中存储有计算机程序指令,当计算机程序指令被计算机执行时实现本公开任一实施例中所示的视频生成方法。
本公开实施例还提供了一种终端设备,如图8所示。该终端设备2000可以包括但不限于:处理器2001、存储器2002、用于连接设备的不同组件以实现不同组件间通信的通信总线2003。存储器2002中可以存储有计算机程序和数据,处理器2001可以通过调用存储器2002中的计算机程序来执行相应的动作和处理,实现本公开实施例中的视频生成方法。图中所示的终端设备2000的结构并不构成对本公开实施例的限定。
终端设备2000还可以包括显示器2004。处理器2001在执行动作或处理的过程中,可以通过显示器2004将需要或能够显示的用户界面、提示信息、或者与终端用户的交互信息显示给用户。
处理器2001可以是CPU、通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本公开公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器2001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合、DSP和微处理器的组合等。
通信总线2003可包括一通路,在上述组件之间传送信息。总线2003可以是PCI总线或EISA总线等。总线2003可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是 EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
终端设备2000还可以包括输入/输出组件2005,通过输入/输出组件2005实现信息的输入/输出,以及用户与设备的交互。
在实际应用中,输入/输出组件2005可以根据实际需要配置,可以包括不限于键盘、鼠标、触摸屏、音频组件、视频组件等,例如,终端设备可以通过触摸屏接收用户的触发指令,处理器可以基于用户的触发指令执行相应的动作或处理。音频组件/视频组件可以被配置为输入和/或输出设备的音频信号/视频信号。音频组件可以包括但不限于扬声器、麦克风等,视频组件可以包括但不限于摄像头、视频接口(HDMI、VGA和/或DVI接口)等
可以理解的是,上述各输入/输出组件2005可以单独或者组合实现信息的处理,例如,通过触摸屏接收到用户的音乐播放指令时,通过音频组件进行音乐的播放。
终端设备2000还可以包括通信组件2006,通信组件2006被配置为实现终端设备2000与其它设备(例如终端设备、存储设备)之间的通信交互。其中,通信组件2006可以包括但不限于有线通信组件、无线通信组件(例如2G/3G/4G/5G等移动网络通信单元、蓝牙、WIFI通信单元)、USB通信组件、音频组件、视频组件等。
终端设备2000还可以包括电源管理模块2007,电源管理模块2007可以被配置用于设备的供电、设备电能的变换、以及电源的充放电管理等,该模块还可以配置有充电接口。
需要说明的是,本公开实施例的终端设备可以具体实现为包括但不限于智能手机、智能电视机、个人数字助理(Personal Digital Assistant,PDA)、平板电脑、台式电脑、便携终端设备(例如便携式计算机)、车载设备等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序 执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本公开的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本公开原理的前提下,还可以做出若干修改和润饰,这些修改和润饰也应视为在本公开的范围内。

Claims (16)

  1. 一种视频生成方法,包括:
    当接收到用户的视频录制触发操作时,获取视频录制资源,所述视频录制资源包括音乐以及与所述音乐的各播放节点对应的人形标准动作图片;
    播放所述音乐,并在播放过程中采集用户视频,在播放至每个播放节点时,展示对应的人形标准动作图片;
    根据所述用户视频中与每个播放节点对应的视频帧图像中的用户动作和对应的人形标准动作图片中的标准动作的匹配程度,确定每个用户动作的动作评价信息;
    根据所述视频录制资源、所述用户视频和所述每个用户动作的动作评价信息,生成目标视频。
  2. 根据权利要求1所述的方法,其中,展示的对应的标准动作图片是透明度为第一透明度的人形标准动作图片;
    生成目标视频包括:
    根据所述音乐、与所述音乐的各播放节点对应的且透明度为第二透明度的人形标准动作图片、所述用户视频和所述每个用户动作的动作评价信息,生成所述目标视频,其中,所述第二透明度大于所述第一透明度。
  3. 根据权利要求1所述的方法,其中,生成目标视频包括:
    将所述视频录制资源中的人形标准动作图片添加到所述用户视频中的对应视频帧图像中;
    根据所述音乐、添加人形标准动作图片后的所述用户视频和所述用户动作的动作评价信息,生成所述目标视频。
  4. 根据权利要求1所述的方法,其中,生成目标视频包括:
    将所述每个用户动作的动作评价信息添加到所述用户视频中的对应视频帧图像中;
    根据所述视频录制资源和添加动作评价信息后的所述用户视频,生成所述目标视频。
  5. 根据权利要求4所述的方法,还包括:在确定每个用户动作的动作评价信息之后,根据所述每个用户动作的动作评价信息,确定所述用户视频的综合评价信息,
    其中,根据所述视频录制资源和添加动作评价信息后的所述用户视频生成目标视频包括:根据所述视频录制资源、添加动作评价信息后的所述用户视频以及所述综合评价信息,生成所述目标视频。
  6. 根据权利要求5所述的方法,还包括:
    在所述音乐播放完成之后,展示所述综合评价信息。
  7. 根据权利要求4所述的方法,其中,所述视频录制资源还包括与动作评价信息对应的特效信息,所述特效信息包括动画特效和/或音效特效,
    所述方法还包括:
    将所述每个用户动作的动作评价信息和/或所述每个用户动作的动作评价信息所对应的特效信息展示到对应的人形标准动作图片的展示界面。
  8. 根据权利要求7所述的方法,其中,将所述每个用户动作的动作评价信息添加到所述用户视频中的对应视频帧图像中包括:
    将所述每个用户动作的动作评价信息以及与所述每个用户动作的动作评价信息对应的特效信息添加到所述用户视频中的对应视频帧图像中,
    根据所述视频录制资源和添加动作评价信息后的所述用户视频生成目标视频包括:
    根据所述视频录制资源以及添加动作评价信息和特效信息后的所述用户视频,生成所述目标视频。
  9. 根据权利要求1或2所述的方法,还包括:
    在播放所述音乐之前,确定所述用户在视频拍摄范围内。
  10. 根据权利要求1或2所述的方法,其中,在生成所述目标视频之后,执行以下操作:
    当接收到所述用户的目标视频发布操作时,将所述目标视频发布至视频发布平台;或者,
    当接收到所述用户的重拍触发操作时,基于所述视频录制资源,重新生成所述目标视频。
  11. 根据权利要1或2所述的方法,其中,获取视频录制资源包括:
    当接收到所述用户的视频录制触发操作时,控制显示音乐选择界面;
    通过所述音乐选择界面,获取所述用户的音乐选择操作;
    根据所述音乐选择操作,获取所述视频录制资源。
  12. 根据权利要求1或2所述的方法,其中,获取视频录制资源包括:
    当通过视频播放界面接收到所述用户的视频录制触发操作时,获取所述视频播放界面当前播放的视频所对应的视频录制资源。
  13. 一种视频生成装置,包括:
    录制资源获取模块,用于在接收到用户的视频录制触发操作时,获取视频录制资源,所述视频录制资源包括音乐以及与所述音乐的各播放节点对应的人形标准动作图片;
    视频采集模块,用于播放所述音乐,并在播放过程中采集用户视频,在播放至每个播放节点时,展示对应的人形标准动作图片;
    评价信息确定模块,用于根据所述用户视频中与每个播放节点对应的视频帧图像中的用户动作和对应的人形标准动作图片中的标准动作的匹配程度,确定每个用户动作的动作评价信息;
    目标视频生成模块,用于根据所述视频录制资源、所述用户视频和所述每个用户动作的动作评价信息,生成目标视频。
  14. 根据权利要求13所述的装置,其中,
    所述视频采集模块展示透明度为第一透明度的所述人形标准动作图片;
    所述目标视频生成模块根据所述音乐、与所述音乐的各播放节点对应且透明度为第二透明度的所述人形标准动作图片、所述用户视频和所述每个用户动作的动作评价信息,生成所述目标视频,其中,所述第二透明度大于所述第一透明度。
  15. 一种电子设备,包括存储器和处理器,
    其中,所述存储器中存储有计算机程序指令;
    所述处理器用于读取所述计算机程序指令,以执行权利要求1至12中任一项所述的视频生成方法。
  16. 一种计算机可读存储介质,所述存储介质中存储有计算机程序指令,当所述计算机程序指令被计算机执行时实现权利要求1至12中任一项所述的视频生成方法。
PCT/CN2018/124067 2018-08-10 2018-12-26 视频生成方法、装置、电子设备及存储介质 WO2020029523A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810911033.XA CN109068081A (zh) 2018-08-10 2018-08-10 视频生成方法、装置、电子设备及存储介质
CN201810911033.X 2018-08-10

Publications (1)

Publication Number Publication Date
WO2020029523A1 true WO2020029523A1 (zh) 2020-02-13

Family

ID=64683426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/124067 WO2020029523A1 (zh) 2018-08-10 2018-12-26 视频生成方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN109068081A (zh)
WO (1) WO2020029523A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068081A (zh) * 2018-08-10 2018-12-21 北京微播视界科技有限公司 视频生成方法、装置、电子设备及存储介质
CN109618184A (zh) * 2018-12-29 2019-04-12 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN110008814A (zh) * 2019-01-25 2019-07-12 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置和电子设备
CN109828741A (zh) * 2019-01-29 2019-05-31 北京字节跳动网络技术有限公司 用于播放音频的方法和装置
CN111506186B (zh) * 2019-01-31 2023-06-09 广州艾美网络科技有限公司 运动娱乐系统
CN110266968B (zh) * 2019-05-17 2022-01-25 小糖互联(北京)网络科技有限公司 一种共舞视频的制作方法和装置
CN110266982B (zh) * 2019-06-27 2021-10-29 广州酷狗计算机科技有限公司 在录制视频时提供歌曲的方法和系统
WO2021032092A1 (zh) 2019-08-18 2021-02-25 聚好看科技股份有限公司 显示设备
CN116074564B (zh) * 2019-08-18 2024-10-01 聚好看科技股份有限公司 一种界面显示方法及显示设备
CN112287848B (zh) * 2020-10-30 2024-08-06 腾讯科技(深圳)有限公司 基于直播的图像处理方法、装置、电子设备和存储介质
CN112560605B (zh) * 2020-12-02 2023-04-18 北京字节跳动网络技术有限公司 交互方法、装置、终端、服务器和存储介质
CN114697742A (zh) * 2020-12-25 2022-07-01 华为技术有限公司 一种视频录制方法及电子设备
CN112717372A (zh) * 2021-01-08 2021-04-30 北京爱奇艺科技有限公司 云游戏操控方法、装置、电子设备及存储介质
EP4201323A4 (en) * 2021-03-19 2024-01-24 Shenzhen Shokz Co., Ltd. EXERCISE MONITORING METHOD AND SYSTEM
US11961537B2 (en) 2021-04-30 2024-04-16 Lemon Inc. Content creation based on rhythm
CN114666516A (zh) * 2022-02-17 2022-06-24 海信视像科技股份有限公司 显示设备及流媒体文件合成方法
CN116320583A (zh) * 2023-03-20 2023-06-23 抖音视界有限公司 视频通话方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011204113A (ja) * 2010-03-26 2011-10-13 Kddi Corp 映像コンテンツ生成システム、メタデータ構築装置、映像コンテンツ生成装置、携帯端末、映像コンテンツ配信装置及びコンピュータプログラム
CN106022208A (zh) * 2016-04-29 2016-10-12 北京天宇朗通通信设备股份有限公司 人体动作识别方法及装置
CN107920269A (zh) * 2017-11-23 2018-04-17 乐蜜有限公司 视频生成方法、装置和电子设备
CN107968921A (zh) * 2017-11-23 2018-04-27 乐蜜有限公司 视频生成方法、装置和电子设备
CN109068081A (zh) * 2018-08-10 2018-12-21 北京微播视界科技有限公司 视频生成方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011204113A (ja) * 2010-03-26 2011-10-13 Kddi Corp 映像コンテンツ生成システム、メタデータ構築装置、映像コンテンツ生成装置、携帯端末、映像コンテンツ配信装置及びコンピュータプログラム
CN106022208A (zh) * 2016-04-29 2016-10-12 北京天宇朗通通信设备股份有限公司 人体动作识别方法及装置
CN107920269A (zh) * 2017-11-23 2018-04-17 乐蜜有限公司 视频生成方法、装置和电子设备
CN107968921A (zh) * 2017-11-23 2018-04-27 乐蜜有限公司 视频生成方法、装置和电子设备
CN109068081A (zh) * 2018-08-10 2018-12-21 北京微播视界科技有限公司 视频生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109068081A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
WO2020029523A1 (zh) 视频生成方法、装置、电子设备及存储介质
CN108900902B (zh) 确定视频背景音乐的方法、装置、终端设备及存储介质
WO2020029526A1 (zh) 视频特效添加方法、装置、终端设备及存储介质
WO2020029525A1 (zh) 视频封面生成方法、装置、电子设备及存储介质
WO2016177296A1 (zh) 一种生成视频的方法和装置
WO2020077855A1 (zh) 视频拍摄方法、装置、电子设备及计算机可读存储介质
WO2020015334A1 (zh) 视频处理方法、装置、终端设备及存储介质
JP2019194904A (ja) 画像のグループについてのテキスト色を生成する方法及び装置
CN106575361B (zh) 提供视觉声像的方法和实现该方法的电子设备
WO2022116751A1 (zh) 交互方法、装置、终端、服务器和存储介质
US20120249575A1 (en) Display device for displaying related digital images
WO2022068479A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107748615B (zh) 屏幕的控制方法、装置、存储介质及电子设备
RU2666626C1 (ru) Способ и устройство для управления состоянием воспроизведения
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN115002359B (zh) 视频处理方法、装置、电子设备及存储介质
JP2016506700A (ja) 混合媒体通信
CN105808231B (zh) 录制与播放脚本的系统及方法
WO2020248697A1 (zh) 显示设备及视频通讯数据处理方法
CA3098735C (en) Display interface switching method, display interface switching apparatus, and electronic device
JP2022058643A (ja) 動画を配信するためのシステム、方法、及びプログラム
WO2024061360A1 (zh) 文本素材获取方法、装置、设备、介质和程序产品
WO2024061274A1 (zh) 拍摄与生成视频的方法及相关设备
JP6198983B1 (ja) 動画を配信するためのシステム、方法、及びプログラム
US20230403413A1 (en) Method and apparatus for displaying online interaction, electronic device and computer readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18929015

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.05.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18929015

Country of ref document: EP

Kind code of ref document: A1