WO2023045637A1 - 视频数据生成方法、装置、电子设备及可读存储介质 - Google Patents

视频数据生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
WO2023045637A1
WO2023045637A1 PCT/CN2022/113281 CN2022113281W WO2023045637A1 WO 2023045637 A1 WO2023045637 A1 WO 2023045637A1 CN 2022113281 W CN2022113281 W CN 2022113281W WO 2023045637 A1 WO2023045637 A1 WO 2023045637A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
virtual
video data
hand
lens
Prior art date
Application number
PCT/CN2022/113281
Other languages
English (en)
French (fr)
Inventor
王骁玮
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Publication of WO2023045637A1 publication Critical patent/WO2023045637A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game

Definitions

  • an embodiment of the present disclosure provides a video data generating device, including:
  • first control information and/or the first corresponding action meet the first preset condition, bind the virtual camera to the hand of the avatar, so that the position of the virtual camera is consistent with the position of the avatar
  • the relative distance between the positions of the hands is within the first preset range.
  • a video sending module configured to send the live video stream to a target platform, so that the target platform performs live video based on the live video stream.
  • an embodiment of the present disclosure provides an electronic device, including: a processor, a memory, and a bus, the memory stores machine-readable instructions executable by the processor, and when the electronic device is running, the processing The processor communicates with the memory through a bus, and when the machine-readable instructions are executed by the processor, the method for generating video data as described in the first aspect is executed.
  • FIG. 4 shows a schematic diagram of a first 3D scene provided by an embodiment of the present disclosure
  • FIG. 7 shows a schematic diagram of a third 3D scene provided by an embodiment of the present disclosure.
  • the method for generating video data is applied to an electronic device (such as the server 40 in FIG.
  • the scene information is used to generate a 3D scene after rendering, and the 3D scene information includes at least one avatar information and at least one virtual lens.
  • the virtual camera is used to capture image information of the 3D scene.
  • the avatar information is used to generate an avatar after rendering, and the avatar is driven by control information captured by a motion capture device.
  • the method for generating video data may be implemented by a processor invoking computer-readable instructions stored in a memory.
  • Driving the hands of the avatar to make corresponding movements means that the movements made by the avatar are consistent or consistent with the hand control information, that is, the movements made by the avatar are consistent or consistent with the movements of the actor. For example, if the actor makes a fist movement, the avatar is also driven to make a fist movement accordingly; if the actor makes the movement of spreading the palm, the virtual image also makes the corresponding movement of spreading the palm.
  • the second control information is similar to the first control information, and can also be generated by actors, and the action data and voice data of actors can be collected in real time, and then the second control information can be obtained.
  • the second control information may also be generated by a device with a control function such as a remote controller.
  • the second preset condition is similar to the first preset condition, and can also be specifically set according to specific situations.
  • the included angle between the selfie stick and the vertical line of the avatar's arm is within a second preset range.

Abstract

本公开提供了一种视频数据生成方法、装置、电子设备及存储介质，该视频数据生成方法包括：获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。本申请实施例，能够提升生成的视频数据的丰富性及趣味性，进而提升用户的观赏体验。

Description

视频数据生成方法、装置、电子设备及可读存储介质
本申请要求于2021年09月24日提交中国专利局、申请号为202111119503.7、申请名称为“视频数据生成方法、装置、电子设备及可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种视频数据生成方法、装置、电子设备和存储介质。
背景技术
随着计算机技术与网络技术的发展，视频直播成为一种热门的交互方式。越来越多的用户选择通过直播平台来观看视频直播，比如游戏直播、新闻直播等。为了提升直播效果，出现了虚拟偶像代替主播进行视频直播的方式。
虚拟偶像的一种形态是对演员(中之人)动作捕捉获取控制信号，驱动游戏引擎中的虚拟形象动作，同时获取演员声音，将演员声音与虚拟形象画面融合，生成视频数据。
然而，因视频中的镜头信息(比如镜头位置及镜头朝向)通常不会发生改变，也即虚拟形象需要在固定的场景范围内活动才能保证出现在视频画面中，导致视频画面内容较为单调乏味。
发明内容
本公开实施例至少提供一种视频数据生成方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供了一种视频数据生成方法，应用于电子设备，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息及至少一个虚拟镜头，所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动，所述方法包括：
获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
本公开实施例中，在基于获取的虚拟形象的手部控制信息，驱动所述虚拟形象手部做出相应动作的同时，还控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，也即通过虚拟形象的手部运动可以改变镜头的位置，进而使得镜头信息可以受虚拟形象的控制而发生改变，如此，使得生成的视频频数据中的场景信息发生了改变，提升了视频数据的丰富性及趣味性，进而提升了用户的观赏体验。
根据第一方面，在一种可能的实施方式中，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
本公开实施例中，由于虚拟镜头的朝向也随着所述虚拟形象手部的运动而发生改变， 使得虚拟镜头所捕获的场景更加符合目标需求，实现了镜头跟拍的效果，提升了用户的观赏体验。
根据第一方面，在一种可能的实施方式中，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
本公开实施例中，由于虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度，使得虚拟镜头的朝向虽然发生改变，但始终朝向虚拟形象，实现了自拍的效果，进而与真实主播自拍的展示效果一致。
根据第一方面，在一种可能的实施方式中，所述获取所述虚拟形象的手部控制信息之前，所述方法还包括：
获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
本公开实施例中，若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，也即虚拟镜头绑定需要触发条件，进而提升了生成的视频数据的趣味性。
根据第一方面，在一种可能的实施方式中，所述将所述虚拟镜头与所述虚拟形象手部绑定，包括：
调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
本公开实施例中，通过自拍杆实现虚拟镜头与虚拟形象手部的绑定，不仅可以模拟真实主播的跟拍效果，还可以提升虚拟镜头相对虚拟形象手部的距离，进而捕获不同的3D场景，提升了视频数据生成的丰富性。
根据第一方面，在一种可能的实施方式中，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
本公开实施例中，虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度，也即，虚拟镜头的朝向背向虚拟形象，如此，使得虚拟镜头所捕获的图像有别于自拍的效果，为用户提供不同的视觉体验。
根据第一方面，在一种可能的实施方式中，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
本公开实施例中，由于自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内，使得自拍杆与虚拟形象手臂大致垂直，使得虚拟形象手握自拍杆的动作更加真实。
根据第一方面，在一种可能的实施方式中，所述基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据之前，所述方法还包括：
获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
本公开实施例中，在虚拟镜头与虚拟形象绑定后，若第二控制信息和/或所述第二相应 动作符合第二预设条件，还可以将虚拟镜头与所述虚拟形象手部解除绑定，如此，实现了镜头的自由控制，更加人性化。
根据第一方面，在一种可能的实施方式中，所述生成视频数据之后，所述方法还包括：
获取音频数据，并将所述视频数据与所述拼音数据融合生成直播视频流；
将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
本公开实施例中，在得到视频数据后，还将获取音频数据，并将视频数据与所述拼音数据融合生成直播视频流，使得目标平台可以基于该直播视频流进行直播，实现了与观众的实时互动。
根据第一方面，在一种可能的实施方式中，所述生成视频数据之后，所述方法还包括：
将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
本公开实施例中，还将所述视频数据发送至具有立体展示功能的电子设备中进行播放，使得所展示的视频数据具有3D效果，进一步提升了用户的视觉体验。
第二方面，本公开实施例提供了一种视频数据生成装置，包括：
行为驱动模块，用于获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
镜头控制模块，用于控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
视频生成模块，用于基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
根据第二方面，在一种可能的实施方式中，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
根据第二方面，在一种可能的实施方式中，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
根据第二方面，在一种可能的实施方式中，所述行为驱动模块还用于：
获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
根据第二方面，在一种可能的实施方式中，所述行为驱动模块具体用于：
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
根据第二方面，在一种可能的实施方式中，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
根据第二方面，在一种可能的实施方式中，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
根据第二方面，在一种可能的实施方式中，所述行为驱动模块还用于：
获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
根据第二方面，在一种可能的实施方式中，所述装置还包括：
数据融合模块，用于获取音频数据，并将所述视频数据与所述拼音数据融合生成直播视频流；
视频发送模块，用于将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
根据第二方面，在一种可能的实施方式中，所述视频发送模块还用于：
将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的视频数据生成方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的视频数据生成方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种视频数据生成方法的执行主体的示意图；
图2示出了本公开实施例所提供的第一种视频数据生成方法的流程图；
图3示出了本公开实施例所提供的第二种视频数据生成方法的流程图；
图4示出了本公开实施例所提供的第一种3D场景的展示示意图；
图5示出了本公开实施例所提供的第三种视频数据生成方法的流程图；
图6示出了本公开实施例所提供的第二种3D场景的展示示意图；
图7示出了本公开实施例所提供的第三种3D场景的展示示意图；
图8示出了本公开实施例所提供的第四种3D场景的展示示意图；
图9示出了本公开实施例所提供的第四种视频数据生成方法的流程图；
图10示出了本公开实施例所提供的将视频数据发送至目标平台的架构示意图；
图11示出了本公开实施例所提供的一种视频数据生成装置的结构示意图；
图12示出了本公开实施例所提供的另一种视频数据生成装置的结构示意图；
图13示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着计算机技术与网络技术的发展，视频直播成为一种热门的交互方式。越来越多的用户选择通过直播平台来观看视频直播，比如游戏直播、新闻直播等。为了提升直播效果，出现了虚拟偶像代替主播进行视频直播的方式。
虚拟偶像的一种形态是对演员(中之人)动作捕捉获取控制信号，驱动游戏引擎中的虚拟形象动作，同时获取演员声音，将演员声音与虚拟形象画面融合，生成视频数据。
经研究发现，因视频中的镜头信息(比如镜头位置及镜头朝向)通常不会发生改变，也即虚拟偶像需要在固定的场景范围内活动才能保证出现在视频画面中，导致视频画面内容较为单调乏味。
本公开提供了一种视频数据生成方法，应用于电子设备，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息及至少一个虚拟镜头，所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动，所述方法包括：
获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
其中，3D渲染环境是运行于电子设备中的3D游戏引擎，能够基于待渲染数据生成基于一个或者多个视角的影像信息。虚拟形象信息是存在于游戏引擎中的形象模型，能够在渲染后生成相应的虚拟形象。虚拟形象可以包括虚拟人物形象、虚拟动物形象、虚拟卡通形象等，在此不做限定。
3D场景信息可以运行于计算机CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)以及存储器中，其包含网格化的模型信息以及和贴图纹理信息。相应地，作为示例，虚拟形象数据和虚拟对象数据包含但不限于网格化的模型数据、体素数据及贴图纹理数据或者其组合。其中，网格包括但不限于三角形网格、四边形网格、其他多边形网格或者其组合。本公开实施例中，网格为三角形网格。
动作捕捉设备包括穿在身体上的肢体动作捕捉设备(如衣服)、戴在手上的手部动作捕捉设备(如手套)、面部动作捕捉设备(如摄像头)以及声音捕捉设备(比如麦克风、喉麦等)。
本公开实施例中，在基于获取的虚拟形象的手部控制信息，驱动所述虚拟形象手部做出相应动作的同时，还控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，也即通过虚拟形象的手部运动可以改变镜头的位置，进而使得镜头信息可以受虚拟形象的控制而发生改变，如此，使得生成的视频频数据中的场景信息发生了改变，提升了视频数据的丰富性及趣味性，进而提升了用户的观赏体验。
请参阅图1，为本公开实施例所提供的视频数据生成方法的执行主体的示意图，该方法的执行主体为电子设备100，其中电子设备100可以包括终端和服务器。例如，该方法可应用于终端中，终端可以是图1中所示智能手机10、台式计算机20、笔记本电脑30等，还可以是图1中未示出的智能音箱、智能手表、平板电脑等，并不限定。该方法还可应用于服务器40，或者可应用于由终端和服务器40所组成的实施环境中。服务器40可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。
在另一些实施方式中，电子设备100还可以包括AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备、MR(Mixed Reality，混合现实)设备等。比如，AR设备可以是具有AR功能的手机或平板电脑，也可以是AR眼镜，在此不做限定。
需要说明的是，在一些实施方式中，服务器40可以通网络50分别与智能手机10、台式计算机20及笔记本电脑30进行通信。网络50可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
本公开实施方式中，该视频数据生成方法应用于电子设备(比如图1中的服务器40)，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息以及至少一个虚拟镜头。所述虚拟镜头用于捕获所述3D场景的图像信息。所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动。在一些可能的实现方式中，该视频数据生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图2所示，为本公开实施例提供的第一种视频数据生成方法的流程图，该视频数据生成方法包括以下S101～S103：
S101，获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动。
其中，本公开实施例中的虚拟形象的手部是指虚拟形象的目标手部，也即，虚拟形象的两个手部中确定与虚拟镜头关联的手部，而非另一个手部。
示例性地，手部控制信息由演员产生，可以实时采集演员的手部动作数据，进而获取虚拟形象的手部控制信息。其中，手部包括但不限于手掌、手指以及手臂等相关部位。
具体地，可以通过演员手套上的动作捕捉器来获取演员的手掌及手指的动作数据，并通过演员身上的衣服上的动作捕捉器来获取演员手臂的动作数据，进而获取虚拟形象的手部控制信息。其中，手部控制信息不仅限于手部的运动信息，还包括虚拟形象身体的移动而导致的手部相对于3D场景的位移信息。
需要说明的是，手部控制信息的获取并不限于演员手套上的动作捕捉传感器，还可以通过其他方式获取，在此不做限定。另外，虚拟形象手部相对于所述3D场景产生运动，是指虚拟形象手部相对于3D场景的状态发生改变，该状态包括虚拟形象手部相对于所述3D场景的移动、旋转或者其组合等，在此不做限定。
驱动虚拟形象手部做出相应动作是指，虚拟形象做出的动作与手部控制信息一致或者相符合，也即虚拟形象做出的动作与演员的动作一致或者相符合。比如，若演员做出一个握拳的动作，相应地，也驱动虚拟形象做出握拳的动作；若演员做出展开手掌的动作，则虚拟形象也做出展开手掌的相应动作。
S102，控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内。
示例性地，在虚拟形象手部运动后，还控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，也即，虚拟镜头可以与虚拟形象手部绑定，使得虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内。其中，第一预设范围可以根据具体的需求而设定，例如，虚拟镜头可以设置在虚拟形象的手上，进而实现虚拟形象的手部拿着虚拟镜头自拍的感觉。此时，虽然虚拟镜头在虚拟形象的手部位置，但是由于虚拟形象在移动，导致虚拟镜头与虚拟形象手部之间的相对位置会发生改变，但这种改变是在第一预设范围内的。
在一些实施方式中，虚拟镜头的朝向随着虚拟形象手部的运动而发生改变，也即，在虚拟形象手部的运动的情况下，虚拟镜头的朝向也会发生改变。其中，虚拟镜头的朝向的改变可以与虚拟形象手部的运动方向之间存在预设的关联关系，比如，在虚拟形象手部顺时针旋转的情况下，虚拟镜头的朝向也顺时针旋转，在虚拟形象手部逆时针旋转的情况下，虚拟镜头的朝向也逆时针旋转。
在另一些实施方式中，为了实现虚拟形象自拍的效果，虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度，如此，使得虚拟镜头朝向虚拟偶像。其中，第一预设角度不大于90度。
此外，虚拟镜头的朝向与所述虚拟形象手臂之间的夹角还可以是大于第二预设角度，此时，虚拟镜头用于拍摄与所述虚拟形象反方向的场景。为用户提供不同的观赏体验。其中，第二预设角度可以大于90度。
S103，基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
可以理解，由于虚拟镜头用于捕捉3D场景的图像信息，因此，可以基于虚拟镜头的 镜头信息以及3D场景信息生成视频数据。其中，视频数据包括多张视频帧。示例性地，生成的视频数据，可以在本地展示，也可以形成录播视频，还可以形成直播视频流，用于直播。例如，若电子设备自带显示屏或者外接有显示装置，可以将生成的视频数据在本地进行播放。
请参阅图3，为本公开实施例提供的第二种视频数据生成方法的流程图，与图2中所示的方法，不同的是，该视频数据生成方法在步骤S101之前还包括以下S99～S100：
S99，获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作。
示例性地，第一控制信息由演员产生，可以实时采集演员的动作数据以及声音数据，进而获取第一控制信息。例如，可以通过摄像头来捕捉动作者的面部表情信息以及身体动作信息，还可以通过麦克风来采集动作者的声音信息。在获取到第一控制信息之后，即可基于该第一控制信息驱动虚拟形象做出第一相应动作。
其中，第一相应动作是指虚拟形象做出的动作与第一控制信息一致或者相符合。比如，若获取到蹦跳的第一控制信息，则驱动虚拟形象做出蹦跳的第一相应动作；若获取到开心大笑的面部表情的第一控制信息，则驱动虚拟形象做出开心大笑的第一相应动作；若获取到包括说话的面部表情以及说话内容的音频的第一控制信息，则驱动虚拟形象嘴部动作并发生相应的声音。
S100，若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
其中，第一预设条件可以根据具体情况而预先设定，在此不做限定。参见图4所示，第一预设条件可以是虚拟形象B握拳的动作，因此，在虚拟形象B做出握拳的动作的情况下，即可判断第一相应动作符合第一预设条件，此时，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
本公开实施例中，虚拟镜头通过自拍杆与虚拟形象手部绑定，因此，若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆(图未示)到所述3D场景A中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
可以理解，本实施方式中，在渲染的过程中，并未渲染自拍杆，也即，自拍杆并未显示于视频数据中，但是在其他实施方式中，也可将自拍杆进行渲染显示，在此不做限定。
另外，为了提升展示效果，自拍杆与虚拟形象手臂的垂线之间的夹角在第二预设范围内，也即，自拍杆和手臂之间基本垂直，如此，使得虚拟形象的展示效果更加贴合真实主播的效果，提升观赏体验。其中，第二预设范围可以是5度至10之间，不做具体限定。
需要说明的是，判断是否符合第一预设条件的第一控制信息不仅包含第一控制信息，还包含基于第一控制信息驱动生成第一相应动作过程中产生的中间的数据信息，此处不做限定。此外，调取的自拍杆数据包含网格化的模型数据及贴图纹理数据。
参见图5所示，为本公开实施例提供的第三种视频数据生成方法的流程图，与图2中所示的第一种方法，不同的是，该视频数据生成方法在步骤S103之前还包括以下S102A～S102B：
S102A，获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作。
示例性地，与第一相应动作类似，第二相应动作是指虚拟形象做出的动作与第二控制信息一致或者相符合。
可以理解，在虚拟镜头随着虚拟形象手部的运动而运动后，还可以获取虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作。参见图6所示，若获取到走动的第二控制信息，则驱动所述虚拟形象B做出走动的第二相应动作，如此，虚拟镜头的位置也会发生改变，使得视频数据中所显示的3D场景A的内容相较于图4会发生改变。
S102B，若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
示例性地，第二控制信息与第一控制信息类似，也可以由演员产生，可以实时采集动作者的动作数据以及声音数据，进而获取第二控制信息。此外，第二控制信息还可以由遥控器等具有控制功能的设备产生。第二预设条件与第一预设条件类似，也可以根据具体情况而具体设定。
一些实施方式中，第二预设条件可以是虚拟形象手掌伸开的动作，其他实施例中，第二预设条件还可以是语音驱动信息为“解除绑定”的第二预设条件等。
参见图7所示，在虚拟形象B做出手掌伸开的动作时，确定第二相应动作符合第二预设条件，此时控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
参见图8所示，在虚拟镜头与虚拟形象手部解除绑定后，虚拟镜头调整至与第二预设条件匹配的状态，此时，虚拟镜头的镜头信息将不受虚拟形象手部控制，也即，即使虚拟形象手部运动，虚拟镜头的净土位置及镜头朝向等信息也不会发生改变，也即，此时呈现于视频中的3D场景A下的静态显示内容不会发生改变。
其中，虚拟镜头与第二预设条件匹配是指，针对不同的第二预设条件可以预先设定多个虚拟镜头状态，例如，针对手掌伸开的第二预设条件，匹配虚拟镜头的第一状态，针对语音内容“解除绑定”的第二预设条件，匹配虚拟镜头的第二状态，其他匹配关系可以依据具体情况而设定，在此不再一一举例说明。
参见图9所示，为本公开实施例提供的第四种视频数据生成方法的流程图，与图2中所示的第一种方法，不同的是，该视频数据生成方法在步骤S103之后还包括以下S104～S105：
S104，获取音频数据，并将所述视频数据与所述音频数据融合生成直播视频流。
S105，将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
示例性地，参见图10所示，视频数据为直播视频流，如此，可以实时地将视频数据发送至目标平台200，目标平台200再将视频数据发送至用户设备端300进行视频直播。
在另一些实施方式中，在得到视频数据后，还可以将视频数据发送至具有立体展示功能的电子设备中进行播放。本实施方式中，所述视频数据包括多路具有特定视觉特征(比如保持特定距离的两个虚拟镜头，其他参数符合预设条件，同步采集)的视频数据。其中， 具有立体展示功能的电子设备包括但不限于AR(Augment Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备及MR(Mixed Reality，混合现实)设备等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与视频数据生成方法对应的视频数据生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述视频数据生成方法相似，因此装置的实施方式可以参见上文方法的实施方式，重复之处不再赘述。
参照图11所示，为本公开实施例提供的一种视频数据生成装置500的示意图，所述装置包括：
行为驱动模块501，用于获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
镜头控制模块502，用于控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
视频生成模块503，用于基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
在一种可能的实施方式中，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
在一种可能的实施方式中，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
在一种可能的实施方式中，所述行为驱动模块501还用于：
获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
在一种可能的实施方式中，所述行为驱动模块501具体用于：
若所述第一控制信息和/或所述第一相应动作符合第一预设条件，调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
在一种可能的实施方式中，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
在一种可能的实施方式中，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
在一种可能的实施方式中，所述行为驱动模块501还用于：
获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
在一种可能的实施方式中，参见图12所示，所述装置500还包括：
数据融合模块504，用于获取音频数据，并将所述视频数据与所述拼音数据融合生成 直播视频流；
视频发送模块505，用于将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行视频直播。
在一种可能的实施方式中，所述视频发送模块505还用于：
将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图13所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的视频数据生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的视频数据生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可 选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

  1. 一种视频数据生成方法，应用于电子设备，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息及至少一个虚拟镜头，所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动，所述方法包括：
    获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
    控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
    基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
  2. 根据权利要求1所述的方法，其中，所述虚拟镜头的朝向随着所述虚拟形象手部的运动而发生改变。
  3. 根据权利要求1所述的方法，其中，所述虚拟镜头的镜头朝向与所述虚拟形象的手臂之间的角度小于第一预设角度。
  4. 根据权利要求1所述的方法，其中，所述获取所述虚拟形象的手部控制信息之前，所述方法还包括：
    获取所述虚拟形象的第一控制信息，驱动所述虚拟形象做出第一相应动作；
    若所述第一控制信息和/或所述第一相应动作符合第一预设条件，将所述虚拟镜头与所述虚拟形象手部绑定，使得所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在所述第一预设范围内。
  5. 根据权利要求4所述的方法，其中，所述将所述虚拟镜头与所述虚拟形象手部绑定，包括：
    调取虚拟自拍杆到所述3D场景中，并将所述自拍杆的两端分别与所述虚拟形象手部及所述虚拟镜头绑定。
  6. 根据权利要求1所述的方法，其中，所述虚拟镜头的朝向与所述虚拟形象手臂之间的夹角大于第二预设角度。
  7. 根据权利要求5所述的方法，其中，所述自拍杆与所述虚拟形象手臂的垂线之间的夹角在第二预设范围内。
  8. 根据权利要求1所述的方法，其中，所述基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据之前，所述方法还包括：
    获取所述虚拟形象的第二控制信息，驱动所述虚拟形象做出第二相应动作；
    若所述第二控制信息和/或所述第二相应动作符合第二预设条件，控制将所述虚拟镜头与所述虚拟形象手部解除绑定，并调整所述虚拟镜头至与所述第二预设条件匹配的状态。
  9. 根据权利要求1所述的方法，其中，所述生成视频数据之后，所述方法还包括：
    获取音频数据，并将所述视频数据与所述拼音数据融合生成直播视频流；
    将所述直播视频流发送至目标平台，使得所述目标平台基于所述直播视频流进行 视频直播。
  10. 根据权利要求1所述的方法，其中，所述生成视频数据之后，所述方法还包括：
    将所述视频数据发送至具有立体展示功能的电子设备中进行播放。
  11. 一种视频数据生成装置，包括：
    行为驱动模块，用于获取所述虚拟形象的手部控制信息，基于所述手部控制信息驱动所述虚拟形象手部相对于所述3D场景产生运动；
    镜头控制模块，用于控制所述虚拟镜头的位置随着所述虚拟形象手部的运动而运动，且所述虚拟镜头的位置与所述虚拟形象手部的位置的相对距离在第一预设范围内；
    视频生成模块，用于基于所述虚拟镜头的镜头信息以及所述3D场景信息生成视频数据。
  12. 一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-10任一所述的视频数据生成方法。
  13. 一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-10任一所述的视频数据生成方法。
  14. 一种计算机程序产品，所述计算机程序产品承载有程序代码，所述程序代码包括的指令用于执行如权利要求1-10任一所述的视频数据生成方法的步骤。
PCT/CN2022/113281 2021-09-24 2022-08-18 视频数据生成方法、装置、电子设备及可读存储介质 WO2023045637A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111119503.7A CN113852838B (zh) 2021-09-24 2021-09-24 视频数据生成方法、装置、电子设备及可读存储介质
CN202111119503.7 2021-09-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/543,949 Continuation US20240163528A1 (en) 2021-09-24 2023-12-18 Video data generation method and apparatus, electronic device, and readable storage medium

Publications (1)

Publication Number Publication Date
WO2023045637A1 true WO2023045637A1 (zh) 2023-03-30

Family

ID=78979563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/113281 WO2023045637A1 (zh) 2021-09-24 2022-08-18 视频数据生成方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN113852838B (zh)
WO (1) WO2023045637A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852838B (zh) * 2021-09-24 2023-08-11 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN116828131A (zh) * 2022-03-17 2023-09-29 北京字跳网络技术有限公司 基于虚拟现实的拍摄处理方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093078A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. Virtual world generation engine
CN108961376A (zh) * 2018-06-21 2018-12-07 珠海金山网络游戏科技有限公司 虚拟偶像直播中实时绘制三维场景的方法及系统
CN109859327A (zh) * 2019-02-20 2019-06-07 中山市嘉游动漫科技有限公司 一种结合虚拟与现实的动画场景构建方法及装置
CN111147873A (zh) * 2019-12-19 2020-05-12 武汉西山艺创文化有限公司 基于5g通信的虚拟形象直播方法及系统
CN111672106A (zh) * 2020-06-05 2020-09-18 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、计算机设备及存储介质
CN111672104A (zh) * 2020-06-05 2020-09-18 腾讯科技（深圳）有限公司 虚拟场景的显示方法、装置、终端及存储介质
CN113365085A (zh) * 2021-05-31 2021-09-07 北京字跳网络技术有限公司 一种直播视频生成方法及装置
CN113852838A (zh) * 2021-09-24 2021-12-28 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964052B1 (en) * 2010-07-19 2015-02-24 Lucasfilm Entertainment Company, Ltd. Controlling a virtual camera
JP6243586B2 (ja) * 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训系统
KR20180015427A (ko) * 2016-08-03 2018-02-13 송명진 가상 현실 어플리케이션에서 이동에 관한 그 방법
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
CN111773657A (zh) * 2020-08-11 2020-10-16 网易（杭州）网络有限公司 一种游戏中视角切换的方法及装置、电子设备、存储介质
CN113384880A (zh) * 2020-11-06 2021-09-14 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093078A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. Virtual world generation engine
CN108961376A (zh) * 2018-06-21 2018-12-07 珠海金山网络游戏科技有限公司 虚拟偶像直播中实时绘制三维场景的方法及系统
CN109859327A (zh) * 2019-02-20 2019-06-07 中山市嘉游动漫科技有限公司 一种结合虚拟与现实的动画场景构建方法及装置
CN111147873A (zh) * 2019-12-19 2020-05-12 武汉西山艺创文化有限公司 基于5g通信的虚拟形象直播方法及系统
CN111672106A (zh) * 2020-06-05 2020-09-18 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、计算机设备及存储介质
CN111672104A (zh) * 2020-06-05 2020-09-18 腾讯科技（深圳）有限公司 虚拟场景的显示方法、装置、终端及存储介质
CN113365085A (zh) * 2021-05-31 2021-09-07 北京字跳网络技术有限公司 一种直播视频生成方法及装置
CN113852838A (zh) * 2021-09-24 2021-12-28 北京字跳网络技术有限公司 视频数据生成方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113852838A (zh) 2021-12-28
CN113852838B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
WO2023045637A1 (zh) 视频数据生成方法、装置、电子设备及可读存储介质
WO2023071443A1 (zh) 虚拟对象控制方法、装置、电子设备及可读存储介质
WO2022062678A1 (zh) 虚拟直播方法、装置、系统及存储介质
US9616338B1 (en) Virtual reality session capture and replay systems and methods
WO2023035897A1 (zh) 视频数据生成方法、装置、电子设备及可读存储介质
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
US10750213B2 (en) Methods and systems for customizing virtual reality data
US11107183B2 (en) Adaptive mesh skinning in a foveated rendering system
US11169824B2 (en) Virtual reality replay shadow clients systems and methods
TW202304212A (zh) 直播方法、系統、電腦設備及電腦可讀儲存媒體
US10699749B2 (en) Methods and systems for customizing virtual reality data
CN114615513B (zh) 视频数据生成方法、装置、电子设备及存储介质
CN114900678B (zh) 一种vr端端云结合的虚拟演唱会渲染方法及系统
WO2018227102A1 (en) Optimized deferred lighting and foveal adaptation of particles and simulation models in a foveated rendering system
WO2023185809A1 (zh) 视频数据生成方法、装置、电子设备及存储介质
CN112714305A (zh) 展示方法、装置、设备和计算机可读存储介质
CN114630173A (zh) 虚拟对象的驱动方法、装置、电子设备及可读存储介质
CN108271056B (zh) 视频互动方法、用户客户端、服务器及存储介质
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
WO2024027063A1 (zh) 直播方法、装置、存储介质、电子设备及产品
US20240163528A1 (en) Video data generation method and apparatus, electronic device, and readable storage medium
US20240062456A1 (en) Variable update adaptation and simulation delay in multiuser virtual reality application
WO2023142756A1 (zh) 直播互动方法、装置以及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22871695

Country of ref document: EP

Kind code of ref document: A1