WO2023020239A1 - 特效生成方法、装置、电子设备及存储介质 - Google Patents

特效生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023020239A1
WO2023020239A1 PCT/CN2022/108558 CN2022108558W WO2023020239A1 WO 2023020239 A1 WO2023020239 A1 WO 2023020239A1 CN 2022108558 W CN2022108558 W CN 2022108558W WO 2023020239 A1 WO2023020239 A1 WO 2023020239A1
Authority
WO
WIPO (PCT)
Prior art keywords
special effect
effect object
image
layer
multiple layers
Prior art date
Application number
PCT/CN2022/108558
Other languages
English (en)
French (fr)
Inventor
卢智雄
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Priority to EP22857552.8A priority Critical patent/EP4345756A1/en
Publication of WO2023020239A1 publication Critical patent/WO2023020239A1/zh
Priority to US18/398,047 priority patent/US20240127528A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects

Abstract

本文公开了一种特效生成方法、装置、电子设备及存储介质。特效生成方法包括：响应于特效指令，对待处理图像进行分割，得到多个图层；获取特效对象的三维姿态信息，并根据所述三维姿态信息，确定所述特效对象与所述多个图层的遮挡关系；根据所述遮挡关系，对所述特效对象或所述多个图层进行渲染，生成特效图像。

Description

特效生成方法、装置、电子设备及存储介质
本申请要求在2021年08月16日提交中国专利局、申请号为202110935926.X的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开涉及图像处理技术领域，例如涉及一种特效生成方法、装置、电子设备及存储介质。
背景技术
随着科技的发展，越来越多的应用软件(Application，App)走进了用户的生活。一些App可支持图像局部美化的特效玩法，例如支持将图像中的天空区域美化为漫画中的天空的特效，深受用户喜爱。
相关技术中，App进行图像局部美化时，通常先从图像中分割出局部区域再将特效数据简单叠加至该局部区域。相关技术的不足之处，至少包括：特效较为单一，不能满足用户需求。
发明内容
本公开提供了一种特效生成方法、装置、电子设备及存储介质，能够实现更加多样化的特效，满足用户需求。
本公开提供了一种特效生成方法，包括：
响应于特效指令，对待处理图像进行分割，得到多个图层；
获取特效对象的三维姿态信息，并根据所述三维姿态信息，确定所述特效对象与所述多个图层的遮挡关系；
根据所述遮挡关系，对所述特效对象或所述多个图层进行渲染，生成特效图像。
本公开还提供了一种特效生成装置，包括：
分割模块，设置为响应于特效指令，对待处理图像进行分割，得到多个图层；
遮挡关系确定模块，设置为获取特效对象的三维姿态信息，并根据所述三维姿态信息，确定所述特效对象与所述多个图层的遮挡关系；
渲染模块，设置为根据所述遮挡关系，对所述特效对象或所述多个图层进 行渲染，生成特效图像。
本公开还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，设置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的特效生成方法。
本公开还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上所述的特效生成方法。
附图说明
图1为本公开实施例一所提供的一种特效生成方法的流程示意图；
图2为本公开实施例一所提供的一种特效生成方法中分割出的图层的示意图；
图3为本公开实施例二所提供的一种特效生成方法的流程示意图；
图4为本公开实施例二所提供的一种特效生成方法中预设触发的示意图；
图5为本公开实施例三所提供的一种特效生成方法的流程示意图；
图6为本公开实施例三所提供的一种特效生成方法中遮挡关系的示意图；
图7为本公开实施例三所提供的另一种特效生成方法中遮挡关系的示意图；
图8为本公开实施例四所提供的一种特效生成方法的流程示意图；
图9为本公开实施例五所提供的一种特效生成装置的结构示意图；
图10为本公开实施例六所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图描述本公开的实施例。虽然附图中显示了本公开的一些实施例，然而本公开可以通过多种形式来实现，提供这些实施例是为了理解本公开。本公开的附图及实施例仅用于示例性作用。
本公开的方法实施方式中记载的多个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一 实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有指出，否则应该理解为“一个或多个”。
实施例一
图1为本公开实施例一所提供的一种特效生成方法的流程示意图。本公开实施例适用于生成图像特效的情形，例如适用于通过基于确定的特效对象与图层的遮挡关系对图像进行渲染，得到特效对象呈现为巨物特效的情形。该方法可以由特效生成装置来执行，该装置可以集成于图像美化APP中，且可以随APP安装于电子设备中，例如随APP安装于手机、电脑等设备中。
如图1所示，本实施例提供的特效生成方法，包括：
S110、响应于特效指令，对待处理图像进行分割，得到多个图层。
本公开实施例中，集成有特效生成装置的APP安装在电子设备上后，可以响应于启动操作(例如APP图标的单击操作)开始运行。APP启动后，可响应于界面内图像选取控件的触发操作，从电子设备的存储空间内选取待处理图像，该待处理图像可以为静态图像或动态图像。此外，APP也可以响应于界面内图像采集控件的触发操作，利用电子设备配置的镜头实时采集图像，可以将该实时采集图像作为待处理图像。
APP可以将确定的待处理图像呈现在界面中的编辑区域，且界面中还可以包括特效的选择控件。当该选择控件被触发时可以生成特效指令；相应的，APP可以响应于该特效指令，对待处理图像进行分割。
可以基于传统分割方法(例如像素区域生成、边缘分割等方法)对待处理图像进行分割；也可以基于有监督学习得到的分割模型(例如全卷积网络模型、U-net模型等)，对待处理图像进行分割。
可以将分割出的表征相同语义的区域，或者表征相同个体的区域作为一个图层，从而可以提高图层分割的丰富程度，有利于提高特效玩法的多样性和灵活性。示例性的，当将相同语义的区域作为一个图层时，可将表征天空的区域作为一个图层，将表征建筑物的区域作为另一个图层。当将相同个体的区域作为一个图层时，可将表征建筑物1的区域作为一个图层，将表征建筑物2的区域作为另一个图层等。
S120、获取特效对象的三维姿态信息，并根据三维姿态信息，确定特效对象与多个图层的遮挡关系。
本公开实施例中，特效对象可以是通过构建三维模型生成的虚拟对象。针对每种虚拟对象，界面中可以存在对应特效的选择控件，且可以通过对不同特效的选择控件的触发，获取相应虚拟对象作为特效对象。
特效对象也可以是待处理图像中一个图层对应的真实对象。可以认为，分割得到的多个图层包括真实对象图层；相应的，在获取特效对象的三维姿态信息之前，还可以包括：将真实对象图层中的真实对象，确定为特效对象。例如，针对真实对象，界面中可以存在从图层中选取特效对象的选择控件，可以通过对图层的选择控件的触发，选择真实对象图层，并将识别该图层得到的真实对象作为特效对象。
三维姿态信息可以包括特征对象中多个特征点的三维位置、旋转角度等信息；其中，特征点可以为角点和/或关节点等可表征特效对象形体特征的点。当特效对象为虚拟对象时，可以直接从电子设备的存储空间或APP的后端服务器中，获取虚拟对象对应的三维姿态信息；当特效对象为真实对象时，可以根据估计的图像深度确定三维姿态信息。
根据三维姿态信息，确定特效对象与多个图层的遮挡关系，可以包括：基于有监督学习的遮挡关系确定模型，根据特效对象中多个特征点的三维姿态信息，确定特效对象中被遮挡的区域、遮挡该区域的图层，以及确定特效对象中未被图层遮挡的区域等；其中，区域可以根据特征点确定。从而可以得到特效对象与多个图层的遮挡关系。
在一些实现方式中，根据三维姿态信息，确定特效对象与多个图层的遮挡关系，还可以包括：基于每个图层的深度信息，确定多个图层的覆盖关系；根据特效对象中多个特征点的三维姿态信息，以及多个图层的覆盖关系，确定特效对象与多个图层的遮挡关系。
在这些实现方式中，在分割待处理图像得到多个图层后，还可以基于图像深度算法等方式，估计镜头与场景中被摄个体的距离，从而得到每个图层的深度信息；并且，可以根据每个图层的深度信息确定出多个图层的覆盖关系。相应的，可以基于有监督学习的遮挡关系确定模型，根据特效对象中多个特征点的三维姿态信息，以及多个图层的覆盖关系，确定特效对象与多个图层的遮挡关系。
示例性的，假设特效对象中区域1的深度小于区域2的深度，图层1覆盖在图层2上，那么遮挡关系可以包括：特效对象的区域1遮挡图层1，区域2被 图层1遮挡，但未被图层2遮挡。
S130、根据遮挡关系，对特效对象或多个图层进行渲染，生成特效图像。
根据遮挡关系对特效对象或多个图层进行渲染，可以包括：若特效对象为虚拟对象，则将特效对象未被多个图层遮挡的部分进行渲染；若特效对象为真实对象，则对图层中原来被特效对象遮挡，遮挡关系中未被特效对象遮挡的区域进行渲染。
通过根据特效对象与多个图层的遮挡关系，对特效对象或图层进行渲染，能够使特效对象与图层间呈现新的透视关系，从而能够在视觉观感上改变特效对象的大小，实现了更加多样化的特效呈现，以满足用户需求。
本公开实施例中，可以确定出至少一种模式的特效对象与多个图层的遮挡关系。例如，在模式1的遮挡关系中，特效对象的区域1遮挡图层1；而在模式2的遮挡关系中，特效对象的区域1被图层1遮挡。相应的，在根据遮挡关系进行渲染时，可以响应于切换指令采用不同模式的遮挡关系进行渲染，生成不同效果的特效图像，从而提高特效的丰富程度和灵活性，实现更加多样化的特效。在此基础上，用户可以对较为满意的特效图像进行保存，从而可以在一定程度上满足用户需求。
在一些情况下，为了使视觉观感上特效对象的大小改变更加强烈，在根据特效对象与多个图层的遮挡关系对特效对象进行渲染过程中，还可以包括：对经尺寸更改后的特效对象进行渲染。其中，在确定特效对象中多个特征点的三维位置之后，可以通过同步调整多个特征点的三维位置之间的远近关系，来实现对特效对象的尺寸更改。例如，通过扩大每两个特征点的三维位置之间的距离，可以放大特效对象尺寸；通过缩小每两个特征点的三维位置之间的距离，可以缩小特效对象。在用户期望特效图像中特效对象呈现巨物的效果时，对放大后的特效对象进行渲染，在用户期望特效图像中特效对象呈现缩小的效果时，对缩小后的特效对象进行渲染，能够提高视觉效果效果，提高用户体验。
在一些实现方式中，多个图层包括前景层、背景层和平面层；其中，遮挡关系包括前景层与特效对象的遮挡关系。
在这些实现方式中，图层可以划分为三层，特效对象可以始终覆盖在背景层之上。且特效对象为虚拟对象时，虚拟对象可以与平面层贴合，以呈现放置/站立在平面层上的效果。
示例性的，图2为本公开实施例一所提供的一种特效生成方法中分割出的图层的示意图。参见图2，图层中可以包括建筑物图层201、天空图层202和地面图层203。其中，建筑物图层201覆盖在天空图层202上，可以将建筑物图层 201作为前景层，将天空图层202作为背景层，将地面图层203作为平面层。其中，地面图层203可以用于放置虚拟对象。
在确定特效对象与多个图层遮挡关系时，可以仅根据特效对象中特征点构成的多个局部区域的三维姿态信息，确定与前景层的遮挡关系。通过根据特效对象与前景层的遮挡关系，对特效对象或图层进行渲染，不仅能够使特效对象与前景层间呈现新的透视关系，从而能够在视觉观感上改变特效对象的大小，还可以加快特效渲染的速率，提高用户体验。
本公开实施例的技术方案，响应于特效指令，对待处理图像进行分割，得到多个图层；获取特效对象的三维姿态信息，并根据三维姿态信息，确定特效对象与多个图层的遮挡关系；根据遮挡关系，对特效对象或多个图层进行渲染，生成特效图像。通过根据多个图层与特效对象的遮挡关系进行渲染，能够实现更加多样化的特效，以满足用户需求。
实施例二
本公开实施例与上述实施例中所提供的特效生成方法中多个方案可以结合。本实施例所提供的特效生成方法，增加了在实时采集图像场景下，可响应于预设触发，由根据遮挡关系进行图层分层渲染，切换为停止分层渲染，仅对原图像进行显示的步骤。能够实现在录制视频场景下，根据预设触发改变画面透视关系，即将添加特效的图层分层渲染画面，与未添加特效的原始未分层画面之间无感知切换，增强了视频特效呈现效果，提高了用户体验。
图3为本公开实施例二所提供的一种特效生成方法的流程示意图。如图3所示，本实施例提供的特效生成方法，若待处理图像为实时采集图像，则包括：
S310、响应于特效指令，对待处理图像进行分割，得到多个图层。
S320、获取特效对象的三维姿态信息，并根据三维姿态信息，确定特效对象与多个图层的遮挡关系。
S330、根据遮挡关系，对特效对象或多个图层进行渲染，生成特效图像。
S340、响应于预设触发，停止根据遮挡关系，对特效对象或多个图层进行渲染，并对实时采集的图像进行显示。
本实施例中，若待处理图像为实时采集图像，特效对象为虚拟对象，则可以在预设触发下呈现虚拟对象由分层渲染呈现巨物的效果，切换到在画面中消失的效果，从而增强了视频特效呈现效果，提高了用户体验。
若待处理图像为实时采集图像，特效对象为真实对象，则可以在预设触发下呈现真实对象由分层渲染呈现巨物的效果，切换到真实对象的原始大小的效 果。从而实现了特效对象由大到小的连续变化的视觉效果，增强了特效呈现效果，提高了用户体验。
本实施例中，预设触发包括下述至少一项：输入的预设操作、倒计时触发和识别到特效对象的预定义行为。
预设操作例如可以是通过电子设备的屏幕、键盘或鼠标等输入的触发操作；相应的，可响应于该些触发操作切换分层渲染和未分层渲染。其中，可以响应于特效指令设置一倒计时的定时器；相应的，当倒计时达到零时可以触发切换分层渲染和未分层渲染。其中，预定义行为例如可以是特效对象跳跃到一定高度、被遮挡的肢体抬升至一定高度等行为；相应的，当识别到特效对象的行为符合预定义行为时可以触发切换分层渲染和未分层渲染。此外，预设触发还可以包括其他触发，例如识别到真实对象被遮挡的局部区域向前跨越一定距离等触发，在此不做穷举。
示例性的，图4为本公开实施例二所提供的一种特效生成方法中预设触发的示意图。参见图4，图层中可以包括建筑物图层401、天空图层402、地面图层403和人物图层404。可以将距离镜头最近的人物图层404对应的人物，确定为特效对象。图4中可以包括a、b、c和d四幅画面，预设触发可以是b画面中识别到人物的抬腿行为；相应的，可以在识别到人物的抬腿行为时，切换画面的透视关系，即由a画面中所呈现的建筑物遮挡巨人的腿的效果，切换到c画面中原始未分层所呈现的建筑物未遮挡巨人的腿的效果，以使a、b和c画面串联呈现巨人跨越建筑物的效果。
由巨人效果切换为普通人效果后，人物还可以在d画面中远离镜头走动，以通过透视关系视觉呈现出人物为正常大小的人的效果。从而能够实现在录制视频场景下，人物由巨人到正常尺寸的人的连续变化，增强了特效呈现效果，提高了用户体验。
在一些实现方式中，还可以将a画面中的人物经尺寸放大后进行渲染，将c和/或d画面中的任务经尺寸缩小后进行渲染，能够使人物视觉观感上大小改变更加强烈，从而可增强特效呈现效果。
本公开实施例的技术方案，增加了在实时采集图像场景下，可响应于预设触发，由根据遮挡关系进行图层分层渲染，切换为停止分层渲染，仅对原图像进行显示的步骤。能够实现在录制视频场景下，根据预设触发改变画面透视关系，即将添加特效的图层分层渲染画面，与未添加特效的原始未分层画面之间无感知切换，增强了视频特效呈现效果，提高了用户体验。
本公开实施例提供的特效生成方法与上述实施例提供的特效生成方法属于 同一构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的效果。
实施例三
本公开实施例与上述实施例中所提供的特效生成方法中多个方案可以结合。本实施例所提供的特效生成方法，对特效对象为虚拟对象时的图层分层渲染步骤进行了描述。通过将虚拟对象与平面层贴合，能够呈现虚拟对象放置/站立在平面上的效果。通过将虚拟对象遮挡图层的区域进行渲染，能够实现虚拟对象部分在图层前，部分在图层后的与图层具备遮挡交互的效果。
图5为本公开实施例三所提供的一种特效生成方法的流程示意图。如图5所示，本实施例提供的特效生成方法，若特效对象为虚拟对象，则包括：
S510、响应于特效指令，对待处理图像进行分割，得到多个图层。
S520、获取特效对象的三维姿态信息，并根据三维姿态信息，确定特效对象与多个图层的遮挡关系。
S530、识别多个图层中平面层的三维位置。
本实施例中，可以通过同步定位与建图(Simultaneous Localization And Mapping，SLAM)方法构建出平面的三维位置；也可以通过立体视觉网络(Multi-view Stereo Net，MVS Net)方法基于多帧视差图像，识别出平面的三维位置。此外，其他可用于识别平面层的三维位置的图像几何估计算法也可应用于此，在此不做穷举。通过识别平面层的三维位置，能够实现使虚拟对象放置/站立于平面层之上的渲染效果，从而使特效渲染更加真实自然。
S540、根据平面层的三维位置，以及特效对象的三维姿态信息，将特效对象的预设面与平面层进行贴合。
本实施例中，预设面例如可以是特效对象的底面(例如动物/人物对象的脚底)。在确定平面层的三维位置后，可以将特效对象的预设面的三维姿态信息与平面的三维位置进行对齐，从而有利于实现特效对象与平面层更加自然地贴合效果。
S550、根据遮挡关系，将特效对象中未被图层遮挡的区域，叠加渲染至未被图层遮挡的区域对应的图层。
本实施例中，可以确定特效对象中遮挡图层的不同区域，并将这些区域分别叠加渲染至这些区域对应的图层；而对特效对象中被图层遮挡的区域，可以不进行渲染处理。从而能够实现虚拟对象部分在图层前，部分在图层后的与图层具备遮挡交互的效果。并且，在渲染虚拟对象过程中，可以根据画面中其他 图层中对象的大小，对虚拟对象的尺寸进行更改，并将经尺寸更改后的特效对象进行渲染，以使画面渲染效果更加和谐。
确定出的遮挡关系可以包括至少一种模式。示例性的，图6为本公开实施例三所提供的一种特效生成方法中遮挡关系的示意图。图7为本公开实施例三所提供的另一种特效生成方法中遮挡关系的示意图。
参见图6和图7，图层中可以包括建筑物图层601、天空图层602和地面图层603。其中，可以将建筑物图层601作为前景层，将天空图层602作为背景层。其中，地面图层603中可以用于放置虚拟对象604，例如图6和图7中构建的三维的猫模型。
图6中猫模型与前景层的遮挡关系可包括：猫模型的前肢遮挡前景层，后肢被前景层遮挡的遮挡关系。通过根据该遮挡关系对猫模型进行渲染，能够在视觉观感上呈现巨大的猫跨越建筑物的特效。
图7中猫模型可以为动态模型，相应的猫模型与前景层的遮挡关系可包括：首先，猫模型的四肢皆被前景层遮挡；识别到猫模型跳跃后，猫模型的四肢可皆遮挡前景。通过根据该两种遮挡关系对猫模型进行渲染，能够在视觉观感上呈现巨大的猫从建筑物后跳跃到建筑物前的特效。
本公开实施例的技术方案，对特效对象为虚拟对象时的图层分层渲染步骤进行了描述。通过将虚拟对象与平面层贴合，能够呈现虚拟对象放置/站立在平面上的效果。通过将虚拟对象遮挡图层的区域进行渲染，能够实现虚拟对象部分在图层前，部分在图层后的与图层具备遮挡交互的效果。本公开实施例提供的特效生成方法与上述实施例提供的特效生成方法属于同一构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的效果。
实施例四
本公开实施例与上述实施例中所提供的特效生成方法中多个方案可以结合。本实施例所提供的特效生成方法，对特效对象为真实对象时的图层分层渲染步骤进行了描述。通过将多个图层中原来被特效对象遮挡，遮挡关系中未被特效对象遮挡的区域进行像素补全，能够改变真实对象原有的透视关系，新增了真实对象与图层的遮挡交互，实现了真实对象大小的视觉变化效果。
图8为本公开实施例四所提供的一种特效生成方法的流程示意图。如图8所示，本实施例提供的特效生成方法，若特效对象为待处理图像中的真实对象，则包括：
S810、响应于特效指令，对待处理图像进行分割，得到多个图层。
S820、对特效对象的三维骨骼信息进行估计，根据估计的三维骨骼信息确定特效对象的三维姿态信息。
可以将距离镜头位置较近的图层对应的真实对象选择为特效对象，从而可以在响应于预设触发时，呈现更为强烈的特效对象由大变小的视觉效果。在确定特效对象后，可以通过计算机视觉估计等方法，估算出特效对象的三维骨骼信息，且可以将三维骨骼信息作为特效对象的三维姿态信息，以确定特效对象的多个部位的前后关系。
S840、根据三维姿态信息，确定特效对象与多个图层的遮挡关系。
S840、根据遮挡关系，将每个图层中满足条件的部分区域进行像素补全。
本实施例中，满足条件的部分区域，包括：在待处理图像中被特效对象遮挡，且在遮挡关系中遮挡特效对象的区域。例如，再次参见图4中的a画面，画面中虚线部分可认为是图层中原来被特效对象遮挡，而遮挡关系中遮挡特效对象的区域。
通过将每个图层中原来被特效对象遮挡，而遮挡关系中遮挡特效对象的区域进行像素补全，能够改变真实对象原有的透视关系，渲染得到真实对象部分在图层前部分在图层后的效果，视觉感官上改变了真实对象的大小。
在一些实现方式中，若待处理图像为实时采集图像，则将部分区域进行像素补全，包括：若图像的采集视角固定，则基于前帧图像中该部分区域的像素，对该部分区域进行像素补全；若图像的采集视角运动，则通过预设图像修复算法，对该部分区域进行像素补全。
采集视角固定可理解为通过静止机位的镜头采集图像，采集视角运动可以理解为通过动态机位的镜头采集图像。
前帧图像可以认为是，历史采集的至少一个图像帧。在采集视角固定时，可以从前帧图像中确定该部分区域未被遮挡的图像帧，并可以根据该图像帧中该部分区域的像素，对当前待处理图像中该部分区域的像素进行补全。
在采集视角运动时，图层中满足条件的部分区域也随之变化，可以通过预设图像修复算法(例如in painting算法)根据当前待处理图像中部分区域相邻的像素，来推算出部分区域的像素，以对当前待处理图像中该部分区域的像素进行补全。此外，在实时采集图像为从存储空间读取的图像时，也可以通过预设图像修复算法，对部分区域进行像素补全。
在这些实现方式中，提供了多种情况下满足条件的部分区域的像素补全方式，其他像素补全方式皆可以应用于此，在此不做穷举。
本公开实施例的技术方案，对特效对象为真实对象时的图层分层渲染步骤进行了详细描述。通过将每个图层中原来被特效对象遮挡，遮挡关系中未被特效对象遮挡的区域进行像素补全，能够改变真实对象原有的透视关系，新增了真实对象与图层的遮挡交互，实现了真实对象大小的视觉变化效果。本公开实施例提供的特效生成方法与上述实施例提供的特效生成方法属于同一构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的效果。
实施例五
图9为本公开实施例五所提供的一种特效生成装置的结构示意图。本实施例提供的特效生成装置适用于生成图像特效的情形，例如适用于通过基于确定的特效对象与图层的遮挡关系对图像进行渲染，得到特效对象呈现为巨物特效的情形。
如图9所示，本实施例提供的特效生成装置，包括：
分割模块910，设置为响应于特效指令，对待处理图像进行分割，得到多个图层；遮挡关系确定模块920，设置为获取特效对象的三维姿态信息，并根据三维姿态信息，确定特效对象与多个图层的遮挡关系；渲染模块930，设置为根据遮挡关系，对特效对象或多个图层进行渲染，生成特效图像。
在一些实现方式中，若待处理图像为实时采集图像，则特效生成装置，还包括：
特效停止模块，设置为在生成特效图像之后，响应于预设触发，停止根据遮挡关系，对特效对象或多个图层进行渲染，并对实时采集的图像进行显示；其中，预设触发包括下述至少一项：输入的预设操作、倒计时触发和识别到特效对象的预定义行为。
在一些实现方式中，遮挡关系确定模块920，可以设置为：
基于每个图层的深度信息，确定多个图层的覆盖关系；根据特效对象中多个特征点三维姿态信息，以及多个图层的覆盖关系，确定特效对象与多个图层的遮挡关系。
在一些实现方式中，若特效对象为虚拟对象，则渲染模块930可以设置为：
识别多个图层中平面层的三维位置；根据平面层的三维位置，以及特效对象的三维姿态信息，将特效对象的预设面与平面层进行贴合；将特效对象中未被图层遮挡的区域，叠加渲染至未被图层遮挡的区域对应的图层。
在一些实现方式中，分割得到的多个图层包括真实对象图层；相应的，分 割模块910还设置为：在获取特效对象的三维姿态信息之前，将真实对象图层中的真实对象，确定为特效对象。
在一些实现方式中，若特效对象为待处理图像中的真实对象，则遮挡关系确定模块920，可以设置为：
对特效对象的三维骨骼信息进行估计，根据估计的三维骨骼信息确定特效对象的三维姿态信息。
在一些实现方式中，若特效对象为待处理图像中的真实对象，则渲染模块930可以设置为：
将每个图层中满足条件的部分区域进行像素补全；其中，满足条件的部分区域，包括：在待处理图像中被特效对象遮挡，且在遮挡关系中遮挡特效对象的区域。
在一些实现方式中，若待处理图像为实时采集图像，则渲染模块930可以设置为：
若图像的采集视角固定，则基于前帧图像中部分区域的像素，对部分区域进行像素补全；若图像的采集视角运动，则通过预设图像修复算法，对部分区域进行像素补全。
在一些实现方式中，渲染模块930还可以设置为：对经尺寸更改后的特效对象进行渲染。
在一些实现方式中，多个图层包括前景层、背景层和平面层；其中，遮挡关系包括前景层与特效对象的遮挡关系。
本公开实施例所提供的特效生成装置，可执行本公开任意实施例所提供的特效生成方法，具备执行方法相应的功能模块和效果。
上述装置所包括的多个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，多个功能单元的名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
实施例六
下面参考图10，其示出了适于用来实现本公开实施例的电子设备(例如图10中的终端设备或服务器)1000的结构示意图。本公开实施例中的终端设备1000可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，PDA)、平板电脑(PAD)、便携式多媒体播放器(Portable Media Player，PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字电视(Television，TV)、台式计算机等等的固定终端。图 10示出的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行多种适当的动作和处理。在RAM 1003中，还存储有电子设备1000操作所需的多种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(Liquid Crystal Display，LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有多种装置的电子设备1000，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的特效生成方法中限定的上述功能。
本公开实施例提供的电子设备与上述实施例提供的特效生成方法属于同一构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的效果。
实施例七
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的特效生成方法。
本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的、装置或器件，或者任意以上的组合。计算机可读存储介质的例子可以包括但不限于：具有一个或多个 导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，Erasable Programmable Read-Only Memory，EPROM)或闪存(FLASH)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如超文本传输协议(Hyper Text Transfer Protocol，HTTP)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于特效指令，对待处理图像进行分割，得到多个图层；获取特效对象的三维姿态信息，并根据三维姿态信息，确定特效对象与多个图层的遮挡关系；根据遮挡关系，对特效对象或多个图层进行渲染，生成特效图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN—连 接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开多种实施例的、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元、模块的名称在一种情况下并不构成对该单元、模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用标准产品(Application Specific Standard Parts，ASSP)、片上系统(System on Chip，SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device，CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行、装置或设备使用或与指令执行、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM或快闪存储器、光纤、CD-ROM、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种特效生成方法，该方法包括：
响应于特效指令，对待处理图像进行分割，得到多个图层；
获取特效对象的三维姿态信息，并根据所述三维姿态信息，确定所述特效 对象与所述多个图层的遮挡关系；
根据所述遮挡关系，对所述特效对象或所述多个图层进行渲染，生成特效图像。
根据本公开的一个或多个实施例，【示例二】提供了一种特效生成方法，还包括：
在一些可选的实现方式中，若所述待处理图像为实时采集图像，则在所述生成特效图像之后，还包括：
响应于预设触发，停止所述根据所述遮挡关系，对所述特效对象或所述多个图层进行渲染的操作，并对所述实时采集的图像进行显示；
其中，所述预设触发包括下述至少一项：输入的预设操作、倒计时触发和识别到所述特效对象的预定义行为。
根据本公开的一个或多个实施例，【示例三】提供了一种特效生成方法，还包括：
在一些可选的实现方式中，所述根据所述三维姿态信息，确定所述特效对象与所述多个图层的遮挡关系，包括：
基于每个图层的深度信息，确定所述多个图层的覆盖关系；
根据所述特效对象中多个特征点三维姿态信息，以及所述多个图层的覆盖关系，确定所述特效对象与所述多个图层的遮挡关系。
根据本公开的一个或多个实施例，【示例四】提供了一种特效生成方法，还包括：
在一些可选的实现方式中，若所述特效对象为虚拟对象，则对所述特效对象或所述多个图层进行渲染，包括：
识别所述多个图层中平面层的三维位置；
根据所述平面层的三维位置，以及所述特效对象的三维姿态信息，将所述特效对象的预设面与所述平面层进行贴合；
将所述特效对象中未被图层遮挡的区域，叠加渲染至所述未被图层遮挡的区域对应的图层。
根据本公开的一个或多个实施例，【示例五】提供了一种特效生成方法，还包括：
在一些实现方式中，分割得到的多个图层包括真实对象图层；
相应的，在所述获取特效对象的三维姿态信息之前，还包括：将所述真实 对象图层中的真实对象，确定为所述特效对象。
根据本公开的一个或多个实施例，【示例六】提供了一种特效生成方法，还包括：
在一些实现方式中，若所述特效对象为所述待处理图像中的真实对象，则获取特效对象的三维姿态信息，包括：
对所述特效对象的三维骨骼信息进行估计，根据估计的所述三维骨骼信息确定所述特效对象的三维姿态信息。
根据本公开的一个或多个实施例，【示例七】提供了一种特效生成方法，还包括：
在一些实现方式中，若所述特效对象为所述待处理图像中的真实对象，则对所述特效对象或所述多个图层进行渲染，包括：
将每个图层中满足条件的部分区域进行像素补全；
其中，满足条件的部分区域，包括：在所述待处理图像中被所述特效对象遮挡，且在所述遮挡关系中遮挡所述特效对象的区域。
根据本公开的一个或多个实施例，【示例八】提供了一种特效生成方法，还包括：
在一些实现方式中，若所述待处理图像为实时采集图像，则将每个图层中满足条件的部分区域进行像素补全，包括：
若所述图像的采集视角固定，则基于前帧图像中所述部分区域的像素，对所述部分区域进行像素补全；
若所述图像的采集视角运动，则通过预设图像修复算法，对所述部分区域进行像素补全。
根据本公开的一个或多个实施例，【示例九】提供了一种特效生成方法，还包括：
在一些实现方式中，对所述特效对象进行渲染，包括：对经尺寸更改后的所述特效对象进行渲染。
根据本公开的一个或多个实施例，【示例十】提供了一种特效生成方法，还包括：
在一些实现方式中，所述多个图层包括前景层、背景层和平面层；其中，所述遮挡关系包括所述前景层与所述特效对象的遮挡关系。
此外，虽然采用特定次序描绘了多个操作，但是这不应当理解为要求这些 操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了多个实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的一些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的多种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

Claims (13)

  1. 一种特效生成方法，包括：
    响应于特效指令，对待处理图像进行分割，得到多个图层；
    获取特效对象的三维姿态信息，并根据所述三维姿态信息，确定所述特效对象与所述多个图层的遮挡关系；
    根据所述遮挡关系，对所述特效对象或所述多个图层进行渲染，生成特效图像。
  2. 根据权利要求1所述的方法，其中，在所述待处理图像为实时采集图像的情况下，在所述生成特效图像之后，还包括：
    响应于预设触发，停止所述根据所述遮挡关系，对所述特效对象或所述多个图层进行渲染的操作，并对所述实时采集的图像进行显示；
    其中，所述预设触发包括下述至少一项：输入的预设操作、倒计时触发和识别到所述特效对象的预定义行为。
  3. 根据权利要求1所述的方法，其中，所述根据所述三维姿态信息，确定所述特效对象与所述多个图层的遮挡关系，包括：
    基于每个图层的深度信息，确定所述多个图层的覆盖关系；
    根据所述特效对象中多个特征点的三维姿态信息，以及所述多个图层的覆盖关系，确定所述特效对象与所述多个图层的遮挡关系。
  4. 根据权利要求1所述的方法，其中，在所述特效对象为虚拟对象的情况下，所述对所述特效对象或所述多个图层进行渲染，包括：
    识别所述多个图层中平面层的三维位置；
    根据所述平面层的三维位置，以及所述特效对象的三维姿态信息，将所述特效对象的预设面与所述平面层进行贴合；
    将所述特效对象中未被图层遮挡的区域，叠加渲染至所述未被图层遮挡的区域对应的图层。
  5. 根据权利要求1所述的方法，其中，分割得到的多个图层包括真实对象图层；
    在所述获取特效对象的三维姿态信息之前，还包括：
    将所述真实对象图层中的真实对象，确定为所述特效对象。
  6. 根据权利要求1所述的方法，其中，在所述特效对象为所述待处理图像中的真实对象的情况下，所述获取特效对象的三维姿态信息，包括：
    对所述特效对象的三维骨骼信息进行估计，根据估计的所述三维骨骼信息确定所述特效对象的三维姿态信息。
  7. 根据权利要求1所述的方法，其中，在所述特效对象为所述待处理图像中的真实对象的情况下，所述对所述特效对象或所述多个图层进行渲染，包括：
    将每个图层中满足条件的部分区域进行像素补全；
    其中，满足条件的部分区域，包括：在所述待处理图像中被所述特效对象遮挡，且在所述遮挡关系中遮挡所述特效对象的区域。
  8. 根据权利要求7所述的方法，其中，在所述待处理图像为实时采集图像的情况下，所述将每个图层中满足条件的部分区域进行像素补全，包括：
    在所述实时采集图像的采集视角固定的情况下，基于前帧图像中所述部分区域的像素，对所述部分区域进行像素补全；
    在所述实时采集图像的采集视角运动的情况下，通过预设图像修复算法，对所述部分区域进行像素补全。
  9. 根据权利要求1所述的方法，其中，对所述特效对象进行渲染，包括：
    对经尺寸更改后的所述特效对象进行渲染。
  10. 根据权利要求1-9任一项所述的方法，其中，所述多个图层包括前景层、背景层和平面层；其中，所述遮挡关系包括所述前景层与所述特效对象的遮挡关系。
  11. 一种特效生成装置，包括：
    分割模块，设置为响应于特效指令，对待处理图像进行分割，得到多个图层；
    遮挡关系确定模块，设置为获取特效对象的三维姿态信息，并根据所述三维姿态信息，确定所述特效对象与所述多个图层的遮挡关系；
    渲染模块，设置为根据所述遮挡关系，对所述特效对象或所述多个图层进行渲染，生成特效图像。
  12. 一种电子设备，包括：
    至少一个处理器；
    存储装置，设置为存储至少一个程序；
    当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-10中任一项所述的特效生成方法。
  13. 一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一项所述的特效生成方法。
PCT/CN2022/108558 2021-08-16 2022-07-28 特效生成方法、装置、电子设备及存储介质 WO2023020239A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22857552.8A EP4345756A1 (en) 2021-08-16 2022-07-28 Special effect generation method and apparatus, electronic device and storage medium
US18/398,047 US20240127528A1 (en) 2021-08-16 2023-12-27 Special effect generation method, electronic device and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110935926.X 2021-08-16
CN202110935926.XA CN115937379A (zh) 2021-08-16 2021-08-16 一种特效生成方法、装置、电子设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/398,047 Continuation US20240127528A1 (en) 2021-08-16 2023-12-27 Special effect generation method, electronic device and storage medium

Publications (1)

Publication Number Publication Date
WO2023020239A1 true WO2023020239A1 (zh) 2023-02-23

Family

ID=85240030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/108558 WO2023020239A1 (zh) 2021-08-16 2022-07-28 特效生成方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20240127528A1 (zh)
EP (1) EP4345756A1 (zh)
CN (1) CN115937379A (zh)
WO (1) WO2023020239A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151777A (zh) * 2023-04-20 2023-05-23 深圳奥雅设计股份有限公司 一种风景园林平面图的智能自动渲染方法及系统
CN116503289A (zh) * 2023-06-20 2023-07-28 北京天工异彩影视科技有限公司 一种视觉特效应用处理方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173305A (zh) * 2022-05-25 2023-12-05 北京字节跳动网络技术有限公司 三维效果形象的生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683161A (zh) * 2016-12-13 2017-05-17 中国传媒大学 基于图像分割与自定义图层法的增强现实遮挡方法
CN110536151A (zh) * 2019-09-11 2019-12-03 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111833458A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像显示方法及装置、设备、计算机可读存储介质
WO2021115623A1 (en) * 2019-12-13 2021-06-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683161A (zh) * 2016-12-13 2017-05-17 中国传媒大学 基于图像分割与自定义图层法的增强现实遮挡方法
CN110536151A (zh) * 2019-09-11 2019-12-03 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2021115623A1 (en) * 2019-12-13 2021-06-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
CN111833458A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像显示方法及装置、设备、计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151777A (zh) * 2023-04-20 2023-05-23 深圳奥雅设计股份有限公司 一种风景园林平面图的智能自动渲染方法及系统
CN116151777B (zh) * 2023-04-20 2023-07-14 深圳奥雅设计股份有限公司 一种风景园林平面图的智能自动渲染方法及系统
CN116503289A (zh) * 2023-06-20 2023-07-28 北京天工异彩影视科技有限公司 一种视觉特效应用处理方法和系统
CN116503289B (zh) * 2023-06-20 2024-01-09 北京天工异彩影视科技有限公司 一种视觉特效应用处理方法和系统

Also Published As

Publication number Publication date
EP4345756A1 (en) 2024-04-03
CN115937379A (zh) 2023-04-07
US20240127528A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
WO2023020239A1 (zh) 特效生成方法、装置、电子设备及存储介质
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
WO2020186935A1 (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110276840B (zh) 多虚拟角色的控制方法、装置、设备及存储介质
US20240078703A1 (en) Personalized scene image processing method, apparatus and storage medium
CN113228625A (zh) 支持复合视频流的视频会议
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11776209B2 (en) Image processing method and apparatus, electronic device, and storage medium
WO2023179346A1 (zh) 特效图像处理方法、装置、电子设备及存储介质
WO2020192195A1 (zh) 图像处理方法、装置和电子设备
CN112138386A (zh) 一种体积渲染方法、装置、存储介质及计算机设备
CN112965780B (zh) 图像显示方法、装置、设备及介质
CN112053370A (zh) 基于增强现实的显示方法、设备及存储介质
CN112053449A (zh) 基于增强现实的显示方法、设备及存储介质
JP2024502407A (ja) 拡張現実に基づく表示方法、装置、機器及び記憶媒体
WO2023185455A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2020215789A1 (zh) 虚拟画笔实现方法、装置和计算机可读存储介质
JP7387001B2 (ja) 画像合成方法、装置、およびストレージ媒体
CN113613067A (zh) 视频处理方法、装置、设备及存储介质
WO2023207354A1 (zh) 特效视频确定方法、装置、电子设备及存储介质
WO2023138441A1 (zh) 视频生成方法、装置、设备及存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN109544698A (zh) 图像展示方法、装置及电子设备
CN111223114B (zh) 一种图像区域的分割方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22857552

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022857552

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022857552

Country of ref document: EP

Effective date: 20231227

NENP Non-entry into the national phase

Ref country code: DE