WO2022237435A1 - 更换画面中的背景的方法、设备、存储介质及程序产品 - Google Patents

更换画面中的背景的方法、设备、存储介质及程序产品 Download PDF

Info

Publication number
WO2022237435A1
WO2022237435A1 PCT/CN2022/086428 CN2022086428W WO2022237435A1 WO 2022237435 A1 WO2022237435 A1 WO 2022237435A1 CN 2022086428 W CN2022086428 W CN 2022086428W WO 2022237435 A1 WO2022237435 A1 WO 2022237435A1
Authority
WO
WIPO (PCT)
Prior art keywords
background image
shooting picture
picture
preset
image
Prior art date
Application number
PCT/CN2022/086428
Other languages
English (en)
French (fr)
Inventor
陈映宜
焦少慧
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Priority to EP22806405.1A priority Critical patent/EP4243423A1/en
Priority to JP2023532118A priority patent/JP2023550970A/ja
Priority to US18/254,575 priority patent/US20240031518A1/en
Publication of WO2022237435A1 publication Critical patent/WO2022237435A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

本实施例提供的更换画面中的背景的方法、设备、存储介质及程序产品，涉及图像处理技术，包括：获取预设场景的基础背景图；其中，基础背景图是预先拍摄预设场景得到的图像；获取当前拍摄预设场景所得到的拍摄画面，并根据基础背景图和拍摄画面确定预设场景的当前背景图；使用预设背景图替换拍摄画面中的当前背景图，得到最终拍摄画面。本实施例提供的方案中，能够利用预先采集的基础背景图识别当前拍摄画面中的当前背景图，进而可以利用预设背景图替换拍摄画面中的当前背景图，这种方式无需在预设场景中设置特定的背景装置，就能够根据需求调整拍摄画面中的背景，从而提高更换拍摄画面中的背景的灵活度。

Description

更换画面中的背景的方法、设备、存储介质及程序产品
相关申请交叉引用
本申请要求于2021年5月12日提交、申请号为202110518684.4、发明名称为“更换画面中的背景的方法、设备、存储介质及程序产品”的中国专利申请的优先权，其全部内容通过引用并入本文。
技术领域
本公开实施例涉及图像处理技术，尤其涉及一种更换画面中的背景的方法、设备、存储介质及程序产品。
背景技术
随着网络技术的发展，目前，网络直播越来越流行，而且直播内容也越来越丰富。比如，可以通过网络直播的方式向观众介绍物品信息。
目前，在进行网络直播时，需要设置背景。比如，可以在主播背后放置投影幕布或电视，从而通过投影幕布或电视展示信息。
但是设置投影幕布或者电视的方式，拍摄的直播画面中可能存在反光情况，导致直播画面不清晰。
发明内容
本公开实施例提供一种更换画面中的背景的方法、设备、存储介质及程序产品，以解决现有技术中需要设置专门的设备作为直播背景，导致直播成本高，且专门的设备可能会引起直播画面不清晰的问题。
第一方面，本公开实施例提供一种更换画面中的背景的方法，包括：
获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像；
获取当前拍摄所述预设场景所得到的拍摄画面，并根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图；
使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面。
第二方面，本公开实施例提供一种更换画面中的背景的装置，包括：
获取单元，用于获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像；
所述获取单元还用于获取当前拍摄所述预设场景所得到的拍摄画面；
识别单元，用于根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图；
背景替换单元，用于使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的更换画面中的背景的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的更换画面中的背景的方法。
第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的更换画面中的背景的方法。
第六方面，本公开实施例提供一种计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的更换画面中的背景的方法。
本实施例提供的更换画面中的背景的方法、设备、存储介质及程序产品，包括：获取预设场景的基础背景图；其中，基础背景图是预先拍摄预设场景得到的图像；获取当前拍摄预设场景所得到的拍摄画面，并根据基础背景图和拍摄画面确定预设场景的当前背景图；使用预设背景图替换拍摄画面中的当前背景图，得到最终拍摄画面。本实施例提供的方案中，能够利用预先采集的基础背景图识别当前拍摄画面中的当前背景图，进而可以利用预设背景图替换拍摄画面中的当前背景图，这种方式无需在预设场景中设置特定的背景装置，就能够根据需求调整拍摄画面中的背景，从而提高更换拍摄画面中的背景的灵活度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一示例性实施例示出的直播画面示意图；
图2为另一示例性实施例示出的直播画面示意图；
图3为本申请一示例性实施例示出的更换画面中的背景的方法的流程示意图；
图4为本申请一示例性实施例示出的基础背景图的示意图；
图5为本申请另一示例性实施例示出的更换画面中的背景的方法的流程示意图；
图6为本申请一示例性实施例示出的背景图示意图；
图7为本申请一示例性实施例示出的生成最终拍摄画面的示意图；
图8为本申请一示例性实施例示出的更换画面中的背景的装置的结构示意图；
图9为本申请另一示例性实施例示出的更换画面中的背景的装置的结构示意图；
图10为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1为一示例性实施例示出的直播画面示意图。
如图1所示，在客户端可以显示直播画面11，在直播画面中存在电视12。
其中，为了展示信息，可以在直播现场设置电视12，并通过电视12展示直播信息。但是，电视可能存在反光情况，进而导致直播画面不清晰。
图2为另一示例性实施例示出的直播画面示意图。
如图2所示，在客户端可以显示直播画面21，在直播画面中存在背景22(用斜线表示)，比如背景22可以是预先设置的图像。
其中，在直播现场可以设置绿幕23(用空白区域表示)，具体将绿幕设置在主播的后背作为背景，并通过软件将画面中的绿幕替换为预先设置的图像。
但是，这种方式需要准备直播耗材，导致直播成本较高。
为了解决上述技术问题，本申请提供的方案中，可以预先拍摄预设场景的基础背景图，并利用该基础背景图识别拍摄画面中背景，进而可以准确的使用预设背景图替换拍摄画面中的背景。这种方式不用在直播现场设置如绿幕、电视等背景，进而降低直播成本，而且还不会由于电视反光等问题导致画面不清晰。
图3为本申请一示例性实施例示出的更换画面中的背景的方法的流程示意图。
如图3所示，本申请提供的更换画面中的背景的方法，包括：
步骤301，获取预设场景的基础背景图；其中，基础背景图是预先拍摄预设场景得到的图像。
其中，本申请提供的方法可以由具备计算能力的电子设备执行。
一种实施方式中，该电子设备例如可以是计算机，该计算机例如可以是提供直播服务的后台服务器。
另一种实施方式中，该电子设备例如可以是移动终端，该移动终端可以作为主播的直播终端。
具体地，可以将本申请提供的方法设置在电子设备中，从而使该电子设备执行本申请提供的方法。
进一步的，电子设备在更换画面背景时，可以获取基础背景图。该基础背景图是预先采集预设场景得到的图像，比如，用户可以拍摄直播所在的场景，进而得到基础背景图。具体可以从直播时拍摄的角度，拍摄该基础背景图。
再比如，本申请提供的方法还可以对在预设场景中录制得到的视频进行背景更换，或者对在预设场景中拍摄的图片进行背景更换。
实际应用时，采集基础背景图时，该预设场景中可以只有直播时所在的环境，而没有人物。
图4为本申请一示例性实施例示出的基础背景图的示意图。
如图4所示，基础背景图可以如图4所示，主播可以在该场景中进行直播，一般情况下在直播过程中不会更换环境，因此直播画面的背景也不会与基础背景图有很大的变化，所以可以基于该基础背景图识别直播画面中的背景部分。
步骤302，获取当前拍摄预设场景所得到的拍摄画面，并根据基础背景图和拍摄画面确定预设场景的当前背景图。
其中，电子设备可以获取当前拍摄预设场景得到的拍摄画面，该拍摄画面可以是实时拍摄的，还可以是预先拍摄的。该拍摄画面可以是视频中的一帧画面，也可以是拍摄的图片。
由于拍摄画面是拍摄预设场景得到的画面，因此，该拍摄画面中包括基础背景图中的图像内容。比如，若主播在预设场景中进行直播，则拍摄画面中包括主播以及部分基础背景图。
具体地，拍摄画面是需要替换背景的画面，因此，电子设备可以获取该拍摄画面，并根据基础背景图和拍摄画面确定预设场景的当前背景图。
进一步的，电子设备可以比对基础背景图与拍摄画面，从而在拍摄画面中识别出与基础背景图一致的部分，得到当前背景图。
步骤303，使用预设背景图替换拍摄画面中的当前背景图，得到最终拍摄画面。
实际应用时，用户还可以预先设置预设背景图。若电子设备为服务器，则用户可以通过终端上传该预设背景图，若电子设备为直播用户端，则用户可以在直播用户端中选择一个图像作为预设背景图。
其中，电子设备可以使用选择的预设背景图，替换拍摄画面中的当前背景图，从而得到最终拍摄画面。具体可以利用当前背景图从拍摄画面中扣取前景图像，并将前景图像拼接在预设背景图中，得到最终拍摄画面。
具体地，用户还可以更换预设背景图，从而在直播过程中根据需求更换直播背景。比如，用户在介绍物品A时，可以选择包括物品A的介绍信息的图片作为预设背景图，用户在介绍物品B时，可以选择包括物品B的介绍信息的图片作为预设背景图。通过这种方式，可以使用户根据需求调整直播背景图。
若电子设备为服务器，则该服务器可以将更新了背景的最终拍摄画面发送给各个用户终端，使得用户能够观看到替换了背景的最终拍摄画面。
若电子设备为直播终端，则直播终端可以将更新了背景的最终拍摄画面发送给服务器，再由服务器向用户终端下发最终拍摄画面，使得用户能够观看到替换了背景的最终拍摄画面。
本申请提供的更换画面中的背景的方法，包括：获取预设场景的基础背景图；其中，基础背景图是预先拍摄预设场景得到的图像；获取当前拍摄预设场景所得到的拍摄画面，并根据基础背景图和拍摄画面确定预设场景的当前背景图；使用预设背景图替换拍摄画面中的当前背景图，得到最终拍摄画面。本申请提供的方法中，能够利用预先采集的基础背景图识别当前拍摄画面中的当前背景图，进而可以利用预设背景图替换拍摄画面中的当前背景图，这种方法无需在预设场景中设置特定的背景装置，就能够根据需求调整拍摄画面中的背景，从而提高更换拍摄画面中的背景的灵活度。
图5为本申请另一示例性实施例示出的更换画面中的背景的方法的流程示意图。
如图5所示，本申请提供的更换画面中的背景的方法，包括：
步骤501，获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像。
步骤501与步骤301的实现方式和原理类似，不再赘述。
步骤502，获取当前拍摄预设场景所得到的拍摄画面。
步骤502与步骤302中获取拍摄画面的方式类似，不再赘述。
步骤503，提取基础背景图的基础特征点信息，提取拍摄画面中的拍摄特征点信息。
其中，电子设备可以根据基础背景图在拍摄画面中识别当前背景图。具体可以分别提取基础背景图和拍摄画面中的特征点信息。
具体地，提取的基础特征点信息能够表征出基础背景图的特征，提取出的拍摄特征点信息能够表征拍摄画面中的特征，进而可以通过特征点信息在拍摄画面中识别出与基础背景图一致的部分，进而识别出当前背景图。
进一步的，电子设备可以利用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)的方法，提取基础背景图和拍摄画面中的特征，进而得到基础背景图中的基础特征点信息，拍摄画面中的拍摄特征点信息。
步骤504，确定每一基础特征点信息与每一拍摄特征点信息的匹配关系，并根据匹配关系确定拍摄画面中的当前背景图。
实际应用时，电子设备可以对基础特征点信息与拍摄特征点信息进行匹配，从而确定出每一基础特征点信息与每一拍摄特征点信息的匹配关系。比如，基础特征点信息A1和拍摄特征点信息A2之间匹配，基础特征点信息B1和拍摄特征点信息B2之间匹配。
其中，若根据SIFT方式提取特征点信息，则提取的每一特征点信息都能够表征图像的稳定的局部特征，进而可以根据SIFT特征点得到稳定的匹配结果。
具体地，电子设备可以根据匹配关系在拍摄画面中确定当前背景图。
进一步的，电子设备可以根据每一基础特征点信息与每一拍摄特征点信息的匹配关系，确定基础背景图与拍摄画面之间的位置对应关系，比如，基础背景图的像素点P1与拍摄画面中的像素点P2匹配，则可以认为该像素点P2是背景部分，再且这两个像素点之间的位置具有对应关系。
实际应用时，电子设备可以根据基础背景图与拍摄画面之间的位置对应关系，确定出拍摄画面中的背景部分，还可以拼接拍摄画面中的背景部分与基础背景图，得到拍摄画面中预设场景的当前背景图。
其中，当前拍摄预设场景时的摄像头位置与采集基础背景图时的摄像头位置可能不完全相同，因此，拍摄画面中的背景部分与基础背景图可能不完全重合，因此，可以对基础背景图与拍摄画面进行拼接，得到尺寸更大的背景图。
比如，当前拍摄预设场景时的摄像头位置比采集基础背景图时的摄像头位置高一些，则可以将拍摄画面的上部分图像内容拼接到基础背景图上，得到尺寸更大的拼接背景图。
图6为本申请一示例性实施例示出的背景图示意图。
如图6所示，基础背景图如61所示，在拍摄画面62中识别出背景部分63，可以拼接63与61，得到当前背景图64。
在步骤504之后可以执行步骤507、510，从而直接根据当前背景图生成最终拍摄画面。
步骤505，对当前背景图的边界进行扩展，得到扩展背景图。
一种可选的实施方式中，本申请提供的方案还可以对当前背景图的边界进行扩展，得到扩展背景图。
这种实施方式中，在摄像头的角度发生改变时，本申请提供的方法也能够根据扩展背景图在拍摄画面中准确的识别背景部分。
在这种实施方式中，可以根据所述扩展背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。具体可以根据扩展背景图在拍摄画面中识别背景部分，从而提取到前景图像，再利用前景图像生成最终拍摄画面。
在步骤505之后可以执行步骤508、510，从而根据扩展背景图生成最终拍摄画面。
步骤506，对扩展背景图进行以下任一种增强处理，得到增强背景图：拼接缝羽化、光线变换。
在一种可选的实施方式中，本申请提供的方法还可以对扩展背景图进行进一步的增强处理得到增强背景图，使得增强背景图与拍摄画面中的背景部分更加相近，从而能够根据增强背景图在拍摄画面中准确的识别背景部分。
在这种实施方式中，可以根据所述增强背景图，使用预设背景图替换所述拍摄画面中的增强背景图，得到所述最终拍摄画面。具体可以根据增强背景图在拍摄画面中识别背景部分，从而提取到前景图像，再利用前景图像生成最终拍摄画面。
其中，具体可以对扩展背景图进行拼接缝羽化的处理，使图像中拼接缝的位置过渡更加自然。还可以对扩展背景图进行光线变化的处理，以提高图像中的亮度，还能够增强图像中的纹理特征。
具体地，电子设备可以根据当前背景图、拍摄画面确定拍摄画面中包括的前景图像。具体可以直接根据当前背景图提取拍摄画面中的前景图像，还可以利用根据当前背景图确定的扩展背景图，提取拍摄画面中的前景图像。还可以利用根据当前背景图确定的增强景图，提取拍摄画面中的前景图像。
在步骤506之后可以执行步骤509、510，从而根据增强背景图生成最终拍摄画面。
步骤507，将当前背景图和拍摄画面输入预设分割模型，预设分割模型用于输出拍摄画面中包括的前景图像。
其中，电子设备中可以设置能够根据背景图像和拍摄画面，输出拍摄画面中包括的前景图像的模型，该模型可以通过预先训练得到，比如可以预先搭建预设模型，再对其进行训练，得到预设分割模型，该预设模型中的特征提取网络例如可以是mobilenet网络(移动端神经网络)。
利用mobilenet网络搭建预设模型，能够使模型体量更小，进而能够将该模型应用在移动终端侧。
一种可选的实施方式中，电子设备可以将当前背景图和拍摄画面输入预设分割模型中，预设分割模型能够输出前景图像。
步骤508，将根据当前背景图确定的扩展背景图、拍摄画面输入预设分割模型，预设分割模型用于输出拍摄画面中包括的前景图像。
其中，电子设备中可以设置能够根据背景图像和拍摄画面，输出拍摄画面中包括的前景图像的模型，该模型可以通过预先训练得到，比如可以预先搭建预设模型，再对其进行训练，得到预设分割模型，该预设模型中的特征提取网络例如可以是mobilenet网络。
利用mobilenet网络搭建预设模型，能够使模型体量更小，进而能够将该模型应用在移动终端侧。
一种可选的实施方式中，电子设备可以将扩展背景图和拍摄画面输入预设分割模型中，预设分割模型能够输出前景图像。
步骤509，将根据当前背景图确定的增强背景图、拍摄画面输入预设分割模型，预设分割模型用于输出拍摄画面中包括的前景图像。
其中，电子设备中可以设置能够根据背景图像和拍摄画面，输出拍摄画面中包括的前景图像的模型，该模型可以通过预先训练得到，比如可以预先搭建预设模型，再对其进行训练，得到预设分割模型，该预设模型中的特征提取网络例如可以是mobilenet网络。
利用mobilenet网络搭建预设模型，能够使模型体量更小，进而能够将该模型应用在移动终端侧。
一种可选的实施方式中，电子设备可以将增强背景图和拍摄画面输入预设分割模型中，预设分割模型能够输出前景图像。
步骤510，根据前景图像、预设背景图，生成最终拍摄画面，其中，最终拍摄画面的背景为预设背景图，最终拍摄画面的前景为前景图像。
具体地，电子设备可以融合前景图像以及获取的预设背景图，进而得到最终拍摄画面。通过这种方式能够更好拍摄画面中的背景，而且基于本申请的方法能够准确的识别拍摄画面中的背景部分，进而可以提取出准确的前景图像，从而可以得到清晰的最终拍摄画面。
图7为本申请一示例性实施例示出的生成最终拍摄画面的示意图。
如图7所示，电子设备能够从拍摄画面中提取前景图像71，进而可以将前景图像71与预设背景图72进行融合，将前景图像71作为前景，将预设背景图72作为背景，进而得到最终拍摄画面73。
在一种可选的实施方式中，本申请提供的方法还可以包括：
步骤511，将基础背景图更新为增强背景图或者扩展背景图。
在继续为拍摄画面更换背景时，电子设备可以基于更新后的基础背景图进行处理，由于扩展背景图和增强背景图均为在当前拍摄视角的基础上扩展了的图像，因此，当摄像头转动时，基于更新后的基础背景图仍然能够准确的从拍摄画面中识别出背景部分，进而可以提取出准确的前景图像。
步骤512，发送最终拍摄画面。
其中，本实施例提供的方法可以由直播终端实现，该直播终端能够用用户选择的预设背景图，替换该直播终端采集的拍摄画面中的背景部分，从而实现背景更换的效果。
具体地，直播终端更换完拍摄画面中的背景后，可以将得到的最终拍摄画面上传至服务器，从而使服务器向各个用户终端下发最终拍摄画面，使得用户可以通过各自的终端观看最终拍摄画面。
图8为本申请一示例性实施例示出的更换画面中的背景的装置的结构示意图。
如图8所示，本申请提供的更换画面中的背景的装置800，包括：
获取单元810，用于获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像；
所述获取单元810还用于获取当前拍摄所述预设场景所得到的拍摄画面；
识别单元820，用于根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图；
背景替换单元830，用于使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面。
本申请提供的更换画面中的背景的装置，包括获取单元，用于获取预设场景的基础背景图；其中，基础背景图是预先拍摄预设场景得到的图像；获取单元还用于获取当前拍摄预设场景所得到的拍摄画面；识别单元，用于根据基础背景图和拍摄画面确定预设场景的当前背景图；背景替换单元，用于使用预设背景图替换拍摄画面中的当前背景图，得到最终拍摄画面。本申请提供的装置中，能够利用预先采集的基础背景图识别当前拍摄画面中的当前背景图，进而可以利用预设背景图替换拍摄画面中的当前背景图，这种方式无需在预设场景中设置特定的背景装置，就能够根据需求调整拍摄画面中的背景，从而提高更换拍摄画面中的背景的灵活度。
图9为本申请另一示例性实施例示出的更换画面中的背景的装置的结构示意图。
如图9所示，在上述实施例基础上，本申请提供的更换画面中的背景的装置900，一种可选的实施方式中，所述识别单元820，包括：
特征提取模块821，用于提取所述基础背景图的基础特征点信息，提取所述拍摄画面中的拍摄特征点信息；
匹配模块822，用于确定每一基础特征点信息与每一拍摄特征点信息的匹配关系；
背景确定模块823，用于根据所述匹配关系确定所述拍摄画面中的所述当前背景图。
一种可选的实施方式中，所述背景确定模块823具体用于：
根据所述匹配关系，拼接所述拍摄画面中的背景部分与所述基础背景图，得到所述拍摄画面中的所述预设场景的当前背景图。
一种可选的实施方式中，所述背景确定模块823还用于：
对所述当前背景图的边界进行扩展，得到扩展背景图；
相应的，所述背景替换单元830具体用于：
根据所述扩展背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
一种可选的实施方式中，所述背景替换单元830具体用于：
对扩展背景图进行以下任一种增强处理，得到增强背景图：
拼接缝羽化、光线变换；
相应的，所述背景替换单元830具体用于：
根据增强背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
一种可选的实施方式中，所述背景替换单元830，包括：
前景确定模块831，用于根据所述当前背景图、所述拍摄画面确定所述拍摄画面中包括的前景图像；
画面生成模块832，用于根据所述前景图像、所述预设背景图，生成所述最终拍摄画面，其中，所述最终拍摄画面的背景为所述预设背景图，所述最终拍摄画面的前景为所述前景图像。
一种可选的实施方式中，所述前景确定模块831具体用于：
将所述当前背景图和所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
或者，将根据所述当前背景图确定的扩展背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
或者，将根据所述当前背景图确定的增强背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像。
一种可选的实施方式中，所述装置还包括更新单元840，用于：
将所述基础背景图更新为所述增强背景图或者所述扩展背景图。
一种可选的实施方式中，所述装置还包括发送单元850，用于：
发送所述最终拍摄画面。
本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述任一项所述的更换画面中的背景的方法。
本实施例还提供一种计算机程序，所述计算机程序在被处理器执行时实现上述任一项所述的更换画面中的背景的方法。
参考图10，其示出了适于用来实现本公开实施例的电子设备1000的结构示意图，该电子设备1000可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(Read Only Memory，简称ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(Random Access Memory，简称RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，简称I/O)接口1005也连接至总线1004。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(Liquid Crystal Display，简称LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他 设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM 1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体地例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(Random Access Memory，简称RAM)、只读存储器(Read-Only Memory，简称ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，简称CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(Local Area Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法、计算机程序和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用标准产品(Application Specific Standard Parts，简称ASSP)、片上系统(System on Chip，简称SOC)、复杂可编程逻辑设备(Complex Programmable logic device，简称CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种更换画面中的背景的方法，包括：
获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像；
获取当前拍摄所述预设场景所得到的拍摄画面，并根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图；
使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面。
根据本公开的一个或多个实施例，所述根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图，包括：
提取所述基础背景图的基础特征点信息，提取所述拍摄画面中的拍摄特征点信息；
确定每一基础特征点信息与每一拍摄特征点信息的匹配关系，并根据所述匹配关系确定所述拍摄画面中的所述当前背景图。
根据本公开的一个或多个实施例，所述根据所述匹配关系在所述拍摄画面中确定所述当前背景图，包括：
根据所述匹配关系，拼接所述拍摄画面中的背景部分与所述基础背景图，得到所述拍摄画面中的所述预设场景的当前背景图。
根据本公开的一个或多个实施例，还包括：
对所述当前背景图的边界进行扩展，得到扩展背景图；
相应的，根据所述扩展背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
根据本公开的一个或多个实施例，还包括：
对扩展背景图进行以下任一种增强处理，得到增强背景图：
拼接缝羽化、光线变换；
相应的，根据增强背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
根据本公开的一个或多个实施例，所述使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面，包括：
根据所述当前背景图、所述拍摄画面确定所述拍摄画面中包括的前景图像；
根据所述前景图像、所述预设背景图，生成所述最终拍摄画面，其中，所述最终拍摄画面的背景为所述预设背景图，所述最终拍摄画面的前景为所述前景图像。
根据本公开的一个或多个实施例，所述根据所述当前背景图、所述拍摄画面确定所述拍摄画面中包括的前景图像，包括：
将所述当前背景图和所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
或者，将根据所述当前背景图确定的扩展背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
或者，将根据所述当前背景图确定的增强背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像。
根据本公开的一个或多个实施例，还包括：
将所述基础背景图更新为所述增强背景图或者所述扩展背景图。
根据本公开的一个或多个实施例，还包括：
发送所述最终拍摄画面。
第二方面，根据本公开的一个或多个实施例，提供了一种更换画面中的背景的装置，包括：
获取单元，用于获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像；
所述获取单元还用于获取当前拍摄所述预设场景所得到的拍摄画面；
识别单元，用于根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图；
背景替换单元，用于使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面。
根据本公开的一个或多个实施例，所述识别单元，包括：
特征提取模块，用于提取所述基础背景图的基础特征点信息，提取所述拍摄画面中的拍摄特征点信息；
匹配模块，用于确定每一基础特征点信息与每一拍摄特征点信息的匹配关系；
背景确定模块，用于根据所述匹配关系确定所述拍摄画面中的所述当前背景图。
根据本公开的一个或多个实施例，所述背景确定模块具体用于：
根据所述匹配关系，拼接所述拍摄画面中的背景部分与所述基础背景图，得到所述拍摄画面中的所述预设场景的当前背景图。
根据本公开的一个或多个实施例，所述背景确定模块还用于：
对所述当前背景图的边界进行扩展，得到扩展背景图；
相应的，所述背景替换单元具体用于：
根据所述扩展背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
根据本公开的一个或多个实施例，所述背景替换单元具体用于：
对扩展背景图进行以下任一种增强处理，得到增强背景图：
拼接缝羽化、光线变换；
相应的，所述背景替换单元具体用于：
根据增强背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
根据本公开的一个或多个实施例，所述背景替换单元，包括：
前景确定模块，用于根据所述当前背景图、所述拍摄画面确定所述拍摄画面中包括的前景图像；
画面生成模块，用于根据所述前景图像、所述预设背景图，生成所述最终拍摄画面，其中，所述最终拍摄画面的背景为所述预设背景图，所述最终拍摄画面的前景为所述前景图像。
根据本公开的一个或多个实施例，所述前景确定模块具体用于：
将所述当前背景图和所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
或者，将根据所述当前背景图确定的扩展背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
或者，将根据所述当前背景图确定的增强背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像。
根据本公开的一个或多个实施例，所述装置还包括更新单元，用于：
将所述基础背景图更新为所述增强背景图或者所述扩展背景图。
根据本公开的一个或多个实施例，所述装置还包括发送单元，用于：
向服务器发送所述最终拍摄画面。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的涉及所述的更换画面中的背景的方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的涉及所述的更换画面中的背景的方法。
第五方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上任一项所述的更换画面中的背景的方法。
第六方面，根据本公开的一个或多个实施例，提供了一种计算机程序，所述计算机程序在被处理器执行时实现如上任一项所述的更换画面中的背景的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

  1. 一种更换画面中的背景的方法，其特征在于，包括：
    获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像；
    获取当前拍摄所述预设场景所得到的拍摄画面，并根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图；
    使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图，包括：
    提取所述基础背景图的基础特征点信息，提取所述拍摄画面中的拍摄特征点信息；
    确定每一基础特征点信息与每一拍摄特征点信息的匹配关系，并根据所述匹配关系确定所述拍摄画面中的所述当前背景图。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述匹配关系确定所述拍摄画面中的所述当前背景图，包括：
    根据所述匹配关系，拼接所述拍摄画面中的背景部分与所述基础背景图，得到所述拍摄画面中的所述预设场景的当前背景图。
  4. 根据权利要求2或3所述的方法，其特征在于，还包括：
    对所述当前背景图的边界进行扩展，得到扩展背景图；
    相应的，根据所述扩展背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
  5. 根据权利要求4所述的方法，其特征在于，还包括：
    对所述扩展背景图进行以下任一种增强处理，得到增强背景图：
    拼接缝羽化、光线变换；
    相应的，根据增强背景图，使用预设背景图替换所述拍摄画面中的扩展背景图，得到所述最终拍摄画面。
  6. 根据权利要求1至5任一项所述的方法，其特征在于，所述使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面，包括：
    根据所述当前背景图、所述拍摄画面确定所述拍摄画面中包括的前景图像；
    根据所述前景图像、所述预设背景图，生成所述最终拍摄画面，其中，所述最终拍摄画面的背景为所述预设背景图，所述最终拍摄画面的前景为所述前景图像。
  7. 根据权利要求6所述的方法，其特征在于，所述根据所述当前背景图、所述拍摄画面确定所述拍摄画面中包括的前景图像，包括：
    将所述当前背景图和所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
    或者，将根据所述当前背景图确定的扩展背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像；
    或者，将根据所述当前背景图确定的增强背景图、所述拍摄画面输入预设分割模型，所述预设分割模型用于输出所述拍摄画面中包括的前景图像。
  8. 根据权利要求5所述的方法，其特征在于，还包括：
    将所述基础背景图更新为所述增强背景图或者所述扩展背景图。
  9. 根据权利要求1至8任一项所述的方法，其特征在于，还包括：
    发送所述最终拍摄画面。
  10. 一种更换画面中的背景的装置，其特征在于，包括：
    获取单元，用于获取预设场景的基础背景图；其中，所述基础背景图是预先拍摄所述预设场景得到的图像；
    所述获取单元还用于获取当前拍摄所述预设场景所得到的拍摄画面；
    识别单元，用于根据所述基础背景图和所述拍摄画面确定所述预设场景的当前背景图；
    背景替换单元，用于使用预设背景图替换所述拍摄画面中的当前背景图，得到最终拍摄画面。
  11. 一种电子设备，其特征在于，包括：至少一个处理器和存储器；
    所述存储器存储计算机执行指令；
    所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至9任一项所述的更换画面中的背景的方法。
  12. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的更换画面中的背景的方法。
  13. 一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9任一项所述的更换画面中的背景的方法。
  14. 一种计算机程序，其特征在于，所述计算机程序用于实现如权利要求1至9任一项所述的更换画面中的背景的方法。
PCT/CN2022/086428 2021-05-12 2022-04-12 更换画面中的背景的方法、设备、存储介质及程序产品 WO2022237435A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22806405.1A EP4243423A1 (en) 2021-05-12 2022-04-12 Method and device for changing background in picture, and storage medium and program product
JP2023532118A JP2023550970A (ja) 2021-05-12 2022-04-12 画面の中の背景を変更する方法、機器、記憶媒体、及びプログラム製品
US18/254,575 US20240031518A1 (en) 2021-05-12 2022-04-12 Method for replacing background in picture, device, storage medium and program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110518684.4A CN113259698B (zh) 2021-05-12 2021-05-12 更换画面中的背景的方法、设备、存储介质及程序产品
CN202110518684.4 2021-05-12

Publications (1)

Publication Number Publication Date
WO2022237435A1 true WO2022237435A1 (zh) 2022-11-17

Family

ID=77223172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/086428 WO2022237435A1 (zh) 2021-05-12 2022-04-12 更换画面中的背景的方法、设备、存储介质及程序产品

Country Status (5)

Country Link
US (1) US20240031518A1 (zh)
EP (1) EP4243423A1 (zh)
JP (1) JP2023550970A (zh)
CN (1) CN113259698B (zh)
WO (1) WO2022237435A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259698B (zh) * 2021-05-12 2022-11-15 北京字节跳动网络技术有限公司 更换画面中的背景的方法、设备、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154450A1 (en) * 2015-11-30 2017-06-01 Le Shi Zhi Xin Electronic Technology (Tianjin) Limited Multimedia Picture Generating Method, Device and Electronic Device
CN107592490A (zh) * 2017-09-11 2018-01-16 广东欧珀移动通信有限公司 视频背景替换方法、装置和移动终端
CN108154518A (zh) * 2017-12-11 2018-06-12 广州华多网络科技有限公司 一种图像处理的方法、装置、存储介质及电子设备
CN111464761A (zh) * 2020-04-07 2020-07-28 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN112601099A (zh) * 2020-12-01 2021-04-02 Oppo广东移动通信有限公司 直播图像处理方法及装置、存储介质和电子设备
CN113259698A (zh) * 2021-05-12 2021-08-13 北京字节跳动网络技术有限公司 更换画面中的背景的方法、设备、存储介质及程序产品

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999499B2 (en) * 2015-03-25 2021-05-04 Avaya, Inc. Background replacement from video images captured by a plenoptic camera
CN112351291A (zh) * 2020-09-30 2021-02-09 深圳点猫科技有限公司 一种基于ai人像分割的教学互动方法、装置及设备
CN112686131B (zh) * 2020-12-28 2023-11-24 中国平安人寿保险股份有限公司 图像处理方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154450A1 (en) * 2015-11-30 2017-06-01 Le Shi Zhi Xin Electronic Technology (Tianjin) Limited Multimedia Picture Generating Method, Device and Electronic Device
CN107592490A (zh) * 2017-09-11 2018-01-16 广东欧珀移动通信有限公司 视频背景替换方法、装置和移动终端
CN108154518A (zh) * 2017-12-11 2018-06-12 广州华多网络科技有限公司 一种图像处理的方法、装置、存储介质及电子设备
CN111464761A (zh) * 2020-04-07 2020-07-28 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN112601099A (zh) * 2020-12-01 2021-04-02 Oppo广东移动通信有限公司 直播图像处理方法及装置、存储介质和电子设备
CN113259698A (zh) * 2021-05-12 2021-08-13 北京字节跳动网络技术有限公司 更换画面中的背景的方法、设备、存储介质及程序产品

Also Published As

Publication number Publication date
US20240031518A1 (en) 2024-01-25
CN113259698A (zh) 2021-08-13
CN113259698B (zh) 2022-11-15
EP4243423A1 (en) 2023-09-13
JP2023550970A (ja) 2023-12-06

Similar Documents

Publication Publication Date Title
US11722727B2 (en) Special effect processing method and apparatus for live broadcasting, and server
WO2022083383A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2019134516A1 (zh) 全景图像生成方法、装置、存储介质及电子设备
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
WO2022100735A1 (zh) 视频处理方法、装置、电子设备及存储介质
WO2021254502A1 (zh) 目标对象显示方法、装置及电子设备
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110856048B (zh) 视频修复方法、装置、设备及存储介质
US11849211B2 (en) Video processing method, terminal device and storage medium
US20240119082A1 (en) Method, apparatus, device, readable storage medium and product for media content processing
US20220159197A1 (en) Image special effect processing method and apparatus, and electronic device and computer readable storage medium
US11893770B2 (en) Method for converting a picture into a video, device, and storage medium
CN111246196B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN115311178A (zh) 图像拼接方法、装置、设备及介质
WO2022237435A1 (zh) 更换画面中的背景的方法、设备、存储介质及程序产品
US20240062479A1 (en) Video playing method and apparatus, electronic device, and storage medium
WO2023138441A1 (zh) 视频生成方法、装置、设备及存储介质
US20220272283A1 (en) Image special effect processing method, apparatus, and electronic device, and computer-readable storage medium
US11871137B2 (en) Method and apparatus for converting picture into video, and device and storage medium
WO2023098649A1 (zh) 视频生成方法、装置、设备及存储介质
WO2022237460A1 (zh) 图像处理方法、设备、存储介质及程序产品
WO2022227996A1 (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN113963000B (zh) 图像分割方法、装置、电子设备及程序产品
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
CN112037227B (zh) 视频拍摄方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22806405

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023532118

Country of ref document: JP

Ref document number: 18254575

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2022806405

Country of ref document: EP

Effective date: 20230607

NENP Non-entry into the national phase

Ref country code: DE