WO2021103474A1 - 图像的处理方法和装置、存储介质及电子装置 - Google Patents

图像的处理方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
WO2021103474A1
WO2021103474A1 PCT/CN2020/094576 CN2020094576W WO2021103474A1 WO 2021103474 A1 WO2021103474 A1 WO 2021103474A1 CN 2020094576 W CN2020094576 W CN 2020094576W WO 2021103474 A1 WO2021103474 A1 WO 2021103474A1
Authority
WO
WIPO (PCT)
Prior art keywords
portrait
target
area
components
image
Prior art date
Application number
PCT/CN2020/094576
Other languages
English (en)
French (fr)
Inventor
余晓铭
易阳
李峰
蔡锴捷
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2021103474A1 publication Critical patent/WO2021103474A1/zh
Priority to US17/524,387 priority Critical patent/US20220067888A1/en

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Abstract

一种图像的处理方法和装置、存储介质及电子装置，其中，该方法包括：从待处理的第一目标图像中识别多组人像部件和多组人像部件所在的区域，其中，每组人像部件对应于一个人体（S202）；在多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，目标组人像部件包括目标人脸，目标区域与多组人像部件中除目标组人像部件之外的其它组人像部件所在的区域相隔开（S204）；对第一目标图像中除目标区域以外的区域进行虚化处理，得到第二目标图像（S206）。上述方法和装置、存储介质及电子装置解决了由于前景人物识别不准确造成的人像识别误检的技术问题。

Description

图像的处理方法和装置、存储介质及电子装置
本申请要求于2019年11月26日提交中国专利局、申请号为201911175754.X、申请名称为“图像的处理方法和装置、存储介质及电子装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能(Artificial Intelligence，AI)领域，具体涉及一种图像处理技术。
背景技术
在相关技术中，图像中的区域被简单的定义为人像前景与非人像背景，当图像中包括多个人物时，相关技术通常难以准确地识别出图像中的前景人物，往往将图像中仅具有部分肢体的人像也识别为前景，导致前景人像识别出现误检。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像的处理方法和装置、存储介质及电子装置，能够准确地识别图像中的前景人物，避免发生前景人物误检的情况。
根据本申请实施例的一个方面，提供了一种图像的处理方法，包括：
从待处理的第一目标图像中识别多组人像部件和所述多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
在所述多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，所述目标组人像部件包括目标人脸，所述目标区域与所述多组人像部件中除所述目标组人像部件之外的其它组人像部件所在的区域相隔开；
对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像。
根据本申请实施例的另一方面，还提供了一种图像的处理装置，包括：
第一识别单元，用于从待处理的第一目标图像中识别多组人像部件和所述多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
第一确定单元，用于在所述多组人像部件所在的区域中确定目标组人像部件所在的目标区域，其中，所述目标组人像部件包括目标人脸，所述目标区域与所述多组人像部件中除所述目标组人像部件之外的其它组人像部件所在的区域相隔开；
第一处理单元，用于对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置 为运行时执行上述图像的处理方法。
根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像的处理方法。
根据本申请实施例的又一方面，还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述的图像的处理方法。
在本申请实施例中，通过从待处理的第一目标图像中识别出多组人像部件和多组人像部件所在的区域，其中，每组人像部件对应于一个人体，在多组人像部件所在的区域中确定出包括人脸的目标区域，从而对第一目标图像中除目标区域以外的区域进行虚化处理，也就是说，从第一目标图像中识别出包括人脸的目标组人像部件，从而将目标组人像部件所在的目标区域确定为前景区域，将不包括人脸的其它人物的肢体确定为背景区域，从而提高了前景人物识别准确度，减少了人像识别误检的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的图像的处理方法的应用环境的示意图；
图2是根据本申请实施例的一种可选的图像的处理方法的流程示意图；
图3是根据本申请实施例的一种可选的图像的处理方法进行图像处理的图像示意图；
图4是根据本申请实施例的又一种可选的图像的处理方法的流程示意图；
图5是根据本申请实施例的另一种可选的图像的处理方法进行图像处理的图像示意图；
图6是根据本申请实施例的又一种可选的图像的处理方法进行图像处理的图像示意图；
图7是根据本申请实施例的另一种可选的图像的处理方法的流程示意图；
图8是根据本申请实施例的初始识别模型的结构示意图；
图9是根据本申请实施例的编码网络的结构示意图；
图10是根据本申请实施例的又一种可选的图像的处理装置的结构示意图；
图11是根据本申请实施例的又一种可选的图像的处理装置的结构示意图；
图12是根据本申请实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。在本申请实施例中，可以提高机器学习训练获得用于对图像中的人像部件进行识别的识别模型，从而通过识别模块识别输入的图像中的人像部件，进而将包括人脸的人像部件所在的连通区域确定为前景区域，从而能够将不包括人脸的其它人物的肢体确定为背景图像，从而实现了提高前景人物识别准确度，减少人像识别误检的技术效果。
根据本申请实施例的一个方面，提供了一种图像的处理方法，作为一种可选的实施方式，上述图像的处理方法可以但不限于应用于如图1所示的环境中。
本申请实施例的图像处理方法可以用于对照片等静态图像进行处理，将图像中人像外的背景区域进行虚化，还可以用于对视频中的视频帧图像进行处理，对视频帧图像中人像外的背景区域进行虚化，通过对视频中每帧图像进行背景虚化，使得视频中前景人像以外的区域处于虚化的状态，这里的视频可以是视频会议中产生的视频数据。当然可以理解的是，本申请实施例的图像处理方法的应用并不仅限于上述举例。
用户设备102可以通过处理器106执行S120，从待处理的第一目标图像中识别多组人像部件和多组人像部件所在的区域，其中，每组人像部件对应于一个人体；这里的人像部件可以包括：头发、人脸、躯干等等；S122，在 多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，目标组人像部件包括目标人脸，目标区域与多组人像部件中除目标组人像部件之外的其它组人像部件所在的区域相隔开；可以理解的是，在图像中同属于一个人像的头发、人脸、躯干等人像部件是相互连通的，故而在第一目标图像中存在人像的情况下，可以确定出至少一个连通区域，由于照片或者视频时主要的人物均是露脸的，故而可以将包括人脸所在区域的连通区域确定为目标连通区域，也就是第一目标图像中的前景区域；S124，对第一目标图像中除目标区域以外的区域进行虚化处理，得到第二目标图像；这里，将目标区域以外的区域确定为第一目标图像中的背景区域，从而对其进行虚化处理，得到处理后的第二目标图像。在本申请实施例中，通过对第一目标图像中的人像部件进行识别，将包括人脸的连通区域确定为前景区域，从而能够将不包括人脸的其它组人像部件所在的区域确定为背景图像，从而实现了提高前景人物识别准确度，减少人像识别误检的技术效果。这里，用户设备102可以通过存储器存储第一目标图像和第二目标图像，通过显示器108显示第一目标图像和处理后的第二目标图像。
可选地，在本实施例中，上述图像的处理方法可以但不限于应用于用户设备102中，还可以由应用程序(Application，APP)对图像中的背景区域进行虚化处理。其中，上述APP可以但不限于运行在用户设备102中，该用户设备102可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行APP的终端设备。
可以理解的是，上述图像的处理方法还可以应用于服务器，通过服务器协助对图像中的背景区域进行虚化处理，并将处理后的第二目标图像发送至用户设备102。上述服务器和用户设备102可以但不限于通过网络实现数据交互，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其它实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述仅是一种示例，本实施例中对此不作任何限定。
作为一种可选的实施方式，本申请实施例提供的图像的处理方法可以由电子设备(如用户设备或服务器)执行，如图2所示，上述图像的处理方法包括：
步骤202，从待处理的第一目标图像中识别多组人像部件和多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
步骤204，在多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，目标组人像部件包括目标人脸，目标区域与多组人像部件中除目标组人像部件之外的其它组人像部件所在的区域相隔开；
步骤206，对第一目标图像中除目标区域以外的区域进行虚化处理，得到第二目标图像。
在本申请实施例中，可以通过识别模型可以对第一目标图像中的人像部件进行识别，这里的人像部件可以包括但不限于：人脸、头发、躯干。如图3所示的，将第一目标图像输入至识别模型后，识别模型可以识别出第一目标图像中为人脸的人像部件32、为躯干的人像部件34和38、为头发的人像部件36，可以理解的是，这里可以识别的人像部件仅为举例，本申请并不限于此。
在本申请实施例中，由于需要对人像外的背景区域进行虚化处理，如图3所示，该图像中包括多个人像部件，这些人像部件所在的区域也就是人像区域。可以理解的是，多个连通的人像部件所在的区域实际上就是人像区域。这里，由于在拍照等图像采集的过程中可能会误入其他人像，如图3所示的人像部件38对应的人像，但是对于这样仅具有躯干的人像显然不应被确定为前景。
在本申请实施例中，可以将一组包括人脸的人像部件确定为目标组人像部件，将目标组人像部件所在的区域确定为目标区域，进而，将该目标区域确定为第一目标图像中的前景区域，将第一目标图像中除目标区域以外的区域确定为背景区域，并对该背景区域进行虚化处理，得到处理后的第二目标图像。如图3所示的，对于为躯干的人像部件38所对应的区域，由于其中不包括人脸的人像部件，因此需要对其进行虚化处理，图3中斜线覆盖部分用于示意对这些区域进行了虚化处理，从而能够将不包括人脸的其它人物的肢体确定为背景区域，实现了提高前景人物识别准确度，减少人像识别误检的技术效果，解决了由于前景人物识别不准确造成的人像识别误检的技术问题。
在本实施例中，一组人像部件可以包括：一个人体对应的部分或全部的部件。例如，对象S的脸、胳膊、手，这3个部件可以组成一组人像部件，该组人像部件对应于对象S。
需要说明的是，目标区域与多组人像部件中除目标组人像部件之外的其它组人像部件所在的区域相隔开。例如，对象S对应的一组人像部件为目标区域，该目标区域与第一目标图像中的其它对象所在的区域不连通。
可选的，本实施例中，步骤S204中在多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，包括：
S1，在N组人像部件中确定包括人脸的M组人像部件，其中，N组人像部件为从第一目标图像中识别出的多组人像部件，N≥M≥1；
S2，在M组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，目标组人像部件包括的人脸所在的区域的面积大于或等于第一阈值，和/或，目标组人像部件所在的区域的面积大于或等于第二阈值。
例如，在一张图像中识别出对象A的躯干、对象A人脸以及对象A的2支胳膊，组成对应于对象A的一组人像部件，识别出对象B的躯干，组成对应于对象B的一组人像部件，识别出对象C的躯干、对象C的人脸以及对象 C的1支胳膊，组成对应于对象C的一组人像部件，也就是说，该图像中存在三组人像部件。其中，两组人像部件中包括人脸。在这两组人像部件中确定目标组人像部件所在的目标区域，其确定的方式包括以下之一：
方式一：确定每组人像部件中包括的人脸所在的区域的面积是否大于或等于第一阈值，若是，则可确定该组人像部件为目标组人像部件，该目标组人像部件所在的区域为目标区域。在一张图像中，对象M位于对象N前面的时，则在图像中对象N的人脸面积相比对象M人脸的面积要小。例如，在该张图像中，对象M的人脸面积为3平方厘米，对象N的人脸面积为2平方厘米，假设第一阈值为3平方厘米，那么只有对象M满足条件，进而，可以将对象M对应的一组人像部件作为目标组人像部件。
方式二：确定每组人像部件所在的区域的面积是否大于或等于第二阈值，若是，则可确定该组人像部件为目标组人像部件，该目标组人像部件所在的区域为目标区域。例如，对象M的人脸面积为3平方厘米，躯干以及胳膊所在的区域为5平方厘米，对象N的人脸面积为2平方厘米，但躯干以及胳膊所在的区域为10平方厘米，假设第二阈值为8平方厘米，那么对象M和对象N均满足条件，进而，可以将对象M对应的一组人像部件和对象N对应的一组人像部件均作为目标人像部件。
还需说明的是，在本申请实施例中，可以将同时通过上述方式一和方式二确定目标组人像部件，即将人脸所在的区域的面积大于或等于第一阈值、且一组人像部件所在的区域的面积大于或等于第二阈值，确定为目标组人像部件。
在本实施例中，上述第一阈值和/或第二阈值与第一目标图像的尺寸呈正相关。也就是说，在将M组人像部件包括的人脸所在的区域的面积与第一阈值进行比较的情况下，所依据的第一阈值与第一目标图像的尺寸呈正相关；在将M组人像部件所在的区域的面积与第二阈值进行比较的情况下，所依据的第二阈值与第一目标图像的尺寸呈正相关；在将M组人像部件包括的人脸所在的区域的面积与第一阈值进行比较、且将M组人像部件所在的区域的面积与第二阈值进行比较的情况下，所依据的第一阈值和第二阈值均与第一目标图像的尺寸呈正相关。其中，正相关可以包括但不限于正比关系、指数关系等等。
可选的，在M组人像部件所在的区域中，确定目标组人像部件所在的目标区域，包括：
S1，将M组人像部件对应的像素点的像素值设置为第一像素值，将第一目标图像中除M组人像部件对应的像素点以外的像素点的像素值设置为第二像素值，得到二值图像，其中，第一像素值与第二像素值不同；
S2，对二值图像进行区域识别，得到目标区域，其中，目标区域中包括目标人脸的像素点。
可选的，在本实施例中，从待处理的第一目标图像中识别多组人像部件和多组人像部件所在的区域，包括：
通过识别模型处理第一目标图像，确定多组人像部件和多组人像部件所在的区域。
可选的，在本实施例中，在通过识别模型处理第一目标图像，确定多组人像部件和多组人像部件所在的区域之前，包括：
S1，获取第一组训练图像、第二组训练图像、以及一组区域划分结果、一组训练识别结果，其中，第一组训练图像与一组区域划分结果一一对应，每个区域划分结果用于表示第一组训练图像中一张图像中的已知人像区域，第二组训练图像与一组训练识别结果一一对应，每个训练识别结果用于表示第二组训练图像中一张图像中的已知人像部件；
S2，基于第一组训练图像和第二组训练图像对初始识别模型进行训练，得到训练后的识别模型，其中，训练后的识别模型对第一组训练图像识别到的预估人像区域与一组区域划分结果中的已知人像区域之间的误差满足第一收敛条件，训练后的识别模型对第二组训练图像识别到的预估人像部件与一组训练识别结果中的已知人像部件之间的误差满足第二收敛条件；训练后的识别模型包括：用于对图像进行编码得到编码数据的编码网络、根据所述编码数据识别人像区域的人像区域识别网络、根据所述编码数据识别人像部件的人像部件识别网络。
其中，基于第一组训练图像和第二组训练图像对初始识别模型进行训练，包括：
从所述第一组训练图像中选出第一训练图像，从第二组训练图像中选出第二图像；
将第一训练图像和第二训练图像输入初始识别模型，其中，初始识别模型包括：初始编码网络、初始人像区域识别网络和初始人像部件识别网络，所述初始编码网络包括级联的第一卷积层，所述初始人像区域识别网络包括级联的第二卷积层，所述初始人像部件识别网络包括级联的第三卷积层；
通过初始编码网络中的第一卷积层接收级联的上一个第一卷积层对第一训练图像和第二训练图像进行编码后得到的编码数据，并将编码数据发送至对应的第二卷积层、第三卷积层和级联中下一个第一卷积层；通过初始人像区域识别网络接收对应的第一卷积层和级联中上一个第二卷积层发送的编码数据，并对接收的编码数据进行人像区域识别；通过初始人像部件识别网络接收对应的第一卷积层和级联中上一个第三卷积层发送的编码数据，并对接收的编码数据进行人像部件识别。
在本申请实施例中，通过从待处理的第一目标图像中识别出多组人像部件和多组人像部件所在的区域，其中，每组人像部件对应于一个人体，在多组人像部件所在的区域中确定出包括人脸的目标组人像部件所在的目标区 域，从而对第一目标图像中除目标区域以外的区域进行虚化处理，也就是说，从第一目标图像中识别出包括人脸的目标组人像部件，从而将该目标组人像部件所在的目标区域确定为前景区域，将不包括人脸的其它组人像部件所在的区域确定为背景区域，如此，提高了前景人物的识别准确度，减少人像识别误检情况的发生。
作为一种可选的实施例，在第一目标图像为目标视频中的视频帧图像的情况下，在对第一目标图像中除目标区域以外的区域进行虚化处理，得到第二目标图像之后，上述方法还包括：将目标视频中的第一目标图像替换为第二目标图像；在播放目标视频的过程中播放第二目标图像。从而实现对视频中的画面进行虚化处理。
作为又一种可选的实施方式，如图4所示，上述图像的处理方法包括：
S402，将待处理的第一目标图像输入识别模型，得到识别模型输出的人像识别结果，其中，识别模型用于对图像中的人像部件进行识别，人像识别结果用于表示在第一目标图像中识别到的人像部件；
S404，在第一目标图像中人像部件所在的区域中确定出目标连通区域，其中，目标连通区域包括人像部件中的人脸在第一目标图像中的区域；
S406，对第一目标图像中除目标连通区域以外的区域进行虚化处理，得到第二目标图像。
在本申请实施例中，识别模型可以针对输入的图像中识别其中的人像部件，这里的人像部件可以包括但不限于：人脸、头发、躯干。如图3所示，将第一目标图像输入至识别模型后可以识别出图像中为人脸的人像部件32、为躯干的人像部件34和38、为头发的人像部件36，可以理解的是，这里可以识别的人像部件仅为举例，本申请并不限于此。
在本申请实施例中，由于需要对图像中除人像外的背景区域进行虚化处理，如图3所示，该图像中包括多个人像部件，将多个连通的人像部件所在的区域连通所得到的区域就是人像区域。这里，由于在拍照等图像采集的过程中可能会误入其他人像，如图3所示的人像部件38对应的人像，但是对于这样仅具有躯干的人像显然不应被确定为前景。
在本申请实施例中，将由包括人脸的人像部件组成的连通区域确定为目标连通区域，并将目标连通区域确定为前景区域，将第一目标图像中除目标连通区域以外的区域确定为背景区域，并对目标连通区域以外的背景区域进行虚化处理，得到处理后的第二目标图像。如图3所示，对于为躯干的人像部件38所在的连通区域，由于其中不包括人脸的人像部件，故而也将其进行虚化处理，图3中斜线覆盖部分用于示意这些区域进行了虚化处理，如此，将不包括人脸的其它人物的肢体确定为背景区域，实现了提高前景人物识别准确度，减少人像识别误检的技术效果。
可选的，在第一目标图像中人像部件所在的区域中确定出目标连通区域， 包括：
S1，将第一目标图像中人像部件所在的区域中每个相互连通的区域确定为一个候选连通区域，得到一组候选连通区域；
假设图像中的一个人像包括：头发、人脸和躯干，这些人像部件所在的区域之间是相互连通的，这里的相互连通可以是直接连通，也可以是间接连通，例如，头发对应的人像部件所在的区域可以通过人脸对应的人像部件所在的区域与躯干对应的人像部件所在的区域连通。如图3所示，人像部件36所在的区域可以通过人像部件32所在的区域与人像部件34所在的区域连通。
通过识别模型识别第一目标图像中的人像部件时，可以识别出图像中人脸所在的区域，躯干所在的区域等。对识别出的人像部件所在的区域的像素点进行标记，在确定连通区域时，可以将图像中具有第一类型标记的像素点所在的连通区域确定为一个候选连通区域。这里，在一个连通区域中的像素点均具有第一类型标记。可以理解的是，对于不同的人像部件可以采用相同的标记，也可以对不同的人像部件采用预先配置的对应的标记。又例如，可以将人像部件所在的连通区域的像素点设置为目标像素值，从而将目标像素值所在的连通区域确定为候选连通区域。这里，在一个候选连通区域中像素点均为目标像素值。可以理解的是，在图像中存在多个人像的情况下，可以确定出多个候选连通区域。
S2，将一组候选连通区域中区域面积大于第一阈值、且包括人脸的候选连通区域确定为目标连通区域，或，将一组候选连通区域中包括人脸的候选连通区域确定为目标连通区域。
在本申请实施例中，将一组候选连通区域中包括人脸的候选连通区域确定为目标连通区域。可以理解的是，在多个候选连通区域均包括人脸对应的区域的情况下，可以均确定为目标连通区域，从而作为前景区域。如图5所示，第一目标图像中可能存在多个人像，可以将这些人像各自对应的区域中包括人脸的区域均确定为前景区域。
在本申请实施例中，考虑到可能存在一些远处的行人进入图像中，但是并不希望将这些行人确定为前景区域，故而将一组候选连通区域中区域面积大于第一阈值、且包括人脸的候选连通区域确定为目标连通区域。如图6所示，若候选连通区域的区域面积小于或等于第一阈值，则不会被确定为目标连通区域，从而可以将远处的行人等确定为背景区域进行虚化处理。可以理解的是，这里的第一阈值可以根据实际情况进行设置，例如可以设置为第一目标图像的四分之一至六分之一，该第一阈值与第一目标图像的尺寸呈正相关，从而避免设置固定值造成不能适应不同尺寸的图像。可以理解的是，这里的第一阈值也可以设置为一个固定值。
可选的，将第一目标图像中人像部件所在的区域中每个相互连通的区域确定为一个候选连通区域，得到一组候选连通区域，包括：
将第一目标图像中人像部件对应的像素点的像素值设置为第一像素值，并将第一目标图像中除人像部件对应的像素点以外的像素点的像素值设置为第二像素值，得到二值图像，其中，第一像素值与第二像素值不同；
对二值图像进行区域识别，得到一组候选连通区域，其中，区域识别用于对二值图像中像素值相同的像素点所在的连通区域进行识别，一组候选连通区域中的像素点的像素值均为第一像素值。
在本申请实施例中，在确定候选连通区域时，可以先对第一目标图像进行二值化处理，从而便于通过对二值图像进行区域识别确定出人像所在的候选连通区域。这里，可以将人像部件对应的像素点的像素值均设置为第一像素值，将除人像部件对应的像素点以外的像素点的像素值设置为第二像素值，从而实现将第一目标图像转化为二值图像。如图7所示，通过识别模型确定出第一目标图像中的人像部件识别结果后，可以根据人像部件识别结果对第一目标图像进行二值化处理，得到处理后的二值图像。可以理解的是，后续可以从一组候选连通区域确定出目标候选区域，对第一目标图像中除目标候选区域以外的区域进行虚化处理，得到第二目标图像，完成对背景区域的虚化。在本申请可选实施例中，可以采用连通域检测的方式进行区域识别。
下面结合图7对本申请实施例的方法进行举例说明。对于待处理的图像I，可以将其输入至识别模型，该识别模型可以是深度神经网络，该识别模型对图像I中的人像部件进行解析，得到解析集合P＝Par(Enc(I))；再对人像部件解析得到人像部件识别结果指示的人像部件对应的像素点，对二值化后的二值图像进行连通域检测得到连通区域集合D＝{D 1,D 2…,D n}，其中D i表示第i个连通区域的像素集合。接着将面积大于给定阈值(如图像面积的1/8)的连通区域加入到候选连通区域集合C中,其中
Figure PCTCN2020094576-appb-000001
Figure PCTCN2020094576-appb-000002
sum()为面积求取函数。在得到候选连通区域集合后，可以将不包含指定人体部位(如人脸)或小于给定阈值(如连通集面积的1/5)的区域从候选连通区域集合中去除，得到前景区域集合F，
Figure PCTCN2020094576-appb-000003
Figure PCTCN2020094576-appb-000004
其中P j∩…P k为指定的人体部位的像素集合,背景区域集合则为B＝U-F，其中U为全体像素构成的集合，从而可以对背景区 域进行虚化处理。
可选的，在将待处理的第一目标图像输入至识别模型，得到识别模型输出的人像识别结果之前，方法还包括：
S1，获取第一组训练图像、第二组训练图像、以及一组区域划分结果、一组训练识别结果，其中，第一组训练图像与一组区域划分结果一一对应，每个区域划分结果用于表示第一组训练图像中一张图像中的已知人像区域，第二组训练图像与一组训练识别结果一一对应，每个训练识别结果用于表示第二组训练图像中一张图像中的已知人像部件；
S2，基于第一组训练图像和第二组训练图像对初始识别模型进行训练，得到训练后的识别模型，其中，训练后的识别模型对第一组训练图像识别到的预估人像区域与一组区域划分结果中的已知人像区域之间的误差满足第一收敛条件，训练后的识别模型对第二组训练图像识别到的预估人像部件与一组训练识别结果中的已知人像部件之间的误差满足第二收敛条件，训练后的识别模型包括：编码网络、人像区域识别网络和人像部件识别网络，其中，编码网络用语对图像进行编码得到编码数据，人像区域识别网络用于根据编码数据识别人像区域，人像部件识别网络用于根据编码数据识别人像部件；
S3，将训练后的识别模型中的人像区域识别网络删除，得到识别模型。
在本申请实施例中，可以获取第一组训练图像和与第一组训练图像一一对应的一组区域划分结果，一组区域划分结果中的每个区域划分结果用于表示第一组训练图像中与其对应的一张图像中的人像区域划分结果，还可以获取第二组训练图像和与第二组训练图像一一对应的一组训练识别结果，一组训练识别结果中的每个训练识别结果用于表示第二组训练图像中与其对应的一张图像中的人像部件识别结果，从而通过第一组训练图像和第二组训练图像对初始识别模型进行训练。
在本申请实施例中，初始识别模型中包括初始编码网络、初始人像区域识别网络和初始人像部件识别网络，训练后的识别模型具有相训练后的编码网络、人像区域识别网络和人像部件识别网络。
在本申请实施例中，所使用的识别模型是用于对输入的图像中的人像部件进行识别，无需人像区域识别模块，因而可以删除训练后的识别模型中的人像区域识别网络，得到识别模型。
可以理解的是，删除人像区域识别网络的识别模型由于所需进行的处理量变少，故而可以提高识别效率。同时，在本申请实施例中，在训练初始识别模型时设置人像区域识别网络，可以利用第一组训练图像和一组区域划分结果扩大对于初始识别模型的训练数据量，由于图像输入后识别模型均需要先通过编码网络进行编码，因此通过第一组训练图像还可以有效提高编码网络的准确度，进而提高训练得到的识别模型的识别准确度。
可选的，基于第一组训练图像和第二组训练图像对初始识别模型进行训 练，包括：
从第一组训练图像中选出第一训练图像，从第二组训练图像中选出第二训练图像；
将第一训练图像和第二训练图像输入到初始识别模型，其中，初始识别模型包括：初始编码网络、初始人像区域识别网络和初始人像部件识别网络，初始编码网络包括级联的第一卷积层，初始人像区域识别模块包括级联的第二卷积层，初始人像部件识别模块包括级联的第三卷积层。
初始识别模型通过初始编码网络中的第一卷积层接收级联中上一个第一卷积层对第一训练图像和第二训练图像进行编码后得到的编码数据，并将编码数据发送至对应的第二卷积层、第三卷积层和级联的下一个第一卷积层。初始识别模型通过初始人像区域识别网络接收对应的第一卷积层和级联的上一个第二卷积层发送的编码数据，并对接收的编码数据进行人像区域识别。初始识别模型通过初始人像部件识别网络接收对应的第一卷积层和级联中上一个第三卷积层发送的编码数据，并对接收的编码数据进行人像部件识别。
可以理解的是，本申请实施例中初始识别模型中的初始编码网络在训练完成后即为训练后的识别模型中的编码网络，类似的，初始人像区域识别网络在训练完成后即为训练后的识别模型中的人像区域识别网络，初始人像部件识别网络在训练完成后即为训练后的识别模型中的人像部件识别网络。
如图8所示，在本申请实施例中，每个网络中均包括级联的多个卷积层，初始编码网络中级联的第一卷积层中第一个第一卷积层对输入初始识别模型的图像进行编码，并将编码后的编码数据分别发送至级联的下一个第一卷积层、初始人像区域识别网络中对应的第二卷积层和初始人像部件识别网络中对应的第三卷积层。初始人像区域识别网络中的第二卷积层接收级联的上一个第二卷积层输出的数据和对应的第一卷积层传送的数据，初始人像部件识别网络中的第三卷积块接收级联的上一个第三卷积层输出的数据和对应的第一卷积层传送的数据。
可以理解的是，本申请实施例中初始人像区域识别网络和初始人像部件识别网络分别进行人像分割与人像部件解析两个任务，在扩大训练数据规模的同时，使得初始识别模型能够同时获取来自人像分割任务提供的人体整体感知激励、与人像部件解析任务提供的人体局部细节感知激励，从而提升模型的性能。如图9所示的，对于第一卷积层可以是密集卷积层，即第一卷积层可以包括多个密集连接的残差模块，从而对图像的不同尺度进行高效编码，使得特征包含不同尺度的丰富信息。
如图8和图9所示的实施例，本申请实施例中训练后的识别模型的架构与初始识别模型是相同的，识别模型与初始识别模型的架构区别在于没有人像区域识别网络，编码网络和人像部件识别网络的数据传输架构与图8至图9所示的架构是相同的。在图8和图9所示的模型架构中，k×k表示卷积层 (也可以称为卷积核)大小为k×k的卷积操作，C表示特征通道的串接，Add表示特征的相加，双线性插值操作Upsample表示上采样倍数为2的双线性插值操作。如图9所示，第一卷积层可以包括多个密集连接的残差模块。
可以理解的是，第二卷积层的架构可以与图9所示的第三卷积层的架构相同。第三卷积层的输入包括级联的上一个第三卷积层的输出和对应的第一卷积层的输出。本申请实施例中的初始人像区域识别网络和初始人像部件识别网络采用了类似的解码结构，并利用编码网络抽取的特征由低尺度到高尺度逐步恢复出人像分割与部件解析的结果：S＝Seg(Enc(I))，P＝{P 1∪P 2∪…∪P k}＝Par(Enc(I))，其中，I表示输入图像，S为人像分割的像素集合，P为人像部件解析集合，P i表示第i种人像部件(比如人脸)的像素集合；在模型训练时，本申请实施例中联合人像分割与人像部件解析两个任务，在扩大数据规模的同时，使得模型能够同时获取来自人像分割任务提供的人体整体感知激励、与人像部件解析任务提供的人体局部细节感知激励，从而提升模型的性能。在本申请实施例中，训练损失Loss可以为：
Figure PCTCN2020094576-appb-000005
其中CrossEntropy(.)表示交叉熵损失，HS表示人像分割数据集，其包含N个训练实例，例如第一组训练图像，S gt表示图像I对应的真实人像分割标签，可以根据一组区域划分结果确定，HP表示人像部件解析数据集，其包含M个训练实例，例如第二组训练图像，P gt表示图像I对应的真实人像部件解析标签，可以根据一组人像分割结果确定。可以理解的是，在上述训练损失Loss小于设定值时可以认为当前满足收敛条件。
需要注意的是，上述仅为本申请可选实施例，本申请并不限于上述举例。对于本申请实施例中的识别模型可以是基于深度学习的分类模型中的深度神经网络(Deep Neural Network，简称DNN)模型、卷积神经网络(Convolutional Neural Network，简称CNN)模型等。
可选的，在第一目标图像为目标视频中的视频帧图像的情况下，在对第一目标图像中除目标连通区域以外的区域进行虚化处理，得到第二目标图像之后，方法还包括：
S902，将目标视频中的第一目标图像替换为第二目标图像；
S904，在播放目标视频的过程中播放第二目标图像。
在本申请实施例中，第一目标图像可以是目标视频中的视频帧图像，例如可以是视频会议传输的视频中的图像帧。在接收到目标视频后，可以对目标视频中的第一目标图像中除目标连通区域以外的区域进行虚化处理，得到第二目标图像，将目标视频中的第一目标图像替换为第二目标图像，从而播放目标视频时播放的是第二目标图像，实现通过对背景区域进行虚化处理，突出视频会议中的人物。
可以理解的是，在本申请实施例可以通过高斯模糊处理，对背景区域进行虚化，得到虚化结果I′，I ′＝GaussianBlur(I,r)*B+I*F，其中，GaussianBlur(.)为高斯模糊操作，r为模糊核半径大小(例如可以设置为50)，B表示背景区域集合，代数运算I*F表示通过F索引(取)出I中对应下标的元素。当然可以理解的是，上述虚化处理仅为本申请提供的可选实施例，本申请并不限于此。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面，还提供了一种用于实施上述图像的处理方法的图像的处理装置。如图10所示，该装置包括：
第一识别单元1001，用于从待处理的第一目标图像中识别多组人像部件和所述多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
第一确定单元1003，用于在所述多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，所述目标组人像部件包括目标人脸，所述目标区域与所述多组人像部件中除所述目标组人像部件之外的其它组人像部件所在的区域相隔开；
第一处理单元1005，用于对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像。
可选的，上述第一确定单元1003可以包括：
第一确定模块，用于在N组人像部件中确定包括人脸的M组人像部件，其中，N组人像部件为多组人像部件，N≥M≥1；
第二确定模块，用于在M组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，目标组人像部件包括的人脸所在的区域的面积大于或等于第一阈值，和/或，目标组人像部件所在的区域的面积大于或等于第二阈值。
其中，第一阈值和/或第二阈值与第一目标图像的尺寸呈正相关。
可选的，上述第二确定模块，可以包括：
设置子模块，用于将M组人像部件对应的像素点的像素值设置为第一像素值，将第一目标图像中除M组人像部件对应的像素点以外的像素点的像素值设置为第二像素值，得到二值图像，其中，第一像素值与第二像素值不同；
处理子模块，用于对二值图像进行区域识别，得到目标区域，其中，目标区域中包括目标人脸的像素点。
通过本装置实施例，第一识别单元1001从待处理的第一目标图像中识别 多组人像部件和所述多组人像部件所在的区域，其中，每组人像部件对应于一个人体；第一确定单元1003在所述多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，所述目标组人像部件包括目标人脸，所述目标区域与所述多组人像部件中除所述目标组人像部件之外的其它组人像部件所在的区域相隔开；第一处理单元1005对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像。从而对目标区域以外的区域进行虚化处理，也就是说，从第一目标图像中识别出包括人脸的目标组人像部件，从而将目标组人像部件所在的目标区域确定为前景区域，将不包括人脸的其它人物的肢体确定为背景区域，从而提高了前景人物识别准确度，减少了人像识别误检。
作为一种可选的实施例，上述装置还可以包括：
替换单元，用于在第一目标图像为目标视频中的视频帧图像的情况下，在第一处理单元对第一目标图像中除目标区域以外的区域进行虚化处理，得到第二目标图像之后，将目标视频中的第一目标图像替换为第二目标图像；
播放单元，用于在播放目标视频的过程中播放第二目标图像。
根据本申请实施例的另一个方面，还提供了一种用于实施上述图像的处理方法的图像的处理装置。如图11所示，该装置包括：
第二识别单元1102，用于将待处理的第一目标图像输入至识别模型，得到识别模型输出的人像识别结果，其中，目标识别模型用于对图像中的人像的部件进行识别，人像识别结果用于表示第一目标图像中识别到的人像部件；
第二确定单元1104，用于在第一目标图像中人像部件所在的区域中确定出目标连通区域，其中，目标连通区域包括人像部件中的人脸在第一目标图像中的区域；
第二处理单元1106，用于对第一目标图像中除目标连通区域以外的区域进行虚化处理，得到第二目标图像。
在本申请实施例中，识别模型可以对输入的图像中的人像部件进行识别，这里的人像部件可以包括但不限于：人脸、头发、躯干。在本申请实施例中，由于需要对人像外的背景区域进行虚化处理，该图像中包括多个人像部件，将多个连通的人像部件所在的区域连通所得到的区域也就是人像区域。在本申请实施例中，将包括人脸的连通区域确定为目标连通区域，从而将目标连通区域确定为前景区域，将目标连通区域以外的区域确定为背景区域，并对第一目标图像中除目标连通区域以外的背景区域进行虚化处理，得到处理后的第二目标图像。本申请实施例能够将不包括人脸的其它人物的肢体确定为背景区域，从而提高了前景人物识别准确度，减少了人像识别误检。
可选的，第二确定单元1104包括：
第三确定模块，用于将第一目标图像中人像部件所在的区域中每个相互连通的区域确定为一个候选连通区域，得到一组候选连通区域；
第四确定模块，用于将一组候选连通区域中区域面积大于第一阈值、且包括人脸的候选连通区域确定为目标连通区域，或，将一组候选连通区域中包括人脸的候选连通区域确定为目标连通区域。
可选的，第一阈值与第一目标图像的尺寸呈正相关。
可选的，第一确定模块具体用于：
将第一目标图像中人像部件对应的像素点的像素值设置为第一像素值，并将第一目标图像中除人像部件对应的像素点以外的像素点的像素值设置为第二像素值，得到二值图像，其中，第一像素值与第二像素值不同；
对二值图像进行区域识别，得到一组候选连通区域，其中，区域识别用于对二值图像中像素值相同的像素点所在的连通区域进行识别，一组候选连通区域中的像素点的像素值均为第一像素值。
可选的，上述装置还可以包括：
第一获取单元，用于获取第一组训练图像、第二组训练图像、以及一组区域划分结果、一组训练识别结果，其中，第一组训练图像与一组区域划分结果一一对应，每个区域划分结果用于表示第一组训练图像中一张图像中的已知人像区域，第二组训练图像与一组训练识别结果一一对应，每个训练识别结果用于表示第二组训练图像中一张图像中的已知人像部件；
训练单元，用于基于第一组训练图像和第二组训练图像对初始识别模型进行训练，得到训练后的识别模型，其中，训练后的识别模型对第一组训练图像识别到的预估人像区域与一组区域划分结果中的已知人像区域之间的误差满足第一收敛条件，训练后的识别模型对第二组训练图像识别到的预估人像部件与一组训练识别结果中的已知人像部件之间的误差满足第二收敛条件，训练后的识别模型包括：编码模块、人像区域识别模块和人像部件识别模块，编码模块用于图像进行编码得到编码数据；人像区域识别模块用于根据编码数据识别出人像区域；人像部件识别模块用于根据编码数据识别出预估人像部件；
第二处理单元，用于将训练后的识别模型中的人像区域识别模块删除，得到目标识别模型。
可选的，训练单元包括：
输入模块，用于从第一组训练图像中选出第一训练图像，从第二组训练图像中选出第二训练图像；将第一训练图像和第二训练图像输入到初始识别模型，其中，初始识别模型包括：初始编码网络、初始人像区域识别网络和初始人像部件识别网络，初始编码网络包括级联的第一卷积层，初始人像区域识别网络包括级联的第二卷积层，初始人像部件识别网络包括级联的第三卷积层，初始编码网络中的第一卷积层用于接收级联的上一个第一卷积层对第一训练图像和第二训练图像进行编码后的编码数据，并将编码数据发送至对应的第二卷积层、第三卷积层和级联的下一个第一卷积层，初始人像区域 识别网络用于接收对应的第一卷积层和级联的上一个第二卷积层发送的编码数据，并对接收的编码数据进行人像区域识别；初始人像部件识别网络用于接收对应的第一卷积层和级联的上一个第三卷积层发送的编码数据，并对接收的编码数据进行人像部件识别。
根据本申请实施例的又一个方面，还提供了一种用于实施上述图像的处理方法的电子装置，如图12所示，该电子装置包括存储器1202和处理器1204，该存储器1202中存储有计算机程序，该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，从待处理的第一目标图像中识别多组人像部件和多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
S2，在多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，目标组人像部件包括目标人脸，目标区域与多组人像部件中除目标组人像部件之外的其它组人像部件所在的区域相隔开；
S3，对第一目标图像中除目标区域以外的区域进行虚化处理，得到第二目标图像。
可选地，本领域普通技术人员可以理解，图12所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图12中所示更多或者更少的组件(如网络接口等)，或者具有与图12所示不同的配置。
其中，存储器1202可用于存储软件程序以及模块，如本申请实施例中的图像的处理方法和装置对应的程序指令/模块，处理器1204通过运行存储在存储器1202内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像的处理方法。存储器1202可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其它非易失性固态存储器。在一些实例中，存储器1202可进一步包括相对于处理器1204远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1202具体可以但不限于用于存储第一目标图像和第二目标图像等信息。作为一种示例，如图12所示，上述存储器1202中可以但不限于包括上述图像的处理装置中的第一识别单元1001、第一确定单元1003及第一处理单元1005。此外，还可以包括但不限于上述图像的处理装置中的其它模 块单元，本示例中不再赘述。
可选地，上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1206包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其它网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1206为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子装置还包括：显示器1208，用于显示上述第一目标图像和第二目标图像；和连接总线1210，用于连接上述电子装置中的各个模块部件。
根据本申请的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，从待处理的第一目标图像中识别多组人像部件和多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
S2，在多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，目标组人像部件包括目标人脸，目标区域与多组人像部件中除目标组人像部件之外的其它组人像部件所在的区域相隔开；
S3，对第一目标图像中除目标区域以外的区域进行虚化处理，得到第二目标图像。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施 例中没有详述的部分，可以参见其它实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (16)

  1. 一种图像的处理方法，由电子设备执行，所述方法包括：
    从待处理的第一目标图像中识别多组人像部件和所述多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
    在所述多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，所述目标组人像部件包括目标人脸，所述目标区域与所述多组人像部件中除所述目标组人像部件之外的其它组人像部件所在的区域相隔开；
    对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像。
  2. 根据权利要求1所述的方法，所述在所述多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，包括：
    在N组人像部件中确定包括人脸的M组人像部件，其中，所述N组人像部件为所述多组人像部件，N≥M≥1；
    在所述M组人像部件所在的区域中，确定所述目标组人像部件所在的目标区域，其中，所述目标组人像部件包括的人脸所在的区域的面积大于或等于第一阈值，和/或，所述目标组人像部件所在的区域的面积大于或等于第二阈值。
  3. 根据权利要求2所述的方法，所述第一阈值和/或所述第二阈值与所述第一目标图像的尺寸呈正相关。
  4. 根据权利要求2所述的方法，所述在所述M组人像部件所在的区域中，确定所述目标组人像部件所在的目标区域，包括：
    将所述M组人像部件对应的像素点的像素值设置为第一像素值，将所述第一目标图像中除所述M组人像部件对应的像素点以外的像素点的像素值设置为第二像素值，得到二值图像，其中，所述第一像素值与所述第二像素值不同；
    对所述二值图像进行区域识别，得到所述目标区域，其中，所述目标区域中包括目标人脸的像素点。
  5. 根据权利要求1所述的方法，所述从待处理的第一目标图像中识别多组人像部件和所述多组人像部件所在的区域，包括：
    通过识别模型处理所述第一目标图像，确定所述多组人像部件和所述多组人像部件所在的区域。
  6. 根据权利要求1所述的方法，在所述通过识别模型处理所述第一目标图像，确定所述多组人像部件和所述多组人像部件所在的区域之前，所述方法还包括：
    获取第一组训练图像、第二组训练图像、以及一组区域划分结果、一组训练识别结果，其中，所述第一组训练图像与所述一组区域划分结果一一对应，每个区域划分结果用于表示所述第一组训练图像中一张图像中的已知人 像区域，所述第二组训练图像与所述一组训练识别结果一一对应，每个训练识别结果用于表示所述第二组训练图像中一张图像中的已知人像部件；
    基于所述第一组训练图像和所述第二组训练图像对初始识别模型进行训练，得到训练后的识别模型，其中，所述训练后的识别模型对所述第一组训练图像识别到的预估人像区域与所述一组区域划分结果中的所述已知人像区域之间的误差满足第一收敛条件，所述训练后的识别模型对所述第二组训练图像识别到的预估人像部件与所述一组训练识别结果中的所述已知人像部件之间的误差满足第二收敛条件；所述训练后的识别模型包括：用于对图像进行编码得到编码数据的编码网络、根据所述编码数据识别人像区域的人像区域识别网络、根据所述编码数据识别人像部件的人像部件识别网络。
  7. 根据权利要求6所述的方法，所述基于所述第一组训练图像和所述第二组训练图像对初始识别模型进行训练，包括：
    从所述第一组训练图像中选出第一训练图像，从所述第二组训练图像中选出第二训练图像；
    将所述第一训练图像和所述第二训练图像输入所述初始识别模型，其中，所述初始识别模型包括：初始编码网络、初始人像区域识别网络和初始人像部件识别网络，所述初始编码网络包括级联的第一卷积层，所述初始人像区域识别网络包括级联的第二卷积层，所述初始人像部件识别网络包括级联的第三卷积层；
    通过所述初始编码网络中的第一卷积层接收级联的上一个第一卷积层对所述第一训练图像和所述第二训练图像进行编码后得到的编码数据，并将所述编码数据发送至对应的第二卷积层、第三卷积层和级联的下一个第一卷积层；通过所述初始人像区域识别网络接收对应的第一卷积层和级联的上一个第二卷积层发送的编码数据，并对接收的编码数据进行人像区域识别；通过所述初始人像部件识别网络接收对应的第一卷积层和级联中上一个第三卷积层发送的编码数据，并对接收的编码数据进行人像部件识别。
  8. 根据权利要求1至7任一项所述的方法，在所述第一目标图像为目标视频中的视频帧图像的情况下，在所述对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像之后，所述方法还包括：
    将所述目标视频中的所述第一目标图像替换为所述第二目标图像；在播放所述目标视频的过程中播放所述第二目标图像。
  9. 一种图像的处理装置，所述装置包括：
    第一识别单元，用于从待处理的第一目标图像中识别多组人像部件和所述多组人像部件所在的区域，其中，每组人像部件对应于一个人体；
    第一确定单元，用于在所述多组人像部件所在的区域中，确定目标组人像部件所在的目标区域，其中，所述目标组人像部件包括目标人脸，所述目标区域与所述多组人像部件中除所述目标组人像部件之外的其它组人像部件 所在的区域相隔开；
    第一处理单元，用于对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像。
  10. 根据权利要求9所述的装置，所述第一确定单元包括：
    第一确定模块，用于在N组人像部件中确定包括人脸的M组人像部件，其中，所述N组人像部件为所述多组人像部件，N≥M≥1；
    第二确定模块，用于在所述M组人像部件所在的区域中，确定所述目标组人像部件所在的目标区域，其中，所述目标组人像部件包括的人脸所在的区域的面积大于或等于第一阈值，和/或，所述目标组人像部件所在的区域的面积大于或等于第二阈值。
  11. 根据权利要求10所述的装置，所述第一阈值和/或所述第二阈值与所述第一目标图像的尺寸呈正相关。
  12. 根据权利要求10所述的装置，所述第二确定模块，包括：
    设置子模块，用于将所述M组人像部件对应的像素点的像素值设置为第一像素值，将所述第一目标图像中除所述M组人像部件对应的像素点以外的像素点的像素值设置为第二像素值，得到二值图像，其中，所述第一像素值与所述第二像素值不同；
    处理子模块，用于对所述二值图像进行区域识别，得到所述目标区域，其中，所述目标区域中包括目标人脸的像素点。
  13. 根据权利要求9至12任一项所述的装置，所述装置还包括：
    替换单元，用于在所述第一目标图像为目标视频中的视频帧图像的情况下，在所述第一处理单元对所述第一目标图像中除所述目标区域以外的区域进行虚化处理，得到第二目标图像之后，将所述目标视频中的所述第一目标图像替换为所述第二目标图像；
    播放单元，用于在播放所述目标视频的过程中播放所述第二目标图像。
  14. 一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至8任一项中所述的方法。
  15. 一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。
  16. 一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至8任一项中所述的方法。
PCT/CN2020/094576 2019-11-26 2020-06-05 图像的处理方法和装置、存储介质及电子装置 WO2021103474A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/524,387 US20220067888A1 (en) 2019-11-26 2021-11-11 Image processing method and apparatus, storage medium, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911175754.X 2019-11-26
CN201911175754.XA CN110991298B (zh) 2019-11-26 2019-11-26 图像的处理方法和装置、存储介质及电子装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/524,387 Continuation US20220067888A1 (en) 2019-11-26 2021-11-11 Image processing method and apparatus, storage medium, and electronic device

Publications (1)

Publication Number Publication Date
WO2021103474A1 true WO2021103474A1 (zh) 2021-06-03

Family

ID=70087119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/094576 WO2021103474A1 (zh) 2019-11-26 2020-06-05 图像的处理方法和装置、存储介质及电子装置

Country Status (3)

Country Link
US (1) US20220067888A1 (zh)
CN (1) CN110991298B (zh)
WO (1) WO2021103474A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991298B (zh) * 2019-11-26 2023-07-14 腾讯科技（深圳）有限公司 图像的处理方法和装置、存储介质及电子装置
CN112686907A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种图像处理方法、设备及装置
CN112581481B (zh) * 2020-12-30 2024-04-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107509031A (zh) * 2017-08-31 2017-12-22 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN108509994A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 人物图像聚类方法和装置
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
US20190311186A1 (en) * 2018-04-09 2019-10-10 Pegatron Corporation Face recognition method
CN110991298A (zh) * 2019-11-26 2020-04-10 腾讯科技（深圳）有限公司 图像的处理方法和装置、存储介质及电子装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230252B (zh) * 2017-01-24 2022-02-01 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
CN107146203A (zh) * 2017-03-20 2017-09-08 深圳市金立通信设备有限公司 一种图像虚化方法及终端
CN106971165B (zh) * 2017-03-29 2018-08-10 武汉斗鱼网络科技有限公司 一种滤镜的实现方法及装置
CN106973164B (zh) * 2017-03-30 2019-03-01 维沃移动通信有限公司 一种移动终端的拍照虚化方法及移动终端
CN107563979B (zh) * 2017-08-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109829456B (zh) * 2017-11-23 2022-05-17 腾讯科技（深圳）有限公司 图像识别方法、装置及终端
CN107948517B (zh) * 2017-11-30 2020-05-15 Oppo广东移动通信有限公司 预览画面虚化处理方法、装置及设备
CN108093158B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 图像虚化处理方法、装置、移动设备和计算机可读介质
CN108234882B (zh) * 2018-02-11 2020-09-29 维沃移动通信有限公司 一种图像虚化方法及移动终端
CN110147805B (zh) * 2018-07-23 2023-04-07 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN110363172A (zh) * 2019-07-22 2019-10-22 曲靖正则软件开发有限公司 一种视频处理方法、装置、电子设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107509031A (zh) * 2017-08-31 2017-12-22 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN108509994A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 人物图像聚类方法和装置
US20190311186A1 (en) * 2018-04-09 2019-10-10 Pegatron Corporation Face recognition method
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN110991298A (zh) * 2019-11-26 2020-04-10 腾讯科技（深圳）有限公司 图像的处理方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
US20220067888A1 (en) 2022-03-03
CN110991298B (zh) 2023-07-14
CN110991298A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
US11151725B2 (en) Image salient object segmentation method and apparatus based on reciprocal attention between foreground and background
WO2021103474A1 (zh) 图像的处理方法和装置、存储介质及电子装置
US20210081695A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN113642431A (zh) 目标检测模型的训练方法及装置、电子设备和存储介质
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
KR20220044828A (ko) 얼굴 속성 인식 방법, 장치, 전자 기기 및 저장 매체
CN112561879B (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN112380955B (zh) 动作的识别方法及装置
CN113469289A (zh) 视频自监督表征学习方法、装置、计算机设备和介质
CN113128368A (zh) 一种人物交互关系的检测方法、装置及系统
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN111626212B (zh) 图片中对象的识别方法和装置、存储介质及电子装置
US20230115765A1 (en) Method and apparatus of transferring image, and method and apparatus of training image transfer model
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
US20230154139A1 (en) Systems and methods for contrastive pretraining with video tracking supervision
CN113537359A (zh) 训练数据的生成方法及装置、计算机可读介质和电子设备
Uchigasaki et al. Deep image compression using scene text quality assessment
CN113221920B (zh) 图像识别方法、装置、设备、存储介质以及计算机程序产品
CN114550236B (zh) 图像识别及其模型的训练方法、装置、设备和存储介质
CN113610064B (zh) 笔迹识别方法和装置
CN113610065B (zh) 笔迹识别方法和装置
CN117636398A (zh) 一种视频行人重识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20892336

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20892336

Country of ref document: EP

Kind code of ref document: A1