WO2022194102A1 - 图像处理方法、装置、计算机设备、存储介质及程序产品 - Google Patents

图像处理方法、装置、计算机设备、存储介质及程序产品 Download PDF

Info

Publication number
WO2022194102A1
WO2022194102A1 PCT/CN2022/080696 CN2022080696W WO2022194102A1 WO 2022194102 A1 WO2022194102 A1 WO 2022194102A1 CN 2022080696 W CN2022080696 W CN 2022080696W WO 2022194102 A1 WO2022194102 A1 WO 2022194102A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processed
layer
area
cropped
Prior art date
Application number
PCT/CN2022/080696
Other languages
English (en)
French (fr)
Inventor
刘军煜
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2022194102A1 publication Critical patent/WO2022194102A1/zh
Priority to US17/993,848 priority Critical patent/US20230091549A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品；方法包括：对待处理图像进行目标对象检测得到对象检测结果，并对所述待处理图像进行图像显著性检测得到显著性检测结果；基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像；获取用于指示图像样式的图像模板，并获取所述图像模板对应的图层信息；基于所述图像模板，在所述剪裁图像中添加所述图层信息，得到与所述图像模板所指示的图像样式相对应的目标图像。

Description

图像处理方法、装置、计算机设备、存储介质及程序产品
相关申请的交叉引用
本申请实施例基于申请号为202110296922.1、申请日为2021年03月19日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请实施例作为参考。
技术领域
本申请涉及图像处理技术，尤其涉及一种图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品。
背景技术
在图像处理的一些场景中，需要对图像进行处理，以利用处理后的图像进行宣传投放。
相关技术中，为了保证图像的适用性，通常是人为针对性地对原始图像进行后期制作，如对原始图像进行相应尺寸规格的裁剪和相关宣传信息的添加等，以得到符合要求的宣传图像。然而，人为制作的方式效率极低同时耗费人力成本。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质及计算机程序产品，能够高效地生成适用性强的目标图像。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，包括：
对待处理图像进行目标对象检测得到对象检测结果，并对所述待处理图像进行图像显著性检测得到显著性检测结果；
基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像；
获取用于指示图像样式的图像模板，并获取所述图像模板对应的图层信息；
基于所述图像模板，在所述剪裁图像中添加所述图层信息，得到与所述图像模板所指示的图像样式相对应的目标图像。
本申请实施例提供一种图像处理装置，包括：
检测模块，配置为对待处理图像进行目标对象检测得到对象检测结果，并对所述待处理图像进行图像显著性检测得到显著性检测结果；
裁剪模块，配置为基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像；
获取模块，配置为获取用于指示图像样式的图像模板，并获取所述图像模板对应的图层信息；
图层添加模块，配置为基于所述图像模板，在所述剪裁图像中添加所述图层信息，得到与所述图像模板所指示的图像样式相对应的目标图像。
本申请实施例提供一种计算机设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像处理方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像处理方法。
本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时，实现本申请实施例提供的图像处理方法。
本申请实施例具有以下有益效果：
本申请实施例中，基于对待处理图像进行目标对象检测得到的对象检测结果、及进行显著性检测得到的显著性检测结果，对待处理图像进行裁剪，从而保留了待处理图像中的人脸及显著性特征，然后基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像，实现了对图像的自动处理，提高了处理效率，且得到的目标图像中保留了原始的待处理图像中的有效信息，具有较强的适用性。
附图说明
图1是本申请实施例提供的图像处理系统架构的结构示意图；
图2是本申请实施例提供的图像处理方法的流程示意图；
图3是本申请实施例提供的图像处理方法的流程示意图；
图4是本申请实施例提供的待处理图像的示意图；
图5是本申请实施例提供的裁剪图像的过程的示意图；
图6是本申请实施例提供的裁剪图像的过程的示意图；
图7是本申请实施例提供的图像处理方法的流程示意图；
图8是本申请实施例提供的待处理图像的剪裁中心点的示意图；
图9是本申请实施例提供的待处理图像的裁剪中心点的示意图；
图10是本申请实施例提供的确定第一剪裁中心点的示意图；
图11是本申请实施例提供的目标图像的示意图；
图12是本申请实施例提供的图像处理方法的流程示意图；
图13是本申请实施例提供的图像模板的示意图；
图14是本申请实施例提供的图像处理装置的结构示意图；
图15是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申 请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)显著性检测，指通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)；
2)人脸特征图，指标记有图像中人脸区域和非人脸区域的二值图。
3)人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(ML，Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
基于上述对本申请实施例中涉及的名词和术语的解释，下面说明本申请实施例提供的图像处理系统进行说明，参见图1，图1是本申请实施例提供的图像处理系统100的架构示意图，终端400通过网络300连接服务器200，网络 300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
终端400(设置有图像处理客户端)，用于在图像处理客户端的图形界面410内呈现视频选择功能项，响应于针对视频选择功能项的选择操作，获取所选择的待处理视频，对待处理视频进行抽帧处理，得到抽取的多帧待处理图像，分别将多帧待处理图像发送至服务器200。
服务器200，用于对待处理图像进行目标对象检测得到对象检测结果，并对待处理图像进行图像显著性检测得到显著性检测结果；基于对象检测结果及显著性检测结果，对待处理图像进行裁剪得到相应的裁剪图像；获取用于指示图像样式的图像模板，并获取图像模板对应的图层信息；基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像，并将目标图像发送至终端400，以在终端400中接收并展示目标图像。
在实际应用中，终端400可以是笔记本电脑，平板电脑，台式计算机，智能手机，专用消息设备，便携式游戏设备，智能音箱，智能电视、智能手表、智能车载设备等，但并不局限于此。服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。网络300可以是广域网或者局域网，又或者是二者的组合。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
基于上述对本申请实施例的图像处理系统说明，下面说明本申请实施例提供的图像处理方法。在实际实施时，本申请实施例提供的图像处理方法可由图1所示的终端400或服务器200单独实施，还可以由图1所示的终端400及服务器200协同实施，接下来结合图1，以图1所示的终端400实施本申请实施例提供的图像处理方法为例进行说明。
参见图2，图2是本申请实施例提供的图像处理方法的流程示意图，将结合图2示出的步骤进行说明。
步骤101，终端对待处理图像进行目标对象检测得到对象检测结果，并对待处理图像进行图像显著性检测得到显著性检测结果。
这里，终端获取待处理视频，对待处理视频进行图像帧的抽取，得到多帧抽取的图像，并将抽取的图像作为待处理图像。待处理视频可以为视频平台内的视频，该视频平台具有特定的视频标识，可基于视频标识确定相应的待处理图像。本申请实施例中，终端分别针对每一张待处理图像，执行本申请实施例提供的图像处理方法。
在实际实施时，终端对待处理图像进行目标对象检测，得到相应的对象检测结果。这里，目标对象检测为针对目标对象的目标检测，目标对象例如可以为人脸、人体、建筑、植物等等对象，终端可以根据实际应用场景进行相应目标对象检测算法的选择，通过所选择的目标对象检测算法对待处理图像进行相 应目标对象的目标检测，得到对象检测结果。示例性地，当待处理视频为影视视频时，目标对象可以为人脸或者人体，则可以选择用于检测人脸或人体的目标对象检测算法对影视视频进行人脸或人体的检测，得到影视视频中的人脸或人体。接着，终端还对待处理图像进行显著性检测，得到相应的显著性检测结果。
在一些实施例中，参见图3，图3是本申请实施例提供的图像处理方法的流程示意图，基于图2，步骤101还可以通过图3所示的步骤1011来实现：步骤1011，终端对待处理图像进行人脸检测，以确定待处理图像中包含人脸的第一区域，并对待处理图像进行图像显著性检测，以确定待处理图像中包含显著性特征的第二区域。
在实际实施时，终端分别对待处理图像进行人脸检测及显著性检测，得到包含人脸的第一区域及包含显著性特征的第二区域。需要说明的是，显著性特征可能包含人脸，也即是说，终端对待处理图像进行显著性检测后，得到显著度达到显著度阈值的至少一个显著性特征，当待处理图像中的人脸的显著度达到显著度阈值时，通过显著性检测得到的显著性特征则包含人脸，而当待处理图像中的人脸的显著度未达到显著度阈值时，通过显著性检测得到的显著性特征则不包含人脸。
示例性地，参见图4，图4是本申请实施例提供的待处理图像的示意图。在实际实施时，终端对待处理图像进行人脸检测，得到包含人脸的第一区域41，并对待处理图像进行显著性检测，得到包含显著性特征的第二区域42。这里，显著性特征为待处理图像中的人体。
步骤102，基于对象检测结果及显著性检测结果，对待处理图像进行裁剪得到相应的裁剪图像。
在实际实施时，当对待处理图像中进行目标对象检测，得到目标对象后，得到的对象检测结果用于指示目标对象在待处理图像中的对象区域。对待处理图像进行显著性检测得到的显著性检测结果用于指示显著性特征在待处理图像中的显著性特征区域。终端基于对象区域及显著性特征区域，对待处理图像进行裁剪。这里，当检测到目标对象时，终端则基于目标对象对应的对象区域对待处理图像进行裁剪，当未检测到目标对象时，终端则基于显著性特征区域对待处理图像进行裁剪。在一些实施例中，当检测到目标对象时，终端还可以同时基于对象区域及显著性区域，对待处理图像进行裁剪。
具体地，终端基于对象区域及显著性区域，确定待处理图像的剪裁中心点，并基于剪裁中心点对待处理图像进行裁剪得到相应的裁剪图像。在实际实施时，终端获取裁剪尺寸规格，基于裁剪尺寸规格对待处理图像进行裁剪。这里，裁剪尺寸规格可以为宽高比w’/h’，也即将待处理图像裁剪为该宽高比的裁剪图像。
本申请实施例中，待处理图像的宽高分别为w和h，当待处理图像的宽高比w/h大于裁剪尺寸规格的宽高比w’/h’，终端则将裁剪中心点作为裁剪框的宽度中心，保持裁剪框的高度为h，对待处理图像进行裁剪，得到宽高比为w’/h’裁剪图像。这里，裁剪图像的高度为h，宽度为(w’h)/h’。
示例性地，参见图5，图5是本申请实施例提供的裁剪图像的过程的示意 图。这里，待处理图像50的裁剪中心点为51，终端基于裁剪中心点51对待处理图像50进行裁剪，将待处理图像50裁剪为宽高比为w’/h’的图像。具体地，终端将裁剪中心点51作为裁剪框52的宽度中心，确定裁剪框52的高度为h，对待处理图像50进行裁剪，得到宽高比为w’/h’的裁剪图像53。这里，裁剪图像53的高度为h，宽度为(w’h)/h’。
在实际实施时，当待处理图像的宽高比小于裁剪尺寸规格的宽高比时，终端将裁剪中心点作为裁剪框高度的中心，保持裁剪框的宽度为w，对待处理图像进行裁剪，得到宽高比为w’/h’裁剪图像。这里，裁剪图像的宽度为w，高度为(wh’)/w’。示例性地，参见图6，图6是本申请实施例提供的裁剪图像的过程的示意图。这里，待处理图像60的裁剪中心点为61，终端基于裁剪中心点61对待处理图像60进行裁剪，将待处理图像60裁剪为宽高比为w’/h’的图像。具体地，终端将裁剪中心点61作为裁剪框62的高度中心，确定裁剪框62的宽度为w，对待处理图像60进行裁剪，得到宽高比为w’/h’的裁剪图像63。
在实际实施时，当待处理图像的宽高比等于裁剪尺寸规格的宽高比时，终端不对待处理图像进行裁剪，直接对待处理图像进行图层信息的添加。
在一些实施例中，参见图7，图7是本申请实施例提供的图像处理方法的流程示意图，基于图3，步骤102还可以图7示出的步骤1021-步骤1023来实现：
步骤1021，当待处理图像中包含第一区域时，终端基于第一区域确定第一剪裁中心点，基于第二区域确定第二剪裁中心点。
在实际实施时，当待处理图像中包含第一区域时，也即终端对待处理图像进行人脸检测，检测到待处理图像中的人脸时，基于包含人脸的第一区域确定第一剪裁中心点。具体地，终端取第一区域的中心作为第一剪裁中心点。同时，终端基于第二区域确定第二剪裁中心点，这里，终端可以取第二区域的中心作为第二剪裁中心点。
示例性地，参见图8，图8是本申请实施例提供的待处理图像的剪裁中心点的示意图。这里，终端基于第一区域41，确定第一区域41的中心点81，将第一区域41的中心点81作为第一剪裁中心点81。同理，终端确定得到第二区域42的第二剪裁中心点82。
步骤1022，基于第一剪裁中心点及第二剪裁中心点，对待处理图像进行裁剪得到相应的裁剪图像。
在实际实施时，当第一剪裁中心点与第二剪裁中心点不重合时，终端将第一剪裁中心点作为待处理图像的裁剪中心点对待处理图像进行裁剪，得到相应的裁剪图像。这里，对待处理图像进行裁剪的过程参见图5或图6，在此不再进行赘述。
在一些实施例中，基于图7，步骤1022还可以通过如下方式实现：当第一剪裁中心点位于第二区域外时，终端基于第一剪裁中心点，对待处理图像进行裁剪得到相应的裁剪图像；当第一剪裁中心点位于第二区域内时，基于第一剪裁中心点及第二剪裁中心点，确定相应的目标剪裁中心点，并基于目标剪裁中心点，对待处理图像进行裁剪得到相应的裁剪图像。
示例性地，参见图9，图9是本申请实施例提供的待处理图像的裁剪中心点的示意图，这里，第一裁剪中心点91位于第二区域内，终端基于第一裁剪中心点91及第二裁剪中心点92确定目标裁剪中心点93。具体地，终端对第一裁剪中心点91及第二裁剪中心点92的坐标进行加权求和得到相应的加权坐标，将加权坐标对象的点作为目标裁剪中心点93。接着，终端将目标裁剪中心点作为对待处理图像的裁剪中心点，对待处理图像进行裁剪，得到相应的裁剪图像。
步骤1023，当待处理图像中不包含第一区域时，基于第二区域确定第二剪裁中心点，并基于第二剪裁中心点，对待处理图像进行裁剪得到相应的裁剪图像。
在实际实施时，当待处理图像中不包含第一区域时，也即未在待处理图像中检测到人脸时，则基于显著性检测得到第二区域的第二检测中心点，并基于确定的第二检测中心点对待处理图像进行裁剪。
在一些实施例中，基于图7，步骤1021中的基于第一区域确定第一剪裁中心点，还可以通过如下方式实现：当第一区域的数量为至少两个时，终端分别对待处理图像中各第一区域进行膨胀处理，得到相应的第一膨胀区域；当至少两个第一膨胀区域存在区域交集时，确定存在区域交集的第一膨胀区域，将存在区域交集的第一膨胀区域进行合并，得到相应的膨胀合并区域；基于膨胀合并区域，确定第一剪裁中心点。
在实际实施时，若在待处理图像内检测到至少两张人脸时，对应的第一区域则为至少两个，基于人脸检测结果生成人脸特征图。这里，人脸特征图中包含用于指示待处理图像中第一区域的人脸框，人脸框的数量与待处理图像中人脸的数量相同，人脸框的大小与第一区域的大小相同。接着，终端基于膨胀系数，分别对各人脸框进行膨胀处理，得到相应的膨胀人脸框。当至少两个膨胀人脸框存在区域交集时，也即至少两个膨胀人脸框相连通时，终端将相连通的膨胀人脸框进行合并，得到合并人脸框。应当理解的是，得到的合并人脸框的数量为至少一个，终端从至少一个合并人脸框中选取面积最大的合并人脸框，确定该面积最大的合并人脸框的中心点，并基于该中心点对待处理图像进行裁剪。
示例性地，参见图10，图10是本申请实施例提供的确定第一剪裁中心点的示意图，终端在对待处理图像1001进行人脸检测后，得到人脸特征图1002，该人脸特征图1002中包含用于指示待处理图像中的人脸的人脸框1003和1004，接着，终端分别对人脸特征图1002中的人脸框1003和1004进行膨胀处理，得到图示出的膨胀处理后的人脸特征图1005，这里，膨胀处理后的两个人脸框相连通，终端则合并这两个膨胀处理后的人脸框，作为合并人脸框1006。然后，终端确定合并人脸框1006的中心点1007，基于合并人脸框的中心点1007对待处理图像进行裁剪。这里，对待处理图像的裁剪过程参见上述实施例，在此不再赘述。
在一些实施例中，基于图2，步骤102还可以通过如下方式实现：终端获取目标图像对应的应用场景类型；基于应用场景类型，确定裁剪图像对应的图像大小；基于对象检测结果及显著性检测结果，对待处理图像进行裁剪，得到 对应图像大小的裁剪图像。
在实际应用中，不同的应用场景类型所需要的裁剪图像的图像大小是不同的，这里，终端获取目标图像对应的应用场景类型后，确定与该应用场景类型相适配的裁剪图像的图像大小，并结合对象检测结果及显著性检测结果，将待处理图像裁剪成与该应用场景类型相适配的图像大小的裁剪图像，如此，能够避免得到的所有裁剪图像的图像大小过于单一，能够提高对应各应用场景类型的剪裁图像的适用性和针对性。
步骤103，获取用于指示图像样式的图像模板，并获取图像模板对应的图层信息。
在一些实施例中，基于图2，步骤103中的获取图像模板对应的图层信息，还可以通过如下方式实现：终端确定图像模板所指示的图像样式中的图层信息名称；基于图层信息名称，对待处理图像进行图层信息识别，得到对应图层信息名称的图层信息。
这里，终端可对图像模板进行名称提取，得到图像模板所指示的图像样式中的图层信息名称，然后基于图层信息名称，对待处理图像进行图层信息识别，如对待处理图像的各个区域进行语义分析，得到与所述图层信息名称相匹配的语义对应的区域，并提取相应区域信息得到对应图层信息名称的图层信息。
步骤104，基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像。
在一些实施例中，步骤104之前，终端还可以执行以下操作：当剪裁图像的数量为至少两个时，获取对应目标图像的清晰度；基于清晰度对多个剪裁图像进行过滤，得到清晰度达到清晰度阈值的至少一个剪裁图像。步骤104还可以通过如下方式实现：终端基于图像模板，在清晰度达到清晰度阈值的剪裁图像中添加图层信息，得到相应的目标图像。
在实际实施时，终端在对待处理图像进行裁剪得到裁剪图像后，对裁剪图像进行清晰度检测，以将清晰度未达到清晰度阈值的裁剪图像进行过滤。这里，终端可以清晰度算法对待处理图像进行过滤。当裁剪图像的清晰度达到清晰度阈值时，终端对裁剪图像进行图层信息的添加，生成相应的目标图像，并用于宣传投放的海报图。
在一些实施例中，基于图2，步骤104还可以通过如下方式实现：当图层信息的类型为固定图层时，终端基于图像模板，确定待处理图像中的第一图层放置区域；在图层放置区域中添加图层信息，得到相应的目标图像。
需要说明的是，图像模板用于指示对裁剪后的图像添加图层信息的图层位置，图层信息为待添加至裁剪后的图像中相应图层位置的图层，图层信息例如可以为一些图层。这里，图层信息可以包括多个图层，例如标识图层，电视剧名图层，搜索框图层，搜索文字图层等。其中，标识图层为视频平台的视频标识所对应的图层，该视频平台用于播放待处理图像对应的待处理视频。这里，视频平台可以实施为视频客户端，还可以实施为视频网站等。图层的类型包括固定图层和非固定图层。例如上述举例的几种图层中，标识图层、搜索框图层和搜索文字图层等可以为预先设置的固定图层，而电视剧名图层则可以为预先 设置的非固定图层。
在实际实施时，当待添加的图层信息为固定图层时，终端获取预先设置的图像模板，基于图像模板确定对应裁剪图像中的图层位置，将固定图层添加至相应图层位置的裁剪图像中。应当理解的是，固定图层的图层位置是固定不变的，终端在对任意待处理图像进行图像处理时，均将固定图层添加至相同的图层位置。例如，当图层信息为固定图层时，终端获取图像模板，从图像模板中解析出固定图层对应于剪裁图像中的图层位置，将固定图层添加至剪裁图像中的相应图层位置处，从而得到添加图层信息后的目标图像。又如，终端基于图像模板，获取固定图层对应的第一图层放置区域，应当理解的是，一个第一图层放置区域对应一个固定图层，且第一图层放置区域与其对应的固定图层的尺寸比例相同，也即区域的宽高比与图层的宽高比相同。
在一些实施例中，基于图3，步骤104，还可以通过如下方式实现：当图层信息的类型为非固定图层时，终端基于图像模板，确定对应剪裁图像的第二图层放置区域；确定第二图层放置区域与第一区域之间的第一交集区域，并确定第二图层放置区域与第二区域之间的第二交集区域，将第一交集区域与第二交集区域进行合并，得到相应的合并区域；获取图层信息的图层尺寸，基于图层尺寸，在第二图层放置区域内，选取与合并区域的交集最小的对应图层尺寸的目标区域；在目标区域中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像。
在一些实施例中，基于图3，步骤104，还可以通过如下方式实现：当图层信息的类型为非固定图层时，终端基于图像模板，确定对应剪裁图像的第二图层放置区域；获取图层信息的图层尺寸及第二图层放置区域中各区域的像素方差，基于图层尺寸，从第二图层放置区域中选取像素方差最小的对应图层尺寸的目标区域；在目标区域中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像。
在实际实施时，当待添加的图层信息为非固定图层时，终端获取预先设置的图像模板，基于图像模板确定对应裁剪图像中的可放置区域。示例性地，假设待添加的图层的尺寸为w1和h1。需要说明的是，非固定图层的图层区域是非固定的，且大小不固定，示例性地，参见图11，图11是本申请实施例提供的目标图像的示意图。这里，图层信息包括固定图层和非固定图层。固定图层有搜索功能项图层1001、点击功能项图层1002、标识图层1003等，非固定图层包括电视剧名图层1004。
在实际实施时，终端从可放置区域中选取与待处理图像中人脸区域或显著性区域相交最小的区域作为非固定图层的图层区域，将非固定图层添加至该图层区域内。在一些实施例中，当存在多个区域与人脸区域或显著性区域的交集为零时，则从可放置区域中选取像素变化最小的区域作为非固定图层的图层区域，将非固定图层添加至该图层区域内，得到相应的目标图像。
在实际应用中，终端在对待处理图像裁剪并添加图层信息得到目标图像后，通过目标客户端对目标图像进行展示。具体地，终端还将目标图像与目标链接进行绑定，当用户点击目标图像时，则自动跳转至目标链接。这里，目标连接 可以为与待处理图像相对应的视频链接。
在一些实施例中，基于图2，当目标图像的数量为至少两个时，终端针对各目标图像执行以下处理：当目标图像中包含人脸时，对人脸进行表情特征的提取，得到相应的人脸表情特征；基于人脸表情特征，对目标图像进行评分，得到相应的表情分值；当表情分值未达到表情分阈值时，删除相应的目标图像。
在一些实施例中，由于待处理图像是从待处理视频中抽取得到的，故待处理图像可能具有多张，因此终端在对待处理视频进行抽帧处理并对抽帧得到的多张待处理图像进行图像处理后，得到的目标图像也可能有多张，故终端进一步对多张目标图像中进行筛选，以得到更加具有实用性的目标图像。本申请实施例中，当目标图像中包含人脸时，终端则对该人脸进行表情识别，提取得到相应的表情特征，并基于表情特征对目标图像进行表情打分，得到相应的表情分值。在实际实施时，终端可以利用训练好的表情打分模型对目标图像进行表情特征的提取及评分，其中，表情打分模型可以为基于携带有表情分值的图像进行训练得到。示例性地，可以对未扭曲五官的图像打上较高的表情分值，对扭曲五官的表情打上较低的表情分值等。这里，表情分值越高表示该图像中的人脸表情越具有美观性，具有美观性的人脸表情即为未扭曲五官，若表情分值未达到表情分阈值，则将该目标图像进行删除，不对该目标图像进行后续的平台投放等。
在一些实施例中，终端还可以分别对目标图像进行清晰度检测，得到各目标图像的清晰度，基于清晰度对目标图像进行打分。在一些实施例中，终端还可以分别对目标图像进行美观度检测，具体地，终端基于美观度检测模型，对目标图像进行美观度检测，得到各目标图像的美观度，将美观度作为目标图像的打分。这里，美观度检测模型为基于大量标注有美观度的图像训练得到。在一些实施例中，终端还可基于图像中人脸的表情来对目标图像进行打分，具体地，终端基于表情模型对目标图像进行表情检测，得到相应的表情分值，这里，表情模型为基于大量标注有表情分值的图像训练得到。应当理解的是，用于训练的图像中人物的表情分值是根据表情的正常程度进行标注的，例如将扭曲人物面部特征的表情打上较为低的表情分值，将人物面部特征清晰的表情打上较为高的表情分值等。在一些实施例中，终端还可以基于清晰度、美观度及表情分值中的至少之一，来对目标图像进行打分，以得到目标图像的分值，如将目标图像对应的清晰度、美观度及表情评分进行加权求平均，得到目标图像最终的分值。接着，终端将分值未达到分值阈值的目标图像进行过滤，将分值达到分值阈值的目标图像进行展示。在一些实施例中，终端还可收集目标客户端中针对目标图像的用户反馈数据，基于用户反馈数据对该目标图像进行打分，这里，用户反馈数据包括该目标图像的点击率或目标图像的留存率等等，如此，结合用户反馈数据对图像进行打分，使得最终所得分值更合理化，提高了分值的准确度。
在实际实施时，终端在得到多张目标图像的分值后，从多张目标图像中筛选出分值达到分值阈值的目标图像进行投放。本申请实施例中，目标图像可以投放至多个不同的目标客户端，不同目标客户端对目标图像的尺寸要求可能不 同，在实际实施时，终端针对不同目标客户端的需求，获取相应平台所要求的裁剪尺寸规格，基于裁剪尺寸规格对待处理图像进行处理，从而得到符合该平台的目标图像。
在一些实施例中，得到的目标图像可以应用于视频封面图横屏转竖屏这一场景中，终端从横屏视频中抽取横屏图像，将其裁剪为符合竖屏尺寸的竖屏图像，并基于竖屏图像进行相应相关图层信息的添加，得到相应的目标图像，并将该目标图像用于该竖屏视频的封面进行宣传。在实际应用中，视频封面或专辑封面图通常是横屏样式，而随着竖版视频的兴起，封面图也需要适应竖屏风格，本申请实施例则是针对这种需要对视频图像进行处理，提高了适用性。而对于图文缩略图一般有固定尺寸，上传的图片通常跟这个固定的尺寸比例不同，此时，缩略图只能显示图片的一部分，因此需要进行图片主体的选择，从而使得图文信息可以更有效地在缩略图中展示图片主要内容。在一些实施例中，处理后的目标图像可用于广告投放，如从原始图像截取出主体区域，增加各种尺寸的满足出图需要的图层信息，将图层信息添加至相应要求的区域内，得到相应的用于宣传的目标图像。这里，目标图像还可以进行多种平台的投放，以为相应网站进行广告投放，从而实现用户拉新等。例如将某视频网站的某一部剧视频进行视频帧抽取，并进行相应的目标图像的自动制作，得到多帧目标图像，并将得到的多帧目标图像投放至不同平台中，如将该目标图像绑定至该剧视频的链接，从而为该剧视频拉观众，实现有效的宣传。
本申请实施例中，终端基于对待处理图像进行目标对象检测得到的对象检测结果、及进行显著性检测得到的显著性检测结果，对待处理图像进行裁剪，从而保留了待处理图像中的人脸及显著性特征，然后基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像，实现了对图像的自动处理，提高了处理效率，且得到的目标图像中保留了原始的待处理图像中的有效信息，具有较强的适用性。
接下来继续对本发明实施例提供的图像处理方法进行介绍，图12是本发明实施例提供的图像处理方法的流程示意图，参见图12，本发明实施例提供的图像处理方法由终端、服务器协同实施。
步骤201，终端获取待处理视频，对待处理视频进行抽帧处理，得到抽取的多帧待处理图像。
在实际实施时，终端在图像处理客户端的图形界面内呈现视频选择功能项，终端响应于针对视频选择功能项的视频选择操作，获取所选择的待处理视频，并对待处理视频进行视频帧的抽取，得到抽取的多帧待处理图像。
步骤202，终端发送多帧待处理图像至服务器。
这里，终端在获取到待处理视频后，对待处理视频进行图像帧的抽取，得到多帧抽取的图像，并将抽取的图像作为待处理图像，将待处理图像发送至服务器。
步骤203，服务器对待处理图像进行目标对象检测得到对象检测结果，并对待处理图像进行图像显著性检测得到显著性检测结果。
在实际实施时，服务器获取待处理视频后，首先获取用于图像裁剪的尺寸规格，及用于指示图像样式的图像模板，并获取图像模板对应的图层信息。这里，图像模板用于指示对裁剪后的图像添加图层信息的图层位置，图层信息为待添加至裁剪后的图像中相应图层位置的图层。
接着，服务器对待处理图像进行人脸检测，得到相应的人脸检测结果，当人脸检测结果表征从待处理图像中检测到人脸时，则从待处理图像中确定包含人脸的人脸区域；当检测到的人脸区域的数量为一个时，确定人脸区域的中心点，并基于人脸区域的中心点对待处理图像进行裁剪，也即将待处理图像裁剪为宽高比为w’/h’的图像。
步骤204，服务器基于对象检测结果及显著性检测结果，对待处理图像进行裁剪得到相应的裁剪图像。
步骤205，服务器获取用于指示图像样式的图像模板，并获取图像模板对应的图层信息。
步骤206，服务器基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像。
步骤207，服务器对目标图像进行评分，得到目标图像的分值。
步骤208，服务器发送分值达到分值阈值的目标图像至终端。
这里，服务器分别对目标图像进行打分，以得到目标图像的分值。接着，终端将分值未达到分值阈值的目标图像进行过滤，将分值达到分值阈值的目标图像发送至终端进行展示。在实际实施时，终端通过目标客户端对目标图像进行展示，这里，目标客户端可以为能够展示图像的任意客户端，例如新闻客户端、社交客户端、多媒体客户端、电子书客户端、购物客户端等等，本申请不对用于展示目标图像的目标客户端进行具体限定。
这里，对于目标图像的打分过程参见本申请提供的图像处理方法实施例，在此不再赘述。在一些实施例中，服务器还可收集目标客户端中针对目标图像的用户反馈数据，基于用户反馈数据对该目标图像进行打分。这里，用户反馈数据包括该目标图像的点击率或目标图像的留存率等等，如此，结合用户反馈数据对图像进行打分，使得最终所得分值更合理化，提高了分值的准确度。对于目标图像的筛选过程参见本申请上述实施例，在此不再赘述。
步骤209，终端接收并展示分值达到分值阈值的目标图像。
在实际实施时，终端在接收到目标图像后，将该目标图像绑定至目标图像所对应的视频链接，将绑定有视频链接的目标图像展示在目标客户端的图形界面内，以供用户浏览点阅，从而为目标图像所对应的视频拉用户，实现有效的宣传。
本申请实施例中，通过基于对待处理图像进行目标对象检测得到的对象检测结果、及进行显著性检测得到的显著性检测结果，对待处理图像进行裁剪，从而保留了待处理图像中的人脸及显著性特征，然后基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像，实现了对图像的自动处理，提高了处理效率，且得到的目标图像中保留了原始的待处理图像中的有效信息，具有较强的适用性。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
在实际实施时，终端获取待处理视频，并获取用于图像裁剪的尺寸规格，示例性地，获取的尺寸规格可以是宽高比w’/h’。在一些实施例中，终端还获取用于指示图像样式的图像模板，并获取图像模板对应的图层信息。这里，图像模板用于指示对裁剪后的图像添加图层信息的图层位置，图层信息为待添加至裁剪后的图像中相应图层位置的图层，图像信息例如可以为一些商标(如logo)图层。
终端在获取到待处理视频、图像裁剪的尺寸规格、用于指示图像样式的图像模板、及图像模板对应的图层信息后，从待处理视频中抽取多帧图像，并分别对各帧图像进行图像处理。这里，终端将从待处理视频中抽取的图像作为待处理图像。首先，终端对待处理图像进行人脸检测，如多任务卷积神经网络(MTCNN，Multi-task Cascaded Convolutional Networks)模型进行人脸检测，得到相应的人脸检测结果。当人脸检测结果表征从待处理图像中检测到人脸时，从待处理图像中确定包含人脸的人脸区域。当检测到的人脸区域的数量为一个时，确定人脸区域的中心点，并基于人脸区域的中心点对待处理图像进行裁剪，也即将待处理图像裁剪为宽高比为w’/h’的图像。
需要说明的是，待处理图像的宽高分别为w和h，当待处理图像的宽高比w/h大于裁剪尺寸规格的宽高比w’/h’，终端则将人脸区域的中心点作为裁剪框的宽度中心，保持裁剪框的高度为h，对待处理图像进行裁剪，得到宽高比为w’/h’裁剪图像。这里，裁剪图像的高度为h，宽度为(w’h)/h’。
示例性地，终端首先对待处理图像进行人脸检测，得到该图像中的包含人脸的人脸区域。在实际实施时，通过对待处理图像中的人脸进行人脸框的标注来进行人脸区域的标注。这里，当终端进行人脸检测得到的人脸区域的数量为一个时，终端则直接基于该人脸区域的中心点对待处理图像进行裁剪，当待处理图像的宽高比w/h大于裁剪尺寸规格的宽高比w’/h’，终端通过上述方式对待处理图像进行裁剪后，得到相应的裁剪图像。
在一些实施例中，当待处理图像的宽高比小于裁剪尺寸规格的宽高比时，终端将人脸区域的中心点作为裁剪框高度的中心，保持裁剪框的宽度为w，对待处理图像进行裁剪，得到宽高比为w’/h’裁剪图像。这里，裁剪图像的宽度为w，高度为(wh’)/w’。
示例性地，待处理图像的宽高比w/h小于裁剪尺寸规格的宽高比w’/h’，终端通过上述方式对待处理图像进行裁剪后，得到相应的裁剪图像。
在一些实施例中，当待处理图像的宽高比等于裁剪尺寸规格的宽高比时，终端则不对待处理图像进行裁剪，直接对待处理图像进行图层信息的添加。
在一些实施例中，终端在对待处理图像进行人脸检测后，未在待处理图像中检测到人脸时，则对待处理图像进行显著性检测，得到包含显著性特征的显著区域。这里，显著性检测可以采用基于反向注意力机制的显著性检测算法。在检测到显著区域后，确定显著区域的中心点，基于显著区域的中心点对待处理图像进行裁剪，得到相应的裁剪图像。这里，对待处理图像的裁剪过程同上， 在此不再赘述。
在一些实施例中，终端在对待处理图像进行人脸检测后，若在待处理图像中检测到多张人脸，得到相应的人脸特征图，这里，人脸特征图中包含用于指示待处理图像中人脸的人脸框，人脸框的数量与待处理图像中人脸的数量相同。接着，终端基于膨胀系数，分别对各人脸框进行膨胀处理，得到相应的膨胀人脸框。接着，终端将相连通的膨胀人脸框进行合并，得到合并人脸框。应当理解的是，得到的合并人脸框的数量为至少一个，终端从至少一个合并人脸框中选取面积最大的合并人脸框，确定该面积最大的合并人脸框的中心点，并基于该中心点对待处理图像进行裁剪，得到相应的裁剪图像。
示例性地，这里，待处理图像中含有两张人脸，终端在对待处理图像进行人脸检测后，得到相应的人脸特征图，该人脸特征图中包含用于指示待处理图像中的人脸的人脸框，人脸框的数量为两个，接着，终端分别对人脸特征图中各人脸框进行膨胀处理，得到膨胀处理后的人脸特征图，这里，若膨胀处理后的两个人脸框相连通，终端则合并这两个膨胀处理后的人脸框，作为合并人脸框。然后，终端确定合并人脸框的中心点，基于合并人脸框的中心点对待处理图像进行裁剪，得到相应的裁剪图像。这里，对待处理图像的裁剪过程参见上述实施例，在此不再赘述。
在实际实施时，终端在对待处理图像进行裁剪得到裁剪图像后，可对裁剪图像进行清晰度检测，并对清晰度未达到清晰度阈值的裁剪图像进行过滤。这里，终端可以采用opencv的Laplacian算子对待处理图像进行过滤，清晰度阈值可根据实际需求而设置，例如可以设置为0.8。当裁剪图像的清晰度达到清晰度阈值时，终端对裁剪图像进行图层信息的添加，生成相应的目标图像，并将生成的目标图像用于宣传投放的海报图。这里，图像信息可以包括多个图层，例如为视频APP的logo图层，电视剧名图层，搜索框图层，搜索文字图层等。图层的类型包括固定图层和非固定图层。例如上述距离的几种图层中，视频APP的logo图层、搜索框图层和搜索文字图层等可以为预先设置的固定图层，而电视剧名图层则可以为预先设置的非固定图层。
当待添加的图层信息为固定图层时，获取预先设置的图像模板，基于图像模板确定对应裁剪图像中的图层位置，将固定图层添加至相应图层位置的裁剪图像中。应当理解的是，固定图层的图层位置是固定不变的，终端在对任意待处理图像进行图像处理时，均将固定图层添加至相同的图层位置上。
当待添加的图层信息为非固定图层时，终端获取预先设置的图像模板，基于图像模板确定对应裁剪图像中的可放置区域。示例性地，假设待添加的图层的尺寸为w1和h1，参见图13，图13是本申请实施例提供的图像模板的示意图。终端可以将第一固定图层直接添加至第一图层放置区域1301-1内，将第二固定图层直接添加至第一图层放置区域1301-2内。应当说明的是，第一图层放置区域1301-1与第一固定图层的宽高比相同，第一图层放置区域1301-2与第二固定图层的宽高比相同。这里，第一固定图层例如可以为搜索功能项图层，第二固定图层例如可以为标识图层。终端可以从第二图层放置区域1302-1内选取第一目标区域，将第一非固定图层添加至第一目标区域内，从第二图层放置 区域1302-2内选取第二目标区域，将第二非固定图层添加至第二目标区域内。这里，关于第一目标区域及第二目标区域的选取过程参见本申请上述实施例，在此不再赘述。
在实际实施时，终端在对待处理图像裁剪并添加图层信息，得到目标图像后，将目标图像发送至终端进行展示。具体地，终端还将目标图像与目标链接进行绑定，并发送至终端进行展示，当用户通过设置在终端内的目标客户端点击目标图像时，则自动跳转至目标链接。这里，目标连接可以为与待处理图像相对应的视频链接。
在一些场景中，得到的目标图像还可以应用于视频封面图横屏转竖屏这一场景中，目前大部分视频封面，专辑封面图仍然是横屏样式，而随着竖版视频的兴起，封面图也需要适应竖屏风格，此时，一张图同时适应横屏和竖屏要求，需要对图片内容进行主体裁剪。对于图文缩略图一般有固定尺寸，而用户上传的图片通常跟这个固定的尺寸比例不同，此时，缩略图只能显示图片的一部分。通过图片主体的选择，图文信息可以更有效地在缩略图中展示图片主要内容。在一些场景中，处理后的图像还用于广告投放，对图片截取出主体区域，增加各尺寸出图需要的其他设计元素(如搜索框，logo等)，即可完成海报图的制作，可以用于广告投放，用户拉新等。
本申请实施例中，通过基于对待处理图像进行目标对象检测得到的对象检测结果、及进行显著性检测得到的显著性检测结果，对待处理图像进行裁剪，从而保留了待处理图像中的人脸及显著性特征，然后基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像，实现了对图像的自动处理，提高了处理效率，且得到的目标图像中保留了原始的待处理图像中的有效信息，具有较强的适用性。
下面继续说明本申请实施例提供的图像处理装置14，参见图14，图14是本申请实施例提供的图像处理装置14的结构示意图，本申请实施例提供的图像处理装置14包括：
检测模块141，配置为对待处理图像进行目标对象检测得到对象检测结果，并对所述待处理图像进行图像显著性检测得到显著性检测结果；
裁剪模块142，配置为基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像；
获取模块143，配置为获取用于指示图像样式的图像模板，并获取所述图像模板对应的图层信息；
图层添加模块144，配置为基于所述图像模板，在所述剪裁图像中添加所述图层信息，得到与所述图像模板所指示的图像样式相对应的目标图像。
在一些实施例中，所述检测模块，还配置为对待处理图像进行人脸检测，确定所述待处理图像中包含人脸的第一区域，并对所述待处理图像进行图像显著性检测，确定所述待处理图像中包含显著性特征的第二区域。
在一些实施例中，所述裁剪模块，还配置为当所述待处理图像中包含所述第一区域时，基于所述第一区域确定第一剪裁中心点，基于所述第二区域确定 第二剪裁中心点，并基于所述第一剪裁中心点及所述第二剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像；当所述待处理图像中不包含所述第一区域时，基于所述第二区域确定第二剪裁中心点，并基于所述第二剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像。
在一些实施例中，所述裁剪模块，还配置为当所述第一区域的数量为至少两个时，分别对所述待处理图像中各所述第一区域进行膨胀处理，得到相应的第一膨胀区域；当至少两个所述第一膨胀区域存在区域交集时，确定存在区域交集的所述第一膨胀区域，将存在区域交集的所述第一膨胀区域进行合并，得到相应的膨胀合并区域；基于所述膨胀合并区域，确定所述第一剪裁中心点。
在一些实施例中，所述裁剪模块，还配置为当所述第一剪裁中心点位于所述第二区域外时，基于所述第一剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像；当所述第一剪裁中心点位于所述第二区域内时，基于所述第一剪裁中心点及所述第二剪裁中心点，确定相应的目标剪裁中心点，并基于所述目标剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像。
在一些实施例中，所述裁剪模块，还配置为获取所述目标图像对应的应用场景类型；基于所述应用场景类型，确定所述裁剪图像对应的图像大小；基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪，得到对应所述图像大小的裁剪图像。
在一些实施例中，所述获取模块，还配置为确定所述图像模板所指示的图像样式中的图层信息名称；基于所述图层信息名称，对所述待处理图像进行图层信息识别，得到对应所述图层信息名称的图层信息。
在一些实施例中，所述图像处理装置，还包括：过滤模块，配置为当所述剪裁图像的数量为多个时，获取对应所述目标图像的清晰度；基于所述清晰度对多个所述剪裁图像进行过滤，得到清晰度达到清晰度阈值的至少一个剪裁图像；所述图层添加模块，还配置为：基于所述图像模板，在清晰度达到清晰度阈值的剪裁图像中添加所述图层信息。
在一些实施例中，所述图层添加模块，还配置为当所述图层信息的类型为固定图层时，基于所述图像模板，确定所述待处理图像中的第一图层放置区域；在所述图层放置区域中添加所述图层信息；当所述图层信息的类型为非固定图层时，基于所述图像模板，确定所述待处理图像中的第二图层放置区域；确定所述第二图层放置区域中像素方差最小的目标区域；在所述目标区域中添加所述图层信息。
在一些实施例中，所述图层添加模块，还配置为当所述图层信息的类型为非固定图层时，基于所述图像模板，确定对应所述剪裁图像的第二图层放置区域；获取所述图层信息的图层尺寸，基于所述图层尺寸，从所述第二图层放置区域中选取像素方差最小的对应所述图层尺寸的目标区域；在所述目标区域中添加所述图层信息。
在一些实施例中，所述图层添加模块，还配置为当所述图层信息的类型为非固定图层时，基于所述图像模板，确定对应所述剪裁图像的第二图层放置区域；确定所述第二图层放置区域与所述第一区域之间的第一交集区域，并确定 所述第二图层放置区域与所述第二区域之间的第二交集区域，将所述第一交集区域与所述第二交集区域进行合并，得到相应的合并区域；获取所述图层信息的图层尺寸，基于所述图层尺寸，在所述第二图层放置区域内，选取与所述合并区域的交集最小的对应所述图层尺寸的目标区域；在所述目标区域中添加所述图层信息。
在一些实施例中，所述图像处理装置，还包括：图像筛选模块，配置为当所述目标图像的数量为至少两个时，针对各所述目标图像执行以下处理：当所述目标图像中包含人脸时，对所述人脸进行表情特征的提取，得到相应的人脸表情特征；基于所述人脸表情特征，对所述目标图像进行评分，得到相应的表情分值；当所述表情分值未达到表情分阈值时，删除相应的所述目标图像。
应用本申请上述实施例，通过对待处理图像进行目标对象检测得到的对象检测结果、及进行显著性检测得到的显著性检测结果，对待处理图像进行裁剪，从而保留了待处理图像中的人脸及显著性特征，然后基于图像模板，在剪裁图像中添加图层信息，得到与图像模板所指示的图像样式相对应的目标图像，实现了对图像的自动处理，提高了处理效率，且得到的目标图像中保留了原始的待处理图像中的有效信息，具有较强的适用性。
本申请实施例还提供一种计算机设备，参见图15，图15为本申请实施例提供的计算机设备500的结构示意图，在实际应用中，计算机设备可以为图1中的终端400或服务器200，以计算机设备为图1所示的终端400为例，对实施本申请实施例提供的图像处理方法的计算机设备进行说明，计算机设备包括：
存储器550，用于存储可执行指令；
处理器510，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像处理方法。
这里，处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中还可包括至少一个网络接口520和用户接口530。计算机设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为总线系统540。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产 品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的图像处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图2示出的图像处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper Text Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
综上所述，通过本申请实施例能够高效地生成适用性强的目标图像。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (16)

  1. 一种图像处理方法，所述方法由计算机设备执行，所述方法包括：
    对待处理图像进行目标对象检测得到对象检测结果，并对所述待处理图像进行图像显著性检测得到显著性检测结果；
    基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像；
    获取用于指示图像样式的图像模板，并获取所述图像模板对应的图层信息；
    基于所述图像模板，在所述剪裁图像中添加所述图层信息，得到与所述图像模板所指示的图像样式相对应的目标图像。
  2. 如权利要求1所述的方法，其中，所述对待处理图像进行目标对象检测得到对象检测结果，并对所述待处理图像进行图像显著性检测得到显著性检测结果，包括：
    对待处理图像进行人脸检测，确定所述待处理图像中包含人脸的第一区域，并对所述待处理图像进行图像显著性检测，确定所述待处理图像中包含显著性特征的第二区域。
  3. 如权利要求2所述的方法，其中，所述基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像，包括：
    当所述待处理图像中包含所述第一区域时，基于所述第一区域确定第一剪裁中心点，基于所述第二区域确定第二剪裁中心点，并基于所述第一剪裁中心点及所述第二剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像；
    当所述待处理图像中不包含所述第一区域时，基于所述第二区域确定第二剪裁中心点，并基于所述第二剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像。
  4. 如权利要求3所述的方法，其中，所述基于所述第一区域确定第一剪裁中心点，包括：
    当所述第一区域的数量为至少两个时，分别对所述待处理图像中各所述第一区域进行膨胀处理，得到相应的第一膨胀区域；
    当至少两个所述第一膨胀区域存在区域交集时，将存在区域交集的所述第一膨胀区域进行合并，得到相应的膨胀合并区域；
    基于所述膨胀合并区域，确定所述第一剪裁中心点。
  5. 如权利要求3所述的方法，其中，所述基于所述第一剪裁中心点及所述第二剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像，包括：
    当所述第一剪裁中心点位于所述第二区域外时，基于所述第一剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像；
    当所述第一剪裁中心点位于所述第二区域内时，基于所述第一剪裁中心点及所述第二剪裁中心点，确定相应的目标剪裁中心点，并基于所述目标剪裁中心点，对所述待处理图像进行裁剪得到相应的裁剪图像。
  6. 如权利要求2所述的方法，其中，所述基于所述图像模板，在所述剪裁图像中添加所述图层信息，包括：
    当所述图层信息的类型为非固定图层时，基于所述图像模板，确定对应所述剪裁图像的第二图层放置区域；
    确定所述第二图层放置区域与所述第一区域之间的第一交集区域，并确定所述第二图层放置区域与所述第二区域之间的第二交集区域，将所述第一交集区域与所述第二交集区域进行合并，得到相应的合并区域；
    获取所述图层信息的图层尺寸，基于所述图层尺寸，在所述第二图层放置区域内，选取与所述合并区域的交集最小的对应所述图层尺寸的目标区域；
    在所述目标区域中添加所述图层信息。
  7. 如权利要求1所述的方法，其中，所述基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像，包括：
    获取所述目标图像对应的应用场景类型；
    基于所述应用场景类型，确定所述裁剪图像对应的图像大小；
    基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪，得到对应所述图像大小的裁剪图像。
  8. 如权利要求1所述的方法，其中，所述获取所述图像模板对应的图层信息，包括：
    确定所述图像模板所指示的图像样式中的图层信息名称；
    基于所述图层信息名称，对所述待处理图像进行图层信息识别，得到对应所述图层信息名称的图层信息。
  9. 如权利要求1所述的方法，其中，所述基于所述图像模板，在所述剪裁图像中添加所述图层信息之前，所述方法还包括：
    当所述剪裁图像的数量为至少两个时，获取对应所述目标图像的清晰度；
    基于所述清晰度对至少两个所述剪裁图像进行过滤，得到清晰度达到清晰度阈值的至少一个剪裁图像；
    所述基于所述图像模板，在所述剪裁图像中添加所述图层信息，包括：
    基于所述图像模板，在清晰度达到清晰度阈值的剪裁图像中添加所述图层信息。
  10. 如权利要求1所述的方法，其中，所述基于所述图像模板，在所述剪裁图像中添加所述图层信息，包括：
    当所述图层信息的类型为固定图层时，基于所述图像模板，确定对应所述剪裁图像的第一图层放置区域；
    在所述第一图层放置区域中添加所述图层信息。
  11. 如权利要求1所述的方法，其中，所述基于所述图像模板，在所述剪裁图像中添加所述图层信息，包括：
    当所述图层信息的类型为非固定图层时，基于所述图像模板，确定对应所述剪裁图像的第二图层放置区域；
    获取所述图层信息的图层尺寸及第二图层放置区域中各区域的像素方差，基于所述图层尺寸，从所述第二图层放置区域中，选取像素方差最小的对应所述图层尺寸的目标区域；
    在所述目标区域中添加所述图层信息。
  12. 如权利要求1所述的方法，其中，所述方法还包括：
    当所述目标图像的数量为至少两个时，针对各所述目标图像执行以下处理：
    当所述目标图像中包含人脸时，对所述人脸进行表情特征的提取，得到相应的人脸表情特征；
    基于所述人脸表情特征，对所述目标图像进行评分，得到相应的表情分值；
    当所述表情分值未达到表情分阈值时，删除相应的所述目标图像。
  13. 一种图像处理装置，包括：
    检测模块，配置为对待处理图像进行目标对象检测得到对象检测结果，并对所述待处理图像进行图像显著性检测得到显著性检测结果；
    裁剪模块，配置为基于所述对象检测结果及所述显著性检测结果，对所述待处理图像进行裁剪得到相应的裁剪图像；
    获取模块，配置为获取用于指示图像样式的图像模板，并获取所述图像模板对应的图层信息；
    图层添加模块，配置为基于所述图像模板，在所述剪裁图像中添加所述图层信息，得到与所述图像模板所指示的图像样式相对应的目标图像。
  14. 一种计算机设备，包括：
    存储器，用于存储可执行指令；
    处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的图像处理方法。
  15. 一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现权利要求1至12任一项所述的图像处理方法。
  16. 一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时，实现权利要求1至12任一项所述的图像处理方法。
PCT/CN2022/080696 2021-03-19 2022-03-14 图像处理方法、装置、计算机设备、存储介质及程序产品 WO2022194102A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/993,848 US20230091549A1 (en) 2021-03-19 2022-11-23 Image processing method and apparatus, computer device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110296922.1A CN113709386A (zh) 2021-03-19 2021-03-19 图像处理方法、装置、计算机设备及计算机可读存储介质
CN202110296922.1 2021-03-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/993,848 Continuation US20230091549A1 (en) 2021-03-19 2022-11-23 Image processing method and apparatus, computer device, and storage medium

Publications (1)

Publication Number Publication Date
WO2022194102A1 true WO2022194102A1 (zh) 2022-09-22

Family

ID=78647834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/080696 WO2022194102A1 (zh) 2021-03-19 2022-03-14 图像处理方法、装置、计算机设备、存储介质及程序产品

Country Status (3)

Country Link
US (1) US20230091549A1 (zh)
CN (1) CN113709386A (zh)
WO (1) WO2022194102A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709386A (zh) * 2021-03-19 2021-11-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质
CN113763242A (zh) * 2021-05-17 2021-12-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置及计算机可读存储介质
CN114092495B (zh) * 2021-11-29 2023-01-31 阿里巴巴（中国）有限公司 图像展示方法、电子设备、存储介质
CN114257762A (zh) * 2021-12-20 2022-03-29 咪咕音乐有限公司 视频转换方法、装置、设备及存储介质
CN117649419A (zh) * 2022-08-10 2024-03-05 北京小米移动软件有限公司 图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363984B1 (en) * 2010-07-13 2013-01-29 Google Inc. Method and system for automatically cropping images
CN110349082A (zh) * 2019-06-28 2019-10-18 腾讯科技（深圳）有限公司 图像区域的裁剪方法和装置、存储介质及电子装置
CN111626126A (zh) * 2020-04-26 2020-09-04 腾讯科技（北京）有限公司 一种人脸情绪识别的方法、装置、介质及电子设备
CN111768470A (zh) * 2019-06-20 2020-10-13 北京京东尚科信息技术有限公司 图片生成方法、装置、计算机设备及计算机可读存储介质
CN112330532A (zh) * 2020-11-12 2021-02-05 上海枫河软件科技有限公司 图像解析处理方法及设备
CN113709386A (zh) * 2021-03-19 2021-11-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363984B1 (en) * 2010-07-13 2013-01-29 Google Inc. Method and system for automatically cropping images
CN111768470A (zh) * 2019-06-20 2020-10-13 北京京东尚科信息技术有限公司 图片生成方法、装置、计算机设备及计算机可读存储介质
CN110349082A (zh) * 2019-06-28 2019-10-18 腾讯科技（深圳）有限公司 图像区域的裁剪方法和装置、存储介质及电子装置
CN111626126A (zh) * 2020-04-26 2020-09-04 腾讯科技（北京）有限公司 一种人脸情绪识别的方法、装置、介质及电子设备
CN112330532A (zh) * 2020-11-12 2021-02-05 上海枫河软件科技有限公司 图像解析处理方法及设备
CN113709386A (zh) * 2021-03-19 2021-11-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20230091549A1 (en) 2023-03-23
CN113709386A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
WO2022194102A1 (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
US20210103779A1 (en) Mobile image search system
US20180046855A1 (en) Face detection and recognition
US10742340B2 (en) System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US20160292494A1 (en) Face detection and recognition
EP3069301A1 (en) Face detection and recognition
Rahman et al. A framework for fast automatic image cropping based on deep saliency map detection and gaussian filter
US11334768B1 (en) Ephemeral content management
CN110832583A (zh) 用于从多个图像帧生成概要故事板的系统和方法
US10276213B2 (en) Automatic and intelligent video sorting
CN103988202A (zh) 基于索引和搜索的图像吸引力
US10878024B2 (en) Dynamic thumbnails
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
US20230162466A1 (en) Method and computer system for displaying identification result
US10867119B1 (en) Thumbnail image generation
US20220148299A1 (en) Image extension neural networks
CN113160231A (zh) 一种样本生成方法、样本生成装置及电子设备
US20230095856A1 (en) Generating videos
CN112162672A (zh) 信息流的显示处理方法、装置、电子设备及存储介质
CN111491209A (zh) 视频封面确定方法、装置、电子设备和存储介质
EP3564833B1 (en) Method and device for identifying main picture in web page
Zhang Algorithmic photography: A case study of the Huawei moon mode controversy
Lee et al. Implementation of age and gender recognition system for intelligent digital signage
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
CN113407696A (zh) 收集表处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770457

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE