WO2020010974A1 - 图像处理方法、装置、计算机可读介质及电子设备 - Google Patents

图像处理方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
WO2020010974A1
WO2020010974A1 PCT/CN2019/090397 CN2019090397W WO2020010974A1 WO 2020010974 A1 WO2020010974 A1 WO 2020010974A1 CN 2019090397 W CN2019090397 W CN 2019090397W WO 2020010974 A1 WO2020010974 A1 WO 2020010974A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processed
frame
target
scaling
Prior art date
Application number
PCT/CN2019/090397
Other languages
English (en)
French (fr)
Inventor
余乐
刘能
朱辉颖
华有为
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2020010974A1 publication Critical patent/WO2020010974A1/zh
Priority to US16/996,145 priority Critical patent/US11282182B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请的实施例提供了一种图像处理方法、装置、计算机可读介质及电子设备。该图像处理方法包括：获取待处理图像；确定所述待处理图像中的待处理对象，其中所述待处理对象包括人脸、动物面部或卡通人物面部的至少一种；选择应用于所述待处理图像的目标动图；根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象；将所述多帧处理后图像合成为动态图像

Description

图像处理方法、装置、计算机可读介质及电子设备
本申请要求于2018年7月12日提交中国专利局、申请号为201810763192.X、发明名称为“图像处理方法、装置、计算机可读介质及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机与通信技术领域，具体而言，涉及一种图像处理方法、装置、计算机可读介质及电子设备。
发明背景
如今，使用终端设备的摄像头进行拍照已成为用户的常见娱乐方式。在现有的终端设备中，摄像头拍照功能也越来越多，例如自拍、全景拍摄等，但这些功能还不能够给用户带来足够的趣味性。
因此，需要一种新的图像处理方法、装置、计算机可读介质及电子设备。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上克服相关技术中存在的图像趣味性不够的问题。
根据本申请实施例的一方面，提供了一种图像处理方法，由电子设备执行，包括：获取待处理图像；确定所述待处理图像中的待处理对象，其中所述待处理对象包括人脸、动物面部或卡通人物面部的至少一种；选择应用于所述待处理图像的目标动图；根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象；将所述多帧处理后图像合成为动态图像。
根据本发明实施例的一方面，提供了一种图像处理装置，包括：待处理图像获取模块，配置为获取待处理图像；待处理对象确定模块，配置为确定所述待处理图像中的待处理对象；目标动图选择模块，配置为选择应用于所述待处理图像的目标 动图；图像处理模块，配置为根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象；图像合成模块，配置为将所述多帧处理后图像合成为动态图像。
根据本发明实施例的一方面，提供了一种计算机可读介质，存有处理器可执行指令，所述指令由一个或一个以上处理器执行时，实现如上述实施例中所述的图像处理方法。
根据本发明实施例的一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。
附图简要说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；
图2示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本申请的一实施例的图像处理方法的流程图；
图4示意性示出了图3中所示的步骤S320的一种实现过程的流程图；
图5示意性示出了图3中所示的步骤S340的一种实现过程的流程图；
图6示意性示出了图5中所示的步骤S342的一种实现过程的流程图；
图7示意性示出了图3中所示的步骤S340的另一种实现过程的流程图；
图8示意性示出了图3中所示的步骤S340的又一种实现过程的流程图；
图9示意性示出了根据本申请的另一实施例的图像处理方法的流程图；
图10示意性示出了根据本申请的又一实施例的图像处理方法的流程图；
图11示意性示出了根据本申请的再一实施例的图像处理方法的流程图；
图12示意性示出了根据本申请的一实施例的图像处理方法的显示效果示意图；
图13示意性示出了根据本申请的另一实施例的图像处理装置的框图；
图14示意性示出了图13中所示的图像处理模块1340的一实施例的框图；
图15示意性示出了根据本申请的另一实施例的图像处理装置的框图。
实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组件、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器设备105。网络104用以在终端设备101、102、103和服务器设备105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器设备。比如服务器设备 105可以是多个服务器设备组成的服务器设备集群等。
用户可以使用终端设备101、102、103通过网络104与服务器设备105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机、智能聊天机器人等等。
服务器设备105可以是提供各种服务的服务器设备。例如用户利用终端设备103(也可以是终端设备101或102)向服务器设备105发送图像处理请求。服务器设备105可以基于该图像处理请求中携带的待处理图像及该待处理图像中的待处理对象和用户选定的目标动图，对所述待处理图像进行处理，生成多帧处理后图像，并将所述多帧处理后图像合成为动态图像，并将合成的动态图像发送给终端设备103，进而用户可以基于终端设备103上显示的内容确定不同实体之间的关系预览该合成后的动态图像。其中所述多帧处理后图像指的是处理后的多帧图像，换言之，也可以理解为，包含多帧图像的处理后图像。
图2示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本申请的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和/或装置中限定的各种功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。本申请提供的存储介质，存有处理器可执行指令，所述指令由一个或一个以上处理器执行时，实现如图3-4,6-7,8-9,10-11中任一的图像处理方法。并且，在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发 生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块和/或子模块和/或单元和/或子单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块和/或子模块和/或单元和/或子单元也可以设置在处理器中。其中，这些模块和/或子模块和/或单元和/或子单元的名称在某种情况下并不构成对该模块和/或子模块和/或单元和/或子单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3或图4或图6或图7或图8或图9或图10或图11所示的各个步骤。
图3示意性示出了根据本申请的一实施例的由电子设备执行的图像处理方法的流程图。
如图3所示，本申请实施方式提供的图像处理方法可以包括以下步骤。
在步骤S310中，获取待处理图像。
在示例性实施例中，所述获取待处理图像，可以包括：响应于针对图像列表的操作，确定所述待处理图像。
例如，所述图像列表可以是用户的移动终端上本地存储的照片列表。再例如，所述图像列表还可以是用户通过网络搜索到的远程服务器设备上存储的照片列表或者图片列表。本申请对此不作限定。
在步骤S320中，确定所述待处理图像中的待处理对象，其中所述待处理对象包括人脸、动物面部或卡通人物面部的至少一种。
例如，所述待处理对象可以为所述待处理图像中的人脸。再例如，所述待处理对象也可以为所述待处理图像中的猫、狗等动物中的任意一种或者多种。在下面的 实施例中，均以所述待处理对象为人脸为例进行说明，但本申请并不限定于此。
在步骤S330中，选择应用于所述待处理图像的目标动图。
在示例性实施例中，所述方法还可以包括：预先存储至少一个动图模板。每个动图模板根据设计师想要达到的视觉效果，可以设计和配置各种参数，例如合成的动态图像包括的图像总帧数、动态图像中的每一帧图像是否进行旋转，以及如果设置为旋转，则可以进一步设置旋转总角度等。
在一些实施例中，可以由用户选择所述至少一个动图模板中的一个或者多个作为所述待处理图像的目标动图。在另一些实施例中，也可以由系统识别所述待处理对象的表情，根据表情检测结果自动推荐相应的动图模板作为所述目标动图。
在步骤S340中，根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象。
本申请实施例中，可以根据所述目标动图对所述待处理图像进行相应的处理，例如，可以通过对所述待处理图像进行缩放、对待处理图像中的待处理对象进行平移、对所述待处理图像进行旋转、根据设置的指定大小对每一帧图像进行裁剪等操作后生成所述多帧处理后图像中的每一帧图像。
本申请实施例中，若所述目标动图对所述待处理对象进行逐帧放大，则待处理对象例如人脸放大的时候，所述待处理图像的背景可以随着人脸等比例放大。但本申请并不限定于此。
本申请实施例中，若所述目标动图对所述待处理对象进行平移和/或旋转等变换操作，则这些平移和/或旋转等变换操作也可以是对整个待处理图像进行处理。但本申请并不限定于此。
在步骤S350中，将所述多帧处理后图像合成为动态图像。
需要说明的是，本申请实施方式提供的上述图像处理方法中的各个步骤可以由终端设备(例如上述图1中的终端设备101、102、103)执行，也可以由服务器设备(例如上述图1中的服务器设备105)执行，或者，还可以部分由终端设备执行，部分由服务器设备执行，终端设备和服务器设备之间可以通过网络连接进行交互。 本申请对此不作限定，可以根据实际的应用场景进行选择和调整。
本申请实施方式提供的图像处理方法，通过获取待处理图像并确定所述待处理图像中的待处理对象以及应用于所述待处理图像的目标动图；然后根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象；接着将所述多帧处理后图像合成为动态图像，从而可以增加待处理图像的趣味性，提升用户体验，增加用户对社交平台的粘性。
图4示意性示出了图3中所示的步骤S320的一种实现过程的流程图。
如图4所示，本申请实施方式中，上述步骤S320可以进一步包括以下步骤。
在步骤S321中，识别所述待处理图像中的对象，获得所述待处理图像中的对象数量。
本申请实施例以所述对象为人脸为例进行说明，可以通过人脸识别算法检测获得所述待处理图像中的全部人脸，并由此确定所述待处理图像中的人脸数量。
在步骤S322中，判断所述对象数量是否等于一；如果所述对象数量等于一，则进入步骤S323；反之，跳转到步骤S324。
本申请实施例中，判断所述人脸数量是否等于一。
在步骤S323中，若所述对象数量等于一，则将所述待处理图像中的对象作为所述待处理对象。
本申请实施例中，若所述待处理图像中的人脸数量为一，则可以直接将所述待处理图像中的人脸作为待处理人脸。
在步骤S324中，继续判断所述对象数量是否大于一；若所述对象数量大于一，则进入步骤S325；反之，跳转到步骤S326。
本申请实施例中，可以进一步判断所述待处理图像中的人脸数量是否大于一。
在步骤S325中，若所述对象数量大于一，则响应于针对所述待处理图像的操作，确定所述待处理对象。
本申请实施例中，若所述待处理图像中的人脸数量大于一，则可以向用户发出提示信息，提示用户从所述待处理图像中的两个或者两个以上人脸中选择其中的至 少一个人脸作为所述待处理人脸。
需要说明的是，当所述待处理图像中的人脸数量大于一时，并不限定用户只可以从中选择一个人脸作为待处理人脸，可以根据用户喜好，确定所述待处理图像中的多个人脸中的一个或者多个人脸作为所述待处理人脸。本申请对此不作限定。在下面的实施例中，均以选择一个人脸作为待处理人脸为例进行说明。
在步骤S326中，发送提示所述待处理图像中不存在所述对象的信息。
本申请实施例中，若检测到所述待处理图像中不存在人脸，则可以向用户发送提示信息，提示用户所述待处理图像中不存在人脸，从而结束本次操作。
图5示意性示出了图3中所示的步骤S340的一种实现过程的流程图。
如图5所示，本申请实施方式提供的上述步骤S340可以进一步包括以下步骤。
在步骤S341中，根据所述待处理对象的原始尺寸和所述待处理图像的原始尺寸确定所述多帧处理后图像的最大缩放比例。
本申请实施例中，若用户选定的目标动图中存在缩放处理，则可以根据待处理人脸的原始尺寸和所述待处理图像的原始尺寸确定所述多帧处理后图像的总的最大缩放比例。
例如，通过人脸检测，可以得到所述待处理图像中的待处理人脸的原始大小，假设待处理人脸的原始大小的宽和高分别记为fWidth和fHeight，所述待处理图像的原始大小的宽和高分别记为pWidth和pHeight，则所述待处理人脸的最大缩放比例scaleMax可以通过以下公式计算：
scaleMax＝min(pWidth/fWidth，pHeight/fHeight)-k    (1)
上述公式(1)中，min为取最小值操作；k为预设常数。例如，k的默认值可以设置为0.2，但本申请并不限定于此，后台服务器设备可以动态下发配置修改。K的具体取值是与设计师想要的视觉效果有关。
在步骤S342中，根据所述目标动图的缩放模式和总帧数以及所述最大缩放比例，确定所述多帧处理后图像中每一帧的实际缩放比例。
本申请实施例中，所述缩放模式可以包括均速缩放模式、变速缩放模式等中的 任意一种。
其中，所述均速缩放模式是指合成后的动态图像中的每一帧图像的缩放比例大小相同。所述变速缩放模式是指合成后的动态图像中的每一帧图像的缩放比例大小不完全相同，例如，每一帧图像的缩放比例可以呈等比例递增或者递减。
图6示意性示出了图5中所示的步骤S342的一种实现过程的流程图。
如图6所示，这里以所述缩放模式为匀速缩放模式为例进行说明，本发明实施方式提供的上述步骤S342可以进一步包括以下步骤。
在步骤S3421中，根据所述最大缩放比例和所述目标动图的总帧数，确定所述总帧数中的每一帧的缩放比例。
例如，假设所述目标动图中预先设置的总帧数为M，其中M为大于等于2的正整数。在所述缩放模式为匀速缩放模式的情况下，则可以通过以下公式计算获得所述总帧数中的每一帧的缩放比例scaleframe：
scaleframe＝scaleMax/M       (2)
在步骤S3422中，判断所述目标动图的总帧数中的每一帧的缩放比例是否小于缩放阈值s；若小于所述缩放阈值s，则进入步骤S3423；反之，则跳转到步骤S3424。
本申请实施例中，判断所述目标动图的总帧数中的每一帧的缩放比例scaleframe是否小于预先设置的缩放阈值s。若每一帧的缩放比例scaleframe小于缩放阈值s，则可以对最终合成的动态图像中的图像的帧数Ftotal及每一帧的实际缩放比例scaleframe’进行相应的调整。若每一帧的缩放比例scaleframe不小于缩放阈值s，则可以直接将所述目标动图的总帧数M作为所述最终合成的动态图像中的图像的帧数Ftotal(这里是指不考虑动态图像中添加文字的情况，详见下文的描述)。
本申请实施例中，s默认值可以设置为1.1，但本申请并不限定于此，s的取值与设计师想要的视觉效果有关。
在步骤S3423中，若所述目标动图的总帧数中的每一帧的缩放比例小于所述缩放阈值s，则减少所述目标动图的总帧数至所述多帧处理后图像中每一帧的实际缩放比例不小于所述缩放阈值s。
在步骤S3424中，若所述目标动图的总帧数中的每一帧的缩放比例不小于所述缩放阈值s，则所述目标动图的总帧数等于所述多帧处理后图像中的帧数。
本申请实施例中，首先根据所述目标动图的总帧数M计算每一帧的缩放比例scaleframe，如果每一帧的缩放比例scaleframe小于缩放阈值s，则减少总帧数M至每一帧的实际缩放比例scaleframe’不小于缩放阈值s，此时的帧数即为人脸动态图像的帧数，记为Ftotal；反之人脸动态图像的帧数等于所述目标动图的总帧数M。
需要说明的是，在均速缩放模式下，动态图像中的每一帧的实际缩放比例scaleframe’是相等的；在变速缩放模式下，动态图像中的每一帧的缩放比例scaleframe’是可以不相等的，每帧图像的实际缩放比例scaleframe’可以使用与目标动图中相同的缩放比例scaleframe，此时每一帧的实际缩放比例scaleframe’可以不受缩放阈值s的限制，但不管是何种缩放模式，动态图像中的所有帧的实际缩放比例scaleframe’之和不超过最大缩放比例scaleMax。
图7示意性示出了图3中所示的步骤S340的另一种实现过程的流程图。
如图7所示，本申请实施方式提供的上述步骤S340可以进一步包括以下步骤。
在步骤S343中，根据所述待处理对象的原始位置和所述待处理图像中的目标位置，确定所述待处理对象的移动总距离。
本申请实施例中，通过人脸识别算法，可以确定所述待处理图像中的待处理对象的原始位置。这里以待处理人脸的中心位置(x1，y1)作为所述待处理对象的原始位置，但本申请并不限定于此。
本申请实施例中，所述待处理图像中的目标位置可以根据所述目标动图的配置信息确定，在下面的实施例中，以所述目标位置为所述待处理图像的中心位置(x2，y2)为例进行说明，即通过逐帧的移动，将待处理人脸最终移动至图像的中心位置。但本申请并不限定于此，具体的目标位置可以根据实际想要达到的视觉效果进行配置。
其中，可以通过以下公式确定所述待处理对象的移动总距离Dtotal：
Figure PCTCN2019090397-appb-000001
在步骤S344中，根据所述目标动图的移动模式、所述多帧处理后图像中每一帧的实际缩放比例以及所述移动总距离，确定所述多帧处理后图像中每一帧的移动距离。
在示例性实施例中，所述移动模式可以包括直线匀速移动模式、直线变速移动模式、曲线匀速移动模式、曲线变速移动模式等中的任意一种或者多种。
其中，所述直线匀速移动模式是指动态图像中的每一帧图像的待处理人脸往图像中心按照直线轨迹移动且每一帧图像的移动距离相同。所述直线变速移动模式是指动态图像中的每一帧图像的待处理人脸往图像中心按照直线轨迹移动且每一帧图像的移动距离不完全相同，例如移动距离可以逐帧递增或者递减。所述曲线匀速移动模式是指动态图像中的每一帧图像的待处理人脸往图像中心按照曲线轨迹移动且每一帧图像的移动距离相同，所述曲线轨迹例如可以为波浪形、半圆形、扇形等任意一种合适的形状。所述曲线变速移动模式是指动态图像中的每一帧图像的待处理人脸往图像中心按照曲线轨迹移动且每一帧图像的移动距离不完全相同。
以所述移动模式为直线匀速移动模式为例进行说明，在不考虑每一帧的实际缩放比例的前提下，可以通过以下公式计算获得所述多帧处理后图像中每一帧的移动距离dframe：
dframe＝Dtotal/Ftotal      (4)
需要说明的是，在实际情况中，如果所述目标动图对每一帧图像进行了缩放操作，则在计算每一帧图像的移动距离时，还需要考虑每一帧的实际缩放比例，对其移动距离进行适当的调整。
图8示意性示出了图3中所示的步骤S340的又一种实现过程的流程图。
如图8所示，本申请实施方式提供的上述步骤S340可以进一步包括以下步骤。
在步骤S345中，根据所述目标动图的总旋转角度Rtotal确定所述多帧处理后图像中每一帧的旋转角度angrot。
本申请实施例中，若所述目标动图中设置了旋转模式，例如所述旋转模式可以 包括匀速旋转模式、变速旋转模式等中的任意一种。其中，所述均速旋转模式是指动态图像中的每一帧图像的旋转角度相同，所述变速旋转模式是指动态图像中的每一帧图像的旋转角度不完全相同，例如旋转角度逐帧递增或者递减。
这里以所述旋转模式为均速旋转模式为例，可以通过以下公式计算获得每一帧图像的旋转角度angrot：
angrot＝Rtotal/Ftotal       (5)
需要说明的是，所述目标动图可以设置为仅包括缩放模式、移动模式、旋转模式等中的任意一种，也可以设置为包括其中的两种或者两种以上。
此外，上述实施例中均是在动态图像中不包括文字适配的图像的情况下的描述。
图9示意性示出了根据本申请的另一实施例的图像处理方法的流程图。
如图9所示，本申请实施方式提供的图像处理方法可以包括以下步骤。
在步骤S910中，获取待处理图像。
在步骤S920中，确定所述待处理图像中的待处理对象，其中所述待处理对象包括人脸、动物面部或卡通人物面部的至少一种。
在步骤S930中，选择应用于所述待处理图像的目标动图。
在步骤S940中，根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象。
上述步骤S910至S940可以参考上述图3所示实施例中的步骤S310至S340，在此不再详述。
在步骤S950中，基于所述多帧处理后图像中的至少一帧，获得所述待处理对象的表情检测结果。
本申请实施例中，可以基于上述多帧处理后图像中的最后一帧即第Ftotal帧进行待处理人脸的表情识别，获得表情检测结果。但本申请不限定于此，其可以根据所述多帧处理后图像中的任意一帧或者多帧或者所述待处理图像进行表情识别。从而可以进一步获得所述待处理人脸的表情检测结果，匹配合适的文字。
在示例性实施例中，所述选择应用于所述待处理图像的目标动图可以包括：响 应于针对所述目标动图的操作，确定应用于所述待处理图像的目标动图；或者根据所述表情检测结果推荐应用于所述待处理图像的目标动图。
例如，可以根据用户的选择操作，确定目标模板中的一个或者多个作为所述目标动图。
再例如，若系统识别所述待处理人脸的表情是一个大笑脸，则自动匹配表达心情很愉悦的动图模板作为所述目标动图；或者，若系统识别所述待处理人脸是一个哭泣的表情，则可以自动匹配表达心情很糟糕的动图模板作为所述目标动图。
在步骤S960中，根据所述表情检测结果添加相应文字至所述多帧处理后图像中的至少一帧，生成至少一帧包括相应文字的处理后图像(假设为L帧，其中L为大于等于1的正整数)。
本申请实施例中，系统会根据检测到的待处理人脸的表情，自动适配相应的文字，例如，如果所述待处理人脸的表情识别为不开心，可能适配的文字为：蓝瘦，香菇。当然，在其他实施例中，也可以由用户手动输入其想要添加的文字至图像中。
本申请实施例中，可以将适配的相应文字添加至所述多帧处理后图像中的最后一帧即第Ftotal帧，但本申请并不限定于此，将文字添加至哪一帧或者哪几帧可以由目标动图设定或者用户设置。
在步骤S970中，将所述多帧处理后图像和所述至少一帧包括相应文字的处理后图像合成为所述动态图像。
本申请实施例中，将上述步骤S940和步骤S960中生成的Ftotal帧处理后图像和L帧图像合成一张动态图像，如GIF，最终的动态图像可以包括Ftotal+L帧。
在示例性实施例中，所述目标动图为至少一个。
在示例性实施例中，所述根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，可以包括：若所述目标动图为多个，则可以根据所述多个目标动图分别对所述待处理图像进行处理，分别生成多帧处理后图像。其中，所述将所述多帧处理后图像合成为动态图像可以包括：分别将根据各目标动图生成的多帧处理后图像合成为动态图像；顺序拼接根据各目标动图合成的动态图像。这样，可以根 据多个目标动图分别对待处理人脸进行相应的处理，并分别合成相应的动态图像，最后将各动态图像进行顺序拼接，形成一个更长的动态图像，可以进一步增加动态图像的趣味性。
在示例性实施例中，所述方法还可以包括：响应于选择操作，将生成的所述动态图像发表至选定的社交平台。
例如，用户可选择将S970中生成的动态图像发表到QQ空间与好友分享。
在示例性实施例中，所述方法还可以包括：合成所述动态图像后，可预览合成后的所述动态图像。
在示例性实施例中，所述方法还可以包括：响应于用户的选择保存操作，保存所述动态图像到终端设备和/或服务器设备的指定目录，并提示用户跳转到相应社交平台的发表页。
需要说明的是，往图像中适配相应文字不一定限于采用表情识别方式，还可以采用其他任意适合的方式添加。
图10示意性示出了根据本申请的又一实施例的图像处理方法的流程图。
如图10所示，本申请实施方式提供的图像处理方法与上述图3和图9所示的实施例相比，还可以包括以下步骤。
在步骤S1010中，对所述待处理图像进行清晰度评价，获取评价结果。
在示例性实施例中，所述对所述待处理图像进行清晰度评价，可以包括：采用无参考图片质量评估算法对所述待处理图像进行清晰度评价。
在无参考图像的质量评价中，图像的清晰度是衡量图像质量优劣的重要指标，它能够较好的与人的主观感受相对应，图像的清晰度不高表现出图像的模糊。针对无参考图像质量评价应用，可以根据待处理图像的情况选择合适的算法进行评价。
例如，可以采用Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数、灰度方差乘积函数、方差函数、能量梯度函数、Vollath函数等中的任意一种。
在步骤S1020中，根据所述评价结果优化所述待处理图像的清晰度。
在示例性实施例中，所述根据所述评价结果优化所述待处理图像的清晰度，可 以包括：采用基于深度学习的超分辨率技术优化所述待处理图像的清晰度。
其中，基于深度学习的超分辨率技术利用深度学习，可以把低分辨率图像转为高分辨率图像。它的效果能达到甚至超过现在的超分辨率解决方案，同时速度提升大约十至一百倍，且能够在普通的移动设备上运行。而且，可以避免产生混叠效应(aliasing artifacts)。本申请实施例中，图像的清晰度优化选用一种基于深度学习的超分辨率技术，以保证动态图像中的每一帧都有比较高的清晰度。
在其他实施例中，还可以采用其他的方式进行清晰度优化，例如可以通过升采样方式，把低分辨率图像重建为尺寸更大、像素更多、更高画质图像的技术。例如升采样方式可以是线性方法，即通过把已知的像素值进行简单、固定的组合，以添加新的像素值。因为使用固定的线性过滤器(一个恒定卷积核对整个图片的无差别处理)，该方法速度很快。
需要说明的是，本申请实施例中可以只对待处理图像进行清晰度优化。但在其他实施例中，也可以首先获得动态图像中的每一帧，然后对每一帧图像分别进行清晰度优化。
图11示意性示出了根据本申请的再一实施例的图像处理方法的流程图。这里以默认动图模板为例说明上述实施例提供的图像处理方法的具体流程，其中默认动图模板可以为人脸沿直线轨迹向图像中心匀速移动，且匀速逐帧放大，无旋转等其他特效。
如图11所示，本申请实施方式提供的图像处理方法可以包括以下步骤。
在步骤S1101中，入口。
在步骤S1102中，用户选择一张照片。
本申请实施例中，为了使用人脸照片生成一张趣味动态图像，可以通过“人脸趣味动图”入口进入照片列表并选择一张含有照片。
在步骤S1103中，人脸检测。
本申请实施例中，确认所选择的照片之后，系统自动识别所选择的照片中的人脸尺寸、位置及数量。
具体的，可以采用任意一种人脸识别(Facial Recognition)算法进行人脸检测，例如：基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法等。
其中，作为人脸识别的第一步，人脸检测所进行的工作是将人脸从图像背景中检测出来。检测是判断一幅图像中是否存在人脸，定位则是给出人脸在图像中的位置。定位后得到的脸部图像信息是测量空间的模式，要进行识别工作，首先要将测量空间中的数据映射到特征空间中。例如可以采用主分量分析方法，原理是将一高维向量，通过一个特殊的特征向量矩阵，投影到一个低维的向量空间中，表征为一个低维向量，并且仅仅损失一些次要信息。通过对经过检测和定位过的人脸图像进行特征提取操作可以达到降低图像维数，从而可以减小识别计算量，提高识别精度的作用。
在步骤S1104中，判断该照片中检测到的人脸个数是否大于等于1；若该照片中检测到的人脸个数大于等于1，进入步骤S1105；若该照片中检测到的人脸个数小于1，则跳转到步骤S1121。
在步骤S1105中，继续判断该照片中检测到的人脸个数是否大于1；若该照片中检测到的人脸个数大于1，则进入步骤S1106；若该照片中检测到的人脸个数等于1，则跳转到步骤S1107。
在步骤S1106中，让用户选择其中一个。
本申请实施例中，如果在所选择的照片中检测到多个人脸，可以让用户选择一个想要用来生成动态图像的人脸作为待处理人脸。
在步骤S1107中，选择一个动图模板作为目标动图。
本申请实施例中，可以让用户选择一个动图模板作为所述目标动图，目标动图将影响合成后的动态图像中的每一帧人脸的放大倍数、是否均速移动、向图像中心的移动轨迹(直线或曲线)、旋转角度(为0表示不旋转，360表示Ftotal帧一共旋转360度)等。
例如，最后的动态图像效果可以是：人脸是逐步放大的，人脸中心沿着直线往 图像中心均速移动；或者，人脸中心还可以是沿着曲线不均速向图像中心移动，还可以在向图像中心移动的过程中对图像进行旋转。
在步骤S1108中，根据人脸大小及所选动图模板计算放大总倍数。
在步骤S1109中，清晰度评估。
在步骤S1110中，判断是否需要进行清晰度优化；若需要进行清晰度优化，则进入步骤S1111；若不需要进行清晰度优化，则跳转到步骤S1112。
在步骤S1111中，基于超分辨率技术进行图片清晰度优化。
在步骤S1112中，计算人脸中心与照片中心的距离，和每一帧图像人脸的放大倍数，及其他参数。
本申请实施例中，可以根据待处理人脸的原始大小和原始位置，及所选待处理图像的原始大小，计算出动态图像中每一帧需要缩放的比例和往图像中心点移动的距离以及旋转的角度，例如往图像中心点移动的轨迹可以是直线、曲线，不同的移动轨迹可实现不同的趣味效果。移动轨迹和旋转角度与所选的目标动图有关。
在步骤S1113中，综合考虑帧数和人脸放大总倍数，计算每帧的实际放大倍数及放大次数N，其中N为大于等于0的整数。
在步骤S1114中，判断N是否大于0；若N大于0，则进入步骤S1115；若N等于0，则跳转到步骤S1117。
在步骤S1115中，放大图像，及往图像中心方向平移一段距离，指定大小裁剪生成一帧图像数据。
本申请实施例中，所述指定大小裁剪是指可以对动态图像的尺寸进行一定的限制，例如，默认的策略是所述动态图像的长边不超过960，但本申请并不限定于此，可以下发配置动态调整。
在步骤S1116中，N＝N-1，继续跳回到步骤S1114，循环执行上述步骤S1114至步骤S1116直至N为0。
在步骤S1117中，表情识别。
在步骤S1118中，基于表情，适配文字说明，并生成一帧或多帧图像数据。
在步骤S1119中，将上述过程中生成的每一帧图像合成为动态图像。
在步骤S1120中，用户确认后将所述动态图像发表，然后跳转到步骤S1122结束本次操作。
在步骤S1121中，提示没有检测到人脸，然后跳转到步骤S1122。
在步骤S1122中，结束。
本申请实施方式提供的图像处理方法，使用一张含有人脸的照片，通过逐步调整人脸位置、大小及旋转角度来生成一张动态图像，并可以进一步基于人脸的表情检测来适配上一段合适的文字来进一步增加该动态图像的趣味性。
采用上述图11所示实施例的图像处理方法，最终合成的动态图像中的每一帧效果如图12所示。
其中，这里Ftotal等于4，即前4帧图像是对人脸进行逐帧放大、人脸中心往图像中心逐步平移，并对其进行了指定尺寸的裁剪，使得每一帧的大小都相同。L等于3，即根据人脸的表情检测，适配了3句话，第5张图像上添加了“我不是针对谁”，第6张图像上添加了“而是说在座的各位”，第7张图像上添加了“都是散户”。
需要说明的是，图12所示实例中，是将L行文字一一添加至L帧图像上，但在其他实施例中，也可以将L行文字添加至同一帧图像上，本申请对此不作限定。
以下介绍本申请的装置实施例，可以用于执行本申请上述的图像处理方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的图像处理方法的实施例。
图13示意性示出了根据本申请的另一实施例的图像处理装置的框图。
如图13所示，本申请实施方式提供的图像处理装置1300可以包括待处理图像获取模块1310、待处理对象确定模块1320、目标动图选择模块1330、图像处理模块1340以及图像合成模块1350。
其中，待处理图像获取模块1310可以配置为获取待处理图像。
在示例性实施例中，待处理图像获取模块1310可以进一步包括待处理图像获取单元。所述待处理图像获取单元可以配置为响应于针对图像列表的操作，确定所述待处理图像。
待处理对象确定模块1320可以配置为确定所述待处理图像中的待处理对象，其中所述待处理对象包括人脸、动物面部或卡通人物面部的至少一种。
在示例性实施例中，待处理对象确定模块1320可以进一步包括对象识别单元、第一待处理对象确定单元以及第二待处理对象确定单元。其中，所述对象识别单元可以配置为识别所述待处理图像中的对象，获得所述待处理图像中的对象数量。所述第一待处理对象确定单元可以配置为若所述对象数量等于一，则将所述待处理图像中的对象作为所述待处理对象。所述第二待处理对象确定单元可以配置为若所述对象数量大于一，则响应于针对所述待处理图像的操作，确定所述待处理对象。
目标动图选择模块1330可以配置为选择应用于所述待处理图像的目标动图。
图像处理模块1340可以配置为根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象。
图像合成模块1350可以配置为将所述多帧处理后图像合成为动态图像。
在示例性实施例中，图像处理装置1300还可以包括清晰度评价模块和清晰度优化模块。
其中，所述清晰度评价模块可以配置为对所述待处理图像进行清晰度评价，获取评价结果。所述清晰度优化模块可以配置为根据所述评价结果优化所述待处理图像的清晰度。
在示例性实施例中，所述清晰度评价模块可以进一步包括清晰度评价单元。所述清晰度评价单元可以配置为采用无参考图片质量评估算法对所述待处理图像进行清晰度评价。
在示例性实施例中，所述清晰度优化模块可以进一步包括清晰度优化单元。所述清晰度优化单元可以配置为采用基于深度学习的超分辨率方法优化所述待处理图像的清晰度。
图14示意性示出了图13中所示的图像处理模块1340的一实施例的框图。
如图14所示，上述图13所示实施例中的图像处理模块1340可以进一步包括缩放子模块1341。
其中，所述缩放子模块1341可以进一步包括最大缩放比例确定单元和实际缩放比例确定单元。所述最大缩放比例确定单元可以配置为根据所述待处理对象的原始尺寸和所述待处理图像的原始尺寸确定所述多帧处理后图像的最大缩放比例。所述实际缩放比例确定单元可以配置为根据所述目标动图的缩放模式和总帧数以及所述最大缩放比例，确定所述多帧处理后图像中每一帧的实际缩放比例。
在示例性实施例中，所述缩放模式可以为匀速缩放模式。
在示例性实施例中，所述实际缩放比例确定单元可以进一步包括模板帧缩放比例确定子单元和动态帧缩放比例确定子单元。
其中，所述模板帧缩放比例确定子单元可以配置为根据所述最大缩放比例和所述目标动图的总帧数，确定所述总帧数中的每一帧的缩放比例。所述动态帧缩放比例确定子单元可以配置为若所述总帧数中的每一帧的缩放比例小于缩放阈值，则减少所述总帧数至所述多帧处理后图像中每一帧的实际缩放比例不小于所述缩放阈值。
继续参考图14，上述图13所示实施例中的图像处理模块1340可以进一步包括移动子模块1342。
其中，所述移动子模块1342可以进一步包括移动总距离确定单元和帧移动距离确定单元。
其中，所述移动总距离确定单元可以配置为根据所述待处理对象的原始位置和所述待处理图像中的目标位置，确定所述待处理对象的移动总距离。所述帧移动距离确定单元可以配置为根据所述目标动图的移动模式、所述多帧处理后图像中每一帧的实际缩放比例以及所述移动总距离，确定所述多帧处理后图像中每一帧的移动距离。
在示例性实施例中，所述移动模式包括直线匀速移动模式、直线变速移动模式、曲线匀速移动模式、曲线变速移动模式中的任意一种或者多种。
在图14所示实施例中，上述图13所示实施例中的图像处理模块1340还可以进一步包括旋转子模块1343。
其中，所述旋转子模块1343可以配置为根据所述目标动图的总旋转角度确定所述多帧处理后图像中每一帧的旋转角度。
图15示意性示出了根据本申请的另一实施例的图像处理装置的框图。
如图15所示，本申请实施方式提供的图像处理装置1500可以包括待处理图像获取模块1510、待处理对象确定模块1520、目标动图选择模块1530、图像处理模块1540、表情检测模块1550、文字添加模块1560以及图像合成模块1570。
其中，待处理图像获取模块1510可以配置为获取待处理图像。
待处理对象确定模块1520可以配置为确定所述待处理图像中的待处理对象。
目标动图选择模块1530可以配置为确定应用于所述待处理图像的目标动图。
图像处理模块1540可以配置为根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象。
表情检测模块1550可以配置为基于所述多帧处理后图像中的至少一帧，获得所述待处理对象的表情检测结果。
在示例性实施例中，目标动图选择模块1530可以进一步包括：目标动图选择单元，所述目标动图选择单元可以配置为响应于针对所述目标动图的操作，确定应用于所述待处理图像的目标动图；或者目标动图推荐单元，所述目标动图推荐单元可以配置为根据所述表情检测结果推荐应用于所述待处理图像的目标动图。
文字添加模块1560可以配置为根据所述表情检测结果添加相应文字至所述多帧处理后图像中的至少一帧，生成至少一帧包括相应文字的处理后图像。
图像合成模块1570可以配置为将所述多帧处理后图像和所述至少一帧包括相应文字的处理后图像合成为所述动态图像。
在示例性实施例中，所述目标动图为至少一个。
在示例性实施例中，图像处理模块1540可以配置为若所述目标动图为多个，则根据所述多个目标动图分别对所述待处理图像进行处理，分别生成多帧处理后图像。图像合成模块1570可以进一步包括：图像合成单元，所述图像合成单元可以配置为分别将根据各目标动图生成的多帧处理后图像合成为动态图像；动态图像拼接单元， 所述动态图像拼接单元可以配置为顺序拼接根据各目标动图合成的动态图像。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者子模块或者单元或者子单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者子模块或者单元或者子单元的特征和功能可以在一个模块或者子模块或者单元或者子单元中具体化。反之，上文描述的一个模块或者子模块或者单元或者子单元的特征和功能可以进一步划分为由多个模块或者子模块或者单元或者子单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器设备、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (20)

  1. 一种图像处理方法，由电子设备执行，包括：
    获取待处理图像；
    确定所述待处理图像中的待处理对象，其中所述待处理对象包括人脸、动物面部或卡通人物面部的至少一种；
    选择应用于所述待处理图像的目标动图；
    根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象；
    将所述多帧处理后图像合成为动态图像。
  2. 根据权利要求1所述的方法，其中，所述根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，包括：
    根据所述待处理对象的原始尺寸和所述待处理图像的原始尺寸确定所述多帧处理后图像的最大缩放比例；
    根据所述目标动图的缩放模式和总帧数以及所述最大缩放比例，确定所述多帧处理后图像中每一帧的实际缩放比例。
  3. 根据权利要求2所述的方法，其中，所述缩放模式为匀速缩放模式；其中，所述根据所述目标动图的缩放模式和总帧数以及所述最大缩放比例，确定所述多帧处理后图像中每一帧的实际缩放比例，包括：
    根据所述最大缩放比例和所述目标动图的总帧数，确定所述总帧数中的每一帧的缩放比例；
    若所述总帧数中的每一帧的缩放比例小于缩放阈值，则减少所述总帧数至所述多帧处理后图像中每一帧的实际缩放比例不小于所述缩放阈值。
  4. 根据权利要求2所述的方法，其中，所述根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，还包括：
    根据所述待处理对象的原始位置和所述待处理图像中的目标位置，确定所述待 处理对象的移动总距离；
    根据所述目标动图的移动模式、所述多帧处理后图像中每一帧的实际缩放比例以及所述移动总距离，确定所述多帧处理后图像中每一帧的移动距离。
  5. 根据权利要求4所述的方法，其中，所述移动模式包括直线匀速移动模式、直线变速移动模式、曲线匀速移动模式、曲线变速移动模式中的任意一种或者多种。
  6. 根据权利要求1至5任一项所述的方法，其中，所述根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，包括：
    根据所述目标动图的总旋转角度确定所述多帧处理后图像中每一帧的旋转角度。
  7. 根据权利要求1所述的方法，其中，还包括：
    基于所述多帧处理后图像中的至少一帧，获得所述待处理对象的表情检测结果；
    根据所述表情检测结果添加相应文字至所述多帧处理后图像中的至少一帧，生成至少一帧包括相应文字的处理后图像；
    其中，所述将所述多帧处理后图像合成为动态图像，包括：
    将所述多帧处理后图像和所述至少一帧包括相应文字的处理后图像合成为所述动态图像。
  8. 根据权利要求7所述的方法，其中，所述选择应用于所述待处理图像的目标动图，包括：
    响应于针对所述目标动图的操作，确定应用于所述待处理图像的目标动图；或者
    根据所述表情检测结果推荐应用于所述待处理图像的目标动图。
  9. 根据权利要求1所述的方法，其中，所述目标动图为至少一个；所述根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，包括：
    若所述目标动图为多个，则根据所述多个目标动图分别对所述待处理图像进行处理，分别生成多帧处理后图像；
    其中，所述将所述多帧处理后图像合成为动态图像包括：
    分别将根据各目标动图生成的多帧处理后图像合成为动态图像；
    顺序拼接根据各目标动图合成的动态图像。
  10. 根据权利要求1所述的方法，其中，还包括：
    对所述待处理图像进行清晰度评价，获取评价结果；
    根据所述评价结果优化所述待处理图像的清晰度。
  11. 根据权利要求8所述的方法，其中，所述根据所述评价结果优化所述待处理图像的清晰度，包括：
    采用基于深度学习的超分辨率方法优化所述待处理图像的清晰度。
  12. 根据权利要求1所述的方法，其中，所述确定所述待处理图像中的待处理对象，包括：
    识别所述待处理图像中的对象，获得所述待处理图像中的对象数量；
    若所述对象数量等于一，则将所述待处理图像中的对象作为所述待处理对象；
    若所述对象数量大于一，则响应于针对所述待处理图像的操作，确定所述待处理对象。
  13. 一种图像处理装置，包括：
    待处理图像获取模块，配置为获取待处理图像；
    待处理对象确定模块，配置为确定所述待处理图像中的待处理对象，其中所述待处理对象包括人脸、动物面部或卡通人物面部的至少一种；
    目标动图选择模块，配置为选择应用于所述待处理图像的目标动图；
    图像处理模块，配置为根据所述目标动图对所述待处理图像进行处理，生成多帧处理后图像，其中所述多帧处理后图像中的每一帧均包括所述待处理对象；
    图像合成模块，配置为将所述多帧处理后图像合成为动态图像。
  14. 根据权利要求13所述的图像处理装置，进一步包括缩放子模块，其中所述缩放子模块包括最大缩放比例确定单元，和实际缩放比例确定单元；
    所述最大缩放比例确定单元，配置为根据所述待处理对象的原始尺寸和所述待处理图像的原始尺寸，确定所述多帧处理后图像的最大缩放比例；
    所述实际缩放比例确定单元，配置为根据所述目标动图的缩放模式和总帧数以及所述最大缩放比例，确定所述多帧处理后图像中每一帧的实际缩放比例。
  15. 根据权利要求14所述的图像处理装置，其中，所述缩放模式为匀速缩放模式，所述实际缩放比例确定单元包括模板帧缩放比例确定子单元，和动态帧缩放比例确定子单元；
    所述模板帧缩放比例确定子单元，配置为根据所述最大缩放比例和所述目标动图的总帧数，确定所述总帧数中的每一帧的缩放比例；
    所述动态帧缩放比例确定子单元，配置为若所述总帧数中的每一帧的缩放比例小于缩放阈值，则减少所述总帧数至所述多帧处理后图像中每一帧的实际缩放比例不小于所述缩放阈值。
  16. 根据权利要求14所述的图像处理装置，进一步包括移动子模块，所述移动子模块包括移动总距离确定单元，和帧移动距离确定单元，
    所述移动总距离确定单元，配置为根据所述待处理对象的原始位置和所述待处理图像中的目标位置，确定所述待处理对象的移动总距离；
    所述帧移动距离确定单元，配置为根据所述目标动图的移动模式、所述多帧处理后图像中每一帧的实际缩放比例以及所述移动总距离，确定所述多帧处理后图像中每一帧的移动距离。
  17. 根据权利要求16所述的图像处理装置，其中，所述移动模式包括直线匀速移动模式、直线变速移动模式、曲线匀速移动模式、曲线变速移动模式中的任意一种或者多种。
  18. 根据权利要求13至17任一项所述的图像处理装置，进一步包括旋转子模块，
    所述旋转子模块，配置为根据所述目标动图的总旋转角度确定所述多帧处理后图像中每一帧的旋转角度。
  19. 一种计算机可读介质，存有处理器可执行指令，所述指令由一个或一个以上处理器执行时，实现如权利要求1至12中任一项所述的图像处理方法。
  20. 一种电子设备，包括：
    一个或多个处理器；
    存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的图像处理方法。
PCT/CN2019/090397 2018-07-12 2019-06-06 图像处理方法、装置、计算机可读介质及电子设备 WO2020010974A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/996,145 US11282182B2 (en) 2018-07-12 2020-08-18 Image processing method and apparatus, computer-readable medium, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810763192.X 2018-07-12
CN201810763192.XA CN110163932A (zh) 2018-07-12 2018-07-12 图像处理方法、装置、计算机可读介质及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/996,145 Continuation US11282182B2 (en) 2018-07-12 2020-08-18 Image processing method and apparatus, computer-readable medium, and electronic device

Publications (1)

Publication Number Publication Date
WO2020010974A1 true WO2020010974A1 (zh) 2020-01-16

Family

ID=67645040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/090397 WO2020010974A1 (zh) 2018-07-12 2019-06-06 图像处理方法、装置、计算机可读介质及电子设备

Country Status (3)

Country Link
US (1) US11282182B2 (zh)
CN (1) CN110163932A (zh)
WO (1) WO2020010974A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868535A (zh) * 2019-10-31 2020-03-06 维沃移动通信有限公司 一种拍摄方法、拍摄参数确定方法、电子设备及服务器
CN111311617A (zh) * 2020-03-26 2020-06-19 北京奇艺世纪科技有限公司 一种动图剪裁方法、装置、设备及存储介质
CN111984173B (zh) * 2020-07-17 2022-03-25 维沃移动通信有限公司 表情包生成方法和装置
CN111914102A (zh) * 2020-08-27 2020-11-10 上海掌门科技有限公司 编辑多媒体数据的方法、电子设备和计算机存储介质
CN112333468B (zh) * 2020-09-28 2023-05-12 影石创新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN112560726B (zh) * 2020-12-22 2023-08-29 阿波罗智联(北京)科技有限公司 目标检测置信度确定方法、路侧设备及云控平台
CN112819927A (zh) * 2021-02-04 2021-05-18 上海哔哩哔哩科技有限公司 基于图片的视频生成方法、装置
CN112995536A (zh) * 2021-02-04 2021-06-18 上海哔哩哔哩科技有限公司 视频合成方法及系统
CN113225451B (zh) * 2021-04-28 2023-06-27 维沃移动通信（杭州）有限公司 图像处理方法、装置和电子设备
CN113222810A (zh) * 2021-05-21 2021-08-06 北京大米科技有限公司 图像处理方法和图像处理装置
CN113742630B (zh) * 2021-09-16 2023-12-15 阿里巴巴新加坡控股有限公司 图像处理方法、电子设备及计算机存储介质
CN114926464B (zh) * 2022-07-20 2022-10-25 平安银行股份有限公司 在双录场景下的图像质检方法、图像质检装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637078A (zh) * 2013-11-14 2015-05-20 腾讯科技（深圳）有限公司 一种图像处理方法及装置
WO2016031573A1 (ja) * 2014-08-29 2016-03-03 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN106658079A (zh) * 2017-01-05 2017-05-10 腾讯科技（深圳）有限公司 自定义生成表情图像的方法及装置
CN108259754A (zh) * 2018-03-06 2018-07-06 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124115A (ja) * 2008-11-18 2010-06-03 Ricoh Co Ltd 動画生成システム、画像形成装置、動画生成方法及びプログラム
JP5479198B2 (ja) * 2010-04-23 2014-04-23 株式会社東芝 電子機器及び画像処理プログラム
WO2014194439A1 (en) * 2013-06-04 2014-12-11 Intel Corporation Avatar-based video encoding
EP3029675A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing A method and apparatus for generating automatic animation
JP6960722B2 (ja) * 2016-05-27 2021-11-05 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN106951856A (zh) * 2017-03-16 2017-07-14 腾讯科技（深圳）有限公司 表情包提取方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637078A (zh) * 2013-11-14 2015-05-20 腾讯科技（深圳）有限公司 一种图像处理方法及装置
WO2016031573A1 (ja) * 2014-08-29 2016-03-03 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN106658079A (zh) * 2017-01-05 2017-05-10 腾讯科技（深圳）有限公司 自定义生成表情图像的方法及装置
CN108259754A (zh) * 2018-03-06 2018-07-06 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
US20200380660A1 (en) 2020-12-03
CN110163932A (zh) 2019-08-23
US11282182B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
WO2020010974A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
WO2020224457A1 (zh) 图像处理方法及装置、电子设备和存储介质
WO2020052523A1 (zh) 一种图像裁剪的方法和装置
US9560414B1 (en) Method, apparatus and system for dynamic content
US9275604B2 (en) Constant speed display method of mobile device
US11481975B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
WO2020156009A1 (zh) 视频修复方法及装置、电子设备和存储介质
KR20220130197A (ko) 촬영 방법, 장치, 전자설비 및 저장매체
KR102248799B1 (ko) 타겟 대상 디스플레이 방법, 장치 및 전자 기기
JP2013533540A (ja) 適応画像レンダリングおよびインポスターの使用
JP7395070B1 (ja) ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体
WO2020007113A1 (zh) 用于加载图像的方法和装置
US11558561B2 (en) Personalized videos featuring multiple persons
US11394888B2 (en) Personalized videos
US11721046B2 (en) Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application
JP2016110649A (ja) 自動アニメーションを生成するための方法および装置
CN111078011A (zh) 手势控制方法、装置、计算机可读存储介质及电子设备
JP2024506639A (ja) 画像表示方法、装置、機器及び媒体
WO2019090734A1 (zh) 拍摄方法及装置、移动终端及计算机可读存储介质
WO2022088946A1 (zh) 一种弯曲文本的字符选择方法、装置和终端设备
WO2024087643A1 (zh) 视频裁剪方法、装置、电子设备及存储介质
WO2018040437A1 (zh) 图片处理方法及装置
CN112308950A (zh) 视频生成方法及装置
US9483237B2 (en) Method and system for providing an image effects interface
CN112651909B (zh) 图像合成方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19833140

Country of ref document: EP

Kind code of ref document: A1