WO2017054605A1 - 一种图片的处理方法和装置 - Google Patents

一种图片的处理方法和装置 Download PDF

Info

Publication number
WO2017054605A1
WO2017054605A1 PCT/CN2016/097356 CN2016097356W WO2017054605A1 WO 2017054605 A1 WO2017054605 A1 WO 2017054605A1 CN 2016097356 W CN2016097356 W CN 2016097356W WO 2017054605 A1 WO2017054605 A1 WO 2017054605A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
pixel points
face
pixel
repaired
Prior art date
Application number
PCT/CN2016/097356
Other languages
English (en)
French (fr)
Inventor
谭国富
李季檩
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2017054605A1 publication Critical patent/WO2017054605A1/zh
Priority to US15/699,691 priority Critical patent/US10438329B2/en

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

一种图片的处理方法和装置，用于自动去除人脸上不需要展现在图片中的像素点。该方法包括：获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测，从图片中获取到人脸像素点集合（101）；对人脸像素点集合进行五官轮廓的定位，从人脸像素点集合中获取到待检测像素点集合（102），待检测像素点集合包括：人脸像素点集合中除人脸的五官轮廓以外的图像区域内的所有像素点；对待检测像素点集合进行边缘轮廓检测，从待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，待修复像素点集合包括：属于单连通轮廓的图像区域内的所有像素点（103）；对待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合（104）。

Description

一种图片的处理方法和装置
本申请要求于2015年9月29日提交中国专利局、申请号为201510631783.8、发明名称为“一种图片的处理方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及计算机技术领域，尤其涉及一种图片的处理方法和装置。
背景技术
目前，随着智能终端例如数码相机、手机、摄像头等的普及，图片特别是照片的数量越来越多。很多人皮肤上会有痘痘或斑，这样拍出的照片中也会存在痘痘或斑，所以去除照片中的痘痘或斑有重要的需求。
目前用户可以对图像特别是脸部照片进行调整和美化，例如去掉图像中的痘、斑、痣等。但是，现有的这种调整和美化操作通常需要借助于专业的图片处理软件进行手动修补，操作步骤繁多，不够便利和快速。如此，如何减少用户操作，更智能、快速地去除数字图像中人脸部的痘痘或斑，成为一个函待解决的问题。
发明内容
本发明实施例提供了一种图片的处理方法和装置，用于自动去除人脸上的痘、斑、痣等不需要展现在图片中的像素点，实现对人脸图片的自动修复。
为解决上述技术问题，本发明实施例提供以下技术方案：
第一方面，本发明实施例提供一种图片的处理方法，包括：
获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合，所述人脸像素点集合包括：所述图片中的属于人脸的图像区域内的所有像素点；
对所述人脸像素点集合进行五官轮廓的定位，从所述人脸像素点集合中获取到待检测像素点集合，所述待检测像素点集合包括：所述人脸像素点集合中除所述人脸的五官轮廓以外的图像区域内的所有像素点；
对所述待检测像素点集合进行边缘轮廓检测，从所述待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，所述待修复像素点集合包括：属于所述单连通轮廓的图像区域内的所有像素点；
对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。
第二方面，本发明实施例还提供一种图片的处理装置，包括：
人脸检测模块，用于获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合，所述人脸像素点集合包括：所述图片中的属于人脸的图像区域内的所有像素点；
五官定位模块，用于对所述人脸像素点集合进行五官轮廓的定位，从所述人脸像素点集合中获取到待检测像素点集合，所述待检测像素点集合包括：所述人脸像素点集合中除所述人脸的五官轮廓以外的图像区域内的所有像素点；
边缘轮廓检测模块，用于对所述待检测像素点集合进行边缘轮廓检测，从所述待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，所述待修复像素点集合包括：属于所述单连通轮廓的图像区域内的所有像素点；
修复模块，用于对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，首先获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测，从图片中获取到人脸像素点集合，人脸像素点集合包括：图片中的属于人脸的图像区域内的所有像素点。然后对人脸像素点集合进行五官轮廓的定位，从人脸像素点集合中获取到待检测像素点集合，待检测像素点集合包括：人脸像素点集合中除人脸的五官轮廓以外的图像区域内的所有像素点。接下来对待检测像素点集合进行边缘轮廓检测，从待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，待修复像素点集合包括：属于单连通轮廓的图像区域内的所有像素点。最后对待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。本发明实施例中，可以自动对图片进行人脸检测、五官轮廓定位、边缘轮廓检测，然后确定出待修复像素点集合，对待修复像素点集合中的所有像素点进行修复，这样就完成了对人脸图片的自动美化处理，用户不希望展现在图片中的痘、斑、痣等都可以被自动划分到待修复像素点集合中，从而可以自动去除人脸上的痘、斑、痣等不需要展现在图片中的像素点，实现对人脸图片进行自动修复。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图片的处理方法的流程方框示意图；
图2为本发明实施例提供的图片的处理方法的系统处理流程示意图；
图3-a为本发明实施例提供的一种图片的处理装置的组成结构示意图；
图3-b为本发明实施例提供的一种图片的处理装置的组成结构示意图；
图3-c为本发明实施例提供的一种图片的处理装置的组成结构示意图；
图3-d为本发明实施例提供的一种图片的处理装置的组成结构示意图；
图3-e为本发明实施例提供的一种图片的处理装置的组成结构示意图；
图3-f为本发明实施例提供的一种图片的处理装置的组成结构示意图；
图4为本发明实施例提供的图片的处理方法应用于终端的组成结构示意图。
具体实施方式
本发明实施例提供了一种图片的处理方法和装置，用于自动修正图片中人脸部上的痘、斑、痣等对应的像素点，实现对人脸图片的自动修复。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具 有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明图片的处理方法的一个实施例，具体可以应用于对摄像头拍摄到的图片进行自动美化处理中。请参阅图1所示，本发明一个实施例提供的图片的处理方法，可以包括如下步骤：
101、获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测，从该图片中获取到人脸像素点集合。
其中，人脸像素点集合包括：该图片中的属于人脸的图像区域内的所有像素点。
在本发明实施例中，图片的处理装置可以设置在安装有摄像头的用户终端中，图片的处理装置可以从该终端的显示缓存中获取到摄像头拍摄得到的图片。当用户终端中的摄像头进行图片拍摄时，摄像头会采集在镜头中出现的画面进行拍摄，生成的图片保存在显示缓存中。图片的处理装置可以对显示缓存中是否存储有摄像头拍摄到的图片进行检测。当检测到显示缓存中存在摄像头拍摄出图片之后，图片的处理装置自动获取摄像头拍摄到的图片。这样，摄像头对人脸进行拍摄得到图片之后，可以自动获取摄像头拍摄得到的图片，并对该图片进行人脸检测、以及后面提到的五官轮廓定位、边缘轮廓检测，并确定出待修复像素点集合，对待修复像素点集合中的所有像素点进行修复之后，可以完成对人脸图片的自动美化处理。
此外，图片的处理装置本身也可以不包含摄像头。图片的处理装置可以从其他设备获取待处理的图片，或者通过网络获取待处理的图片。当特定图片被选中时，或者图片的处理装置检测到特定存储空间中存储有图 片时，图片的处理装置获取该图片。
然后，图片的处理装置使用预置的人脸检测算法对该图片进行人脸检测，从该图片中获取到人脸像素点集合。其中，预置的人脸检测算法可以通过人脸分类器对图片进行处理来实现，以判断该图片中是否有人脸出现。人脸检测算法还可以通过Opencv工具里面的adaboost来实现。
在本发明实施例中，使用人脸检测算法对图片进行检测。若从图片中成功检测到人脸，则从该图片中获取到人脸像素点集合。该人脸像素点集合可以包括：该图片中的属于人脸的图像区域内的所有像素点。若无法从图片中检测到人脸，则图片的处理装置可以通过终端中的用户界面(User Interface，UI)显示子系统向用户提示没有检测到人脸，需要用户重新拍摄。
在一种实现方式中，步骤101获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测，从图片中获取到人脸像素点集合之前，该图片的处理方法还包括：
A1、检测用户通过UI显示子系统输入的操作指令；
A2、若操作指令指示对摄像头拍摄得到的图片进行美化处理，则触发执行步骤101：获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测，从所述图片中获取到人脸像素点集合。
在一种实现方式中，终端的UI显示子系统可以向用户提供一个自动美化处理按钮，若用户需要对图片进行自动美化处理，用户可以操作UI显示子系统上显示的自动美化处理按钮，图片的处理装置通过UI显示子系统输入的操作指令进行检测，若操作指令指示自动美化处理按钮被用户选择，则开始执行本发明实施例中步骤101以及步骤101之后的其它步骤，以完成对图片的自动美化处理。本发明实施例中通过检测UI显示子系统输入的操作指令来获取用户的操作意图，从而可以按照用户的指令对图片进行自动美化处理，提高人机交互的图片美化处理的智能程度。
需要说明的是，在本发明的一些实施例中，UI显示子系统可以包括：图片显示界面模块和查看器操作栏模块。其中，图片显示界面模块，可以用于显示摄像头拍摄得到的图片以及美化处理完成的图片，查看器操作栏模块，可以用于显示查看器窗体一些操作按钮，例如，可以包括前述的自动美化处理按钮，还可以包括文件选择按钮、显示控制按钮等。另外，UI显示子系统主要用于图片的处理装置与用户之间交互的界面，用于通过UI显示子系统获取用户的控制指令，以及向用户输出图片美化结果。
在一种实现方式中，步骤101使用人脸检测算法对图片进行人脸检测，从图片中获取到人脸像素点集合之前，本发明实施例提供的图片的处理方法还包括：
B1、对图片进行解码，得到原始图片信息流；
B2、对原始图片信息流进行编码，得到满足预置格式要求的图片。
在本发明实施例中，不同的用户终端的摄像头拍摄得到的图片的格式可能有不同类型，直接拍摄得到的图片格式可能并不是用户真正需要的图片格式。本发明实施例提供的图片的处理装置还可以对摄像头拍摄得到的图片进行编解码。例如，先对摄像头拍摄得到的图片进行解码，得到原始图片信息流，该原始图片信息流可以为RGB像素格式的图像信息，然后按照用户选择的图片格式对原始图片信息流进行编码，将原始图片信息流编码为满足预置格式要求的图片。用户可以选择BMP、JPG、PNG、JPEG等图片格式作为自己需要的图片格式。
102、对人脸像素点集合进行五官轮廓的定位，从人脸像素点集合中获取到待检测像素点集合。
其中，待检测像素点集合包括：人脸像素点集合中除人脸的五官轮廓以外的图像区域内的所有像素点。
在本发明实施例中，从图片中检测到人脸图像之后，可以得到人脸 像素点集合，则该人脸像素点集合中只包括属于人脸部分的所有像素点，在该人脸像素点集合中不包括人脸轮廓以外的其它像素点。由于人脸像素点集合中除了包括人脸的面部像素点之外，人脸像素点集合中还包括有五官像素点，而人脸的五官部分通常不需要进行去痘、去斑、去痣等美化操作，因此本发明实施例中需要执行步骤102，对人脸像素点集合进行五官轮廓的定位，从人脸像素点集合中获取到待检测像素点集合，即需要从人脸像素点集合中提取出五官轮廓，那么在人脸像素点集合中除了五官轮廓以外的图像区域就属于人脸的面部区域，该面部区域内可能会出现痘、斑、痣等不需要展现在图片中的像素点。本发明实施例中将人脸的面部区域内的所有像素点定义到待检测像素点集合中。该待检测像素点集合可以包括：人脸像素点集合中除人脸的五官轮廓以外的图像区域内的所有像素点。
需要说明的是，在本发明实施例中，对人脸像素点集合进行五官轮廓的定位，例如，可以使用五官分类器进行人脸中五官位置的检测，从人脸像素点集合中检测到眼睛、眉毛、鼻子、嘴巴、耳朵所在的轮廓。又如，本发明实施例中还可以使用其他的五官定位方法，例如主动轮廓模型法、弹性图匹配法、主动形状模型法(Active Shape Model，ASM)和主动外观模型法(Active Appearance Model，AAM)等。
103、对待检测像素点集合进行边缘轮廓检测，从待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合。待修复像素点集合包括：属于单连通轮廓的图像区域内的所有像素点。
在本发明实施例中，待检测像素点集合中包括的是属于人脸但不属于五官轮廓的面部图像区域的所有像素点。该待检测像素点集合包括了属于人脸中的面部图像像素点，在人脸的面部中最有可能出现痘、斑、痣等不需要展现在图片中的像素点。这些痘、斑、痣等在人脸的图片中通常表现为一个个小块的单连通区域。因此本发明实施例中可以对待检测像素点 集合进行边缘轮廓检测，检测出在待检测像素点集合中所有的单连通轮廓。从待检测像素点集合中提取出单连通轮廓之后，待检测像素点集合中的所有单连通区域内的像素点可以构成待修复像素点集合。这些待修复像素点集合中包括的像素点是呈现为痘、斑、痣等不需要展现在图片中的像素点。本发明实施例中通过步骤103可以实现对人脸图片中痘、斑、痣的自动定位，而不需要由人工使用图形处理软件来查找痘、斑、痣等的具体位置，对于用户而言，极大的降低了图片美化处理的操作门槛，实现了对图片美化处理的自动化操作。
需要说明的是，在一种实现方式中，在前述步骤101使用人脸检测算法对图片进行人脸检测，从图片中获取到人脸像素点集合之前，本发明实施例提供的图片的处理方法还包括：
C1、对图片进行格式转换，得到满足YCrCb格式要求的图片，则人脸像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点，待检测像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点。
其中，图片的处理装置在获取到摄像头拍摄得到的图片之后，可以对该图片进行格式转换，得到满足YCrCb格式要求的图片。将图片转换为YCrCb格式是为了后续步骤中方便对图片中的面部图像区域进行进一步的检测。将图片的格式转换为YCrCb格式之后，则步骤101中人脸像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点，步骤102中待检测像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点。在这种情况下，在本发明的一些实施例中，步骤103对待检测像素点集合进行边缘轮廓检测，从待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，具体可以包括如下步骤：
D1、使用大律法(OTSU)得到的全局自适应阈值对待检测像素点集 合进行二值化图像处理；
D2、从二值化图像处理后的待检测像素点集合中将Cr分量取值为0的像素点移除掉，得到边缘轮廓像素点集合；
D3、使用预置的差分高斯核对边缘轮廓像素点集合进行人脸灰度图像卷积运算，得到完成人脸灰度图像卷积运算的边缘轮廓像素点集合；
D4、使用预置的查找轮廓函数从完成人脸灰度图像卷积运算的边缘轮廓像素点集合中查找到单连通轮廓，由单连通轮廓获取到待修复像素点集合。
在本发明实施例中，若图片的格式为YCrCb格式，则待检测像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点。使用全局自适应阈值对待检测像素点集合进行二值化图像处理。图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。二值化图像处理后的待检测像素点集合中，对于属于人脸的面部肤色的像素点，该像素点的Cr分量取值为0。那么Cr分量取值为0的像素点不属于痘、斑、痣等，这些Cr分量取值为0的像素点不需要进行美化操作。从二值化图像处理后的待检测像素点集合中将Cr分量取值为0的像素点移除掉，得到边缘轮廓像素点集合，该边缘轮廓像素点集合中包括了可能是痘、斑、痣的图像区域。接下来使用预置的差分高斯核对边缘轮廓像素点集合进行人脸灰度图像卷积运算，得到完成人脸灰度图像卷积运算的边缘轮廓像素点集合。其中，差分高斯核可以根据实际的应用场景中需要去除的色痘大小来设置，例如可以设置差分高斯核为7*7的矩阵，在另一种场景下也可以将差分高斯核设置为6*6的矩阵，该差分高斯核的矩阵各元素取值可以参阅现有技术，此处不再赘述。另外，人脸灰度图像卷积运算的具体运算方式以及各个算子的设定均可采用已有的人脸灰度图像的运算方式。
在步骤D4中，使用预置的查找轮廓函数从完成人脸灰度图像卷积运算的边缘轮廓像素点集合中查找到单连通轮廓。其中，从完成人脸灰度图像卷积运算的边缘轮廓像素点集合中每查找到一个单连通轮廓，就说明在人脸上存在一个痘或斑或痣，单连通轮廓内的像素点就是需要修复的像素点。由完成人脸灰度图像卷积运算的边缘轮廓像素点集合中的所有单连通区域内的像素点可以构成待修复像素点集合，这些待修复像素点集合中包括的像素点是呈现为痘、斑、痣等不需要展现在图片中的像素点。需要说明的是，步骤D4中可以是通过Opencv工具里面提供的查找轮廓函数来查找到单连通轮廓，具体的查找轮廓函数的软件执行代码可以参阅现有技术。
104、对待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。
在本发明实施例中，通过前述步骤103自动确定出待修复像素点集合，该待修复像素点集合中包括了需要进行美化操作的图像像素点。接下来执行步骤104，对待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。其中对待修复像素点集合进行的修复操作是指更改待修复像素点集合中的单连通区域内的像素点取值，从而将单连通区域内的像素点取值更改为人脸的面部正常区域内的像素点取值，即，更改为待检测像素点集合中除了待修复像素点集合以外的像素点的取值，以此来改变痘、斑、痣等不需要展现在图片中的像素点。得到已修复像素点集合之后，该已修复像素点集合再结合原有图片中待修复像素点集合以外的其它所有像素点可以组成一张完整的修复后的图片。修复后的图片中自动去除了痘、斑、痣等不需要展现在图片中的元素，从而使得照片看起来更美观，满足用户对图片自动美化操作的需要。
在一个实现方式中，步骤104对待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合之后，本发明实施例提供的图片的处理 方法还包括：
E1、按照预置的模糊半径对包括已修复像素点集合的图片进行高斯模糊；
E2、将完成高斯模糊的图片输出到UI显示子系统上。
其中，执行步骤104之后，本发明实施例中可以得到包括已修复像素点集合的图片。即通过前述内容中的具体描述，可以对人脸像素点集合中出现的痘、斑、痣等图像区域的像素点进行自动修复，已修复像素点再加上原有图片中不需要修复的像素点，可以构成一张完整的人脸图片，该人脸图片中可能会出现的痘、斑、痣等不希望展现的元素都已经被修复，输出修复后的图片达到无痕迹效果，皮肤干净。另外为了进一步的对图片进行美化，还可以对图片再进行磨皮操作。例如，还可以对图片进行高斯模糊。其采用的模糊半径可以提前设置好。在步骤104执行完成输出包括已修复像素点集合的图片之后，可以对该图片采用预置的模糊半径进行高斯模糊，将完成高斯模糊的图片输出到UI显示子系统上。由前述内容可知，UI显示子系统可以包括图片显示界面模块，该图片显示界面模块可以用于对修复完成的图片进行显示，用户可以操作终端来浏览修复完成的图片。
通过以上实施例对本发明实施例的描述可知，首先获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测，从图片中获取到人脸像素点集合，人脸像素点集合包括：图片中的属于人脸的图像区域内的所有像素点，然后对人脸像素点集合进行五官轮廓的定位，从人脸像素点集合中获取到待检测像素点集合，待检测像素点集合包括：人脸像素点集合中除人脸的五官轮廓以外的图像区域内的所有像素点，接下来对待检测像素点集合进行边缘轮廓检测，从待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，待修复像素点集合包括：属于单连通轮廓的图像区域内的所有像素点，最后对待修复像素点集合中的所有像素点进 行修复，得到已修复像素点集合。本发明实施例中，可以自动对图片进行人脸检测、五官轮廓定位、边缘轮廓检测，然后确定出待修复像素点集合，对待修复像素点集合中的所有像素点进行修复，这样就完成了对人脸图片的自动美化处理，用户不希望展现在图片中的痘、斑、痣等都可以被自动划分到待修复像素点集合中，从而可以自动去除人脸上的痘、斑、痣等不需要展现在图片中的像素点，实现对人脸图片进行自动修复。
为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。
本发明实施例提供的图片的处理方法可以用于实现自动去痘的美化人像照片的功能。本发明实施例可以智能的检测图片中人脸小痘痘的位置，对图片中的人脸中的痘痘进行修补，达到无痕迹的效果，经过去痘处理的照片，皮肤干净，能得到自然的显示效果，为用户查看和处理图片带来更好的体验和效果。在自拍，生活照，艺术照，婚纱照等等多个场景，本发明实施例提供的图片的处理方法有着具体而又切实的应用需要。
接下来对本发明实施例能够实现自动去痘的美化人像照片的效果进行详细举例说明。请参阅如图2所示，为本发明实施例提供的图片的处理方法的系统处理流程示意图，主要包括如下步骤：
步骤201、利用人脸检测算法对输入的图片进行人脸检测，如果人脸检测失败，则提示用户重新输入图片。从图片中获取到人脸像素点集合记为集合S1。
步骤202、对集合S1进行五官轮廓的定位，得到人脸的五官轮廓，根据五官轮廓从集合S1中将表示人脸的五官的像素点移除掉，得到待检测像素点集合，该待检测像素点集合记为S2，则S2包括了在人脸轮廓内，且不在眼睛、眉毛、鼻子、嘴巴、耳朵内的所有像素点集合。
步骤203、将人脸照片转换到YCrCb空间，对集合S2中的每个像 素点的Cr分量采用大律法OTSU得到的全局自适应阈值进行二值化图像处理，对于二值化后的Cr分量为0的像素点从集合S2中移除，得到边缘轮廓像素点集合，该边缘轮廓像素点集合记为集合S3。
步骤204、对集合S3中的每个像素点按照如下的差分高斯核进行人脸灰度图像卷积运算，对于完成人脸灰度图像卷积运算的集合S3使用opencv工具的查找轮廓函数(例如cv::findContours)查找到集合S3中的所有单连通轮廓，保留轮廓面积小于50的像素，并且80％的像素点全部在集合S3内的单连通轮廓，该单连通轮廓内的所有像素点构成待修复像素点集合，该待修复像素点集合记为集合S4。其中，kernel7表示的是一个7*7的差分高斯核，该差分高斯核可以对7*7大小的色痘具有很好的检测效果。
其中，kernel7[]＝{
0.0064,0.0062,0.0050,0.0043,0.0050,0.0062,0.0064,
0.0062,0.0033,-0.0014,-0.0037,-0.0014,0.0033,0.0062,
0.0050,-0.0014,-0.0103,-0.0147,-0.0103,-0.0014,0.0050,
0.0043,-0.0037,-0.0147,-0.0200,-0.0147,-0.0037,0.0043,
0.0050,-0.0014,-0.0103,-0.0147,-0.0103,-0.0014,0.0050,
0.0062,0.0033,-0.0014,-0.0037,-0.0014,0.0033,0.0062,
0.0064,0.0062,0.0050,0.0043,0.0050,0.0062,0.0064
}。
步骤205、对于步骤204中确定的集合S4，使用opencv工具的inpaint修复函数来修复人脸图片。
步骤206、对修复完成的图片进行3*3的高斯模糊，将最终结果显示到图片显示界面模块上。
通过前述对本发明的举例描述可知，本发明可以智能的检测图片中人脸小痘痘的位置，对图片中的人脸中的痘痘进行修补，达到无痕迹的效果，经过去痘处理的照片，皮肤干净。同时还可以辅以磨皮等美化手段，能得到自然的效果，人物也因此变得美丽漂亮，同时不会引入异常效果。在自拍，生活照，艺术照，婚纱照等等多个场景有着具体而又切实的应用。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均是示例性的，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图3-a所示，本发明实施例提供的一种图片的处理装置300，可以包括：人脸检测模块301、五官定位模块302、边缘轮廓检测模块303、修复模块304，其中，
人脸检测模块301，用于获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测，从所述图片中获取到人脸像素点集合，所述人脸像素点集合包括：所述图片中的属于人脸的图像区域内的所有像素点；
五官定位模块302，用于对所述人脸像素点集合进行五官轮廓的定位，从所述人脸像素点集合中获取到待检测像素点集合，所述待检测像素点集合包括：所述人脸像素点集合中除所述人脸的五官轮廓以外的图像区域内的所有像素点；
边缘轮廓检测模块303，用于对所述待检测像素点集合进行边缘轮廓检测，从所述待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，所述待修复像素点集合包括：属于所述单连通轮廓的图像区域内的所有像素点；
修复模块304，用于对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。
在本发明的一些实施例中，请参阅如图3-b所示，所述图片的处理装置300还包括：用户指令解析模块305，用于所述人脸检测模块301获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测之前，检测用户通过用户界面UI显示子系统输入的操作指令；若所述操作指令指示对摄像头拍摄得到的图片进行美化处理，触发执行所述人脸检测模块。
在本发明的一些实施例中，请参阅如图3-c所示，所述图片的处理装置300还包括：图片编解码模块306，用于所述人脸检测模块301使用人脸检测算法对图片进行人脸检测之前，对所述图片进行解码，得到原始图片信息流；对所述原始图片信息流进行编码，得到满足预置格式要求的图片。
在本发明的一些实施例中，请参阅如图3-d所示，所述图片的处理装置300还包括：格式转换模块307，用于所述人脸检测模块301使用人脸检测算法对图片进行人脸检测，从所述图片中获取到人脸像素点集合之前，对所述图片进行格式转换，得到满足YCrCb格式要求的图片，则人脸像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点，待检测像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点。
在本发明的一些实施例中，所述边缘轮廓检测模块303，具体用于使用大律法OTSU得到的全局自适应阈值对所述待检测像素点集合进行二值化图像处理；从二值化图像处理后的待检测像素点集合中将Cr分量取值为0的像素点移除掉，得到边缘轮廓像素点集合；使用预置的差分高斯核对所 述边缘轮廓像素点集合进行人脸灰度图像卷积运算，得到完成人脸灰度图像卷积运算的边缘轮廓像素点集合；使用预置的查找轮廓函数从所述完成人脸灰度图像卷积运算的边缘轮廓像素点集合中查找到单连通轮廓，由所述单连通轮廓获取到待修复像素点集合。
在本发明的一些实施例中，请参阅如图3-e所示，所述图片的处理装置300还包括：磨皮处理模块308，用于所述修复模块304对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合之后，按照预置的模糊半径对包括所述已修复像素点集合的图片进行高斯模糊；将完成高斯模糊的图片输出到UI显示子系统上。
在本发明的一些实施例中，请参阅如图3-f所示，所述图片的处理装置300同时包括上述的人脸检测模块301、五官定位模块302、边缘轮廓检测模块303、修复模块304、用户指令解析模块305、图片编解码模块306、格式转换模块307和磨皮处理模块308。
通过以上对本发明实施例的描述可知，首先获取摄像头拍摄得到的图片，并使用人脸检测算法对该图片进行人脸检测，从图片中获取到人脸像素点集合，人脸像素点集合包括：图片中的属于人脸的图像区域内的所有像素点，然后对人脸像素点集合进行五官轮廓的定位，从人脸像素点集合中获取到待检测像素点集合，待检测像素点集合包括：人脸像素点集合中除人脸的五官轮廓以外的图像区域内的所有像素点，接下来对待检测像素点集合进行边缘轮廓检测，从待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，待修复像素点集合包括：属于单连通轮廓的图像区域内的所有像素点，最后对待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。本发明实施例中，可以自动对图片进行人脸检测、五官轮廓定位、边缘轮廓检测，然后确定出待修复像素点集合，对待修复像素点集合中的所有像素点进行修复，这样就完成了对人脸图片的自动美 化处理，用户不希望展现在图片中的痘、斑、痣等都可以被自动划分到待修复像素点集合中，从而可以自动去除人脸上的痘、斑、痣等不需要展现在图片中的像素点，实现对人脸图片进行自动修复。
本发明实施例还提供了另一种终端，如图4所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图4示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图4，手机包括：射频(Radio Frequency，RF)电路410、存储器420、输入单元430、显示单元440、传感器450、音频电路460、无线保真(wireless fidelity，WiFi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解，图4中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图4对手机的各个构成部件进行具体的介绍：
RF电路410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器480处理；另外，将设计上行的数据发送给基站。通常，RF电路410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access, WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器420可用于存储软件程序以及模块，处理器480通过运行存储在存储器420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元430可包括触控面板431以及其他输入设备432。触控面板431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器480，并能接收处理器480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431，输入单元430还可以包括其他输入设备432。具体地，其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元440可用于显示由用户输入的信息或提供给用户的信息以 及手机的各种菜单。显示单元440可包括显示面板441，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板441。进一步的，触控面板431可覆盖显示面板441，当触控面板431检测到在其上或附近的触摸操作后，传送给处理器480以确定触摸事件的类型，随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图4中，触控面板431与显示面板441是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板431与显示面板441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板441的亮度，接近传感器可在手机移动到耳边时，关闭显示面板441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路460、扬声器461，传声器462可提供用户与手机之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号，传输到扬声器461，由扬声器461转换为声音信号输出；另一方面，传声器462将收集的声音信号转换为电信号，由音频电路460接收后转换为音频数据，再将音频数据输出处理器480处理后，经RF电路410以发送给比如另一手机，或者将音频数据输出至存储器420以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块470可以帮助用 户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块470，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器480可包括一个或多个处理单元；优选的，处理器480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器480中。
手机还包括给各个部件供电的电源490(比如电池)，优选的，电源可以通过电源管理系统与处理器480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端所包括的处理器480还可以执行存储器420中存储的程序指令以执行上述实施例中的图片的处理方法。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性 劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

  1. 一种图片的处理方法，其特征在于，包括：
    获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合，所述人脸像素点集合包括：所述图片中的属于人脸的图像区域内的所有像素点；
    对所述人脸像素点集合进行五官轮廓的定位，从所述人脸像素点集合中获取到待检测像素点集合，所述待检测像素点集合包括：所述人脸像素点集合中除所述人脸的五官轮廓以外的图像区域内的所有像素点；
    对所述待检测像素点集合进行边缘轮廓检测，从所述待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，所述待修复像素点集合包括：属于所述单连通轮廓的图像区域内的所有像素点；
    对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。
  2. 根据权利要求1所述的方法，其特征在于，在获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合之前，所述方法还包括：
    检测用户通过用户界面UI显示子系统输入的操作指令；
    若所述操作指令指示对摄像头拍摄得到的图片进行美化处理，触发执行如下步骤：获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合。
  3. 根据权利要求1所述的方法，其特征在于，所述使用人脸检测算法 对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合之前，所述方法还包括：
    对所述图片进行解码，得到原始图片信息流；
    对所述原始图片信息流进行编码，得到满足预置格式要求的图片。
  4. 根据权利要求1所述的方法，其特征在于，所述使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合之前，所述方法还包括：
    对所述图片进行格式转换，得到满足YCrCb格式要求的图片，则人脸像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点，待检测像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点。
  5. 根据权利要求4所述的方法，其特征在于，所述对所述待检测像素点集合进行边缘轮廓检测，从所述待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，包括：
    使用大律法OTSU得到的全局自适应阈值对所述待检测像素点集合进行二值化图像处理；
    从二值化图像处理后的待检测像素点集合中将Cr分量取值为0的像素点移除掉，得到边缘轮廓像素点集合；
    使用预置的差分高斯核对所述边缘轮廓像素点集合进行人脸灰度图像卷积运算，得到完成人脸灰度图像卷积运算的边缘轮廓像素点集合；
    使用预置的查找轮廓函数从所述完成人脸灰度图像卷积运算的边缘轮廓像素点集合中查找到单连通轮廓，由所述单连通轮廓获取到待修复像素点集合。
  6. 根据权利要求1所述的方法，其特征在于，所述对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合，包括：
    将所述待修复像素点集合中的所有像素点的像素值更改为所述待检测像素点集合中除了待修复像素点集合以外的像素点的像素值。
  7. 根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合之后，所述方法还包括：
    按照预置的模糊半径对包括所述已修复像素点集合的图片进行高斯模糊；
    将完成高斯模糊的图片输出到UI显示子系统上。
  8. 一种图片的处理装置，其特征在于，包括：
    人脸检测模块，用于获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合，所述人脸像素点集合包括：所述图片中的属于人脸的图像区域内的所有像素点；
    五官定位模块，用于对所述人脸像素点集合进行五官轮廓的定位，从所述人脸像素点集合中获取到待检测像素点集合，所述待检测像素点集合包括：所述人脸像素点集合中除所述人脸的五官轮廓以外的图像区域内的所有像素点；
    边缘轮廓检测模块，用于对所述待检测像素点集合进行边缘轮廓检测，从所述待检测像素点集合中提取出单连通轮廓，得到待修复像素点集合，所述待修复像素点集合包括：属于所述单连通轮廓的图像区域内的所有像素点；
    修复模块，用于对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合。
  9. 根据权利要求8所述的装置，其特征在于，所述图片的处理装置还包括：用户指令解析模块，用于所述人脸检测模块获取摄像头拍摄得到的图片，并使用人脸检测算法对所述图片进行人脸检测之前，检测用户通过用户界面UI显示子系统输入的操作指令；若所述操作指令指示对摄像头拍摄得到的图片进行美化处理，触发执行所述人脸检测模块。
  10. 根据权利要求8所述的装置，其特征在于，所述图片的处理装置还包括：图片编解码模块，用于所述人脸检测模块使用人脸检测算法对所述图片进行人脸检测之前，对所述图片进行解码，得到原始图片信息流；对所述原始图片信息流进行编码，得到满足预置格式要求的图片。
  11. 根据权利要求8所述的装置，其特征在于，所述图片的处理装置还包括：格式转换模块，用于所述人脸检测模块使用人脸检测算法对所述图片进行人脸检测，从所述图片中获取到人脸像素点集合之前，对所述图片进行格式转换，得到满足YCrCb格式要求的图片，则人脸像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点，待检测像素点集合中每一个像素点为包括Y分量、Cr分量、Cb分量的像素点。
  12. 根据权利要求11所述的装置，其特征在于，所述边缘轮廓检测模块，具体用于使用大律法OTSU得到的全局自适应阈值对所述待检测像素点集合进行二值化图像处理；从二值化图像处理后的待检测像素点集合中将Cr分量取值为0的像素点移除掉，得到边缘轮廓像素点集合；使用预置的差分高斯核对所述边缘轮廓像素点集合进行人脸灰度图像卷积运算，得 到完成人脸灰度图像卷积运算的边缘轮廓像素点集合；使用预置的查找轮廓函数从所述完成人脸灰度图像卷积运算的边缘轮廓像素点集合中查找到单连通轮廓，由所述单连通轮廓获取到待修复像素点集合。
  13. 根据权利要求8所述的装置，其特征在于，所述修复模块，具体用于将所述待修复像素点集合中的所有像素点的像素值更改为所述待检测像素点集合中除了待修复像素点集合以外的像素点的像素值。
  14. 根据权利要求8至13中任一项所述的装置，其特征在于，所述图片的处理装置还包括：磨皮处理模块，用于所述修复模块对所述待修复像素点集合中的所有像素点进行修复，得到已修复像素点集合之后，按照预置的模糊半径对包括所述已修复像素点集合的图片进行高斯模糊；将完成高斯模糊的图片输出到UI显示子系统上。
PCT/CN2016/097356 2015-09-29 2016-08-30 一种图片的处理方法和装置 WO2017054605A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/699,691 US10438329B2 (en) 2015-09-29 2017-09-08 Image processing method and image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510631783.8 2015-09-29
CN201510631783.8A CN106558025B (zh) 2015-09-29 2015-09-29 一种图片的处理方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/699,691 Continuation-In-Part US10438329B2 (en) 2015-09-29 2017-09-08 Image processing method and image processing apparatus

Publications (1)

Publication Number Publication Date
WO2017054605A1 true WO2017054605A1 (zh) 2017-04-06

Family

ID=58416913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/097356 WO2017054605A1 (zh) 2015-09-29 2016-08-30 一种图片的处理方法和装置

Country Status (3)

Country Link
US (1) US10438329B2 (zh)
CN (1) CN106558025B (zh)
WO (1) WO2017054605A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000777A1 (zh) * 2017-06-27 2019-01-03 五邑大学 基于互联网的人脸美化系统
CN110148147A (zh) * 2018-11-07 2019-08-20 腾讯大地通途（北京）科技有限公司 图像检测方法、装置、存储介质和电子装置
CN112434562A (zh) * 2020-11-03 2021-03-02 浙江大华技术股份有限公司 口罩佩戴状态的检测方法、设备、电子装置和存储介质
CN112434578A (zh) * 2020-11-13 2021-03-02 浙江大华技术股份有限公司 口罩佩戴规范性检测方法、装置、计算机设备和存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274452B (zh) * 2017-05-31 2020-07-24 成都品果科技有限公司 一种痘痘自动检测方法
JP6548312B2 (ja) * 2017-09-19 2019-07-24 株式会社Ｓｕｂａｒｕ 画像処理装置
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
CN107766831B (zh) * 2017-10-31 2020-06-30 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端和计算机可读存储介质
CN107818305B (zh) 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN107833177A (zh) * 2017-10-31 2018-03-23 维沃移动通信有限公司 一种图像处理方法及移动终端
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108320266A (zh) * 2018-02-09 2018-07-24 北京小米移动软件有限公司 一种生成美颜图片的方法和装置
CN109032125B (zh) * 2018-05-31 2021-09-10 上海工程技术大学 一种视觉agv的导航方法
CN108874145B (zh) * 2018-07-04 2022-03-18 深圳美图创新科技有限公司 一种图像处理方法、计算设备及存储介质
JP7108127B2 (ja) * 2018-08-21 2022-07-27 ザ プロクター アンド ギャンブル カンパニー 毛穴の色を特定する方法
CN109360170B (zh) * 2018-10-24 2020-08-14 北京工商大学 基于高级特征的人脸修复方法
CN109614900B (zh) * 2018-11-29 2021-04-02 深圳和而泰数据资源与云技术有限公司 图像检测方法及装置
CN109714482B (zh) * 2018-12-28 2021-03-30 重庆蓝岸通讯技术有限公司 可智能接听、挂断的通话设备
US11461653B2 (en) * 2019-01-23 2022-10-04 StradVision, Inc. Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same
CN110021000B (zh) * 2019-05-06 2023-03-31 厦门稿定股份有限公司 基于图层变形的发际线修复方法及装置
US11132562B2 (en) * 2019-06-19 2021-09-28 Toyota Motor Engineering & Manufacturing North America, Inc. Camera system to detect unusual circumstances and activities while driving
CN110248242B (zh) * 2019-07-10 2021-11-09 广州虎牙科技有限公司 一种图像处理和直播方法、装置、设备和存储介质
CN111081340B (zh) * 2019-12-04 2023-11-03 四川骏逸富顿科技有限公司 一种用于远程检测电子处方信息是否完整的方法
EP4147199A1 (en) 2020-05-08 2023-03-15 The Procter & Gamble Company Methods for identifying dendritic pores
CN111652878B (zh) * 2020-06-16 2022-09-23 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备及存储介质
CN111737245B (zh) * 2020-06-24 2023-04-28 中铁二院工程集团有限责任公司 一种自动修复路网连通性的方法及设备
US11741751B2 (en) 2020-10-01 2023-08-29 Vinai AI Application and Research Joint Stock Co. Masked face recognition method
CN113034349B (zh) * 2021-03-24 2023-11-14 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113435361B (zh) * 2021-07-01 2023-08-01 南开大学 一种基于深度相机的口罩识别方法
CN116152122B (zh) * 2023-04-21 2023-08-25 荣耀终端有限公司 图像处理方法和电子设备
CN116338449B (zh) * 2023-05-26 2023-08-11 中铁电气化局集团有限公司 一种断路器开关特性在线测试方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196475A1 (en) * 2008-02-01 2009-08-06 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
CN101751559A (zh) * 2009-12-31 2010-06-23 中国科学院计算技术研究所 人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN104318262A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 通过人脸照片更换皮肤的方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242775A (ja) * 1999-02-19 2000-09-08 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
US7711610B2 (en) * 2000-07-19 2010-05-04 Shiseido Company, Ltd. Personal color ordering system and personal color ordering method
US7079158B2 (en) * 2000-08-31 2006-07-18 Beautyriot.Com, Inc. Virtual makeover system and method
ATE545718T1 (de) * 2000-12-28 2012-03-15 Kobe Steel Ltd Verwendung eines targets zur lichtbogenionenplattierung für die herstellung eines hartfilms
US20020172419A1 (en) * 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
KR100850460B1 (ko) * 2002-10-10 2008-08-07 삼성테크윈 주식회사 디지털 카메라에서의 얼굴 영상 개선 방법
US7071167B2 (en) * 2002-11-13 2006-07-04 L'oreal Use of a combination of components with an inhibitory synergistic effect on calcium channels to prevent or treat wrinkles and fine lines
US7233693B2 (en) * 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
US7454046B2 (en) * 2005-09-20 2008-11-18 Brightex Bio-Photonics, Llc Method and system for analyzing skin conditions using digital images
US7556605B2 (en) * 2006-10-11 2009-07-07 Access Business Group International Llc Methods for determining elastic and viscoelastic properties of skin
AU2009214829B2 (en) * 2008-02-14 2013-06-20 Gregory Goodman System and method of cosmetic analysis and treatment diagnosis
US8564778B1 (en) * 2011-08-25 2013-10-22 Larry Y Igarashi Custom cosmetic blending machine
US8693768B1 (en) * 2012-07-10 2014-04-08 Lisa LaForgia Cosmetic base matching system
CN104637030B (zh) * 2013-11-08 2017-08-25 浙江大华技术股份有限公司 一种图像增强处理方法及装置
CN104008534B (zh) * 2014-06-18 2017-12-29 福建天晴数码有限公司 一种人脸智能美化方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196475A1 (en) * 2008-02-01 2009-08-06 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
CN101751559A (zh) * 2009-12-31 2010-06-23 中国科学院计算技术研究所 人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN104318262A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 通过人脸照片更换皮肤的方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000777A1 (zh) * 2017-06-27 2019-01-03 五邑大学 基于互联网的人脸美化系统
CN110148147A (zh) * 2018-11-07 2019-08-20 腾讯大地通途（北京）科技有限公司 图像检测方法、装置、存储介质和电子装置
CN110148147B (zh) * 2018-11-07 2024-02-09 腾讯大地通途（北京）科技有限公司 图像检测方法、装置、存储介质和电子装置
CN112434562A (zh) * 2020-11-03 2021-03-02 浙江大华技术股份有限公司 口罩佩戴状态的检测方法、设备、电子装置和存储介质
CN112434562B (zh) * 2020-11-03 2023-08-25 浙江大华技术股份有限公司 口罩佩戴状态的检测方法、设备、电子装置和存储介质
CN112434578A (zh) * 2020-11-13 2021-03-02 浙江大华技术股份有限公司 口罩佩戴规范性检测方法、装置、计算机设备和存储介质
CN112434578B (zh) * 2020-11-13 2023-07-25 浙江大华技术股份有限公司 口罩佩戴规范性检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US10438329B2 (en) 2019-10-08
US20170372459A1 (en) 2017-12-28
CN106558025A (zh) 2017-04-05
CN106558025B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
WO2017054605A1 (zh) 一种图片的处理方法和装置
US10783353B2 (en) Method for detecting skin region and apparatus for detecting skin region
US10769465B2 (en) Method for biometric recognition and terminal device
CN107767333B (zh) 美颜拍照的方法、设备及计算机可存储介质
CN110706179B (zh) 一种图像处理方法及电子设备
WO2019080797A1 (zh) 一种活体检测方法、终端和存储介质
WO2019052329A1 (zh) 人脸识别方法及相关产品
CN107231470B (zh) 图像处理方法、移动终端及计算机可读存储介质
CN108712603B (zh) 一种图像处理方法及移动终端
WO2019011206A1 (zh) 活体检测方法及相关产品
WO2021190428A1 (zh) 图像拍摄方法和电子设备
CN108038825B (zh) 一种图像处理方法及移动终端
WO2019011098A1 (zh) 解锁控制方法及相关产品
JP7467667B2 (ja) 検出結果出力方法、電子機器及び媒体
CN108459799B (zh) 一种图片的处理方法、移动终端及计算机可读存储介质
CN107644395B (zh) 图像处理方法以及移动设备
CN108833779B (zh) 拍摄控制方法及相关产品
WO2019109990A1 (zh) 利用本地图片作为背景的拍照方法、存储介质及移动终端
CN110807769B (zh) 图像显示控制方法及装置
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN107817963B (zh) 一种图像显示方法、移动终端及计算机可读存储介质
EP3432206A1 (en) Method and mobile terminal for processing image and storage medium
CN111556248B (zh) 拍摄方法、装置、存储介质及移动终端
CN112703534B (zh) 图像处理方法及相关产品
CN109819331B (zh) 一种视频通话方法、装置、移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850229

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22.08.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16850229

Country of ref document: EP

Kind code of ref document: A1