WO2018137455A1 - 一种图像互动方法及互动装置 - Google Patents

一种图像互动方法及互动装置 Download PDF

Info

Publication number
WO2018137455A1
WO2018137455A1 PCT/CN2017/118808 CN2017118808W WO2018137455A1 WO 2018137455 A1 WO2018137455 A1 WO 2018137455A1 CN 2017118808 W CN2017118808 W CN 2017118808W WO 2018137455 A1 WO2018137455 A1 WO 2018137455A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial features
expression
face
close
facial
Prior art date
Application number
PCT/CN2017/118808
Other languages
English (en)
French (fr)
Inventor
雷宇
付一洲
李晓帆
李伟栋
王玉坤
金宇林
伏英娜
Original Assignee
迈吉客科技（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 迈吉客科技（北京）有限公司 filed Critical 迈吉客科技（北京）有限公司
Publication of WO2018137455A1 publication Critical patent/WO2018137455A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the present invention relates to the field of computer graphics processing, and in particular, to an image interaction method and an interactive device.
  • the main feature is that the obtained facial face close-up, usually a partial image in a photo, is first presented on the screen of the mobile terminal, and then the mobile is utilized.
  • the terminal camera captures the operator's facial changes and recognizes them as a specific expression, and controls the facial features on the mobile terminal to make corresponding changes.
  • the above computer animation processing method has technical defects in processing the live photo mode. First, it is not possible to pre-form a sequence frame picture of various expressions for a randomly obtained face close-up for real-time call switching. Even if the sequence frame picture of the face close-up expression can be generated in real time after obtaining the specific expression data, the processing capability of the mobile terminal is too high, the system response delay, and excessive energy consumption can only be achieved by reducing the image resolution. The way to attenuate expression details and reduce the quality of the expression.
  • an embodiment of the present invention provides an image interaction method and an interactive device for solving the technical problem that an efficient real-time interactive animation cannot be formed in a live photo mode.
  • Part I Establish a mapping relationship between the photo and the controller's corresponding facial features
  • the second part Identifying the position deviation data of the control person's facial features movement, as the basis for the change of the corresponding position of the photo, forming the effect of the expression change of the photo.
  • the first part is a first part:
  • the second part is the same as The second part:
  • mapping of the initial key parts of the five senses with the key points of the five senses includes:
  • the initial critical part of the controller's facial features is changed by the distance vector matrix and associated with the corresponding facial features in the facial close-up;
  • the associated mapping strategies include:
  • the capture control of the follow-up face of the person, the identification of the subsequent facial features of the facial features, and the deviation data of the key parts of the facial features and the initial critical parts of the facial features include:
  • the relative deviation data of the corresponding facial features of the adjacent facial surfaces are captured to form additional deviation data between the subsequent key parts of the corresponding facial features.
  • the mesh involved in stretching the corresponding facial features by using the deviation data includes:
  • the updating the expression grid, and rendering the texture pattern of the close-up of the face according to the expression grid, forming a frame in the sequence frame includes:
  • the frequency of controlling the update of the expression grid is proportional to the frequency of the subsequent faces of the capture controller, preferably 1:1, 5:1 to 1:10.
  • mapping device configured to establish a mapping relationship between the photo and the corresponding facial features of the controller
  • the identification control device is configured to identify the position deviation data of the control person's facial features, and as a basis for the change of the corresponding position of the photo, the effect of changing the expression of the photo is formed.
  • the mapping device includes:
  • a photo outline recognition module for recognizing a close-up of a face in a photo
  • a key point identification module for identifying a five-point key point in a facial close-up
  • An expression grid generation module is configured to construct an expression grid by using the facial features of the facial features, and divide the texture pattern of the close-up of the face;
  • controller initial expression recognition module configured to capture an initial face of the control person, and identify an initial critical part of the initial facial
  • a mapping module is used to map the initial key parts of the five senses with the key points of the five senses.
  • the identification control device includes:
  • the control person expression data generation module is configured to capture the follow-up face of the control person, identify the key parts of the subsequent facial features, and form deviation data of the key parts of the facial features and the initial key parts of the facial features;
  • An expression grid change generation module configured to stretch the grid involved in the corresponding facial features by using the deviation data
  • An expression grid rendering module configured to update an expression grid, and render a texture pattern of the close-up of the face according to the expression grid to form a frame of the sequence frame;
  • the expression generation module is configured to cyclically call the control person expression data generation module, the expression grid change generation module, and the expression grid rendering module to form a sequence frame picture, and play the face close-up position on the screen to form an expression change.
  • the expression mesh generation module includes:
  • a texture meshing sub-module for associating feature data of each mesh with the covered partial face close-up.
  • the mapping module includes:
  • the first associated sub-module is configured to associate the initial key part of the controller with the corresponding facial features in the facial close-up through the change of the distance vector matrix;
  • a second correlation sub-module configured to perform a one-to-one association of the initial key parts of the controller's facial features to the five-point key points in the facial close-up;
  • the third correlation sub-module is configured to perform a many-to-one association of the initial key parts of the controller's facial features to the facial features in the facial close-up.
  • the control person expression data generation module includes:
  • the additional deviation generation sub-module is configured to capture relative deviation data of the subsequent facial features of the adjacent subsequent faces, and form additional deviation data between the subsequent key parts of the corresponding facial features.
  • the main mesh stretching sub-module is configured to stretch a grid enclosed by the five-point key points in the deviation data
  • a secondary mesh stretch sub-module that stretches the mesh containing the five-point key points in the deviation data.
  • the update frequency sub-module is configured to control a frequency of updating the expression grid to form a proportional relationship with a frequency of capturing subsequent faces of the controller.
  • An image interaction apparatus includes a processor and a memory
  • the memory is configured to store program code for performing the visual tracking method of any one of claims 1 to 8;
  • the processor is configured to execute the program code.
  • the image interaction method and the interactive device of the invention utilize the meshing of the facial close-up to form the associated coordinate points of the key points of the facial features, and replace the key points of the facial features with the initial key parts of the facial features of the controller, and pass through the key parts of the facial features of the facial features.
  • the recognition uses the formed deviation data to adjust the change of the mesh, and the frame sequence image formed by the mesh change is formed to form an expression effect, thereby avoiding the non-real-time manual processing and the real-time modeling rendering complexity in the prior art.
  • FIG. 1 is a flowchart of processing an embodiment of an image interaction method according to the present invention.
  • FIG. 2 is a schematic structural diagram of an embodiment of an image interaction apparatus according to the present invention.
  • the basic image interaction method of the present invention includes:
  • Part I Establish a mapping relationship between the photo and the controller's corresponding facial features
  • the second part Identifying the position deviation data of the control person's facial features movement, as the basis for the change of the corresponding position of the photo, forming the effect of the expression change of the photo.
  • the basic image interaction method of the invention utilizes a transformation model that establishes similar features in a similar coordinate space, and uses the actively changing feature data as a control signal to complete the passive change of the still picture to form a novel visual effect.
  • the second part includes:
  • Step 70 Stretch the mesh involved in the corresponding facial features by using the deviation data
  • Step 80 Update the expression grid, and render the texture pattern of the close-up of the face according to the expression grid to form a frame of the sequence frame;
  • Step 90 Repeat step 60, step 70 and step 80 of the second part to form a sequence frame picture, which is played in the close-up position of the face in the screen to form an expression change.
  • step 10 the identification of individual facial contours in the photograph, including individual head and face contours or individual head contours, is included.
  • Existing identification processes and methods can be employed for the head, face or head and face. There may be distortions or distortions in the head, face or head and face that can be tolerated by the recognition process and method.
  • the key point recognition module 200 mainly recognizes the facial features, the highest point of the facial features, the highest point of the brow bone, the inner corner of the eye, the outer corner of the eye, the corner of the mouth, the inner eyebrow tip, and the outer eyebrow tip.
  • Specific key features such as nose, nose, and pupil.
  • the mapping module 500 includes:
  • the first correlation sub-module 510 is configured to associate the initial facial features of the controller with the corresponding facial features in the facial features by the distance vector matrix change.
  • the disclosed systems, devices, and methods may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的图像互动方法及互动装置，用于解决活照片模式下无法形成高效实时交互动画的技术问题。互动方法包括：第一部分：建立照片与控制人的相应五官位置的映射联系；第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。利用在相似坐标空间内建立相似特征的转换模型，将主动变化的特征数据作为控制信号完成静止画面的被动变化，形成新颖视觉效果。

Description

一种图像互动方法及互动装置
本发明是要求由申请人提出的，申请日为2017年01月25日，申请号为CN201710060919.3，名称为“一种图像互动方法及互动装置”的申请的优先权。以上申请的全部内容通过整体引用结合于此。
技术领域
本发明涉及计算机图形处理领域，特别涉及一种图像互动方法及互动装置。
发明背景
对于让静止人物图像活动起来，通常是采用计算机动画处理。针对脸部特写的活动，美术设计人员需要提前做好脸部特写的图片模型，然后形成连续的序列帧画面，或者是对头脸部建模，绑定好骨头或肌肉，按帧率进行拉伸、纹理贴图、实时渲染，形成序列帧画面。以上处理方法需要确定的人物或脸部特写。
在现有人机交互行为中，需要实现在移动终端上实现活照片模式，主要特点是首先在移动终端屏幕上呈现获得的静止的脸部特写，通常为一张照片中的部分图像，然后利用移动终端摄像头捕捉操作者的面部变化，并识别为一种具体表情，在移动终端摄屏幕上控制脸部特写做出相应的变化。
上述计算机动画处理方法处理活照片模式存在技术缺陷。首先无法为随机获得的脸部特写预先形成各种表情的序列帧画面用于实时调用切换。即使在获得具体表情数据后能够实时生成脸部特写表情的序列帧画面，也会对移动终端的处理能力要求过高，造成系统反应延迟，以及过高的能耗，只能通过减低图像分辨率的方式衰减表情细节，降低表情质量。
发明内容
有鉴于此，本发明实施例提供了一种图像互动方法及互动装置，用于解决活照片模式下无法形成高效实时交互动画的技术问题。
本发明实施例的图像互动方法，包括：
第一部分：建立照片与控制人的相应五官位置的映射联系；
第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
所述第一部分：
识别照片中的脸部特写；
识别脸部特写中的五官关键点位；
利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
捕捉控制人初始面部，识别初始面部的五官初始关键部位；
将五官初始关键部位与五官关键点位形成映射联系；
所述第二部分：
捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
利用偏差数据拉伸相应五官关键点位涉及的网格；
更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括：
利用五官关键点位构建覆盖脸部特写的连续二维网格；
关联每个网格与覆盖的局部脸部特写的特征数据。
所述将五官初始关键部位与五官关键点位形成映射联系包括：
控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联；关联的映射策略包括：
将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括：
捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
所述利用偏差数据拉伸相应五官关键点位涉及的网格包括：
体现在偏差数据中的五官关键点位围成的网格的拉伸；
包含偏差数据中的五官关键点位的网格的拉伸。
所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括：
控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。
本发明实施例的图像互动装置，包括：
映射装置，用于建立照片与控制人的相应五官位置的映射联系；
识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
所述映射装置包括：
照片轮廓识别模块，用于识别照片中的脸部特写；
关键点位识别模块，用于识别脸部特写中的五官关键点位；
表情网格生成模块，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
控制人初始表情识别模块，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；
映射模块，用于将五官初始关键部位与五官关键点位形成映射联系。
所述识别控制装置包括：
控制人表情数据生成模块，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
表情网格变化生成模块，用于利用偏差数据拉伸相应五官关键点位涉及的网 格；
表情网格渲染模块，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
表情生成模块，用于循环调用控制人表情数据生成模块、表情网格变化生成模块和表情网格渲染模块，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
所述表情网格生成模块包括：
连续二维网格生成子模块，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；
纹理网格划分子模块，用于关联每个网格与覆盖的局部脸部特写的特征数据。
所述映射模块包括：
第一关联子模块，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联；
第二关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；
第三关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
所述控制人表情数据生成模块包括：
附加偏差生成子模块，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
所述主要网格拉伸子模块，用于拉伸体现在偏差数据中的五官关键点位围成的网格；
次要网格拉伸子模块，用于拉伸包含偏差数据中的五官关键点位的网格。
所述更新频率子模块，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。
本发明实施例的图像互动装置，包括处理器和存储器，
所述存储器用于存储完成权利要求1至8任一所述的视觉跟踪方法的程序 代码；
所述处理器用于运行所述程序代码。
本发明的图像互动方法与互动装置，利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。利用本发明实施例的图像互动方法，可以快速形成对任意图像中脸部特写的互动过程，使得活照片模式得以推广。
附图简要说明
图1为本发明一种图像互动方法实施例的处理流程图。
图2为本发明一种图像互动装置实施例的架构示意图。
实施本发明的方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。
本发明基本的图像互动方法，包括：
第一部分：建立照片与控制人的相应五官位置的映射联系；
第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
本发明基本的图像互动方法利用在相似坐标空间内建立相似特征的转换模型，将主动变化的特征数据作为控制信号完成静止画面的被动变化，形成新颖视觉效果。
图1为本发明一种图像互动方法实施例的处理流程图。如图1所示，本发明实施例的图像互动方法，
第一部分包括：
步骤10：识别照片中的脸部特写；
步骤20：识别脸部特写中的五官关键点位；
步骤30：利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
步骤40：捕捉控制人初始面部，识别初始面部的五官初始关键部位；
步骤50：将五官初始关键部位与五官关键点位形成映射联系；
第二部分包括：
步骤60：捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
步骤70：利用偏差数据拉伸相应五官关键点位涉及的网格；
步骤80：更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
步骤90：重复第二部分的步骤60、步骤70和步骤80，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
本发明实施例的图像互动方法，利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。利用本发明实施例的图像互动方法，可以快速形成对任意图像中脸部特写的互动过程，使得活照片模式得以推广。
在本发明一实施例的图像互动方法中，步骤10中，包括对照片中单独面部轮廓、包括单独头面部轮廓或单独头部轮廓的识别。头部、面部或头面部可以采用现有的识别过程和方法。头部、面部或头面部可以存在识别过程和方法可容忍的扭曲或歪曲。
在本发明一实施例的图像互动方法中，步骤20中，五官关键点位包括但不限 于五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。识别可以采用现有的识别过程和方法。
在本发明一实施例的图像互动方法中，步骤30中，包括：
利用五官关键点位构建覆盖脸部特写的连续二维网格，形成表情网格。二维网格的每个顶点为一个五官关键点位。每个网格与覆盖的局部脸部特写的面积、形状、纹理、明暗度等局部脸部特写特征相对应。
在本发明一实施例的图像互动方法中，步骤40中，控制人初始面部指采用摄像部件捕捉的第一帧可有效识别五官初始关键部位的控制人面部图像。五官初始关键部位包括但不限于面部轮廓、五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。控制人面部可以存在识别过程和方法可容忍的扭曲或歪曲。
在本发明一实施例中，控制人的五官初始关键部位与照片中脸部特写的五官关键点位受不同识别过程或方法的影响可能会存在数量上和种类上的差异，即同一类型的五官关键特征可以存在一个或一组点标记。例如鼻头，可以是由一个点标记，也可以由围成圆形的若干个点标记。
在本发明一实施例的图像互动方法中，步骤50中包括：
控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联。距离矢量矩阵变化包括旋转、平移、缩放等处理过程，关联包括相互包括、相互覆盖、相互叠加、相互对应等关联关系。
在本发明一实施例中，在控制人的五官初始关键部位与脸部特写中的五官关键点位之间根据映射策略形成相应的关联。映射策略包括：
将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；
或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
不同的映射策略可以调和照片的脸部特写和捕捉的控制人面部的分辨率，也 可以调和照片的拟人形象的脸部特写和捕捉的控制人面部的偏离度。
在本发明一实施例的图像互动方法中，步骤60中还包括：
捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。附加偏差数据可以作为偏差数据的组成部分，提供五官后续关键部位间的微小差异数据，对于高清表情的表现具有促进作用。
在本发明一实施例的图像互动方法中，附加偏差数据的利用可以采用如下步骤：
捕捉到控制人的五官后续关键部位后，把这些关键部位经过矩阵的旋转平移和缩放，映射到识别图片中，此时的控制人的人脸关键部位和图片中人脸关键点会大致重合，然后用控制人的五官关键部位替换图片中的五官关键点。由于控制人的人脸关键部位是每一帧实时都生成的，且与上一帧数据出现偏差，所以会拉伸关键部位涉及的网格。
在本发明一实施例的图像互动方法中，步骤70中，包括体现在偏差数据中的五官关键点位围成的网格的拉伸，以及包含偏差数据中的五官关键点位的网格的拉伸。这样的拉伸可以在保证表情主要动作到位的同时，形成与控制人表情一致的面部过渡动作，避免表情生硬。
在本发明一实施例的图像互动方法中，步骤80中，控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成一定的比例关系，如1:1、5:1～1:10。在本发明一实施例中，这种比例关系与附加偏差数据中的数值正相关，可以有效控制表情变化剧烈程度与渲染处理资源间的平衡。
本发明实施例的图像互动方法可以适应较高分辨率的照片中的脸部特写与相对较低分辨率的控制人表情间的互动适配，从分辨率、捕捉频率、表情剧烈程度和面部差异几方面满足活照片模式的实际应用。
与基本的图像互动方法相应的图像互动装置，包括：
映射装置，用于建立照片与控制人的相应五官位置的映射联系；
识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
图2为本发明一种图像互动装置实施例的架构示意图。如图2所示，本发明实施例的图像互动装置中，映射装置包括：
照片轮廓识别模块100，用于识别照片中的脸部特写；
关键点位识别模块200，用于识别脸部特写中的五官关键点位；
表情网格生成模块300，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
控制人初始表情识别模块400，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；
映射模块500，用于将五官初始关键部位与五官关键点位形成映射联系；
识别控制装置包括：
控制人表情数据生成模块600，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
表情网格变化生成模块700，用于利用偏差数据拉伸相应五官关键点位涉及的网格；
表情网格渲染模块800，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
表情生成模块900，用于循环调用控制人表情数据生成模块600、表情网格变化生成模块700和表情网格渲染模块800，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
在本发明一实施例的图像互动装置中，照片轮廓识别模块100进一步用于对照片中单独面部轮廓、包括单独头面部轮廓或单独头部轮廓的识别。
在本发明一实施例的图像互动装置中，关键点位识别模块200主要识别五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。
在本发明一实施例的图像互动装置中，表情网格生成模块300包括：
连续二维网格生成子模块310，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；
纹理网格划分子模块320，用于关联每个网格与覆盖的局部脸部特写的特征数据。
在本发明一实施例的图像互动装置中，控制人初始表情识别模块400进一步用于识别摄像部件捕捉的第一帧可有效识别五官初始关键部位的控制人面部图像。主要识别面部轮廓、五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。
在本发明一实施例的图像互动装置中，映射模块500包括：
第一关联子模块510，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联。
第二关联子模块520，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联。
第三关联子模块530，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
在本发明一实施例的图像互动装置中，控制人表情数据生成模块600包括：
附加偏差生成子模块610，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
在本发明一实施例的图像互动装置中，表情网格变化生成模块700包括：
主要网格拉伸子模块710，用于拉伸体现在偏差数据中的五官关键点位围成的网格。
次要网格拉伸子模块720，用于拉伸包含偏差数据中的五官关键点位的网格。
在本发明一实施例的图像互动装置中，表情网格渲染模块800包括：
更新频率子模块810，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
本发明一实施例的图像互动装置包括存储器和处理器，其中：
存储器用于存储实现上述实施例的图像互动方法的处理步骤的程序代码；
处理器用于运行实现上述实施例的图像互动方法的处理步骤的程序代码。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件 产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
工业实用性
本发明的图像互动方法及互动装置利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。图像互动方法及互动装置可以应用在智能移动终端上，提高面部识别反馈效率。

Claims (17)

  1. 一种图像互动方法，包括：
    第一部分：建立照片与控制人的相应五官位置的映射联系；
    第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
  2. 如权利要求1所述的图像互动方法，其特征在于，所述第一部分：
    识别照片中的脸部特写；
    识别脸部特写中的五官关键点位；
    利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
    捕捉控制人初始面部，识别初始面部的五官初始关键部位；
    将五官初始关键部位与五官关键点位形成映射联系。
  3. 如权利要求2所述的图像互动方法，其特征在于，所述第二部分：
    捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
    利用偏差数据拉伸相应五官关键点位涉及的网格；
    更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
    重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
  4. 如权利要求3所述的图像互动方法，其特征在于，所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括：
    利用五官关键点位构建覆盖脸部特写的连续二维网格；
    关联每个网格与覆盖的局部脸部特写的特征数据。
  5. 如权利要求3所述的图像互动方法，其特征在于，所述将五官初始关键部位与五官关键点位形成映射联系包括：
    控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五 官关键点位关联；关联的映射策略包括：
    将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
  6. 如权利要求3所述的图像互动方法，其特征在于，所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括：
    捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
  7. 如权利要求3所述的图像互动方法，其特征在于，所述利用偏差数据拉伸相应五官关键点位涉及的网格包括：
    体现在偏差数据中的五官关键点位围成的网格的拉伸；
    包含偏差数据中的五官关键点位的网格的拉伸。
  8. 如权利要求3所述的图像互动方法，其特征在于，所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括：
    控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。
  9. 一种图像互动装置，包括：
    映射装置，用于建立照片与控制人的相应五官位置的映射联系；
    识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
  10. 如权利要求9所述的图像互动装置，其特征在于，所述映射装置包括：
    照片轮廓识别模块，用于识别照片中的脸部特写；
    关键点位识别模块，用于识别脸部特写中的五官关键点位；
    表情网格生成模块，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
    控制人初始表情识别模块，用于捕捉控制人初始面部，识别初始面部的五官 初始关键部位；
    映射模块，用于将五官初始关键部位与五官关键点位形成映射联系。
  11. 如权利要求10所述的图像互动装置，其特征在于，所述识别控制装置包括：
    控制人表情数据生成模块，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
    表情网格变化生成模块，用于利用偏差数据拉伸相应五官关键点位涉及的网格；
    表情网格渲染模块，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
    表情生成模块，用于循环调用控制人表情数据生成模块、表情网格变化生成模块和表情网格渲染模块，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
  12. 如权利要求11所述的图像互动装置，其特征在于，所述表情网格生成模块包括：
    连续二维网格生成子模块，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；
    纹理网格划分子模块，用于关联每个网格与覆盖的局部脸部特写的特征数据。
  13. 如权利要求11所述的图像互动装置，其特征在于，所述映射模块包括：
    第一关联子模块，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联；
    第二关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；
    第三关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
  14. 如权利要求11所述的图像互动装置，其特征在于，所述控制人表情数据生成模块包括：
    附加偏差生成子模块，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
  15. 如权利要求11所述的图像互动装置，其特征在于，所述主要网格拉伸子模块，用于拉伸体现在偏差数据中的五官关键点位围成的网格；
    次要网格拉伸子模块，用于拉伸包含偏差数据中的五官关键点位的网格。
  16. 如权利要求11所述的图像互动装置，其特征在于，所述更新频率子模块，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。
  17. 一种图像互动装置，包括处理器和存储器，其特征在于，
    所述存储器用于存储完成权利要求1至8任一所述的图像互动方法的程序代码；
    所述处理器用于运行所述程序代码。
PCT/CN2017/118808 2017-01-25 2017-12-27 一种图像互动方法及互动装置 WO2018137455A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710060919.3A CN106919906B (zh) 2017-01-25 2017-01-25 一种图像互动方法及互动装置
CN201710060919.3 2017-01-25

Publications (1)

Publication Number Publication Date
WO2018137455A1 true WO2018137455A1 (zh) 2018-08-02

Family

ID=59453574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/118808 WO2018137455A1 (zh) 2017-01-25 2017-12-27 一种图像互动方法及互动装置

Country Status (2)

Country Link
CN (1) CN106919906B (zh)
WO (1) WO2018137455A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584151A (zh) * 2018-11-30 2019-04-05 腾讯科技（深圳）有限公司 人脸美化方法、装置、终端及存储介质
CN109829965A (zh) * 2019-02-27 2019-05-31 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN110223218A (zh) * 2019-05-16 2019-09-10 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN110568933A (zh) * 2019-09-16 2019-12-13 深圳市趣创科技有限公司 基于人脸识别的人机交互方法、装置和计算机设备
CN110610533A (zh) * 2019-08-07 2019-12-24 重庆灵翎互娱科技有限公司 一种基于人脸三维网格模型进行表情捕捉的方法和设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919906B (zh) * 2017-01-25 2021-04-20 迈吉客科技（北京）有限公司 一种图像互动方法及互动装置
CN107481310B (zh) * 2017-08-14 2020-05-08 迈吉客科技（北京）有限公司 一种图像渲染方法和系统
CN108062783A (zh) * 2018-01-12 2018-05-22 北京蜜枝科技有限公司 面部动画映射系统及方法
CN108564659A (zh) * 2018-02-12 2018-09-21 北京奇虎科技有限公司 面部图像的表情控制方法及装置、计算设备
CN109672830B (zh) * 2018-12-24 2020-09-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN109840019B (zh) * 2019-02-22 2023-01-10 网易（杭州）网络有限公司 虚拟人物的控制方法、装置及存储介质
CN110136231B (zh) * 2019-05-17 2023-02-24 网易（杭州）网络有限公司 虚拟角色的表情实现方法、装置及存储介质
CN113031769A (zh) * 2021-03-19 2021-06-25 Oppo广东移动通信有限公司 表盘切换方法、装置、可穿戴设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442137A (zh) * 2013-08-26 2013-12-11 苏州跨界软件科技有限公司 一种在手机通话中查看对方虚拟人脸的方法
KR20150064977A (ko) * 2013-12-04 2015-06-12 건국대학교 산학협력단 얼굴정보 기반의 비디오 분석 및 시각화 시스템
CN105797374A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种配合脸部表情跟随发出相应语音的方法和终端
CN106331572A (zh) * 2016-08-26 2017-01-11 乐视控股（北京）有限公司 一种基于图像的控制方法和装置
CN106919906A (zh) * 2017-01-25 2017-07-04 迈吉客科技（北京）有限公司 一种图像互动方法及互动装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4919028B2 (ja) * 2006-03-03 2012-04-18 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
CN103631370B (zh) * 2012-08-28 2019-01-25 腾讯科技（深圳）有限公司 一种控制虚拟形象的方法及装置
CN104658024A (zh) * 2013-11-21 2015-05-27 大连佑嘉软件科技有限公司 基于特征点的人脸表情合成方法
CN104008564B (zh) * 2014-06-17 2018-01-12 河北工业大学 一种人脸表情克隆方法
CN106296571B (zh) * 2016-07-29 2019-06-04 厦门美图之家科技有限公司 一种基于人脸网格的缩小鼻翼方法、装置和计算设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442137A (zh) * 2013-08-26 2013-12-11 苏州跨界软件科技有限公司 一种在手机通话中查看对方虚拟人脸的方法
KR20150064977A (ko) * 2013-12-04 2015-06-12 건국대학교 산학협력단 얼굴정보 기반의 비디오 분석 및 시각화 시스템
CN105797374A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种配合脸部表情跟随发出相应语音的方法和终端
CN106331572A (zh) * 2016-08-26 2017-01-11 乐视控股（北京）有限公司 一种基于图像的控制方法和装置
CN106919906A (zh) * 2017-01-25 2017-07-04 迈吉客科技（北京）有限公司 一种图像互动方法及互动装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584151A (zh) * 2018-11-30 2019-04-05 腾讯科技（深圳）有限公司 人脸美化方法、装置、终端及存储介质
CN109584151B (zh) * 2018-11-30 2022-12-13 腾讯科技（深圳）有限公司 人脸美化方法、装置、终端及存储介质
CN109829965A (zh) * 2019-02-27 2019-05-31 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN109829965B (zh) * 2019-02-27 2023-06-27 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN110223218A (zh) * 2019-05-16 2019-09-10 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN110223218B (zh) * 2019-05-16 2024-01-12 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN110610533A (zh) * 2019-08-07 2019-12-24 重庆灵翎互娱科技有限公司 一种基于人脸三维网格模型进行表情捕捉的方法和设备
CN110610533B (zh) * 2019-08-07 2023-06-16 重庆灵翎互娱科技有限公司 一种基于人脸三维网格模型进行表情捕捉的方法和设备
CN110568933A (zh) * 2019-09-16 2019-12-13 深圳市趣创科技有限公司 基于人脸识别的人机交互方法、装置和计算机设备

Also Published As

Publication number Publication date
CN106919906B (zh) 2021-04-20
CN106919906A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
WO2018137455A1 (zh) 一种图像互动方法及互动装置
CN112150638B (zh) 虚拟对象形象合成方法、装置、电子设备和存储介质
US10089522B2 (en) Head-mounted display with facial expression detecting capability
US20200285858A1 (en) Method for generating special effect program file package, method for generating special effect, electronic device, and storage medium
WO2020207270A1 (zh) 一种三维人脸重建方法及其系统、装置、存储介质
US11270408B2 (en) Method and apparatus for generating special deformation effect program file package, and method and apparatus for generating special deformation effects
US11368746B2 (en) Method and device for generating special effect program file package, method and device for generating special effect, and electronic device
CN107507216B (zh) 图像中局部区域的替换方法、装置及存储介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN107452049B (zh) 一种三维头部建模方法及装置
CN107564080B (zh) 一种人脸图像的替换系统
CN110349081A (zh) 图像的生成方法、装置、存储介质和电子设备
US11238569B2 (en) Image processing method and apparatus, image device, and storage medium
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
KR102264803B1 (ko) 이미지에서 캐릭터를 추출하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치
US20200380780A1 (en) Method to produce 3d model from one or several images
CN112348937A (zh) 人脸图像处理方法及电子设备
CN110264396A (zh) 视频人脸替换方法、系统及计算机可读存储介质
CN110533761B (zh) 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
CN110910512A (zh) 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN112507766A (zh) 人脸图像提取方法、存储介质及终端设备
US20220277586A1 (en) Modeling method, device, and system for three-dimensional head model, and storage medium
CN105224910B (zh) 一种训练共同注意力的系统及方法
WO2021155666A1 (zh) 用于生成图像的方法和装置
WO2018137454A1 (zh) 一种图像形状调节方法和调节装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17894085

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 22.11.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17894085

Country of ref document: EP

Kind code of ref document: A1