WO2019071903A1 - 微表情面审辅助方法、装置及存储介质 - Google Patents

微表情面审辅助方法、装置及存储介质 Download PDF

Info

Publication number
WO2019071903A1
WO2019071903A1 PCT/CN2018/077342 CN2018077342W WO2019071903A1 WO 2019071903 A1 WO2019071903 A1 WO 2019071903A1 CN 2018077342 W CN2018077342 W CN 2018077342W WO 2019071903 A1 WO2019071903 A1 WO 2019071903A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
feature
face
customer
stress problem
Prior art date
Application number
PCT/CN2018/077342
Other languages
English (en)
French (fr)
Inventor
徐国强
郭鹏程
胡艺飞
单以磊
韦峰
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2019071903A1 publication Critical patent/WO2019071903A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • the present application relates to the field of video processing technologies, and in particular, to a system and method for performing micro-expression analysis based on video.
  • a financial institution When a financial institution receives a large credit loan from a customer, it usually needs an offline or remote review of the risk control personnel.
  • the risk control personnel examines the borrower's relevant information for fraud through a question. At present, reviewing the borrower's fraud is extremely dependent on the experience and judgment of the risk control personnel. There is no tool on the market that can objectively and effectively identify the borrower's fraud.
  • the present application provides a micro-expression facial examination assistant method, device and storage medium, which can identify and analyze the micro-expression of the loan client during the face-to-face review process, and objectively and effectively identify whether the customer is suspected of fraud. .
  • the present application provides a computing device that connects an imaging device through a network, or connects a mobile terminal through a network, and the mobile terminal includes an imaging device.
  • the camera device captures a video of the risk controller's face review loan client and transmits it to the computing device over the network.
  • the processor of the computing device executes the micro-expression face review assistant program in the memory to implement the following steps:
  • the first video collection step collecting a first video of the customer to answer the stress problem, and cutting the first video in units of a single stress problem to obtain a first video segment corresponding to each stress problem;
  • a first feature extraction step extracting a first action feature and a second action feature included in the client face in each of the first video segments;
  • the model training step the feature subset formed by the first action feature and the second action feature identified in each video segment, and the fraudulent labeling of the video segment by the reviewer as sample data, and training the support vector machine model, Get a fraud score model;
  • a second video collection step collecting a second video of the customer answering the stress problem, and cutting the second video in units of a single stress problem to obtain a second video segment corresponding to each stress problem;
  • a second feature extraction step extracting, from each second video segment, a first action feature included in the client face and a feature subset formed by the second action feature;
  • Grading step input the extracted feature subset into the trained fraud score model, and output the fraud score of the customer to answer each stress problem.
  • the first action feature is an action unit (AU), and the second action feature includes a head orientation and an eye orientation.
  • AU action unit
  • the present application also provides a micro-expression facial examination assistant method, which is applied to a computing device, and the method includes:
  • the first video collection step collecting a first video of the customer to answer the stress problem, and cutting the first video in units of a single stress problem to obtain a first video segment corresponding to each stress problem;
  • a first feature extraction step extracting a first action feature and a second action feature included in the client face in each of the first video segments;
  • the model training step the feature subset formed by the first action feature and the second action feature identified in each video segment, and the fraudulent labeling of the video segment by the reviewer as sample data, and training the support vector machine model, Get a fraud score model;
  • a second video collection step collecting a second video of the customer answering the stress problem, and cutting the second video in units of a single stress problem to obtain a second video segment corresponding to each stress problem;
  • a second feature extraction step extracting, from each second video segment, a first action feature included in the client face and a feature subset formed by the second action feature;
  • Grading step input the extracted feature subset into the trained fraud score model, and output the fraud score of the customer to answer each stress problem.
  • the present application further provides a computer readable storage medium, wherein the computer readable storage medium includes a micro-expression facial examination assistant program 10, and the micro-expression facial examination assistant program 10 is processed by a processor. At the time of execution, any of the steps of the micro-expression face review assisting method as described above is implemented.
  • the micro-expression facial examination assistant method, device and storage medium provided by the present application automatically generate a large number of stress problems and standard answers to these stress problems according to the basic information of the loan client.
  • the first video of the customer's response to the stress problem is collected, and the first video captured is cut in units of a single stress problem to obtain a video segment corresponding to each stress problem, and the client face in each video segment is identified.
  • a first action feature AU
  • a second action feature eg, head orientation, eye orientation
  • a subset of features formed by the first action feature and the second action feature identified in each video segment a face review
  • the fraud of the customer's response to the stress problem in the video clip is labeled as sample data, and the support vector machine model is trained to obtain a fraud scoring model. After that, the trained model is applied to the real-time face-to-face review: the second video of the customer's response to the stress problem is collected, and the first video captured is cut in units of a single stress problem to obtain a video corresponding to each stress problem.
  • Fragment extracting a feature subset formed by the first action feature and the second action feature included in the client face from each video segment, inputting the extracted feature subset into the trained fraud score model, and outputting the customer answering each stress problem Fraud score results.
  • FIG. 1 is an application environment diagram of a first preferred embodiment of the micro-expression face review assistant method of the present application.
  • FIG. 2 is an application environment diagram of a second preferred embodiment of the micro-expression face review assisting method of the present application.
  • FIG. 3 is a flow chart of a preferred embodiment of the micro-expression face review assisting method of the present application.
  • FIG. 4 is a specific flowchart of the first preferred embodiment of step S30 of FIG.
  • FIG. 5 is a specific flowchart of the second preferred embodiment of step S30 of FIG.
  • FIG. 1 is an application environment diagram of a first preferred embodiment of the micro-expression face-to-face assistant method of the present application.
  • the camera device 3 is connected to the computing device 1 via the network 2, and the camera device 3 captures a video of the risk controller's face-finding loan client (mainly shooting the face video of the loan client), and transmits it to the computing device 1 through the network 2.
  • the computing device 1 analyzes the video by using the micro-expression face review assistant program 10 (APP) provided by the present application, and gives a risk score to the possibility of customer fraud for reference by the reviewer and the financial institution.
  • APP micro-expression face review assistant program 10
  • the computing device 1 may be a terminal device having a computing function such as a server, a smart phone, a tablet computer, a portable computer, or a desktop computer.
  • the computing device 1 includes a memory 11, a network interface 12, a processor 13, and a communication bus 14.
  • the camera device 3 is installed in a specific place where the face-to-face examination session is performed, such as an office space, a monitoring area, and a video of the risk control personnel facing the loan client.
  • the video of the loan client is mainly photographed by the network 2
  • the captured video is transmitted to the processor 13.
  • Network interface 12 may include a standard wired interface, a wireless interface (such as a WI-FI interface).
  • Communication bus 14 is used to implement connection communication between these components.
  • the memory 11 includes at least one type of readable storage medium.
  • the at least one type of readable storage medium may be a non-volatile storage medium such as a flash memory, a hard disk, a multimedia card, a card type memory, or the like.
  • the readable storage medium may be an internal storage unit of the computing device 1, such as a hard disk of the computing device 1.
  • the readable storage medium may also be an external memory 11 of the computing device 1, such as a plug-in hard disk equipped on the computing device 1, a smart memory card (SMC). , Secure Digital (SD) card, Flash Card, etc.
  • SMC smart memory card
  • SD Secure Digital
  • the memory 11 stores the program code of the micro-expression face review assistant program 10, the video captured by the camera device 3, and the data to which the processor 13 executes the program code of the micro-expression face review assistant program 10. And the final output of the data, etc.
  • Processor 13 may be a Central Processing Unit (CPU), microprocessor or other data processing chip in some embodiments.
  • CPU Central Processing Unit
  • microprocessor or other data processing chip in some embodiments.
  • Figure 1 shows only computing device 1 with components 11-14, but it should be understood that not all illustrated components may be implemented and that more or fewer components may be implemented instead.
  • the computing device 1 may further include a user interface
  • the user interface may include an input unit such as a keyboard, a voice input device such as a microphone, a device with a voice recognition function, a voice output device such as an audio, a headphone, and the like.
  • the user interface may also include a standard wired interface and a wireless interface.
  • the electronic device 1 may further include a display.
  • the display may be an LED display, a liquid crystal display, a touch-sensitive liquid crystal display, an OLED (Organic Light-Emitting Diode) touch sensor, or the like in some embodiments.
  • the display is used to display information processed by the computing device 1 and a visualized user interface.
  • the computing device 1 further comprises a touch sensor.
  • the area provided by the touch sensor for the user to perform a touch operation is referred to as a touch area.
  • the touch sensor described herein may be a resistive touch sensor, a capacitive touch sensor, or the like.
  • the touch sensor includes not only a contact type touch sensor but also a proximity type touch sensor or the like.
  • the touch sensor may be a single sensor or a plurality of sensors arranged, for example, in an array.
  • a user such as a face reviewer, can initiate the micro-expression face review assistant program 10 by touching.
  • FIG. 2 it is an application environment diagram of a second preferred embodiment of the micro-expression face review assistant method of the present application.
  • the loan client and the risk control personnel remotely perform the face review session through the terminal 3, and the camera device 30 of the terminal 3 takes a video of the risk control personnel to face the loan client, and transmits the video to the computing device 1 through the network 2, the processor of the computing device 1.
  • 13 Executes the program code of the micro-expression face review assistant program 10 stored in the memory 11, analyzes the video, and gives a risk score to the possibility of customer fraud for reference by the reviewer and the financial institution.
  • computing device 1 such as memory 11, network interface 12, processor 13 and communication bus 14, and components not shown in the figures, are incorporated herein by reference.
  • the terminal 3 may be a terminal device having a computing function, such as a smart phone, a tablet computer, a portable computer, or a desktop computer.
  • the object to be audited does not meet the requirements itself, but in order to achieve the purpose, such as obtaining trust, obtaining preferential policies, grants, loans, etc., it will deliberately conceal the real situation and provide false information, so it needs to be Whether these objects are suspected of fraud are screened.
  • a customer who seeks fraud will deliberately hide his emotions when the loan is reviewed.
  • the customer will deliberately hide the feelings of guilty conscience, which is difficult to recognize by the human eye alone.
  • micro-expression review assistant program 10 in FIG. 1 or FIG. 2 when executed by the processor 13, implements the following steps:
  • the first video collection step collecting a first video of the customer to answer the stress problem, and cutting the first video in units of a single stress problem to obtain a first video segment corresponding to each stress problem;
  • a first feature extraction step extracting a first action feature and a second action feature included in the client face in each of the first video segments;
  • Model training step a feature subset formed by the first action feature and the second action feature identified in each video segment, and a fraudulent labeling of the video segment by the reviewer as sample data, support vector model , SVM) model training, get fraud score model;
  • a second video collection step collecting a second video of the customer answering the stress problem, and cutting the second video in units of a single stress problem to obtain a second video segment corresponding to each stress problem;
  • a second feature extraction step extracting, from each second video segment, a first action feature included in the client face and a feature subset formed by the second action feature;
  • Grading step input the extracted feature subset into the trained fraud score model, and output the fraud score of the customer to answer each stress problem.
  • the client When applying for a loan, the client will submit some basic information to the financial institution, including ID information, address information, contact number, occupation, and so on. Based on these basic information, in the above stress question and answer step, stress questions and standard answers are generated based on the basic information of the loan client, including the following categories:
  • the first 2 digits of the ID card number represent the province, the municipality, the autonomous region, the 3-4th represent the prefecture-level city, and the 5th to 6th represent the county, the first 7-14 represent the date of birth, 15-16 represent the township, and the 17th represents the gender (1-male, 2- woman), generating the birthday, constellation, residence registration, zip code, area code, zodiac, age, etc. question and answer;
  • the customer's address information by querying the electronic map (such as Baidu map), generate the associated addresses near the address, such as hospitals, shopping malls, parks, restaurants, hotels, and from one of these addresses (such as X Hospital) ) questions and answers to traffic patterns and times to another address (such as Y Park);
  • the electronic map such as Baidu map
  • the code number of the mobile phone number is used.
  • the first 3 digits of the mobile phone number represent the operator, and the 4th-7th represents the attribution of the mobile phone number, and generate the attribution and answer of the attribution and operator. ;
  • FIG. 3 is a flow chart of a preferred embodiment of the micro-expression face review assisting method of the present application.
  • the computing device 1 is started at the same time using the architecture shown in FIG. 1 or FIG. 2, and the processor 13 is started to execute the program code of the micro-expression review assistant program 10, and the following steps are implemented. :
  • step S10 a massive amount of stress problems and standard answers to these stress problems are automatically generated based on the customer's basic information.
  • These stress problems and their standard answers can be prepared and stored in a storage device, such as memory 11 of computing device 1, or other remote or local storage device that can be read by computing device 1.
  • a storage device such as memory 11 of computing device 1, or other remote or local storage device that can be read by computing device 1.
  • step S20 the first video of the customer's response to the stress problem is collected, and the first video is cut in units of a single stress problem to obtain a first video segment corresponding to each stress problem.
  • customers may need to answer dozens or even more of the stress issues during the face-to-face review process. The more stress problems, the more stimulating customers are exposed to real emotions.
  • the way the stress problem is displayed to the customer may be the way the face reviewer asks the customer on the spot: the camera device 3 connected to the computing device 1 records the video of the customer answering the stress problem at the face of the interview; or questions remotely by the face reviewer
  • the video is transmitted and stored in the memory 11 of the computing device 1.
  • the stress problem can also be displayed to the client in the manner of questionnaires on the display interface of the terminal 3.
  • Each stress problem can set a preset answer time, and the next stress problem is displayed after the preset time, the terminal 3 or
  • the camera 2 connected to the network 2 records a video of the customer's response to the stress problem, and the recorded video is transmitted and stored in the memory 11 of the computing device 1.
  • the video of a customer obtained is continuous.
  • the video clips corresponding to each stress problem need to be extracted and analyzed separately.
  • the customer answers the stress question “Do you have fixed housing assets?”, “Is your job stable?”, “If you lend this money to you, can you repay it within the prescribed time limit?” Fragments, cut one by one from the total video, for later analysis.
  • Step S30 extracting a first action feature and a second action feature included in the client face in each of the first video segments.
  • the first action feature refers to a face action unit (AU). Whether it is a complete expression or a micro-expression, it is expressed by the activity of human facial movements. Paul Ekman thus splits and numbers all human facial muscle activities, and then launched the Facial Action Coding System (FACS).
  • AU face action unit
  • FACS Facial Action Coding System
  • AU1 represents an action in which the brow gathers and lifts in the middle.
  • Different AU combinations represent different emotions.
  • the second action feature includes an eyeball orientation and a head orientation.
  • Step S40 the feature subset formed by the first action feature and the second action feature identified in each video segment, and the fraud by the reviewer to mark the video segment as sample data, and training the support vector machine model to obtain Fraud scoring model.
  • the interviewer will comprehensively consider the information provided by the client to apply for the loan, the face review situation, the customer's historical reputation, etc., and assign a fraud label to each video clip.
  • the fraud mark indicates whether the customer is suspected of fraud, for example, 1 indicates fraud suspect. 0 means no fraud suspect.
  • the fraud labeling comprehensively considers the following aspects:
  • E-nuclear opinion determine whether there is fraud suspect after a telephone call back to customers, customers and relatives.
  • Steps S10 to S40 belong to the collection training sample and the model training phase.
  • Step S50 Collect a second video of the customer to answer the stress problem, and cut the second video in units of a single stress problem to obtain a second video segment corresponding to each stress problem.
  • Step S60 extracting, from each second video segment, a feature subset formed by the first action feature and the second action feature included in the client face.
  • Step S50 corresponds to step S20
  • step S60 corresponds to step S30.
  • steps S20 and S30 are applied to the model training phase
  • steps S50 and S60 are applied to the model application phase.
  • Step S70 input the extracted feature subset into the trained fraud score model, and output the fraud score result of the customer to answer each stress problem. For example, when the fraud score of the output is 1, it means that when the customer answers the stress problem, it is not true emotion, there is fraud suspect, and the output fraud score is 0, indicating that the customer responds to the stress problem and the response is true.
  • step S30 in FIG. 4 it is a specific flowchart of the first preferred embodiment of step S30 in FIG.
  • Step S31 extracting a face image from the first video segment by using a face detection algorithm.
  • the face detection algorithm may be a geometric feature based method, a local feature analysis method, a feature face method, an elastic model based method, a neural network method, or the like.
  • Step S32 extracting facial feature points from the face image.
  • 68 human face feature points can be extracted from a face image using the dlib algorithm.
  • eye feature points can also be extracted.
  • each eyeglass extracts one eye feature point.
  • step S33 the extracted facial feature points are subjected to dimensionality reduction processing, such as PCA dimensionality reduction.
  • Step S34 Identify the first action feature appearing in the face image according to the reduced face feature point, and obtain a time duration of each first action feature in the first video segment, and according to each first action feature.
  • the coordinates of the middle face feature point calculate the second action feature included in the first action feature. For example, suppose the first action feature is AU1, that is, “Frown”.
  • the information obtained from the video segment of the customer's answer to the question of residence is as follows: “When the customer answers the question of living, there is a total of frowning, duration, cumulative duration.
  • the time is 1.39 seconds
  • the information of the AU1 obtained from the video segment of the customer's answering identity verification question is as follows: "When the customer answers the question of identity verification, a total of frowns occur once, and the cumulative duration is 3.64 seconds.”
  • the second motion feature such as the orientation of the eyeball and the orientation of the head, may be determined based on the change in position of the facial feature point in the video segment.
  • Steps S31-S34 are the same as in FIG. 4, please refer to the description above.
  • Step S35 counting the time and number of times that the first action feature and the second action feature appear simultaneously in each first video segment.
  • Step S36 counting the time and number of occurrences of the first action feature and the second action feature in each of the first video segments.
  • Steps S35 and S36 are performing feature construction.
  • the video clips of a face-to-face review process usually have at least dozens of them, and the number of combined features obtained through steps S35 and S36 is generally several thousand.
  • step S37 a feature set is generated according to the statistical result.
  • Step S38 using a feature screening algorithm to filter features in the feature set to obtain a feature subset.
  • Feature selection is a data preprocessing method. When the number of features of a sample is very large, only a small number of features may affect the result, so the feature selection algorithm can be used to reduce the number of features.
  • the feature filtering algorithm herein may be a forward/backward search, a filter feature selection, or other available feature filtering algorithms.
  • the embodiment of the present application further provides a computer readable storage medium, where the computer readable storage medium includes a micro-expression facial examination assistant program 10, and the micro-expression facial examination assistant program 10 is implemented by a processor. Please refer to the above description about FIG. 3 to FIG. 5, and details are not described herein again.
  • a disk including a number of instructions for causing a terminal device (which may be a mobile phone, a computer, a server, or a network device, etc.) to perform the methods described in the various embodiments of the present application.
  • a terminal device which may be a mobile phone, a computer, a server, or a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请提供一种微表情面审辅助方法、装置及计算机可读存储介质。该方法包括以下步骤：生成应激问题及其标准答案；切割客户回答应激问题的第一视频得到每个应激问题对应的第一视频片段；提取每个第一视频片段中客户面部包含的第一、第二动作特征；以第一、第二动作特征形成的特征子集，以及该视频片段的欺诈标注训练支持向量机模型得到评分模型；采集客户回答应激问题的第二视频，切割第二视频得到每个应激问题对应的第二视频片段；从每个第二视频片段中提取客户面部包含的第一、第二动作特征形成的特征子集；将特征子集输入评分模型，输出客户回答每个应激问题的欺诈评分结果。利用本申请，可以有效识别客户是否存在欺诈嫌疑。

Description

微表情面审辅助方法、装置及存储介质
本申请要求于2017年9月25日提交中国专利局、申请号为201710955000.0、发明名称为“微表情面审辅助方法、装置及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及视频处理技术领域，尤其涉及一种基于视频进行微表情分析的系统及方法。
背景技术
金融机构在接收到客户申请的大额信用贷款时，通常需要风控人员的线下或远程面审，风控人员通过提问来审核借款人的相关信息是否存在欺诈。目前，审核借款人是否欺诈极度依赖于风控人员的经验和判断，市面上没有一款能够客观、有效地识别借款人是否存在欺诈的工具。
发明内容
鉴于以上原因，本申请提供一种微表情面审辅助方法、装置及存储介质，可以在面审过程中，对贷款客户的微表情进行识别、分析，客观、有效地甄别客户是否存在欺诈的嫌疑。
为实现上述目的，本申请提供一种计算装置，该计算装置通过网络连接摄像装置，或是通过网络连接移动终端、该移动终端包括摄像装置。摄像装置拍摄风控人员面审贷款客户的视频，通过网络传送至该计算装置。该计算装置的处理器执行存储器中的微表情面审辅助程序，实现以下步骤：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
所述第一动作特征为动作单元(action unit，AU),所述第二动作特征包括头部朝向及眼球朝向。
本申请还提供一种微表情面审辅助方法，应用于计算装置，该方法包括：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述所述计算机可读存储介质中包括微表情面审辅助程序10，所述微表情面审辅 助程序10被处理器执行时，实现如上所述的微表情面审辅助方法中的任意步骤。
本申请提供的微表情面审辅助方法、装置及存储介质，根据贷款客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案。在模型训练阶段，采集客户回答应激问题的第一视频，以单个应激问题为单位对采集的第一视频进行切割得到每个应激问题对应的视频片段，识别每个视频片段中客户面部包含的第一动作特征(AU)及第二动作特征(例如头部朝向、眼球朝向)，以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段中的客户回答应激问题的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型。之后，将训练好的模型应用于实时的面审环节：采集客户回答应激问题的第二视频，以单个应激问题为单位对采集的第一视频进行切割得到每个应激问题对应的视频片段，从每个视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集，将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。利用本申请，可以客观、有效地甄别客户是否存在欺诈的嫌疑。
附图说明
图1为本申请微表情面审辅助方法第一较佳实施例的应用环境图。
图2为本申请微表情面审辅助方法第二较佳实施例的应用环境图。
图3为本申请微表情面审辅助方法较佳实施例的流程图。
图4为图3中步骤S30第一较佳实施例的具体流程图。
图5为图3中步骤S30第二较佳实施例的具体流程图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参图1所示，是本申请微表情面审辅助方法第一较佳实施例的应用环境图。在该实施例中，摄像装置3通过网络2连接计算装置1，摄像装置3拍摄风控人员面审贷款客户的视频(主要是拍摄贷款客户的正脸视频)，通过网络2传送至计算装置1，计算装置1利用本申请提供的微表情面审辅助程序10(APP)，对视频进行分析，对客户欺诈的可能性给出一个风险评分，供面审人员及金融机构参考。
计算装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该计算装置1包括：存储器11、网络接口12、处理器13及通信总线14。
摄像装置3安装于执行面审环节的特定场所，如办公场所、监控区域，拍摄风控人员面审贷款客户的视频，在本申请中，主要是拍摄贷款客户的正脸视频，通过网络2将拍摄得到的视频传输至处理器13。网络接口12可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线14用于实现这些组件之间的连接通信。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述计算装置1的内部存储单元，例如该计算装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述计算装置1的外部存储器11，例如所述计算装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11存储所述微表情面审辅助程序10的程序代码、摄像装置3拍摄的视频，以及处理器13执行微表情面审辅助程序10的程序代码应用到的数据以及最后输出的数据等。
处理器13在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片。
图1仅示出了具有组件11-14的计算装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该计算装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语 音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器。显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器用于显示计算装置1处理的信息以及可视化的用户界面。
可选地，该计算装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。用户，例如面审人员，可以通过触摸启动微表情面审辅助程序10。
参图2所示，是本申请微表情面审辅助方法第二较佳实施例的应用环境图。贷款客户、风控人员通过终端3远程执行面审环节，终端3的摄像装置30拍摄风控人员面审贷款客户的视频，并通过网络2传送至所述计算装置1，计算装置1的处理器13执行存储器11存储的微表情面审辅助程序10的程序代码，对视频进行分析，对客户欺诈的可能性给出一个风险评分，供面审人员及金融机构参考。
图2中计算装置1的组件，例如图中示出的存储器11、网络接口12、处理器13及通信总线14，以及图中未示出的组件，请参关于图1的介绍。
所述终端3可以为智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
在一些场景中，待审核的对象自身不符合要求，但为了达成目的，例如获取信任，获取优惠政策、资助、贷款等等，会刻意隐瞒真实情况，提供虚假信息，故在审核过程中需要对这些对象是否存在欺诈嫌疑进行甄别。例如，图谋欺诈的客户在贷款面审的时候，会故意隐藏其情绪，如客户会刻意隐藏心虚的情绪，单凭人眼难以识别。但是，可以通过多种应激，刺激客户表现出真实情绪，再借助摄像装置30拍摄客户回答应激问题过程中的视频、利用微表情面审辅助程序10对视频进行分析，辅助判断客户是否存在欺诈嫌疑。
图1或图2中的微表情面审辅助程序10，在被处理器13执行时，实现以下步骤：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机(support vector model，SVM)模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
客户在申请贷款时，会向金融机构提交一些基本信息，包括身份证信息、地址信息、联系电话、职业等等。根据这些基本信息，上述应激问答步骤中，根据贷款客户的基本信息生成应激问题及标准答案，包括以下几个类别：
A.根据客户的身份证信息，通过身份证的编码规范，例如身份证号码的前2位代表省、直辖市、自治区，第3-4位代表地级市，第5-6位代表县，第7-14位代表出生日期，第15-16位代表乡政，第17位代表性别(1-男，2-女)，生成生日、星座、户籍所在地、户籍所在地邮编、区号、生肖、年龄等问题和答案；
B.根据客户的地址信息，通过查询电子地图(如百度地图)，生成该地址附近有哪些关联地址，例如医院、商场、公园、餐馆、酒店，以及这些地址中从某一个地址(例如X医院)到另一个地址(例如Y公园)的交通方式和时间等问题和答案；
C.根据客户的手机号码，通过手机号码的编码规范，例如，手机号呢前3位数字代表运营商，第4-7位代表手机号码的归属地，生成归属地、运营商的问题和答案；
D.根据客户的职业，生成相关问题和答案，例如：
客户申请贷款填写的职业为“批发、零售充电宝”，则可以生成以下问题：
充电宝有什么品牌？
华为充电宝容量最大多少？
客户申请贷款填写的职业为“养猪”，则可以生成以下问题：
猪每天睡觉多长时间？
猪长到100斤需要多久？
客户申请贷款填写的职业为“JAVA工程师”，则可以生成以下问题：
什么是Spring框架？请说几个你常用的设计模式？
这些应激问题及其标准答案，预存于计算装置1的存储器11，或是存储于通过网络与计算装置1连接的其它存储设备。
上述关于生成应激问题仅是提供部分例子，未能穷举。
关于上述步骤的详细介绍，请参图3关于方法流程图的说明。
如图3所示，为本申请微表情面审辅助方法较佳实施例的流程图。在需要对特定对象是否存在欺诈嫌疑的情况下，利用图1或图2所示的架构，同时启动计算装置1，并启动处理器13执行微表情面审辅助程序10的程序代码，实现以下步骤：
步骤S10，根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案。这些应激问题及其标准答案可以实现准备好，存储于存储设备，例如计算装置1的存储器11，或者其它可以由计算装置1读取的远端或本地存储设备。如何根据贷款客户的基本信息生成应激问题及标准答案，请参上文中的示例，在次不再赘述。
步骤S20，采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段。例如，客户在面审的过程中，可能需要回答几十个甚至更多数量的应激问题。应激问题越多，越能刺激客户暴露出真实情绪。
应激问题展示给客户的方式，可以是面审人员现场提问客户的方式：与计算装置1相连接的摄像装置3录制客户在面审现场回答应激问题的视频；或者以面审人员远程提问客户的方式：客户与面审人员通过终端3及网络2远程连接，面审人员远程提问，并利用终端3的摄像装置30或网络2连接的摄像装置30录制客户回答应激问题的视频，录制的视频传送并存储于计算装置1的存储器11中。此外，所述应激问题还可以问卷的方式在终端3的显示界面展示给客户，每一个应激问题可以设置预设的答题时间，超过预设时间则展示下一个应激问题，终端3或网络2连接的摄像装置30录制客户回答应激问题的视频，录制的视频传送并存储于计算装置1的存储器11中。
拍摄得到的一个客户的视频是连续的，为甄别回答每个应激问题时客户的真实情绪，需将各个应激问题对应的视频片段分别提取、分析。例如，将客户回答应激问题“你是否有固定住房资产？”、“你的工作稳定吗？”、“如果将这笔资金贷款给你，你是否能在规定期限能还款？”的视频片段，逐一从总的视频中切割出来，留待后续分析。
步骤S30，提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征。
第一动作特征指的是面部动作单元(action unit，AU)。不论完整表情，还是微表情，都是藉由人类面部动作的活动而表现。保罗·艾克曼因此把人类所有面部肌肉的活动拆分、编号，继而推出了面部行为编码系统(Facial ActionCodingSystem，FACS)。
保罗·艾克曼总结出人类一共有39个主要的AU。每一个AU，就是脸部的一小组肌肉收缩代码。比如AU1就代表眉头向中间聚拢并抬起的一个动作。不同的AU组合代表了不同的情绪。
第二动作特征包括眼球朝向、头部朝向。
有研究发现，对大多数人来说，当人们的大脑进入记忆搜索状态，也就是回忆某件真实存在的事情时，眼睛会先向上、再向左转动。
大部分人，当大脑正在“建筑”一个声音或图像时，换句话说，人们撒谎的时候，眼球的运动方向可能是右上方，但如果并不转动眼睛，也不能说明其没有说谎。如果人们在试图记起确实发生的事情，会向左上方看。这种“眼动”是一种反射动作，除非受过严格训练，否则是假装不来的。
再者，欺诈者被审核时，若注意力太集中，眼球开始干燥会导致过多地眨眼，这是个致命的信息泄露。
大部分说谎者的表情、动作都与平时不一样，通过有效识别、分析是能发现端倪的。
关于提取第一动作特征及第二动作特征的具体原理，请参图4及图5的详细介绍。
步骤S40，以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型。
面审人员会综合考虑客户申请贷款提供的资料、面审情况、客户的历史信誉等，给每一个视频片段分配一个欺诈标注，欺诈标注表示该客户是否存在欺诈嫌疑，例如1表示有欺诈嫌疑，0代表无欺诈嫌疑。在本实施例中，欺诈标注综合考虑以下几个方面：
客户对应激问题的回答是否错误；
客户回答应激问题时情绪是否异常；
客户是否有逾期还款的记录；
电核意见(对客户、客户亲友进行电话回访后判断是否存在欺诈嫌疑)。
步骤S10至步骤S40，属于收集训练样本、模型训练阶段。样本数据越多，训练得到的欺诈评分模型越精确。之后，进入模型应用阶段。
步骤S50，采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段。
步骤S60，从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集。
步骤S50与步骤S20对应、步骤S60与步骤S30对应，区别在于步骤S20、S30应用于模型训练阶段，步骤S50、S60应用于模型应用阶段。
步骤S70，将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。例如，输出的欺诈评分结果为1时，表示客户回答应激问题时，表现出的不是真实情绪、有欺诈嫌疑，输出的欺诈评分结果为0时，表示客户回答应激问题时反应真实。
如图4所示，为图3中步骤S30第一较佳实施例的具体流程图。
步骤S31，利用人脸检测算法从第一视频片段中提取人脸图像。人脸检测算法可以为基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。
步骤S32，从人脸图像中提取人脸特征点。例如，可以使用dlib算法从人脸图像中提取68个人脸特征点。此外，还可以提取眼球特征点。例如每只眼镜提取一个眼球特征点。
步骤S33，对提取的人脸特征点进行降维处理，例如PCA降维。
步骤S34，根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征。例如，假设第一动作特征为AU1，即“皱眉”，从客户回答居住问题的视频片段中获取得到AU1的信息如下：“客户在回答居住类问题时，共出现皱眉一次，持续时间，累计持续时间1.39秒”，从客户回答身份核实类问题的视频片段中获取得到AU1的信息如下：“客户在回答身份核实类问题时，共出现皱眉一次，累计持续时间3.64秒”。第二动作特征，如眼球朝向、头部朝向，可以根据人脸特征点在视频片段中的位置变化确定。
如图5所示，为图3中步骤S30第二较佳实施例的具体流程图。
步骤S31-S34与图4相同，请参上文中的说明。
步骤S35，统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数。
步骤S36，统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数。
步骤S35、S36是在进行特征构造。一次面审过程的视频片段，通常至少有几十个，经过步骤S35、S36构造得到的组合特征，数目一般是好几千个。
步骤S37，根据统计结果生成一个特征集。
步骤S38，利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。特征选择是一种数据预处理方法。当样本的特征数非常大时，可能仅仅有少部分特征会对结果产生影响，因此可以使用特征选择算法降低特征的数量。
假设样本有n个特征，那么，其有2 n-1种可能的特征子集，如果特征选择需要去穷举所有2 n种可能的特征子集，对于n比较大的情况，计算的代价太大，无法真正实现。因此可以通过一些算法实现特征的选择。这里的特征筛选算法可以为正向搜索/反向搜索(forward/backwardsearch)、过滤特征选择(filter feature selection)，或是其他可用的特征筛选算法。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括微表情面审辅助程序10，所述微表情面审辅助程序10被处理器执行时实现的功能，请参上述关于图3～图5的介绍，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种微表情面审辅助方法，应用于计算装置，其特征在于，该方法包括：
    应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
    第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
    第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
    模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
    第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
    第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
    评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
  2. 如权利要求1所述的微表情面审辅助方法，其特征在于，所述第一特征提取步骤包括以下步骤：
    利用人脸检测算法从第一视频片段中提取人脸图像；
    从人脸图像中提取人脸特征点；
    对提取的人脸特征点进行降维处理；
    根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征。
  3. 如权利要求2所述的微表情面审辅助方法，其特征在于，所述第一特征提取步骤还包括以下步骤：
    统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、 次数；
    统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数；
    根据统计结果生成一个特征集；及
    利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。
  4. 如权利要求1至3任意一项所述的微表情面审辅助方法，其特征在于，所述第一动作特征为动作单元(action unit，AU),所述第二动作特征包括头部朝向及眼球朝向。
  5. 如权利要求1所述的微表情面审辅助方法，其特征在于，其中，所述应激问题展示给客户的方式，是以面审人员现场提问客户的方式：与计算装置相连接的视频录制设备录制客户在面审现场回答应激问题的视频，或者以面审人员远程提问客户的方式：客户与面审人员通过终端及网络远程连接，面审人员远程提问，并利用终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
  6. 如权利要求4所述的微表情面审辅助方法，其特征在于，其中，所述应激问题展示给客户的方式，是以面审人员现场提问客户的方式：与计算装置相连接的视频录制设备录制客户在面审现场回答应激问题的视频，或者以面审人员远程提问客户的方式：客户与面审人员通过终端及网络远程连接，面审人员远程提问，并利用终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
  7. 如权利要求4所述的微表情面审辅助方法，其特征在于，其中，所述应激问题以问卷的方式在终端的显示界面展示给客户，每一个应激问题可以设置预设的答题时间，超过预设时间则展示下一个应激问题，终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
  8. 一种计算装置，其特征在于，所述计算装置包括存储器、处理器，所述存储器中包括微表情面审辅助程序，所述微表情面审辅助程序被所述处理器执行时实现如下步骤：
    应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
    第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
    第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
    模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
    第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
    第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
    评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
  9. 如权利要求8所述的计算装置，其特征在于，所述第一特征提取步骤包括以下步骤：
    利用人脸检测算法从第一视频片段中提取人脸图像；
    从人脸图像中提取人脸特征点；
    对提取的人脸特征点进行降维处理；
    根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征。
  10. 如权利要求9所述的计算装置，其特征在于，所述第一特征提取步骤还包括以下步骤：
    统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数；
    统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数；
    根据统计结果生成一个特征集；及
    利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。
  11. 如权利要求8至10任意一项所述的计算装置，其特征在于，所述第 一动作特征为动作单元(action unit，AU),所述第二动作特征包括头部朝向及眼球朝向。
  12. 如权利要求8所述的计算装置，其特征在于，其中，所述应激问题展示给客户的方式，是以面审人员现场提问客户的方式：与计算装置相连接的视频录制设备录制客户在面审现场回答应激问题的视频，或者以面审人员远程提问客户的方式：客户与面审人员通过终端及网络远程连接，面审人员远程提问，并利用终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
  13. 如权利要求11所述的计算装置，其特征在于，其中，所述应激问题展示给客户的方式，是以面审人员现场提问客户的方式：与计算装置相连接的视频录制设备录制客户在面审现场回答应激问题的视频，或者以面审人员远程提问客户的方式：客户与面审人员通过终端及网络远程连接，面审人员远程提问，并利用终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
  14. 如权利要求11所述的计算装置，其特征在于，其中，所述应激问题以问卷的方式在终端的显示界面展示给客户，每一个应激问题可以设置预设的答题时间，超过预设时间则展示下一个应激问题，终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
  15. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括微表情面审辅助程序，所述微表情面审辅助程序被处理器执行时，实现如下步骤：
    应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
    第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
    第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
    模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支 持向量机模型进行训练，得到欺诈评分模型；
    第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
    第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
    评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
  16. 如权利要求15所述的计算机可读存储介质，其特征在于，所述第一特征提取步骤包括以下步骤：
    利用人脸检测算法从第一视频片段中提取人脸图像；
    从人脸图像中提取人脸特征点；
    对提取的人脸特征点进行降维处理；
    根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征。
  17. 如权利要求16所述的计算机可读存储介质，其特征在于，所述第一特征提取步骤还包括以下步骤：
    统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数；
    统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数；
    根据统计结果生成一个特征集；及
    利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。
  18. 如权利要求15至17任意一项所述的计算机可读存储介质，其特征在于，所述第一动作特征为动作单元(action unit，AU),所述第二动作特征包括头部朝向及眼球朝向。
  19. 如权利要求15所述的计算机可读存储介质，其特征在于，其中，所述应激问题展示给客户的方式，是以面审人员现场提问客户的方式：与计算装置相连接的视频录制设备录制客户在面审现场回答应激问题的视频，或者以面审人员远程提问客户的方式：客户与面审人员通过终端及网络远程连接， 面审人员远程提问，并利用终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
  20. 如权利要求18所述的计算机可读存储介质，其特征在于，其中，所述应激问题展示给客户的方式，是以面审人员现场提问客户的方式：与计算装置相连接的视频录制设备录制客户在面审现场回答应激问题的视频，或者以面审人员远程提问客户的方式：客户与面审人员通过终端及网络远程连接，面审人员远程提问，并利用终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
PCT/CN2018/077342 2017-10-13 2018-02-27 微表情面审辅助方法、装置及存储介质 WO2019071903A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710955000.0 2017-10-13
CN201710955000.0A CN107704834B (zh) 2017-10-13 2017-10-13 微表情面审辅助方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2019071903A1 true WO2019071903A1 (zh) 2019-04-18

Family

ID=61183768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/077342 WO2019071903A1 (zh) 2017-10-13 2018-02-27 微表情面审辅助方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN107704834B (zh)
WO (1) WO2019071903A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192141A (zh) * 2020-01-06 2020-05-22 深圳壹账通智能科技有限公司 基于远程光体积描述术的风险评估方法、装置及存储介质
CN111783543A (zh) * 2020-06-02 2020-10-16 北京科技大学 一种基于多任务学习的面部活动单元检测方法
CN113033359A (zh) * 2021-03-12 2021-06-25 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及系统

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704834B (zh) * 2017-10-13 2021-03-30 深圳壹账通智能科技有限公司 微表情面审辅助方法、装置及存储介质
CN108510194B (zh) * 2018-03-30 2022-11-29 平安科技（深圳）有限公司 风控模型训练方法、风险识别方法、装置、设备及介质
CN108765131B (zh) * 2018-05-18 2023-06-09 深圳壹账通智能科技有限公司 基于微表情的信贷审核方法、装置、终端及可读存储介质
CN108717663B (zh) * 2018-05-18 2023-06-09 深圳壹账通智能科技有限公司 基于微表情的面签欺诈判断方法、装置、设备及介质
CN108734570A (zh) * 2018-05-22 2018-11-02 深圳壹账通智能科技有限公司 一种风险预测方法、存储介质和服务器
CN109118163A (zh) * 2018-07-06 2019-01-01 平安科技（深圳）有限公司 自动输入审批意见的方法、装置、计算机设备及存储介质
CN109410071A (zh) * 2018-09-17 2019-03-01 平安科技（深圳）有限公司 核保数据处理方法、装置、计算机设备和存储介质
CN109389489B (zh) * 2018-09-25 2023-04-18 平安科技（深圳）有限公司 欺诈行为的识别方法、计算机可读存储介质及终端设备
CN109325851A (zh) * 2018-09-29 2019-02-12 平安科技（深圳）有限公司 欺诈概率的展示方法、系统、计算机设备及可读存储介质
CN109543011A (zh) * 2018-10-16 2019-03-29 深圳壹账通智能科技有限公司 问答数据处理方法、装置、计算机设备和存储介质
CN109450639A (zh) * 2018-10-23 2019-03-08 出门问问信息科技有限公司 身份验证的方法、装置、电子设备及计算机可读存储介质
CN109801074A (zh) * 2018-12-13 2019-05-24 平安科技（深圳）有限公司 客户身份核实方法、装置、计算机设备及可读存储介质
CN109872026A (zh) * 2018-12-14 2019-06-11 深圳壹账通智能科技有限公司 评测结果生成方法、装置、设备及计算机可读存储介质
CN109584050A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的用户风险程度分析方法及装置
CN109461073A (zh) * 2018-12-14 2019-03-12 深圳壹账通智能科技有限公司 智能识别的风险管理方法、装置、计算机设备及存储介质
CN109829358A (zh) * 2018-12-14 2019-05-31 深圳壹账通智能科技有限公司 微表情贷款控制方法、装置、计算机设备及存储介质
CN109767317A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于会员等级评定的贷款审核方法、装置、设备及介质
CN109697665A (zh) * 2018-12-15 2019-04-30 深圳壹账通智能科技有限公司 基于人工智能的贷款审核方法、装置、设备及介质
CN109509087A (zh) * 2018-12-15 2019-03-22 深圳壹账通智能科技有限公司 智能化的贷款审核方法、装置、设备及介质
CN109584051A (zh) * 2018-12-18 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的客户逾期风险判断方法及装置
CN109754312A (zh) * 2018-12-18 2019-05-14 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109815803B (zh) * 2018-12-18 2023-04-18 平安科技（深圳）有限公司 面审风险控制方法、装置、计算机设备和存储介质
CN109697666A (zh) * 2018-12-18 2019-04-30 深圳壹账通智能科技有限公司 风险预警方法、装置、计算机设备和存储介质
CN109767321A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 问答过程优化方法、装置、计算机设备和存储介质
CN111353354B (zh) * 2018-12-24 2024-01-23 杭州海康威视数字技术股份有限公司 一种人体应激性信息识别方法、装置及电子设备
CN109543658A (zh) * 2018-12-25 2019-03-29 中国政法大学 智能审讯辅助方法及装置
CN109858411A (zh) * 2019-01-18 2019-06-07 深圳壹账通智能科技有限公司 基于人工智能的案件审判方法、装置及计算机设备
CN109993053B (zh) * 2019-01-23 2023-09-15 平安科技（深圳）有限公司 电子装置、基于微表情识别的访谈辅助方法和存储介质
CN109902656B (zh) * 2019-03-12 2020-10-23 吉林大学 一种面部动作单元的识别方法、系统
CN111429267A (zh) * 2020-03-26 2020-07-17 深圳壹账通智能科技有限公司 面审风险控制方法、装置、计算机设备及存储介质
CN111639536A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 面审欺诈辅助识别方法、装置、电子设备及存储介质
CN112001628A (zh) * 2020-08-24 2020-11-27 河北冀联人力资源服务集团有限公司 智能面试视频的推荐方法
CN113505604B (zh) * 2021-07-16 2023-04-18 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN117422547B (zh) * 2023-12-18 2024-04-02 湖南三湘银行股份有限公司 一种基于智能对话系统与微表情识别的审核装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203016970U (zh) * 2013-01-03 2013-06-26 黑龙江工程学院 一种心理学教学用智能测谎仪
CN104537361A (zh) * 2015-01-15 2015-04-22 上海博康智能信息技术有限公司 基于视频的测谎方法及其测谎系统
CN106529453A (zh) * 2016-10-28 2017-03-22 深圳市唯特视科技有限公司 一种基于增强补丁和多标签学习相结合的表情测谎方法
CN107704834A (zh) * 2017-10-13 2018-02-16 上海壹账通金融科技有限公司 微表情面审辅助方法、装置及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2199943C2 (ru) * 2001-02-16 2003-03-10 Многопрофильное предприятие ООО "Элсис" Способ и устройство регистрации пульсовой волны и биометрическая система
CN103065122A (zh) * 2012-12-21 2013-04-24 西北工业大学 基于面部动作单元组合特征的人脸表情识别方法
CN103211605B (zh) * 2013-05-14 2015-02-18 重庆大学 一种心理测试系统及心理测试方法
CN104408440B (zh) * 2014-12-10 2017-10-17 重庆邮电大学 一种基于两步降维和并行特征融合的人脸表情识别方法
CN104820495B (zh) * 2015-04-29 2019-06-21 姜振宇 一种异常微表情识别与提醒方法及装置
CN105160318B (zh) * 2015-08-31 2018-11-09 北京旷视科技有限公司 基于面部表情的测谎方法及系统
CN205486164U (zh) * 2016-01-21 2016-08-17 合肥君达高科信息技术有限公司 一种新型人脸3d表情动作识别系统
CN107103266B (zh) * 2016-02-23 2019-08-20 中国科学院声学研究所 二维人脸欺诈检测分类器的训练及人脸欺诈检测方法
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN107007257B (zh) * 2017-03-17 2018-06-01 深圳大学 面部不自然度的自动评级方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203016970U (zh) * 2013-01-03 2013-06-26 黑龙江工程学院 一种心理学教学用智能测谎仪
CN104537361A (zh) * 2015-01-15 2015-04-22 上海博康智能信息技术有限公司 基于视频的测谎方法及其测谎系统
CN106529453A (zh) * 2016-10-28 2017-03-22 深圳市唯特视科技有限公司 一种基于增强补丁和多标签学习相结合的表情测谎方法
CN107704834A (zh) * 2017-10-13 2018-02-16 上海壹账通金融科技有限公司 微表情面审辅助方法、装置及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192141A (zh) * 2020-01-06 2020-05-22 深圳壹账通智能科技有限公司 基于远程光体积描述术的风险评估方法、装置及存储介质
CN111783543A (zh) * 2020-06-02 2020-10-16 北京科技大学 一种基于多任务学习的面部活动单元检测方法
CN111783543B (zh) * 2020-06-02 2023-10-27 北京科技大学 一种基于多任务学习的面部活动单元检测方法
CN113033359A (zh) * 2021-03-12 2021-06-25 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及系统
CN113033359B (zh) * 2021-03-12 2023-02-24 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及系统

Also Published As

Publication number Publication date
CN107704834A (zh) 2018-02-16
CN107704834B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2019071903A1 (zh) 微表情面审辅助方法、装置及存储介质
Mason et al. An investigation of biometric authentication in the healthcare environment
JP6937440B2 (ja) マイクロ表現を用いて信ぴょう性を決定するコンピュータ化されたシステムおよび方法
WO2020211388A1 (zh) 基于预测模型的行为预测方法、装置、设备及存储介质
WO2019085329A1 (zh) 基于循环神经网络的人物性格分析方法、装置及存储介质
CN112328999B (zh) 双录质检方法、装置、服务器及存储介质
JP5747116B1 (ja) 防犯システム
CN109492595B (zh) 适用于固定群体的行为预测方法和系统
KR101983558B1 (ko) 보험금 청구 하는 방법 및 장치
CN112233690B (zh) 双录方法、装置、终端及存储介质
US20210192221A1 (en) System and method for detecting deception in an audio-video response of a user
US11934405B2 (en) Method for monitoring user behavior when interacting with content and a system for its implementation
EP4156601A1 (en) Automated code analysis and tagging (methods and systems)
TWM565361U (zh) 金融交易詐騙偵測防範系統
WO2019109530A1 (zh) 情绪识别方法、装置及存储介质
CN112788269B (zh) 视频处理方法、装置、服务器及存储介质
WO2015003287A1 (zh) 一种行为辨识及追踪系统及其运作方法
CN108875514B (zh) 人脸认证方法和系统、以及认证设备和非易失性存储介质
KR102478558B1 (ko) 고객 만족도 조사 수행 시스템
CN109785114A (zh) 用于贷款审核的信用数据展示方法、装置、设备及介质
US20210390445A1 (en) Systems and methods for automatic decision-making with user-configured criteria using multi-channel data inputs
US11948365B2 (en) Frictionless authentication and monitoring
CN116385011A (zh) 基于量子ai遥感视觉的智能交易方法及系统
CN115906028A (zh) 用户身份验证方法、装置和自助服务终端
CN109543562A (zh) 参保人的身份认证方法、保险机构服务器及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18866895

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07/09/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18866895

Country of ref document: EP

Kind code of ref document: A1