TWI724861B - 計算人類使用者的真實性的運算系統與方法以及決定貸款申請者的真實性的方法 - Google Patents

計算人類使用者的真實性的運算系統與方法以及決定貸款申請者的真實性的方法 Download PDF

Info

Publication number
TWI724861B
TWI724861B TW109112083A TW109112083A TWI724861B TW I724861 B TWI724861 B TW I724861B TW 109112083 A TW109112083 A TW 109112083A TW 109112083 A TW109112083 A TW 109112083A TW I724861 B TWI724861 B TW I724861B
Authority
TW
Taiwan
Prior art keywords
data
convolutional neural
neural network
question
user
Prior art date
Application number
TW109112083A
Other languages
English (en)
Other versions
TW202044066A (zh
Inventor
黃曉君
Original Assignee
南韓商韓領有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商韓領有限公司 filed Critical 南韓商韓領有限公司
Publication of TW202044066A publication Critical patent/TW202044066A/zh
Application granted granted Critical
Publication of TWI724861B publication Critical patent/TWI724861B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Development Economics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

提供計算人類使用者的真實性的系統及方法。一種方法 包括：經由網路自使用者裝置接收電子請求，所述請求例示與使用者裝置的視訊連接；使用問題資料庫生成第一問題；經由網路將所生成的問題提供至使用者裝置；分析經由連接接收的視訊資料及音訊資料以提取面部表情；使用卷積神經網路基於面部表情及音訊資料計算對應於預定情緒的第一資料及第二資料；使用第一資料及第二資料生成候選情緒資料；判斷候選情緒資料是否預測預定情緒；以及生成第二問題以收集用於與第一資料及第二資料聚集的附加資料、或者決定使用者的真實性並使用所決定的真實性對使用者請求作出決策。

Description

計算人類使用者的真實性的運算系統與方法以 及決定貸款申請者的真實性的方法
本揭露大體而言是有關於決定真實性的電腦化系統及方法。具體而言，本揭露的實施例是有關於使用人類使用者的微表情來決定真實性的發明性及非傳統系統。
隨著網際網路越來越普及，電子交易已替代了面對面交易。電子交易的類型可能各不相同，包括購買物品及借錢。由於在無面對面交互的情況下難以決定交易夥伴的真實性，因此存在各種偵測欺詐的方式。
然而，現有的決定真實性的方法在本質上是敷衍了事的。所述方法使用交易或信用歷史來評估申請者的可信度，且因此僅限於與申請者相關的一小部分資料。此外，交易或信用歷史可被偽造；因此，所述決定可能不準確。由於此原因，現有的方法常常需要與參與交易的人進行面對面的交互或電話交談。然 而，倘若如此，交易的成本會增加，且進程會被延遲。因此，需要用於以電子方式準確地決定真實性的經改善的系統及方法。
本揭露的一個態樣是有關於一種計算人類使用者的真實性的方法。所述方法可由具有至少一個處理器的裝置實行。所述方法可包括：經由網路自使用者裝置接收電子請求，所述請求例示與所述使用者裝置的視訊連接。所述方法可包括使用問題資料庫生成關於所述請求的第一問題。所述方法可包括經由所述網路將所生成的所述問題提供至所述使用者裝置。所述方法可包括分析經由所述連接接收的視訊資料及音訊資料，所述分析包括自所述視訊資料中提取多種面部表情。所述方法可包括使用第一卷積神經網路基於至少一種所提取的面部表情計算對應於一或多種預定情緒的第一資料，並且使用第二卷積神經網路基於至少兩種所提取的面部表情及所述音訊資料計算對應於所述一或多種預定情緒的第二資料。所述方法可包括使用所述第一資料及所述第二資料生成候選情緒資料。所述方法可包括判斷所述候選情緒資料是否預測預定情緒。基於判斷所述候選情緒資料是否預測所述一或多種預定情緒，所述方法可包括：生成第二問題以收集用於與所述第一資料及所述第二資料聚集的附加資料；或者決定所述使用者的所述真實性，並使用所決定的所述真實性來對所述使用者請求作出決策。
本揭露的另一態樣是有關於一種用於計算人類使用者的 真實性的電腦系統。所述系統可包括至少一個處理器及至少一個儲存指令的記憶體。所述系統可經由網路自使用者裝置接收電子請求，所述請求例示與所述使用者裝置的視訊連接。所述系統可使用問題資料庫生成關於所述請求的第一問題。所述系統可經由所述網路將所生成的所述問題提供至所述使用者裝置。所述系統可分析經由所述連接接收的視訊資料及音訊資料，所述分析包括自所述視訊資料中提取多種面部表情。所述系統可使用第一卷積神經網路基於至少一種所提取的面部表情計算對應於一或多種預定情緒的第一資料，並且使用第二卷積神經網路基於至少兩種所提取的面部表情及所述音訊資料計算對應於所述一或多種預定情緒的第二資料。所述系統可使用所述第一資料及所述第二資料生成候選情緒資料。所述系統可判斷所述候選情緒資料是否預測預定情緒。基於判斷所述候選情緒資料是否預測所述一或多種預定情緒，所述系統可：生成第二問題以收集用於與所述第一資料及所述第二資料聚集的附加資料；或者決定所述使用者的所述真實性，並使用所決定的所述真實性來對所述使用者請求作出決策。
本揭露的又一態樣是有關於一種計算人類使用者的真實性的方法。所述方法可由具有至少一個處理器的裝置實行。所述方法可包括經由網路自使用者裝置接收電子請求，所述請求例示與所述使用者裝置的視訊連接。所述方法可包括使用問題資料庫生成關於所述請求的第一問題。所述方法可包括經由所述網路將所生成的所述問題提供至所述使用者裝置。所述方法可包括分析 經由所述連接接收的視訊資料及音訊資料，所述分析包括自所述視訊資料中提取多種面部表情。所述方法可包括使用空間卷積神經網路基於至少一種所提取的面部表情計算對應於一或多種預定情緒的第一資料，並且使用時間卷積神經網路基於至少兩種所提取的面部表情及所述音訊資料計算對應於一或多種預定情緒的第二資料。所述方法可包括使用所述第一資料及所述第二資料生成候選情緒資料。所述方法可包括判斷所述候選情緒資料是否預測預定情緒。基於判斷所述候選情緒資料是否預測預定情緒，所述方法可包括：生成第二問題以收集用於與所述第一資料及所述第二資料聚集的附加資料；或者決定所述使用者的所述真實性，並使用所決定的所述真實性來對所述使用者請求作出決策。
本文中亦論述了其他系統、方法及電腦可讀取媒體。
100:網路
110:欺騙偵測系統(DDS)
112:處理器
114:資料庫
120:深度學習演算法引擎(DLAE)
120A:空間卷積神經網路(CNN)
120B:時間卷積神經網路(CNN)
120C:組合結果
130A:使用者裝置/平板電腦
130B:使用者裝置/行動裝置/個人數位助理(PDA)
130C:使用者裝置/電腦
140A、140B、140C:使用者
210:原始資料
220:中間結果
300:基於問題的交互模組
302:問題生成模組
304:問題選擇模組
306:詢問決策模組
308:問題提示模組/問題提示
310:音訊及視訊獲取模組
312:音訊/視訊編碼模組
314:保存及上傳伺服器模組
320:音訊及視訊特徵提取模組
322:音訊特徵模組
324:視訊特徵模組
326:特徵資料上傳伺服器模組
330:流媒體模組
332:記錄及保存模組
334:廣播模組/廣播
340:業務介面模組
342:基於問題的邏輯模組
344:業務系統模組
350:音訊及視訊分析模組
352:面部特徵模組
354:語音簽章特徵模組
360:模型計算模組
362:表情分析模組
364:語音簽章分析模組
402、404、406、408、412、422、424、426、432:步驟
圖1繪示與所揭露的實施例一致的與欺騙偵測系統(deception detection system，DDS)通訊的裝置的示例性網路。
圖2是與所揭露的實施例一致的由深度學習演算法引擎(deep learning algorithm engine，DLAE)實行的示例性方法的流程圖。
圖3A繪示與所揭露的實施例一致的由DDS關於客戶操作實行的示例性功能。
圖3B繪示與所揭露的實施例一致的由DDS關於伺服器操作實行的示例性功能。
圖4是與所揭露的實施例一致的用於決定真實性的示例性方法的流程圖。
以下詳細說明參照附圖。在圖式及以下說明中盡可能使用相同的參考編號來指代相同或相似的部件。儘管本文中闡述了若干例示性實施例，然而可具有各種調整、修改及其他實施方式。舉例而言，可對圖中示出的組件及步驟進行替換、添加或調整，且可藉由對所揭露的方法的步驟進行替換、重新排序、移除或添加來調整本文中闡述的例示性方法。因此，以下詳細說明並非僅限於所揭露的實施例及實例。相反，本發明的正確範圍由隨附的專利申請範圍來界定。
本揭露的實施例是有關於被配置用於決定人類使用者的真實性的系統及方法。所揭露的實施例有利地能夠以電子方式使用微表情來決定真實性。微表情可包括僅持續若干分之一秒的不自覺的短暫面部動作。微表情亦可包括微小的眼睛運動或言語微顫(micro trembling of speech)。所述微表情是微妙的，並且幾乎不可能進行抑制及偽造。由於微表情能夠揭示人們可能試圖隱藏的情緒，因此識別微表情能夠幫助決定使用者的真實性。
在一個實施方式中，使用者裝置可向伺服器發送電子請求。根據所述請求，伺服器可為使用者生成一或多個問題。使用者裝置可接收所生成的問題，並為使用者顯示所述問題。使用者裝置可自使用者接收回答，並將回答發送至深度學習演算法引擎 (DLAE)。DLAE可使用兩種卷積神經網路(convolutional neural network，CNN)來分析使用者提供的回答。CNN是多層感知器(multilayer perceptron)的生物激勵變體(biologically inspired variant)，其被設計成模仿供大腦處理視覺資訊的視覺皮層的行為。來自兩種CNN的結果被整合至單個分類器中，所述分類器預測與使用者的微表情相關聯的情緒。若未決定出情緒，則伺服器生成更多的問題，直到決定出情緒。在決定出情緒時，可使用所決定出的情緒來決定使用者的真實性。使用者的回答被分析並儲存在系統中，例如儲存在資料庫中。
在一些實施例中，使用者可為貸款申請者，並且所述系統可由像銀行等金融機構使用。當使用者為貸款申請者時，系統可藉由使用兩種CNN來分析申請者的回答而決定申請者的真實性。所述兩種CNN可包括空間CNN及時間CNN。來自兩種CNN的結果被整合至單個分類器中，所述分類器預測與申請者的微表情相關聯的情緒。本發明的系統及方法可高效且準確地決定申請者的真實性，藉此以電子方式管理整個進程。
參照圖1，示出了與欺騙偵測系統(DDS)110通訊的裝置的示例性網路。如圖1A所示，DDS 110可經由網路100與深度學習演算法引擎(DLAE)120及使用者裝置130A至130C通訊。在一些實施例中，DDS 110可例如使用電纜藉由直接連接與DLAE 120或使用者裝置通訊。
在一些實施例中，DDS 110可被實施為決定使用者的真 實性的電腦系統。DDS 110可包括單個電腦，或者可被配置為包括多個電腦的分布式電腦系統，所述多個電腦交互操作以實行與所揭露的實例相關聯的一或多個進程及功能。在一些實施例中，當自使用者裝置130A至130C接收到電子請求時，DDS 110生成要向使用者140詢問的問題。
如圖1所示，DDS 110可包括處理器112及資料庫114。處理器112可為一或多個已知的處理裝置，例如來自由英特爾TM(IntelTM)製造的奔騰TM(PentiumTM)系列或由AMDTM製造的炫龍TM(TurionTM)系列的微處理器。處理器112可構成同時執行並行處理的單核或多核處理器。舉例而言，處理器112可使用邏輯處理器來同時執行及控制多個進程。處理器112可實施虛擬機技術或其他已知技術，以提供對多個軟體處理、應用程式、程式等進行執行、控制、運作、操縱、儲存等的能力。在另一實例中，處理器112可包括多核處理器佈置，所述佈置被配置為提供並行處理功能，以使得DDS 110能夠同時執行多個進程。此項技術中具有通常知識者將理解，可實施提供本文中揭露的能力的其他類型的處理器佈置。
儘管在圖1中未示出，但DDS 110可包括記憶體。記憶體可儲存當由處理器112執行時實行已知作業系統功能的一或多個作業系統。舉例而言，作業系統可包括微軟視窗(Microsoft Windows)、尤尼克斯(Unix)、利尼克斯(Linux)、安卓(Android)、蘋果麥克作業系統(Mac OS)、蘋果作業系統(iOS)或其他類型 的作業系統。因此，所揭露的發明的實例可用運作任何類型的作業系統的電腦系統操作及運行。記憶體可為揮發性或非揮發性的、磁性的、半導體的、磁帶的、光學的、可移除的、不可移除的或其他類型的儲存裝置或有形電腦可讀取媒體。
DDS 110可包括至少一個資料庫114。資料庫114可儲存可被處理器112用於實行與所揭露的實例相關聯的方法及進程的資料。資料庫114可如圖1所示位於DDS 110中，或者作為另一選擇，資料庫114可在位於DDS 110外部的外部儲存裝置中。儲存在資料庫114中的資料可包括任何合適的資料，例如與要向使用者詢問的潛在問題相關的資訊。問題可包括可向任何使用者詢問的典型問題、或者為與DDS 110交互的使用者客製化的問題。示例性問題可包括：「你的收入是多少」、「你的職業是什麼」、「你在目前的住址住了多久」、「你的電話號碼是多少」以及「你的身份證號碼是多少」。
深度學習演算法引擎(DLAE)120可如圖1所示位於DDS 110外部。作為另一選擇或另外，在一些實施例中，DLAE 120可位於DDS 110內部。DLAE 120可使用兩種CNN來分析使用者的回答。如以下關於圖2所論述，在一些實施例中，所述兩種CNN可包括空間CNN 120A及時間CNN 120B。空間CNN 120A及時間CNN可為已知的神經網路，例如VGG-16及殘差網路(ResNet)50。
空間CNN 120A可在來自影像源的面部上進行預先訓 練，而時間CNN 120B可使用視訊源進行預先訓練。可使用具有針對每種情緒的標記資料的資料集而針對一或多個預定情緒類別來訓練CNN。此種資料集的一個已知實例為影像資料集(ImageNet)。ImageNet是設計用於視覺對象識別軟體研究的大型視覺資料集。
在一些實施例中，預定情緒可包括任意數量的預定情緒類別。舉例而言，預定情緒類別可包括快樂、驚訝、厭惡及壓抑。經訓練的CNN可具有針對每一情緒類別建立的基本事實(ground truth)。在一些實施例中，在訓練CNN之後，可使用一或多個附加資料集來檢查所建立的基本事實的準確性。所述基本事實是基於其衡量使用者的情緒的標準情緒。舉例而言，若使用者的微面部表情完美匹配快樂的基本事實，則使用者100%是快樂的。但若使用者的微表情僅與快樂的基本事實匹配50%，則使用者50%是快樂的。來自兩種CNN的結果被整合至單個分類器中，所述分類器預測與使用者的微表情相關聯的情緒。
在一些實施例中，在DLAE 120分析對使用者的繪示(包括視訊及音訊)之前，可對所述繪示進行預處理。在一些實施例中，在DLAE 120接收代表使用者的視訊之後，DLAE 120可自視訊中提取訊框。提取頻率可為預定的。在一些實施例中，DLAE 120可每十秒自接收的視訊中提取訊框。可使用空間CNN 120A及時間CNN 120B來分析提取的影像。
如以上所闡釋，藉由使用提取的訊框，DLAE 120可決定 使用者的面部表情與每一情緒類別的基本事實的相似程度。舉例而言，DLAE 120可使用空間CNN 120A來分析在提取的訊框中眼睛、眉毛、鼻子、嘴等的位置及動作。舉例而言，訊框可包括使用者的微表情，所述使用者的微表情示出相較於已建立的基本事實，使用者30%是焦慮的、50%是壓抑的、70%是驚訝的且20%是快樂的。分析結果可用作時間CNN 120B的輸入。時間CNN 120B可分析使用者的微表情隨時間的變化。在一些實施例中，時間CNN可分析使用者的搖頭、點頭或微小的眼睛運動。時間CNN 120B亦可識別語音微顫。
可將來自空間CNN 120A及時間CNN 120B的結果進行組合。在一些實施例中，DLAE 120可使用集體方法(ensemble method)(即，多個學習演算法)來組合兩個結果。在一些實施例中，可使用邏輯迴歸模型來進一步分析組合結果。
基於組合結果120C，DLAE 120可決定使用者的情緒，此可用於決定使用者的真實性。若未決定出情緒，則DDS 110可生成更多的問題。DLAE 120可進一步分析對附加問題的回答。DDS 110可繼續生成問題，直到決定出使用者的情緒。
DDS 110及DLAE 120可與例如平板電腦130A、行動裝置/個人數位助理(personal digital assistant，PDA)130B或電腦130C等使用者裝置通訊。使用者裝置130A至130C可包括顯示器。顯示器可包括例如液晶顯示器(liquid crystal display，LCD)、發光二極體螢幕(light emitting diode screen，LED)、有機發光二 極體螢幕(organic light emitting diode screen，OLED)、觸控螢幕及其他已知的顯示裝置。顯示器可向使用者顯示各種資訊。舉例而言，顯示器可顯示由伺服器生成的問題或由DLAE 120決定的結果。
使用者裝置130A至130C可包括一或多個輸入/輸出(input/output，I/O)裝置。I/O裝置可包括使得使用者裝置130A至130C能夠向使用者140A至140C或另一裝置發送資訊並自使用者140A至140C或另一裝置接收資訊的一或多個裝置。I/O裝置可包括各種輸入/輸出裝置、照相機、麥克風、鍵盤、滑鼠型裝置、手勢感測器、動作感測器、物理按鈕、演講輸入(oratory input)等。舉例而言，使用者可藉由使用者裝置130A至130C的照相機及麥克風將使用者面部的視訊提供至DDS 110。I/O裝置亦可包括一或多個通訊模組(圖中未示出)，用於藉由例如在使用者裝置130A至130C與網路100之間建立有線或無線連接來向DDS 110發送資訊及自DDS 110接收資訊。
使用者裝置130A至130C可包括攝影機或者可連接至遠程攝影機。使用者裝置130A至130C可將視訊及音訊訊號傳輸至DDS 110。在一些實施例中，可使用包括例如動態影像專家群(moving picture experts group，MPEG)-4、MPEG-2、無損編解碼器(lossless codec)或其他編解碼器等在內的編解碼器來壓縮視訊及音訊訊號。在一些實施例中，可使用MPEG-4及MPEG-2來壓縮所述訊號。在一些實施例中，可使用不同的編解碼器分別對 視訊及音訊訊號進行編碼及/或壓縮。
使用者140A至140C可為向DDS 110提供電子請求的任何人。在一些實施例中，使用者140A至140C可為貸款申請者。在一些情況下，DDS可被例如銀行及信用合作社等金融機構採用。使用者140A至140C可使用使用者裝置130A至130C自DDS 110接收問題，並向DDS 110提供回答。申請者的回答可由DLAE 120進行分析。
圖2是與所揭露的實施例一致的由深度學習演算法引擎(DLAE)實行的示例性方法的流程圖。DLAE 120可經由使用者裝置130A至130C自使用者140A至140C接收原始資料210。原始資料210可包括使用者對一或多個問題的回答中的視訊及/或語音。如以上所闡釋，可使用兩種卷積神經網路(CNN)來分析原始資料210中的面部表情及音訊。
藉由使用CNN進行分析，DLAE 120可偵測使用者的微表情，例如微面部表情、微小的眼睛運動及言語微顫。如以上所闡釋，DLAE 120可使用空間CNN 120A及時間CNN 120B來分析使用者的視訊及/或音訊。藉由使用組合結果，DLAE 120可決定情緒作為中間結果220。中間結果220可為預定情緒的概率分佈。
在一些實施例中，中間結果可用於決定使用者的真實性。可基於決定的情緒對真實性進行評分。若分數高於臨限值，則使用者可被認為是真實的，而若分數低於臨限值，則使用者可被認為是不真實的。
圖3A繪示在DDS 110的客戶端的示例性模組。該些模組例示由DDS 110關於客戶交互實行的功能。客戶端與伺服器端之間的劃分是出於例示性目的，且並非在所有實施例中皆需要此種劃分。DDS 110的客戶端可包括基於問題的交互模組300、音訊及視訊獲取模組310以及音訊及視訊特徵提取模組320。基於問題的交互模組300可包括問題生成模組302、問題選擇模組304、詢問決策模組306及問題提示模組308。
問題生成模組302可在自使用者裝置130A至130C接收到電子請求時生成問題。問題選擇模組304可選擇一或多個問題來詢問使用者140。在一些實施例中，生成及詢問問題可例如藉由呈現文本問題、或者使用文本至言語模組以電子方式完成。
問題選擇模組304可使用儲存合適資料集的資料庫114，資料庫114包括可向使用者詢問的潛在問題。舉例而言，資料庫114可包括與使用者的收入、職業、地址、電話號碼或身份相關的潛在問題。在為使用者140A至140C選擇問題時，問題選擇模組304可考量使用者提供的任何資訊，包括使用者對一或多個先前問題的先前回答。在一些實施例中，若使用者對問題的回答模糊不清，則問題選擇模組304可選擇下一問題來使對所述問題的回答明晰化。在一些實施例中，問題選擇模組304可根據所生成的問題的重要性及必要性對所生成的問題進行排序。
詢問決策模組306可判斷DDS 110是否需要詢問進一步的問題來決定使用者的情緒。舉例而言，對一或多個使用者的先 前回答的分析結果不足以決定使用者的情緒，則查詢決策模組306可向DDS 110發訊號指示需要進一步的問題。
當使用者的回答偏離各種預測的潛在回答超過預期時，問題提示模組308可向使用者140A至140C提供一或多個提示。在一些實施例中，問題提示模組308可發揮作用以建議對當前問題作出正確回答。舉例而言，DDS 110可能會詢問貸款申請者「你將在每月的哪一天支付貸款的分期付款？」使用者可能會誤解問題且可能會回答「星期三。」在此種情況下，DDS 110可提供問題提示308，並詢問「每個月的哪個日期？」
音訊及視訊獲取模組310可包括音訊/視訊編碼模組312以及保存及上傳伺服器模組314。在將自使用者裝置130A至130C接收的原始資料保存並上傳至DDS 110之前，音訊/視訊編碼模組312可對所述原始資料進行編碼。編碼可將原始資料210改變成可由DDS 110及/或DLAE 120存取、修改或分析的不同格式。如以上所闡釋，編解碼器可包括MPEG-4、MPEG-2、無損編解碼器或其他編解碼器。保存及上傳伺服器模組314可將經編碼的原始資料保存在DDS 110中。
在使用者的音訊及視訊被保存並上傳至DDS 110之後，可提取音訊及視訊特徵。音訊及視訊特徵提取模組320可包括音訊特徵模組322、視訊特徵模組324及特徵資料上傳伺服器模組326。在一些實施例中，音訊特徵模組322可提取音訊資料，且視訊特徵模組324可提取視訊資料。提取可以預定的頻率進行。舉 例而言，音訊特徵模組322及視訊特徵模組324可每十秒自接收的視訊中提取音訊及/或訊框。可使用空間CNN 120A及時間CNN 120B來分析提取的影像。
圖3B繪示在DDS 110的伺服器端的示例性模組。該些模組例示由DDS 110關於系統之間的內部交互(例如，DLAE 120)實行的功能。如以上所闡釋，客戶端與伺服器端之間的劃分是出於例示性目的，且並非在所有實施例中皆需要此種劃分。在DDS 110處的伺服器端模組可包括流媒體模組330、業務介面模組340、音訊及視訊分析模組350以及模型計算模組360。
流媒體模組330可包括記錄及保存模組332及廣播模組334。經由音訊及視訊特徵提取模組320提取的資料可由記錄及保存模組332記錄並保存在伺服器中用於廣播。所述伺服器可為與圖3A中用於保存提取資料的伺服器相同的伺服器，但可為位於DDS 110中的不同伺服器。在一些實施例中，伺服器可位於DDS 110的外部。例如MPEG-4、MPEG-2、無損編解碼器或其他視訊編解碼器等編解碼器可用於保存音訊及視訊資料。
廣播模組334可廣播藉由記錄及保存模組332保存在伺服器中的視訊及音訊資料。如以上所闡釋，音訊及視訊可在被廣播之前進行預處理。藉由被廣播334，所記錄及保存的音訊及視訊可將其畫素資料及光流資料(optical flow data)發送至空間CNN 120A及時間CNN 120B。
業務介面模組340可包括基於問題的邏輯模組342及業 務系統模組344。在一些實施例中，業務介面模組340可在業務系統模組344與DDS 110及/或DLAE 120之間實行通訊。在一些實施例中，業務介面模組340為將DLAE 120連接至業務系統模組344的軟體介面。軟體介面可為應用程式用來進行通訊的語言及代碼。
業務系統模組344可與DLAE 120通訊，並自DLAE 120接收所決定的使用者的真實性資料。如以上所闡釋，可基於決定的情緒對真實性進行評分。在一些實施例中，若分數高於臨限值，則使用者可被認為是真實的。基於使用者的所決定的真實性，業務系統模組344可做出業務決策，例如貸款批准或拒絕決策。
基於問題的邏輯模組342可輔助業務系統模組344做出業務決策。基於問題的邏輯模組342可分析使用者的回答或使用者提供的任何附加資訊，以判斷是否值得與使用者開展業務。舉例而言，若使用者回答使用者的收入遠低於平均水平及/或使用者的債務超過其年收入的兩倍，則業務系統模組344可決定使用者可能並無強大的財務能力，此可能會降低與使用者開展業務的可能性。
在一些實施例中，使用者可為貸款申請者。在實施例中，業務系統模組344可基於申請者的所決定的真實性做出貸款批准決策。藉由業務介面模組340，業務系統模組344可自DDS 110及/或DLAE 120接收所決定的申請者的真實性。基於問題的邏輯模組342可分析貸款申請者的回答或提交的貸款申請，以評定申 請者的財務能力。基於所評定的申請者的財務能力，業務系統模組344亦可進一步決定批准貸款的利率。舉例而言，業務系統模組344可為具有較佳財務能力者確定較低的利率。
音訊及視訊分析模組350可使用空間CNN 120A及時間CNN 120B來分析廣播的音訊及視訊資料。音訊及視訊分析模組350可包括面部特徵模組352及語音簽章(voiceprint)特徵模組354。可使用兩種CNN(空間CNN 120A及時間CNN 120B)來分析面部特徵模組352。來自兩種CNN的結果被整合至單一組合結果120C中，所述單一組合結果120C預測與使用者的微表情相關聯的情緒。語音簽章特徵模組354可使用時間CNN 120B分析廣播的音訊資料。如以上所闡釋，時間CNN可偵測言語微顫。
模型計算模組360可包括表情分析模組362及語音簽章分析模組364。表情分析模組362可自面部特徵模組352接收結果，並計算自使用者的面部表情示出的使用者的情緒。語音簽章分析模組364可自語音簽章特徵模組354接收結果，並計算自使用者的語音顫抖示出的使用者的情緒。在一些實施例中，可利用使用包括語音資料的資料庫訓練的一或多種CNN來分析語音。對來自表情分析模組362及語音簽章分析模組364的計算進行組合。基於組合結果，模型計算模組360可決定使用者的情緒。
圖4是示例性欺騙偵測方法的流程圖。欺騙偵測方法可包括涉及使用者裝置130A至130C、欺騙偵測系統(DDS)110、深度學習演算法引擎(DLAE)120及資料庫114的步驟。
在步驟402中，使用者裝置130A至130C可為使用者(例如，圖1中的使用者140A)生成電子請求。在一些實施例中，使用者140A可為貸款申請者，並且當申請者提交貸款申請時可生成電子請求。在步驟412中，DDS 110可接收所述請求，並且可為使用者140A至140C生成一或多個問題。所述問題可能與使用者的收入、職業、地址、電話號碼或身份有關。在步驟404中，使用者裝置130A至130C可自DDS 110接收所生成的問題，並在使用者裝置130A至130C上顯示所述問題。
在步驟406中，使用者裝置130A至130C可自使用者140A至140C接收回答，並將所述回答發送至DLAE 120。在步驟422中，DLAE 120可使用如以上所闡釋的兩種CNN來分析所接收到的回答。在步驟424中，DLAE 120可使用分析結果來判斷是否決定出使用者的情緒。當DLAE 120就情緒偵測獲得清晰的結果時，可認為已決定出情緒。在步驟432中，將分析結果儲存在資料庫114中，DDS 110在將來可使用所述資料庫114。
在步驟426中，DLAE 120決定使用者的情緒，並將此與使用者裝置130A至130C通訊。如以上在圖3B中所闡釋，所決定的情緒可用於DDS 110來計算使用者的真實性並最終做出業務決策。在步驟408中，使用者裝置130A至130C可因應於使用者的電子請求顯示所決定的業務決策。
若在步驟424中未決定出使用者的情緒，則DLAE 120可向DDS 110發訊號指示需要附加的問題。因此，在步驟412中， DDS 110可生成一或多個進一步的問題。如以上所闡釋，在步驟422中，DLAE 120可分析使用者的附加回答。DDS 110可生成附加的問題，直到DLAE 120確定決定出使用者的情緒。可將分析的回答儲存在資料庫114中。如以上所闡釋，DDS 110可具有自適應學習能力，並且隨著其與使用者交互及儲存來自使用者的更多資料而改善，並且當偵測到顧客可能在說謊時可生成更尖銳的問題。
儘管已參照本揭露的具體實施例示出並闡述了本揭露，然而應理解，本揭露可不加調整地實踐於其他環境中。上述說明是出於例示目的而呈現。以上說明並非詳盡性的且並非僅限於所揭露的精確形式或實施例。藉由考量對所揭露的實施例的說明書及實踐，各種調整及修改對於熟習此項技術者而言將顯而易見。另外，儘管所揭露的實施例的態樣被闡述為儲存於記憶體中，然而熟習此項技術者應理解，該些態樣亦可儲存於其他類型的電腦可讀取媒體上，例如輔助儲存裝置(例如硬碟或光碟唯讀記憶體(compact disc read-only memory，CD ROM))或者其他形式的隨機存取記憶體(random access memory，RAM)或唯讀記憶體(ROM)、通用序列匯流排(universal serial bus，USB)媒體、數位影音光碟(digital versatile disc，DVD)、藍光(Blu-ray)或其他光驅動媒體上。
基於書面說明及所揭露的方法的電腦程式處於有經驗的開發者的技能範圍內。可使用熟習此項技術者已知的任何技術來 創建各種程式或程式模組，或者可結合既有的軟體來設計各種程式或程式模組。舉例而言，可採用或借助.Net Framework、.Net Compact Framework(以及相關語言，例如Visual Basic、C等)、Java、C++、Objective-C、HTML、HTML/AJAX組合、XML或包括Java小程式的HTML來設計程式區段或程式模組。
另外，儘管本文中已闡述了例示性實施例，然而熟習此項技術者基於本揭露將設想出具有等效元素、調整形式、省略、組合(例如，各種實施例之間的態樣的組合)、修改及/或變更的任何及所有實施例的範圍。申請專利範圍中的限制應基於申請專利範圍中採用的語言進行廣義解釋，而並非僅限於本說明書中闡述的實例或在申請的過程期間闡述的實例。所述實例應被視為非排他性的。此外，所揭露的方法的步驟可以任何方式進行調整，包括藉由對步驟進行重新排序及/或插入或刪除步驟。因此，旨在使本說明書及實例僅被認為是例示性的，真正的範圍及精神由以下申請專利範圍及其等效內容的全部範圍來指示。
100:網路
110:欺騙偵測系統(DDS)
112:處理器
114:資料庫
120:深度學習演算法引擎(DLAE)
120A:空間卷積神經網路(CNN)
120B:時間卷積神經網路(CNN)
120C:組合結果
130A:使用者裝置/平板電腦
130B:使用者裝置/行動裝置/個人數位助理(PDA)
130C:使用者裝置/電腦
140A、140B、140C:使用者

Claims (20)

  1. 一種計算人類使用者的真實性的方法，由具有至少一個處理器的裝置實行，所述方法包括：經由網路自使用者裝置接收電子請求，所述電子請求例示與所述使用者裝置的視訊連接；使用問題資料庫生成關於所述電子請求的第一問題；經由所述網路將所生成的所述第一問題提供至所述使用者裝置；分析經由所述視訊連接接收的視訊資料及音訊資料，所述分析包括自所述視訊資料中提取多種面部表情；使用第一卷積神經網路基於所提取的所述面部表情中的至少一者計算對應於一或多種預定情緒的第一資料，並且使用第二卷積神經網路基於所提取的所述面部表情中的至少二者及所述音訊資料計算對應於所述一或多種預定情緒的第二資料；使用所述第一資料及所述第二資料生成候選情緒資料；判斷所述候選情緒資料是否預測所述一或多種預定情緒；基於判斷所述候選情緒資料是否預測所述一或多種預定情緒：生成第二問題以收集用於與所述第一資料及所述第二資料聚集的附加資料；或者決定所述人類使用者的所述真實性，並使用所決定的所述真實性來對所述電子請求作出決策。
  2. 如請求項1所述的方法，其中所述第一卷積神經網路包括空間卷積神經網路，並且所述第二卷積神經網路包括時間卷積神經網路。
  3. 如請求項1所述的方法，更包括使用資源資料庫來訓練所述第一卷積神經網路以及所述第二卷積神經網路中的至少一者，所述資源資料庫包括被標記以建立所述一或多種預定情緒的基本事實的面部資料。
  4. 如請求項3所述的方法，更包括：使用時間內插法來正規化所述資源資料庫；以及使用經正規化的所述資源資料庫來訓練所述第一卷積神經網路以及所述第二卷積神經網路中的至少一者。
  5. 如請求項1所述的方法，其中所述第一卷積神經網路以及所述第二卷積神經網路分析所述人類使用者的微表情。
  6. 如請求項2所述的方法，其中所述時間卷積神經網路分析所述音訊資料。
  7. 如請求項1所述的方法，其中所述一或多種預定情緒包括驚訝、厭惡或壓抑。
  8. 如請求項1所述的方法，其中生成所述第二問題是基於接收到的對至少所述第一問題的回答。
  9. 如請求項1所述的方法，其中所述人類使用者是貸款申請者。
  10. 一種用於計算人類使用者的真實性的運算系統，包括：至少一個處理器；至少一個儲存指令的記憶體，其中所述指令使所述至少一個處理器：經由網路自使用者裝置接收電子請求，所述電子請求例示與所述使用者裝置的視訊連接；使用問題資料庫生成關於所述電子請求的第一問題；經由所述網路將所生成的所述第一問題提供至所述使用者裝置；分析經由所述視訊連接接收的視訊資料及音訊資料，所述分析包括自所述視訊資料中提取多種面部表情；使用第一卷積神經網路基於所提取的所述面部表情中的至少一者計算對應於一或多種預定情緒的第一資料，並且使用第二卷積神經網路基於所提取的所述面部表情中的至少二者及所述音訊資料計算對應於所述一或多種預定情緒的第二資料；使用所述第一資料及所述第二資料生成候選情緒資料；判斷所述候選情緒資料是否預測所述一或多種預定情緒；基於判斷所述候選情緒資料是否預測所述一或多種預定情緒：生成第二問題以收集用於與所述第一資料及所述第 二資料聚集的附加資料；或者決定所述人類使用者的所述真實性，並使用所決定的所述真實性來對所述電子請求作出決策。
  11. 如請求項10所述的運算系統，其中所述第一卷積神經網路包括空間卷積神經網路，並且所述第二卷積神經網路包括時間卷積神經網路。
  12. 如請求項10所述的運算系統，其中所述指令更使所述至少一個處理器使用資源資料庫來訓練所述第一卷積神經網路以及所述第二卷積神經網路中的至少一者，所述資源資料庫包括被標記以建立所述一或多種預定情緒的基本事實的面部資料。
  13. 如請求項12所述的運算系統，其中所述指令更使所述至少一個處理器：使用時間內插法來正規化所述資源資料庫；以及使用經正規化的所述資源資料庫來訓練所述第一卷積神經網路以及所述第二卷積神經網路中的至少一者。
  14. 如請求項10所述的運算系統，其中所述第一卷積神經網路以及所述第二卷積神經網路分析所述人類使用者的微表情。
  15. 如請求項11所述的運算系統，其中所述時間卷積神經網路分析所述音訊資料。
  16. 如請求項10所述的運算系統，其中所述一或多種預定情緒包括驚訝、厭惡或壓抑。
  17. 如請求項10所述的運算系統，其中生成所述第二問題是基於接收到的對至少所述第一問題的回答。
  18. 如請求項10所述的運算系統，其中所述人類使用者是貸款申請者。
  19. 如請求項10所述的運算系統，其中所述運算系統向所述人類使用者提供至少七個問題。
  20. 一種決定貸款申請者的真實性的方法，由具有至少一個處理器的裝置實行，所述方法包括：經由網路自使用者裝置接收電子請求，所述電子請求例示與所述使用者裝置的視訊連接；使用問題資料庫生成關於所述電子請求的第一問題；經由所述網路將所生成的所述第一問題提供至所述使用者裝置；分析經由所述視訊連接接收的視訊資料及音訊資料，所述分析包括自所述視訊資料中提取多種面部表情；使用空間卷積神經網路基於所提取的所述面部表情中的至少一者計算對應於一或多種預定情緒的第一資料，並且使用時間卷積神經網路基於所提取的所述面部表情中的至少二者及所述音訊資料計算對應於所述一或多種預定情緒的第二資料；使用所述第一資料及所述第二資料生成候選情緒資料；判斷所述候選情緒資料是否預測所述一或多種預定情緒；基於判斷所述候選情緒資料是否預測所述一或多種預定情 緒：生成第二問題以收集用於與所述第一資料及所述第二資料聚集的附加資料；或者決定所述貸款申請者的所述真實性，並使用所決定的所述真實性來對所述電子請求作出決策。
TW109112083A 2019-04-12 2020-04-10 計算人類使用者的真實性的運算系統與方法以及決定貸款申請者的真實性的方法 TWI724861B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/383,297 2019-04-12
US16/383,297 US10423773B1 (en) 2019-04-12 2019-04-12 Computerized systems and methods for determining authenticity using micro expressions

Publications (2)

Publication Number Publication Date
TW202044066A TW202044066A (zh) 2020-12-01
TWI724861B true TWI724861B (zh) 2021-04-11

Family

ID=67988611

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110108487A TWI773180B (zh) 2019-04-12 2020-04-10 計算人類使用者的真實性的運算系統與方法
TW109112083A TWI724861B (zh) 2019-04-12 2020-04-10 計算人類使用者的真實性的運算系統與方法以及決定貸款申請者的真實性的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW110108487A TWI773180B (zh) 2019-04-12 2020-04-10 計算人類使用者的真實性的運算系統與方法

Country Status (8)

Country Link
US (3) US10423773B1 (zh)
JP (1) JP6937440B2 (zh)
KR (2) KR102343777B1 (zh)
AU (2) AU2020260429B2 (zh)
PH (1) PH12020551830A1 (zh)
SG (1) SG11202011490TA (zh)
TW (2) TWI773180B (zh)
WO (1) WO2020208470A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853891B2 (en) * 2019-03-11 2023-12-26 Sharecare AI, Inc. System and method with federated learning model for medical research applications
US10423773B1 (en) 2019-04-12 2019-09-24 Coupang, Corp. Computerized systems and methods for determining authenticity using micro expressions
US10559145B1 (en) * 2019-07-17 2020-02-11 Abdulaziz Mohammed Almehmadi Systems and methods for providing behavioral based intention detection
WO2021084810A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 情報処理装置及び情報処理方法、並びに人工知能モデル製造方法
CN110909167B (zh) * 2019-11-29 2022-07-01 重庆邮电大学 一种微博文本分类系统
US11151385B2 (en) 2019-12-20 2021-10-19 RTScaleAI Inc System and method for detecting deception in an audio-video response of a user
CN113361297B (zh) * 2020-02-19 2022-07-29 山东大学 一种基于光流与风车模式特征融合的微表情检测方法
US11321447B2 (en) 2020-04-21 2022-05-03 Sharecare AI, Inc. Systems and methods for generating and using anthropomorphic signatures to authenticate users
CN111652159B (zh) * 2020-06-05 2023-04-14 山东大学 基于多层次特征联合的微表情识别方法及系统
US11611554B2 (en) * 2020-06-08 2023-03-21 Hcl Technologies Limited System and method for assessing authenticity of a communication
CN112115779B (zh) * 2020-08-11 2022-05-13 浙江师范大学 可解释性课堂学生情感分析方法、系统、装置及介质
CN112183419B (zh) * 2020-10-09 2022-06-10 福州大学 一种基于光流生成网络和重排序的微表情分类方法
US11899922B2 (en) * 2021-07-27 2024-02-13 Carnegie Mellon University System, method, and device for interactive neurological training
CN113313096B (zh) * 2021-07-30 2021-11-05 平安科技（深圳）有限公司 基于微表情和面相的多维度数据生成方法及其相关设备
CN114245204B (zh) * 2021-12-15 2023-04-07 平安银行股份有限公司 基于人工智能的视频面签方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189358A1 (en) * 2007-06-18 2010-07-29 Canon Kabushiki Kaisha Facial expression recognition apparatus and method, and image capturing apparatus
US20110032378A1 (en) * 2008-04-09 2011-02-10 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US20180211102A1 (en) * 2017-01-25 2018-07-26 Imam Abdulrahman Bin Faisal University Facial expression recognition
TWM565361U (zh) * 2018-04-02 2018-08-11 華南商業銀行股份有限公司 金融交易詐騙偵測防範系統
TW201901113A (zh) * 2017-05-11 2019-01-01 美商克萊譚克公司 用於對準以不同模態所獲取之影像之以學習為基礎之方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US423773A (en) * 1890-03-18 Chemical-feeder
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2010027035A (ja) 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
US20120204225A1 (en) * 2011-02-08 2012-08-09 Activepath Ltd. Online authentication using audio, image and/or video
US9372976B2 (en) * 2013-03-20 2016-06-21 Dror Bukai Automatic learning multi-modal fraud prevention (LMFP) system
US9294475B2 (en) 2013-05-13 2016-03-22 Hoyos Labs Ip, Ltd. System and method for generating a biometric identifier
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
KR101730340B1 (ko) * 2015-06-05 2017-04-27 주식회사 한국리서치 평가 대상에 대한 평가 결과를 정량화하는 방법
US9619723B1 (en) * 2016-02-17 2017-04-11 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of identification and authentication using facial expression
KR101799874B1 (ko) * 2016-02-22 2017-12-21 한국과학기술연구원 음성／음향 분석 기반 상황 판단 시스템 및 방법
KR102036955B1 (ko) * 2016-03-25 2019-10-25 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
US10051749B2 (en) 2016-07-24 2018-08-14 Lg Electronics Inc. Display device
JP2018032164A (ja) * 2016-08-23 2018-03-01 株式会社ユニバーサルエンターテインメント 面接システム
US20180075565A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger validation systems and methods
US10691923B2 (en) 2016-09-30 2020-06-23 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
KR101834008B1 (ko) * 2016-11-10 2018-03-05 주식회사 어니스트펀드 음성 데이터 기반 신용평가 장치, 방법 및 컴퓨터 프로그램
EP3571627A2 (en) * 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
CN108335193A (zh) 2018-01-12 2018-07-27 深圳壹账通智能科技有限公司 全流程信贷方法、装置、设备及可读存储介质
CN109101933B (zh) 2018-08-21 2021-05-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法
CN109344781A (zh) 2018-10-11 2019-02-15 上海极链网络科技有限公司 一种基于声音视觉联合特征的视频内表情识别方法
US10423773B1 (en) 2019-04-12 2019-09-24 Coupang, Corp. Computerized systems and methods for determining authenticity using micro expressions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189358A1 (en) * 2007-06-18 2010-07-29 Canon Kabushiki Kaisha Facial expression recognition apparatus and method, and image capturing apparatus
US20110032378A1 (en) * 2008-04-09 2011-02-10 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US20180211102A1 (en) * 2017-01-25 2018-07-26 Imam Abdulrahman Bin Faisal University Facial expression recognition
TW201901113A (zh) * 2017-05-11 2019-01-01 美商克萊譚克公司 用於對準以不同模態所獲取之影像之以學習為基礎之方法
TWM565361U (zh) * 2018-04-02 2018-08-11 華南商業銀行股份有限公司 金融交易詐騙偵測防範系統

Also Published As

Publication number Publication date
TWI773180B (zh) 2022-08-01
JP6937440B2 (ja) 2021-09-22
KR20210158376A (ko) 2021-12-30
AU2020260429B2 (en) 2021-02-25
SG11202011490TA (en) 2020-12-30
AU2020260429A1 (en) 2020-12-10
KR20200120457A (ko) 2020-10-21
TW202044066A (zh) 2020-12-01
KR102343777B1 (ko) 2021-12-28
US20210264011A1 (en) 2021-08-26
JP2021517287A (ja) 2021-07-15
WO2020208470A1 (en) 2020-10-15
AU2021202492A1 (en) 2021-05-20
US11030294B2 (en) 2021-06-08
US11494477B2 (en) 2022-11-08
KR102457498B1 (ko) 2022-10-21
TW202134906A (zh) 2021-09-16
US20200327213A1 (en) 2020-10-15
US10423773B1 (en) 2019-09-24
PH12020551830A1 (en) 2021-06-28

Similar Documents

Publication Publication Date Title
TWI724861B (zh) 計算人類使用者的真實性的運算系統與方法以及決定貸款申請者的真實性的方法
US11257041B2 (en) Detecting disability and ensuring fairness in automated scoring of video interviews
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
US10685329B2 (en) Model-driven evaluator bias detection
US20200228359A1 (en) Live streaming analytics within a shared digital environment
US10019653B2 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
US9552535B2 (en) Data acquisition for machine perception systems
US10108852B2 (en) Facial analysis to detect asymmetric expressions
US11450095B2 (en) Machine learning for video analysis and feedback
US11151385B2 (en) System and method for detecting deception in an audio-video response of a user
US11776269B2 (en) Action classification in video clips using attention-based neural networks
CN111950481A (zh) 图像中面部表情量化、识别方法及其装置、设备与介质
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
CN114491255A (zh) 推荐方法、系统、电子设备和介质
US12008329B2 (en) Systems and methods for generating dynamic conversational responses through aggregated outputs of machine learning models
AU2024202749A1 (en) System and method for video authentication
CN115909453A (zh) 用户行为预测方法、装置、计算机设备及可读存储介质
CN116774818A (zh) 虚拟服务人员互动方法、电子设备、存储介质及程序产品