TWI745070B - 非正常交易判斷方法及系統 - Google Patents

Abstract

一種非正常交易判斷方法及系統中，電腦裝置根據連續拍攝於銀行機構或ATM前之客戶的影像，利用影像辨識技術辨識該客戶的動作以獲得辨識動作資訊；根據該辨識動作資訊及與多個人體特定動作相關的參考動作辨識資訊，判斷辨識動作是否匹配於人體特定動作匹配；若否，根據該等影像，利用表情辨識模型 辨識該客戶的臉部表情以獲得辨識臉部表情；判斷該辨識臉部表情是否匹配於特定人臉表情；及在判斷出該辨識動作匹配於人體特定動作或者判斷出該辨識臉部表情匹配於特定人臉表情時，即時產生或發送指示出客戶的交易被判定為非正常交易的警示輸出。

Description

非正常交易判斷方法及系統

本發明是有關於非正常交易的判斷，特別是指一種非正常交易判斷方法及系統。

近年來，詐騙案件層出不窮，特別是以手機通訊方式誘騙或控制被害人前往銀行臨櫃或自動櫃員機(Automated Teller Machine，以下簡稱ATM)前進行提領現金或轉帳交易。

然而，在臨櫃交易時，只能靠櫃台行員的人為經驗判斷，例如判斷臨櫃客戶的身分、交易金額或轉出方和轉入方之間的關係等，來判定臨櫃客戶所進行的交易是否是可能為詐騙現金、詐騙匯款等疑似非正常交易。因此，若櫃台行員經驗不足或敏銳度不夠而無法及時察覺時，將無法有效防止因詐騙所導致的非正常(臨櫃)交易。而在ATM操作時，通常禁止他人窺探，因而旁人無法輕易察覺ATM操作者是否為非正當者(例如，詐騙案車手)或者是否正處於詐騙犯的電話控制中，因此根本無法防止例如由詐騙所導致的非正常(ATM)交易。

因此，如何發想出一種能夠應用於銀行機構或ATM場域內並能有效防止非正常交易發生的非正常交易判斷方式遂成為目前金融服務急需解決的議題之一。

因此，本發明的目的，即在提供一種非正常交易判斷方法及系統，其能克服現有技術至少一個缺點。

於是，本發明所提供的一種非正常交易判斷方法用於判斷在一銀行機構內或一自動櫃員機前的一客戶所進行的一交易是否為非正常交易，且利用一電腦裝置、及一連接該電腦裝置的影像拍攝模組來執行，並包含以下步驟：(A)該電腦裝置建立一資料庫，該資料庫包含與多個人體特定動作相關的參考動作辨識資訊；(B)該影像拍攝模組在該客戶進行該交易的期間內連續拍攝該客戶的多個影像，每一影像至少包含該客戶的上半身的影像部分；(C)該電腦裝置根據來自該影像拍攝模組的該等影像且利用已知的影像辨識技術，辨識該客戶的動作，以獲得對應於一辨識動作的辨識動作資訊；(D)該電腦裝置根據該辨識動作資訊與該參考動作辨識資訊，判斷該辨識動作是否與該等人體特定動作其中一者匹配；(E)該電腦裝置在判斷出該辨識動作與該等人體特定動作其中任一者均不匹配時，根據該等影像並利用一已知的人臉表情辨識模型， 辨識該客戶的臉部表情以獲得一辨識臉部表情；(F)該電腦裝置判斷該辨識臉部表情是否與多個特定人臉表情其中一者匹配；及(G)該電腦裝置在步驟(D)中判斷出該辨識動作與該等人體特定動作其中一者匹配時，或者在步驟(F)中判斷出該辨識臉部表情與該等特定人臉表情其中一者匹配時，將該交易判定為非正常交易，並即時產生或發送一指示出該交易被判定為非正常交易的警示輸出。

本發明的非正常交易判斷方法中，該參考動作辨識資訊包含多個分別與該等人體特定動作對應的參考動作資料集，每一參考動作資料集包含與該等人體特定動作其中一對應者有關的多個參考影像，以及多個分別對應於該等參考影像的參考骨架圖案，其中每一參考骨架圖案含有多個分別對應於多個人體特定部位的特徵點。該電腦裝置利用該影像辨識技術自每一影像識別出多個分別對應於該等人體特定部位的特徵點，產生一代表該客戶之骨架且含有該等特徵點的骨架圖案，並將該等影像以及對應於該等影像的所有骨架圖案共同構成該辨識動作資訊。該電腦裝置透過將該辨識動作資訊與該等參考動作資料集進行分析演算的方式來確認該辨識動作是否與該等人體特定動作其中一者匹配。

本發明的非正常交易判斷方法中，該等人體特定部位包含頭部、頸部、左肩、右肩、左手肘、右手肘、左手腕、右手腕及腰部。該等人體特定動作包含轉頭的動作、手持手機同時操作手機的動作、及手持手機同時接聽手機的動作。

本發明的非正常交易判斷方法中，該等特定人臉表情其中每一者由對應的多個選自多個特定微表情的微表情所構成，該等特定微表情包含眉毛提高、眉毛下擺、眼瞼上擺、眼睛變小、嘴角下擺、上唇緊閉、雙唇緊閉、雙唇左右拉扯、及下巴低下。

本發明的非正常交易判斷方法中，該辨識臉部表情包含多個有關於眼睛、眉毛、嘴巴和下巴的辨識微表情。該等特定人臉表情包含一害怕表情、一難過表情及一不安表情。該害怕表情是由眉毛提高、眼瞼上擺、上嘴唇緊閉、嘴唇左右拉扯和下巴低下的特定微表情構成，該難過表情是由眉毛提高、眼睛變小和嘴角下擺的特定微表情構成，該不安表情是由眉毛下擺、眼瞼上擺和嘴唇緊閉的特定微表情構成。

於是，本發明所提供的一種非正常交易判斷系統用於判斷在一銀行機構內或一自動櫃員機前的一客戶所進行的一交易是否為非正常交易，並包含一影像拍攝模組、及一電腦裝置。

該影像拍攝模組組配來在該客戶進行該交易的期間內連續拍攝該客戶的多個影像，每一影像至少包含該客戶的上半身的影像部分。

該電腦裝置連接該影像拍攝模組以接收來自該影像拍攝模組的該等影像，並包括一儲存模組、一動作辨識模組、一表情辨識模組、一輸出模組、及一處理模組。該儲存模組儲存有與多個人體特定動作相關的參考動作辨識資訊。該動作辨識模組根據來自該影像拍攝模組的該等影像且利用已知的影像辨識技術，辨識該客戶的動作，以獲得對應於一辨識動作的辨識動作資訊。該表情辨識模組用於根據來自該影像拍攝模組的該等影像並利用一已知的人臉表情辨識模型， 辨識該客戶的臉部表情以產生一指示出一辨識臉部表情的表情辨識結果。該處理模組連接該動作辨識模組、該表情識別模組和該輸出模組用以接收來自該動作辨識模組的該辨識動作資訊和來自該表情辨識模組的該表情辨識結果，並執行以下操作：根據該辨識動作資訊與該儲存模組儲存的該參考動作辨識資訊，判斷該辨識動作是否與該等人體特定動作其中一者匹配；根據該表情辨識結果，判斷該辨識臉部表情是否與多個特定人臉表情其中一者匹配，及當判斷出該辨識動作與該等人體特定動作其中一者匹配時，或者當判斷出該辨識臉部表情與該等特定人臉表情其中一者匹配時，將該交易判定為非正常交易，並使該輸出模組即時產生或發送一指示出該交易被判定為非正常交易的警示輸出。

本發明的非正常交易判斷系統中，該參考動作辨識資訊包含多個分別與該等人體特定動作對應的參考動作資料集，每一參考動作資料集包含與該等人體特定動作其中一對應者有關的多個參考影像，以及多個分別對應於該等參考影像的參考骨架圖案，其中每一參考骨架圖案含有多個分別對應於多個人體特定部位的特徵點。該動作辨識模組利用該影像辨識技術自每一影像識別出多個分別對應於該等人體特定部位的特徵點，產生一代表該客戶之骨架且含有該等特徵點的骨架圖案，並將該等影像以及對應於該等影像的所有骨架圖案共同構成該辨識動作資訊。該處理模組透過將該辨識動作資訊與該等參考動作資料集進行分析演算的方式來確認該辨識動作是否與該等人體特定動作其中一者匹配。

本發明的非正常交易判斷系統中，該等人體特定部位包含頭部、頸部、左肩、右肩、左手肘、右手肘、左手腕、右手腕及腰部。該等人體特定動作包含轉頭的動作、手持手機同時操作手機的動作、及手持手機同時接聽手機的動作。

本發明的非正常交易判斷系統中，該辨識臉部表情包含多個有關於眼睛、眉毛、嘴巴和下巴的辨識微表情。該等特定人臉表情其中每一者由對應的多個選自多個特定微表情的微表情所構成，該等特定微表情包含眉毛提高、眉毛下擺、眼瞼上擺、眼睛變小、嘴角下擺、上唇緊閉、雙唇緊閉、雙唇左右拉扯、及下巴低下。

本發明的非正常交易判斷系統中，該等特定人臉表情包含一害怕表情、一難過表情及一不安表情。該害怕表情是由眉毛提高、眼瞼上擺、上嘴唇緊閉、嘴唇左右拉扯和下巴低下的特定微表情構成，該難過表情是由眉毛提高、眼睛變小和嘴角下擺的特定微表情構成，該不安表情是由眉毛下擺、眼瞼上擺和嘴唇緊閉的特定微表情構成。

本發明的功效在於：透過對於在銀行機構內或ATM前正在進行交易的客戶的動作辨識及表情辨識，以及對於辨識動作是否匹配於人體特定動作和對於辨識臉部表情是否匹配於特定人臉表情地的判斷結果來判定客戶所進行的交易是否為非正常交易，並在判定出該交易為非正常交易時，即時產生或發送警示輸出，以使相關人員能根據此警示輸出及時進行相關處理，藉此防止或減少因電話詐騙所導致之非正常交易。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，本發明實施例的一種非正常交易判斷系統100用於判斷在銀行機構內或自動櫃員機(以下簡稱ATM)前的每一客戶所進行的交易是否為非正常交易，並包含一個或多個影像拍攝模組1(圖1僅繪示出一個)、及一電腦裝置2。在實際使用時，每一影像拍攝模組1可被實施成一設置於一銀行機構或內建於一ATM的網路攝影機，而該電腦裝置2可被實施成一設置於該銀行機構且經由例如區域網路連接設於該銀行機構的網路攝影機的伺服器或者一經由例如網際網路連接所有網路攝影機的雲端伺服器。

在本實施例中，該電腦裝置2例如包括一儲存模組21、一用於辨識人體動作的動作辨識模組22、一用於辨識人臉表情的表情辨識模組23、一輸出模組24，以及一連接該儲存模組21、該動作辨識模組22、該表情辨識模組23和該輸出模組24的處理模組25。

在使用前，在該儲存模組21內必須預先建立一用於動作辨識的資料庫。該資料庫儲存有與多個人體特定動作相關的參考動作辨識資訊。在本實施例中，該參考動作辨識資訊例如可包含多個分別與該等人體特定動作對應的參考動作資料集，每一參考動作資料集包含與該等人體特定動作其中一對應者有關的多個參考影像，以及多個分別對應於該等參考影像的參考骨架圖案，其中每一參考骨架圖案含有多個分別對應於多個人體特定部位的特徵點。在本實施例中，該等人體特定動作例如包含轉頭的動作、手持手機同時操作手機的動作、及手持手機同時接聽手機的動作等，但不以此為限。該等人體特定部位例如包含頭部、頸部、左肩、右肩、左手肘、右手肘、左手腕、右手腕及腰部，但不以此例為限。換言之，此資料庫是經由大量蒐集可以呈現電話詐騙發生時經常出現的人體特定動作的連續RGB影像作為參考影像，並根據每一RGB影像產生對應的參考骨架圖案而建立的。另一方面，該非正常交易判斷系統100在使用時拍攝一客戶(其之後經人為方式確認已受到電話詐騙)的連續影像以及對應產生的骨架圖案亦可被用來更新此資料庫，以使資料庫能包含更廣泛且更多元的參考動作資料集。

由於所有影像拍攝模組1可具有相似的結構與功能，以下將針對例如圖1中的客戶200所進行的交易進一步詳細說明該影像拍攝模組1和該電腦裝置2的運作。

該影像拍攝模組1組配來在該客戶200進行該交易的期間(例如，在操作ATM期間，或在銀行機構內臨櫃處理期間)內連續拍攝該客戶200的多個影像，每一影像例如為RGB影像，且至少包含該客戶200的上半身的影像部分。

參閱圖1及圖2，當該電腦裝置2接收到來自該影像拍攝模組1的該等影像時，該電腦裝置如何針對該交易進行一非正常交易判斷程序，以判斷出該交易是否為一非正常交易。該非正常交易判斷程序包含以下步驟S21~S26。

首先，在步驟S21中，該動作辨識模組22根據來自該影像拍攝模組1的該等影像且利用已知的影像辨識技術，辨識該客戶的動作，以獲得對應於一辨識動作的辨識動作資訊。更具體地，該動作辨識模組22利用該影像辨識技術自每一影像識別出多個分別對應於該等人體特定部位的特徵點，產生一代表該客戶之骨架且含有該等特徵點的骨架圖案，並將該等影像以及對應於該等影像的所有骨架圖案共同構成該辨識動作資訊。舉例來說，若客戶的影像呈現出手持手機並同時操作手機的內容(由圖3的假想線輪廓表示)時，經過該動作辨識模組22的影像辨識後會產生如圖3所示的骨架圖案，而若客戶的影像呈現出手持手機並同時接聽手機(由圖4的假想線輪廓表示)時，經過該動作辨識模組22的影像辨識後會產生如圖4所示的骨架圖案。

然後，在步驟S22中，該處理模組25根據該動作辨識模組22所產生的該辨識動作資訊與該儲存模組21儲存的該參考動作辨識資訊，判斷該辨識動作是否與該等人體特定動作其中一者匹配。更具體地，該處理模組25先對於該參考動作資訊分別利用已知的時域分割網路(Temporal Segment Network，簡稱TSN)、時域關係網路(Temporal Relation Network；簡稱TRN)及圖形卷積網路(Graph Convolution Network；簡稱GCN)等演算法進行演算分析(例如，RGB影像在光流方面的分析，以及骨架影像在骨架變化方面的分析)以建構出與該等人體特定動作在時間與空間上相關聯的判斷模型；之後，該處理模組25將該辨識動作資訊作為輸入資料饋入建構出的判斷模型，經由此判斷模型的神經網路的演算後會產生一輸出結果。舉例來說，該輸出結果可包含代表該辨識動作被判斷為每一人體特定動作的機率或權重、以及代表該辨識動作被判斷為除了該等人體特定動作以外的其他動作的機率或權重，於是，若代表該辨識動作被判斷為其他動作的機率或權重為該輸出結果所含的所有機率或權重中的最大者時，此意謂該辨識動作被判斷為與該等人體特定動作均不匹配；否則，該辨識動作被判斷為與該等人體特定動作其中一者(即，其對應的機率或權重為最大者)匹配，但不以此例為限。

當該處理模組25在步驟S22的判斷結果為肯定時(即，該辨識動作被判斷為與一人體特定動作匹配)，流程將進行步驟S23，否則流程將進行步驟S24。

在步驟S23中，該處理模組25使該輸出模組24即時產生或發送一指示出該交易被判定為非正常交易的警示輸出。舉例來說，該警示輸出例如可以是音頻輸出或短訊。於是，接收到此警示輸出的相關人員(例如，銀行行員或安全人員)可以即時進行相關處理(如，道德關懷)，藉此防止或減少因電話詐騙所導致之非正常交易。

在步驟S24中，該表情辨識模組23例如受控於該處理模組25而根據該來自該影像拍攝模組1的該等影像並利用一已知的人臉表情辨識模型， 辨識該客戶的臉部表情以產生一指示出一辨識臉部表情的表情辨識結果。更具體地，此人臉表情辨識模型可被設計成可以至少辨識出有關例如眉毛、眼睛、嘴巴、下巴等特定部位的微表情。該表情辨識模組23先對於每一影像進行人臉偵測以獲得對應於該客戶之臉部的影像區塊，並根據該影像區塊估算出分別對應該等特定部位的特徵資料。然後，該表情辨識模組23將對應於該等影像的所有特徵資料饋入該人臉表情辨識模型，經過該人臉表情辨識模型的分析演算後，獲得該表情辨識結果。請注意，該表情辨識結果指示出的辨識臉部表情可以包含多個有關於該等特定部位(即，眉毛、眼睛、嘴巴和下巴)的辨識微表情。

然後，在步驟S25中，該處理模組25根據該表情辨識模組23產生的該表情辨識結果，判斷該辨識臉部表情是否與多個特定人臉表情其中一者匹配。在本實施例中，每一特定人臉表情是對應的多個選自多個特定微表情的微表情所構成，其中該等特定微表情例如包含眉毛提高、眉毛下擺、眼瞼上擺、眼睛變小、嘴角下擺、上唇緊閉、雙唇緊閉、雙唇左右拉扯、及下巴低下，但不在此限。在本實施例中，該等特定人臉表情例如可包含一害怕表情、一難過表情及一不安表情，但不在此限。舉例來說，該害怕表情可以被定義成是由例如眉毛提高、眼瞼上擺、上嘴唇緊閉、嘴唇左右拉扯和下巴低下的特定微表情構成，如圖5所示；該難過表情可以被定義成是由例如眉毛提高、眼睛變小和嘴角下擺的特定微表情構成，如圖6所示；及該不安表情可以被定義成是由例如眉毛下擺、眼瞼上擺和嘴唇緊閉的特定微表情構成，如圖7所示。於是，該處理模組25透過將該表情辨識結果所含的該等辨識微表情與每一特定表情所含的該等特定微表情進行比對，來決定出判斷結果。

當該處理模組25在步驟S25的判斷結果為肯定時(即，該辨識臉部表情被判斷為與一特定表情匹配)，流程將返回執行步驟S23，否則流程將進行步驟S26。

在步驟S26中，該處理模組2可使該輸出單元24發出例如指示正常狀況的信息。然而，在實際使用時，若步驟S25的判斷結果為否定時，此意謂該處理模組25經判定該客戶既無特定動作也無特定表情，故應屬正常交易情況，在此情況下，即可結束該非正常交易判斷程序而可省略步驟S26。

綜上所述，由於該電腦裝置1根據客戶在進行交易期間所拍攝的連續影像判斷客戶是否有特定動作，若未判斷出有特定動作時，判斷客戶是否有特定表情，並在判斷出客戶有特定動作或特定表情時，發出警示輸出以通知相關人員，藉此達成自動偵測例如受到電話詐騙所導致的非正常交易，並進而藉由收到警示輸出的相關人員及時進行相關處理以便能降低或減少因電話詐騙所導致之非正常交易，故本發明的非正常交易判斷系統100確實能達成本發明的目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

100:非正常交易判斷系統 1:影像拍攝模組 2:電腦裝置 21:儲存模組 22:動作辨識模組 23:表情辨識模組 24:輸出模組 25:處理模組 200:客戶 S21-S26:步驟

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一方塊圖，示例地說明本發明實施例的非正常交易判斷系統的架構； 圖2是一流程圖，示例地說明該實施例的一電腦裝置如何執行一非正常交易判斷程序； 圖3及圖4是示意圖，示例地繪示出可由該實施例的一電腦裝置產生的骨架圖案的範例；及 圖5至圖7是示意圖，示例地繪示出可由該實施例的該電腦裝置辨識出的不同臉部表情。

100:非正常交易判斷系統

1:影像拍攝模組

2:電腦裝置

21:儲存模組

22:動作辨識模組

23:表情辨識模組

24:輸出模組

25:處理模組

200:客戶

Claims (8)

1. 一種非正常交易判斷方法，用於判斷在一銀行機構內或一自動櫃員機前的一客戶所進行的一交易是否為非正常交易，且利用一電腦裝置、及一連接該電腦裝置的影像拍攝模組來執行，並包含以下步驟：(A)該電腦裝置建立一資料庫，該資料庫包含與多個人體特定動作相關的參考動作辨識資訊，該參考動作辨識資訊包含多個分別與該等人體特定動作對應的參考動作資料集，每一參考動作資料集包含與該等人體特定動作其中一對應者有關的多個參考影像，以及多個分別對應於該等參考影像的參考骨架圖案，其中每一參考骨架圖案含有多個分別對應於多個人體特定部位的特徵點；(B)該影像拍攝模組在該客戶進行該交易的期間內連續拍攝該客戶的多個影像，每一影像至少包含該客戶的上半身的影像部分；(C)該電腦裝置根據來自該影像拍攝模組的該等影像且利用已知的影像辨識技術，辨識該客戶的動作，以獲得對應於一辨識動作的辨識動作資訊，其中該電腦裝置利用該影像辨識技術自每一影像識別出多個分別對應於該等人體特定部位的特徵點，產生一代表該客戶之骨架且含有該等特徵點的骨架圖案，並將該等影像以及對應於該等影像的所有骨架圖案共同構成該辨識動作資訊；(D)該電腦裝置根據該辨識動作資訊與該參考動作辨識資訊，判斷該辨識動作是否與該等人體特定動作其 中一者匹配，其中該電腦裝置透過將該辨識動作資訊與該等參考動作資料集進行分析演算的方式來確認該辨識動作是否與該等人體特定動作其中一者匹配；(E)該電腦裝置在判斷出該辨識動作與該等人體特定動作其中任一者均不匹配時，根據該等影像並利用一已知的人臉表情辨識模型，辨識該客戶的臉部表情以獲得一辨識臉部表情；(F)該電腦裝置判斷該辨識臉部表情是否與多個特定人臉表情其中一者匹配；及(G)該電腦裝置在步驟(D)中判斷出該辨識動作與該等人體特定動作其中一者匹配時，或者在步驟(F)中判斷出該辨識臉部表情與該等特定人臉表情其中一者匹配時，將該交易判定為非正常交易，並即時產生或發送一指示出該交易被判定為非正常交易的警示輸出。
2. 如請求項1所述的非正常交易判斷方法，其中，在步驟(A)中：該等人體特定部位包含頭部、頸部、左肩、右肩、左手肘、右手肘、左手腕、右手腕及腰部；及該等人體特定動作包含轉頭的動作、手持手機同時操作手機的動作、及手持手機同時接聽手機的動作。
3. 如請求項1所述的非正常交易判斷方法，其中：在步驟(E)中，該辨識臉部表情包含多個有關於眼睛、眉毛、嘴巴和下巴的辨識微表情；及在步驟(F)中，該等特定人臉表情其中每一者由對應 的多個選自多個特定微表情的微表情所構成，該等特定微表情包含眉毛提高、眉毛下擺、眉間提高、眼瞼上擺、眼睛變小、嘴角下擺、上唇緊閉、雙唇緊閉、雙唇左右拉扯、及下巴低下。
4. 如請求項3所述的非正常交易判斷方法，其中，該等特定人臉表情包含：一害怕表情，由眉毛提高、眼瞼上擺、上嘴唇緊閉、嘴唇左右拉扯和下巴低下的特定微表情構成；一難過表情，由眉間提高、眼睛變小和嘴角下擺的微特定表情構成；及一不安表情，由眉毛下擺、眼瞼上擺和嘴唇緊閉的特定微表情構成。
5. 一種非正常交易判斷系統，用於判斷在一銀行機構內或一自動櫃員機前的一客戶所進行的一交易是否為非正常交易，並包含：一影像拍攝模組，組配來在該客戶進行該交易的期間內連續拍攝該客戶的多個影像，每一影像至少包含該客戶的上半身的影像部分；及一電腦裝置，連接該影像拍攝模組以接收來自該影像拍攝模組的該等影像，並包括一儲存模組，儲存有與多個人體特定動作相關的參考動作辨識資訊，該參考動作辨識資訊包含多個分別與該等人體特定動作對應的參考動作資料集，每一參考動作資料集包含與該等人體特定動作其中一對應者有 關的多個參考影像，以及多個分別對應於該等參考影像的參考骨架圖案，其中每一參考骨架圖案含有多個分別對應於多個人體特定部位的特徵點，一動作辨識模組，根據來自該影像拍攝模組的該等影像且利用已知的影像辨識技術，辨識該客戶的動作，以獲得對應於一辨識動作的辨識動作資訊，其中該動作辨識模組利用該影像辨識技術自每一影像識別出多個分別對應於該等人體特定部位的特徵點，產生一代表該客戶之骨架且含有該等特徵點的骨架圖案，並將該等影像以及對應於該等影像的所有骨架圖案共同構成該辨識動作資訊，一表情辨識模組，用於根據來自該影像拍攝模組的該等影像並利用一已知的人臉表情辨識模型，辨識該客戶的臉部表情以產生一指示出一辨識臉部表情的表情辨識結果，一輸出模組，及一處理模組，連接該動作辨識模組、該表情識別模組和該輸出模組用以接收來自該動作辨識模組的該辨識動作資訊和來自該表情辨識模組的該表情辨識結果，並執行以下操作根據該辨識動作資訊與該儲存模組儲存的該參考動作辨識資訊，判斷該辨識動作是否與該等人體特定動作其中一者匹配，其中該處理模組透過將該辨識動作資訊與該等參考動作資料集進行分析演算的方式來 確認該辨識動作是否與該等人體特定動作其中一者匹配根據該表情辨識結果，判斷該辨識臉部表情是否與多個特定人臉表情其中一者匹配，及當判斷出該辨識動作與該等人體特定動作其中一者匹配時，或者當判斷出該辨識臉部表情與該等特定人臉表情其中一者匹配時，將該交易判定為非正常交易，並使該輸出模組即時產生或發送一指示出該交易被判定為非正常交易的警示輸出。
6. 如請求項5所述的非正常交易判斷系統，其中：該等人體特定部位包含頭部、頸部、左肩、右肩、左手肘、右手肘、左手腕、右手腕及腰部；及該等人體特定動作包含轉頭的動作、手持手機同時操作手機的動作、及手持手機同時接聽手機的動作。
7. 如請求項5所述的非正常交易判斷系統，其中，該等特定人臉表情其中每一者由對應的多個選自多個特定微表情的微表情所構成，該等特定微表情包含眉毛提高、眉毛下擺、眉間提高、眼瞼上擺、眼睛變小、嘴角下擺、上唇緊閉、雙唇緊閉、雙唇左右拉扯、及下巴低下。
8. 如請求項7所述的非正常交易判斷系統，其中，該等特定人臉表情包含：一害怕表情，由眉毛提高、眼瞼上擺、上嘴唇緊閉、嘴唇左右拉扯和下巴低下的特定微表情構成；一難過表情，由眉間提高、眼睛變小和嘴角下擺的特定微表情構成；及 一不安表情，由眉毛下擺、眼瞼上擺和嘴唇緊閉的特定微表情構成。

Images