TWM633529U - 通過金融裝置取得使用者特徵的系統 - Google Patents

Abstract

一種通過金融裝置取得使用者特徵的系統，系統包括一金融資訊裝置後台以及一或多個金融資訊裝置，金融資訊裝置後台通過一或多個金融資訊裝置取得使用者特徵，通過資料收集的程序收集使用者操作金融資訊裝置過程中產生的資料，包括使用者操作金融資訊裝置的影像，之後根據時間資訊記錄各筆隨著時間產生的資料，於金融資訊裝置後台中，對應使用者的身份資料，以一時間序建立或更新資料庫中使用者的資料。

Description

通過金融裝置取得使用者特徵的系統

說明書公開一種取得使用者特徵的技術，特別是指金融機構通過資料收集方法取得使用者操作金融裝置產生的數據的一種取得使用者特徵的系統。

除了臨櫃以外，現在常見與銀行的交易行為如使用者使用電腦裝置或個人化設備通過網路銀行或是行動銀行進行交易，銀行的後台伺服器會通過交易的過程取得使用者的特徵而學習使用者的交易行為，主要目的是能夠根據使用者的喜好提供各種金融服務。

然而，習知的做法往往受限於使用者操作相關軟體程式產生的數據，如交易金額、時間與交易內容，能夠取得的數據並不廣泛。

對於銀行來說，常見與使用者往來的交易活動很大一部分在提供金融服務的自動櫃員機（Automated Teller Machine，ATM）等常見設於銀行或便利商店中的資訊服務機（kiosk）。不過，雖然每天在自動櫃員機進行操作的人相當多，但於銀行內進行分析時，通過自動櫃員機收集的資料通常僅限交易資訊，並沒有包含到許多其它資訊，亦不容易建立準確而有效的使用者行為判斷機制。

有鑑於習知技術中金融機構能夠取得其使用者的特徵多半是基於使用者填寫的表單、臨櫃或通過網路交易形成的記錄，並沒有直接根據使用者操作特定金融裝置的行為進行特徵採樣，揭露書於是提出一種通過金融裝置取得使用者特徵的系統，特別是從使用者操作金融資訊裝置（如金融櫃員機）時收集使用者進行金融交易的資料，以此學習與判斷使用者操作裝置的行為。

根據實施例，通過金融裝置取得使用者特徵的系統主要包括一金融資訊裝置後台，設有資料庫，以及一或多個金融資訊裝置。

金融資訊裝置中的硬體包括控制單元以及電性連接控制單元的通訊單元、影像擷取單元、輸入單元，以及記錄時間與計時的時間單元。其中金融資訊裝置後台包括以電腦系統實現的執行影像辨識的一影像辨識模組、對各種資料與操作一或多個金融資訊裝置的行為進行時間序列整理的一時間序列模組，以及依據時間序整合資料的一整合模組。

在系統運作收集使用者資料的流程中，金融資訊裝置後台通過一或多個金融資訊裝置取得使用者特徵，經啟動金融資訊裝置的運作程序後，取得使用者的身份資料、收集使用者操作金融資訊裝置過程中產生的資料，其中收集的資料包括通過影像擷取單元拍攝該使用者的影像以及使用者通過輸入單元產生的操作信息，之後根據時間單元產生的時間資訊記錄隨著時間產生的各筆資料；於金融資訊裝置後台中，對應使用者的身份資料，將收集的資料以一時間序建立或更新資料庫中使用者的資料。

進一步地，金融資訊裝置自接受觸控信號、插卡信號、身份識別信號或影像感測信號，即啟動運作程序。其中通過金融卡片或使用者的生物特徵可得到使用者的身份資料，而生物特徵之一是通過金融資訊裝置的影像擷取單元拍攝的使用者的人臉影像。

進一步地，使用者操作金融資訊裝置的行為包括隨著時間序記錄使用者操作金融資訊裝置執行多個金融交易功能的順序與時間差。

特別的是，而通過影像擷取單元收集使用者操作金融資訊裝置的資料包括使用者的穿著、操作金融資訊裝置的行為、通過金融資訊裝置後台記錄的交易內容與時間。

所述輸入單元可為金融資訊裝置的觸控顯示器或鍵盤，收集的資料包括使用者操作觸控顯示器或鍵盤產生的資料。

所述資料庫儲存個人與群體的歷史資料以及大數據，而大數據可包括取得使用者操作金融資訊裝置當下的影像、操作記錄、機器資訊、歷史操作記錄以及交易記錄。

進一步地，學習長時間多次收集的資料得出該使用者的一行為模型，為描述該使用者操作習慣的模型。

為使能更進一步瞭解本新型的特徵及技術內容，請參閱以下有關本新型的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本新型加以限制。

以下是通過特定的具體實施例來說明本創作的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本創作的優點與效果。本創作可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本創作的構思下進行各種修改與變更。另外，本創作的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本創作的相關技術內容，但所公開的內容並非用以限制本創作的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者訊號，但這些元件或者訊號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一訊號與另一訊號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

為了收集使用者操作各種金融資訊裝置產生的數據，並經學習後可以建立使用者行為模型而能有效提供針對使用者需要的金融服務，揭露書提出一種通過金融裝置取得使用者特徵的系統，通過新穎的金融資訊裝置取得大量使用者操作金融資訊裝置當下的數據，特別是行為上的數據，再利用智能模型從中萃取出有意義的資訊，而運用於各式應用場景。

執行所述通過金融裝置取得使用者特徵的系統架構實施例圖如圖1所示。圖中顯示一般會設置銀行、商店中、賣場裡以及街道上的各式金融資訊裝置101, 103與105，如常見的金融櫃員機（ATM），使用者可以使用這些金融資訊裝置101, 103與105執行各種金融交易與服務，例如轉帳、繳款與存提款等，也有特定金融裝置可以提供使用者上傳資料後立即申辦金融帳戶與或是申請貸款。

系統在伺服端設有金融資訊裝置管理後台100，設有資料庫110，透過網路10連線並管理各種金融資訊裝置101, 103, 105的運作。根據通過金融裝置取得使用者特徵的系統運作的實施例，金融資訊裝置管理後台100通過各端金融資訊裝置101, 103, 105收集使用者的影像資料、操作各種金融資訊裝置101, 103, 105產生的資料，並配合過去使用者歷史資料，利用智能模型做一整合判斷。

在通過金融裝置取得使用者特徵的系統運作的方法中，主要技術手段是通過金融資訊裝置101, 103, 105上的各種軟硬體手段收集使用者操作產生的資料，如通過攝影機拍攝的使用者影像（特別為人臉影像）、操作裝置的記錄與對應的時間資料，上傳金融資訊裝置管理後台100，通過後台中各種智能模型處理收集的資料，經整合後可萃取出使用者操作金融資訊裝置101, 103, 105的特徵，相關資料可用於執行風控、行銷等應用場景。舉例來說，上述主要目的之一是要判斷使用者是否有操作上的異常，藉此阻止犯罪行為發生。

基於上述系統架構，金融資訊裝置管理後台100採用各種智能手段，運用大數據分析與機器學習演算法訓練自各金融資訊裝置收集的資料，針對每個使用者的數據特徵建立行為模型，也針對所有操作金融資訊裝置的使用者的數據進行深度學習，建立各種金融交易下的行為模型。因此，當金融資訊裝置管理後台100接收到新的資料時，如通過金融資訊裝置上的攝影機所拍攝的使用者操作裝置的影像，特別是人臉影像、穿著、操作金融資訊裝置的行為等，加上記錄操作過程產生的資料，如交易內容與時間等，形成金融資訊裝置管理後台100中的智能演算法深度學習的資料。

圖2接著顯示運行通過金融裝置取得使用者特徵的系統實施例示意圖，此例顯示系統主要由終端的金融資訊裝置200、金融機構端的金融資訊裝置後台210以及資料庫220所組成，其中金融資訊裝置後台210以及資料庫220設於系統端，通過金融資訊裝置200取得使用者操作裝置的各種資料，通過金融資訊裝置後台210中的各種軟體與電腦技術協作的功能將大量取得的使用者資料萃取出有意義的資訊，以運用於各種金融應用場景。

圖中顯示金融資訊裝置200如一般金融櫃員機，提供使用者操作取得金融服務，主要的項目如存提款、轉帳與繳費等，進一步地，還可提供使用者申辦貸款、開戶與各種海內外金融服務。

金融資訊裝置200中包括各種硬體電路以及與軟體手段實現的功能，如圖所示，設有負責金融資訊裝置200中各單元運作的控制單元201，電性連接與金融資訊裝置後台210連線的通訊單元203、取得使用者影像的影像擷取單元205、提供各種輸入功能的輸入單元207，以及對各項服務記錄時間（timestamp）與計時的時間單元209。

金融資訊裝置後台210則通過電腦系統的處理器與記憶體等硬體與軟體方法實現執行影像辨識的影像辨識模組211，其中包括以人工智能方法建立影像識別模型，如圖4顯示的影像識別模型411；對各種資料與操作行為進行時間序列整理的時間序列模組213，可以人工智能方法建立時間序列模型，如圖4顯示的時間序列模型413；處理使用者操作金融資訊裝置200執行各種金融交易形成的資料的交易內容模組215；以及依據時間序將各種資訊整合起來的整合模組217，可以人工智能方法建立整合模型，如圖4顯示的整合模型415。資料庫220則儲存使用者資料221、個人與群體的歷史資料223，以及收集自金融機構的不同的使用者操作金融資訊裝置200所產生的大數據225。

運用上述系統架構，通過金融裝置取得使用者特徵的系統運作的實施例流程可參考圖3顯示的流程圖。

流程從使用者開始操作金融資訊裝置開始，當使用者開始操作金融資訊裝置取得金融服務時，金融資訊裝置的影像感測器、光學感測器等感應到使用者接近，形成影像感測信號，或是使用者碰觸金融資訊裝置的觸控顯示器，形成觸控信號，或是接收到使用者的生物識別資料，如指紋或臉部影像後形成身份識別信號，或是感應到使用者插入一金融卡片（如金融卡或信用卡等）形成的插卡信號，即啟動一運作程序（步驟S301）。在金融資訊裝置運作下，通過其中身分識別程序的軟體功能取得使用者身份資料（步驟S303）。取得使用者身份資料的方式可大略分為插卡與無卡取得身份資料的方式，一般方式是由使用者插入金融卡片到金融資訊裝置中卡槽中，即能讀取使用者的識別資料；無卡的方式可以是從拍攝到的使用者影像（如人臉生物特徵）中辨識出使用者身份，或是從其他生物特徵（如指紋、靜脈或是虹膜等）掃描裝置辨識出使用者身份。

在此一提的是，身份辨識的程序可以在金融資訊裝置中完成，或是上傳到金融資訊裝置後台，由後台執行身份辨識後，將結果傳送到終端的金融資訊裝置中。接著是金融資訊裝置後台可根據使用者身份資料查詢資料庫，取得使用者的歷史資料（步驟S305），並開始以一資料收集的程序收集並儲存使用者資料（步驟S307）。根據實施例，金融資訊裝置中執行一數據收集程式，按照時間序收集使用者操作金融資訊裝置時通過影像擷取單元（如攝影機）拍攝的使用者影像，以及使用者通過金融資訊裝置中輸入單元（如觸控顯示器、鍵盤等）產生的操作信息等。

針對收集到的使用者影像資料，於金融資訊裝置後台接收到自某一金融資訊裝置產生使用者的影像資料（對應使用者識別資料），可通過金融資訊裝置後台的影像辨識模組從影像資料中取得影像特徵（步驟S309）。其中，資料的收集與儲存皆是按照時間記載，根據金融資訊裝置中的時間單元產生的時間資訊記錄隨著時間產生的各筆資料，使得金融資訊裝置中可以時間序列模組收集資料，資料將以一時間序建立或更新金融資訊裝置後台的資料庫中的使用者的資料（步驟S311）。

進一步地，使用者操作金融資訊裝置執行的各種交易行為，還可通過後台的交易內容模組215記錄下來，最後通過後台的整合模組依據時間序將各種資訊整合起來（步驟S313）。最後在金融資訊裝置後台的資料庫中更新個人與群體的歷史資料（223）以及大數據（225），這些資料提供機器學習以建立反映使用者操作習慣的模型。

根據上述流程可以取得使用者操作金融資訊裝置當下的影像、操作記錄、機器資訊（如機器識別資料、時間戳記等），並配合歷史操作記錄、交易記錄等，建立使用者大數據。如此，在金融資訊裝置後台中，再通過智能手段從中學習得出使用者的行為模型，包括使用者個人的行為模型，以及學習金融機構下不同使用者形成的大數據得出的整體使用者行為模型。

通過大數據分析與機器學習方法，根據長時間多次收集的資料所學習得出的行為模型就是描述使用者操作習慣的模型。所述行為如密碼帳戶的輸入、操作記錄、時間（操作時間長度、操作時間（白天、晚上、半夜等）），加上動作的前後順序與交易內容，通過智能手段得出操作習慣的模型。舉例來說，金融資訊裝置後台通過金融資訊裝置在一段時間內隨著時間序記錄使用者操作設於各處的金融資訊裝置執行多個金融交易功能的順序與時間差。因此，在後續的應用中，當取得使用者操作金融資訊裝置當下的各種操作數據與影像時，可以利用智能模型依據使用者的表情影像得出當下的情緒，是否有壓力或是受到脅迫，以及根據當下行為（交易時間、內容與順序）與裝扮判斷是否有異常，還可判斷使用者的交易行為是否有異常之處。

根據以上描述的實施例，揭露書提出的通過金融裝置取得使用者特徵的系統主要通過幾個智能模型所實現，相關實施例如圖4所示。

圖中顯示通過金融裝置取得使用者特徵的系統的資料來源400，根據以上實施例的描述，使用者操作金融資訊裝置產生各種資料，包括使用者的影像資料401與操作過程中產生的操作資料403，加上金融資訊裝置後台中的歷史資料405，成為金融資訊裝置後台建立各種智能模型410的資料。

在系統提出的智能模型410中，影像辨識模型411，根據智能資訊裝置上的攝影機拍攝操作智能資訊裝置的使用者的影像，這些影像傳送至金融資訊裝置後台，利用機器學習演算法、深度學習演算法等方法學習影像中的特徵與特徵之間的關聯性，訓練數據形成影像辨識模型411。影像識別模型411的主要的功能包括辨識臉部影像、辨識使用者身份，取得使用者操作裝置的行為，辨識使用者的行為模式。根據實施例，可採用一種YOLO智能模型，用於辨識臉部位置、偵測表情以判斷情緒、行為舉止異常或是否有講電話、是否有配戴口罩或安全帽等資訊等。

金融資訊裝置後台中建立時間序列模型413，學習終端金融資訊裝置傳送隨著時間記錄的資料，通過智能演算法學習各種數據與時間的前後關聯性，其中可採用一種LSTM（長短期記憶）智能模型，學習時間前後的關聯性，精進模型對於時間的觀念，根據各種數據之間的時間連結關係，可取得各種數據之間的強關聯性。

針對最終數據之整合可以採用特定整合模型415，例如一種Transformer Encoder，可以將多種來源的資料，如所述資料來源400以及經過學習萃取得出的數據，轉成未來模型可以容易理解的向量形式，將其中萃取的資訊儲存為數字，可在未來的應用上學習各種數據之間的關聯性，得出各種應用所需的資訊。

藉由終端金融資訊裝置收集的資料，經智能學習、建立智能模型，相關應用420如圖所示，特別在金融機構中的應用，如詐騙偵測421，可利用使用者的行為模型判斷使用者在操作金融資訊裝置中的異常行為，藉此判斷是否處於受到詐騙的情況，如鏡頭捕捉到使用者在轉帳時有情緒緊張的狀況，或是在操作金融資訊裝置時有與過去行為不同的操作流程與時序，或是操作與過去行為不同的提款金額等；經學習使用者的操作行為，可以形成銀行向其客戶的行銷用途423；通過後台的學習建立使用者行為模型，其中可以做為密碼錯誤提醒425，例如當有操作錯誤的問題時，利用簡訊通知使用者，提供更改密碼的服務；根據學習使用者的喜好，系統可以針對每個使用者提供自動客製化介面427。

圖5列舉一個應用通過金融裝置取得使用者特徵的實施案例。

當使用者操作金融資訊裝置，經碰觸螢幕、插入卡片，或是被偵測到進入金融資訊裝置的一個有效範圍內，即啟動金融資訊裝置程序（步驟S501），根據與使用者的互動，如插卡、輸入資料等，取得使用者身份資料（步驟S503），相關資料傳送到金融資訊裝置後台時，可執行身份判斷，並取得使用者歷史資料（步驟S505）。此時，通過金融資訊裝置上的各種感測裝置，如攝影機、觸控顯示器、輸入介面等，開始收集資料、影像辨識，並建立時間序列（步驟S507）。

以詐騙偵測為例，一位被詐騙的人，從情緒辨識可能會判斷為緊張、可能正在跟詐騙的人講電話、聽從指令操作，操作上可能極為緩慢，中間輸了錯誤多次或輸入許多無意義的按鍵，從過往經驗來看，平常都轉帳小金額，今天突然轉帳大筆金額，且轉帳的對象並非平常的那幾個帳號。因此，在金融資訊裝置後台取得的影像特徵將與長時間學習使用者行為得出的模型不同（步驟S509），經對照其中影像辨識模型，進行使用者行為偵測，由影像及時間序列模型，先針對即時資料作處理，最後連同歷史行為資料，一同進入了整合模型，將所有資訊萃取成一串向量形式，進到後面的詐騙偵測模型，執行詐騙偵測（步驟S511）。詐騙偵測模型從影像特徵中取出需要的部分，將當下的影像特徵輸入至影像辨識模型，演算被詐騙的機率（步驟S513），從中判斷使用者是否緊張、操作習慣是否不同等，藉由這些資訊判斷得出。當機率超過一門檻時，顯示使用者被詐騙的機率極高，因此及時產生警告信息，包括傳簡訊通知此顧客，並聯絡分行櫃員，提供即時的關心服務（步驟S515）。

綜上所述，根據上述通過金融裝置取得使用者特徵的系統的實施例，系統主要組成是金融資訊裝置與其後台，後台將通過金融資訊裝置（如ATM終端機）的硬體設備，如鏡頭、操作介面（鍵盤、觸控螢幕）等收集使用者資料，包括使用者操作金融資訊裝置當下的影像、操作記錄、機器資訊（如時間），並配合歷史操作記錄、交易記錄等，建立使用者大數據，之後可通過各種智能手段分析數據，取得有意義資訊，藉此分析使用者行為模式，並可判斷異常行為，可用於風控、行銷等各式應用場景。

以上所公開的內容僅為本新型的優選可行實施例，並非因此侷限本新型的申請專利範圍，所以凡是運用本新型說明書及圖式內容所做的等效技術變化，均包含於本新型的申請專利範圍內。

10:網路 100:金融資訊裝置管理後台 110:資料庫 101, 103, 105:金融資訊裝置 200:金融資訊裝置 201:控制單元 203:通訊單元 205:影像擷取單元 207:輸入單元 209:時間單元 210:金融資訊裝置後台 211:影像辨識模組 213:時間序列模組 215:交易內容模組 217:整合模組 220:資料庫 221:使用者資料 223:歷史資料 225:大數據 400:資料來源 401:影像資料 403:操作資料 405:歷史資料 410:智能模型 411:影像辨識模型 413:時間序列模型 415:整合模型 420:應用 421:詐騙偵測 423:行銷用途 425:密碼錯誤提醒 427:自動客製化介面 步驟S301～S313:通過金融裝置取得使用者特徵的實施例流程 步驟S501～S515:通過金融裝置取得使用者特徵的應用流程

圖1顯示執行通過金融裝置取得使用者特徵的系統架構實施例圖；

圖2顯示運行通過金融裝置取得使用者特徵的系統實施例示意圖；

圖3顯示通過金融裝置取得使用者特徵的系統運作的實施例流程圖；

圖4顯示通過金融裝置取得使用者特徵的系統實施例圖；以及

圖5顯示應用通過金融裝置取得使用者特徵的系統運作的實施例流程圖。

200:金融資訊裝置

201:控制單元

203:通訊單元

205:影像擷取單元

207:輸入單元

209:時間單元

210:金融資訊裝置後台

211:影像辨識模組

213:時間序列模組

215:交易內容模組

217:整合模組

220:資料庫

221:使用者資料

223:歷史資料

225:大數據

Claims (10)

1. 一種通過金融裝置取得使用者特徵的系統，包括： 一金融資訊裝置後台，設有一資料庫：以及 一或多個金融資訊裝置，該一或多個金融資訊裝置通過網路連線該金融資訊裝置後台，其中各金融資訊裝置包括一控制單元以及電性連接該控制單元的一通訊單元、一影像擷取單元、一輸入單元，以及記錄時間與計時的一時間單元； 其中該金融資訊裝置後台包括以電腦系統實現的執行影像辨識的一影像辨識模組、對各種資料與操作該一或多個金融資訊裝置的行為進行時間序列整理的一時間序列模組，以及依據時間序整合資料的一整合模組； 其中該金融資訊裝置後台通過該一或多個金融資訊裝置取得使用者特徵，經啟動該金融資訊裝置的一運作程序後，取得一使用者的身份資料、收集該使用者操作該金融資訊裝置過程中產生的資料，其中收集的資料包括通過該影像擷取單元拍攝該使用者的影像以及該使用者通過該輸入單元產生的操作信息，之後根據該時間單元產生的時間資訊記錄隨著時間產生的各筆資料；於該金融資訊裝置後台中，對應該使用者的身份資料，將收集的資料以一時間序建立或更新該資料庫中該使用者的資料。
2. 如請求項1所述的通過金融裝置取得使用者特徵的系統，其中該金融資訊裝置自接受一觸控信號、一插卡信號、一身份識別信號或一影像感測信號，即啟動該運作程序。
3. 如請求項2所述的通過金融裝置取得使用者特徵的系統，其中通過一金融卡片或該使用者的生物特徵得到該使用者的身份資料。
4. 如請求項3所述的通過金融裝置取得使用者特徵的系統，其中該使用者的生物特徵之一是通過該金融資訊裝置的該影像擷取單元拍攝的該使用者的人臉影像。
5. 如請求項4所述的通過金融裝置取得使用者特徵的系統，其中該使用者操作該金融資訊裝置的行為包括隨著該時間序記錄該使用者操作該金融資訊裝置執行多個金融交易功能的順序與時間差。
6. 如請求項1所述的通過金融裝置取得使用者特徵的系統，其中通過該影像擷取單元收集該使用者操作該金融資訊裝置的資料包括該使用者的穿著、操作該金融資訊裝置的行為、通過該金融資訊裝置後台記錄的交易內容與時間。
7. 如請求項1所述的通過金融裝置取得使用者特徵的系統，其中該輸入單元為該金融資訊裝置的一觸控顯示器或一鍵盤，收集的資料包括該使用者操作該觸控顯示器或該鍵盤產生的資料。
8. 如請求項1所述的通過金融裝置取得使用者特徵的系統，其中該資料庫儲存個人與群體的歷史資料以及大數據。
9. 如請求項8所述的通過金融裝置取得使用者特徵的系統，其中該大數據包括取得該使用者操作該金融資訊裝置當下的影像、操作記錄、機器資訊、歷史操作記錄以及交易記錄。
10. 如請求項1至9中任一項所述的通過金融裝置取得使用者特徵的系統，其中，學習長時間多次收集的資料得出該使用者的一行為模型，為描述該使用者操作習慣的模型。

Images