TWI748908B

TWI748908B - 基於五官特徵點的影像辨識系統

Info

Publication number: TWI748908B
Application number: TW110111857A
Authority: TW
Inventors: 吳秉虔
Original assignee: 華南商業銀行股份有限公司
Priority date: 2019-11-01
Filing date: 2019-11-01
Publication date: 2021-12-01
Also published as: TW202127317A

Abstract

一種影像辨識系統，包括攝像裝置、擷取模組、影像處理模組、面相資料庫、金融產品資料庫及運算模組。擷取模組從攝像裝置取得的影像中擷取包括使用者的五官其中一者的子影像並據以計算可量測資訊。可量測資訊包括複數個特徵點組成的直線或區域。面相資料庫存放可量測資訊之屬性及評估值。金融產品資料庫依據風險比例區間分別存放複數個金融產品資訊及年紀區間。運算模組依據可量測資訊估算使用者之年紀，依據可量測資訊對應之屬性從面相資料庫中取得評估值並據以計算風險值，依據風險值及年紀從金融產品資料庫中取得一金融產品。

Description

基於五官特徵點的影像辨識系統

本發明係關於一種影像辨識系統，特別是一種從影像中取得人臉五官資訊的影像辨識系統。

舉凡銀行、郵局等金融機構在其營業大廳設置多台監視攝影機，用於監視在營業大廳來往活動的人員。

然而，這些監視攝影機所拍攝的監視影像通常係用來在事後回顧先前某個特定時間點發生的特殊事件（如蒙面行搶、車手盜領等）。也就是說，金融機構設置的監視系統缺乏依據當前影像即時處理並回報的機制。雖然監視系統長時間運行，但也只是作為一個可能可以嚇阻有心人士的保險裝置。再者，從高處俯拍監視畫面中必然包括各式各樣的人員跟物件，如等待民眾、臨櫃民眾、櫃臺行員、大廳地板、等待座椅、自動櫃員機、補摺機…等；就算安排專人觀看監視影像，從複雜畫面中快速鎖定特定人員的人臉並非易事，更遑論人類容易因疲倦或分心而錯失畫面中的重要資訊。

此外，對於經常往來的高淨值資產客戶而言，金融機構針對此客層的客戶提供專屬的金融服務，透過客製化的商品投資組合，讓高淨值的客戶得以增加其財富。另一方面，金融機構通常透過廣大的行銷據點協助一般有意願進行財富管理的客戶做中長期的資產規劃，藉由了解客戶現在金流及未來的資金運用規劃進行風險評估，以提出完整的金融產品推薦計畫。

然而，對於單純來到營業廳處理一般金融業務的客戶而言，金融機構的行員或理財專員並無法依據該客戶之五官特徵掌握其是否為潛在具有理財需求的客戶，因此，行員在推銷金融產品時往往流於形式化，無法提供可能符合這類型客戶需求之金融產品，僅能盲目推銷客戶不見得有興趣的項目，徒然浪費雙方的時間與精力。

有鑑於此，本發明提出一種影像辨識系統，可以從監視攝影機拍攝到的影像中取得人臉影像，並進一步分析五官中的可量測資訊，因此可提升金融產品之銷售成功率及降低客戶因被推薦不適合的產品而導致情緒不佳的機率。

依據本發明一實施例的一種影像辨識系統，包括攝像裝置、擷取模組、影像處理模組、面相資料庫、金融產品資料庫以及運算模組。攝像裝置可取得影像。擷取模組從影像中選取一區塊並取得區塊中一使用者之一人臉影像。影像處理模組電性連接擷取模組。影像處理模組依據人臉影像擷取子影像並依據子影像計算可量測資訊。子影像包括使用者的五官其中一者及其周邊皮膚。可量測資訊包括複數個特徵點組成之一直線或一區域。面相資料庫包括複數個第一表格空間，每個第一表格空間對應於五官類型其中一者並包括複數個第一欄位。每個第一欄位存放可量測資訊之屬性及評估值。屬性包括直線之長度、區域之形狀及顏色。金融產品資料庫包括複數個第二表格空間。這些第二表格空間分別對應於複數個風險比例區間並包括複數個第二欄位。每個第二欄位存放一金融產品及一年紀區間。運算模組通訊連接影像處理模組、面相資料庫及金融產品資料庫。運算模組依據可量測資訊估算使用者之一年紀，依據可量測資訊對應之屬性從面相資料庫中取得評估值，依據評估值計算風險值，依據風險值所對應之些風險比例區間其中一者從金融產品資料庫中選取一第二表格空間，依據年紀所對應之年紀區間從被選取的第二表格空間中選取一第二欄位並輸出。

藉由上述架構，本案所揭露的影像辨識系統可從監視攝影機拍得的複雜影像中快速鎖定特定區域中的人臉影像，並且透過臉部辨識進行分析該人臉影像的年齡及五官特徵中的可量測資訊，再將多個可量測資訊換算為一評估分數。因此，當客戶蒞臨金融機構之營業廳的特定櫃臺時，本案所揭露的影像辨識系統可進一步依據評估分數之範圍推薦適合之金融商品。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參考圖1，其係繪示本發明一實施例的影像辨識系統10的方塊圖。所述的影像辨識系統10適用於設置在金融機構的營業廳。影像辨識系統10包括：攝像裝置1、擷取模組2、影像處理模組3、面相資料庫4、金融產品資料庫5以及運算模組6。

攝像裝置1可取得影像。請參考圖2，其係繪示攝像裝置1裝設於金融機構營業廳的俯視示意圖。如圖2所示，攝像裝置1之設置位置可拍攝到金融機構營業廳中特定櫃臺的周邊環境。請參考圖3，其係繪示設置於圖2的攝像裝置1拍攝到的影像，攝像裝置1拍攝到的影像包括在櫃臺周邊的使用者。

請參考圖1。擷取模組2電性連接攝像裝置1。擷取模組2可依據一區塊進行色彩空間轉換、顏色過濾及邊緣偵測以取得一人臉影像。詳言之，請一併參考圖3。系統管理員可預先從監視畫面中選擇一感興趣區域（Region of Interest）ROI作為前述的區塊，藉此節省擷取模組2針對感興趣區域ROI之外的影像擷取成本。實務上，可依據櫃臺服務人員的視角預先設定畫面中的感興趣區域ROI，如圖3所示。

依據感興趣區域ROI設定區塊之後，擷取模組2可將該區塊的RGB色彩空間轉換為HSV色彩空間、CIE 1931色彩空間、YIQ色彩空間及YCbCr色彩空間其中一者，藉此減少光線對於後續人臉偵測帶來的影響。在色彩空間轉換完成後，擷取模組2將皮膚顏色與背景顏色分離。詳言之，膚色在轉換後的色彩空間的分佈情況可由一指定方程組定義之。此外，由於金融機構營業廳中的背景物件其顏色固定，故背景色可由另一指定方程組定義之。擷取模組2採用例如大津二值化法（Otsu Thresholding）或直方圖平衡法（Balanced Histogram Thresholding，BHT）找出區塊中所有符合膚色條件的像素點，同時，擷取模組2可一併濾除具有背景顏色的像素點以加速整體的處理速度。

於一實施例中，針對二值化後的影像，擷取模組2可採用形態學（morphology）上的膨脹（dilation）算子和腐蝕（erosion）算子消除人臉區域外的雜訊。具體而言，擷取模組2可進行先膨脹後腐蝕的閉運算（Closing operation）然後再進行先腐蝕後膨脹的開運算（Open operation），藉此可凸顯影像中五官周圍的輪廓。

針對消除雜訊後的影像區塊，擷取模組2依據人臉的幾何模型圈選出區塊中的人臉影像。所述的幾何模型可依據一般人臉的高度與寬度的比值的區間定義之，例如：0.79≤人臉高度/人臉寬度≤2.95。

於另一實施例中，擷取模組2例如採用坎尼算子（Canny filter）、索伯算子（Sobel filter）或Prewitt算子，藉此進行人臉影像的邊緣偵測，進一步輸出一人臉影像。

於又一實施例中，擷取模組2將基於YUV顏色編碼方法的區塊影像中進一步分成複數個重疊的小型區域，針對這些區域中明亮度之數值（即Y元素），計算每個小型區域在水平方向、垂直方向及兩對角方向的邊緣強度值，依據計算出的這些強度值及一門檻值互相比對而得出人臉邊緣，進一步輸出人臉影像。

於再一實施例中，擷取模組2依據事先訓練好的特徵臉（eigenface）之影像樣本進行比對，進而輸出人臉影像。實務上，金融機構可採用眾多客戶開戶時所留存的具有不同人臉的影像檔進行主成分分析（Principal Component Analysis，PCA）獲得一組特徵臉的向量做為前述的影像樣本。

實務上，擷取模組2例如係數位訊號處理器（digital signal processor）、特殊應用積體電路（application specific integrated circuit，ASIC）、數位邏輯電路、現場可程式邏輯閘陣列（field programmable gate array，FPGA）或其它可執行上述的人臉影像擷取功能的硬體元件。

影像處理模組3電性連接擷取模組2。影像處理模組3依據人臉影像取得複數個特徵點，並依據這些特徵點的分佈方式擷取子影像，再依據子影像計算可量測資訊。

於一實施例中，影像處理模組3採用連通分量標記（connected-component labeling）演算法，找出影像中相連接的像素，以便標記人臉影像中五官的座標作為特徵點。

於另一實施例中，影像處理模組3採用主動形狀模型（Active Shape Model）或主動外觀模型（Active Appearance Models，AAM），一次計算出人臉影像中五官特徵點的座標。

影像處理模組3依據特徵點所擷取的子影像包括使用者的五官其中一者及其周邊皮膚。在一實施例中，子影像係第一子影像，第一子影像包括使用者的眼及其周邊皮膚。於另一實施例中，影像處理模組3更依據人臉影像分別擷取第二子影像、第三子影像、第四子影像及第五子影像。第二子影像包括使用者的眉及其周邊皮膚，第三子影像包括使用者的鼻及其周邊皮膚、第四子影像包括使用者的口及其周邊皮膚，第五子影像包括使用者的耳。

在取得子影像之後，影像處理模組3依據子影像計算可量測資訊。所述的可量測資訊包括複數個特徵點組成之一直線或一區域、區域面積。可量測資訊包括眼睛形狀、雙眼間距、眉毛長度、眉毛間距、鼻翼寬度、鼻梁長度、上唇厚度、下唇厚度、耳朵形狀、耳朵顏色，以及位於五官周邊皮膚的皺紋長度、皺紋深度和皮膚班點等。

面相資料庫4包括複數個第一表格空間，每個第一表格空間對應於五官類型其中一者並包括複數個第一欄位。具體來說，每個表格空間對應到上述可量測資訊的一種類型。例如表格空間A係關聯於眼睛形狀、表格空間B係關聯於雙眼間距。每個第一欄位存放可量測資訊之屬性、評估值及一權重值。屬性包括直線之長度、區域之形狀及顏色。承前例，表格空間A的每個欄位所存放的屬性係對應到不同的眼睛形狀，例如：杏眼、丹鳳眼、上斜眼、細長眼、圓眼、垂眼、三角眼等，每一種眼睛形狀對應到一評估值。表格空間B的每個欄位所存放的屬性係對應到不同的雙眼間距，例如1.1~1.3公分、1.3~1.5公分、1.5~1.7公分等。

面相資料庫4的多個第一欄位各自評估值及權重值，係預先經由另一運算模組運行一深度學習演算法得出。詳言之，金融機構可依據原有的客戶影像資料庫、客戶填寫的投資人風險屬性分析問卷調查表以及客戶投資的金融產品項目等大數據作為原始訓練集，透過遞歸神經網路（Recursice Neural Network，RNN）或長短期記憶神經網路（Long Short Term Memory，LSTM）獲取各種金融產品類型所對應的特定五官類型，進而計算出每個欄位所存放的評估值及權重值。所述的評估值關聯於投資人願意負擔的風險比例，權重值代表綜合多種五官可量測資訊考慮時各個類型應佔的比重。

金融產品資料庫5包括複數個第二表格空間。這些第二表格空間分別對應於複數個風險比例區間並包括複數個第二欄位，每個第二欄位存放一金融產品及一年紀區間。舉例來說，表格空間C對應的風險比例區間為0~6，其風險屬性典型分類為「保守型」，代表投資人基本上不願承擔任何投資風險，適合的金融產品偏向報酬來自利息收入的產品；表格空間D對應的風險比例區間為7~13，其風險屬性典型分類為「非常謹慎型」，代表投資人基本上可接受輕微的損失，以換取輕微的潛在投資報酬，適合的金融產品為金融機構評定為低風險的項目。需注意的是，上述風險比例區間之邊界值，係預先經由另一運算模組運行一深度學習演算法得出。

運算模組6通訊連接影像處理模組3、面相資料庫4及金融產品資料庫5。運算模組6依據可量測資訊估算使用者之一年紀。詳言之，運算模組6主要依據位於五官周邊皮膚的皺紋長度、皺紋深度和皮膚班點等可量測資訊進行年紀之估算，特別是位於眉毛上方的抬頭紋、鼻子兩側的法令紋以及眼睛周邊的魚尾紋。影像處理模組3採用Canny邊緣偵測器技術偵測皺紋之紋理，並設定適當臨界值以進行年齡判斷。另一方面，由於人臉皮膚會隨著老化而呈現不同的班點特徵，因此可針對人臉影像的皮膚區塊進行膚色的分割以作為識別年齡之輔助方法。具體來說，適當選擇Y、C_b 及C_r 色彩空間上之參數臨界值，並對擷取模組2輸出的人臉影像進行檢測，可偵測出老人斑。舉例來說，若人臉影像的特定區塊符合以下公式：(24≤Y≤124)且(113≤C_b ≤140)且(115≤C_r ≤143)，則可判斷該指定區塊具有老人斑。運算模組6可進一步依據老人斑的顏色及個數並依據抬頭紋、法令紋及魚尾紋的數量估算使用者的年紀。

運算模組6依據五官的可量測資訊對應之屬性從面相資料庫4中取得一或數個評估值，依據評估值計算風險值，依據風險值所對應之些風險比例區間其中一者從金融產品資料庫5中選取一第二表格空間，依據年紀所對應之年紀區間從被選取的第二表格空間中選取一第二欄位並輸出。實務上，運算模組6依據第一子影像、第二子影像、第三子影像、第四子影像及第五子影像各自的可量測資訊對應之屬性從面相資料庫4中取得五評估值及五權重值，且依據五評估值及五權重值計算風險值。詳言之，運算模組6先依據使用者五官的特徵分別得出風險評估值（例如眼、眉、鼻、耳各自對應的風險評估值分別為A₁ 、A₂ 、A₃ 、A₄ 及A₅ ），然後根據五官屬性各自對應的權重值（例如A₁ 對應W₁ 、A₂ 對應W₂ …、A₅ 對應W₅ ），再將這些風險評估值依據其對應的權重值予以加總得到該使用者的一綜合風險評估值（例如為A₁ *W₁ +A₂ *W₂ +A₃ *W₃ +A₄ *W₄ +A₅ *W₅ ）。運算模組6依據此綜合風險評估值在金融產品資料庫5中取得對應的金融產品列表，然後依據運算模組估算的使用者年紀取得一推薦金融產品。

綜合以上所述，本發明所揭露的影像辨識系統可從監視攝影機拍得的複雜影像中快速鎖定特定區域中的人臉影像，並且透過臉部辨識進行分析該人臉影像的年齡及五官特徵中的可量測資訊，再將多個可量測資訊換算為一評估分數。因此，當客戶蒞臨金融機構之營業廳的特定櫃臺時，本案所揭露的影像辨識系統可進一步依據評估分數之範圍推薦適合之金融商品。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

10:影像辨識系統 1:攝像裝置 2:擷取模組 3:影像處理模組 4:面相資料庫 5:金融產品資料庫 6:運算模組 ROI:感興趣區域

圖1係依據本發明一實施例的影像辨識系統所繪示的架構圖。圖2係依據本發明一實施例的攝像裝置的設置於金融機構營業廳的俯視示意圖。圖3係依據本發明一實施例的攝像裝置拍攝的影像示意圖。

10:影像辨識系統

1:攝像裝置

2:擷取模組

3:影像處理模組

4:面相資料庫

5:金融產品資料庫

6:運算模組

Claims

一種影像辨識系統，包括：一攝像裝置，用以取得單一影像；一擷取模組，通訊連接該攝像裝置，該擷取裝置用以從該影像選取一區塊並取得該區塊中一使用者之一人臉影像，其中該擷取模組更用以依據該區塊進行色彩空間轉換、顏色過濾及邊緣偵測以取得該人臉影像，該擷取模組更用以轉換該區塊之一色彩空間為HSV色彩空間、CIE 1931色彩空間、YIQ色彩空間及YCbCr色彩空間其中一者；一影像處理模組，通訊連接該擷取模組，該影像處理模組依據該人臉影像擷取一子影像並依據單獨的該子影像計算一可量測資訊，其中單獨的該子影像包括該使用者的五官其中一者及其周邊皮膚，該可量測資訊包括複數個特徵點組成之一直線及一區域；一面相資料庫，包括複數個第一表格空間，每一該些第一表格空間對應於五官類型其中一者並包括複數個第一欄位，每一該些第一欄位存放該可量測資訊之一屬性及一評估值，其中該屬性包括該直線之一長度、該區域之一形狀及一顏色；一金融產品資料庫，包括複數個第二表格空間，該些第二表格空間分別對應於複數個風險比例區間並包括複數個第二欄位，每一該些第二欄位存放一金融產品及一年紀區間；以及一運算模組，通訊連接該影像處理模組、該面相資料庫及該金融產品資料庫，該運算模組依據該可量測資訊估算該使用者之一年紀，依據該可量測資訊對應之該屬性從該面相資料庫中取得該評估值，依據該評估值計算一風險值，依據該風險值所對應之該些風險比例區間其中一者從該金融產品資料庫中選取該些第二表格空間其中一者，依據該年紀所對應之該年紀區間從被選取的該第二表格空間中選取一第二欄位並輸出，其中該子影像係一第一子影像，該第一子影像包括該使用者的眼及其周邊皮膚；該影像處理模組更依據該人臉影像分別擷取一第二子影像、一第三子影像、一第四子影像及一第五子影像，該第二子影像包括該使用者的眉及其周邊皮膚，該第三子影像包括該使用者的鼻及其周邊皮膚、該第四子影像包括該使用者的口及其周邊皮膚，該第五子影像包括該使用者的耳；該可量測資訊更包括眼睛形狀、雙眼間距、眉毛長度、眉毛間距、鼻翼寬度、鼻梁長度、上唇厚度、下唇厚度、耳朵形狀及耳朵顏色；該面相資料庫的每一該些第一欄位更存放該可量測資訊之一權重值；該運算模組依據該第一子影像、該第二子影像、該第三子影像、該第四子影像及該第五子影像各自的該可量測資訊對應之該屬性從該面相資料庫中取得五評估值及五權重值，且依據該五評估值及該五權重值計算該風險值；以及該面相資料庫的該些第一欄位之該些評估值及該些權重值，以及該金融產品資料庫之該些風險比例區間之邊界值，係預先經由另一運算模組運行一深度學習演算法得出；其中該影像處理模組依據一主動形狀模型或一主動外觀模型計算該人臉影像中之五官特徵點座標；其中該深度學習演算法係長短期記憶神經網路或遞歸神經網路，且該深度學習演算法之輸入層包括：客戶影像資料庫、投資人風險屬性分析問卷調查表以及投資金融產品項目，且該深度學習演算法之輸出層包括每一該些第一欄位所存放的該評估值及該權重值。
如請求項1所述的影像辨識系統，其中該擷取模組更用以依據坎尼算子、索伯算子或Prewitt算子進行邊緣偵測以輸出該人臉影像。
如請求項1所述的影像辨識系統，其中該擷取模組依據一特徵臉樣本進行比對而輸出該人臉影像。