TWI764319B

TWI764319B - 基於深度學習的影像辨識系統

Info

Publication number: TWI764319B
Application number: TW109135551A
Authority: TW
Inventors: 張芷瑜
Original assignee: 華南商業銀行股份有限公司
Priority date: 2019-11-01
Filing date: 2019-11-01
Publication date: 2022-05-11
Also published as: TW202119283A

Abstract

基於深度學習的影像辨識系統包括二攝像裝置、影像處理裝置、體態資料庫、金融產品資料庫及運算裝置。二攝像裝置分別取得使用者站立時之正面、側面影像。影像處理裝置從正面、側面影像選取多個定位點，並計算這些定位點中二定位點的長度、斜率及連線類型。體態資料庫的每個表格空間對應於一體態類型並包括多個欄位。每個欄位存放體態類型之體態評估值及風險評估值。金融產品資料庫的每個表格空間對應於一風險比例區間並存放一金融產品資訊。運算裝置依據長度、斜率及連線類型計算綜合風險評估值並據以輸出一金融產品資訊。

Description

基於深度學習的影像辨識系統

本發明係關於一種影像辨識系統，特別是一種從影像中取得人類體態資訊的影像辨識系統。

舉凡銀行、郵局等金融機構在其營業大廳設置多台監視攝影機，用於監視在營業大廳來往活動的人員。

然而，這些監視攝影機所拍攝的監視影像通常係用來在事後回顧先前某個特定時間點發生的特殊事件（如蒙面行搶、車手盜領等）。也就是說，金融機構設置的監視系統缺乏依據當前影像即時處理並回報的機制。雖然監視系統長時間運行，但也只是作為一個嚇阻有心人士的保險裝置。再者，從高處俯拍監視畫面中必然包括各式各樣的人員跟物件，如等待民眾、臨櫃民眾、櫃臺行員、大廳地板、等待座椅、自動櫃員機、補摺機…等；就算安排專人觀看監視影像，從複雜畫面中快速鎖定特定人員的體態並非易事，更遑論人類容易因疲倦或分心而錯失畫面中的重要資訊。

此外，對於經常往來的高淨值資產客戶而言，金融機構針對此客層的客戶提供專屬的金融服務，透過客製化的商品投資組合，讓高淨值的客戶得以增加其財富。另一方面，金融機構通常透過廣大的行銷據點協助一般有意願進行財富管理的客戶做中長期的資產規劃，藉由了解客戶現在金流及未來的資金運用規劃進行風險評估，以提出完整的金融產品推薦計畫。

然而，對於單純來到營業廳處理一般金融業務的客戶而言，金融機構的行員或理財專員並無法依據該客戶的體態掌握其是否為潛在具有理財需求的客戶，因此，行員在推銷金融產品時往往流於形式化，無法提供可能符合這類型客戶需求之金融產品，僅能盲目推銷客戶不見得有興趣的項目，徒然浪費雙方的時間與精力。

有鑑於此，本發明提出一種基於深度學習的影像辨識系統，可以從多台具有不同拍攝角度的監視攝影機拍攝到的影像中取得使用者的全身影像，並進一步計算身體體態的可量測資訊。利用這些體態數值至預先訓練過的資料庫進行分析，可以提升金融產品的銷售成功率，並且降低客戶因被推薦不適合的產品而導致情緒不佳的機率。

依據本發明一實施例的一種基於深度學習的影像辨識系統，包括第一攝像裝置、第二攝像裝置、影像處理裝置、體態資料庫、金融產品資料庫及運算裝置。第一攝像裝置取得使用者站立時之正面影像。第二攝像裝置取得使用者站立時之側面影像。影像處理裝置電性連接第一攝像裝置及第二攝像裝置。影像處理裝置從正面影像選取關聯於使用者的複數個定位點，並計算這些定位點中二定位點的長度。影像處理裝置從側面影像選取關聯於使用者的複數個定位點，並計算這些定位點中二定位點的斜率及連線類型。體態資料庫包括複數個第一表格空間。每個第一表格空間對應於一體態類型。每個第一表格空間包括複數個第一欄位。每個第一欄位存放體態類型之體態評估值及風險評估值。金融產品資料庫包括複數個第二表格空間。每個第二表格空間對應於一風險比例區間並存放一金融產品資訊。運算裝置通訊連接影像處理裝置、體態資料庫及金融產品資料庫。運算裝置依據長度、斜率及連線類型從體態資料庫中取得複數個風險評估值。運算裝置依據所取得的這些風險評估值計算一綜合風險評估值。運算裝置從金融產品資料庫中選取一第二表格空間以輸出對應之金融產品資訊，其中綜合風險評估值屬於被選取的第二表格所對應之風險比例區間。

藉由上述架構，本案所揭露的影像辨識系統可從安裝於金融機構營業廳的多個攝像裝置取得使用者的正面及側面影像，並且透過影像處理技術獲取影像中的人體的體態資訊，並且將多個體態資訊換算為風險評估分數。因此，當客戶蒞臨金融機構之營業廳的特定櫃臺時，本案所揭露的影像辨識系統可進一步依據綜合風險評估值之範圍推薦適合該名客戶之金融商品，藉此讓客戶具有良好的金融服務體驗。此外，採用本發明的影像辨識系統所測得的體態資訊亦可以彙整供客戶參考。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參考圖1，其係繪示本發明一實施例的影像辨識系統10的方塊圖。所述的影像辨識系統10可設置在金融機構的營業廳，且適用於站立於指定櫃臺預期將處理金融相關業務的使用者（客戶）。影像辨識系統10包括：第一攝像裝置1、第二攝像裝置2、影像處理裝置3、體態資料庫4、金融產品資料庫5及運算裝置6。

請參考圖2，其係繪示第一攝像裝置1及第二攝像裝置2裝設於金融機構營業廳的俯視示意圖。如圖2所示，第一攝像裝置1之設置位置可拍攝到金融機構營業廳中站立於指定櫃臺前的使用者的正面影像，第二攝像裝置2之設置位置可拍攝到金融機構營業廳中站立於指定櫃臺前的使用者的側面影像。實務上，可設置兩個第二攝像裝置2 分別拍攝使用者的左側影像和右側影像，本發明並不限制第二攝像裝置2的數量。

請參考圖1。影像處理裝置3電性連接第一攝像裝置1及第二攝像裝置2。影像處理裝置3可藉由第一攝像裝置1及第二攝像裝置2擷取到的正面影像及側面影像等影像資訊，在環境中尋找使用者的存在，並且完成使用者體態的辨識。詳言之，影像處理裝置3首先針對正面影像及側面影像分別進行色彩空間轉換、顏色過濾及邊緣偵測。

影像處理裝置3可將正面影像及側面影像的RGB色彩空間轉換為HSV色彩空間、CIE 1931色彩空間、YIQ色彩空間及YCbCr色彩空間其中一者，藉此減少光線對於後續人體輪廓偵測帶來的影響。

在色彩空間轉換完成後，影像處理裝置3從原始的正面影像及側面影像中抽出皮膚顏色的影像區塊，同時過濾背景顏色的區塊。具體而言，影像處理裝置3定義一指定方程組用來代表轉換色彩空間後的膚色分佈情況，並定義另一指定方程組用來表示金融機構營業廳中的陳設物件之顏色分布情況。實務上，影像處理裝置3例如使用高斯混合模型（Gaussian Mixture Model，GMM）來建立背景物件之顏色分布的描述方程式，再利用背景相減法（background subtraction）或適應性背景相減法（adaptive background subtraction）取得前景資訊，然後對此前景資訊進行像素垂直投影。若直方圖的峰值在合理人體高度範圍內，則表示該處可能有人。影像處理裝置3採用例如大津二值化法（Otsu Thresholding）或直方圖平衡法（Balanced Histogram Thresholding，BHT）從可能有人的影像區塊中找出所有符合膚色分佈的像素點。

於一實施例中，針對二值化後的影像，影像處理裝置3可採用形態學（morphology）上的膨脹（dilation）算子和腐蝕（erosion）算子消除膚色區域外的雜訊。具體而言，影像處理裝置2可進行先膨脹後腐蝕的閉運算（Closing operation）然後再進行先腐蝕後膨脹的開運算（Open operation），藉此可凸顯影像中膚色區塊周圍的輪廓。

在取得所有膚色區塊的影像之後，影像處理裝置3採用連通分量標記（connected-component labeling）演算法，找出這些膚色區塊影像中相連接的像素，並且獲得每個區塊的長寬以及座標。影像處理裝置3更針對每個區塊進行橢圓比對，藉此得到人體頭部以及未被衣褲包覆的四肢的膚色區塊。影像處理裝置3採用例如坎尼算子（Canny filter）、索伯算子（Sobel filter）及Prewitt算子其中一者對膚色區塊進行邊緣偵測以獲取人體頭部及四肢的定位點。在取得上述定位點之後，影像處理裝置3可依據先前採用背景相減法獲得的前景影像以及人體骨架資料庫計算得出正面影像中關聯於使用者的複數個定位點以及側面影像中關聯於使用者的複數個定位點。

影像處理裝置3從正面影像的複數個定位點中取得至少二定位點並計算其長度。舉例來說，依據人體頭部的定位點以及人體足部的定位點計算其身高，依據人體肩部及背部的多個定位點之折線計算其中每一段直線的斜率以及判斷整體的連線類型。

實務上，影像處理裝置3例如係數位訊號處理器（digital signal processor）、特殊應用積體電路（application specific integrated circuit，ASIC）、數位邏輯電路、現場可程式邏輯閘陣列（field programmable gate array，FPGA）或其它可執行上述的影像處理功能的硬體元件，本發明對此不予限制。

在本發明的影像辨識系統10的另一實施例中，除第一攝像裝置1及第二攝像裝置2外，更包括一第三攝像裝置（未繪示）。第三攝像裝置例如裝設於金融機構營業廳的天花板，並且電性連接影像處理裝置3。第三攝像裝置用以取得使用者的一頭頂影像。影像處理裝置3則從頭頂影像中擷取膚色和黑色的顏色區塊並且計算兩者之比例，同時判斷黑色區塊的形狀屬於雄性禿分期（Norwood’s Classification）的哪一種類型。

在本發明的影像辨識系統的10的又一實施例中，除第一攝像裝置1及第二攝像裝置2外，更包括一第四攝像裝置（未繪示）。第四攝像裝置電性連接影像處理裝置3。第四攝像裝置1之設置位置可拍攝到金融機構營業廳中站立於指定櫃臺前的使用者的背面影像。第一攝像裝置1及第四攝像裝置係深度攝影機，因此第一攝像裝置1拍攝的正面影像更包括第一深度資訊，第四攝像裝置拍攝的背面影像更包括第二深度資訊。第一攝像裝置1及第四攝像裝置之設置位置形成第一連線。使用者之站立位置及第一攝像裝置之設置位置形成第二連線。使用者之站立位置及第四攝像裝置之設置位置形成第三連線。第一連線及第二連線形成第一夾角，第一連線及第三連線形成第二夾角。在本實施例中，影像處理裝置3更用以依據第一深度資訊、第二深度資訊、第一連線之長度、該第一夾角及該第二夾角計算另一體態類型之另一體態評估值。具體來說，由於第一連線之長度為固定值，因此影像處理裝置3可依據第一夾角、第一深度資訊及基本的三角函數運算計算出第一攝像裝置1到使用者身體正面之第一距離，並可依據第二夾角、第二深度資訊及基本的三角函數運算計算出第四攝像裝置到使用者身體背面之第二距離，然後將第一連線之長度扣除第一距離及第二距離即可獲得使用者身體在指定定位點下的厚度資訊。

體態資料庫4包括複數個第一表格空間，每個第一表格空間對應於一種體態類型並包括複數個第一欄位。所述的體態類型包括身高、肩寬、臂長、腿長、髮量、髮旋、雄性禿分期、駝背程度、側面站姿類型、身體厚度等，本發明並不限制體態類型的種類與數量。

每個第一表格空間的每個第一欄位存放一體態評估值、一權重值及一風險評估值。所述的風險評估值關聯於投資人願意負擔的風險比例。所述的權重值係用於綜合多種體態類型進行評估時，決定各種體態類型所應佔的比例。舉例來說，對應於身高的表格空間如下表所示：

身高評估值（公分）	風險評估值	權重值
141~150	0.32	1
151~160	0.35	1
161~170	0.37	1
171~180	0.39	1.1

對應於側面站姿的表格空間如下表所示：

側面站姿類型	風險評估值	權重值
勺形（spoon）	0.29	1.22
斜塔形（leaning tower）	0.37	1.11
橋形（bridge）	0.43	1.47
直背形（flat back）	0.53	1.23

在本發明一實施例中，上表所列舉的體態評估值（或體態評估類型）、權重值及風險評估值，係預先經由一運算裝置依據一歷史資料庫進行訓練得出。歷史資料庫包括金融機構依據客戶在開戶時所留存的正面影像、側面影像、客戶填寫的投資人風險屬性分析問卷調查表及客戶在往來金融機構執行業務的過程中所累積的金融產品投資記錄等大數據。前述的訓練，具體來說係運算裝置執行一深度學習演算法及一分類器演算法。所述的深度學習演算法例如係遞歸神經網路（Recursice Neural Network，RNN）及長短期記憶神經網路（Long Short Term Memory，LSTM）其中一者。所述的分類器演算法例如係支持向量機（support vector machine，SVM）及多層感知機（Multilayer perceptron，MLP）其中一者。透過運算裝置的預先訓練，可得到各種金融產品常態性對應的體態類型，進而計算出每個表格空間的每個欄位存放的體態評估值、權重值及風險評估值。

請參考圖1。金融產品資料庫5包括複數個第二表格空間。每個第二表格空間對應於一個風險比例區間並存放一金融產品資訊。舉例來說，「保守型」的金融產品對應的風險比例區間為0~6，其代表投資人基本上不願承擔任何投資風險，因此記載於此表格空間中的金融產品資訊偏向報酬來自利息收入的產品。「謹慎型」的金融產品對應的風險比例區間為7~13，其代表投資人基本上可接受輕微的損失，以換取輕微的潛在投資報酬，因此記載於此表格空間中的金融產品資訊為金融機構評定為低風險的項目。需注意的是，上述風險比例區間之邊界值，同樣可預先經由前述的運算裝置運行深度學習演算法及分類器演算法得出，或是由金融機構相關負責人定義之，本發明對此不予限制。

請參考圖1。運算裝置6通訊連接影像處理裝置3、體態資料庫4以及金融產品資料庫5。

運算裝置6依據影像處理裝置3測得的二定位點長度、斜率及連線類型等體態資訊從體態資料庫4中取得一或數個風險評估值，依據這些風險評估值計算一綜合風險評估值，再依據此綜合風險評估值所對應之風險比例區間金融產品資料庫5中選取一第二表格空間並輸出對應的金融產品資訊。例如，運算裝置6可依據身高、側面站姿等體態資訊從體態資料庫4中查找得到二風險評估值及二權重值，且依據二風險評估值及二權重值計算綜合風險評估值。沿用前面表格的例子來說，身高165對應的風險評估值為0.37，權重值為1；側面站姿為直背型的使用者對應的風險評估值為0.53，權重值為1.23。運算裝置6將這些風險評估值依據其對應的權重值予以加總得到該使用者的一綜合風險評估值（例如為0.37*1+0.53*1.23=1.0219）。運算裝置6依據此綜合風險評估值在金融產品資料庫5中取得對應的金融產品資訊並輸出。

綜合以上所述，本發明所揭露的影像辨識系統可從安裝於金融機構營業廳的多個攝像裝置取得使用者的正面及側面影像，並且透過影像處理技術獲取影像中的人體的體態資訊，並且將多個體態資訊換算為風險評估分數。因此，當客戶蒞臨金融機構之營業廳的特定櫃臺時，本案所揭露的影像辨識系統可進一步依據綜合風險評估值之範圍推薦適合該名客戶之金融商品，藉此讓客戶具有良好的金融服務體驗。此外，採用本發明的影像辨識系統所測得的體態資訊亦可以彙整供客戶參考。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

10:影像辨識系統 1:第一攝像裝置 2:第二攝像裝置 3:影像處理裝置 4:體態資料庫 5:金融產品資料庫 6:運算裝置

圖1係依據本發明一實施例的影像辨識系統所繪示的方塊架構圖。圖2係依據本發明一實施例的影像辨識系統所繪示的攝像裝置配置圖。

10:影像辨識系統

1:第一攝像裝置

2:第二攝像裝置

3:影像處理裝置

4:體態資料庫

5:金融產品資料庫

Claims

一種基於深度學習的影像辨識系統，包括：一第一攝像裝置，用以取得一使用者站立時之一正面影像；一第二攝像裝置，用以取得該使用者站立時之一側面影像；一影像處理裝置，電性連接該第一攝像裝置及該第二攝像裝置，該影像處理裝置用以從該正面影像選取關聯於該使用者的複數個定位點並計算該些定位點中二定位點的一長度，及從該側面影像選取關聯於該使用者的複數個定位點並計算該些定位點中二定位點的一斜率及一連線類型；一體態資料庫，包括複數個第一表格空間，每一該些第一表格空間對應於一體態類型並包括複數個第一欄位，每一該些第一欄位存放該體態類型之一體態評估值、一風險評估值及一權重值，其中該些體態類型包括：身高、肩寬、臂長、腿長、駝背程度、側面站姿類型及身體厚度；一金融產品資料庫，包括複數個第二表格空間，每一該些第二表格空間對應於一風險比例區間並存放一金融產品資訊；一第一運算裝置，通訊連接該影像處理裝置、該體態資料庫及該金融產品資料庫，該第一運算裝置依據該長度、該斜率及該連線類型從該體態資料庫中取得該些風險評估值中的複數個，依據被取得的該些風險評估值計算一綜合風險評估值，並從該金融產品資料庫中選取該些第二表格空間其中一者以輸出對應之該金融產品資訊，其中該綜合風險評估值屬於被選取的該第二表格所對應之該風險比例區間；以及一第二運算裝置，通訊連接該體態資料庫及該金融產品資料庫，該第二運算裝置用以依據一歷史資料庫運行一深度學習演算法及一分類器演算法以更新該體態評估值及該風險評估值至該體態資料庫並更新該風險比例區間至該金融產品資料庫，其中該歷史資料庫用以儲存複數個客戶各自之該正面影像、該側面影像及金融產品投資記錄；其中該影像處理模組更用以依據該正面影像及該側面影像進行色彩空間轉換、顏色過濾及邊緣偵測。
如請求項1所述的基於深度學習的影像辨識系統，更包括一第三攝像裝置，電性連接該影像處理裝置，該第三攝像裝置用以取得該使用者之一頭頂影像；且該影像處理裝置更用以從該頭頂影像選取複數個定位點並計算該些定位點所構成之一區塊及該區塊之一顏色分布。
如請求項1所述的基於深度學習的影像辨識系統，更包括：一第四攝像裝置，電性連接該影像處理裝置，該第四攝像裝置用以取得該使用者站立時之一背面影像；其中，該第一攝像裝置及該第四攝像裝置係深度攝影機，該第一攝像裝置及該第四攝像裝置之設置位置形成一第一連線；該正面影像更包括一第一深度資訊，該背面影像更包括一第二深度資訊；該影像處理裝置更用以依據該第一深度資訊、該第二深度資訊、該第一連線之一長度計算另一體態類型之另一體態評估值。
如請求項3所述的基於深度學習的影像辨識系統，其中該使用者之站立位置及該第一攝像裝置之設置位置形成一第二連線；該使用者之站立位置及該第四攝像裝置之設置位置形成一第三連線；該第一連線及該第二連線形成一第一夾角；該第一連線及該第三連線形成一第二夾角；以及該影像處理裝置更包括依據該第一夾角及該第二夾角計算該另一體態評估值。
如請求項1所述的基於深度學習的影像辨識系統，其中該深度學習演算法係長短期記憶神經網路或遞歸神經網路其中一者，且該分類器演算法係多層感知器或支持向量機其中一者。