TWI740143B - 三維活體識別之人臉識別系統、三維活體識別方法及儲存媒體 - Google Patents

Abstract

本發明提出一種三維活體識別方法，可用於人臉識別系統，方法包括以下步驟。接收對物體經三維拍攝而得之二維影像及對應於二維影像之深度影像。針對二維影像進行人臉偵測及人臉特徵點偵測以分別找出人臉影像及人臉影像中之複數個特徵點。利用此等特徵點中至少部分之座標位置找出人臉影像中之判別區域。基於判別區域對應之深度影像的部分及判別區域對應之三維參考面來決定判別區域對應的判別特徵值。至少依據判別區域對應的判別特徵值得到人臉影像是否為活體之人臉的判斷結果。

Description

三維活體識別之人臉識別系統、三維活體識別方法及儲存媒體

本發明係關於人臉識別系統之技術，更特別的是關於一種三維活體識別之人臉識別系統、三維活體識別方法及能實現該方法之儲存媒體。

習知人臉辨識系統(如應用於門禁系統、人臉打卡系統)是透過對待辨識者拍攝二維的影像，對二維影像與資料庫中已有的人臉影像進行比對，從而判斷待辨識者是否可通過辨識。然而，有意人士可以使用平面照片之假人臉來欺騙此系統。為增加人臉辨識系統的安全性，有下列兩種習知方式來判斷人臉真偽。

一種方式是指示被辨識者作不同動作從而利用多個二維影像來進行辨識人臉真偽。利用此方式的人臉辨識系統中，會要求被辨識者做指定的動作譬如左右轉頭、上下轉頭或其他動作來判別被辨識者是否活體。但是因為要指示被辨識者、等待被辨識者完成指定動作之過程需要花費時間，如此一來，此系統也要利用較長時間才能完成辨識，且對被辨識者而言使用上也較為不便。

另一種方式則利用二維影像並配合熱感影像或紅外線影像。利用此方式的人臉辨識系統中，可以不必要求被辨識者做額外動作，藉由二維影像並配合熱感影像或紅外線影像依據人臉有體溫的特性來判別人臉真偽。然而，在戶外因為陽光或其他環境因素影響，平面照片之假人臉亦可具有相當於體溫的溫度而可能欺騙此系統。

故此，人臉辨識技術仍有待改進，在辨識人臉方面，使辨識過程簡化的同時也能降低系統被平面照片之假人臉欺騙之風險。

本發明之一目的在於提供一種用於人臉識別系統之技術，該技術用以判別辨識物體是否為活體。此技術利用被辨識者被三維拍攝之物體的深度資訊進行三維活體識別，故能以簡化的辨識過程，同時也能降低系統被平面照片之假人臉欺騙之風險。

為達至少上述目的，本發明提出一種三維活體識別之人臉識別系統，其包括處理單元以及儲存單元。儲存單元電性耦接該處理單元，儲存單元儲存程式碼，處理單元於存取程式碼後執行多個運作，此等運作包含如下。處理單元接收對物體經三維拍攝而得之二維影像及對應於二維影像之深度影像並從而判斷二維影像中是否存在活體之人臉影像。處理單元針對二維影像進行人臉偵測及人臉特徵點偵測以分別找出人臉影像及人臉影像中之複數個特徵點。處理單元利用此等特徵點中至少部分之座標位置找出人臉影像中之判別區域。處理單元基於判別區域對應之深度影像的部分及判別區域對應之三維參考面來決定判別區域對應的判別特徵值。處理單元至少依據判別區域對應的判別特徵值得到人臉影像是否為活體之人臉的判斷結果。

於本發明之一實施例中，處理單元基於由判別區域對應之深度影像的部分之深度資訊所對應之三維判別面至三維參考面的距離來決定判別區域對應的判別特徵值。

於本發明之一實施例中，處理單元設定三維參考面為三維平面，處理單元係利用判別區域對應之深度影像的部分之深度資訊而決定三維參考面。

於本發明之一實施例中，處理單元基於判別區域對應的判別特徵值及門檻值得到人臉影像是否為活體之人臉的判斷結果，其中若判別區域對應的判別特徵值大於或此等於門檻值，則處理單元得出人臉影像為活體之人臉的判斷結果；若判別區域對應的判別特徵值小於門檻值，則處理單元得出人臉影像並非活體之人臉的判斷結果。

於本發明之一實施例中，判別區域為第一判別區域，判別特徵值為第一判別區域對應的第一判別特徵值，處理單元利用此等特徵點中至少另一部分之座標位置找出人臉影像中之第二判別區域；處理單元基於第二判別區域對應之人臉影像及深度影像及第二判別區域對應之三維參考面來決定判別區域對應的第二判別特徵值；處理單元至少依據第一判別區域對應的第一判別特徵值及第二判別區域對應的第二判別特徵值得到人臉影像是否為活體之人臉的判斷結果。

於本發明之一實施例中，人臉識別系統更可以包括三維攝影單元，三維攝影單元通訊連接至處理單元，用以輸出二維影像及深度影像。

於本發明之一實施例中，人臉識別系統更可以包括通訊單元，通訊單元電性耦接至處理單元，用以通訊連接至遠端之三維攝影單元以取得二維影像及深度影像。

為達至少上述目的，本發明復提出一種三維活體識別方法，可用於人臉識別系統，方法包括以下步驟。接收對物體經三維拍攝而得之二維 影像及對應於二維影像之深度影像。針對二維影像進行人臉偵測及人臉特徵點偵測以分別找出人臉影像及人臉影像中之複數個特徵點。利用此等特徵點中至少部分之座標位置找出人臉影像中之判別區域。基於判別區域對應之深度影像的部分及判別區域對應之三維參考面來決定判別區域對應的判別特徵值。至少依據判別區域對應的判別特徵值得到人臉影像是否為活體之人臉的判斷結果。

於本發明之一實施例中，決定判別區域對應的判別特徵值之步驟包含：基於由判別區域對應之深度影像的部分之深度資訊所對應之三維判別面至三維參考面的距離來決定判別區域對應的判別特徵值。

於本發明之一實施例中，三維參考面為最接近三維判別面之三維平面。

於本發明之一實施例中，三維參考面為三維平面，三維參考面係利用判別區域對應之深度影像的部分之深度資訊而決定。

於本發明之一實施例中，得到人臉影像是否為活體之人臉的判斷結果之步驟包含以下步驟。若判別區域對應的判別特徵值大於或此等於門檻值，則得出人臉影像為活體之人臉的判斷結果。若判別區域對應的判別特徵值小於門檻值，則得出人臉影像並非活體之人臉的判斷結果。

於本發明之一實施例中，判別區域為第一判別區域，判別特徵值為第一判別區域對應的第一判別特徵值，三維活體識別方法更包括：利用此等特徵點中至少另一部分之座標位置找出人臉影像中之第二判別區域；基於第二判別區域對應之人臉影像及深度影像及第二判別區域對應之三維參考面來決定判別區域對應的第二判別特徵值；其中得到人臉影像是否為活體之人臉的判斷 結果之步驟包含至少依據第一判別區域對應的第一判別特徵值及第二判別區域對應的第二判別特徵值來得到人臉影像是否為活體之人臉的判斷結果。

為達至少上述目的，本發明又提出一種儲存媒體，其記錄用以讓運算裝置執行如上述之三維活體識別方法之實施例中至少一個或其組合的程式碼。

藉此，上述提供用於人臉識別系統之技術之實施例，其可用以判別辨識物體是否為活體。此技術利用被辨識者被三維拍攝之物體的深度資訊進行三維活體識別，故能以簡化的辨識過程，同時也能降低系統被平面照片之假人臉欺騙之風險。該技術可以應用於有安全性需求的人臉辨識系統中(如門禁系統、人臉打卡系統)，避免系統被有意人士使用假人臉欺騙，增加系統的安全性。

1、2、3:人臉識別系統

10:處理單元

11:儲存單元

12:通訊單元

20:三維攝影單元

21:二維影像感測器

22:深度感測器

30:資料傳輸裝置

S10~S50:步驟

S400~S420:步驟

S510~S530:步驟

IM:二維影像

DM:深度影像

FI:人臉影像

FD:人臉影像對應的深度影像的部分

C1~C9:特徵點

R1~R5:判別區域

S:三維判別面

PA、PB、PC:三維參考面

〔圖1〕係為三維活體識別之人臉識別系統之一實施例的示意方塊圖。

〔圖2〕係為三維活體識別之人臉識別系統之另一實施例的示意方塊圖。

〔圖3〕係為三維活體識別之人臉識別系統之一些實施例的示意方塊圖。

〔圖4〕係為三維活體識別方法之一實施例的示意流程圖。

〔圖5〕係為圖4中步驟S20之一實施例的示意圖。

〔圖6〕係為圖4中步驟S30之一實施例的示意圖。

〔圖7A〕係為圖4中步驟S40之一實施例的示意圖。

〔圖7B〕係為圖4中步驟S40之另一實施例的示意圖。

〔圖7C〕係為圖4中步驟S40之又一實施例的示意圖。

〔圖8〕係為圖4中步驟S40之一實施例的示意流程圖。

〔圖9〕係為圖4中步驟S50之一實施例的示意流程圖。

為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：請參考圖1，其繪示三維活體識別之人臉識別系統之一實施例，圖1的人臉識別系統可以實現依圖4的三維活體識別方法或基於圖4的實施例(其將於之後詳細說明，此處先暫時略過)，並可據以進一步實現各種基於人臉識別之方法。如圖1所示之三維活體識別之人臉識別系統1(以下簡稱人臉識別系統1)，包括儲存單元11及處理單元10。處理單元10電性耦接儲存單元11，且用以接收對物體經三維拍攝而得之二維影像IM及對應於二維影像IM之深度影像DM並從而判斷二維影像IM中是否存在活體之人臉影像。

處理單元10可以利用一個或多個電路來實現，如處理器、數位訊號處理器，或是以可程式化的積體電路如微控制器、元件可程式邏輯閘陣列(field programmable gate array，FPGA)或特殊應用積體電路(application specific integrated circuit，ASIC)之類的電路中之一個或多個電路來實現，亦可使用專屬的電路或模組來實現。儲存單元11例如包含記憶體或儲存裝置等記憶裝置，且可用於儲存處理單元10所要輸入或輸出的資料，或可用於人臉辨識、人臉特徵點辨識之資料庫。

在基於圖1之一實施例中，如圖2所示之人臉識別系統2更可以包括三維攝影單元20，三維攝影單元20通訊連接至處理單元10，用以輸出二維影像IM及深度影像DM。舉例而言，三維攝影單元20可利用電性連接、通訊介面(如USB等)、資料連接線或其他連接方式而通訊連接至處理單元10。人臉識別系統2可以依據需求而進一步配置為一種運算裝置或終端裝置，如具深度偵測的攝影機或監控攝影機，也可以配置為智慧型裝置，如智慧型手機、平板電腦，或可以配置為筆記型電腦等電腦系統。三維攝影單元20例如是包含二維影像感測器21及深度感測器22。二維影像感測器21例如是CMOS或其他影像感測器。深度感測器22例如是利用紅外線或雷射之深度感測器，如飛行時間測距(Time of Flight，TOF)感測器。然而本發明的實現並不受上述例子限制。

在基於圖1之一實施例中，如圖3所示之人臉識別系統3更可以包括通訊單元12，通訊單元12電性耦接至處理單元10，且用於以有線或無線方式通訊連接至遠端之三維攝影單元20以取得二維影像IM及深度影像DM，人臉識別系統3據以判斷二維影像IM中是否存在活體之人臉影像。在本實施例中，人臉識別系統3可以配置為一台或多台運算裝置，如行動裝置、電腦、伺服器或雲端伺服器。另一方面，三維攝影單元20可以連接至資料傳輸裝置30，並透過資料傳輸裝置30以有線或無線方式將拍攝到的二維影像IM及深度影像DM傳送至通訊單元12。資料傳輸裝置30可以利用通訊電路，如支授Wi-Fi、USB或其他通訊協定的通訊電路，或可以是具有通訊電路的運算裝置。然而本發明的實現並不受上述例子限制。

請參考圖4，其為三維活體識別方法之一實施例的示意流程圖。圖4所示之實施例可用如基於圖1至圖3的人臉識別系統，並可據以進一步實現各 種基於人臉識別之方法。如圖4所示，三維活體識別方法之一實施例包括以下步驟。如步驟S10所示，接收對物體經三維拍攝而得之二維影像IM及對應於二維影像IM之深度影像DM。如步驟S20所示，針對二維影像IM進行人臉偵測及人臉特徵點偵測以分別找出人臉影像及人臉影像中之複數個特徵點。如步驟S30所示，利用此等特徵點中至少部分之座標位置找出人臉影像中之判別區域。如步驟S40所示，基於判別區域對應之深度影像DM的部分及判別區域對應之三維參考面來決定判別區域對應的判別特徵值。如步驟S50所示，至少依據判別區域對應的判別特徵值得到人臉影像是否為活體之人臉的判斷結果。

以下分別就各步驟舉例說明其各種實現方式。

關於步驟S10，舉例而言，如圖1、圖2或圖3所示，可以利用處理單元10接收二維影像IM及深度影像DM以實現步驟S10。舉例而言，二維影像IM例如包含A×B個像素的影像，如RGB影像、灰階影像或其他形式影像，A、B為正整數，且可視人臉識別系統對解析度的需求而設定；深度影像DM包含對應到二維影像IM中的至少部分或全部像素的深度資訊；二維影像IM及深度影像DM係為同步且校正對齊。舉例而言，對應於二維影像IM之深度影像DM包含二維影像IM中至少部分或全部像素所對應的環境中實體就參考原點(或參考平面)而言的深度資訊，此參考原點(或參考平面)通常可取如前述三維攝影單元20的位置(或拍攝的參考平面)。此外，參考原點(或參考平面)也可以設於其他位置。實施例並不以上述例子為限。

依據步驟S10，人臉識別系統1、2或3可以配置為接收個別的二維影像IM及對應於二維影像IM之深度影像DM，或者可以配置為接收基於三維座標之格式(如(x,y,z))來表示之二維影像IM及深度影像DM，其中z為座標(x,y)對 應的深度值。故此，本發明的實現並不受人臉識別系統所接收之二維影像或深度影像的格式等例子限制。

在步驟S20中，針對二維影像IM進行人臉偵測以找出人臉影像。人臉偵測在二維影像IM中找出人臉的位置和大小，以偵測出面部特徵，並忽略諸如建築物、樹木和身體等其他任何東西。請參考圖5，其為圖4中步驟S20之一實施例的示意圖。如圖5所示，透過步驟S20之一實施例，在二維影像IM中找出人臉影像FI。步驟S20又針對二維影像IM進行人臉特徵點偵測以找出人臉影像中之複數個特徵點。舉例而言，人臉特徵點偵測可以是在人臉偵測的基礎上進行的，如圖5所示，人臉特徵點偵測對人臉影像FI上的特徵點例如眼角、鼻子、嘴角等進行定位，分別得出特徵點C1~C4、C5~C7、C8~C9。此外，亦可利用人臉特徵點偵測對人臉影像FI上任何欲要偵測的特徵點進行偵測，如眼角、鼻子、嘴角、下巴、耳朵、額頭、臉脥中至少一個部位中的特徵點，或者人臉影像FI其他部位中特徵點。本發明的實現並不受上述特徵點或特徵點數量例子的限制。

在步驟S20的實施例中，可以利用任何一種或多種人臉偵測技術來實現，例如，但不限於，基於臉部特徵點的辨識演算法(feature-based recognition algorithms)、基於整幅人臉影像的辨識演算法(appearance-based recognition algorithms)、基於模板的辨識演算法(template-based recognition algorithms)、利用神經網路進行辨識的演算法(recognition algorithms using neural network)或利用支援向量機進行辨識的演算法(recognition algorithms using support vector machine(SVM))來實現，或者其他合適的演算法來實現。

舉例而言，在步驟S30中，利用此等特徵點中至少部分，如至少一個或多個特徵點之座標位置，以找出人臉影像中之判別區域。請參考圖6，其 為圖4中步驟S30之一實施例的示意圖。在圖6中，為了便於繪示及說明步驟S30所得到的判別區域與對應的深度資訊的關係，以符號FD所指之以輪廓或線條來示意人臉影像(如上述圖5中的FI)所對應的深度影像DM中的部分。假如深度影像DM中的深度資訊以某一數值範圍(例如0~255或其他數值範圍)表示像素對應的實體相較次參考原點(或參考平面)的遠至近的距離的話，FD或DM可以用灰階圖來示意，但本發明之實現並不受此限制。以下舉例說明找出人臉影像中之判別區域的各種可能方式。

如圖6所示，譬如，取鼻子附近的區塊作為判別區域來實現步驟S30，至少選取鼻子中心(如特徵點C5)或是從二維影像IM偵測到的特徵點的位置(X,Y)，就可以直接以(X,Y)附近的座標(X+W,Y+H)、(X+W,Y-H)、(X-W,Y+H)、(X-W,Y+H)來定義判別區域R3，其中W、H分別為判別區域的寬和高。

此外，本發明的實現並不受步驟S30的實現形式所限制；譬如在方法步驟中若是針對基於至少一個特徵點的區域所對應的深度資訊來進行判斷人臉影像是否為活體之人臉的相關處理時，由於已間接地界定了判別區域，也可以視為已實現了步驟S30。

此外，在一些實施例中，步驟S30也可以利用兩個或以上的特徵點來找出判別區域。例如取圖5中鼻子的特徵點C5、C6、C7，各取C5、C6之中點及C6、C7之中點來估算鼻子的寬度，並用眼角的特徵點C2、C3之中點及特徵點C5來估算鼻子的高度，從而可以得出如圖6所示之判別區域R4。其他如位於額頭的判別區域R1、跨越鼻子的判別區域R2、R3或嘴巴以下的判別區域R5，亦可如此類推地找出。又例如，可以利用兩個或以上的特徵點來設定一個判別區域。如以圖5中特徵點的C8及C9來設定一個判別區域。如以圖5中特徵點的C5、C6、 C7來設定一個判別區域。如以圖5中特徵點的C6、C7、C8、C9來設定一個判別區域。又可以利用人臉影像FI上任何已偵測到的特徵值來設定一個或多個判別區域，如眼角、鼻子、嘴角、下巴、耳朵、額頭、臉脥或其他部位中至少一個或多個特徵點來設定一個或多個判別區域。然而，本發明的實現並不受上述判別區域或判別區域數量例子的限制。

在透過步驟S30找出判別區域以後，可以進一步針對判別區域所對應的深度資訊來進行後續的是否活體人臉之辨識。

於本發明之一實施例中，決定判別區域對應的判別特徵值之步驟S40包含：基於由判別區域對應之深度影像DM的部分之深度資訊所對應之三維判別面至三維參考面的距離來決定判別區域對應的判別特徵值。請參考圖7A，其為圖4中步驟S40之一實施例的示意圖。在圖7A中，取圖6中鼻子之部分之判別區域R3為例，且為了方便說明，由判別區域R3對應之深度影像DM的部分之深度資訊係以所對應之三維判別面S以剖面來表示。如圖7A所示之實施例中，三維參考面PA為最接近三維判別面之三維平面，三維判別面S於本例中為曲面且最高點與三維參考面PA相交。詳細而言，三維判別面S並非理想的曲面，事實上三維判別面S是指包含判別區域R3的座標位置(如以(x,y)表示)所對應的深度資訊(如以z表示)的集合，為便於說明，可以將多個離散的座標(x,y,z)視為三維判別面S上的點，故本發明的實現並不受上述對三維判別面S的說明或其他的例子限制。

在步驟S40之實施例中，可以藉由統計判別區域R3對應之三維判別面S到此三維參考面PA的距離作為判別區域R3對應的判別特徵值，譬如將三維判別面S各個點至此三維參考面PA的距離作平均或其他統計處理。為了能夠將有意人士利用人臉的照片欲欺騙的情況加以偵測出來，當二維影像中含有人臉 的照片的時候，因為人臉的照片也是平面所以人臉的照片與三維參考面PA的距離會很小，故此對應的判別特徵值較小。反之，如果二維影像中是真人臉則會因為人臉的曲度造成較高的距離差異，故此對應的判別特徵值較大。經過統計分析或經驗值的計算，可以得出判別特徵值的大小與是否真人臉之間關聯性的關係，故此可以利用後續的步驟S50，至少依據判別區域對應的判別特徵值得到人臉影像是否為活體之人臉的判斷結果。此外，基於圖4之步驟S30中的方法判別區域可以兩個或以上的數目，對應地藉由步驟S40、S50，亦可以依據多個方法判別區域對應的判別特徵值，得到人臉影像是否為活體之人臉的判斷結果。

請參考圖7B，其為圖4中步驟S40之另一實施例的示意圖。如圖7B所示，三維參考面PB可以設定為非最接近三維判別面S之三維平面，如以圖6的例子來直觀地說明，三維參考面PB在判別區域R3如鼻子之前面。

請參考圖7C，其為圖4中步驟S40之又一實施例的示意圖。如圖7C所示，三維參考面PC可以設定為非最接近三維判別面S之三維平面，如以圖6的例子來直觀地說明，三維參考面PC在判別區域R3如鼻子之後面。

於本發明之一實施例中，三維參考面為三維平面，三維參考面係利用判別區域對應之深度影像DM的部分之深度資訊而決定。請參考圖8，其為圖4中步驟S40之另一實施例的示意流程圖。如步驟S400所示，利用判別區域對應之深度影像DM的部分之深度資訊得出三維參考面之模型(或稱方程式)之複數個建模參數。如步驟S410所示，基於該等建模參數及判別區域中對應之深度影像DM的部分之深度資訊，以得出由判別區域對應之深度影像DM的部分之深度資訊所對應之三維判別面至三維參考面的多個距離值。如步驟S420所示，基於 多個距離值得出判別區域對應的判別特徵值。例如，對多個距離值作平均或其他統計計數而得出判別特徵值。

舉例而言，以圖7A之三維參考面為三維平面為例，可以利用以下公式表示：ax+by+cz+d=0或簡化為ax+by+d=-z (公式1)。

假設一個判別區域內有N個點，由公式1可以列出以下矩陣：

舉例而言，為了簡化上述矩陣及找出合適的三維平面作為三維參考面，可以將參考原點移至此判別區域的中心位置(或可視為幾何重心)。藉此，最後得出的三維平面會通過判別區域的所有點之座標所求到的中心點。為此，以此判別區域的中心位置為新的參考原點，上述式子中的座標要經過座標轉換。據此，在經過針對此判別區域的中心位置為新參考原點之座標轉換以後，此判別區域中的所有三維的座標將符合以下等式： Σ x _i =Σ y _i =Σ z _i =0，故上述矩陣經過座標轉換以後可以簡化為：

最後，可以得出：D=Σxx×Σyy-Σxy×Σxy a=(Σyz×Σxy-Σxz×Σyy)/D b=(Σxy×Σxz-Σxx×Σyz)/D (公式2)。

將判別區域中最高點代入平面方程式，則可以得到d。在透過公式2得到a、b，以及d以後，將a、b、d代入公式1中，則為最接近判別區域的平面方程式。上述a、b、d為步驟S400中所述之建模參數之例子。藉此，可以得出如圖7A所示的三維參考面PA。若將三維參考面PA向某一方向平移，可以得出三維參考面PB，或將三維參考面PA向另一方向平移，可以得出三維參考面PC。關於步驟S410，可以利用以下公式3來計算一個點(x₀,y₀,z₀)至平面之距離：

請參考圖9，其為圖4中步驟S50之一實施例的示意流程圖。如步驟S510所示，判別區域對應的判別特徵值是否大於或此等於門檻值。如步驟S520所示，若判別區域對應的判別特徵值大於或此等於門檻值，則判斷出人臉影像 為活體之人臉。如步驟S530所示，若判別區域對應的判別特徵值小於門檻值，則判斷出人臉影像並非活體之人臉。經過統計分析或經驗值的計算，可以得出判別特徵值的大小與是否真人臉之間關聯性的關係，故此可以利用後續的步驟S50，至少依據判別區域對應的判別特徵值得到人臉影像是否為活體之人臉的判斷結果。

此外，基於圖4之方法中，此外，基於圖4之步驟S30中的方法判別區域可以兩個或以上的數目，對應地藉由步驟S40、S50，亦可以依據多個方法判別區域對應的判別特徵值，得到人臉影像是否為活體之人臉的判斷結果。在一實施例中，判別區域為第一判別區域，判別特徵值為第一判別區域對應的第一判別特徵值，三維活體識別方法更包括：利用此等特徵點中至少另一部分之座標位置找出人臉影像中之第二判別區域；基於第二判別區域對應之人臉影像及深度影像DM及第二判別區域對應之三維參考面來決定判別區域對應的第二判別特徵值；其中得出人臉影像是否為活體之人臉的判斷結果之步驟包含至少依據第一判別區域對應的第一判別特徵值及第二判別區域對應的第二判別特徵值得到人臉影像是否為活體之人臉的判斷結果。

在一些實施例中，步驟S40、S50可以利用基於機器學習或神經網路中的方式來得出人臉影像是否為活體之人臉的判斷結果。舉例而言，在實現步驟S40、S50以前，可以將多個真實人臉中一個或多個判別區域、對應的深度資訊作為特徵資料(feature)並對應至真人臉之真實類別(Ground truth)的例子給予分類器(classifier)中進行訓練，並將多個假人臉中一個或多個判別區域、對應的深度資訊作為特徵資料並對應至假人臉之真實類別的例子給予此分類器中進行訓練。在經過大量的訓練之後，此分類器即具備分判人臉影像中基於一個 或多個判別區域情況下，人臉影像是否為活體之人臉的判斷能力；當此分類器滿足所需要的準確率時，則可用以實現步驟S40、S50。然而本發明的實現並不受上述例子限制。

此外，在一些實施例中，提出一種運算裝置可讀取記錄媒體，其記錄用以讓一運算裝置(如前述圖1、圖2或圖所示的人臉識別系統1、2或3)，藉由運算裝置(如終端裝置或伺服器)來執行三維活體識別方法之程式碼或包含三維活體識別方法之程式碼，其中方法可以包含基於圖4之方法的實施例中至少一個或其組合。舉例而言，程式碼是一個或多個程式或程式模組，例如用於實現依據圖4的步驟S10至S50、圖8的步驟S400和S420，或圖9的步驟S500至S530，此等模組之程式碼係協同運作，且可以用任何適合的順序或平行而被執行。當運算裝置執行此程式碼時，能導致運算裝置執行基於圖4之三維活體識別方法之一實施例。上述可讀取記錄媒體例如為靭體、ROM、RAM、記憶卡、光學式資訊儲存媒體、磁式資訊儲存媒體或其他任何種類的儲存媒體或記憶體，且本發明之實現方式並不受此例子限制。

此外，基於圖4之三維活體識別方法或系統之任一實施例或其組合可以成為例如身份辨認系統或基於身份辨認系統之提款系統、門禁系統、提款系統或支付系統等應用中之部分，而有助於強化上述系統的安全性，以避免被假人臉而欺騙之效果。以下舉例說明。

在一實施例中，在身份辨認系統進行人臉身份辨認之過程中，可以採用基於圖4之三維活體識別方法之任一實施例或其組合，以得出人臉影像是否為活體之人臉的判斷結果。若判斷結果為是，則身份辨認系統可進一步對此人臉之身份辨認，以使身份辨認系統確定此人臉是否為身份辨認系統之用戶資 料庫中已註冊或已知的人臉。若此人臉為此系統之用戶資料庫中已註冊或已知的人臉，則身份辨認系統可以進行下一步的運作，例如，此系統讓此人臉所代表的用戶擁用使用某種設備，或電腦運算、網路資源之權限，又或者具體地為此用戶而開啟、關閉某種設備或改變某種設備的設定或其他選項。此外，若得出人臉影像並非活體之人臉的判斷結果時，則人臉身份辨認系統可以拒絕此人臉所代表的用戶，或要求再次進行人臉影像之拍攝及進行是否為活體之人臉的判斷，然本實施例並不受此限制。上述之實施例可以讓身份辨認系統快速篩選出假人臉，可強化人臉身份辨認系統的安全性，並可以避免浪費人臉身份辨認系統的人臉身份辨認方面對讀取資料庫等身份判斷所消耗的運算資源。

在另一實施例中，人臉身份辨認系統也可首先進行人臉身份辨認，以使人臉身份辨認系統確定此人臉是否為人臉身份辨認系統之用戶資料庫中已註冊或已知的人臉。若此人臉為為此系統之用戶資料庫中已註冊或已知的人臉，則人臉身份辨認系統可以進行基於圖4之三維活體識別方法之任一實施例或其組合，以得到人臉影像是否為活體之人臉的判斷結果。若判斷結果為是，則人臉身份辨認系統確認了此人臉所代表用戶的真實性，故可進一步在作如前述舉例之下一步的運作。此實施例亦可以強化人臉身份辨認系統的安全性。

此外，上述身份辨認系統之實施例可以適用於基於身份辨認系統之提款系統、門禁系統、提款系統、支付系統或其他系統。在經過身份辨認及人臉是否為活體之人臉之確認後，再進一步執行某種運作，如提款運作、門禁開或關之運作、支付運作或其他系統之運作。藉此，可以強化基於身份辨認系統之提款系統、門禁系統、提款系統、支付系統或其他系統的安全性。

在另一些實施例中，上述基於圖4之三維活體識別方法或系統之任一實施例或其組合亦可以包含基於人臉影像之身份辨認之步驟，從而成為一種適用於身份辨認系統之方法，或成為適用在基於身份辨認之提款系統、門禁系統、提款系統或支付系統等應用中之方去，而有助於避免上述系統被假人臉而欺騙之效果以強化安全性。舉例而言，基於人臉影像之身份辨認之步驟可以實現於步驟S10~S50之前或之後，或者實現於步驟S10~S50之間，本發明之實現並不受此限制。

基於人臉影像之身份辨認之步驟例如是將未確認身份的臉部影像，以及系統中臉部資料庫中的若干已知身分的臉部影像或者相應的編碼進行比較或計算相似度，並利用或輸出則是一系列相似度得分，表明待辨識的人臉的身份。例如，若未確認身份的臉部影像與已知身分多個用戶的人臉中相似度最高的用戶為用戶甲，則可以認定該臉部影像的身份為用戶甲。然而本發明之實現並不受此例子限制。

在另一些實施例中，上述基於圖4之三維活體識別方法或系統之任一實施例或其組合除了可以包含基於人臉影像之身份辨認之步驟，更可包含，在經過身份辨認及人臉是否為活體之人臉之確認後，進一步執行某種運作之步驟。例如，如讓此人臉所代表的用戶擁用使用某種設備，或電腦運算、網路資源之權限，又或者具體地為此用戶而開啟、關閉某種設備或改變某種設備的設定或其他選項，又如提款運作、門禁開或關之運作、支付運作或其他系統之運作故不再贅述。然而本發明之實現並不受此例子限制。

藉此，上述提供用於人臉識別系統之技術之實施例，其可用以判別辨識物體是否為活體。此技術利用被辨識者被三維拍攝之物體的深度 資訊進行三維活體識別。相較於習知影像處理方法，在一些實施例中，人臉識別系統至少只需要一張人臉就可以判斷，故可簡化辨識過程，同時也能降低系統被平面照片之假人臉欺騙之風險。該技術可以應用於有安全性需求的人臉辨識系統中(如門禁系統、人臉打卡系統)，避免系統被有意人士使用照片之假人臉欺騙，能夠增加系統的安全性。

本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。

S10~S50:步驟

Claims (12)

1. 一種三維活體識別之人臉識別系統，包括：一處理單元；以及一儲存單元，電性耦接該處理單元，該儲存單元儲存程式碼，該處理單元於存取程式碼後執行多個運作，該等運作包含：接收對物體經三維拍攝而得之一二維影像及對應於該二維影像之一深度影像並從而判斷該二維影像中是否存在活體之人臉影像；針對該二維影像進行人臉偵測及人臉特徵點偵測以分別找出一人臉影像及該人臉影像中之複數個特徵點；利用該等特徵點中至少部分之座標位置找出該人臉影像中之一判別區域，其中該判別區域小於該二維影像；基於該判別區域對應之該深度影像的部分之深度資訊所對應之一三維判別面至該判別區域對應之一三維參考面的距離來決定該判別區域對應的一判別特徵值；以及至少依據該判別區域對應的判別特徵值得到該人臉影像是否為活體之人臉的判斷結果。
2. 如請求項1所述之人臉識別系統，其中該處理單元設定該三維參考面為一三維平面，該處理單元係利用該判別區域對應之該深度影像的部分之深度資訊而決定該三維參考面。
3. 如請求項1所述之人臉識別系統，其中該處理單元基於該判別區域對應的判別特徵值及一門檻值得到該人臉影像是否為活體之人臉 的判斷結果，其中若該判別區域對應的判別特徵值大於或等於該門檻值，則該處理單元得出該人臉影像為活體之人臉的判斷結果；若該判別區域對應的判別特徵值小於該門檻值，則該處理單元得出該人臉影像並非活體之人臉的判斷結果。
4. 如請求項1所述之人臉識別系統，其中該判別區域為一第一判別區域，該判別特徵值為該第一判別區域對應的一第一判別特徵值，該處理單元利用該等特徵點中至少另一部分之座標位置找出該人臉影像中之一第二判別區域；該處理單元基於該第二判別區域對應之該人臉影像及該深度影像及該第二判別區域對應之一三維參考面來決定該判別區域對應的一第二判別特徵值；該處理單元至少依據該第一判別區域對應的第一判別特徵值及該第二判別區域對應的第二判別特徵值得到該人臉影像是否為活體之人臉的判斷結果。
5. 如請求項1至4中任一項所述之人臉識別系統，其中該人臉識別系統更包括：一三維攝影單元，該三維攝影單元通訊連接至該處理單元，用以輸出該二維影像及該深度影像。
6. 如請求項1至4中任一項所述之人臉識別系統，其中該人臉識別系統更包括：一通訊單元，該通訊單元電性耦接至該處理單元，用以通訊連接至遠端之一三維攝影單元以取得該二維影像及該深度影像。
7. 一種三維活體識別方法，用於一人臉識別系統，該方法包括： 接收對物體經三維拍攝而得之一二維影像及對應於該二維影像之一深度影像；針對該二維影像進行人臉偵測及人臉特徵點偵測以分別找出一人臉影像及該人臉影像中之複數個特徵點；利用該等特徵點中至少部分之座標位置找出該人臉影像中之一判別區域，其中該判別區域小於該二維影像；基於該判別區域對應之該深度影像的部分之深度資訊所對應之一三維判別面至該判別區域對應之一三維參考面的距離來決定該判別區域對應的一判別特徵值；以及至少依據該判別區域對應的判別特徵值得到該人臉影像是否為活體之人臉的判斷結果。
8. 如請求項7所述之三維活體識別方法，其中該三維參考面為最接近該三維判別面之一三維平面。
9. 如請求項7所述之三維活體識別方法，其中該三維參考面為一三維平面，該三維參考面係利用該判別區域對應之該深度影像的部分之深度資訊而決定。
10. 如請求項7所述之三維活體識別方法，其中得到該人臉影像是否為活體之人臉的判斷結果之步驟包含：若該判別區域對應的判別特徵值大於或等於一門檻值，則得出該人臉影像為活體之人臉的判斷結果；若該判別區域對應的判別特徵值小於該門檻值，則得出該人臉影像並非活體之人臉的判斷結果。
11. 如請求項7所述之三維活體識別方法，其中該判別區域為一第一判別區域，該判別特徵值為該第一判別區域對應的一第一判別特徵值，該三維活體識別方法更包括：利用該等特徵點中至少另一部分之座標位置找出該人臉影像中之一第二判別區域；基於該第二判別區域對應之該人臉影像及該深度影像及該第二判別區域對應之一三維參考面來決定該判別區域對應的一第二判別特徵值；其中得到該人臉影像是否為活體之人臉的判斷結果之步驟包含至少依據該第一判別區域對應的第一判別特徵值及該第二判別區域對應的第二判別特徵值來得到該人臉影像是否為活體之人臉的判斷結果。
12. 一種儲存媒體，其記錄用以讓一運算裝置執行如請求項7至11中任一項所述之三維活體識別方法的程式碼。

Images