TW201721510A - 人臉及聲紋語音之複合辨識系統 - Google Patents

Abstract

本發明係提供一種人臉及聲紋語音之複合辨識系統，其係在一辨識資訊數據庫已建立下所進行比對驗證的步驟，包括：(1)開始；(2)進行掃描擷取該標的之人臉辨識資訊，並進行收音擷取該標的之聲紋辨識資訊；(3)取得一比對資訊：組合配對該標的之人臉辨識資訊與該標的之聲紋辨識資訊；(4)將該比對資訊進行比對驗證：是否符合該辨識資訊數據庫內之一特徵辨識資訊：若是，則通過驗證；若否，則不能通過驗證；如此一來，其能藉由組合配對該標的之人臉辨識資訊與該標的之聲紋辨識資訊，以複合表徵來進行辨識，使本發明達到具有更佳精確性、安全性及經濟便利性之複合辨識系統。

Description

人臉及聲紋語音之複合辨識系統

本發明係有關於一種辨識系統，尤指一種將人臉及聲紋語音之辨識相結合，使其達到具有極佳安全性及精確性之複合辨識系統。

按，由於現代社會相當重視生活、工作等相關安全性問題，所以一種生物辨識(Biometrics)技術在目前乃被普遍所應用，例如提款機、門禁系統乃至電子設備之桌電、筆記型電腦等。在生物辨識技術的領域中，人臉辨識技術是一個重要的研發與應用項目，現有人臉辨識系統所用的演算法多半是基於「建立特徵值模型」的方式來做特徵擷取，再由統計測量方法取得由臉部得到之特徵向量集合，比對與辨識臉部形態並且表示相關特徵值的關係。然而，透過特徵值的精確度受限於取樣與辨識資訊，但辨識資訊過於龐大時，容易產生誤判之情形，例如有家族性臉孔者(雙/多胞胎、兄弟、姊妹或長晚輩親屬等)，由於臉孔近似就極易產生誤判，顯非理想、安全之設計應用。再者，因門禁系統會與出缺勤系統之結合演進，而因習知門禁系統或出缺勤系統常以刷卡作為媒介，但當員工忘記帶卡時，就會出現出缺勤統計或門禁出入上之困擾，亦有一併加以改良之必要，因此利用比單純人臉辨識更高精確性之複合辨識系統來解決此一問題，誠為一較佳方案。

緣此，本發明人有鑑於習知人臉辨識系統其使用上之缺失問題及其整體設計未盡理想之事實，即著手研發構思其解決方案，希望能開發出一種能具精確性、安全性及經濟便利應用性之人臉及聲紋語音之複合辨識系統，以服務社會大眾及促進此業之發展，遂經多時之構思而有本發 明之產生。

本發明之目的係在提供一種人臉及聲紋語音之複合辨識系統，其能消除單獨以人臉辨識所產生之誤判缺失，進而達到更具精確性、安全性及經濟便利應用性之複合辨識系統者。

本發明之再一目的係在提供一種人臉及聲紋語音之複合辨識系統，其能藉由預先輸入之人臉辨識(包括2D、3D)資料的第一辨識表徵、聲紋辨識資訊或語音辨識資訊的第二辨識表徵，產生複合辨識之精確性，並可取代使用者其他輔助辨識卡片、文件之攜帶，達到其更佳使用之便利性與應用範圍之普遍性者。

本發明為了達成上述目的，其所採用之技術手段包括有：一種人臉及聲紋語音之複合辨識系統，其係在一辨識資訊數據庫已建立下，所進行比對驗證的步驟，該辨識資訊數據庫係儲存所有需要辨識人員之每一特徵辨識資訊，該等特徵辨識資訊係由每一需要辨識人員之人臉辨識資訊和一聲紋辨識資訊組合配對形成，該進行比對驗證步驟包括： (1)開始：標的就位將開始進行辨識操作；(2)進行掃描擷取該標的之人臉辨識資訊，並進行收音擷取該標的之聲紋辨識資訊； (3)取得一比對資訊：組合配對該標的之人臉辨識資訊與該標的之聲紋辨識資訊，據此形成該標的專有之一特徵辨識資訊，該標的專有之特徵辨識資訊即為該比對資訊；(4)將該比對資訊進行比對驗證：將該比對資訊與該辨識資訊數據庫內之特徵辨識資訊進行比對，是否該比對資訊符合該辨識資訊數據庫內之一特徵辨識資訊：若是，則通過驗證，解除管制；若否，則不能通過驗證，禁止解除管制；(5)完成辨識操作：結束比對驗證程序。

如前述系統，其中該辨識資訊數據庫之建立步驟包括：(1)取得至少一人之人臉辨識資訊；(2)取得同一人之一聲紋辨識資訊，該聲紋 辨識資訊係指由麥克風或聲音感測器對該人所輸入的一特定語句，經由一音訊處理晶片，將該特定語句進行數位化處理並擷取該特定語句之音訊特徵，該音訊特徵即為該聲紋辨識資訊；(3)將該人臉辨識資訊和該聲紋辨識資訊組合配對形成一特徵辨識資訊，並儲存於一辨識資訊數據庫；(4)依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫。

如前述系統，其中該人臉辨識資訊係為2D或3D掃描所得之人臉辨識資訊。

如前述系統，其中該3D之人臉辨識資訊係掃掃描人臉時以一3D虛擬黏土合在臉上，該3D虛擬黏土即形成掃描對象之臉部模型，然後擷取該臉部模型之3D特徵並數位化記錄下來形成人臉辨識資訊。

如前述系統，其中該2D或3D掃描係包括感測器掃描、紅外線掃描或攝像。

本發明之技術手段進一步包括有：一種人臉及聲紋語音之複合辨識系統，其係在一辨識資訊數據庫已建立下，所進行比對驗證的步驟，該辨識資訊數據庫係儲存所有需要辨識人員之每一特徵辨識資訊，該等特徵辨識資訊係由每一需要辨識人員之人臉辨識資訊和一語音辨識資訊組合配對形成，該進行比對驗證步驟包括： (1)開始：標的就位將開始進行辨識操作；(2)進行掃描擷取該標的之人臉辨識資訊，並進行收音擷取該標的之語音辨識資訊； (3)取得一比對資訊：組合配對該標的之人臉辨識資訊與該標的之語音辨識資訊，據此形成該標的專有之一特徵辨識資訊，該標的專有之特徵辨識資訊即為該比對資訊；(4)將該比對資訊進行比對驗證：將該比對資訊與該辨識資訊數據庫內之特徵辨識資訊進行比對，是否該比對資訊符合該辨識資訊數據庫內之一特徵辨識資訊：若是，則通過驗證，解除管制；若否，則不能通過驗證，禁止解除管制；(5)完成辨識操作：結束比對驗證程序。

如前述系統，其中該辨識資訊數據庫之建立步驟包括： (1)取得至少一人之人臉辨識資訊；(2)取得同一人之一語音辨識資訊，該語音辨識資訊係指由麥克風或聲音感測器對該人所輸入的一特定語句，經由一音訊處理晶片，將該特定語句進行數位化處理並擷取該特定語句之音訊特徵，同時該音訊處理晶片亦擷取該特定語句之音調高低起伏特徵，組合配對該特定語句之音訊特徵與該特定語句之音調高低起伏特徵即為該語音辨識資訊；(3)將該人臉辨識資訊和該語音辨識資訊組合配對形成一特徵辨識資訊，並儲存於一辨識資訊數據庫；(4)依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫。

如前述系統，其中該人臉辨識資訊係為2D或3D掃描所得之人臉辨識資訊。

如前述系統，其中該3D之人臉辨識資訊係掃描人臉時以一3D虛擬黏土合在臉上，該3D虛擬黏土即形成掃描對象之臉部模型，然後擷取該臉部模型之3D特徵並數位化記錄下來形成人臉辨識資訊。

掃描人臉時以虛擬黏土合在臉上，而取下虛擬黏土後以3D感測器(sensor)擷取人臉之3D特徵。

如前述系統，其中該2D或3D掃描係包括感測器掃描、紅外線掃描或攝影。

茲為使 貴審查委員對本發明之方法特徵及所達成之功效更進一步之了解與認識，謹佐以較佳之實施例圖及配合詳細之說明，說明如後：

S11‧‧‧取得至少一人之人臉辨識資訊

S12‧‧‧取得同一人之一聲紋辨識資訊

S13‧‧‧將該人臉辨識資訊和該聲紋辨識資訊組合配對形成一特徵辨識資訊，並儲存於一辨識資訊數據庫

S14‧‧‧依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫

S15‧‧‧取得至少一人之人臉辨識資訊

S16‧‧‧取得同一人之一語音辨識資訊

S17‧‧‧將該人臉辨識資訊和該語音辨識資訊組合配對形成一特 徵辨識資訊，並儲存於一辨識資訊數據庫

S18‧‧‧依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫

S19‧‧‧開始

S20‧‧‧進行掃描與收音

S21‧‧‧取得一比對資訊

S22‧‧‧將該比對資訊與該辨識資訊數據庫內之特徵辨識資訊進行比對，是否該比對資訊符合該辨識資訊數據庫內之一特徵辨識資訊

S221‧‧‧若是，則通過驗證，解除管制

S222‧‧‧若否，則不能通過驗證，禁止解除管制

S23‧‧‧完成辨識操作

第1圖為本發明之人臉辨識資訊與聲紋辨識資訊建立示意圖。

第2A圖為本發明之人臉五官特徵一例之正面圖。

第2B圖為本發明之人臉五官特徵一例之側面圖。

第3圖為本發明之人臉辨識資訊與語音辨識資訊建立示意圖。

第4圖為本發明之應用流程示意圖。

請參閱第1圖，為本發明人臉及聲紋語音之複合辨識系統第一實施例，其用以表示本發明之人臉辨識資訊與聲紋辨識資訊建立示意圖，其包括有：取得至少一人臉辨識資訊S11及取得同一人之一聲紋辨識資訊S12；其中，該人臉辨識資訊係可以2D掃描(或攝像)成一照片檔，用以擷取人臉特徵(或五官特徵)，包括人臉、五官之形狀、大小及相對距離位置等。該人臉辨識資訊亦可以為3D人臉辨識資訊，即以掃描(或攝像)人臉時以一3D虛擬黏土合在臉上，該3D虛擬黏土即形成掃描對象之臉部模型，然後擷取該臉部模型之3D特徵並數位化記錄下來形成人臉辨識資訊，如第2A圖為人臉五官特徵一例之正面圖、第2B圖為人臉五官特徵一例之側面圖，此時對該五官特徵之形狀、大小、距離、比例及相對關係，比如輪廓內眉眼間的距離、結構對稱性、投影等多個特徵點進行分析運算，藉此擷取該臉部模型之3D特徵並將其數位化記錄下來，形成人臉辨識資訊。而前述該2D/3D之人臉辨識資訊為第一辨識表徵。

再者，該聲紋辨識資訊，係指針對同一人，對麥克風或聲音感測器以人聲輸入一特定語句(該特定語句可系統提供或使用者自選)，經由一音訊處理晶片，將該特定語句進行數位化處理並擷取該特定語句之音訊特徵，該音訊特徵即為該聲紋辨識資訊，而該聲紋辨識資訊為第二辨識表徵。

因為聲紋是通過儀器描繪出人的聲音的一些特徵，每個人從發育變聲完成以後到老年，聲紋特徵基本上是不變的，每個人的發聲器官 實際上存在著大小、形態及功能上的差異，發聲控制器官包括聲帶、軟顎、舌頭、牙齒、唇等，發聲共鳴器官包括咽腔、口腔、鼻腔，這些器官的微小差異都會導致發聲氣流的改變，造成音質、音色的差別，這就決定了每個人的聲音的生物特徵是不一樣的，因此本發明之聲紋辨識資訊可作為本實施例辨識功能之第二辨識表徵。

繼，將該人臉辨識資訊和該聲紋辨識資訊組合配對形成一特徵辨識資訊，並儲存於一辨識資訊數據庫S13；亦即將該第一辨識表徵與該第二辨識表徵組合配對形成一特徵辨識資訊並儲存於該辨識資訊數據庫。繼而，依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫S14，以使該辨識資訊數據庫作為將來應用於比對之母體資料。

請參閱第3圖，為本發明人臉及聲紋語音之複合辨識系統第二實施例，其係基於第一實施例之基礎上加以變化設計，其包括有：取得至少一人之人臉辨識資訊S15及取得同一人之一語音辨識資訊S16；而第二實施例與第一實施例差異係在於取得同一人之一語音辨識資訊S16，該取得同一人之一語音辨識資訊S16係指針對同1人，對麥克風或聲音感測器以人聲輸入一特定語句(該特定語句可由系統提供或使用者自選)，經由一音訊處理晶片，將該特定語句進行數位化處理並擷取該特定語句之音訊特徵，同時該音訊處理晶片亦擷取該特定語句之音調高低起伏特徵，組合配對該特定語句之音訊特徵與該特定語句之音調高低起伏特徵即為該語音辨識資訊，而該語音辨識資訊為第二辨識表徵。

因為針對同一特定語句，每個人因其習慣不同，其發聲會造成其在音調上有高低起伏、抑揚頓挫的不同，故有該特定語句之音調高低起伏特徵，當本案結合了該特定語句之音訊特徵與該特定語句之音調高低起伏特徵為該語音辨識資訊特徵，該語音辨識資訊特徵即具有相當可靠的人員辨識效果，因此本發明之語音辨識資訊可作為本實施例辨識功能之第二辨識表徵。

繼，將該人臉辨識資訊和該語音辨識資訊組合配對形成一特徵辨識資訊，並儲存於一辨識資訊數據庫S17；亦即將該第一辨識表徵與該第二辨識表徵組合配對形成一特徵辨識資訊並儲存於一辨識資訊數據庫。繼而，依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫S18，以使該辨識資訊數據庫作為將來應用於比對之母體資料。

請一併參閱第4圖，用以說明本發明人臉及聲紋語音之複合辨識系統之應用，其包括：開始S19：即標的(即待辨識人員)就位將開始進行辨識操作；繼，進行掃描與收音S20：即針對該標的以2D或3D掃描(攝像或攝影)以擷取人臉辨識資訊(第一辨識表徵)，且進行收音，令標的對麥克風或聲音感測器輸入一特定語句，用以擷取該標的之聲紋辨識資訊(第二辨識表徵)或語音辨識資訊(第二辨識表徵)。

繼，取得一比對資訊S21：即組合配對該標的之人臉辨識資訊與該標的之聲紋辨識資訊(或語音辨識資訊)，據此形成該標的專有之一特徵辨識資訊，該標的專有之特徵辨識資訊即為該比對資訊； 繼，將該比對資訊進行比對驗證：將該比對資訊與該辨識資訊數據庫內之特徵辨識資訊進行比對，是否該比對資訊符合該辨識資訊數據庫內之一特徵辨識資訊S22：若是，則通過驗證，解除管制S221；若否，則不能通過驗證，禁止解除管制S222； 前述當通過驗證時，即該標的為該辨識資訊數據庫內之人，因此此時可解除管制，以進行後續之程序，例如在門禁系統時解除門禁管制，在手機或電腦之開機驗證系統時啟動開機，在社群網站驗證會員系統時通過進入，或解除其他限制、管制等；前述當不通過驗證時，即該標的不為該辨識資訊數據庫內之人，此時將禁止解除管制，例如在門禁系統時不能解除門禁管制，在手機或電腦之開機驗證系統時不能啟動開機，在社群網站驗證會員系統時不能通過進入，或無法解除其他限制、管制等； 結束將該比對資訊進行比對驗證程序後，即完成辨識操作 S23。

本發明人臉及聲紋語音之複合辨識系統於應用時，若該預先建立之辨識資訊數據庫其第二辨識表徵係為聲紋辨識資訊，則後續該比對資訊所包含之第二辨識表徵亦係為聲紋辨識資訊。相同道理，若該預先建立之第二辨識表徵係為語音辨識資訊，則後續該比對資訊所包含之第二辨識表徵亦係為語音辨識資訊。

本發明人臉及聲紋語音之複合辨識系統藉由前述設計構成，其能消除單獨以人臉辨識所產生之誤判缺失，進而達到更具精確性、安全性及經濟便利應用性之複合辨識系統；且同時，本發明藉由預先輸入之人臉辨識資料(包括2D、3D)的第一辨識表徵、聲紋辨識資訊或語音辨識資訊的第二辨識表徵，產生複合辨識之精確性，並可取代使用者其他輔助辨識卡片、文件之攜帶，達到其更佳使用之便利性與應用範圍之普遍性。

綜上所述，本發明確實為一相當優異之創思，爰依法提出發明專利申請；惟上述說明之內容，僅為本發明之較佳實施例而已，舉凡依本發明之技術手段所延伸之變化，理應落入本發明之專利申請範圍。

S19‧‧‧開始

S20‧‧‧進行掃描與收音

S21‧‧‧取得一比對資訊

S22‧‧‧將該比對資訊與該辨識資訊數據庫內之特徵辨識資訊進行比對，是否該比對資訊符合該辨識資訊數據庫內之一特徵辨識資訊

S221‧‧‧若是，則通過驗證，解除管制

S222‧‧‧若否，則不能通過驗證，禁止解除管制

S23‧‧‧完成辨識操作

Claims (10)

1. 一種人臉及聲紋語音之複合辨識系統，其係在一辨識資訊數據庫已建立下，所進行比對驗證的步驟，該辨識資訊數據庫係儲存所有需要辨識人員之每一特徵辨識資訊，該等特徵辨識資訊係由每一需要辨識人員之人臉辨識資訊和一聲紋辨識資訊組合配對形成，該進行比對驗證步驟包括：(1)開始：標的就位將開始進行辨識操作；(2)進行掃描擷取該標的之人臉辨識資訊，並進行收音擷取該標的之聲紋辨識資訊；(3)取得一比對資訊：組合配對該標的之人臉辨識資訊與該標的之聲紋辨識資訊，據此形成該標的專有之一特徵辨識資訊，該標的專有之特徵辨識資訊即為該比對資訊；(4)將該比對資訊進行比對驗證：將該比對資訊與該辨識資訊數據庫內之特徵辨識資訊進行比對，是否該比對資訊符合該辨識資訊數據庫內之一特徵辨識資訊：若是，則通過驗證，解除管制；若否，則不能通過驗證，禁止解除管制；(5)完成辨識操作：結束比對驗證程序。
2. 如申請專利範圍第2項所述之人臉及聲紋語音之複合辨識系統，其中該辨識資訊數據庫之建立步驟包括：(1)取得至少一人之人臉辨識資訊；(2)取得同一人之一聲紋辨識資訊，該聲紋辨識資訊係指由麥克風或聲音感測器對該人所輸入的一特定語句，經由一音訊處理晶片，將該特定語句進行數位化處理並擷取該特定語句之音訊特徵，該音訊特徵即為該聲紋辨識資訊；(3)將該人臉辨識資訊和該聲紋辨識資訊組合配對形成一特徵辨識資訊，並儲存於一辨識資訊數據庫；(4)依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫。
3. 如申請專利範圍第2項所述之人臉及聲紋語音之複合辨識系統，其中該人臉辨識資訊係為2D或3D掃描所得之人臉辨識資訊。
4. 如申請專利範圍第3項所述之人臉及聲紋語音之複合辨識系統，其中該3D之人臉辨識資訊係掃描人臉時以一3D虛擬黏土合在臉上，該3D虛擬黏土即形成掃描對象之臉部模型，然後擷取該臉部模型之3D特徵並數位化記錄下來形成人臉辨識資訊。
5. 如申請專利範圍第4項所述之人臉及聲紋語音之複合辨識系統，其中該2D或3D掃描係包括感測器掃描、紅外線掃描或攝像。
6. 一種人臉及聲紋語音之複合辨識系統，其係在一辨識資訊數據庫已建立下，所進行比對驗證的步驟，該辨識資訊數據庫係儲存所有需要辨識人員之每一特徵辨識資訊，該等特徵辨識資訊係由每一需要辨識人員之人臉辨識資訊和一語音辨識資訊組合配對形成，該進行比對驗證步驟包括：(1)開始：標的就位將開始進行辨識操作；(2)進行掃描擷取該標的之人臉辨識資訊，並進行收音擷取該標的之語音辨識資訊；(3)取得一比對資訊：組合配對該標的之人臉辨識資訊與該標的之語音辨識資訊，據此形成該標的專有之一特徵辨識資訊，該標的專有之特徵辨識資訊即為該比對資訊；(4)將該比對資訊進行比對驗證：將該比對資訊與該辨識資訊數據庫內之特徵辨識資訊進行比對，是否該比對資訊符合該辨識資訊數據庫內之一特徵辨識資訊：若是，則通過驗證，解除管制；若否，則不能通過驗證，禁止解除管制；(5)完成辨識操作：結束比對驗證程序。
7. 如申請專利範圍第6項所述之人臉及聲紋語音之複合辨識系統，其中該辨識資訊數據庫之建立步驟包括：(1)取得至少一人之人臉辨識資訊；(2)取得同一人之一語音辨識資訊，該語音辨識資訊係指由麥克風或聲音 感測器對該人所輸入的一特定語句，經由一音訊處理晶片，將該特定語句進行數位化處理並擷取該特定語句之音訊特徵，同時該音訊處理晶片亦擷取該特定語句之音調高低起伏特徵，組合配對該特定語句之音訊特徵與該特定語句之音調高低起伏特徵即為該語音辨識資訊；(3)將該人臉辨識資訊和該語音辨識資訊組合配對形成一特徵辨識資訊，並儲存於一辨識資訊數據庫；(4)依前面程序取得所有需要辨識人員之特徵辨識資訊，並存入該辨識資訊數據庫內，完成建立具完整特徵辨識資訊之辨識資訊數據庫。
8. 如申請專利範圍第7項所述之人臉及聲紋語音之複合辨識系統，其中該人臉辨識資訊係為2D或3D掃描所得之人臉辨識資訊。
9. 如申請專利範圍第8項所述之人臉及聲紋語音之複合辨識系統，其中該3D之人臉辨識資訊係掃描人臉時以一3D虛擬黏土合在臉上，該3D虛擬黏土即形成掃描對象之臉部模型，然後擷取該臉部模型之3D特徵並數位化記錄下來形成人臉辨識資訊。
10. 如申請專利範圍第9項所述之人臉及聲紋語音之複合辨識系統，其中該2D或3D掃描係包括感測器掃描、紅外線掃描或攝像。