TWI687871B

TWI687871B - 應用於安全防護之影像辨識系統

Info

Publication number: TWI687871B
Application number: TW108110821A
Authority: TW
Inventors: 吳世光
Original assignee: 國立勤益科技大學
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2020-03-11
Also published as: TW202036372A

Abstract

本發明提供一種應用於安全防護之影像辨識系統，其有影像處理單元電性連接影像資料庫以及影像擷取單元，以影像處理單元比對建檔影像和待辨識影像並產生特徵差異。另有生成對抗網路，包括影像生成單元和鑑別單元，影像生成單元依影像處理單元所比對之特徵差異而於特徵數據資料庫中取得參考影像，並以參考影像於待辨識影像合成虛擬影像，由鑑別單元辨識虛擬影像是否吻合建檔影像，依辨識結果為吻合而發出辨識成功訊號，以避免影像間因有特徵差異而誤判。

Description

應用於安全防護之影像辨識系統

本發明係關於一種應用於安全防護之影像辨識系統，尤指一種可辨識影像之特徵差異而避免誤判之影像辨識系統。

企業或一般家庭在人員出入時，為了達到安全防護的效果，常會利用身份辨識作為可否通過之依據，例如透過晶片卡或指紋等認證方式。然而，以前述晶片卡或指紋等認證方式為身份辨識者，常見有易於破解而被偽造的虞慮，仍有安全防護上的漏洞。

隨著科技的進步與創新，已有業者推出以人臉辨識為認證方式之門禁系統，人員必須先於系統進行影像建檔，當有人員欲通過門禁系統時，系統會以影像擷取的方式取得待辨識的人臉，並進一步分辨所擷取該人員之影像是否符合建檔之影像，當符合時始能通過門禁系統。

然而，前述人員於建檔時的影像和擷取時之影像通常會存在特徵差異，舉例而言，某人員如於影像建檔時未配戴口罩而可見其五官，當同一人員配戴口罩而欲通過門禁系統時，因臉部被口罩遮住部分，習知門禁系統便無法辨識該人員配戴口罩而不見臉鼻時之特徵差異，因而無法讓該人員通過門禁系統，因此造成人員在身份辨識上出現誤判。因此，如何解決因影像存在特徵差異而造成誤判之問題，即為本發明之重點所在。

為解決上述課題，本發明提供一種應用於安全防護之影像辨識系統，在於擷取待辨識影像後，透過生成對抗網路合成含有特徵差異之虛擬影像，並辨識虛擬影像是否吻合建檔影像，並在辨識成功時發出訊號。

本發明之一項實施例提供應用於安全防護之影像辨識系統，其包含：一影像資料庫，用以儲存一建檔影像；一影像擷取單元，用以擷取一待辨識影像；一影像處理單元，其電性連接影像資料庫以及影像擷取單元，以影像處理單元比對建檔影像和待辨識影像並產生一特徵差異；一特徵數據資料庫，用以儲存有前述特徵差異之複數參考影像；以及一生成對抗網路，電性連接影像處理單元以及特徵數據資料庫，生成對抗網路包括一影像生成單元和一鑑別單元，影像生成單元依影像處理單元所比對之前述特徵差異，於特徵數據資料庫中取得有前述特徵差異之複數參考影像，以複數參考影像於待辨識影像合成一有前述特徵差異之虛擬影像，並以鑑別單元辨識虛擬影像是否吻合建檔影像，如辨識結果為吻合則發出一辨識成功訊號。

於較佳實施例中，所述生成對抗網路為深度卷積生成對抗網路(Deep Convolution Generative Adversarial Networks,DCGAN)。

於較佳實施例中，所述影像處理單元以卷積神經網路(Convolutional Neural Network，CNN)比對建檔影像和待辨識影像間之特徵差異。

於較佳實施例，進一步包括一警示單元，所述辨識結果如為不吻合則發出一辨識失敗訊號，警示單元電性連接生成對抗網路以接收其辨識結果，且在警示單元接收辨識失敗訊號時發出一警示訊號。

於較佳實施例，進一步包括一智能訓練單元，其電性連接於生成對抗網路，生成對抗網路之辨識結果經由智能訓練單元反覆回饋，藉以修正所述辨識結果之準確性。

於較佳實施例中，所述辨識結果以辨識度百分比表示，所述辨識度百分比愈高，則虛擬影像吻合待辨識影像的程度愈高。

於較佳實施例中，建檔影像、待辨識影像、參考影像以及虛擬影像皆為人像。

於較佳實施例中，特徵數據資料庫為人臉資料庫。

於較佳實施例中，特徵數據資料庫為雲端資料庫，其與生成對抗網路經網際網路而電性連接。

於較佳實施例中，影像擷取單元為一網路攝影機。

藉此，當建檔影像和待辨識影像之間存在特徵差異時，本發明之生成對抗網路能依據所述特徵差異，而由影像生成單元透過特徵數據資料庫中取得複數參考影像，再於待辨識影像合成有前述特徵差異之虛擬影像，並由鑑別單元辨識虛擬影像是否吻合建檔影像，藉以解決影像存在特徵差異而造成誤判之問題，以達到影像辨識更為準確之功效。

此外，藉由前述智能訓練單元之設置，透過生成對抗網路之辨識結果經由智能訓練單元反覆回饋，令影像辨識系統得以自我學習而趨向於人工智慧，藉以修正所述辨識結果之準確性，以達到影像辨識更符合人性化之功效。

再者，藉由前述警示單元之設置，當鑑別單元辨識虛擬影像之辨識結果為不吻合而發出辨識失敗訊號時，可由警示單元對管理者發出警示，讓管理者得知人員有辨識失敗的情形，以利於進行後續處置。

為便於說明本發明於上述發明內容一欄中所表示的中心思想，茲以具體實施例表達。實施例中各種不同物件係按適於說明之比例、尺寸、變形量或位移量而描繪，而非按實際元件的比例予以繪製，合先敘明。

請參閱圖1至圖5所示，本發明提供一種應用於安全防護之影像辨識系統100，其於本實施例中係應用於門禁系統，主要用於人員欲通過門禁系統時，以影像辨識系統100辨識人員的身份，以判斷是否符合資格而可通過。影像辨識系統100包含一影像資料庫10、一影像擷取單元20、一影像處理單元30、一特徵數據資料庫40以及一生成對抗網路50，其中：

影像資料庫10係用以儲存一建檔影像11(如圖3所示)，於本實施例之門禁系統之應用中，所儲存之建檔影像11為被准許能通過門禁系統者。

影像擷取單元20係用以擷取一待辨識影像21(如圖2、3所示)，於較佳實施例中，以網路攝影機為影像擷取單元20進行待辨識影像21之擷取(如圖2所示)。

影像處理單元30係電性連接影像資料庫10以及影像擷取單元20，以影像處理單元30比對建檔影像11和待辨識影像21並產生一特徵差異，本實施例所述之影像處理單元30，係以卷積神經網路(Convolutional Neural Network，CNN) 比對建檔影像11和待辨識影像21間之特徵差異。

特徵數據資料庫40係用以儲存有前述特徵差異之複數參考影像41(如圖4所示) ，而本實施例之特徵數據資料庫40為人臉資料庫，且特徵數據資料庫40為雲端資料庫，將人臉資料庫以雲端方式儲存。於本實施例中，建檔影像11、待辨識影像21、參考影像41以及虛擬影像53皆為人像。

生成對抗網路50電性連接影像處理單元30以及特徵數據資料庫40，其中特徵數據資料庫40與生成對抗網路50是經網際網路(圖中未示)而電性連接，生成對抗網路50包括一影像生成單元51和一鑑別單元52。影像生成單元51依影像處理單元30所比對之前述特徵差異，於特徵數據資料庫40中取得有前述特徵差異之複數參考影像41，以複數參考影像41於待辨識影像21合成一有前述特徵差異之虛擬影像53(如圖4所示)，並以鑑別單元52辨識虛擬影像53是否吻合建檔影像11，如辨識結果為吻合則發出一辨識成功訊號；如辨識結果為不吻合則發出一辨識失敗訊號。於本實施例中，生成對抗網路50為深度卷積生成對抗網路(Deep Convolution Generative Adversarial Networks,DCGAN)。

如圖2所示，當有人員A於門口欲通過門禁系統時，影像擷取單元20會對人員A進行臉部攝影，以獲得待辨識影像21，而由待辨識影像21中可見人員A配戴著口罩，所以人員A的臉部在待辨識影像21中有部分是被口罩所遮住。影像資料庫10所述儲存之建檔影像11，即前述人員A於影像資料庫10中預先建檔之影像，意即人員A是預設為可通過所述門禁系統者，而從建檔影像11中可見人員A無配戴口罩，臉的五官是清楚可見。藉由影像處理單元30比對建檔影像11和待辨識影像21(如圖3所示)，即可發現人員A在建檔影像11和待辨識影像21所存在之特徵差異，在於建檔影像11中之人員A對照待辨識影像21中之人員A的臉上並無配戴口罩。

承上所述，人員A在建檔影像11和待辨識影像21存在臉上並無配戴口罩之特徵差異下，雖兩影像同為人員A，但人員A仍無法通過門禁系統。影像生成單元51會依據前述特徵差異，於特徵數據資料庫40中取得有前述特徵差異之複數參考影像41，即複數臉上並無配戴口罩的人像，並以複數參考影像41之人像無配戴口罩之特徵，於待辨識影像21合成一虛擬影像53(如圖4所示)，此此虛擬影像53係參考複數參考影像41之人像無配戴口罩之特徵，而將其中之人員A的口罩以影像合成的方式去除，並且虛擬出原先被口罩遮住的臉部，此時虛擬影像53和建檔影像11一樣是沒有配戴口罩的人員A，而可由鑑別單元52進行影像辨識。

接著，由鑑別單元52辨識虛擬影像53是否吻合建檔影像11，如辨識結果為吻合則發出所述辨識成功訊號；如辨識結果為不吻合則發出所述辨識失敗訊號。前述辨識結果，於本實施例中係以辨識度百分比表示，所述辨識度百分比愈高，則虛擬影像吻合待辨識影像的程度愈高。而由虛擬影像53和建檔影像11之比對結果發現，虛擬影像53和建檔影像11之人員A僅存在些微臉型的差異(如圖5所示)，其辨識度百分比高達90%，此時鑑別單元52辨識虛擬影像53吻合建檔影像11而發出所述辨識成功訊號，門禁系統經取得所述辨識成功訊號而可讓人員A通過。反之，若虛擬影像53和建檔影像11經辨識後吻合的程度低，例如五官和臉型相差甚遠，所得之辨識度百分比相對較低(例如20%、30%)，此時鑑別單元52辨識虛擬影像53不吻合建檔影像11而發出所述辨識失敗訊號，門禁系統經取得所述辨識失敗訊號而不讓人員A通過。

於本實施例中，進一步包括一警示單元60及一智能訓練單元70(如圖1所示)，警示單元60電性連接生成對抗網路50以接收其辨識結果，且在警示單元60接收所述辨識失敗訊號時發出一警示訊號，例如將此警示訊號發至門禁系統之管理者的電腦或行動裝置(如平板電腦或智慧型手機)，讓門禁系統管理者可得知有異常人士欲通過門禁系統，而可進行驅逐或報警等後續處置。此外，本實施例之智能訓練單元70，其電性連接於生成對抗網路50，生成對抗網路50之辨識結果經由智能訓練單元70反覆回饋，藉以修正所述辨識結果之準確性。

由上述之說明不難發現本發明之特點，在於：

1.本發明之影像辨識系統100因有生成對抗網路50，在建檔影像11和待辨識影像21之間存在有特徵差異時，生成對抗網路50能依據所述特徵差異，由影像生成單元51透過特徵數據資料庫40取得複數參考影像41，再於待辨識影像21合成為虛擬影像53，而在虛擬影像53中有著前述特徵差異，此時虛擬影像53可代替待辨識影像21由鑑別單元52辨識是否吻合建檔影像11，藉以解決待辨識影像21和建檔影像11存在特徵差異而造成誤判之問題，以達到影像辨識更為準確之功效。

2.本發明之影像辨識系統100，進一步有智能訓練單元70，主要是在生成對抗網路50產生辨識結果後，經由智能訓練單元70反覆回饋並修正所述辨識結果，令影像辨識系統得以自我學習而趨向於人工智慧的辨識過程，以達到影像辨識更符合人性化之功效。

3. 本發明之影像辨識系統100，進一步有警示單元60，當鑑別單元52辨識虛擬影像53之辨識結果為不吻合，且發出所述辨識失敗訊號而由警示單元60接收，並由警示單元60對管理者發出警示，讓管理者得知人員有辨識失敗的情形，以利於進行後續處置。

上述實施例中，雖以人員是否配戴口罩為所述差異特徵，惟本發明並非以此實施例之態樣為限，舉凡表情差異、臉型/五官差異、髮型差異、服飾差異以及配件差異(前述配戴口罩即屬此類)等，皆可為所述差異特徵之類型，於此補充說明。

以上所舉實施例僅用以說明本發明而已，非用以限制本發明之範圍。舉凡不違本發明精神所從事的種種修改或變化，俱屬本發明意欲保護之範疇。

100:影像辨識系統 10:影像資料庫 11:建檔影像 20:影像擷取單元 21:待辨識影像 30:影像處理單元 40:特徵數據資料庫 41:參考影像 50:生成對抗網路 51:影像生成單元 52:鑑別單元 53:虛擬影像 60:警示單元 70:智能訓練單元 A:人員

圖1係本發明之影像辨識系統之方塊圖。圖2係本發明之實施例以影像擷取單元擷取站在門口之人員影像之示意圖。圖3係本發明之待辨識影像與建檔影像對照之示意圖。圖4係本發明之待辨識影像與複數參考影像合成為虛擬影像之示意圖。圖5係本發明之待辨識影像與虛擬影像對照之示意圖。

100:影像辨識系統

10:影像資料庫

20:影像擷取單元

30:影像處理單元

40:特徵數據資料庫

50:生成對抗網路

51:影像生成單元

52:鑑別單元

60:警示單元

70:智能訓練單元

Claims

一種應用於安全防護之影像辨識系統，其包含：一影像資料庫，用以儲存一建檔影像；一影像擷取單元，用以擷取一待辨識影像；一影像處理單元，其電性連接該影像資料庫以及該影像擷取單元，以該影像處理單元比對該建檔影像和該待辨識影像並產生一特徵差異；一特徵數據資料庫，用以儲存有前述特徵差異之複數參考影像；以及一生成對抗網路，電性連接該影像處理單元以及該特徵數據資料庫，該生成對抗網路包括一影像生成單元和一鑑別單元，該影像生成單元依該影像處理單元所比對之前述特徵差異，於該特徵數據資料庫中取得有前述特徵差異之複數參考影像，以該複數參考影像於該待辨識影像合成一有前述特徵差異之虛擬影像，並以該鑑別單元辨識該虛擬影像是否吻合該建檔影像，如辨識結果為吻合則發出一辨識成功訊號。
如請求項1所述之應用於安全防護之影像辨識系統，其中，所述生成對抗網路為深度卷積生成對抗網路(Deep Convolution Generative Adversarial Networks,DCGAN)。
如請求項2所述之應用於安全防護之影像辨識系統，其中，所述影像處理單元以卷積神經網路(Convolutional Neural Network，CNN)比對該建檔影像和該待辨識影像間之特徵差異。
如請求項3所述之應用於安全防護之影像辨識系統，進一步包括一警示單元，所述辨識結果如為不吻合則發出一辨識失敗訊號，該警示單元電性連接該生成對抗網路以接收其辨識結果，且在該警示單元接收該辨識失敗訊號時發出一警示訊號。
如請求項3所述之應用於安全防護之辨識系統，進一步包括一智能訓練單元，其電性連接於該生成對抗網路，該生成對抗網路之辨識結果經由該智能訓練單元反覆回饋，藉以修正所述辨識結果之準確性。
如請求項5所述之應用於安全防護之影像辨識系統，其中，所述辨識結果以辨識度百分比表示，所述辨識度百分比愈高，則該虛擬影像吻合該待辨識影像的程度愈高。
如請求項1所述之應用於安全防護之影像辨識系統，其中，該建檔影像、該待辨識影像、該參考影像以及該虛擬影像皆為人像。
如請求項7所述之應用於安全防護之影像辨識系統，其中，該特徵數據資料庫為人臉資料庫。
如請求項8所述之應用於安全防護之影像辨識系統，其中，該特徵數據資料庫為雲端資料庫，其與該生成對抗網路經網際網路而電性連接。
如請求項1所述之應用於安全防護之影像辨識系統，其中，該影像擷取單元為一網路攝影機。