TWI631480B

TWI631480B - 具備臉部辨識之門禁系統

Info

Publication number: TWI631480B
Application number: TW106122290A
Authority: TW
Inventors: 盧明寬; 林佳興
Original assignee: 中華電信股份有限公司
Priority date: 2017-07-03
Filing date: 2017-07-03
Publication date: 2018-08-01
Also published as: TW201907329A

Abstract

一種具備臉部辨識之門禁系統，其包括影像輸入單元、身份輸入模組、儲存單元及處理單元。儲存單元記錄使用者資訊、比對特徵值及數個模組。處理單元自訓練影像資料中取得對應於預設表情之比對特徵值，自影像資料中取出輸入特徵值，並將輸入特徵值與比對特徵值進行比對，將識別資料與使用者資訊進行比對，且依據影像資料與比對特徵值的比對結果、以及識別資料與使用者資訊的比對結果，控制門禁狀態。相較於現有門禁設備，本發明係進一步判斷使用者當時臉部表情的異常狀態，並即時發出警告訊息，從而提升內部安全性。

Description

具備臉部辨識之門禁系統

本發明係一種門禁系統，尤其是一種具備臉部辨識之門禁系統。

目前已存在許多基於身分驗證來確認門禁開啟的設備，但是這些設備僅能幫助使用者合法進入或離開某個區域，但無法判斷使用者是否處在被脅迫狀態。因此，有心人士可藉以脅迫合法使用者透過通過身份驗證而進入或離開某區域，且無法即時加以防範，加上他人僅能事後調閱紀錄，導致錯失防止危機發生的機會。由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。

有鑑於此，本發明提供一種具備臉部辨識之門禁系統，其能針對諸如緊急狀態的預設表情提供對應的告警動作。

本發明提供一種具備臉部辨識之門禁系統，其包括影像輸入單元、身份輸入模組、儲存單元及處理單元。影像輸入單元接收包括臉部表情特徵之影像資料及訓練影像資料。身份輸入模組取得識別資料。儲存單元記錄使用者資訊、比對特徵值及數個模組。處理單元耦接影像輸入單元、身份輸入模組及儲存單元，且存取並執行儲存單元所儲存的模組。這些模組包括影像學習模組、影像處理模組、身份辨識模組及門禁控制模組。影像學習模組自訓練影像資料中取得對應於預設表情之比對特徵值。影像處理模組自影像資料中取出輸入特徵值，並將輸入特徵值與比對特徵值進行比對。身份辨識模組將辨識資料與使用者資訊進行比對。門禁控制模組依據影像資料與比對特徵值的比對結果、以及識別資料與使用者資訊的比對結果，控制門禁狀態。

透過比對諸如緊張狀態下的預設表情，本發明即可彌補習知門禁系統無法偵測使用者是否處在脅迫狀態下通過門禁的不足。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參考圖1為本發明具備臉部辨識之門禁系統1的元件方塊圖。此門禁系統11包括影像輸入單元11、身份輸入模組12、提示單元13、控制單元14、告警單元15、顯示單元16、儲存單元17、門鎖裝置18及處理單元19。

影像輸入單元11可以係包括下列至少一者：諸如照相機、攝影機等具備互補金屬氧化物半導體(CMOS)或電荷耦合元件(CCD)等影像感測元件的影像擷取單元、無線或有線網路模組(基於通用序列匯流排(USB)、藍芽、Wi-Fi、第三代行動通訊(3G)、第四代行動通訊(4G)等類似者)等任何可取得影像資料之單元。

身份輸入模組12可以係包括下列至少一者：無線或有線網路模組(基於USB、藍芽、Wi-Fi、3G、4G等類似者)、非接觸式無線射頻電子標籤讀取模組、或按鍵(機械式、觸控式等)等類似者，並用以取得諸如身分資料、門卡識別碼等相關識別資料。

提示單元13可以係電路、或具備特定功能之晶片、微處理器等類似者。

控制單元14耦接提示單元13並可以係繼電器、或其他控制門禁狀態(例如，透過通過或阻擋電流)的電路、晶片、控制器或類似者。

告警單元15耦接提示單元13並可以係蜂鳴器、警報器或其他可發出聲響之電子單元，並受控於提示單元13所發出的異常通知。

顯示單元16耦接提示單元13並例如是液晶顯示器(LCD)、發光二極體(LED)顯示器、場發射顯示器(FED)或其他種類顯示器的螢幕。顯示單元16係設於門禁系統1之操作本體(圖未示)上的資料顯示區域，以顯示相關通知訊息。

儲存單元17可以是任何型態的固定或可移動隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本實施例中，儲存單元17係用以記錄影像學習模組171、影像處理模組173、身份辨識模組175及門禁控制模組177等相關程式、訓練影像資料、比對特徵值、使用者資訊等辨識相關資料、檔案。

門鎖裝置18耦接控制單元14並可以係受控於控制單元14而控制門或其他出路阻擋物件鎖住或解除狀態的裝置。

處理單元19耦接影像輸入單元11、身分輸入模組12、提示單元13、儲存單元17，處理單元19可以是中央處理單元(CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(DSP)、可程式化控制器、特殊應用積體電路(ASIC)或其他類似元件或上述元件的組合。在本發明實施例中，處理單元19用以執行門禁系統1的所有作業，且可存取並執行上述儲存單元17中記錄的模組。在一些實施例中，提示單元13、控制單元14中至少一者可與處理單元16整合，然不以此為限。

底下即搭配上述門禁系統1中的各元件及模組來說明臉部表情建立過程。圖2是依據本發明一實施例之臉部表情建立程序流程圖。

使用者要通過門或其他阻擋出路之物件前，必須先將對應於身分之辨識資料與臉部表情相關資料進行相關聯。首先，身份輸入模組12(假設係無線射頻電子標籤讀取模組)利用感應方式取得使用者門卡內記錄的識別資料(即，身分資料與門卡辨識碼)(步驟S201)，並作為第一查詢條件。身份辨識模組175即可取得此第一查詢條件，並基於儲存單元17所儲存的使用者資訊進行查詢(步驟S202)。身份辨識模組175係將第一查詢資料與使用者資料比對，以判斷識別資料是否符合使用者資料(步驟S203)。若比對結果係不符合，則可透過顯示單元16指示使用者重新操作(步驟S206)。而若比對結果係符合，使用者的識別資料繼續被當作第二查詢條件，而處理單元19即透過顯示單元16通知使用者朝向影像輸入單元11(假設係影像擷取單元)，使影像輸入單元11可取得一或複數張使用者不同表情(例如，閉一隻眼、蹙眉、嘴角往一邊斜或合併以上兩種表情)時的訓練影像(形成訓練影像資料)(步驟S204)。在擷取影像時，使用者可以依照顯示單元16呈現之指示做出不同預設表情，這些預設表情中應包括至少一張使用者遇到緊急(脅迫)狀態時的訓練影像。影像處理模組173接收來自影像輸入單元11的待處理之訓練影像資料，即可對不同表情的訓練影像資料進行去除雜訊、調整對比等影像處理程序，以方便後續取得比對特徵值。影像處理模組173亦可對每張訓練影像透過固定表情的模式設定加權指數。影像處理模組173接著針對同一使用者不同表情的訓練影像來偵測數個特徵(例如，眼睛、嘴巴、鼻子等)的位置，並轉換成可表達特徵的一組數據(即，比對特徵值)。影像處理模組173便能將第二查詢條件與比對特徵值相關聯，而儲存至儲存單元17(步驟S205)。

圖3是依據本發明另一實施例的建立臉部表情資料的流程圖。外部裝置(例如，手機、平板電腦、筆記型電腦等)與門禁系統1建立連線，使用者可依照(顯示單元16上的)指示對身份輸入模組12(假設包括射頻感應模組及藍芽模組)感應門卡及輸入密碼(透過外部裝置)以取得識別資料(步驟S301)，這些識別資料即作為第一查詢條件。身份辨識模組175即可取得此第一查詢條件，並基於儲存單元17所儲存的使用者資訊進行查詢(步驟S302)，即比對是否符合儲存的使用者資料(步驟S303)；若不符合則處理單元19透過顯示單元16通知使用者重新操作(步驟S309)；若符合則處理單元19透過顯示單元16通知使用者朝向影像輸入單元11以取得使用者自己不同表情下的訓練影像以形成訓練影像資料(步驟S304)，影像處理模組173並分析訓練影像資料的影像品質(步驟S305)。由於影像可能來自其他設備，因此處理單元19要判斷影像品質是否符合預設門檻(步驟S306)。若評定未符合預設門檻及/或無法進行後續處理，則處理單元19透過顯示單元16通知使用者重新操作以透過影像輸入單元11再次擷取臉部表情的動作(步驟S308)，使用者透過顯示單元16看到訊息後，可決定是否繼續(步驟S310)，若要繼續則返回步驟S304，否則就取消此次操作且直接離開。若影像品質符合預設門檻且可進行後續處理，影像處理模組171會針對訓練影像資料進行降噪，使影像學習模組171能進一步分析及學習等程序以取得比對特徵值(步驟S307)，最後將處理結果(比對特徵值等)與使用者的識別資料相關聯並存入儲存單元17。處理單元19更可透過顯示單元16告知使用者處理結果。

需說明的是，在本發明實施例中所提到的建立該使用者複數個不同表情之訓練影像的比對特徵值，係利用影像處理模組173取得使用者臉部的紅-綠-藍(RGB)影像，再對複數張訓練影像分別進行去背景並將使用者臉部影像區分出來(即，取得臉部區域)。影像學習模組171即可將訓練影像中臉部中的各器官(例如，眼睛、鼻子、嘴巴等)對應區塊分別取出處理，並將這些區塊轉換成可以表達使用者臉部特徵的數據(即，比對特徵值)。

具體而言，在取出臉部區域的過程中，係利用公式1裡的公式將RGB影像轉換成以色相-飽和度-明度(Hue, Saturation, Value；HSV)表示之色彩空間。公式1 其中R、G、B分別係紅、綠、藍數值，Hue(H)、S、V分別係色相、飽和度、明度數值。因為臉部膚色在HSV色彩空間裡呈現集中在某區域的分布，所以影像處理模組173可以利用影像二值化方法將臉部區域分離出來，並標示在原本影像中。接著，影像學習模組171便能自對應於使用者的複數張訓練影像(包括至少一張遇到緊急情況時的臉部表情之影像)找出代表使用者臉部的特徵。

影像學習模組171特徵的方式很多，於此僅舉出其中一種適應性閾值(Adaptive thresholding)方法來說明，然不以此為限。以眼睛為例，影像學習模組171可用邊緣偵測方式(例如：索貝爾運算子(Sobel Operator))而自複數張訓練影像中找出眼睛邊緣，且將訓練影像以灰階方式將眼睛影像二值化、閉合運算及搜尋最大區塊等流程找出代表眼睛的特徵影像。接著，針對使用者的複數張訓練影像分別進行特徵點提取動作，影像學習模組171係選取部分包括眼角、鼻子左右兩端、兩邊嘴角、嘴角中心、鼻頭中心以及兩眼中心共11個特徵點，從前述11個特徵點兩兩搭配後找出最具代表的特徵向量，並以正規化每個特徵向量減少因每次取像距離不同而產生的誤差。最後，影像學習模組171可將各特徵向量的水平分量、垂直分量、各向量間長度及向量與水平軸夾角等分量構成各特徵向量的成分計算出來以作為比對特徵值，這些比對特徵值即可存放到儲存單元17中。

圖4則是依據本發明一實施例說明使用者通過門禁時門禁系統1所進行之辨識臉部表情的流程圖。使用者先取出門卡並靠近身份輸入模組12(假設係無線射頻電子標籤讀取模組)，身份輸入模組12偵測並感應到門卡後讀出門卡內的使用者之辨識資料(門卡識別碼及身分資料)(步驟S401)，這些識別資料即作為第一查詢條件。身份辨識模組175即可取得此第一查詢條件，並基於儲存單元17所儲存的使用者資訊進行查詢(步驟S402)，即比對是否符合儲存的使用者資訊(步驟S403)；若不符合則處理單元19透過顯示單元16通知使用者重新操作(步驟S408)並維持門禁狀態；若經比對相符合則影像輸入單元11(假設係影像擷取單元)擷取影像資料，處理單元19將影像資料輸入後，即可結合第一查詢條件中的門卡識別碼以當作臉部表情辨識資料的第二查詢條件，從而進行查詢(步驟S404)。影像處理模組173即對包括當時使用者臉部表情的影像資料與先前儲存在儲存單元19的訓練影像資料進行比對(步驟S405)(即確認是否他人使用門卡)。若臉部之影像資料不符合，則處理單元19透過顯示單元16通知使用者重新操作步驟(步驟S409)，若影像資料經分析符合則影像處理模組173計算出偏向何種表情類型(即，分析使用者的表情是否符合預設表情(假設係緊急情況下的表情))(步驟S406)。若比對結果係符合預設表情，則門禁控制模組177會以電話或透過告警單元15發出告警音等方式提醒相關單位前往處理或引起周遭人士關注(步驟S410)。若比對結果係不符合預設表情，則處理單元19將透過提示單元14傳遞開門指令給控制單元14，使門鎖裝置18為解除狀態(即，開啟門禁(解除門禁狀態)，令使用者可自由進出出路口)。最後，影像處理模組173及身份輸入模組12均會將辨識結果等事件記錄在儲存單元17中(步驟S407)。

需說明的是，在前述影像資料的比對辨識過程中，影像輸入單元11所取得的臉部之影像資料會傳送到影像處理模組173進行特徵值比對，然比對方式種類繁多，以下僅以其中一種歐基里得距離來做說明，但不以此為限。由於進行特徵點提取時，眼睛、鼻子和嘴唇等處二值化後在水平投影上的數值並不相同，而為了能夠使這些輸入特徵值在運算時能夠以相同的準位上進行處理，影像處理模組173係對前述各特徵向量的每個分量要乘上一個權值。處理時所依據的公式如下：公式2 其中d _Ej是考慮權值後的第j個特徵向量的歐基里得距離，W _ij是第j個特徵向量的第i個分量的權值，Q _ij和P _ij分別代表輸入臉像的第j個特徵向量的第i個分量以及預先存入儲存單元17的第j個特徵向量的第i個分量，M是特徵向量的個數。影像處理模組173將j個特徵向量全部加總後之值越小則代表輸入的影像與原本影像越接近，即可判斷輸入特徵值符合比對特徵值。處理單元19處理遇到緊急情況時做出的表情的過程與原理也與前述相同，在此不再贅述。

需說明的是，前述說明僅以緊急狀態下的預設表情作為通報的範例，然視情況需求，預設表情可指定為挑眉、微笑、睜大眼等，且不以此為限。

特點及功效

本發明所提供之具備臉部辨識之門禁設備，與其他習用技術相互比較時，更具備下列優點：

本發明利用使用者預先建立之臉部訓練資料，使用者於受到脅迫通過門禁時，門禁系統1可利用臉部辨識技術分辨出當時處境危急的狀況，並可向管理人員發出警告，從而防止更嚴重的情況發生。

本發明之具備臉部辨識之門禁系統，係可整合於各種門禁設備(例如，讀卡設備或門口對講機等)上。

本發明之具備臉部辨識之門禁設備，係可應用於各種門禁場景(例如，辦公地點、住宅社區或大樓、停車場等)上。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1‧‧‧門禁系統

11‧‧‧影像輸入單元

12‧‧‧身份輸入模組

13‧‧‧提示單元

14‧‧‧控制單元

15‧‧‧告警單元

16‧‧‧顯示單元

17‧‧‧儲存單元

18‧‧‧門鎖裝置

19‧‧‧處理單元

S201～S206、S301～S310、S401～S410‧‧‧步驟

圖1是依據本發明一實施例的門禁系統之元件方塊圖。圖2是依據本發明一實施例說明建立臉部表情資料的流程圖。圖3是依據本發明另一實施例說明建立臉部表情資料的流程圖。圖4是依據本發明一實施例的辨識臉部表情的流程圖。

Claims

一種具備臉部辨識之門禁系統，包含：一影像輸入單元，接收包括臉部表情特徵之影像資料及訓練影像資料；一身份輸入模組，取得一識別資料；一儲存單元，記錄至少一使用者資訊、至少一比對特徵值及多個模組；以及一處理單元，耦接該影像輸入單元、該門卡感應模組及該儲存單元，且存取並執行該儲存單元所儲存的該些模組，該些模組包括：一影像學習模組，自該訓練影像資料中取得對應於一預設表情之至少一比對特徵值；一影像處理模組，自該影像資料中取出至少一輸入特徵值，並將該至少一輸入特徵值與該至少一比對特徵值進行比對；一身份辨識模組，將該識別資料與該至少一使用者資訊進行比對；以及一門禁控制模組，依據該影像資料與該至少一比對特徵值的比對結果、以及該識別資料與該至少一使用者資訊的比對結果，控制一門禁狀態，其中若該識別資料與該至少一使用者資訊的比對結果係符合，則該影像輸入單元接收該影像資料。
如申請專利範圍第1項所述之具備臉部辨識之門禁系統，其中，若任一該比對結果係不符合，則該門禁控制模組維持該門禁狀態；以及若該二比對結果皆係符合，則該門禁控制模組解除該門禁狀態。
如申請專利範圍第1項所述之具備臉部辨識之門禁系統，其中該訓練影像資料包括多張訓練影像，而該影像處理模組對該些訓練影像設定加權指數，偵測該些訓練影像中多個特徵的位置，並基於該些位置取得該至少一比對特徵值。
如申請專利範圍第2項所述之具備臉部辨識之門禁系統，其中該影像處理模組將該些訓練影像轉換成色相-飽和度-明度表示之色彩空間，以取得該些訓練影像中的臉部區域，且自該些臉部區域中取得該至少一比對特徵值。
如申請專利範圍第1項所述之具備臉部辨識之門禁系統，更包括：一提示單元，耦接該處理單元，接收來自該處理單元的比對結果；以及一控制單元，耦接該提示單元，接收來自該提示單元所產生指令，以解除或維持該門禁狀態。
如申請專利範圍第1項所述之具備臉部辨識之門禁系統，更包括：一提示單元，耦接該處理單元，接收來自該處理單元的比對結果；以及一告警單元，耦接該提示單元，接收來自該提示單元所發出的異常通知，以發出警告。
如申請專利範圍第1項所述之具備臉部辨識之門禁系統，更包括：一提示單元，耦接該處理單元，接收來自該處理單元的比對結果；以及一顯示單元，耦接該提示單元，接收來自提示單元的通知訊息，並顯示該通知訊息。
如申請專利範圍第7項所述之具備臉部辨識之門禁系統，更包括：一操作本體，具有一資料顯示區域供該顯示單元顯示該通知訊息。
如申請專利範圍第1項所述之具備臉部辨識之門禁系統，其中該特定表情係相關於緊急狀態的表情。