TWI526953B - 人臉辨識方法及系統 - Google Patents

Description

人臉辨識方法及系統

本發明係關於一種辨識方法及系統；特別是關於一種人臉辨識方法及系統。

隨著資訊科技進步與全球國際化的趨勢，以生物辨識技術(Biometrics)做為安全管制系統的比重逐漸提高，如：利用眼球、臉型、指紋、掌型或聲音等人體生理特徵作為人員管制之依據，相較於傳統的密碼或感應卡等方式，除可更有效管制進出人員外，更可避免忘記密碼或未帶卡等人為困擾。

在眾多生物辨識技術中，人臉辨識(Face Recognition)技術除可廣泛應用於住宅管制(如：大樓、醫護場所或銀行等)，亦可應用於交通運輸管制(如：道路、機場或車站)，以便作為犯罪防治的輔助工具，因而逐漸受到重視。

習知人臉辨識技術主要有主動外型模型(Active Shape Model，ASM)及主動外觀模型(Active Appearance Model，AAM)等，其實施例可參酌「Cootes T,Taylor C,Cooper D and Graham J.“Active shape Models-Their Training and Application.”Computer Vision and Image Understanding,January,61(1),38-59.1995.」及「Cootes TF,Edwards GJ and Taylor CJ,“Active Appearance Models[J]”.IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(6)：681-685」等論文。惟，ASM及AAM的演算過程過於繁雜，且ASM比對人臉時中心點並未對齊，需反 覆比對至收斂為止，導致所需運算時間較長，不適合應用於即時(Real-Time)辨識系統。

有鑑於此，有必要改善上述先前技術的缺點，以符合實際需求，提升其實用性。

本發明係提供一種人臉辨識方法，可於影像拍攝過程中即時辯識人臉。

本發明另提供一種人臉辨識系統，可於影像拍攝過程中即時辯識人臉。

本發明揭示一種人臉辨識系統，可包含：一攝影單元，用以攝取含有人臉之影像；一資料庫，用以儲存數個特徵樣本，各特徵樣本包含數個特徵點；及一處理單元，電性連接該攝影單元及該資料庫，該處理單元依據一偵測規則於該影像中偵測數個人臉物件，於該影像中設定含有該人臉物件的一人臉區域，於該人臉區域中設定一定位點，用以對齊該人臉區域與一正規化區域，偵測該人臉區域中的數個物件邊緣，依據該物件邊緣及該正規化區域中的數個基準點標記該人臉區域中的數個特徵點，比對該人臉區域之特徵點與該數個特徵樣本之特徵點，選擇該特徵點差異最小的特徵樣本作為一輸出結果。

所述人臉辨識系統，另包含一顯示單元電性連接該處理單元，該顯示單元可用以輸出該輸出結果。

本發明另揭示一種人臉辨識方法，可由一人臉辨識系統執行，該方法之步驟可包含：攝取含有人臉之影像，依據一偵測規則於該影像中偵測數個人臉物件；於該影像中設定含有該人臉物件的一人臉區域，於該人臉區域中設定一定位點，用以對齊該人臉區域與一正規化區域，偵測該人臉區域中的數個物件邊緣，依據該物件邊緣及該正規化區域中的數 個基準點標記該人臉區域中的數個特徵點；及比對該人臉區域之特徵點與數個特徵樣本之特徵點，選擇該特徵點差異最小的特徵樣本作為一輸出結果。

所述數個特徵點可包含一左眉左緣點、一左眉右緣點、一右 眉左緣點、一右眉右緣點、一左眼左緣點、一左眼右緣點、一右眼左緣點、一右眼右緣點、一兩眼中心點、一鼻子左緣點、一鼻子右緣點、一鼻子下緣點、一上唇凹陷點、一嘴巴左緣點、一嘴巴右緣點及一下巴下緣點。

所述偵測規則可利用哈爾特徵偵測該影像中的人臉物件。

所述物件邊緣可利用索貝爾邊緣檢測法於該人臉區域中進行偵測。

所述各物件邊緣含有數個像素，該特徵點的標記方式係以該基準點為中心的數個接鄰像素形成一搜尋區塊，用以進行一搜點過程，該搜點過程係依序搜尋該搜尋區塊中的各像素與該物件邊緣所含像素之位置是否重疊，若尋獲任一重疊的像素位置，設定該重疊的像素位置為該特徵點之位置，否則，以該搜尋區塊鄰近的數個區塊依序作為該搜尋區塊，用以重新進行該搜點過程，若該等搜尋區塊中均未尋獲任一重疊的像素位置，設定該基準點的位置為該特徵點之位置。

上揭人臉辨識方法及系統，可於該人臉區域中的定位點位置對齊該正規化區域內的中心點，使欲搜尋的特徵點位於對應的基準點位置附近，可縮短尋獲該特徵點所需的時間。又，該特徵點的搜尋過程中，可依基準點的垂直→水平→對角方向逐步擴大搜尋範圍，更可減少反覆搜尋的次數及時間，本案可以改善習知「辨識過程中，由於中心點並未對齊，導致運算時間長」(如ASM技術)問題，且本案可以達成「應用於即時辨識系統，於影像拍攝過程中即時辯識人臉」功效。

1‧‧‧攝影單元

2‧‧‧資料庫

3‧‧‧處理單元

4‧‧‧顯示單元

A,B,C,D‧‧‧矩形特徵

E,E1~E8‧‧‧區塊

Gx,Gy‧‧‧邊緣檢測濾波器

F‧‧‧定位點

Z‧‧‧人臉區域

S1‧‧‧取像步驟

S2‧‧‧標記步驟

S3‧‧‧識別步驟

b1~b16‧‧‧基準點

e1‧‧‧上點

e2‧‧‧左點

e3‧‧‧右點

e4‧‧‧下點

e5‧‧‧左上點

e6‧‧‧右上點

e7‧‧‧左下點

e8‧‧‧右下點

p1,p1’‧‧‧左眉左緣點

p2,p2’‧‧‧左眉右緣點

p3,p3’‧‧‧右眉左緣點

p4,p4’‧‧‧右眉右緣點

p5,p5’‧‧‧左眼左緣點

p6,p6’‧‧‧左眼右緣點

p7,p7’‧‧‧右眼左緣點

p8,p8’‧‧‧右眼右緣點

p9,p9’‧‧‧兩眼中心點

p10,p10’‧‧‧鼻子左緣點

p11,p11’‧‧‧鼻子右緣點

p12,p12’‧‧‧鼻子下緣點

p13,p13’‧‧‧上唇凹陷點

p14,p14’‧‧‧嘴巴左緣點

p15,p15’‧‧‧嘴巴右緣點

p16,p16’‧‧‧下巴下緣點

第1圖：係本發明之人臉辨識系統實施例的系統方塊圖。

第2圖：係本發明之人臉區域及特徵點的示意圖。

第3圖：係本發明之人臉辨識方法實施例的運作流程圖。

第4圖：係AdaBoost演算法之矩形特徵示意圖。

第5圖：係索貝爾邊緣檢測法之邊緣檢測濾波器示意圖。

第6圖：係本發明之人臉辨識方法實施例之基準點與特徵點位置示意圖。

第7圖：係本發明之人臉辨識方法實施例之特徵點搜尋過程示意圖。

為讓本發明之上述及其他目的、特徵及優點能更明顯易懂，下文特舉本發明之較佳實施例，並配合所附圖式，作詳細說明如下：請參閱第1圖所示，其係本發明之人臉辨識系統實施例的系統方塊圖。其中，該系統實施例可包含一攝影單元1、一資料庫2、一處理單元3。該攝影單元1可為習知攝影裝置(camera)，用以攝取含有人臉的影像；該資料庫2可由具有資料儲存功能的裝置構成，用以儲存數個人臉樣本及辨識所需的資料，各人臉樣本可含有眉毛、眼睛、鼻子、嘴巴及下巴等人臉物件，該人臉物件可定義數個特徵點，做為人臉辨識之依據，惟不以此為限；該處理單元3可為具有資料處理功能的裝置，該處理單元3電性連接該攝影單元1及資料庫2，用以執行一人臉辨識程式(Face Recognition Software)，依據該影像擷取人臉物件，並將該人臉物件與樣本比對後，辨識出該人臉物件對應的身分資料；該系統實施例還可包含一顯示單元4，該顯示單元4電性連接該處理單元3，用以顯示影像或資料。

在此實施例中，該攝影單元1可為網路攝影機(Web-Cam)，該資料庫2可為雲端資料庫(Database at the Cloud)，該處理單元3可為嵌 入式系統(Embedded System)，該顯示單元4可為液晶螢幕(LCD)；另，如第2圖所示，該特徵點可包含一左眉左緣點p1、一左眉右緣點p2、一右眉左緣點p3、一右眉右緣點p4、一左眼左緣點p5、一左眼右緣點p6、一右眼左緣點p7、一右眼右緣點p8、一兩眼中心點p9、一鼻子左緣點p10、一鼻子右緣點p11、一鼻子下緣點p12、一上唇凹陷點p13、一嘴巴左緣點p14、一嘴巴右緣點p15及一下巴下緣點p16，惟不以此為限。

請參閱第3圖所示，其係本發明之人臉辨識方法實施例的運作流程圖。其中，該方法實施例可由上述人臉辨識系統執行，且包含一取像步驟S1、一標記步驟S2及一識別步驟S3，說明如後，請一併參閱第1圖所示。

該取像步驟S1，係由該攝影單元1攝取含有人臉之影像，該處理單元3依據一偵測規則於該影像中偵測數個人臉物件。在此實施例中，可由該攝影單元1拍攝產生數個連續的影像，該處理單元3可採用哈爾特徵(Haar-like feature)偵測該影像中的人臉物件，如：採用Open CV函式(function)自動偵測及擷取人臉影像，利用AdaBoost演算法(algorithm)進行訓練，可以建立特定的矩形特徵(如第4圖所示之A、B、C、D)，以便依據該矩形特徵中區塊與影像的積分圖(integration figure)區塊之間的亮度差異，找出影像中的人臉物件，如：眉毛、眼睛、鼻子、嘴巴及下巴等，其演算過程實施例可參酌「Yoav Freund,Robert E.Schapire.,“A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting”,1995,CiteSeerX：10.1.1.56.9855」論文，惟不以此為限。

請一併參閱第1、3圖所示，該標記步驟S2，係由該處理單元3於該影像中設定含有該人臉物件的一人臉區域，於該人臉區域中設定一定位點，用以對齊該人臉區域與一正規化區域，偵測該人臉區域中的數個物件邊緣，依據該物件邊緣及該正規化區域中的數個基準點標記該人臉 區域中的數個特徵點。在此實施例中，該處理單元3可將含有該等人臉物件的區域設為一人臉區域Z(如第2圖所示)，如：由該人臉物件向外擴展形成256×256像素的矩形區域，該人臉區域之中心座標(127,127)可置於兩眼之間的中心點作為一定位點F(如第2圖所示)，以便定位後續處理過程中的影像，亦可供該攝影單元1於鎖定該人臉物件後再攝取影像。

接著，該處理單元3可將該資料庫2中所有人臉樣本視為一訓練集，對該訓練集內的所有特徵點(如第2圖所示之p1~p16)進行正規化(normalize)、收斂(convergence)與對齊(alignment)，以形成該正規化區域中的數個基準點(如第6圖所示之b1~b16)，該基準點b1~b16可個別為其對應特徵點p1~p16的座標代表值，如：該基準點b1、…、b16之座標為訓練集內的所有特徵點p1、…、p16之座標平均值，惟不以此為限。

之後，該處理單元3可偵測該人臉區域中的物件邊緣，如：利用索貝爾邊緣檢測法(Sobel Edge Detector)，可由兩組n×n(如：3×3)矩陣作為橫、縱向之邊緣檢測濾波器(如第5圖所示之Gx、Gy)，惟亦可視需求增設其他方向的邊緣檢測濾波器，再將圖像作平面卷積(Convolution)運算，以得出不同方向的亮度差分近似值，若該值大於一門檻值，則可視為該人臉物件之邊緣，如：左眉邊緣、右眉邊緣、左眼邊緣、右眼邊緣、鼻子邊緣、嘴巴邊緣及下巴邊緣等物件邊緣，其檢測方法係所屬技術領域中具有通常知識者可以理解，在此容不贅述。

其中，由於各物件邊緣含有數個像素，上述特徵點的標記方式可由上述基準點為中心的數個接鄰像素形成一搜尋區塊，用以進行一搜點過程，該搜點過程係依序搜尋該搜尋區塊中的各像素與該物件邊緣所含像素之位置是否重疊，若尋獲任一重疊的像素位置，設定該重疊的像素位置為該特徵點之位置，否則，以該搜尋區塊鄰近的數個區塊依序作為該搜尋區塊，用以重新進行該搜點過程，惟若該等搜尋區塊中均未尋獲任一重 疊的像素位置，則可設定該基準點的位置為該特徵點之位置，以下舉例說明該特徵點的搜尋過程。

舉例而言，請一併參閱第6圖所示，其係本發明之人臉辨識方法實施例之基準點與特徵點位置示意圖。其中，該處理單元3尋獲各物件邊緣後，即可進一步搜尋該人臉區域中的特徵點，以搜尋左眉左緣點p1，為例，當該中心點b9與該定位點F對齊後，可使該人臉區域中的左眉左緣點p1’位於該基準點b1附近，如此，可縮短尋獲該左眉左緣點p1’所需的時間。

請一併參閱第7圖所示，其係本發明之人臉辨識方法實施例之特徵點搜尋過程示意圖。其中，假設該基準點b1的座標為(i,j)，則可先搜尋以基準點b1座標(i,j)為中心的m×n點區塊E(如：3×3像素區塊)，其搜尋方向順序可為垂直→水平→對角方向，如：搜尋位置順序可為〝上點e1座標(i,j-1)〞→〝左點e2座標(i-1,j)〞→〝右點e3座標(i+1,j)〞→〝下點e4座標(i+1,j+1)〞→〝左上點e5座標(i-1,j-1)〞→〝右上點e6座標(i+1,j-1)〞→〝左下點e7座標(i-1,j+1)〞→〝右下點e8座標(i+1,j+1)〞。

承上，在搜尋過程中，若於該區塊E中各點位置尋獲任一位於上述左眉邊緣的點，則將該點位置定義為上述人臉區域中左眉左緣點p1’位置(如第6圖所示)，並可停止搜尋。反之，若未於該區塊E尋獲位於該左眉邊緣的點，則可將搜尋範圍擴大至該區塊E鄰近的區塊形成的M×N點區域(如：9×9像素區域)，其中該等區塊的搜尋順序可為：區塊E1→E2→E3→E4→E5→E6→E7→E8，各區塊E1~E8中搜尋位置順序可與上述區塊E相同，直到尋獲該左眉左緣點為止，惟若遍尋該等區塊E1~E8仍無法尋獲位於該左眉邊緣的點，則可將該基準點b1定義為該左眉左緣點，避免因為影像中的雜訊導致搜尋時間過長。

依此類推，如第6圖所示，可以快速地定義該人臉區域中的 左眉右緣點p2’、右眉左緣點p3’、右眉右緣點p4’、左眼左緣點p5’、左眼右緣點p6’、右眼左緣點p7’、右眼右緣點p8’、兩眼中心點p9’、鼻子左緣點p10’、鼻子右緣點p11’、鼻子下緣點p12’、上唇凹陷點p13’、嘴巴左緣點p14’、嘴巴右緣點p15’及下巴下緣點p16’，用以表示該人臉區域中的眉毛、眼睛、鼻子、嘴巴及下巴等人臉物件，作為後續進行人臉辨識過程的依據。

請一併參閱第1、3圖所示，該識別步驟S3，係由該處理單元3比對該人臉區域之特徵點與該資料庫2中的數個特徵樣本之特徵點，選擇該特徵點差異最小的特徵樣本作為一輸出結果，該輸出結果可輸出至該顯示單元4。在此實施例中，該處理單元3可將上述人臉區域中的特徵點(如：第6圖所示之p1’~p16’)當作一待比對樣本，該待比對樣本與上述資料庫2中所有人臉樣本(訓練集樣本)的特徵點(如：第2圖所示之p1~p16)可進行數值正規化，以利進行比對過程，比對時可依據該待比對樣本與所有訓練集樣本計算其差異值，如：計算歐基里德距離(Euclidean distance)作為差異值，惟不以此為限，之後，將該等差異值進行排序，如：利用泡沫排序法(Bubble Sorting Algorithm)等，再依據差異值最小的訓練集樣本所對應的特徵點(即最接近的特徵點)產生一比對結果(如：該特徵點之座標或影像等)，之後，該處理單元3可將該比對結果輸出至該顯示單元4，以便門禁管控人員或系統閱覽該比對結果，惟不以此為限。

藉由前揭之技術手段，本發明之人臉辨識方法及系統實施例的主要特點列舉如下：首先，由該攝影單元攝取含有人臉之影像，該處理單元依據一偵測規則於該影像中偵測數個人臉物件；接著，由該處理單元於該影像中設定含有該人臉物件的人臉區域，於該人臉區域中設定該定位點，用以對齊該人臉區域與一正規化區域，偵測該人臉區域中的數個物件邊緣，依據該物件邊緣及該正規化區域中的數個基準點標記該人臉區域中 的數個特徵點；之後，由該處理單元比對該人臉區域之特徵點與該資料庫中的數個特徵樣本之特徵點，選擇該特徵點差異最小的特徵樣本作為該輸出結果，該輸出結果可輸出至該顯示單元。

其中，由於該人臉區域中的定位點位置對齊該正規化區域內的中心點，使欲搜尋的特徵點位於對應的基準點位置附近，可縮短尋獲該特徵點所需的時間。又，該特徵點的搜尋過程中，可依基準點的垂直→水平→對角方向逐步擴大搜尋範圍，更可減少反覆搜尋的次數及時間，本案可以改善習知「辨識過程中，由於中心點並未對齊，導致運算時間長」(如ASM技術)問題，且本案可以達成「應用於即時辨識系統，於影像拍攝過程中即時辯識人臉」功效。

雖然本發明已利用上述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者在不脫離本發明之精神和範圍之內，相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S1‧‧‧取像步驟

S2‧‧‧標記步驟

S3‧‧‧識別步驟

Claims (12)

1. 一種人臉辨識方法，由一人臉辨識系統執行，該方法之步驟包含：攝取含有人臉之影像，依據一偵測規則於該影像中偵測數個人臉物件；於該影像中設定含有該人臉物件的一人臉區域，於該人臉區域中設定一定位點，用以對齊該人臉區域與一正規化區域，偵測該人臉區域中的數個物件邊緣，依據該物件邊緣及該正規化區域中的數個基準點標記該人臉區域中的數個特徵點；及比對該人臉區域之特徵點與數個特徵樣本之特徵點，選擇該特徵點差異最小的特徵樣本作為一輸出結果。
2. 根據申請專利範圍第1項所述之人臉辨識方法，其中該人臉辨識系統設有一處理單元電性連接一攝影單元及一資料庫，該攝影單元攝取該含有人臉之影像，該資料庫儲存數個特徵樣本，各特徵樣本包含數個特徵點，該處理單元依據該偵測規則於該影像中偵測該人臉物件，於該影像中設定含有該人臉物件的人臉區域，於該人臉區域中設定該定位點，用以對齊該人臉區域與該正規化區域，偵測該人臉區域中的物件邊緣，依據該物件邊緣及該正規化區域中的基準點標記該人臉區域中的特徵點，比對該人臉區域之特徵點與該特徵樣本之特徵點，選擇該特徵點差異最小的特徵樣本作為該輸出結果。
3. 根據申請專利範圍第1項所述之人臉辨識方法，其中該數個特徵點包含一左眉左緣點、一左眉右緣點、一右眉左緣點、一右眉右緣點、一左眼左緣點、一左眼右緣點、一右眼左緣點、一右眼右緣點、一兩眼中心點、一鼻子左緣點、一鼻子右緣點、一鼻子下緣點、一上唇凹陷點、一嘴巴左緣點、一嘴巴右緣點及一下巴下緣點。
4. 根據申請專利範圍第1項所述之人臉辨識方法，其中該偵測規則為利用哈爾特徵偵測該影像中的人臉物件。
5. 根據申請專利範圍第1項所述之人臉辨識方法，其中該物件邊緣為利用索貝爾邊緣檢測法於該人臉區域中進行偵測。
6. 根據申請專利範圍第1項所述之人臉辨識方法，其中各物件邊緣含有數個像素，該特徵點的標記方式係以該基準點為中心的數個接鄰像素形成一搜尋區塊，用以進行一搜點過程，該搜點過程係依序搜尋該搜尋區塊中的各像素與該物件邊緣所含像素之位置是否重疊，若尋獲任一重疊的像素位置，設定該重疊的像素位置為該特徵點之位置，否則，以該搜尋區塊鄰近的數個區塊依序作為該搜尋區塊，用以重新進行該搜點過程，若該等搜尋區塊中均未尋獲任一重疊的像素位置，設定該基準點的位置為該特徵點之位置。
7. 一種人臉辨識系統，包含：一攝影單元，用以攝取含有人臉之影像；一資料庫，用以儲存數個特徵樣本，各特徵樣本包含數個特徵點；及一處理單元，電性連接該攝影單元及該資料庫，該處理單元依據一偵測規則於該影像中偵測數個人臉物件，於該影像中設定含有該人臉物件的一人臉區域，於該人臉區域中設定一定位點，用以對齊該人臉區域與一正規化區域，偵測該人臉區域中的數個物件邊緣，依據該物件邊緣及該正規化區域中的數個基準點標記該人臉區域中的數個特徵點，比對該人臉區域之特徵點與該數個特徵樣本之特徵點，選擇該特徵點差異最小的特徵樣本作為一輸出結果。
8. 根據申請專利範圍第7項所述之人臉辨識系統，另包含一顯示單元電性連接該處理單元，該顯示單元用以輸出該輸出結果。
9. 根據申請專利範圍第7或8項所述之人臉辨識系統，其中該數個特徵點包含一左眉左緣點、一左眉右緣點、一右眉左緣點、一右眉右緣點、一左眼左緣點、一左眼右緣點、一右眼左緣點、一右眼右緣點、一兩眼中 心點、一鼻子左緣點、一鼻子右緣點、一鼻子下緣點、一上唇凹陷點、一嘴巴左緣點、一嘴巴右緣點及一下巴下緣點。
10. 根據申請專利範圍第7或8項所述之人臉辨識系統，其中該偵測規則係利用哈爾特徵偵測該影像中的人臉物件。
11. 根據申請專利範圍第7或8項所述之人臉辨識系統，其中該物件邊緣係利用索貝爾邊緣檢測法於該人臉區域中進行偵測。
12. 根據申請專利範圍第7或8項所述之人臉辨識系統，其中各物件邊緣含有數個像素，該特徵點的標記方式係以該基準點為中心的數個接鄰像素形成一搜尋區塊，用以進行一搜點過程，該搜點過程係依序搜尋該搜尋區塊中的各像素與該物件邊緣所含像素之位置是否重疊，若尋獲任一重疊的像素位置，設定該重疊的像素位置為該特徵點之位置，否則，以該搜尋區塊鄰近的數個區塊依序作為該搜尋區塊，用以重新進行該搜點過程，若該等搜尋區塊中均未尋獲任一重疊的像素位置，設定該基準點的位置為該特徵點之位置。