TW201023056A - Face recognition method - Google Patents

Description

201023056 六、發明說明： 【發明所屬之技術領域】 本發明係有關一種臉部辨識方法，特別是一種從單—圖像 重建三維可形變人臉模型及使用機率融合的方式，以辨認從影像接 收裝置所攝錄之連績人臉訊框。 【先前技術】 人臉辨識技術在電腦視覺與生物特徵識別領域是非常重要的研究 之一。對於基礎於二維影像的人臉辨識方法，其主要的挑戰在於在不 同取像條件下（例如角度、光源…），對於同樣的人臉所取得的影像 會具有不同變化。為了克服這個問題，許多已發展出的演算法均須根 據不同的變化，針對每個人採取大量的訓練樣本。然而在實際的應用 中要在很精確的條件下採集大量二維的臉部影像是相當困難的。 由影像重建三維人臉模型的技術，近來在許多應用上已經很常 見，例如在臉部動晝與人臉辨識應用。對於如何強健的重建人臉模 型，基於統計方式的技術已被廣泛的應用。傳統上，多數已知的三維 臉部重建技術均需-個以上的二維人臉圖像才能重建回令人滿^的 三維人臉模型。而另―種三雜部重建方式雖然只需制單張影像， 卻必須將問題限制在一頭部模組為已知的條件下。 β另外’大部分所習知的人臉辨識方法對於未曾出現的非系統使用 者是無法辨識的。對於日漸廣泛的人臉辨識系統而言，如何簡化取樣 複雜度、鱗樣本的難度及提績鮮轉也是需料的議題。 201023056 * 【發明内容】 為了解決上述問題，本發明目的之一係提出一種臉部辨識方法， 同=用-張二維人臉圖像重建出一三雉人臉模型，並據以模擬各種不 。條件下之臉部影像變化，據此人臉模型並合成出—訓練圖組，以 ^訓練人臉麵ϋ。此外，本㈣制局部雜⑽法細卿 dding’LLE)概念’除辨識合法系統使用者之人臉圖像並能拒絕 接朗者。此外本發龍蝴率方式融合連續咖 增加臉部辨識的可靠度。 、 〇 為了達到上述目的，本發明一實施例為臉部辨識方法，包括：從 一資料庫齡-原始臉部圖像，以—可形變三維人臉模型重建符合原 始臉部圖像之-三維人臉模型；以三維人臉模型對原始臉部圖像模 擬具有不同變化之人臉視覺影像以供訓練一臉部辨識分類器；接收一 人臉的數娜像酿，臉部觸分類H對每—職赌作觸得到一 相似機率；以及依時序帛獅合每-影雜框之她機轉到人臉的 —臉部辨識信心值’其中若臉部辨識信心值大於一閥值，則辨識所接 收人臉與原始臉部圖像身分相同。 【實施方式】 本發明之臉部辨識方法使用單一的二維人臉圖像，以一三維可形 變人臉模型來重建二維人臉模型，並模擬不同的頭部姿勢變化合成大 量的一維人臉圖像供訓練人臉辨識模組之用。再者此法經由機率方弋 融合連續時間上單-的決定提升辨識準確率，並基於LLE方法可拒1 非系統所允許的入侵者。 ’ 本發明一實施例之臉部辨識方法步驟流程如圖丨所示，本實施例 是以人臉辨識為例，但亦可實現在具有相似之圖像辨識或影像辨識T 於此實施例中，步驟S01先從一資料庫擷取一原始臉部圖像，並根據 4 201023056 一三維可形變人臉模型重建原始臉部圖像的一三維人臉模型。此三維 可形變人臉模型提供了正常人臉的幾何資訊以及材質資訊的先驗知 識。對於三維可形變人臉模型，其可以被表示為一組三維幾何資料， ^(^々々^，^，〖，〜，〜〜“^^，與一組三維紋理資料， Γ=(ι私名八名七太〜^心片^^’…是構成三維人臉曲面的取樣點 數目。接著以數個特徵頭基礎向量(eigenhead bases vectors)的線性組合 來近似此三維人臉的幾何與紋理資料，如式（1)、式（2)所示： S(a) = S + ΣΓ=1«Λ...........................(1) γ^)=Γ+ΣμΜ...........................(2) 其中，S是平均形狀向量，Γ是平均紋理向量，s(是第/個特徵形狀基 礎向量，t,.是第/個特徵紋理基礎向量，α = [αι，κ %】及？=以太，足]為 構成此三維人臉的形狀係數和纹理係數。 實施例使用 BU-3DFE(3D facial expression database)的 3D 掃描與 圖像資料庫作為產生特徵頭基礎向量的資料來源。請參閱圖2a到圖 2d為本發明一實施例之三維可形變臉部模型概念示意圖，圖為在 -般人臉模型標定數個特徵點；圖2b為—資料庫中的原始臉部圖像； 圖2c為圖2b經過對齊、再取樣與平滑處理後所重建回的三維人臉模 型，圖2d為圖2c的三角交又檢視示意圖。 上述的二維人臉重建始於圖2a的特徵點初始化，再以基於測光誤 差取小化方式分麟到對於形狀資料域紋理資料㈣係數％ p與 ，個二轉性參數財得最符合輸人人_三料雜财。其中， 三維特性參妓由-健函數(⑺st __產生，此舰函數為式 (3): (3) 7_是輸入的原始臉部圖像，心。是正交投影矩陣’/是圖像缩放 比例因子，及是三維旋轅碰f βI ·/疋圃獅反 得矩陣’ 疋偏移向量。式(3)的最小化解答可 5 201023056 最佳化數值》冑算法(Levenbei"g_Marquart optimization)求出。 步驟S02中’以重建的三維臉部模型模擬可能的圖像變化 圖像訓練-臉部辨識分類器。其將二維原始臉部圖像以事先^ 維特|±參數與重建之三維人臉模型合成後的圖像如圖3所示， 部為輸人的秘臉侧像，其它的為合錢具有關姿勢的臉 ❹ ❺ 广驟S03中，接收一人臉的數個影像訊框，臉部辨識分類器對每 免像訊框作辨識得到一相似機率；以及步驟s〇4依時序融合每一影 像=框之機轉狀臉的__臉觸喊’若此麟韻信心值大 =一閥值，則辨識所接收人臉訊框與原始臉部圖像身分相同。融合先 刖的辨識結果方法如式(4)所示： p，一一 d-冰尸叫 1 艺(〇 X 圹1 + (1: ω)χ 〇,卜 i，2，·，n ⑷ i 其中’ β 5 c為一事後機率(posterior probability) ’表示使用者在單一影 像訊框下時間ί時屬於第ζ·分癖之機率，於一實施例中，我們合併斤 與前面累積之機率值p/-1，最後得到累積至時間〖之相似機率巧。 另外，要成為實用的臉部辨識系統，還必需有能力拒絕未曾見過 之系統入侵者’只接受系統的合法使用者。藉由局部線性内嵌法(LLE) 的非線性資料在流形(manifold)中具有局部線性的概念，如果經由同一 人的訓練圖像無法用來線性重建被辨識圖像，則圖像被推定為非系統 使用者。因此，一辨識的人臉/在於訊框ί時應能由所預測種類c中 與其Γ筆最鄰近的資料重建。定義一輸入人臉/的近似誤差為〆如 式(5)所示： (5) 此處W表示在最近似/之種類c中炙筆最鄰近資料之權重，且 是指同一種類中尤筆最鄰近資料之集合。 6 201023056 接著，使用雙彎曲函數（sigmoid function)將y轉換成相對應之 拒絕機率A，其遞迴定義為式(6): 户4=l-exp(~^_) ，Ρ^=^Ρ^+(1~ω)χΡ；β. ⑹ 8threshold 】 其中 S threshold 是控制拒絕率的參數。其結果使得具有高的拒絕機率么 之人臉/辨識為不屬於系統允許之使用者。 請參考第4圖為本發明之人臉辨識融合時序之架構示意圖。最後 將拒絕機率>4加入相似機率斤並一同正規化，得到影像訊框所屬種類 c到時間ί之事後機率片，如式⑺所示：

P;= . _ m \ωχΡ^' +(1- ω)χ ^4)+ ^ χ ΣI® χ + (1 - ω^ρί^ ’ 其中，/ = 1，2，."，π及，=1-么是時間f時的接受機率， P = [i5/，#/，··.，Ujj為事後機率分佈。若在時間？時疗超過一閥值 (threshold)尽’本發明可以確定一人臉的影像訊框所表示之身分。若 arg = »+1(類別„+1為給予入侵者之分類），則拒絕被辨識之人 臉，否則認可人臉為合法系統使用者並繼續辨認其身分， c = argmax^f，c = l，2，...，《。 i 綜合上述，申請案係利用一三維可形變模型來重建人臉模型，並 模擬具有不同變化之人臉視覺影像為人臉辨識之訓練資料庫。在建立 三維人臉模型以及訓練人臉辨識器的過程中，對每分類僅需對使用者 擷取一張二維影像，如此可改善過去以統計方式需大量收集人臉訓練 樣本之缺點。 以上所述之實施例僅係為說明本發明之技術思想及特點，其目的 在使熟習此項技藝之人士能夠瞭解本發明之内容並據以實施，當不能 以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均 等變化或修飾’仍應涵蓋在本發明之專利範圍内。 7 201023056 【圖式簡單說明】 圖1所示為本發明一實施例之臉部辨識方法步鄉流程圖。 ® 據本判-實施例之重建原 臉’像之三維可形變模型示意圖。 圖3所示為根據本發明一實施例之合成圖。 圖4所示為本發明一實施例之人臉辨識融合時序之架構示意圖。

【主要元件符號說明】 S01〜S04 步驟

8

Claims (1)

1. 201023056 七、申請專利範圍： 1. 一種臉部辨識方法，其包含： 從一資料庫擷取一原始臉部圖像，以一可形變三維人臉模型 重建符合該原始臉部圖像之一三維人臉模型； 以該三維人臉模型模擬具有不同變化之人臉視覺影像以供訓練一臉 部辨識分類器； 接收一人臉的數個影像訊框，該臉部辨識分類器對每一該影像訊框 作辨識得到一相似機率；以及

   依時序累積融合每一該影像訊框之該相似機率得到該人臉的一臉 部辨識信心值，其中若該臉部辨識信心值大於一閥值，則辨識該人臉 與該原始臉部圖像相同。 2.如請求項1所述之臉部辨識方法，其中該原始臉部圖像為一二 維圖像。 3·如請求項1所述之臉部辨識方法，其中重建符合該原始臉部圖 像之該三維人臉模型之步驟包括： 人一建立;該可形變三維人臉模型，其中該可形變三維人臉模型包 含一組三維幾何與一組三維紋理資料；

   1數個特徵頭基礎向量的線性組合表示該可形變三維人臉模 型，及 三 4·=求項3所述之臉部職錄，其中該組三維幾何資料為 5、」^1’21’"：2’；^2’*：’〜，4，〜)€9^’#是臉部取樣點數目。 ·/未们所述之臉部職綠，其中該組三軌理資料為 丨’岛61’2’於，^〜，心人）£9^，#是臉部取樣點數目。 201023056 6·二請求項3所述之臉部辨識方法，其中該幾何資料組為： 外)4+Σ:以及 該紋理資料組為： +Σ：>,·，其令 友是平均形狀向量，^是平均紋 ti是第/個特徵紋理基礎“ ，^個特徵形狀基礎向量， ^ *ί. ° 量，α —αι，Κ，α™ 為對應該4b特徵頭基;# Θ 量的祕魏，Μ[Α，ΚΑ] 基礎向 ❹ Φ 數。 礎向量的紋理係 7·如明求項3所述之料纖方法，其& 一價值函數產生，該價值函數為：—維特性參數是由 Iinput ~ /model(a>P>P〇n/,0,/,i?,t2d)| ，其中 H人的該原始臉部圖像U正交投影 比例因子1是三維旋轉矩陣，b是偏移向h /疋圖像縮放 8' π—1 +1 -+产） i之步驟為. = 1,2,·..,η，其中 Π事後齡，表移時間f時之單一影像訊框屬於心分類之機 機^ 與前面累積之機率值户广，最後得到累積至時間？之相似 9.如請求項1所述之臉部辨識方法，包括： 叶算每一該影像訊框之一拒絕機率；以及 將該拒絕機率加入該相似機率並進行一正規化步驟，以 影像訊框所屬種類c到時間ί之事後機率片。 、該 201023056 10.如請求項9所述之臉部辨識方法，其中計算每一該影像訊框之該 拒絕機率之步驟包括： +)+-Σ>π||;以及 PV=l-exp(.........)， 々：⑽巧+卜的父心’其中 ^threshold wy表示在最近似該影像訊框/之C種類中尺筆最鄰近資料之權重，且 Σ>;〜ι，是指同一種類中尺筆最鄰近資料之集合，是控 制拒絕率的參數。 11. 如請求項9所述之臉部辨識方法，其中將該拒絕機率加入該相 ❹ 似機率進行該正規化步驟為： . p, _ _β' X (ω χ Ρ/"1 + (l - <o)x P,',svc )_ '+(l-fi>)xV4.)+々(X、石(<»x 片-1 +'(l-ia)xd’ i = 1，2，···，《及f=l-&是時間i的接受機率，炉=[片，私.·.,々，&f是事 後機率分佈。 12. 如請求項9所述之臉部辨識方法，其中如果//大於該閥值且 arg max丹=n + l，則判斷該人臉為非系統允許之使用者，否則認可該 / 人臉為合法系統使用者並繼續辨認其身分，其中 A c = arg maxf，cr = l，2，."，《。 ❿ 11