TW201327478A - 面部特徵向量之建構 - Google Patents

面部特徵向量之建構 Download PDF

Info

Publication number
TW201327478A
TW201327478A TW101135665A TW101135665A TW201327478A TW 201327478 A TW201327478 A TW 201327478A TW 101135665 A TW101135665 A TW 101135665A TW 101135665 A TW101135665 A TW 101135665A TW 201327478 A TW201327478 A TW 201327478A
Authority
TW
Taiwan
Prior art keywords
feature vector
model feature
image
generating
descriptor
Prior art date
Application number
TW101135665A
Other languages
English (en)
Other versions
TWI484444B (zh
Inventor
Jan Erik Solem
Michael Rousson
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201327478A publication Critical patent/TW201327478A/zh
Application granted granted Critical
Publication of TWI484444B publication Critical patent/TWI484444B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

描述用於判定並應用面部辨識參數集合的系統、方法及電腦可讀媒體。一般而言，揭示用於識別面部辨識鑑別器的一唯一組合並將其建構成一「面部特徵向量」之技術，已發現該「面部特徵向量」相較於先前技術為更強健的(例如，對於影像雜訊、一人員之姿態及場景照明為穩定的)且更準確的(例如，提供高辨識率)。更特定而言，一面部特徵向量可由形狀描述符(例如，如藉由二維形狀模型及三維形狀模型產生)與紋理描述符(例如，如藉由全域紋理模型及局部紋理模型產生)之組合來產生。

Description

面部特徵向量之建構
本發明大體上係關於面部辨識領域。更特定而言，本發明描述用於將多種類型之面部辨識描述符組合成單一實體(面部特徵向量)的多種技術。
本發明大體上係關於面部辨識領域。更特定而言，本發明描述用於將多種類型之面部辨識描述符組合成單一實體(面部特徵向量)的多種技術。面部特徵向量可用於面部辨識應用中。此等應用之實例包括(但不限於)對iPhoto®及Aperture®中之影像(靜態影像及視訊)進行管理、分類及註釋。(IPHOTO及APERTURE為Apple Inc.的註冊商標)
概括地，面部辨識操作掃描人員之面部，自面部提取或偵測參數之指定集合，並使彼等參數與已知面部資料庫匹配，識別先前已被指派至該面部資料庫或該面部資料庫以其他方式已知。與新影像之參數進行比較之資料集時常藉由模型來特徵化或描述。實務上，此等模型定義將屬於給定群組之所有影像分類為屬於同一人員的參數集合之群組。
為了強健(例如，對於影像雜訊、人員之姿態及場景照明為穩定的)且準確(例如，提供高辨識率)，指定參數集合需要以可重複且對於典型人員內變化為不變的而同時能夠在人員之間進行區分的方式對描述面部之資訊進行編碼。此需要為所有面部辨識系統遭遇的中心問題。因此，識別 一機制(方法、器件及系統)以定義提供強健且準確之面部辨識的參數之集合將為有益的。
在各種實施例中，本發明提供一種裝置(例如，一個人電腦)、一種方法及電腦程式碼以產生可用以識別在一數位影像中偵測到之面部的一新穎面部特徵向量。該方法包括執行電腦程式碼以(例如，經由面部偵測技術)獲得一第一影像中的一第一面部的界標偵測資訊。該界標偵測資訊可應用至第一形狀模型及第二形狀模型以產生第一形狀特徵向量及第二形狀特徵向量，且應用至第一紋理模型及第二紋理模型以產生第一紋理特徵向量及第二紋理特徵向量。此等特徵向量中之所有四個可經組合以提供該面部特徵向量。
在一項實施例中，該第一形狀模型為該所偵測面部之二維形狀模型，而該第二形狀模型為該所偵測面部的三維形狀模型。第一形狀模型及第二形狀模型可獨立於彼此地為線性或非線性的。
在另一實施例中，該界標偵測資訊在被用以產生該第一紋理特徵向量及該第二紋理特徵向量之前可經正規化。在一些實施例中，該第一紋理特徵向量可係基於該正規化界標偵測資訊內之所識別區，該等區包括的範圍小於該正規化界標偵測資訊之全部資訊。
在又一實施例中，在正規化界標偵測資訊被用以產生該第二紋理特徵向量之前，可將一變形運算應用至該正規化 界標偵測資訊。
在再一實施例中，藉由比較兩個此種面部特徵向量，可判定相似性度量。此相似性度量可用以判定兩個面部特徵向量是否可能表示同一面部。在此及相似實施例中，該相似性度量可係基於馬氏(Mahalanobis)距離度量。
本發明係關於用於判定並應用面部辨識參數集合的系統、方法及電腦可讀媒體。一般而言，揭示用於識別面部辨識鑑別器的一唯一組合並將其建構成一「面部特徵向量」之技術，已發現該面部特徵向量相較於先前技術之識別方法為更強健的(例如，對於影像雜訊、人員之姿態及場景照明為穩定的)且更準確的(例如，提供高辨識率)。更特定而言，面部特徵向量可藉由形狀描述符及紋理描述符的組合來產生。在一項實施中，面部特徵向量包括描述面部之二維(2D)形狀、面部之三維(3D)形狀、面部之總體或全域紋理，及細節或局部紋理資訊(例如，膚色)之資訊。
在以下描述中，出於解釋之目的，闡述眾多特定細節，以便提供對本發明概念之透徹理解。作為本描述之部分，本發明之圖式中的一些以方塊圖形式表示結構及器件以便避免用將為一般熟習此項技術者已知之細節使本發明混淆。此外，在本發明中所使用之語言已主要被選擇以達成可讀性及指導目的，且可能並非被選擇用來描繪或限定本發明主體，有必要依靠申請專利範圍來判定此發明主體。在本發明中對「一項實施例」或對「一實施例」之提及意 謂：結合該實施例所描述之特定特徵、結構或特性包括於本發明之至少一項實施例中，且對「一項實施例」或「一實施例」之多次提及不應理解為必定皆指代同一實施例。
應瞭解，在任何實際實施之開發中(如在任何開發專案中)，必須作出眾多決策以達成開發者之特定目標(例如，遵守與系統及商業相關的約束)，且此等目標將在實施間不同。亦應瞭解，此等開發努力可能為複雜且耗時的，但對於受益於本發明之一般熟習面部辨識領域者而言仍將為常規任務。
參看圖1，以方塊圖形式展示根據一項實施例之面部特徵向量產生及執行時間面部識別操作100。開始，根據面部偵測器110處理輸入影像105以產生界標影像115。如本文中所使用，片語「界標影像」指代在其中已偵測到界標點之面部影像。界標特徵可包括諸如眼睛、眉毛、鼻子、口部及面頰之一或多個面部特徵的位置。輸入影像105可(例如)為自數位靜態相機或視訊攝影機獲得的影像。面部偵測器110可使用適合於設計者之目標/約束的任何適當方法。說明性面部偵測技術包括(但不限於)基於知識之方法、特徵不變方法、範本匹配方法及基於外觀的方法。由於偵測面部之精確方法對於以下論述並非為關鍵的，因此本文中將不描述關於此操作的更多內容。在一項實施例中，界標影像115可為在其中所偵測特徵十分突出的灰階影像，但不因此受限。為了呈現之簡單起見，在下文中將假設，輸入影像(例如，影像105)僅包括單一面部。然而， 應理解，在所揭示技術中此限制並非為固有的。
可將界標影像115應用至一或多個形狀模型120及一或多個紋理模型125。如圖所示，形狀模型120產生形狀描述符130，且紋理模型125產生紋理描述符135。應認識到，形狀模型120及紋理模型125通常係使用已知影像庫離線地產生，且可獨立於彼此為線性或非線性的。此等模型亦可包括所謂的「基於幾何形狀受約束部分的模型」，其中界標點具有其自己的外觀模型。可以滿足開發者之目標及/或約束之任何方式根據區塊140來組合描述符130及135。以實例說明之，運算140可串接所供應的形狀描述符及紋理描述符中的每一者。在另一實施例中，運算140可產生描述符元素之線性組合的集合。在再一實施例中，形狀描述符130可以一方式進行組合，且紋理描述符135以不同方式進行組合，其中串接每一者之組合。在再一實施例中，一或多個描述符可按由其各別模型產生時之原樣進行組合，而其他描述符在被組合之前可經歷額外處理(例如，維度減小、平滑及其相似者)。無論如何組合，運算140之結果皆為面部特徵向量145。面部特徵向量145可保持於儲存器150(例如，非暫時性磁性或固態磁碟單元)中。實際上，面部特徵向量145可併入於輸入影像105內(例如，在輸入影像之後設資料中)，及/或保持於參考影像105之單獨資料儲存器中。
一旦產生，面部特徵向量145便可由應用程式155使用以識別對應影像之面部(例如，在影像105內)。舉例而言，應 用程式155可擷取其關聯面部特徵向量<f>係與面部「F」相關聯或藉由面部「F」識別的影像160。一旦進行了擷取，便可比較165面部特徵向量145與面部特徵向量<f>，且若兩者為充分相似的(例如，經由某一方便度量)，則可將影像105稱為包括面部「F」。在一項實施例中，應用程式155可為使用者層級圖形應用程式(例如，iPhoto或Aperture)。在另一實施例中，應用程式155可併入於可由使用者層級應用程式使用的一面部辨識框架內。在再一實施例中，應用程式155中之一些或全部可併入於專用影像處理硬體內。
參看圖2，可看出形狀模型120包括二維(2D)模型200及三維(3D)模型205(其分別產生2D形狀描述符210及3D形狀描述符215)，而紋理模型125包括全域紋理模型220及局部紋理模型225(其分別產生全域紋理描述符230及局部紋理描述符235)。
在一項實施例中，2D模型200、3D模型205及全域紋理模型220可為具有以下形式的線性模型：
其中表示影像或影像點(視模型為形狀模型抑或紋理模型而定)，B表示基本向量之集合(通常為正交的)，表示模型係數之集合，且表示平均形狀或紋理向量(視模型為形狀模型抑或紋理模型而定)。給定(訓練)影像之集合，可使用諸如以下各者之許多技術來判定基本向量B及平均形 狀/紋理向量：主分量分析法(PCA)、獨立分量分析法(ICA)、線性判別分析(LDA)、彈性束圖形匹配(EBGM)、追蹤變換(trace transform)、主動式外觀模型(2M)、貝氏理論框架、支援向量機(SVM)，、隱藏式馬克夫模型(H8)及特徵面部。組成B之基本向量的數目在一定程度上判定模型之準確度。因此，B之大小可由設計者選擇以達成所要準確度。在一項實施中，10個基本向量可為足夠的，而在另一實施中，可能需要20、50或75個基本向量。
參看圖3，展示面部特徵向量建構操作300之一項實施例的方塊圖。如上文關於圖1及圖2所描述，將輸入影像105提供至產生界標影像115的面部偵測器110。在所說明實施例中，界標影像115可被直接供應至2D形狀模型200及3D形狀模型205。假設此等模型可藉由等式1來特徵化，則對於2D形狀模型200而言，表示界標影像115，B表示2D模型基本向量的集合，表示2D模型係數(亦即，2D描述符210)的集合，且表示平均2D形狀向量。相似地，對於3D形狀模型205而言，亦表示界標影像115，B表示3D模型基本向量的集合，表示3D模型係數(亦即，3D描述符215)的集合，且表示平均3D形狀向量。
界標影像115可接著經歷正規化運算305以產生正規化影像310。一般熟習此項技術者應理解，正規化運算305指代其中影像之界標特徵(例如，眉毛、眼睛、鼻子、口部及面頰)可經調整以顯現於給定大小圖框內之指定位置中的程序。
一旦經正規化，便可將影像310供應至全域紋理模型220以產生全域紋理描述符230。若等式1特徵化全域紋理模型220，則表示正規化影像310，B表示紋理模型基本向量的集合，表示紋理模型係數(亦即，全域紋理描述符240)的集合，且表示平均紋理向量。
已離線地判定出2D模型200、3D模型205及全域紋理模型220的基本向量(B)及平均向量()且將其儲存以供執行時間使用之後，可藉由在等式1中解算出來判定模型係數(表示2D描述符210、3D描述符215及全域紋理描述符230)。由於B不一定為正方形矩陣，因此對等式1進行簡單代數解算以判定可能並不可行。因而，可在執行時間根據若干最佳化程序中的任一者來判定。一個此種程序為評估以下關係：
以實例說明之，自等式1可看出，若界標影像115及正規化影像305各自由元素之(128×128)陣列來表示，則為(16384×1)向量。另外，若「n1」表示B中的基本向量的數目，則B為(16384×n1)矩陣，且為(16384×1)向量。在此實例中，2D描述符210、3D描述符215及全域紋理描述符230為(n1×1)向量。在一項實施例中，可使用在題為「3D Object Recognition」之申請中之美國專利申請案第13/299,211號中描述的技術來獲得3D模型係數。「以下稱"段落A"」
再次參看圖3，亦可將正規化影像310提供至局部紋理模型225。如所說明，局部紋理模型225自身可包括局部影像描述符315、密集影像描述符320及扭曲密集影像描述符325。
參看圖4a，在一項實施例中，局部影像描述符315係基於界標特徵中之一或多者周圍的小型區或塊體(tile)400之紋理(在圖4a中僅列舉說明性區中的一者)。雖然塊體之精確數目取決於影像解析度及設計者之目標/約束，但已發現對於(128×128)正規化影像而言，10至20個塊體為足夠的。每一塊體之大小可基於訓練資料來判定，且可以固定數目個尺度發生變化，其中每一點亦可具有具不同大小的多個塊體。應理解，所使用之實際設定可係基於哪一設定給出最佳辨識效能(在既定設計約束內)。以實例說明之，可根據諸如以下各者之向量梯度運算子來產生局部影像描述符：梯度直方圖(HoG)、加速強健特徵(SURF)、尺度不變特徵變換(SIFT)、二進位強健獨立元素特徵(BRIEF)，及定向BRIEF(ORB)或相似類型的描述符。參看圖4b，在一項實施例中，密集影像偵測器320基於整個影像來判定影像描述符。舉例而言，可將所選擇偵測器運算(例如，HoG或SIFT)應用至涵蓋影像305之複數個區(例如，諸如5×4柵格中的20個區405)中的每一者。局部影像偵測器315之結果為j元素描述符。密集影像偵測器之結果為k元素描述符。
雖然局部影像描述符315及密集影像描述符320皆已被描 述為使用梯度向量描述符，但此並非必需的。亦可使用其他描述符，諸如基於強度之描述符及基於影像紋理的描述符。此外，局部影像偵測器315可使用一方法(例如，強度)，且密集影像偵測器320可使用另一方法(例如，梯度向量)。
除直接使用正規化影像310外，局部紋理模型225亦可使用影像310之扭曲版本。再次參看圖3，可將正規化影像310應用至扭曲或變形運算子330以產生扭曲或變形影像335。在一項實施例中，扭曲運算子330調整面部以進行平面外旋轉，使得扭曲影像335近似於主體之面部的完全正面視圖。參看圖5，類似於針對產生密集影像描述符320所描述的操作，可如上文關於密集紋理描述符320所描述在區(例如，500)中評估整個扭曲影像355。在一項實施例中，扭曲密集影像描述符為l元素描述符。雖然操作可為相似的，但扭曲密集影像描述符325不必使用與用以產生密集影像描述符320者相同之技術或相同數目個區/塊體。
再次參看圖3，組合運算340可組合所產生局部影像、密集影像及扭曲密集影像描述符中的任何兩者、三者或任何組合，以產生中間局部紋理描述符345。組合運算340可取用每一描述符之整體或每一描述符的僅一部分，或取用一個描述符之整體及另一描述符的僅一部分。繼續上文開始之數值實例(參見段落A)，組合運算340可為局部影像描述符(j個元素)、密集影像描述符(k個元素)及扭曲密集影像描述符(l個元素)中之每一者的串接。在諸如此實施例之實施 例中，中間局部紋理描述符345之大小為(j+k+l)。在一項實施中，(j+k+l)3000。
為了將此描述符之大小減小至更易於即時操控的值，可執行維度減小運算350以產生局部紋理描述符235。或者，在個別分量(315、320、325)之於340處的組合之前，可對該等分量執行維數減小。可將維度減小視作可表達如下的變換：
其中表示局部紋理描述符235，M表示執行所要變換之基本向量(通常為正交的)的集合，且表示中間局部紋理描述符345。知曉面部之大集合之的分佈後，可識別並保持較小數目個元素(維度)來表示實質上相同資訊。可使用若干已知最佳化技術(例如，量度學習、特徵選擇，或主分量分析法)中的任一者來離線地判定變換矩陣M。一旦判定出，便可儲存M以供在執行時間使用。繼續上文開始之數值實例，若中間局部紋理向量345()具有3000個元素且M將此維數減小至n2個維度：則為(n2×1)向量，M為(n2×3000)矩陣，且為(3000×1)向量。
再次參看圖3，在描述符210、215、230及235中的每一者已被判定出之後，可根據運算子140對前述描述符進行組合以產生面部特徵向量145。如圖6中所示，面部特徵向量可包括以下各者之欄位：2D形狀描述符210(600)、3D形狀描述符215(605)、全域紋理描述符230(610)，及局部紋 理描述符235(615)。
再次參看上文開始之數值實例，若2D模型200、3D模型205及全域紋理模型220為具有由等式1給出之形式的線性模型，且模型輸入影像由(128×128)個元素構成，且在2D模型、3D模型及全域紋理模型中之每一者中存在n1個基本向量，則說明性模型參數係如表1中所展示。
另外，若局部影像偵測器315、密集影像偵測器320及扭曲密集影像偵測器320之組合產生具有3000個元素的中間局部紋理描述符345，維度減小運算350由等式3特徵化，且將維度之數目減小至n2個維度，則維度減小運算350之說明性模型參數係如表2中所展示。
最終，若組合運算子140串接2D描述符210、3D描述符215、全域紋理描述符230及局部紋理描述符235中的每一者，則面部特徵向量145為((3n1+n2)×1)向量。
參看圖7，展示根據一項實施例之使用面部特徵的面部識別操作700。開始，獲得未知及已知面部/身分的面部特徵向量(區塊705及710)。可接著將相似性量度應用至此等向量(區塊715)，且進行檢查以判定量度是否指示匹配(區 塊720)。若兩個面部特徵向量足夠相似(區塊720之「是」分支)，則可判定未知面部特徵向量表示與已知面部特徵向量相關聯之同一身分(區塊725)。若兩個面部特徵向量的相似度不足以指示匹配(區塊720之「否」分支)，則進行另一檢查以判定另一已知面部特徵向量是否為可用的(區塊730)。若不再存在與已知身分相關聯之面部特徵向量(區塊730之「否」分支)，則可得出未知面部特徵向量(亦即，在根據區塊705之動作期間獲得)對應於未知面部的結論(區塊735)。若存在與已知身分相關聯之更多面部特徵向量(區塊730之「是」分支)，則可自(例如)儲存器150獲得「下一」已知面部特徵向量(區塊740)，隨後操作700在區塊715處繼續。
在一項實施例中，相似性量度(參見區塊715)可為沿著數根線之關於漢明(Hamming)距離的距離量度。對於大維數向量而言，諸如本文中所描述的面部特徵向量，已發現如等式4中所描述之馬氏距離度量可提供有效的相似性度量。
其中表示第一面部特徵向量(例如，與未知面部相關聯之向量)，表示第二面部特徵向量(例如，與已知面部相關聯的向量)，S()表示相似性或比較操作，且W表示權矩陣。本質上，權矩陣W識別面部特徵向量中之每一元素在比較操作期間的重要性或顯著性。透過使用與已知身分相 關聯之大量面部特徵向量，可應用量度學習技術以離線地判定W。一旦知曉，便可儲存W以供根據圖7之執行時間的使用。以實例說明之，若面部特徵向量具有500個元素，亦即，由(500×1)向量表示，則W將為(500×500)元素權矩陣。
參看圖8，接收器操作特性(ROC)曲線800相對於單獨使用構成面部特徵向量之個別分量：(1)標準2M描述符(810)；密集梯度描述符(815)；局部梯度描述符(820)；及扭曲密集梯度描述符(825)的情況而展示如本文中所揭示之面部特徵向量(805)的效能。如可看出，根據本發明之面部特徵向量的使用相較於此等其他描述符產生較高效能。
現參看圖9，展示根據一項實施例之說明性電子器件900的簡化功能方塊圖。電子器件900可包括處理器905、顯示器910、使用者介面915、圖形硬體920、器件感測器925(例如，近接感測器/環境光感測器、加速度計及/或迴轉儀)、麥克風930、音訊編解碼器935、揚聲器940、通信電路945、數位影像俘獲單元950、視訊編解碼器955、記憶體960、儲存器965，及通信匯流排970。電子器件900可為(例如)個人數位助理(PDA)、個人音樂播放器、行動電話、筆記型電腦、膝上型電腦或平板電腦。
處理器905可執行進行或控制由器件900執行之許多功能之操作(例如，面部特徵向量建構及執行時間面部識別操作100，或面部識別操作700)所必要的指令。處理器905可(例如)驅動顯示器910並自使用者介面915接收使用者輸 入。使用者介面915可允許使用者與器件900互動。舉例而言，使用者介面915可採用各種形式，諸如，按鈕、小鍵盤、撥號盤、點選輪(click wheel)、鍵盤、顯示幕及/或觸控式螢幕。處理器905亦可(例如)為諸如在行動器件中之者的系統單晶片，且包括專用圖形處理單元(GPU)。處理器905可係基於精簡指令集電腦(RISC)或複雜指令集電腦(CISC)架構或任何其他合適架構，且可包括一或多個處理核心。圖形硬體920可為用於處理圖形及/或輔助處理器905處理圖形資訊的專用計算硬體。在一項實施例中，圖形硬體920可包括可程式化圖形處理單元(GPU)。
感測器及相機電路950可俘獲靜態影像及視訊影像，該等影像可至少部分由視訊編解碼器955及/或處理器905及/或圖形硬體920及/或併入於電路950內之專用影像處理單元來處理。如此俘獲之影像可儲存於記憶體960及/或儲存器965中。記憶體960可包括由處理器905及圖形硬體920使用以執行器件功能的一或多種不同類型之媒體。舉例而言，記憶體960可包括記憶體快取記憶體、唯讀記憶體(ROM)及/或隨機存取記憶體(RAM)。儲存器965包括用於保持音訊、影像及視訊檔案、電腦程式指令或軟體、偏好資訊、器件設定檔資訊及任何其他合適資料的媒體。儲存器965可包括一或多個非暫時性儲存媒體，該等媒體包括(例如)磁碟(固定磁碟、軟性磁碟及抽取式磁碟)及磁帶，諸如CD-ROM及數位影音光碟(DVD)的光學媒體，及諸如電可程式化唯讀記憶體(EPROM)及電可抹除可程式化唯讀 記憶體(EEPROM)的半導體記憶體器件。記憶體960及儲存器965可用以有形地保持組織成一或多個模組並以任何所要電腦程式設計語言撰寫的電腦程式指令或程式碼。在由(例如)處理器905執行時，此電腦程式碼可實施本文中所描述之方法中的一或多者。
在不偏離以下申請專利範圍之範疇的情況下，材料、組件、電路元件以及所說明操作方法之細節上的各種改變為可能的。舉例而言，雖然本文中描述之模型形式上為線性的，但此限制在所揭示技術中並非為固有的。另外，各種模型可為不同的-一些模型可為線性的，而其他模型可為非線性的。此外，組合運算(例如，140及340)並不限於串接運算，該等運算亦不需要為相同的。可使用適合於設計者之目標的任何組合。舉例而言，線性組合、描述符值之子集的選擇，及描述符值之經加權組合皆為可行的。又，若模型描述符之維數不需要維度減小(例如，運算315、320及325)，則不需要執行此運算。
最終，應理解，上文描述意欲為說明性的，而非限制性的。舉例而言，上述實施例可被彼此組合地使用。對於熟習此項技術者而言，許多其他實施例在回顧以上描述之後將為顯而易見的。因此，應參考所附申請專利範圍連同此申請專利範圍有權擁有之等效物之全部範疇來判定本發明之範疇。在所附申請專利範圍中，使用術語「包括」及「其中」作為各別術語「包含」及「其中」之通俗等效物。
100‧‧‧面部特徵向量產生及執行時間面部識別操作
105‧‧‧輸入影像
110‧‧‧面部偵測器
115‧‧‧界標影像
120‧‧‧形狀模型
125‧‧‧紋理模型
130‧‧‧形狀描述符
135‧‧‧紋理描述符
140‧‧‧區塊/運算
145‧‧‧面部特徵向量
150‧‧‧儲存器
155‧‧‧應用程式
160‧‧‧影像
200‧‧‧二維(2D)模型
205‧‧‧三維(3D)模型
210‧‧‧2D形狀描述符
215‧‧‧3D形狀描述符
220‧‧‧全域紋理模型
225‧‧‧局部紋理模型
230‧‧‧全域紋理描述符
235‧‧‧局部紋理描述符
300‧‧‧面部特徵向量建構操作
305‧‧‧正規化運算
310‧‧‧正規化影像
315‧‧‧局部影像描述符
320‧‧‧密集影像描述符
325‧‧‧扭曲密集影像描述符
330‧‧‧扭曲/變形運算子
335‧‧‧扭曲/變形影像
340‧‧‧組合運算
345‧‧‧中間局部紋理描述符
350‧‧‧維度減小運算
400‧‧‧小型區/塊體
405‧‧‧區
500‧‧‧區
600‧‧‧2D形狀描述符之欄位
605‧‧‧3D形狀描述符之欄位
610‧‧‧全域紋理描述符之欄位
615‧‧‧局部紋理描述符之欄位
700‧‧‧面部識別操作
800‧‧‧接收器操作特性(ROC)曲線
805‧‧‧面部特徵向量
810‧‧‧標準2M描述符
815‧‧‧密集梯度描述符
820‧‧‧局部梯度描述符
825‧‧‧扭曲密集梯度描述符
900‧‧‧電子器件
905‧‧‧處理器
910‧‧‧顯示器
915‧‧‧使用者介面
920‧‧‧圖形硬體
925‧‧‧器件感測器
930‧‧‧麥克風
935‧‧‧音訊編解碼器
940‧‧‧揚聲器
945‧‧‧通信電路
950‧‧‧數位影像俘獲單元/感測器及相機電路
955‧‧‧視訊編解碼器
960‧‧‧記憶體
965‧‧‧儲存器
970‧‧‧通信匯流排
圖1以方塊圖形式展示根據一項實施例之面部特徵向量產生及執行時間面部識別操作。
圖2以方塊圖形式展示根據一項實施例之形狀及紋理模型的組成。
圖3以方塊圖形式展示根據另一實施例之面部特徵向量產生操作。
圖4a及圖4b說明根據一項實施例之局部影像及密集影像描述符操作。
圖5說明根據一項實施例之扭曲影像及密集偵測器區。
圖6展示根據一項實施例之面部特徵向量的結構。
圖7以流程圖形式展示根據一項實施例之面部識別操作。
圖8展示根據一項實施例之說明所揭示面部特徵向量之識別效能的說明性接收器操作特性(ROC)曲線。
圖9以方塊圖形式展示根據本發明之可用以實施一或多個操作的說明性電子器件。
105‧‧‧輸入影像
110‧‧‧面部偵測器
115‧‧‧界標影像
140‧‧‧區塊/運算
145‧‧‧面部特徵向量
200‧‧‧2D模型
205‧‧‧三維(3D)模型
210‧‧‧2D形狀描述符
215‧‧‧3D形狀描述符
220‧‧‧全域紋理模型
225‧‧‧局部紋理模型
230‧‧‧全域紋理描述符
235‧‧‧局部紋理描述符
300‧‧‧面部特徵向量建構操作
305‧‧‧正規化運算
310‧‧‧正規化影像
315‧‧‧局部影像描述符
320‧‧‧密集影像描述符
325‧‧‧扭曲密集影像描述符
330‧‧‧扭曲/變形運算子
335‧‧‧扭曲/變形影像
340‧‧‧組合運算
345‧‧‧中間局部紋理描述符
350‧‧‧維度減小運算

Claims (20)

  1. 一種包含電腦程式碼之非暫時性電腦可讀媒體，該電腦程式碼用以：獲得一第一影像中之一第一面部的界標偵測資訊；至少部分基於該界標偵測資訊產生一第一形狀模型特徵向量；至少部分基於該界標偵測資訊產生一第二形狀模型特徵向量；至少部分基於該界標偵測資訊產生一第一紋理模型特徵向量；至少部分基於該界標偵測資訊產生一第二紋理模型特徵向量；組合該第一形狀模型特徵向量、該第二形狀模型特徵向量、該第一紋理模型特徵向量及該第二紋理模型特徵向量以形成一第一面部特徵向量；及將該第一面部特徵向量儲存於一儲存器件中。
  2. 如請求項1之非暫時性電腦可讀媒體，其中該用以產生一第一形狀模型特徵向量之電腦程式碼包含：用以將該界標偵測資訊應用至該第一面部之一個二維模型的電腦程式碼。
  3. 如請求項2之非暫時性電腦可讀媒體，其中該用以產生一第二形狀模型特徵向量之電腦程式碼包含：用以將該界標偵測資訊應用至該第一面部之一個三維模型的電腦程式碼。
  4. 如請求項1之非暫時性電腦可讀媒體，其進一步包含用以至少部分基於該界標偵測資訊產生正規化界標偵測資訊的電腦程式碼。
  5. 如請求項4之非暫時性電腦可讀媒體，其中該用以產生一第一紋理模型特徵向量之電腦程式碼包含：用以至少部分基於該正規化界標偵測資訊產生一第一紋理模型特徵向量的電腦程式碼。
  6. 如請求項5之非暫時性電腦可讀媒體，其中該用以產生一第一紋理模型特徵向量之電腦程式碼包含電腦程式碼以：識別該正規化界標偵測資訊中的複數個區，其中該複數個區包括的範圍小於該正規化界標偵測資訊之全部資訊；及基於該複數個區產生一第一紋理模型特徵向量。
  7. 如請求項5之非暫時性電腦可讀媒體，其中該用以產生一第二紋理模型特徵向量之電腦程式碼包含電腦程式碼以：至少部分基於該正規化界標偵測資訊及一指定變形運算來產生扭曲界標偵測資訊；及至少部分基於該扭曲界標偵測資訊產生一第二紋理模型特徵向量。
  8. 如請求項5之非暫時性電腦可讀媒體，其中該用以產生一第二紋理模型特徵向量之電腦程式碼進一步包含：用以在執行該用以組合該第一紋理模型特徵向量與該第二 紋理模型特徵向量以形成一第一面部特徵向量的電腦程式碼之前減小該第二紋理模型特徵向量之維數的電腦程式碼。
  9. 如請求項1之非暫時性電腦可讀媒體，其中該用以獲得界標偵測資訊之電腦程式碼包含：用以自一面部偵測操作獲得該第一影像中之該第一面部之界標偵測資訊的電腦程式碼。
  10. 如請求項1之非暫時性電腦可讀媒體，其中該用以組合該第一形狀模型特徵向量、該第二形狀模型特徵向量、該第一紋理模型特徵向量及該第二紋理模型特徵向量的電腦程式碼包含：用以串接該第一形狀模型特徵向量、該第二形狀模型特徵向量、該第一紋理模型特徵向量及該第二紋理模型特徵向量的電腦程式碼。
  11. 如請求項1之非暫時性電腦可讀媒體，其中該用以將該第一面部特徵向量儲存於一儲存器件中的電腦程式碼包含電腦程式碼以：將該第一面部特徵向量併入至該第一影像之後設資料中；及將該第一影像與該第一面部特徵向量儲存於一儲存器件中。
  12. 如請求項1之非暫時性電腦可讀媒體，其進一步包含電腦程式碼以：自該儲存器件擷取該第一面部特徵向量；自該儲存器件擷取一第二面部特徵向量，其中該第二 面部特徵向量進一步對應於一已知人員；比較該第一面部特徵向量與該第二面部特徵向量以產生一相似性值；及若該相似性值小於一指定量，則判定該第一面部對應於該已知人員。
  13. 一種電子器件，其包含：儲存有複數個影像之儲存器件；通信地耦接至該儲存器件且儲存有根據請求項1之電腦程式碼的記憶體；及一可程式化控制單元，其通信地耦接至該儲存器件及該記憶體，且經組態以擷取並執行儲存於該記憶體中的該電腦程式碼。
  14. 一種包含電腦程式碼之非暫時性電腦可讀媒體，該電腦程式碼用以：獲得一第一影像中之一第一面部的一界標影像，該界標影像識別該第一面部的複數個態樣；至少部分基於該界標影像產生一正規化界標影像；至少部分基於該正規化界標影像產生一扭曲界標影像；至少部分基於該界標影像產生一第一形狀模型特徵向量；至少部分基於該界標影像產生一第二形狀模型特徵向量；至少部分基於該正規化界標影像產生一第一紋理模型 特徵向量；至少部分基於該扭曲界標影像產生一第二紋理模型特徵向量；組合該第一形狀模型特徵向量、該第二形狀模型特徵向量、該第一紋理模型特徵向量及該第二紋理模型特徵向量以形成一第一面部特徵向量；及將該第一面部特徵向量儲存於一儲存器件中。
  15. 如請求項14之非暫時性電腦可讀媒體，其中該用以產生一第一形狀模型特徵向量之電腦程式碼包含：用以將該界標偵測資訊應用至該第一面部之一個二維模型的電腦程式碼。
  16. 如請求項14之非暫時性電腦可讀媒體，其中該用以產生一第二形狀模型特徵向量之電腦程式碼包含：用以將該界標偵測資訊應用至該第一面部之一個三維模型的電腦程式碼。
  17. 如請求項14之非暫時性電腦可讀媒體，其中該用以產生一第一紋理模型特徵向量之電腦程式碼包含：用以對該正規化界標影像中之複數個區使用一梯度向量運算的電腦程式碼，其中該複數個區包含的範圍小於該正規化界標影像之全部影像。
  18. 如請求項14之非暫時性電腦可讀媒體，其中該用以產生一第二紋理模型特徵向量之電腦程式碼進一步包含電腦程式碼以：至少部分基於該正規化界標影像產生第一描述符及第 二描述符；至少部分基於該扭曲界標影像產生一第三描述符；及組合該第一描述符、該第二描述符及該第三描述符以形成該第二紋理模型特徵向量。
  19. 如請求項18之非暫時性電腦可讀媒體，其中該用以組合該第一描述符、該第二描述符及該第三描述符的電腦程式碼進一步包含：用以減小該等經組合之第一描述符、第二描述符及第三描述符之維數的電腦程式碼。
  20. 一種電腦系統，其包含：儲存有複數個影像之一儲存器件；可操作地耦接至該儲存器件且儲存有根據請求項14之電腦程式碼的一記憶體；及一可程式化控制器件，其通信地耦接至該儲存器件及該記憶體，且經組態以執行儲存於該記憶體中的該電腦程式碼。
TW101135665A 2011-12-20 2012-09-27 用於面部特徵向量之建構之非暫時性電腦可讀媒體、電子器件、及電腦系統 TWI484444B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/332,084 US8593452B2 (en) 2011-12-20 2011-12-20 Face feature vector construction

Publications (2)

Publication Number Publication Date
TW201327478A true TW201327478A (zh) 2013-07-01
TWI484444B TWI484444B (zh) 2015-05-11

Family

ID=47003222

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101135665A TWI484444B (zh) 2011-12-20 2012-09-27 用於面部特徵向量之建構之非暫時性電腦可讀媒體、電子器件、及電腦系統

Country Status (9)

Country Link
US (1) US8593452B2 (zh)
EP (1) EP2608108A1 (zh)
JP (1) JP5552519B2 (zh)
KR (1) KR101481225B1 (zh)
CN (1) CN103198292A (zh)
AU (1) AU2012227166B2 (zh)
CA (1) CA2789887C (zh)
TW (1) TWI484444B (zh)
WO (1) WO2013095727A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI576770B (zh) * 2013-07-24 2017-04-01 西斯維爾科技公司 用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
CN103489011A (zh) * 2013-09-16 2014-01-01 广东工业大学 一种具有拓扑鲁棒性的三维人脸识别方法
JP6127219B2 (ja) 2013-11-30 2017-05-10 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 顔画像のデータから顔特徴を抽出する方法、およびシステム
CN104021384B (zh) * 2014-06-30 2018-11-27 深圳中智科创机器人有限公司 一种人脸识别方法及装置
KR102349059B1 (ko) 2014-11-07 2022-01-10 삼성전자주식회사 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
KR20170000748A (ko) 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
US9830506B2 (en) * 2015-11-09 2017-11-28 The United States Of America As Represented By The Secretary Of The Army Method of apparatus for cross-modal face matching using polarimetric image data
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
EP3400706B1 (en) 2016-01-05 2022-04-13 RealD Spark, LLC Gaze correction of multi-view images
GB201602129D0 (en) * 2016-02-05 2016-03-23 Idscan Biometrics Ltd Method computer program and system for facial recognition
KR102221118B1 (ko) 2016-02-16 2021-02-26 삼성전자주식회사 영상의 특징을 추출하여 객체를 인식하는 방법
CN106326867B (zh) * 2016-08-26 2019-06-07 维沃移动通信有限公司 一种人脸识别的方法及移动终端
US10460153B2 (en) * 2016-11-15 2019-10-29 Futurewei Technologies, Inc. Automatic identity detection
EP3566193A4 (en) * 2017-01-04 2020-08-26 Aquifi, Inc. SYSTEMS AND METHODS FOR SHAPE-BASED OBJECT RECOVERY
CN107452034B (zh) * 2017-07-31 2020-06-05 Oppo广东移动通信有限公司 图像处理方法及其装置
WO2019032604A1 (en) 2017-08-08 2019-02-14 Reald Spark, Llc ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS
US10657363B2 (en) 2017-10-26 2020-05-19 Motorola Mobility Llc Method and devices for authenticating a user by image, depth, and thermal detection
US10630866B2 (en) 2018-01-28 2020-04-21 Motorola Mobility Llc Electronic devices and methods for blurring and revealing persons appearing in images
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US10757323B2 (en) 2018-04-05 2020-08-25 Motorola Mobility Llc Electronic device with image capture command source identification and corresponding methods
US11605242B2 (en) 2018-06-07 2023-03-14 Motorola Mobility Llc Methods and devices for identifying multiple persons within an environment of an electronic device
CN109117726A (zh) * 2018-07-10 2019-01-01 深圳超多维科技有限公司 一种识别认证方法、装置、系统及存储介质
US11100204B2 (en) 2018-07-19 2021-08-24 Motorola Mobility Llc Methods and devices for granting increasing operational access with increasing authentication factors
US11074432B2 (en) * 2019-08-22 2021-07-27 Nice Ltd. Systems and methods for retrieving and presenting information using augmented reality
KR102422779B1 (ko) * 2019-12-31 2022-07-21 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
US11941863B2 (en) * 2021-08-04 2024-03-26 Datalogic Ip Tech S.R.L. Imaging system and method using a multi-layer model approach to provide robust object detection
US11837019B1 (en) 2023-09-26 2023-12-05 Dauntless Labs, Llc Evaluating face recognition algorithms in view of image classification features affected by smart makeup

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
CN100342399C (zh) * 2002-10-15 2007-10-10 三星电子株式会社 提取用作面貌识别和重现的特征向量的方法和装置
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
EP1615160A3 (en) 2004-07-07 2009-10-07 Samsung Electronics Co., Ltd. Apparatus for and method of feature extraction for image recognition
SE528068C2 (sv) 2004-08-19 2006-08-22 Jan Erik Solem Med Jsolutions Igenkänning av 3D föremål
WO2008023280A2 (en) * 2006-06-12 2008-02-28 Fotonation Vision Limited Advances in extending the aam techniques from grayscale to color images
WO2008056777A1 (fr) * 2006-11-10 2008-05-15 Konica Minolta Holdings, Inc. Système d'authentification et procédé d'authentification
IE20070634A1 (en) 2007-09-05 2009-04-15 Nat Univ Ireland Maynooth Method and system for synthesis of non-primary facial expressions
EP2618290A3 (en) * 2008-04-02 2014-08-06 Google, Inc. Method and apparatus to incorporate automatic face recognition in digital image collections
JP2010191592A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
JP2011048469A (ja) * 2009-08-25 2011-03-10 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
US20110078097A1 (en) * 2009-09-25 2011-03-31 Microsoft Corporation Shared face training data
US20110080402A1 (en) 2009-10-05 2011-04-07 Karl Netzell Method of Localizing Landmark Points in Images
US8488873B2 (en) 2009-10-07 2013-07-16 Apple Inc. Method of computing global-to-local metrics for recognition
TWI425429B (zh) * 2010-05-11 2014-02-01 Univ Chung Hua 影像紋理信號的萃取方法、影像識別方法與影像識別系統

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI576770B (zh) * 2013-07-24 2017-04-01 西斯維爾科技公司 用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置
US9779320B2 (en) 2013-07-24 2017-10-03 Sisvel Technology S.R.L. Image processing apparatus and method for encoding an image descriptor based on a gradient histogram

Also Published As

Publication number Publication date
CA2789887A1 (en) 2013-06-20
KR20130071341A (ko) 2013-06-28
JP2013131209A (ja) 2013-07-04
CA2789887C (en) 2015-11-17
US8593452B2 (en) 2013-11-26
US20130155063A1 (en) 2013-06-20
CN103198292A (zh) 2013-07-10
JP5552519B2 (ja) 2014-07-16
AU2012227166B2 (en) 2014-05-22
AU2012227166A1 (en) 2013-07-04
EP2608108A1 (en) 2013-06-26
TWI484444B (zh) 2015-05-11
KR101481225B1 (ko) 2015-01-09
WO2013095727A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
TWI484444B (zh) 用於面部特徵向量之建構之非暫時性電腦可讀媒體、電子器件、及電腦系統
Kehl et al. Deep learning of local rgb-d patches for 3d object detection and 6d pose estimation
US10936911B2 (en) Logo detection
US10572072B2 (en) Depth-based touch detection
JP7040278B2 (ja) 顔認識のための画像処理装置の訓練方法及び訓練装置
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
Chen et al. Learning deep features for image emotion classification
CN106408037B (zh) 图像识别方法及装置
US11126827B2 (en) Method and system for image identification
US11816876B2 (en) Detection of moment of perception
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
KR102138809B1 (ko) 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
WO2020244151A1 (zh) 图像处理方法、装置、终端及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
WO2020001016A1 (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN111639517A (zh) 人脸图像筛选方法及装置
US20140050404A1 (en) Combining Multiple Image Detectors
Fang et al. Feature covariance matrix-based dynamic hand gesture recognition
CN110910478B (zh) Gif图生成方法、装置、电子设备及存储介质
Pang et al. Robust eye center localization through face alignment and invariant isocentric patterns
JP2005149302A (ja) 顔画像認識装置及び顔画像認識プログラム
CN117373094A (zh) 情绪类型检测方法、装置、设备、存储介质和程序产品
CN112861590A (zh) 信息处理装置和方法以及图像识别设备
KR20240000235A (ko) 실감형 컨텐츠에서의 가상 공간 음향 구현을 위한 데이터 전처리 방법, 신경망 모델 및 컴퓨터 프로그램