TWI547887B - 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式 - Google Patents
用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式 Download PDFInfo
- Publication number
- TWI547887B TWI547887B TW101123528A TW101123528A TWI547887B TW I547887 B TWI547887 B TW I547887B TW 101123528 A TW101123528 A TW 101123528A TW 101123528 A TW101123528 A TW 101123528A TW I547887 B TWI547887 B TW I547887B
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- determining
- window
- scale factor
- integral
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Description
本發明之一示範實施例大體有關於臉部追蹤,且更具體而言,有關於利用積分梯度投影來估計平移及/或一比例因子的臉部追蹤。
在各種不同的影像處理應用中,可能希望追蹤一視頻中的連續畫面之間的一目標,諸如臉部。為了追蹤臉部從一畫面到次一畫面,可能需要確定從一畫面到次一畫面的臉部平移及臉部縮放。然而,確定從一影像到次一影像的臉部平移及縮放可能是一個計算密集型過程,至少對於具有有限計算資源的那些裝置而言,以一高效及時的方式執行可能是個挑戰。
臉部追蹤可能因各種不同的原因而是計算密集型的。例如,某些臉部追蹤技術分析一完整畫面或該畫面的至少一相對較大部分,而非關注臉部區域。此外,或作為另一選擇,某些臉部追蹤技術利用多維搜尋,這進一步增加計算需求。因此,提供一種改良技術以供在諸如視頻畫面之畫面間臉部追蹤,從而在降低計算需求下提供準確結果,將是合乎需求的。
依據本發明的一示範實施例提供一種方法、裝置及電腦程式產品,以提供一種臉部追蹤改良技術。在這方面,一實施例的方法、裝置及電腦程式產品可提供一種降低相關計算需求方式的臉部追蹤同時繼續提供可靠且強健的臉部追蹤。實際上,一示範實施例的方法、裝置及電腦程式產品可提供臉部追蹤,包括以一計算高效方式利用積分投影來估計連續畫面之臉部區域之間的平移及/或一比例因子。驗證連續畫面之臉部區域之間的平移及/或一比例因子是利用積分梯度投影完成的。
在一實施例中,提供一種方法,其包括基於第一畫面中具有一預定義位置(x0,y0)及一預定大小的一臉部區域及第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二畫面之臉部區域之間的一平移。該方法還包括驗證屬於各別畫面的第一與第二臉部區域之間的平移。在這方面,驗證包括確定第一臉部區域及第二畫面中之視窗在視窗由於第一與第二臉部區域之間的平移移動之後的積分梯度投影。驗證也包括確定在由於平移移動之後視窗之積分梯度投影與臉部區域之積分梯度投影之間之距離。而且,驗證包括基於該距離與一預定義閾值之間的一關係來確定二畫面中之臉部間的平移是否被驗證。
一實施例的一種方法也可包括確定在第一畫面中第一與第二相互正交方向上之臉部區域之積分投影,及確定在第二畫面中第一與第二相互正交方向上之視窗之積分投影。在一實施例中,確定平移包括使第一及第二臉部區域
之各別積分投影曲線移位,及確定使第一及第二臉部區域之各別積分投影曲線之間產生最小距離的移位量。
確定第二畫面中之視窗在視窗由於平移移動之後的積分梯度投影可包括確定第二畫面中之視窗在第一與第二相互正交方向上的積分梯度投影。此外,確定第一畫面中之臉部區域的積分梯度投影可包括確定第一畫面中之臉部區域在第一與第二相互正交方向上的積分梯度投影。一實施例之方法也可包括在平移被驗證的情況下,基於平移來重新定義其他畫面的預定義位置。在另一實施例中,該方法可包括在平移因距離未能滿足預定義閾值而未被驗證的情況下估算第一畫面之臉部區域與第二畫面中具有相同大小之共位視窗之間的一比例因子。
在另一實施例中,提供一種裝置,該裝置包括至少一處理器及至少一包括電腦程式碼的記憶體,該記憶體被配置成,用該至少一處理器,使該裝置基於第一畫面中具有一預定義位置及一預定大小的一臉部區域及第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移。至少一包括電腦程式碼的記憶體也被配置成,用該至少一處理器,使該裝置驗證第一與第二臉部區域之間之平移。在這方面,驗證包括確定第一畫面中之臉部區域及第二畫面中之視窗在視窗由於第一與第二臉部區域之間的平移移動之後的積分梯度投影。驗證也包括確定第一畫面中之一臉部區域的積分梯度投影,及確定視窗由於平移移動之後的積分梯度投影與臉部區域之
積分梯度投影之間之距離。此外,驗證包括基於該距離與一預定義閾值之間之關係來確定臉部區域之間之平移是否被驗證。
一實施例之至少一包括電腦程式碼的記憶體還被配置成,用該至少一處理器,使該裝置確定第一畫面中之臉部區域在第一與第二相互正交方向上的積分投影,及確定第二畫面中之視窗在第一與第二相互正交方向上的積分投影。在一實施例中,確定臉部區域之間之平移包括使第一與第二畫面之各別積分投影曲線移位,及確定使第一與第二畫面之各別積分投影曲線之間產生一最小距離的移位量。
確定第二畫面中之視窗在視窗由於平移移動之後的積分投影可包括確定第二畫面中之視窗在第一與第二相互正交方向上的積分投影。此外,確定第一畫面中之臉部區域之積分投影可包括確定第一畫面中之臉部區域在第一與第二相互正交方向上的積分投影。至少一包括電腦程式碼的記憶體也可被配置成,用該至少一處理器,使該裝置在平移被驗證的情況下,基於平移來重新定義其他畫面的預定義位置。在另一實施例中,至少一包括電腦程式碼的記憶體也可被配置成,用該至少一處理器,使該裝置在平移因距離未能滿足預定義閾值而未被驗證的情況下,評估該第一畫面之臉部區域與該第二畫面之視窗之間的一比例因子。
在又一實施例中,提供一種包括至少一儲存有電腦可讀程式指令的非暫態電腦可讀儲存媒體的電腦程式產品,該等電腦可讀程式指令包括被配置用以基於該第一畫面中
具有一預定義位置及一預定大小的一臉部區域及該第二畫面中的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移的程式指令。該等電腦可讀程式指令還包括被配置用以驗證該各別畫面之第一與第二臉部區域之間之平移的程式指令。在這方面,驗證包括確定該第二畫面中之視窗在視窗由於該第一與第二臉部區域之間平移移動之後的積分梯度投影。驗證也包括確定該第一畫面中的一臉部區域的積分梯度投影,及確定在由於平移移動之後的視窗積分梯度投影與該臉部區域之積分梯度投影之間的一距離。而且,驗證包括基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
在又一實施例中,提供一種裝置,其包括用以基於該第一畫面中具有一預定義位置及一預定大小的一臉部區域及該第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移之裝置。該裝置也包括用以驗證各別畫面中之該第一與第二臉部區域之間之平移的裝置。在這方面,驗證包括確定該第二畫面中之視窗在視窗由於該第一與第二臉部區域之間平移移動之後的積分梯度投影。驗證也包括確定該第一畫面中的一臉部區域的積分梯度投影,及確定該視窗在視窗由於平移移動之後之積分梯度投影與該臉部區域之積分梯度投影之間的一距離。而且,驗證包括基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
在又一實施例中,提供一種電腦程式,在執行時,其
被配置用以基於第一畫面中具有一預定義位置及一預定大小的臉部區域及第二畫面中具有相同大小的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移。該電腦程式在執行時也被配置用以驗證各別畫面中之該第一與第二臉部區域之間的平移。在這方面,驗證包括確定該第二畫面中之視窗在由於該第一與第二臉部區域之間平移移動之後的積分梯度投影。驗證也包括確定該第一畫面中的一臉部區域的積分梯度投影,及確定由於平移移動之後的該視窗之積分梯度投影與該臉部區域之積分梯度投影之間的一距離。而且,驗證包括基於該距離與一預定義閾值之間的一關係來確定平移是否被驗證。
在一實施例中,提供一種方法,該方法包括確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數。此實施例之方法也基於該轉移函數,使用第一臉部區域及第二臉部區域之積分投影來確定一比例因子。為了計算不同尺度的二臉部區域之間之距離,最初藉由將轉移函數應用於第一畫面之臉部區域的積分投影之座標以補償尺度差。該方法亦可確定使用轉移函數被轉移的第一畫面中之臉部區域之積分投影與第二畫面中之視窗之積分投影之間之距離,且可基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
確定轉移函數可包括確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線。確定比例因子可包
括基於在第一與第二相互正交方向上之比例因子來確定該比例因子。一實施例之方法亦可包括在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下,使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。除此之外,一實施例之方法也可包括在該比例因子被驗證的情況下,基於該比例因子來重新定義其他畫面的預定大小。
在另一實施例中,提供一種裝置,其包括至少一處理器及至少一包括電腦程式碼的記憶體,該記憶體被配置成,用該至少一處理器,使該裝置確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部區域與第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數。該至少一包括電腦程式碼的記憶體在此實施例中也可被配置成,用該至少一處理器,使該裝置基於該轉移函數及第一及第二畫面中之視窗的積分投影來確定一比例因子。該至少一包括電腦程式碼的記憶體也可被配置成,用該至少一處理器,使該裝置確定該第一畫面中的臉部區域之積分投影與該第二畫面中具有一基於該比例因子之大小的視窗之間的距離,及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
確定轉移函數可包括確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線。在一特定比例因子下二臉部投影曲線之間的點對點距離首先藉由在尺度上補償第一畫面之臉部區域的積分投影曲線被計算,並用此一距離來計算與第二畫面的臉部區域之積分投影曲線的點對
點距離。確定比例因子可包括基於在第一與第二相互正交方向上之比例因子來確定該比例因子。在一實施例中,該至少一包括電腦程式碼的記憶體也可被配置成,用該至少一處理器,使該裝置在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下,使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。除此之外,該至少一包括電腦程式碼的記憶體也可被配置成,用該至少一處理器,使該裝置在該比例因子被驗證的情況下,基於該比例因子來重新定義其他畫面的預定大小。
在又一實施例中,提供一種電腦程式產品,其包括至少一儲存有電腦可讀程式指令的非暫態電腦可讀儲存媒體,該等電腦可讀程式指令包括被配置用以確定一關聯該第一畫面中具有一預定義位置及一預定大小的一臉部區域與該第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數的程式指令。該等電腦可讀程式指令也包括被配置用以基於轉移函數且使用第一畫面中之臉部區域及第二畫面中之視窗的積分投影來確定一比例因子的程式指令。該等電腦可讀程式指令也可包括被配置用以確定第一畫面中之臉部區域之積分投影與第二畫面中之具有一基於比例因子之大小的視窗之積分投影之間之距離的程式指令,及被配置用以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證的程式指令。
在又一實施例中,提供一種裝置,其包括用以確定一關聯第一畫面中具有一預定義位置及一預定大小的一臉部
區域與第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數的裝置。此實施例之裝置也包括用以基於該轉移函數,使用第一畫面中之臉部區域及第二畫面中具有一基於比例因子之大小之視窗之積分投影來確定一比例因子的裝置。該裝置也可包括用以確定該第一畫面中的臉部區域之積分投影與該第二畫面中具有一基於該比例因子之大小的視窗之間的一距離的裝置,及用以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證之裝置。
在又一實施例中,提供一種電腦程式,在執行時,被配置用以確定一關聯該第一畫面中具有一預定義位置及一預定大小的一臉部區域與該第二畫面中具有相同大小的一共位視窗之積分投影曲線的轉移函數。該電腦程式在執行時也被配置用以基於該轉移函數並使用第一畫面中之臉部區域及第二畫面中之視窗之積分投影來確定一比例因子。該電腦程式進一步被配置用以確定該第一畫面中的臉部區域之積分投影與該第二畫面中具有一基於該比例因子之大小的視窗之間的一距離,及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
至此已對本發明之某些示範實施例做成一般性描述,現在將參照附圖,這些附圖不一定依比例繪製,且其中:第1圖是依據本發明之一示範實施例,用以執行臉部追蹤,包括估計平移及/或一比例因子的一裝置的一方塊圖;
第2圖是繪示依據本發明之一示範實施例,一種用以確定第一與第二畫面之間的一平移的方法的一流程圖;第3圖是繪示依據本發明之另一示範實施例,為了確定第一與第二畫面之間之平移所執行之操作的一流程圖;第4圖是繪示依據本發明之一示範實施例,為了確定第一與第二畫面之間之比例因子所執行之操作的一流程圖;以及第5圖是依據本發明之一示範實施例,可輔助確定第一與第二畫面之間的一比例因子的一轉移函數的一圖形表示。
本發明之某些示範實施例現在將參照附圖在下文中更加完整地描述,附圖中所示為本發明的一些實施例、而非全部實施例。實際上,本發明可以體現為許多不同的形式且不應被理解為受限於本文所提出的該等實施例;更確切地說,此等實施例被提供以使得此揭露將滿足適用的法律規定。相同的參考數字始終指相同的元件。
依本文所用,用詞「資料」、「內容」、「資訊」及類似用詞可被交換使用以指稱依據各種不同的示範實施例能夠被傳輸、接收、顯示及/或儲存的資料。因此,任何此類用詞的使用不應被視為限制本揭露之精神及範圍。
本文所使用之「電腦可讀媒體」指任一被配置用以參與提供資訊給一處理器,包括執行指令的媒體。此種媒體可採許多形式,包括,但並不限於,非暫態電腦可讀儲存
媒體(例如,非依電性媒體、依電性媒體),及傳輸媒體。傳輸媒體包括,例如同軸電纜、銅線、光纖電纜,及行進通過空間而不需導線或電纜的載波,諸如聲波及包括無線電波、光波及紅外線波的電磁波。非暫態電腦可讀媒體之範例包括一軟碟、硬碟、磁帶、任何其他非暫態磁性媒體、一唯讀光碟記憶體(CD-ROM)、可抹寫光碟(CD-RW)、多樣化數位光碟(DVD)、藍光、任何其他非暫態光學媒體、一隨機存取記憶體(RAM)、一可程式化唯讀記憶體(PROM)、一可抹除可程式化唯讀記憶體(EPROM)、一FLASH-EPROM、任何其他記憶體晶片或匣,或一電腦可讀取的任何其他非暫態媒體。「電腦可讀儲存媒體」一詞在本文中用來指除了傳輸媒體以外的任何電腦可讀媒體。然而,將了解的是,在實施例被描述為使用一電腦可讀儲存媒體的情況下,其他類型的電腦可讀媒體在替代實施例中可用來取代或與電腦可讀儲存媒體一起使用。
此外,依本文所用,「電路」一詞指(a)硬體電路實施(例如,類比電路及/或數位電路實施);(b)電路與(諸)電腦程式產品的組合,該(等)電腦程式產品包含被儲存在一或多個電腦可讀記憶體上合作以使一裝置執行本文所述之一或多個功能的軟體及/或韌體指令;及(c)電路,諸如,舉例而言,(諸)微處理器或(諸)微處理器的一部分,即使軟體或韌體實際不存在也需要軟體或韌體以供運作。此「電路」的定義適用於此用詞在本文中,包括在任一請求項中的所有使用。作為另一範例,本文中所用的「電路」一詞也包括一
種包含一或多個處理器及/或其(諸)部分以及附隨軟體及/或韌體的實施。作為另一範例,本文中所用之「電路」一詞也包括,例如一行動電話的基頻積體電路或應用處理器積體電路,或一伺服器、一蜂巢式網路裝置、其他網路裝置及/或其他計算裝置中的一相似的積體電路。
依據本發明之一示範實施例的一種用以執行臉部追蹤的裝置10被繪示在第1圖中。該裝置可在各種不同的計算裝置中實施,諸如,行動終端機,例如,行動電話、移動電腦、個人數位助理(PDA)、呼叫器、膝上型電腦、桌上型電腦、遊戲機、電視機及其他類型的行動電子系統,或各種不同的固定計算裝置,諸如,工作站、個人電腦等。也應指出的是,雖然第1圖繪示用以執行臉部追蹤的一裝置的一配置的一範例,許多其他配置也可用以實施本發明之實施例。因此,在某些實施例中,儘管裝置或元件被繪示為彼此通訊,在下文中,此類裝置或元件應被視為能夠被實施在同一裝置或元件內,且因此,被繪示為通訊的裝置或元件應被理解為也可以是同一裝置或元件的一部分。
現在參照第1圖,用以執行臉部追蹤的裝置10被提供,且可包括一處理器12、一記憶體裝置14、一通訊介面16及一使用者介面18或與它們通訊。在某些實施例中,處理器(及/或共處理器,或輔助處理器或與處理器以其他方式相關聯的任何其他處理電路)可經由一匯流排與記憶體裝置通訊以在裝置之元件之間傳送資訊。記憶體裝置可包括,例如,一或多個依電性及/或非依電性記憶體。換言之,例如,
記憶體裝置可以是一包含閘的電子儲存裝置(例如,一電腦可讀儲存媒體),被配置成儲存可由一機器(例如,一計算裝置,例如,處理器)擷取的資料(例如,位元)。記憶體裝置可被配置成儲存用以使裝置能夠實施依據本發明之一示範實施例的各種不同功能的資訊、資料、應用、指令等。例如,記憶體裝置可被配置成緩衝供處理器處理之輸入資料。此外或作為另一選擇,記憶體裝置可被配置成儲存供處理器執行之指令。
在某些實施例中,裝置10可以是一行動終端機或被配置成利用本發明之一示範實施例的其他計算裝置。然而,在某些實施例中,該裝置可被實施為一晶片或晶片組。換言之,該裝置可由包括在一結構組合件(例如,基板)上的材料、組件及/或導線的一或多個物理套件(例如,晶片)組成。該結構組合件可對其上所包含之組件電路提供物理強度、尺寸守恆性,及/或電學交互作用之限制。因此,在某些情況下,該裝置可被配置成在一單晶片上實施本發明之一實施例、或將本發明之一實施例實施為一單一的「系統單晶片」。因此,在某些情況下,一晶片或晶片組可構成用以執行一或多個操作以提供本文所述功能之裝置。
處理器12可以以許多不同的方式來實施。例如,處理器可被實施為各種硬體處理裝置中的一或多者,諸如共處理器、微處理器、控制器、數位信號處理器(DSP)、具有或不具有附隨DSP的處理元件,或各種其他處理電路,包括積體電路,諸如,舉例而言,ASIC(特定應用積體電路)、
FPGA(現場可程式閘陣列)、微控制器單元(MCU)、硬體加速器、特殊用途電腦晶片等。因此,在某些實施例中,處理器可包括被配置成獨立執行的一或多個處理核心。一多核心處理器使在一單一物理套件內能夠多處理。附加地或可替代地,處理器可包括一或多個處理器,被配置成經由匯流排串聯以使指令、管線及/或多線的獨立執行成為可能。
在一示範實施例中,處理器12可被配置成執行儲存在記憶體裝置14中或可由處理器存取之指令。可替代地或附加地,處理器可被配置成執行硬編碼功能。因此,不論是由硬體或軟體方法或由其組合來配置,處理器可代表能夠在被相應配置時執行依據本發明之一實施例之操作的一實體(例如,實體地實施成電路)。因此,例如,當處理器被實施為一ASIC、FPGA等時,處理器可以是特別配置用以實施本文所述操作的硬體。可替代地,作為另一範例,當處理器被實施為一軟體指令之執行程式時,該等指令在被執行時可特別配置處理器102以執行本文所述之演算法及/或操作。然而,在某些情況下,處理器可以是一特定裝置(例如,一行動終端機或其他計算裝置)之一處理器,其適於藉由進一步以執行本文所述之演算法及/或操作之指令來配置處理器而利用本發明之一實施例。除其他之外,處理器可包括被配置成支援處理器之操作的一時脈、一算術邏輯單元(ALU)及邏輯閘。
同時,通訊介面16可以是任何手段,諸如被實施成硬體,或硬體與軟體之一組合的裝置或電路,該裝置或電路
被配置成自一網路及/或與裝置10通訊之任何其他裝置或模組接收及/或向其發送資料。在這方面,通訊介面例如可包括,一天線(或多天線)及使與一無線通訊網路的通訊得以實現的支援硬體及/或軟體。附加地或可替代地,通訊介面可包括用以與(複數)天線互動以使信號經由(複數)天線發送或處理接受經由(複數)天線接收之信號的電路。在某些環境中,通訊介面可以選擇地或同時也支援有線通訊。因此,例如,通訊介面可包括一通訊數據機及/或其他用以支援經由電纜、數位用戶線(DSL)、通用串列匯流排(USB),或其他機構通訊的硬體/軟體。
使用者介面18可與處理器12通訊以接收一使用者在使用者介面輸入的一指示及/或使一可聽的、可視的、機械的或其他輸出提供給使用者。因此,使用者介面18可包括,例如一鍵盤、一滑鼠、一搖桿、一顯示器、(複數)觸摸螢幕、觸摸區域、軟鍵、一麥克風、一揚聲器,或其他輸入/輸出機構。可替代地或附加地,處理器可包含使用者介面電路,其被配置成控制使用者介面之一或多個元件,諸如,舉例而言,揚聲器、振鈴器、麥克風、顯示器等的至少某些功能。處理器及/或包含處理器的使用者介面電路可被配置成透過儲存在一可由處理器存取的記憶體(例如,記憶體裝置14等)上的電腦程式指令(例如,軟體及/或韌體)來控制使用者介面之一或多個元件之一或多個功能。
如第2圖中所示者,圖中繪示一種確定臉部被追蹤的二畫面之間之平移(如果有的話)的方法。在確定連續畫面中之
臉部區域之間的平移之前,一臉部在第一畫面中被檢測出。臉部可藉由任一種一般目標檢測方法,諸如Viola-Jones方法在第一畫面中被檢測出。一旦一臉部在第一畫面中被檢測出,臉部的位置,諸如表示為(x0,y0)的臉部中心,及表示為MxM的臉部的大小就被確定。之後,第一畫面與隨後的第二畫面之間的臉部區域的平移可被確定。在這方面,裝置10可包括用以基於第一畫面中具有一預定義位置(x0,y0)及一預定大小MxM的臉部區域及第二畫面中在預定義位置(x0,y0)附近具有預定大小MxM的一視窗之各別積分投影來確定第一與第二畫面之間之平移的裝置,諸如處理器12等。參見第2圖之操作20。
關於確定第一與第二畫面之間平移的其他細節由第3圖之流程圖來提供,使得現在要參照第3圖,且特別是,第3圖之操作30。在這方面,裝置10可包括用以確定在第一與第二相互正交的方向,諸如x及y方向上第一畫面中的臉部區域之積分投影的裝置,諸如處理器12等。例如,在第一畫面I(x,y)中大小為MxM的臉部區域的水平及垂直積分投影曲線h(y)及v(x)可確定如下:h(y)=|I(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部,y {-M/2,M/2}
v(x)=|I(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部,x {-M/2,M/2}
如第3圖之操作32中所示,裝置10也可包括用以確定第二畫面中的對應視窗在第一與第二相互正交的方向,諸如x
及y方向上的積分投影曲線的裝置,諸如處理器12等。第二畫面中的視窗之積分投影曲線可以以各種不同的方式來確定,包括下列:h'(y)=|I'(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部,y {-M/2,M/2}
v'(x)=|I'(x-x0,y-y0)|其中對於中心在[x0,y0]之臉部,x {-M/2,M/2}其中h’( )表示第二畫面I’(x,y)中的水平積分投影曲線,且v’( )表示第二畫面I’(x,y)中的垂直積分投影曲線。
基於這些積分投影,第一畫面I(x,y)與第二畫面I’(x,y)之間的臉部區域之平移可被確定。如第3圖之操作34中所示,裝置10可包括用以使第一及第二畫面之積分投影曲線移位的裝置,諸如處理器12等。此實施例之裝置10也可包括用以如第3圖之操作36中所示,確定在第一與第二畫面之各別積分投影曲線之間產生一最小距離的移位量的裝置,諸如處理器12等。舉例而言,x方向上的平移可藉由使第一及第二畫面的垂直積分投影曲線移位,例如上述之v(x)及v’(x),及確定造成二垂直積分投影曲線之間最小距離dx的移位量而獲得。在一實施例中,例如,第一及第二畫面的垂直積分投影曲線之間的最小距離dx可確定如下:
同樣地,y方向上的移動可藉由使第一及第二畫面的水平積分投影曲線移位,例如上述h(y)及h’(y),及確定造成二水平積分投影曲線之間最小距離dy的移位量而獲得。在一
實施例中,例如,第一及第二畫面的水平積分投影曲線之間的最小距離dy可確定如下:
一旦平移已被確定,一示範實施例之方法及裝置10就可驗證第一與第二畫面之間的平移。如第2圖之操作22及第3圖之操作38中所示,裝置10可包括用以確定第二畫面中的視窗在藉由第一與第二畫面之間被確定的平移移動之後的積分梯度投影的裝置,諸如,處理器12等。依據上述範例,第二畫面I’(x,y)中的視窗可藉由被確定為(dx,dy)的平移來移動。在第二畫面I’(x,y)中的視窗移動之後,第二畫面中之視窗在x及y方向上的積分梯度投影可被確定如下,h”(x)表示垂直梯度之水平投影且v”(y)表示水平梯度之垂直投影:h"(x)=|I'(x+dx-x0,y+dy-y0)-I(x+dx-x0,y+dy+1-y0)|其中x {-M/2,M/2}
v"(y)=|I'(x+dx-x0,y+dy-y0)-I(x+dx+1-x0,y+dy-y0)|其中y {-M/2,M/2}
如第2圖之操作24及第3圖之操作40中所示,裝置10也可包括用以確定第一畫面中的一臉部區域的積分梯度投影的裝置,諸如處理器12等。例如,第一畫面I(x,y)中的垂直梯度之水平投影hg(x)及水平梯度之垂直投影vg(y)可確定如下:h g (x)=|I(x-x0,y-y0)-I(x-x0,y+1-y0)|其中對於中心在[x0,y0]之臉部,x {-M/2,M/2}
V g (y)=|I(x-x0,y-y0)-I(x+1-x0,y-y0)|其中對於中心在[x0,y0]之臉部,y {-M/2,M/2}
藉由利用積分梯度投影來執行對平移的驗證,本發明之示範實施例之方法及裝置10可避免不利的照明影響,以更準確地估計平移。
如第2圖之操作26及第3圖之操作42中所示,裝置10也可包括用以確定視窗在由於平移移動之後的積分梯度投影與臉部區域之積分梯度投影之間的距離的裝置,諸如,處理器12等。在這方面,第一及第二畫面之水平積分梯度投影曲線之間與第一及第二畫面之垂直積分梯度投影曲線之間在x及y方向上的距離fdx,fdy可被確定如下:
裝置10也可包括用以確定平移是否基於積分梯度投影之間的距離與一預定義閾值thr1間的關係而被驗證的裝置,諸如,處理器12等,如第2圖之操作28及第3圖之操作44中所示者。在一範例中,在距離小於預定義閾值,例如fdx<thr1且fdy<tthr1的情況下,裝置,諸如處理器,可驗證第一與第二畫面之間的臉部之平移。雖然同一預定義閾值thr1與x方向上的積分梯度投影之間之距離及y方向上的積分梯度投影之間之距離一起利用,但是在其他實施例中,不同的預定義閾值可被利用在x及y方向上。在第一與第二畫面之間的臉部之平移被驗證的情況下,裝置可包括用以基於平移來重新界定其他畫面,諸如後續畫面之預定義位置的裝置,諸如,處理器12等。參見第3圖之操作46。換言之,作為臉部區域中心的臉部區域之預定義位置可基
於如上所述般確認的平移來更新。然而,若裝置,諸如處理器,無法驗證平移,諸如積分梯度投影之間的距離未能滿足預定義閾值的情況,例如fdx>thr1或fdy>thr1,則一實施例之方法、裝置及電腦程式產品可估算第一畫面之臉部區域與第二畫面之視窗之間的一比例因子,以確定其間可能的縮放比例,如第3圖之操作48中所示及結合第4圖在下文中所述。
上文中連同例如第2及3圖一起描述的本發明示範實施例之方法、裝置及電腦程式產品可藉由僅確定第一畫面中的臉部區域及第二畫面中的對應視窗,而非更大部分或實際上整個畫面的積分梯度投影,以及利用一維搜尋以估計平移提供了計算效率提高的一顯著計算優勢。
在平移並未被驗證的情況下,諸如積分梯度投影之間之距離未能滿足一預定義閾值的情況下,一示範實施例之方法、裝置及電腦程式產品可在比例縮放存在之下分析第一畫面之臉部區域與第二畫面之對應視窗之間的積分投影曲線。雖然縮放比例可能由於各種不同的原因被引入,但是比例縮放一般可能會在臉部或影像擷取裝置例如照相機的彼此相對移動,諸如相對於另一者更靠近或更遠的情況下發生。
依據此實施例,裝置10可包括用以確定關聯第一畫面之臉部區域與第二畫面中的對應視窗之積分梯度投影曲線的一轉移函數的裝置,諸如處理器12等。參見第4圖之操作50。舉例而言,現在參照第5圖,其中h1(x)及h2(2)分別是第
一畫面之臉部區域及第二畫面之對應視窗的水平積分投影曲線。為了確定轉移函數,一示範實施例之裝置10可包括用以確定提供積分投影曲線之間的一最小點對點距離的一轉移函數線的裝置,諸如處理器12等。關於第5圖之實施例,例如,轉移函數線可被定義為i=m*j+c。在這方面,j是h2(x)的標記,且i是h1(x)的標記。此外,此示範實施例之積分投影曲線之間的距離被定義成二曲線之間之絕對差的總和。
在二曲線之間的複數可能映射中,一示範實施例的搜尋可被約束為搜尋界定在0.75與1.25之間的斜率m,因為在二畫面內,臉部區域的縮放比例變化一般將不會變化超過1.25倍。在此示範實施例中,水平積分投影曲線之間的轉移函數線的斜率可確定如下:m x =argmin m {|h2(j)-h1(m*j+c k )|}其中m (0.75,01.25)
在這方面,ck可藉由假定積分轉移函數線與延伸穿過原點且在第5圖中被繪示為在(k*M/4,k*M/4)的一虛線的一對角線相交而被確定,M為線的長度且k為[0,3]的一元素。雖然上文結合確定水平積分投影曲線之間的轉移函數線之斜率mx來描述,但是裝置10也可包括用以確定關聯第一畫面之臉部區域與第二畫面之對應視窗之垂直積分投影曲線的轉移函數線之斜率my的裝置,諸如處理器12等。
由轉移函數,諸如轉移函數線來確定積分投影曲線之間的最佳映射也可在圖形上呈現成將一樞軸固定在由第5圖中的虛線所示的對角線上的某一點上,且接著將轉移函
數線旋轉到對應於不同斜率m的不同角度θ,最佳映射由提供依對於mx及my的前述方程式所定義的最小距離的轉移函數線來定義。在此分析中,應指出的是,樞軸可能被固定在四個不同的位置,亦即在(k*M/4,k*M/4),k為一元素[0,3]。
一示範實施例之裝置10也可包括用以基於x及y方向上的比例因子來確定比例因子的裝置,諸如處理器12等。參見第4圖之操作52。在這方面,比例因子mf可被確定成是mx與my的平均值,亦即,mf=(mx+my)/2。基於比例因子,第二畫面中的視窗的大小可基於該比例因子來修改,諸如基於比例因數而尺寸增大或縮小。如第4圖之操作54中所示,裝置10也可包括用以在確定第二畫面中之視窗在基於比例因子重新調整視窗大小之後的積分梯度投影曲線的裝置,諸如處理器12等。在這方面,水平及垂直積分梯度投影曲線h”(x)及v”(y)可如上文所述來確定,但是具有一重新調整大小或按比例調整的視窗。一示範實施例之裝置10也可包括用以將水平及垂直積分梯度投影曲線h”(x)及v”(y)之長度重新定義成相同於第一畫面之投影長度,即M,的裝置,諸如處理器12等。
一實施例之裝置10也可包括用以確定第一畫面中的臉部區域與第二畫面中的重新調整大小的視窗之積分梯度投影曲線之間之距離的裝置,諸如處理器12等,諸如以上文結合fdx及fdy的方程式所述的方式。參見第4圖之操作56。之後,裝置10可包括用以確定比例因子是否基於積分梯度
投影之間之距離與一預定義閾值之間之關係被驗證的裝置,諸如處理器12等。參見操作58。例如,比例因子可藉由比較距離fdx及fdy與在上文結合第2圖之操作28及第3圖之操作44所述的一預定義閾值thr1而被驗證。雖然依上文所述同一閾值被利用,但可利用不同的閾值,實際上,在一實施例中,一不同的閾值可用於x及y方向。在比例因子被驗證的情況下,裝置10可包括用以基於比例因子來重新定義其他畫面,諸如後續畫面的臉部區域及對應視窗之預定大小的裝置,諸如處理器12等。參見第4圖之操作60。或者,在比例因子未能滿足預定義閾值的一或多個距離而未被驗證的情況下,一示範實施例之方法、裝置及電腦程式產品可利用一基於圖形辨識之臉部分類器來執行一臉部搜尋,如第4圖之操作62中所示。
在平移或比例因子都未被驗證的情況下,可能在第一與第二畫面之間引起變化及大量模糊。因此,裝置10可包括用以使用一基於圖形辨識的臉部分類器來執行一約束臉部搜尋的裝置,諸如處理器12等。此臉部搜尋可對預定數目的臉部大小,諸如x、1.25x及0.75x執行,x是先前找到的臉部之臉部大小。對於每一個臉部大小,裝置,諸如處理器,可在臉部先前所位於之前一畫面中位置附近的一關注區域中執行臉部搜尋。藉由使用一基於圖形辨識之臉部分類器對預定數目的臉部大小執行一臉部搜尋,萬一在某些情況下引起變化及大量模糊,一臉部仍可在第一及第二畫面中被找到。
使用積分梯度投影可能有利於以一可靠方式識別平移及/或縮放,尤其是針對經常發生平移及縮放或比例縮放的視頻。藉由以在一有意義百分比的實例中被成功驗證的方式來確定平移及/或比例調整,臉部追蹤可能在大量實例中成功,從而增加臉部追蹤程序的效率。
如上文所述,第2-4圖是依據本發明之示範實施例的一方法及程式產品的流程圖。將理解的是,流程圖的每一方塊及流程圖中的方塊組合可藉由各種裝置來實施,諸如硬體、韌體、處理器、電路及/或其他連帶執行包括一或多個電腦程式指令之軟體的裝置。例如,上述一或多個步驟可藉由電腦程式指令來實施。在這方面,實施上述步驟的電腦程式指令可由一裝置10之一記憶體裝置14儲存並由裝置10之一處理器12執行。將瞭解的是,任何此種電腦程式指令可被載入到一電腦或其他可程式裝置(例如,硬體)上以產生一機器,使得在電腦或其他可程式裝置上執行的指令產生用以實施流程圖方塊中所指定之功能之手段。這些電腦程式指令也可被儲存在一非暫態電腦可讀記憶體中而指揮一電腦或其他可程式裝置以一特定方式作用,使得儲存在電腦可讀記憶體中之指令產生實施流程圖方塊中所指定功能的一製品。該等電腦程式指令也可被載入到一電腦或其他可程式裝置上以使一系列操作在電腦或其他可程式裝置上被執行而產生一電腦實施程序,使得在電腦或其他可程式裝置上執行的指令實施流程圖方塊中所指定的功能。
因此,第2-4圖之流程圖方塊支援用以執行指定功能之
手段之組合,及用以執行指定功能之操作之組合。也將理解的是,一或多個流程圖方塊,及流程圖方塊之組合,可由特殊用途以硬體為基礎的執行指定功能的電腦系統或特殊用途硬體與電腦指令之組合來實施。
在受益於上述說明與相關附圖中所提出之教示下,熟習此等發明相關之技藝的人士將會想到本文中所闡述之發明的許多修改及其他實施例。因此,將理解的是,本發明並不限於所揭露之特定實施例,且修改及其他實施例意欲包括在後附申請專利範圍之範圍內。此外,雖然前述說明及相關圖式在元件及/或功能之某些示範組合的情況下描述某些示範實施例,應瞭解的是元件及/或功能之不同組合在不背離後附申請專利範圍之範圍下可由其他可行的實施例提供。在這方面,例如,上文明確描述以外的不同元件及/或功能之組合也被設想到而可能被陳述在某些後附申請專利範圍中。儘管本文使用了特定用詞,但僅作為一般性及描述性的意義來使用且不作為限制的目的。
10‧‧‧裝置
12‧‧‧處理器
14‧‧‧記憶體裝置
16‧‧‧通訊介面
18‧‧‧使用者介面
20~28,30~48,50~62‧‧‧操作
第1圖是依據本發明之一示範實施例,用以執行臉部追蹤,包括估計平移及/或一比例因子的一裝置的一方塊圖;第2圖是繪示依據本發明之一示範實施例,一種用以確定第一與第二畫面之間的一平移的方法的一流程圖;第3圖是繪示依據本發明之另一示範實施例,為了確定第一與第二畫面之間之平移所執行之操作的一流程圖;第4圖是繪示依據本發明之一示範實施例,為了確定第
一與第二畫面之間之比例因子所執行之操作的一流程圖;以及第5圖是依據本發明之一示範實施例,可輔助確定第一與第二畫面之間的一比例因子的一轉移函數的一圖形表示。
20~28‧‧‧操作
Claims (38)
- 一種方法,其包含以下步驟:確定與一第一畫面中具有一預定義位置及一預定大小的一臉部區域以及一第二畫面中的一共位視窗之複數個積分投影曲線相關聯的一轉移函數;基於該轉移函數來確定一比例因子;確定該第二畫面中之視窗的積分梯度投影,該視窗具有一基於該比例因子的大小並用於驗證該比例因子;確定該第一畫面中的該臉部區域與該第二畫面中具有一基於該比例因子之大小的該視窗之該等積分梯度投影之間的一距離;及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
- 如申請專利範圍第1項所述之方法,其中確定該轉移函數包含確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線。
- 如申請專利範圍第1或2項中任一項所述之方法,其中確定該比例因子包含基於在第一與第二相互正交方向上之多個比例因子來確定該比例因子。
- 如申請專利範圍第1項所述之方法,其進一步包含在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下,使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。
- 如申請專利範圍第1項所述之方法,其進一步包含在該 比例因子被驗證的情況下,基於該比例因子來重新定義其他畫面的預定大小。
- 一種裝置,其包含:至少一處理器;及至少一包括電腦程式碼的記憶體,被配置成,用該至少一處理器,使該裝置執行至少以下步驟:確定與一第一畫面中具有一預定義位置及一預定大小的一臉部區域以及一第二畫面中的一共位視窗之複數個積分投影曲線相關聯的一轉移函數;基於該轉移函數來確定一比例因子;確定該第二畫面中之視窗的積分梯度投影,該視窗具有一基於該比例因子的大小並用於驗證該比例因子;確定該第一畫面中的該臉部區域與該第二畫面中具有一基於該比例因子之大小的該視窗之該等積分梯度投影之間的一距離;及基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證。
- 如申請專利範圍第6項所述之裝置,其中該至少一包括電腦程式碼的記憶體被配置成,用該至少一處理器,使該裝置藉由確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線來確定該轉移函數。
- 如申請專利範圍第6或7項中任一項所述之裝置,其中該 至少一包括電腦程式碼的記憶體被配置成,用該至少一處理器,使該裝置藉由以下來確定該比例因子:基於在第一與第二相互正交方向上的多個比例因子,來確定該比例因子。
- 如申請專利範圍第6項所述之裝置,其中該至少一包括電腦程式碼的記憶體被進一步配置成,用該至少一處理器,使該裝置在該比例因子因該距離未滿足該預定義閾值而未被驗證的情況下,使用一基於圖形辨識之臉部分類器來執行一臉部搜尋。
- 如申請專利範圍第6項所述之裝置,其中該至少一包括電腦程式碼的記憶體被進一步配置成,用該至少一處理器,使該裝置在該比例因子被驗證的情況下,基於該比例因子來重新定義其他畫面的預定大小。
- 一種包含電腦可讀程式碼部分的電腦程式,其包含:被配置以確定與一第一畫面中具有一預定義位置及一預定大小的一臉部區域以及一第二畫面中的一共位視窗之複數個積分投影曲線相關聯的一轉移函數的程式碼指令;被配置以基於該轉移函數來確定一比例因子的程式碼指令;被配置以確定該第二畫面中之視窗的積分梯度投影的程式碼指令,該視窗具有一基於該比例因子的大小並用於驗證該比例因子;被配置以確定該第一畫面中的該臉部區域與該第 二畫面中具有一基於該比例因子之大小的該視窗之該等積分梯度投影之間的一距離的程式碼指令;及被配置以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證的程式碼指令。
- 如申請專利範圍第11項所述之電腦程式,其中被配置以確定該轉移函數的該等程式碼指令包含被配置以確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線的程式碼指令。
- 如申請專利範圍第11或12項中任一項所述之電腦程式,其中被配置以確定該比例因子的該等程式碼指令包含被配置以基於在第一與第二相互正交方向上之多個比例因子來確定該比例因子的程式碼指令。
- 如申請專利範圍第11項所述之電腦程式,其中該等電腦可讀程式碼部分進一步包含被配置以在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下,使用一基於圖形辨識之臉部分類器來執行一臉部搜尋的程式碼指令。
- 如申請專利範圍第11項所述之電腦程式,其中該等電腦可讀程式碼部分進一步包含被配置以在該比例因子被驗證的情況下,基於該比例因子來重新定義其他畫面之預定大小的程式碼指令。
- 一種裝置,其包含:用以確定與一第一畫面中具有一預定義位置及一預定大小的一臉部區域以及一第二畫面中的一共位視 窗之複數個積分投影曲線相關聯的一轉移函數之構件;用以基於該轉移函數來確定一比例因子之構件;用以確定該第二畫面中之視窗的積分梯度投影之構件,該視窗具有一基於該比例因子的大小並用於驗證該比例因子;用以確定該第一畫面中的該臉部區域與該第二畫面中具有一基於該比例因子之大小的該視窗之該等積分梯度投影之間的一距離之構件;及用以基於該距離與一預定義閾值之間的一關係來確定該比例因子是否被驗證之構件。
- 如申請專利範圍第16項所述之裝置,其中用以確定該轉移函數之構件包含用以確定提供該等積分投影曲線之間的一最小點對點距離的一轉移函數線之構件。
- 如申請專利範圍第16或17項中任一項所述之裝置,其中用以確定該比例因子之構件包含用以基於在第一與第二相互正交方向上之多個比例因子來確定該比例因子之構件。
- 如申請專利範圍第16項所述之裝置,其進一步包含用以在該比例因子因該距離未能滿足該預定義閾值而未被驗證的情況下,使用一基於圖形辨識之臉部分類器來執行一臉部搜尋之構件。
- 如申請專利範圍第16項所述之裝置,其進一步包含用以在該比例因子被驗證的情況下,基於該比例因子來重新定義其他畫面的預定大小之構件。
- 一種方法,其包含以下步驟:基於一第一畫面中具有一預定義位置及一預定大小的一臉部區域以及一第二畫面中的一共位視窗之各別積分投影,來確定第一與第二臉部區域之間的一平移;及驗證該第一與第二畫面間之該平移,其中驗證包含:對藉由該第一與第二畫面間平移而視窗移動後的該第二畫面中之該視窗,確定積分梯度投影;確定該第一畫面中的一臉部區域的積分梯度投影;確定藉由該平移的移動後的該視窗與該臉部區域之該等積分梯度投影之間的一距離;及基於該距離與一預定義閾值之間的一關係來確定該平移是否被驗證。
- 如申請專利範圍第21項所述之方法,其進一步包含以下步驟:確定該第一畫面中之該臉部區域在第一與第二相互正交方向上的該等積分投影;及確定該第二畫面中之該視窗在第一與第二相互正交方向上的該等積分投影。
- 如申請專利範圍第21或22項中任一項所述之方法,其中確定該平移包含:使該第一及第二畫面之各別積分投影曲線移位;及確定使該第一及第二畫面之該等各別積分投影曲 線之間產生一最小距離的一移位量。
- 如申請專利範圍第21項所述之方法,其中確定第二畫面中之該視窗在該視窗由於該平移移動之後的積分梯度投影包含確定該第二畫面中在第一與第二相互正交方向上之該視窗的積分梯度投影,且其中確定該第一畫面中的該臉部區域的積分梯度投影包含確定該第一畫面中在該第一與第二相互正交的方向上之該臉部區域的積分梯度投影。
- 如申請專利範圍第21項所述之方法,進一步包含在該平移被驗證的情況下,基於該平移來重新定義其他畫面的預定義位置。
- 如申請專利範圍第21項所述之方法,進一步包含在該平移因該距離未能滿足預定義閾值而未被驗證的情況下,評估該第一畫面之該臉部區域與該第二畫面之該視窗之間的一比例因子。
- 一種裝置,其包含:至少一處理器;及至少一包括電腦程式碼的記憶體,被配置成,用該至少一處理器,使該裝置執行至少以下步驟:基於一第一畫面中具有一預定義位置及一預定大小的一臉部區域以及一第二畫面中的一共位視窗之各別積分投影來確定第一與第二畫面之間的一平移;及驗證該第一與第二畫面間之該平移,其中該至 少一包括該電腦程式碼的記憶體被配置成,用該至少一處理器,使該裝置藉由以下步驟來驗證平移:對藉由該第一與第二畫面間平移而視窗移動後的該第二畫面中之該視窗,確定積分梯度投影;確定該第一畫面中的一臉部區域的積分梯度投影;確定藉由該平移的移動後的該視窗與該臉部區域之該等積分梯度投影之間的一距離;及基於該距離與一預定義閾值之間的一關係來確定該平移是否被驗證。
- 如申請專利範圍第27項所述之裝置,其中該至少一包括該電腦程式碼的記憶體被進一步配置成,用該至少一處理器,使該裝置:確定該第一畫面中的該臉部區域在第一與第二相互正交方向上之該等積分投影;及確定該第二畫面中之該視窗在第一與第二相互正交方向上的該等積分投影。
- 如申請專利範圍第27或28項中任一項所述之裝置,其中該至少一包括該電腦程式碼的記憶體被配置成,用該至少一處理器,使該裝置藉由以下步驟來確定該平移:使該第一及第二畫面之各別積分投影曲線移位;及確定使該第一及第二畫面之該等各別積分投影曲線之間產生一最小距離的一移位量。
- 如申請專利範圍第27項所述之裝置,其中該至少一包括該電腦程式碼的記憶體被配置成,用該至少一處理器,使該裝置藉由確定該第二畫面中之該視窗在第一及第二相互正交方向上的積分梯度投影來確定該第二畫面中之該視窗在視窗於該平移移動之後的積分梯度投影,且其中該至少一包括該電腦程式碼的記憶體被配置成,用該至少一處理器,使該裝置藉由確定該第一畫面中之該臉部區域在該第一與第二相互正交方向上的積分梯度投影來確定該第一畫面中之該臉部區域的積分梯度投影。
- 如申請專利範圍第27項所述之裝置,其中該至少一包括該電腦程式碼的記憶體被進一步配置成,用該至少一處理器,使該裝置在該平移被驗證的情況下,基於該平移來重新定義其他畫面的預定義位置。
- 如申請專利範圍第27項所述之裝置,其中該至少一包括電腦程式碼的記憶體被進一步配置成,用該至少一處理器,使該裝置在該平移因該距離未能滿足預定義閾值而未被驗證的情況下,估算該第一畫面之臉部區域與該第二畫面之該視窗之間的一比例因子。
- 一種包含程式碼部分的電腦程式,其包含:被配置以基於一第一畫面中具有一預定義位置及一預定大小的一臉部區域以及一第二畫面中的一共位視窗之各別積分投影來確定第一與第二臉部區域之間的一平移的程式碼指令;及 被配置以驗證該第一與第二畫面之間之該平移的程式碼指令,其中被配置以驗證之該等程式碼指令包含:被配置以對藉由該第一與第二畫面間平移而視窗移動後的該第二畫面中之視窗,確定積分梯度投影的程式碼指令;被配置以確定該第一畫面中的一臉部區域的積分梯度投影的程式碼指令;被配置以確定藉由該平移的移動後的該視窗與該臉部區域之該等積分梯度投影之間的一距離的程式碼指令;及被配置以基於該距離與一預定義閾值之間的一關係來確定該平移是否被驗證的程式碼指令。
- 如申請專利範圍第33項所述之電腦程式,其中該等電腦可讀程式碼部分進一步包含:被配置以確定該第一畫面中的該臉部區域在第一與第二相互正交方向上之該等積分投影的程式碼指令;及被配置以確定該第二畫面中的該視窗在第一與第二相互正交方向上之該等積分投影的程式碼指令。
- 如申請專利範圍第33或34項中任一項所述之電腦程式,其中被配置以確定該平移之該等程式碼指令包含:被配置以使該第一及第二畫面之各別積分投影曲線移位的程式碼指令;及被配置以確定使該第一及第二畫面之該等各別積分 投影曲線之間產生一最小距離的一移位量的程式碼指令。
- 如申請專利範圍第33項所述之電腦程式,其中被配置以確定該第二畫面中之視窗在該視窗於該平移移動之後之積分梯度投影的程式碼指令包含被配置以確定該第二畫面中之該視窗在第一與第二相互正交方向上的積分梯度投影的程式碼指令,且其中被配置用以確定該第一畫面中之臉部區域的積分梯度投影的該等程式碼指令包含被配置用以確定該第一畫面中之該臉部區域在該第一與第二相互正交方向上的積分梯度投影的程式碼指令。
- 如申請專利範圍第33項所述之電腦程式,其中該等電腦可讀程式碼部分進一步包含被配置以在該平移被驗證的情況下,基於該該平移來重新定義其他畫面的預定義位置的程式碼指令。
- 如申請專利範圍第33項所述之電腦程式,其中該等電腦可讀程式碼部分進一步包含被配置以在該平移因距離未能滿足預定義閾值而未被驗證的情況下,估算該第一畫面之該臉部區域與該第二畫面之該視窗之間的一比例因子的程式碼指令。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN2228CH2011 | 2011-06-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201310358A TW201310358A (zh) | 2013-03-01 |
TWI547887B true TWI547887B (zh) | 2016-09-01 |
Family
ID=47390739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101123528A TWI547887B (zh) | 2011-06-30 | 2012-06-29 | 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8873811B2 (zh) |
EP (1) | EP2727047A4 (zh) |
CN (1) | CN103620621B (zh) |
TW (1) | TWI547887B (zh) |
WO (1) | WO2013001144A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5476955B2 (ja) * | 2009-12-04 | 2014-04-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
GB2546055B (en) | 2014-10-14 | 2020-05-20 | Synaptive Medical Barbados Inc | Patient reference tool |
MA40886B1 (fr) | 2015-02-09 | 2020-03-31 | Hetero Research Foundation | Nouveau triterpénone en c-3 avec des dérivés d'amide inverse en c-28 en tant qu'inhibiteurs du vih |
US10370405B2 (en) | 2015-03-16 | 2019-08-06 | Hetero Labs Limited | C-3 novel triterpenone with C-28 amide derivatives as HIV inhibitors |
CN106157329B (zh) * | 2015-04-20 | 2021-08-17 | 中兴通讯股份有限公司 | 一种自适应目标跟踪方法及装置 |
CN105574893B (zh) * | 2015-12-18 | 2018-02-09 | 浙江大学 | 一种基于投影梯度的稳像方法 |
CN115600160B (zh) * | 2022-10-20 | 2023-07-21 | 浙江大学 | 基于积分梯度可解释算法的网络模型窃取行为的检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI246662B (en) * | 2000-07-28 | 2006-01-01 | Symtron Technology Inc | Face recognition system |
US20080075336A1 (en) * | 2006-09-26 | 2008-03-27 | Huitao Luo | Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications |
TWM338378U (en) * | 2007-12-31 | 2008-08-11 | Altek Corp | Automatic tracing system and its apparatus |
US20080192980A1 (en) * | 2007-02-14 | 2008-08-14 | Samsung Electronics Co., Ltd. | Liveness detection method and apparatus of video image |
CN101291392A (zh) * | 2007-04-20 | 2008-10-22 | 索尼株式会社 | 处理图像的设备和方法及产生再现信息的设备和方法 |
US20080267458A1 (en) * | 2007-04-27 | 2008-10-30 | University Of Ottawa | Face image log creation |
CN101689303A (zh) * | 2007-06-18 | 2010-03-31 | 佳能株式会社 | 面部表情识别装置及方法和摄像装置 |
US20110019003A1 (en) * | 2009-07-22 | 2011-01-27 | Hitachi Kokusai Electric Inc. | Surveillance image retrieval apparatus and surveillance system |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0865681A (ja) | 1994-08-25 | 1996-03-08 | Sony Corp | 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム |
AUPP400998A0 (en) * | 1998-06-10 | 1998-07-02 | Canon Kabushiki Kaisha | Face detection in digital images |
US6404900B1 (en) * | 1998-06-22 | 2002-06-11 | Sharp Laboratories Of America, Inc. | Method for robust human face tracking in presence of multiple persons |
GB2341231A (en) * | 1998-09-05 | 2000-03-08 | Sharp Kk | Face detection in an image |
US7155036B2 (en) * | 2000-12-04 | 2006-12-26 | Sony Corporation | Face detection under varying rotation |
AUPS140502A0 (en) * | 2002-03-27 | 2002-05-09 | Seeing Machines Pty Ltd | Method for automatic detection of facial features |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
GB0423578D0 (en) * | 2004-10-22 | 2004-11-24 | Greenparrotpictures Ltd | Dominant motion estimation for image sequence processing |
JP2006260397A (ja) * | 2005-03-18 | 2006-09-28 | Konica Minolta Holdings Inc | 開眼度推定装置 |
JP4970557B2 (ja) * | 2007-03-05 | 2012-07-11 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | デジタル画像取込装置における顔検索及び検出 |
US8351712B2 (en) * | 2009-04-27 | 2013-01-08 | The Neilsen Company (US), LLC | Methods and apparatus to perform image classification based on pseudorandom features |
JP5642410B2 (ja) * | 2010-03-30 | 2014-12-17 | パナソニック株式会社 | 顔認識装置及び顔認識方法 |
US8737697B2 (en) * | 2010-05-26 | 2014-05-27 | Nec Corporation | Facial feature point position correction device, facial feature point position correcting method, and facial feature point position correcting program |
CN103270535B (zh) | 2010-06-23 | 2016-05-25 | 诺基亚技术有限公司 | 用于跟踪脸部部分的方法、装置 |
US8971613B2 (en) * | 2010-07-07 | 2015-03-03 | Nec Corporation | Image processing learning device, image processing learning method, and image processing learning program |
-
2012
- 2012-05-29 WO PCT/FI2012/050517 patent/WO2013001144A1/en active Application Filing
- 2012-05-29 EP EP20120803830 patent/EP2727047A4/en not_active Withdrawn
- 2012-05-29 CN CN201280031991.9A patent/CN103620621B/zh active Active
- 2012-06-12 US US13/494,316 patent/US8873811B2/en active Active
- 2012-06-29 TW TW101123528A patent/TWI547887B/zh not_active IP Right Cessation
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI246662B (en) * | 2000-07-28 | 2006-01-01 | Symtron Technology Inc | Face recognition system |
US20080075336A1 (en) * | 2006-09-26 | 2008-03-27 | Huitao Luo | Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications |
US20080192980A1 (en) * | 2007-02-14 | 2008-08-14 | Samsung Electronics Co., Ltd. | Liveness detection method and apparatus of video image |
CN101291392A (zh) * | 2007-04-20 | 2008-10-22 | 索尼株式会社 | 处理图像的设备和方法及产生再现信息的设备和方法 |
US20080267458A1 (en) * | 2007-04-27 | 2008-10-30 | University Of Ottawa | Face image log creation |
CN101689303A (zh) * | 2007-06-18 | 2010-03-31 | 佳能株式会社 | 面部表情识别装置及方法和摄像装置 |
TWM338378U (en) * | 2007-12-31 | 2008-08-11 | Altek Corp | Automatic tracing system and its apparatus |
US20110019003A1 (en) * | 2009-07-22 | 2011-01-27 | Hitachi Kokusai Electric Inc. | Surveillance image retrieval apparatus and surveillance system |
Also Published As
Publication number | Publication date |
---|---|
EP2727047A4 (en) | 2015-04-22 |
CN103620621B (zh) | 2017-10-24 |
US8873811B2 (en) | 2014-10-28 |
US20130004025A1 (en) | 2013-01-03 |
TW201310358A (zh) | 2013-03-01 |
EP2727047A1 (en) | 2014-05-07 |
CN103620621A (zh) | 2014-03-05 |
WO2013001144A1 (en) | 2013-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI547887B (zh) | 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式 | |
US9406137B2 (en) | Robust tracking using point and line features | |
KR101457313B1 (ko) | 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 | |
US20160381320A1 (en) | Method, apparatus, and computer program product for predictive customizations in self and neighborhood videos | |
US8965051B2 (en) | Method and apparatus for providing hand detection | |
US9196055B2 (en) | Method and apparatus for providing a mechanism for gesture recognition | |
CN110059623B (zh) | 用于生成信息的方法和装置 | |
KR20120044484A (ko) | 이미지 처리 시스템에서 물체 추적 장치 및 방법 | |
CN110781823A (zh) | 录屏检测方法、装置、可读介质及电子设备 | |
US9025823B2 (en) | Tracking texture rich objects using rank order filtering | |
JP2018025988A (ja) | 画像処理プログラム、画像処理方法および画像処理装置 | |
WO2022095318A1 (zh) | 字符检测方法、装置、电子设备、存储介质及程序 | |
US9582896B2 (en) | Line tracking with automatic model initialization by graph matching and cycle detection | |
US20140231523A1 (en) | Electronic device capable of recognizing object | |
US20220319120A1 (en) | Determining 6d pose estimates for augmented reality (ar) sessions | |
US9508155B2 (en) | Method and apparatus for feature computation and object detection utilizing temporal redundancy between video frames | |
KR102344227B1 (ko) | 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램 | |
US20230162376A1 (en) | Method and system for estimating motion of real-time image target between successive frames | |
CN113168706A (zh) | 视频流的帧中的对象位置确定 | |
CN110781888A (zh) | 回归视频画面中屏幕的方法、装置、可读介质及电子设备 | |
KR20140103036A (ko) | 객체 추적이 가능한 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |