TWI526947B - 頭像臉部表情技術 - Google Patents
頭像臉部表情技術 Download PDFInfo
- Publication number
- TWI526947B TWI526947B TW101112310A TW101112310A TWI526947B TW I526947 B TWI526947 B TW I526947B TW 101112310 A TW101112310 A TW 101112310A TW 101112310 A TW101112310 A TW 101112310A TW I526947 B TWI526947 B TW I526947B
- Authority
- TW
- Taiwan
- Prior art keywords
- avatar
- feature data
- face
- facial
- facial expression
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Description
本發明是有關於頭像臉部表情技術。
頭像廣泛的使用在各種系統和應用程式中,例如電腦遊戲、使用者介面應用程式和電信(例如,在由Apple iPhone4提供的FaceTime,以及在由Microsoft Xbox 360提供的Avatar Kinect)。
舉例來說,頭像(例如,一個真實的臉、卡通的臉和動物的臉等)模擬一個使用者臉部表情和頭部動作。這不只是提供有趣的使用者經驗,當使用者不希望透露他或她的真實面目,其可以保護使用者的隱私。
另外,使用頭像取代真實的臉能節省相當大的通訊頻寬。這使得協作的應用程式有效率執行。(例如,視訊會議、虛擬教室等)。
有三個關於臉部表情驅動頭像應用程式的普遍性問題。首先,在不同的光照條件和頭部動作存在下,攝影機很難精準捕捉和追蹤人臉部表情的變化。第二,基於攝影機的臉部追蹤只能可靠地追蹤有限的臉部特徵數量(例如,嘴角、眼角等的10點)。如此有限的數量可能不足以直接全面驅動頭像表情動畫。第三,描述真實臉部表情的變化需要大量通訊頻寬,大量的通訊頻寬對於以通訊為基礎的像是視訊會議或頭像的應用程式是一個障礙。
揭露之技術有關於頭像。例如使用者的臉部表情改變及頭部的動作可被可靠地模擬於映射的頭像。如此的技術可能涉及增強型的臉部表情序列擷取的方法以及增強型的頭像動畫。更進一步,如此的技術可有利地提供執行速度與通訊頻寬的改善。
實施例提供的技術能有效解決上述問題。因此,一實用、即時(或超即時)、線上和低通訊頻寬的頭像系統可被實施。如此的系統能可靠地模擬使用者臉部表情的變化和頭部動作。此外,如此的系統僅透過採用一般網路攝影機和計算裝置即可達成。
此外,實施例能提供新型快速和強大的臉部追蹤演算法。再者,實施例可提供新型的臉部表情序列擷取方法。更進一步,實施例可提供新型快速臉部動畫模擬方法。
實施例能提供各種優勢。一個優勢是能夠提供使用更低頻寬通訊操作的頭像基礎系統和應用程式。例如,如下所述,每一框(如視訊框)僅有一些臉部特徵(例如,九項特徵)需傳輸到遠端驅動遠端頭像臉部動畫。舉個例子,在頭像基礎視訊聊天應用程式,若要顯示遠端的頭像臉部動畫,只有每秒9*4*30=1080位元組需被傳輸(假設30框/秒的通信速率)。而且,每一框中,若臉部的變化不需要傳輸,轉換能更進一步降低。
整個說明書提到的“一實施例”或“一個實施例”,表示與實施例有關的所述的特定的特徵、結構或是特性被包含於至少一實施例中。因此,整個說明書在不同地方出現的“在一實施例”或“在一個實施例”的片語,不見得全部指的是相同的實施例。更進一步,特定的特徵、結構或特性可在一或更多實施例中以任何合適的方式結合。
實施例的操作可參考下列的圖式與附帶的範例更進一步地描述。其中一些圖式可包含邏輯流程。雖然本文呈現之圖式可包含特定的邏輯流程,但是其能夠明白該邏輯流程僅提供此描述的一般功能如何實施的範例。再者,給定的邏輯流程除非另有指示外,不必然會在所示流程中執行。另外,給定的邏輯流程可藉由硬體元件,由處理器執行的軟體元件或任何其組合實施。實施例並不限於此範圍。
圖1係為範例實施方塊圖100。此實施可被用於提供模擬使用者動作與表情的頭像。如圖1所示,實施100可包含臉部追蹤模組102、動態擷取資料庫模組104、映射模組106、資料庫產生模組108、影像來源110以及顯示裝置112。這些元件可以硬體及/或軟體的任何組合實施。
臉部追蹤模組102接收影像資料,例如一個或更多視訊框。此資料可從影像來源110接收。由此資料,臉部追蹤模組102能偵測臉部和決定臉部特徵。如此的特徵可包含特徵點的位置。然後,這些位置(及/或他們的動作)可使用做為決定兩個組件:臉部表情動作和頭部剛性動作
(head rigid movements)。在實施例中,如此的臉部表情動作可表示為多重特徵(例如,如下所述的九種特徵)。此外,根據如此的特徵,臉部追蹤模組102可從動態擷取資料庫104擷取最相近的表情特徵。
動態擷取資料庫104從人不同的臉部表情紀錄(或儲存)資料(例如,微笑、大笑、憤怒、驚訝、說話、吃...等)。這些表情可記錄為框的序列。如此處所述的九種特徵,每一個此類的框可包含多重特徵。因此,動態擷取資料庫104可包含一資料儲存媒體,例如記憶體(揮發性或非揮發性)、磁碟機、光學儲存器...等。
根據從動態擷取資料庫104的特徵擷取,映射模組106控制頭像。這可涉及標準化與重新映射人臉部到頭像臉部,複製臉部表情變化到頭像,以及然後驅動頭像執行如擷取的特徵相同的臉部表情變化。在實施例中,映射模組106可包含由顯示裝置112使頭像輸出的圖形繪製特徵。
因此,顯示裝置112可形象化地輸出頭像至使用者。顯示裝置可以各種顯示裝置實施。範例裝置包含(但不限於)液晶顯示器(liquid crystal displays,LCDs)、發光二極體(light emitting diode,LED)顯示器、電漿顯示器(plasma displays)、以及陰極射線管(CRT)顯示器。
在一實施例,臉部追蹤模組102可接收從影像來源110的影像資料。如此影像資料能以影像或框(例如影像框)序列的形式。影像來源110可包含影像感應裝置
(image sensing device),例如攝影機。如此的一個裝置可包含各種組件。範例組件包含(但不限於)一個光學組件(optics assembly)、一個影像感應器(image sensor)及一個影像/視訊編碼器(image/video encoder)。這些組件可在硬體及/或軟體的任何組合下實施。
光學組件可包含一或更多光學裝置(例如透鏡、反光鏡...等)在影像感應器內的多重感應器元件上的視野內投射影像。此外,光學組件可包括控制這些光學裝置配置的機構。例如,如此的機構可控制聚焦操作、光圈設置、曝光設置、縮放操作、快門速度、有效焦距等。然而,實施例不限於這些範例。
影像感應器可包含一感應器元件陣列(未示出)。這些元件可以是互補式金屬氧化物半導體(CMOS)感應器、電荷耦合裝置(CCDs)或其他合適的感應器元件類型。這些元件可產生對應於在感應器上光入射的類比強度信號(例如,電壓)。另外,影像感應器亦可包含轉換類比強度信號至數位編碼強度值的類比/數位轉換器(analog-to-digital converter(s),ADC(s))。然而,實施例不限於這些範例。
因此,影像感應器轉換透過光學組件接收的光到像素值。其中每個像素值代表在對應的感應器元件上特定的光照強度。雖然這些像素值已被描述成數位,但是仍可選擇性地為類比。如上所述,影像感應裝置可包含編碼及/或壓縮像素值的影像/視訊編碼器。各種技術、標準及/或格
式(例如動態影像壓縮標準(MPEG)、靜態影像壓縮標準(JPEG)等)可使用於此編碼及/或壓縮。
如上所述,動態擷取資料庫模組104可儲存人不同臉部表情的資料。請參閱,例如Jin-xiang Chai,Jing Xiao,and Jessica Hodgins,Vision-based Control of 3D Facial Animation,Eurographics/SIGGRAPH Symposium on Computer Animation(2003)。如此的資料可由資料庫產生模組108產生。在實施例中,資料庫產生模組108在離線程序產生此資料。
舉例來說,專業動態擷取裝置(例如,來自英國牛津大學維康動態系統的產品(Vicon Motion Systems,of Oxford,UK))可用來擷取人臉部表情。若要執行此操作,人臉部可貼上(例如,黏上)標記(例如,30-100個標記),如圖2描繪。接著,當人表現不同表情,動態擷取裝置擷取在每一框的每一個標記的三維(three-dimensional,3D)座標。這些座標可記錄各種表情。範例表情包含(但不限於)六種基本表情類型(大笑、憤怒、驚訝、悲傷、驚恐、厭惡),以及一些平常的表情,像是說話與吃。其中每個表情可重複數次。這可使表情資料被記錄大約十分鐘。
動態擷取資料庫被記錄之後,資料產生模組108可藉由提取臉部特徵,為資料庫的每一框預先處理資料庫。尤其是在資料庫的每一框,資料庫產生模組108可運算多重臉部特徵。接著,資料庫產生模組108儲存這些特徵在動
態擷取資料庫模組104。
在實施例中,這些多重臉部特徵可以是以下九項特徵:1.上、下唇之間的距離;2.兩個嘴角之間距離;3.上唇與鼻尖的距離;4.下唇與鼻尖的距離;5.鼻翼與鼻尖的距離;6.上、下眼瞼之間的距離;7.眉尖與鼻尖的距離;8.兩眉尖之間的距離;以及9.眉尖與眉毛中間的距離然而,實施例可使用特徵的任何數量。再者,在實施例中,動態擷取臉部表情和預處理擷取臉部特徵兩者皆離線執行。並且如此的操作可不常執行(例如,發展實施100時只有執行一次)。因此,實施100的使用者通常不需要在意這些操作。
圖1元件可分布於一個或更多裝置中。例如,在實施例中,臉部追蹤模組102、動態擷取資料庫模組104、資料庫產生模組108和影像來源110可包含在第一裝置中。接著,映射模組106與顯示裝置112可在第二裝置中。
如此的安排可提供在第一裝置產生決定表情特徵的通訊應用程式(例如,如同從資料庫模組104擷取)。接著,這些特徵可遍及任何合適的通訊媒體通訊到第二裝置
(例如,有線及/或無線網路/介面)。接著,第二裝置可驅動和繪製藉由顯示裝置112輸出的頭像(例如,與映射模組106)。此配置提供描繪而非限制的目的。因此,其他的配置可被採用。
在實施例中,這些一或更多裝置可以是各種類型。裝置類型範例包含(但不限於)攝影機、個人數位助理(PDAs)、行動電話、智慧手機、個人計算機裝置(例如桌上型裝置、筆記型裝置、平板裝置等)、智慧型電視、伺服器、穿戴式裝置、媒體播放器、任何智慧型裝置等等。再一步的範例包含微處理器(microprocessors)、圖形處理器或引擎、微控制器(microcontroller)、特殊應用積體電路(ASICs)等等,然而,實施例不限於這些範例。
圖3描繪顯示頭像基礎臉部動畫實施的範例操作的範例邏輯流程300。如此的操作可由圖1的元件執行。然而,實施例不限於此範圍內。而且,雖然圖3顯示特定序列,但其他序列仍可被採用。此外,描繪的操作可在各種平行及/或連續的組合中執行。
在方塊圖302,攝影機擷取使用者臉部表情和頭部動作。
在方塊圖304,臉部追蹤模組被採用到追蹤臉部特徵點的位置。
由此看來,在方塊圖306,特徵點的動作分解為兩個部分:臉部表情動作和頭部剛性動作(head rigid
movements)。由此看來,多重臉部表情資料(稱為“臉部特徵”)在方塊圖308中決定。如上所述,九項臉部特徵可從每一框中決定。
在方塊圖310,臉部特徵資料被輸入到動態擷取資料庫,以及最相似的臉部表情序列從資料庫中擷取。此擷取提供類似使用者臉部表情的序列。
接著,執行方塊圖312。在此方塊圖,人類臉部被標準化並重新映射到頭像臉部。而且,在此方塊圖,臉部表情變化將複製到頭像。
然後,在方塊圖314,頭像被驅動。此包括用於如在擷取序列中的頭像執行相同臉部表情的變化。而且,在驅動頭像時,頭部剛性動作將直接使用。
臉部追蹤特徵現在更詳細地描述。在圖1中,如此的特徵可藉由臉部追蹤模組102提供。然而,實施例不限於此範圍。在頭像基礎系統(例如,視訊聊天系統),擷取使用者的頭部姿勢及使用者的臉部表情是重要的。在實施例中,這些操作可藉由臉部追蹤模組執行。接著,這些姿勢和表情能以動畫參數表現出來。如此的動畫參數被傳輸至圖形繪製引擎。以這種方式,頭像系統將能夠在虛擬三維模型(3D model)中複製原使用者的臉部表情。
臉部追蹤模組的執行和準確性主要影響整體頭像基礎動畫系統的品質。在實施例中,用於臉部追蹤模組實用的解決方案可提供各種特徵。例如,臉部追蹤模組可由頭部姿勢追蹤剛性動作。如此的剛性動作可包含(但不限於)
平移、旋轉和縮放的因素。而且,臉部追蹤模組可追蹤由於臉部表情的非剛性轉換。非剛性轉換可包含多重的臉部動作單元(action units)(例如,六項典型的臉部動作單元)。再者,臉部追蹤模組可在一個或更多處理器中即時地運作(例如,在Intel Atom 1.6GHz處理器中)以優化其實施。
圖4描繪範例邏輯流程400,其顯示頭像基礎臉部動畫系統的範例操作。在此圖中,虛線環繞臉部追蹤模組可執行的操作。雖然圖4顯示特定序列,但是其他序列仍可被採用。此外,描繪的操作可在各種平行及/或連續的組合中執行。
如圖4所示,視訊框在方塊圖402被讀取。在實施例中,視訊框可由設置在使用者前方的攝影機讀取。由此,臉部追蹤模組分析臉部區域,以及根據臉部影像計算動畫參數。如圖4所示,這可以涉及方塊圖404-412的執行。
動畫參數可包含頭部的傾斜角和傾側角、嘴巴的開闔、眉尖的挑高和擠壓。在實施例中,這些所有的參數透過臉部追蹤模組被分析。
圖4所示,在方塊圖414,動畫參數被傳送到繪製引擎。接著,根據在方塊圖416的動畫參數,繪製引擎驅動頭像3D模型。
如圖4所示,方塊圖402-416的操作可反覆地執行。例如,這些操作可在視訊流的每一框中執行。
如上所述,臉部追蹤模組可執行提供遞迴程序的方塊
圖404-412。
在這些方塊圖中,頭部模型被投射在臉部區域,該臉部區域在方塊圖402被讀取的視訊框中被偵測到。尤其是,實施例可採用參數化的3D頭部模型以助於臉部動作追蹤。3D模型的外型(例如,框線圖)完全由一組參數控制。在輸出影像的臉部區域上投射3D模組,調整其參數使框線圖改變外型並比對使用者的頭部位置與臉部表情。
例如,圖4所示,在方塊圖404,頭部模型被投射在偵測的臉部(也稱為當前的臉部)。這在方塊圖406產生未變形結構的當前的臉部。在方塊圖408,此未變形結構與範本結構相比較。根據此計算,在方塊圖410中,一個或更多3D頭部模型的參數可被更新。如方塊圖412所示,若3D頭部模型和當前的臉部尚未在預先設定的量內趨近,方塊圖404-410即可反覆執行。否則,操作可進行方塊圖414。
在方塊圖414中,參數被提供。這些參數可以是臉部特徵的形式(也稱為輸入臉部特徵)。在實施例中,如此的特徵序列可用來驅動在方塊圖416的頭像。
因此,3D頭像模型的控制參數可反覆地更新,直到與現在的臉部發生符合要求的趨近。此程序能夠視為受某些組的轉換參數的影像校準問題。因此,方塊圖404-412的操作可涉及逆向組合演算法(inverse compositional algorithm),例如,在Baker,S.and Matthews,I.,
Lucas-Kanade 20 years on:A Unifying Framework,International Journal of Computer Vision,56(3):221-255,2004所述。如此的演算法可有助於在實際實施中加快影像校準。
有關3D頭部模型,實施例可使用典型的Candide3框線圖,如參數化的臉部追蹤模組內的頭部模型。這是因為Candide3框線圖模型包含少數頂點,但是仍然提供豐富的一組動畫結構。然而,實施例可採用其他模型。
為了保持結構緊湊的動畫參數,六項典型動作單元(AUs)可自模型的動畫結構中選擇,如圖5所示。尤其圖5提供Candide3線框圖模型和選取的臉部動作單元的觀點。如上這些觀點所示,大部分主要的動作基於臉部表情由這六項AUs.所包括。
除局部彈性的轉換,頭部模型仍然需要受到球狀剛性動作(global rigid movement),如圖6所示。尤其圖6描繪在平移、旋轉和縮放因素下的Candide3頭部模型。此球狀剛性動作包括3軸(3-axis)旋轉與x與y軸(x-and y-axis)平移。3軸旋轉相當於頭部的傾斜角、傾側角和滾轉角。x、y軸的平移相對應於頭部動作平行於影像平面。在實施例中,可使用平行投影取代透視投影。在此情況下,z軸(z-axis)的平移致使縮放的因素。所以有可能六項剛性參數描述球狀式的轉換,以及六項非剛性參數描述臉部動作單元。因此一組十二個參數在頭像實施中可用來描述所有的臉部變化。
如上述的動畫參數緊湊的描述,連同逆向組合影像提及上文所述,臉部追蹤模組可被實施,其可在各種處理器中能夠即時運作(例如,在Intel Atom 1.6GHz處理器)。因此,頭像基礎應用程式在Atom基礎的嵌入式裝置中能夠順利執行,例如行動電話與機上盒。
如上所述,實施例可以根據使用者臉部從資料庫中取得特徵。實施例可以提供快速又可靠的方法,其是從有最相似的臉部特徵的資料庫中擷取表情序列。
如本文所述,臉部表情資料的每一框包含先前被擷取的多重的(例如,九項)臉部特徵。此特徵的序列範例是描繪在圖7中。尤其圖7顯示兩個臉部特徵序列的範例。例如在圖7中的每一列代表由資料庫中的一框中被擷取的臉部特徵。雖然並未示出多數(例如九項)數值存在於多重欄位的每一列中。例如,第一個欄位代表嘴巴張開的大小。圖7包含兩個序列:一序列(a)代表嘴巴張開的表情,以及一序列(b)代表嘴巴合上的程序。
如上所述,臉部追蹤模組可產生輸出的參數。例如,在圖4中,如此的輸出參數可以在方塊圖414中提供的輸入臉部特徵的序列之形式呈現。如此的輸入臉部特徵的範例顯示在圖8。尤其圖8顯示輸入臉部特徵基礎序列,源自偵測臉部的嘴巴張開表情。
理想情況下,這些特徵將會致使圖7中的序列(a)之擷取,因為兩個序列相對應於嘴巴張開表情。然而,習知的方式可致使圖7序列(b)被擷取。這是因為傳統上
最接近的搜尋演算法(例如,採用知名的KD樹結構(KD-tree structures))只能夠處理個別的查詢。換句話說,傳統的演算法不能處理時間序列。例如,當使用單一查詢技術,圖8的第(2)行將可能使由在圖7序列(b)的框(8)資料庫中擷取。然而,實際上,在圖7序列(a)的框(4)是更合適的比對。
為了解決此問題,實施例引入另一個特點:臉部變化趨勢。對於臉部特徵序列的每一框,臉部變化趨勢特徵為每個多重(例如九項)特徵定義。例如,在圖7序列(a)的框(4)是在嘴巴張開的程序。這可藉由附近的框評估。例如,從框(1)到框(4),嘴巴打開發生18.68-16.56=2.12的變化。同樣的,從框(4)到框(7),嘴巴打開發生21.084-18.68=2.404的變化。
如此的絕對變化值可被離散成一些符號(例如整數)。範例符號包含(但不限於)+2(相當大地正數變化),+1(通常地正數變化),0(幾乎沒有變化),-1(通常地負數變化),-2(相當大地負數變化)。例如,“+2”可被分配到圖7中序列(a)的框(4)。同樣地“-2”可被分配到圖5中序列(b)框(8)。
同樣地,當擷取輸入臉部特徵序列,如此的符號可被分配。例如,“-2”可被分配到圖8的框(2)。因此,實施例可比較表情變化趨勢查詢的分配與輸出結果。透過此方式,正確的擷取結果是可達到的(圖7中序列(a)的框(4))。這是因為包含匹配的變化趨勢符號“+2”(像
查詢一樣)。
因此,實施例可在資料庫的每一框中使用上述臉部變化趨勢符號至每一個多重(例如,九項)特徵。當取得輸入臉部特徵(此特徵為資料庫查詢時採用),例如KD樹的技術可使用以產生一些候選(例如在圖7序列(a)的框(4)與序列(b)的框(8)序列)。接著,實施例可將每個候選的符號與查詢的符號相比較。最後,最佳匹配符號的候選被選擇為輸出結果(例如,在圖7中序列(a)的框(4))。藉由此方法,與不使用符號相較下能夠達到更好的結果。
如此的符號方法可有助優於其他不使用臉部變化趨勢特徵之方法。再者,如此的符號方法對於查詢在只增加一點額外的計算需求(例如,時間)而言十分有效。此外,資料庫框所有的符號能夠離線計算且只有一次。
標記特定框的變化趨勢,每個特徵的不同處決定於框之前的N框與框之後的M框。在實施例中,N和M能相同(例如,五項)。然而,M和N能不同。因此,實施不限於特定值或M與N相同。而且,在離散變化中,變化大於2.1能指定為“+2”,而變化小於0.75能指定為“0”。然而,實施例不限於這些臨界值。
一旦臉部表情序列(例如,最相似表情)從資料庫中擷取,實施例映射擷取的臉部表情到頭像臉部。此程序的範例描繪在圖9。
尤其圖9是一個邏輯流程900範例,其顯示涉及擷取
的臉部表情映射到頭像的範例操作。在圖1範圍內,如此的操作可透過模組110執行。然而,實施例不限於此範圍。而且,雖然圖9顯示特定序列,其他序列仍可採用。此外,所述的操作可在各種平行及/或連續的組合中執行。
映射輸入是(1)在關鍵點(例如,從動作擷取裝置中擷取的34點)的動作向量(dx,dy,dz);(2)來源動作捕捉模型(用於動作擷取的模型);(3)目標臉部模型(頭像)、已知的關鍵點且對應到動作捕捉模型。輸出是在目標臉部模型(目標密集動態向量)的每個點的動作向量(dx,dy,dz)。
此映射目的是在來源模型上稀少的關鍵點上轉換動作向量到密集目標模型(頭像模型),以及使目標模型做相同的動畫,例如微笑、驚訝、打哈欠等。
首先,在方塊圖902中,根據對應的關鍵點目標模型對準至來源模型(如在圖9指出的“srcKeyPointMV”)。這可使用最小平方法。
在方塊圖904,動作向量轉換(MVT)程序被執行轉換來源關鍵點動作向量到目標關鍵點。在實施例中,因為此兩模型校準良好(例如,不需要旋轉和轉變的校準),所以此可僅涉及執行縮放操作。此在目標模型產生關鍵點的動作向量(在如圖9指出的“tarKeyMV”)。
由此看來,在方塊圖906中執行在密集點的動作向量與在稀少關鍵點的內插法(動作向量內插法,MVI)的計
算。這些動作向量在圖9指出如“tarDenseMV”。這可涉及展開目標模型到圓柱面並決定每個密集點坐落在哪一個關鍵三角形。內插係數可藉由質心座標(bary-centric coordinate)決定。
在唇部區域點是特定且需要特別額外處理。例如,上唇部點應該只受上唇部區域影響,而且不能受下唇部點影響,即使那些點非常接近。反過來下唇部也適用。因此,唇線的處理在方塊圖908中執行。這可涉及使用知名的代克思托演算法(Dijkstra's algorithm),從被視為唇線的左嘴角到右嘴角找尋最短路徑。該唇線用來分割上、下唇部。透過此過程,嘴能夠正常開啟。
為了使整個臉部動畫流暢,拉普拉斯(Laplace)流暢操作在方塊圖910的動作向量中執行。如圖9所示,其可為目標(或頭像)產生最終動作向量(表示為“目標上最後的Dense MV”)。
此臉部動畫方法可有助於提供快速的處理速度。例如,MVT與MVI只需要在第一次計算。然後,他們可在進一步的處理中重複使用。而且此方法可有助於個別地處理上、下唇部區域,以及使用代克斯托演算法(Dijkstra’s algorithm),在臉部網格上,找尋從左嘴角到右嘴角的最短路徑。
如本文所述,不同的實施例可使用硬體元件、軟體元件或其任意組合來予以實施。硬體元件的範例可包含處理器、微處理器、電路、電路元件(例如,電晶體、電阻
器、電容器及電感器等等)、積體電路(integrated circuits)、特殊應用積體電路(ASIC)、可程式邏輯裝置(PLD)、數位訊號處理器(DSP)、場效可編程輯閘陣列(FPGA)、邏輯閘(Logic gates)、暫存器(registers)、半導體裝置(semiconductor device)、晶片、微晶片、晶片組等等。
軟體的範例可包含軟體元件(software components)、程式(programs)、應用(applications)、電腦程式(computer programs)、應用程式(application programs)、系統程式(system programs)、機器程式(machine programs)、作業系統軟體(operating system software)、中介軟體(middleware)、韌體(firmware)、軟體模組(software module)、程序(routines)、子程序(subroutines)、函式(functions)、方法(methods)、程序(procedures)、軟體介面(software interfaces)、應用程式介面(API)、指令集(instruction sets)、計算機程式碼(computing code)、電腦程式碼(computer code)、程式碼區段(code segments)、電腦程式碼區段(computer code segments)、文字(words)、數值(values)、符號(symbols)或任何其組合。
例如,某些實施例能利用機器可讀取的儲存媒體或物件實施。若由機器執行,儲存媒體可儲存指令或指令集,其可致使機器執行根據實施例執行方法及/或操作。如此
的機器可包含,例如,任何合適的處理平台、計算機平台、計算機裝置、處理裝置、計算機系統、處理系統、電腦、處理器或類似的,以及可使用任何合適的硬體及/或軟體組合來予以實施。
如此所述,實施例可包含儲存媒體或機器可讀取的物件。例如,這些可包含任何合適的類型之記憶體單元、記憶體裝置、記憶體物件、記憶體媒體、儲存裝置、儲存物件、儲存媒體及/或儲存單元,例如記憶體、可移除式或不可移除式媒體、可擦除型或不可擦除型媒體、可寫入或可抹寫媒體、數位或類比媒體、硬碟、軟碟、光碟唯讀記憶體(CD-ROM)、可錄式光碟(CD-R)、可抹寫光碟(CD-RW)、光碟片、磁性媒體、磁光媒體、可移除式記憶卡或磁碟、各種數位多功能光碟(DVD)、錄音帶、卡式磁帶之類的。此說明書可包含各種合適的類型的程式碼,例如原始碼、編譯碼、解釋性碼、可執行碼、靜態編碼、動態編碼、加密編碼之類的,使用任何合適的高階、低階、物件導向、視覺化、編譯及/或解釋性程式語言實施。
同時本發明的各種實施例已描述如上,應該理解的是其係以範例性而非限制性來予以呈現。
因此,其中可能產生的在形式上或細節上不同種類的改變並不會背離本發明之精神與範疇,對於在相關領域中具有通常知識者是明顯的。因此,本發明之廣度及範疇不應被上述任何的範例實施例所限制,而只應根據如下的申
請專利範圍及其等效範圍來予以定義。
102‧‧‧臉部追蹤模組
104‧‧‧動態擷取資料庫模組
106‧‧‧映射模組
108‧‧‧資料庫產生模組
110‧‧‧影像來源
112‧‧‧顯示裝置
在圖式中,相像圖號通常指的是完全相同的、功能上相似及/或結構上相似的元件。在圖式中首次出現的元件藉由圖號的最左邊位數表示。實施例將參考所附的圖式來描述,其中:圖1係為範例實施圖;圖2係為臉部標記的視圖;圖3和圖4係為邏輯流程圖;圖5係為範例框線模型視圖;圖6係為平移、旋轉和縮放下的範例模型視圖;圖7係為兩個範例資料庫臉部特徵序列;圖8係為範例輸入臉部特徵序列;以及圖9係為邏輯流程圖。
Claims (20)
- 一種用於頭像臉部表情之設備,其包括:攝影機,用以捕捉使用者之臉部的動作;臉部追蹤模組,用以將捕捉到的動作分解成臉部表情動作和剛性頭部動作;資料庫模組,用以儲存複數個特徵資料序列,該等特徵資料序列的每一個對應複數個臉部表情動作的其中之一者;該臉部追蹤模組,用以根據捕捉到的臉部表情動作而擷取該等儲存的特徵資料序列的其中之一者;以及映射模組,用以將該擷取的特徵資料序列映射至頭像臉部。
- 如申請專利範圍第1項之設備,其中,該複數個特徵資料序列包含用於複數個框上的多重特徵之資料。
- 如申請專利範圍第2項之設備,其中,該資料庫模組係更用以儲存用於該多重特徵的每一個之趨勢資料。
- 如申請專利範圍第3項之設備,其中,該臉部追蹤模組係用以根據對應於該使用者臉部特徵資料的趨勢資料而擷取該等特徵資料序列的其中之一者。
- 如申請專利範圍第1項之設備,其中,該臉部追蹤模組係用以根據預定的臉部線框模型而決定該使用者臉部特徵資料。
- 如申請專利範圍第1項之設備,其中,該映射模組係用以將該剛性頭部動作映射至該頭像臉部。
- 如申請專利範圍第1項之設備,其中,該映射模組係用以決定該頭像的唇線。
- 如申請專利範圍第1項之設備,另包括繪製引擎,用以使用該映射的特徵資料序列來驅動該頭像。
- 如申請專利範圍第8項之設備,另包括通訊介面,用以將該映射的特徵資料序列通訊至第二裝置,該第二裝置具有該繪製引擎。
- 一種用於頭像臉部表情之方法,其包括:捕捉使用者之臉部的動作;將捕捉到的動作分解成臉部表情動作和剛性頭部動作;使用該臉部表情動作來擷取複數個儲存的特徵資料序列的其中之一者,該等特徵資料序列的每一個對應複數個臉部表情動作的其中之一者;以及將該擷取的特徵資料序列映射至頭像臉部。
- 如申請專利範圍第10項之方法,其中,該複數個特徵資料序列包含用於複數個框上的多重特徵之資料。
- 如申請專利範圍第11項之方法,另包括儲存用於該多重特徵的每一個之趨勢資料。
- 如申請專利範圍第10項之方法,其中,該擷取係根據對應於該使用者臉部特徵資料的趨勢資料。
- 如申請專利範圍第10項之方法,另包括根據預定的臉部線框模型而決定該使用者臉部特徵資料。
- 如申請專利範圍第10項之方法,另包括將該剛 性頭部動作映射至該頭像臉部。
- 如申請專利範圍第15項之方法,其中,該映射包括決定該頭像的唇線。
- 如申請專利範圍第10項之方法,另包括將該映射的特徵資料序列通訊至第二裝置,以繪製該頭像於該第二裝置處。
- 如申請專利範圍第17項之方法,另包括使用該映射的特徵資料序列來驅動該頭像。
- 一種用於頭像臉部表情之物件,包括機器可存取媒體,其具有儲存於其上的指令,當該等指令被機器所執行時,致使該機器用以:捕捉使用者之臉部的動作;將捕捉到的動作分解成臉部表情動作和剛性頭部動作;使用該臉部表情動作來擷取複數個特徵資料序列,該等特徵資料序列的每一個對應於複數個臉部表情動作的其中之一者;以及將該擷取的特徵資料序列映射至頭像臉部。
- 如申請專利範圍第19項之物件,當該等指令被機器所執行時,致使該機器用以:將該剛性頭部動作映射至該頭像臉部。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2011/072603 WO2012139276A1 (en) | 2011-04-11 | 2011-04-11 | Avatar facial expression techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201303747A TW201303747A (zh) | 2013-01-16 |
TWI526947B true TWI526947B (zh) | 2016-03-21 |
Family
ID=47008781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101112310A TWI526947B (zh) | 2011-04-11 | 2012-04-06 | 頭像臉部表情技術 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9330483B2 (zh) |
TW (1) | TWI526947B (zh) |
WO (1) | WO2012139276A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
Families Citing this family (190)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9105014B2 (en) | 2009-02-03 | 2015-08-11 | International Business Machines Corporation | Interactive avatar in messaging environment |
US9053562B1 (en) | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
US10049482B2 (en) | 2011-07-22 | 2018-08-14 | Adobe Systems Incorporated | Systems and methods for animation recommendations |
US10748325B2 (en) | 2011-11-17 | 2020-08-18 | Adobe Inc. | System and method for automatic rigging of three dimensional characters for facial animation |
CN104115503A (zh) | 2011-12-29 | 2014-10-22 | 英特尔公司 | 使用化身的通信 |
US9747495B2 (en) * | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
CN104170358B (zh) | 2012-04-09 | 2016-05-11 | 英特尔公司 | 用于化身管理和选择的系统和方法 |
WO2013166588A1 (en) | 2012-05-08 | 2013-11-14 | Bitstrips Inc. | System and method for adaptable avatars |
US9746990B2 (en) * | 2012-09-28 | 2017-08-29 | Intel Corporation | Selectively augmenting communications transmitted by a communication device |
KR101988279B1 (ko) | 2013-01-07 | 2019-06-12 | 삼성전자 주식회사 | 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
WO2014139118A1 (en) * | 2013-03-14 | 2014-09-18 | Intel Corporation | Adaptive facial expression calibration |
WO2014139142A1 (en) | 2013-03-15 | 2014-09-18 | Intel Corporation | Scalable avatar messaging |
WO2014194439A1 (en) * | 2013-06-04 | 2014-12-11 | Intel Corporation | Avatar-based video encoding |
US9378576B2 (en) * | 2013-06-07 | 2016-06-28 | Faceshift Ag | Online modeling for real-time facial animation |
US9547808B2 (en) * | 2013-07-17 | 2017-01-17 | Emotient, Inc. | Head-pose invariant recognition of facial attributes |
US9477878B2 (en) * | 2014-01-28 | 2016-10-25 | Disney Enterprises, Inc. | Rigid stabilization of facial expressions |
US10438631B2 (en) | 2014-02-05 | 2019-10-08 | Snap Inc. | Method for real-time video processing involving retouching of an object in the video |
WO2015145219A1 (en) | 2014-03-28 | 2015-10-01 | Navaratnam Ratnakumar | Systems for remote service of customers using virtual and physical mannequins |
WO2016011654A1 (en) * | 2014-07-25 | 2016-01-28 | Intel Corporation | Avatar facial expression animations with head rotation |
WO2016045015A1 (en) * | 2014-09-24 | 2016-03-31 | Intel Corporation | Avatar audio communication systems and techniques |
WO2016074128A1 (en) * | 2014-11-10 | 2016-05-19 | Intel Corporation | Image capturing apparatus and method |
CN107209953A (zh) | 2014-12-23 | 2017-09-26 | 英特尔公司 | 用于渲染3d模型化身的略图选择 |
EP3410399A1 (en) | 2014-12-23 | 2018-12-05 | Intel Corporation | Facial gesture driven animation of non-facial features |
US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
US9747573B2 (en) | 2015-03-23 | 2017-08-29 | Avatar Merger Sub II, LLC | Emotion recognition for workforce analytics |
US10339365B2 (en) | 2016-03-31 | 2019-07-02 | Snap Inc. | Automated avatar generation |
US10474353B2 (en) | 2016-05-31 | 2019-11-12 | Snap Inc. | Application control using a gesture based trigger |
US10062198B2 (en) | 2016-06-23 | 2018-08-28 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
US10559111B2 (en) | 2016-06-23 | 2020-02-11 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
US10360708B2 (en) | 2016-06-30 | 2019-07-23 | Snap Inc. | Avatar based ideogram generation |
CN107633542A (zh) * | 2016-07-19 | 2018-01-26 | 珠海金山网络游戏科技有限公司 | 一种捏脸编辑和动画附加融合方法和系统 |
US10855632B2 (en) | 2016-07-19 | 2020-12-01 | Snap Inc. | Displaying customized electronic messaging graphics |
US10609036B1 (en) | 2016-10-10 | 2020-03-31 | Snap Inc. | Social media post subscribe requests for buffer user accounts |
US10198626B2 (en) | 2016-10-19 | 2019-02-05 | Snap Inc. | Neural networks for facial modeling |
US10432559B2 (en) | 2016-10-24 | 2019-10-01 | Snap Inc. | Generating and displaying customized avatars in electronic messages |
US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
US11616745B2 (en) | 2017-01-09 | 2023-03-28 | Snap Inc. | Contextual generation and selection of customized media content |
US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
US10242477B1 (en) | 2017-01-16 | 2019-03-26 | Snap Inc. | Coded vision system |
US10951562B2 (en) | 2017-01-18 | 2021-03-16 | Snap. Inc. | Customized contextual media content item generation |
US10454857B1 (en) | 2017-01-23 | 2019-10-22 | Snap Inc. | Customized digital avatar accessories |
US10726602B2 (en) * | 2017-02-03 | 2020-07-28 | Sony Corporation | Apparatus and method to generate realistic three-dimensional (3D) model animation |
KR101908851B1 (ko) * | 2017-04-14 | 2018-10-17 | 한국 한의학 연구원 | 얼굴 자세 보정 장치 및 방법 |
US11069103B1 (en) | 2017-04-20 | 2021-07-20 | Snap Inc. | Customized user interface for electronic communications |
US10212541B1 (en) | 2017-04-27 | 2019-02-19 | Snap Inc. | Selective location-based identity communication |
CN110800018A (zh) | 2017-04-27 | 2020-02-14 | 斯纳普公司 | 用于社交媒体平台的朋友位置共享机制 |
US11893647B2 (en) | 2017-04-27 | 2024-02-06 | Snap Inc. | Location-based virtual avatars |
US10679428B1 (en) | 2017-05-26 | 2020-06-09 | Snap Inc. | Neural network-based image stream modification |
WO2018227349A1 (zh) * | 2017-06-12 | 2018-12-20 | 美的集团股份有限公司 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
US11122094B2 (en) | 2017-07-28 | 2021-09-14 | Snap Inc. | Software application manager for messaging applications |
US10748322B1 (en) | 2017-10-13 | 2020-08-18 | Umojify, Inc. | Systems and methods for generating cartoon images from images |
US10586368B2 (en) | 2017-10-26 | 2020-03-10 | Snap Inc. | Joint audio-video facial animation system |
US10657695B2 (en) * | 2017-10-30 | 2020-05-19 | Snap Inc. | Animated chat presence |
US11460974B1 (en) | 2017-11-28 | 2022-10-04 | Snap Inc. | Content discovery refresh |
US11411895B2 (en) | 2017-11-29 | 2022-08-09 | Snap Inc. | Generating aggregated media content items for a group of users in an electronic messaging application |
KR20230049759A (ko) | 2017-11-29 | 2023-04-13 | 스냅 인코포레이티드 | 전자 메시징 애플리케이션들을 위한 그래픽 렌더링 |
US10949648B1 (en) | 2018-01-23 | 2021-03-16 | Snap Inc. | Region-based stabilized face tracking |
US10979752B1 (en) | 2018-02-28 | 2021-04-13 | Snap Inc. | Generating media content items based on location information |
US10726603B1 (en) | 2018-02-28 | 2020-07-28 | Snap Inc. | Animated expressive icon |
WO2019177870A1 (en) * | 2018-03-15 | 2019-09-19 | Magic Leap, Inc. | Animating virtual avatar facial movements |
US11310176B2 (en) | 2018-04-13 | 2022-04-19 | Snap Inc. | Content suggestion system |
US10719968B2 (en) | 2018-04-18 | 2020-07-21 | Snap Inc. | Augmented expression system |
US10198845B1 (en) | 2018-05-29 | 2019-02-05 | LoomAi, Inc. | Methods and systems for animating facial expressions |
CN110634174B (zh) * | 2018-06-05 | 2023-10-10 | 深圳市优必选科技有限公司 | 一种表情动画过渡方法、系统及智能终端 |
US11074675B2 (en) | 2018-07-31 | 2021-07-27 | Snap Inc. | Eye texture inpainting |
US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
US10896534B1 (en) | 2018-09-19 | 2021-01-19 | Snap Inc. | Avatar style transformation using neural networks |
US10895964B1 (en) | 2018-09-25 | 2021-01-19 | Snap Inc. | Interface to display shared user groups |
US10698583B2 (en) | 2018-09-28 | 2020-06-30 | Snap Inc. | Collaborative achievement interface |
US11189070B2 (en) | 2018-09-28 | 2021-11-30 | Snap Inc. | System and method of generating targeted user lists using customizable avatar characteristics |
US10904181B2 (en) | 2018-09-28 | 2021-01-26 | Snap Inc. | Generating customized graphics having reactions to electronic message content |
US11245658B2 (en) | 2018-09-28 | 2022-02-08 | Snap Inc. | System and method of generating private notifications between users in a communication session |
CN109191570B (zh) * | 2018-09-29 | 2023-08-22 | 网易(杭州)网络有限公司 | 游戏角色脸部模型的调整方法、装置、处理器及终端 |
US10872451B2 (en) | 2018-10-31 | 2020-12-22 | Snap Inc. | 3D avatar rendering |
US11103795B1 (en) | 2018-10-31 | 2021-08-31 | Snap Inc. | Game drawer |
US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
US10902661B1 (en) | 2018-11-28 | 2021-01-26 | Snap Inc. | Dynamic composite user identifier |
US11199957B1 (en) | 2018-11-30 | 2021-12-14 | Snap Inc. | Generating customized avatars based on location information |
US10861170B1 (en) | 2018-11-30 | 2020-12-08 | Snap Inc. | Efficient human pose tracking in videos |
US11055514B1 (en) | 2018-12-14 | 2021-07-06 | Snap Inc. | Image face manipulation |
US11516173B1 (en) | 2018-12-26 | 2022-11-29 | Snap Inc. | Message composition interface |
US11032670B1 (en) | 2019-01-14 | 2021-06-08 | Snap Inc. | Destination sharing in location sharing system |
US10939246B1 (en) | 2019-01-16 | 2021-03-02 | Snap Inc. | Location-based context information sharing in a messaging system |
US11294936B1 (en) | 2019-01-30 | 2022-04-05 | Snap Inc. | Adaptive spatial density based clustering |
US10656797B1 (en) | 2019-02-06 | 2020-05-19 | Snap Inc. | Global event-based avatar |
US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
US10936066B1 (en) | 2019-02-13 | 2021-03-02 | Snap Inc. | Sleep detection in a location sharing system |
US10964082B2 (en) | 2019-02-26 | 2021-03-30 | Snap Inc. | Avatar based on weather |
US10852918B1 (en) | 2019-03-08 | 2020-12-01 | Snap Inc. | Contextual information in chat |
US11868414B1 (en) | 2019-03-14 | 2024-01-09 | Snap Inc. | Graph-based prediction for contact suggestion in a location sharing system |
US11852554B1 (en) | 2019-03-21 | 2023-12-26 | Snap Inc. | Barometer calibration in a location sharing system |
US10674311B1 (en) | 2019-03-28 | 2020-06-02 | Snap Inc. | Points of interest in a location sharing system |
US11166123B1 (en) | 2019-03-28 | 2021-11-02 | Snap Inc. | Grouped transmission of location data in a location sharing system |
CN109922355B (zh) * | 2019-03-29 | 2020-04-17 | 广州虎牙信息科技有限公司 | 虚拟形象直播方法、虚拟形象直播装置和电子设备 |
US10992619B2 (en) | 2019-04-30 | 2021-04-27 | Snap Inc. | Messaging system with avatar generation |
USD916811S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
USD916810S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
USD916809S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
USD916872S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
USD916871S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
US10893385B1 (en) | 2019-06-07 | 2021-01-12 | Snap Inc. | Detection of a physical collision between two client devices in a location sharing system |
US11188190B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | Generating animation overlays in a communication session |
US11676199B2 (en) | 2019-06-28 | 2023-06-13 | Snap Inc. | Generating customizable avatar outfits |
US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
US11307747B2 (en) | 2019-07-11 | 2022-04-19 | Snap Inc. | Edge gesture interface with smart interactions |
US11551393B2 (en) | 2019-07-23 | 2023-01-10 | LoomAi, Inc. | Systems and methods for animation generation |
US11455081B2 (en) | 2019-08-05 | 2022-09-27 | Snap Inc. | Message thread prioritization interface |
US10911387B1 (en) | 2019-08-12 | 2021-02-02 | Snap Inc. | Message reminder interface |
KR102618732B1 (ko) * | 2019-08-27 | 2023-12-27 | 엘지전자 주식회사 | 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법 |
US11320969B2 (en) | 2019-09-16 | 2022-05-03 | Snap Inc. | Messaging system with battery level sharing |
US11425062B2 (en) | 2019-09-27 | 2022-08-23 | Snap Inc. | Recommended content viewed by friends |
US11080917B2 (en) | 2019-09-30 | 2021-08-03 | Snap Inc. | Dynamic parameterized user avatar stories |
US11218838B2 (en) | 2019-10-31 | 2022-01-04 | Snap Inc. | Focused map-based context information surfacing |
US11063891B2 (en) | 2019-12-03 | 2021-07-13 | Snap Inc. | Personalized avatar notification |
US11128586B2 (en) | 2019-12-09 | 2021-09-21 | Snap Inc. | Context sensitive avatar captions |
US11036989B1 (en) | 2019-12-11 | 2021-06-15 | Snap Inc. | Skeletal tracking using previous frames |
US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
US11128715B1 (en) | 2019-12-30 | 2021-09-21 | Snap Inc. | Physical friend proximity in chat |
US11140515B1 (en) | 2019-12-30 | 2021-10-05 | Snap Inc. | Interfaces for relative device positioning |
US11169658B2 (en) | 2019-12-31 | 2021-11-09 | Snap Inc. | Combined map icon with action indicator |
US11991419B2 (en) | 2020-01-30 | 2024-05-21 | Snap Inc. | Selecting avatars to be included in the video being generated on demand |
KR20220133249A (ko) | 2020-01-30 | 2022-10-04 | 스냅 인코포레이티드 | 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템 |
US11036781B1 (en) | 2020-01-30 | 2021-06-15 | Snap Inc. | Video generation system to render frames on demand using a fleet of servers |
US11356720B2 (en) | 2020-01-30 | 2022-06-07 | Snap Inc. | Video generation system to render frames on demand |
US11284144B2 (en) | 2020-01-30 | 2022-03-22 | Snap Inc. | Video generation system to render frames on demand using a fleet of GPUs |
US11619501B2 (en) | 2020-03-11 | 2023-04-04 | Snap Inc. | Avatar based on trip |
US11217020B2 (en) | 2020-03-16 | 2022-01-04 | Snap Inc. | 3D cutout image modification |
US11625873B2 (en) | 2020-03-30 | 2023-04-11 | Snap Inc. | Personalized media overlay recommendation |
US11818286B2 (en) | 2020-03-30 | 2023-11-14 | Snap Inc. | Avatar recommendation and reply |
CN115699130A (zh) | 2020-03-31 | 2023-02-03 | 斯纳普公司 | 增强现实美容产品教程 |
US11956190B2 (en) | 2020-05-08 | 2024-04-09 | Snap Inc. | Messaging system with a carousel of related entities |
CN111695471B (zh) * | 2020-06-02 | 2023-06-27 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、设备以及存储介质 |
US11922010B2 (en) | 2020-06-08 | 2024-03-05 | Snap Inc. | Providing contextual information with keyboard interface for messaging system |
US11543939B2 (en) | 2020-06-08 | 2023-01-03 | Snap Inc. | Encoded image based messaging system |
US11356392B2 (en) | 2020-06-10 | 2022-06-07 | Snap Inc. | Messaging system including an external-resource dock and drawer |
US11580682B1 (en) | 2020-06-30 | 2023-02-14 | Snap Inc. | Messaging system with augmented reality makeup |
US11863513B2 (en) | 2020-08-31 | 2024-01-02 | Snap Inc. | Media content playback and comments management |
US11360733B2 (en) | 2020-09-10 | 2022-06-14 | Snap Inc. | Colocated shared augmented reality without shared backend |
US11470025B2 (en) | 2020-09-21 | 2022-10-11 | Snap Inc. | Chats with micro sound clips |
US11452939B2 (en) | 2020-09-21 | 2022-09-27 | Snap Inc. | Graphical marker generation system for synchronizing users |
US11910269B2 (en) | 2020-09-25 | 2024-02-20 | Snap Inc. | Augmented reality content items including user avatar to share location |
US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
US12008811B2 (en) | 2020-12-30 | 2024-06-11 | Snap Inc. | Machine learning-based selection of a representative video frame within a messaging application |
US11790531B2 (en) | 2021-02-24 | 2023-10-17 | Snap Inc. | Whole body segmentation |
US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
US11978283B2 (en) | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
US11544885B2 (en) | 2021-03-19 | 2023-01-03 | Snap Inc. | Augmented reality experience based on physical items |
US11562548B2 (en) | 2021-03-22 | 2023-01-24 | Snap Inc. | True size eyewear in real time |
DE102021204611A1 (de) | 2021-05-06 | 2022-11-10 | Continental Automotive Technologies GmbH | Computerimplementiertes Verfahren zur Erzeugung von Trainingsdaten für die Verwendung im Bereich der Fahrzeuginsassenbeobachtung |
US11636654B2 (en) | 2021-05-19 | 2023-04-25 | Snap Inc. | AR-based connected portal shopping |
US11941227B2 (en) | 2021-06-30 | 2024-03-26 | Snap Inc. | Hybrid search system for customizable media |
US11854069B2 (en) | 2021-07-16 | 2023-12-26 | Snap Inc. | Personalized try-on ads |
US11983462B2 (en) | 2021-08-31 | 2024-05-14 | Snap Inc. | Conversation guided augmented reality experience |
US11908083B2 (en) | 2021-08-31 | 2024-02-20 | Snap Inc. | Deforming custom mesh based on body mesh |
US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
US11663792B2 (en) | 2021-09-08 | 2023-05-30 | Snap Inc. | Body fitted accessory with physics simulation |
US11900506B2 (en) | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
US11798238B2 (en) | 2021-09-14 | 2023-10-24 | Snap Inc. | Blending body mesh into external mesh |
US11836866B2 (en) | 2021-09-20 | 2023-12-05 | Snap Inc. | Deforming real-world object using an external mesh |
US11636662B2 (en) | 2021-09-30 | 2023-04-25 | Snap Inc. | Body normal network light and rendering control |
US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
US11836862B2 (en) | 2021-10-11 | 2023-12-05 | Snap Inc. | External mesh with vertex attributes |
US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
US11790614B2 (en) | 2021-10-11 | 2023-10-17 | Snap Inc. | Inferring intent from pose and speech input |
US11763481B2 (en) | 2021-10-20 | 2023-09-19 | Snap Inc. | Mirror-based augmented reality experience |
US11996113B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Voice notes with changing effects |
US11995757B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Customized animation from video |
US12020358B2 (en) | 2021-10-29 | 2024-06-25 | Snap Inc. | Animated custom sticker creation |
US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
US11748958B2 (en) | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
US11823346B2 (en) | 2022-01-17 | 2023-11-21 | Snap Inc. | AR body part tracking system |
US11954762B2 (en) | 2022-01-19 | 2024-04-09 | Snap Inc. | Object replacement system |
US12002146B2 (en) | 2022-03-28 | 2024-06-04 | Snap Inc. | 3D modeling based on neural light field |
US12020384B2 (en) | 2022-06-21 | 2024-06-25 | Snap Inc. | Integrating augmented reality experiences with other components |
US12020386B2 (en) | 2022-06-23 | 2024-06-25 | Snap Inc. | Applying pregenerated virtual experiences in new location |
US11870745B1 (en) | 2022-06-28 | 2024-01-09 | Snap Inc. | Media gallery sharing and management |
US11893166B1 (en) | 2022-11-08 | 2024-02-06 | Snap Inc. | User avatar movement control using an augmented reality eyewear device |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6072496A (en) | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
US6504546B1 (en) * | 2000-02-08 | 2003-01-07 | At&T Corp. | Method of modeling objects to synthesize three-dimensional, photo-realistic animations |
CN100416612C (zh) * | 2006-09-14 | 2008-09-03 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
US20080136814A1 (en) * | 2006-09-17 | 2008-06-12 | Chang Woo Chu | System and method for generating 3-d facial model and animation using one video camera |
US8199152B2 (en) * | 2007-01-16 | 2012-06-12 | Lucasfilm Entertainment Company Ltd. | Combining multiple session content for animation libraries |
TWI365416B (en) | 2007-02-16 | 2012-06-01 | Ind Tech Res Inst | Method of emotion recognition and learning new identification information |
US8374422B2 (en) | 2008-04-14 | 2013-02-12 | Xid Technologies Pte Ltd. | Face expressions identification |
TWI357022B (en) | 2008-05-09 | 2012-01-21 | Nat Univ Chin Yi Technology | Recognizing apparatus and method for facial expres |
TW201028934A (en) | 2009-01-21 | 2010-08-01 | Univ Nat Cheng Kung | Facial expression recognition method and system thereof |
JP2011090466A (ja) * | 2009-10-21 | 2011-05-06 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
CN101826217A (zh) * | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
-
2011
- 2011-04-11 WO PCT/CN2011/072603 patent/WO2012139276A1/en active Application Filing
- 2011-04-11 US US13/977,682 patent/US9330483B2/en not_active Expired - Fee Related
-
2012
- 2012-04-06 TW TW101112310A patent/TWI526947B/zh active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
US11595617B2 (en) | 2012-04-09 | 2023-02-28 | Intel Corporation | Communication using interactive avatars |
US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
Also Published As
Publication number | Publication date |
---|---|
US9330483B2 (en) | 2016-05-03 |
TW201303747A (zh) | 2013-01-16 |
WO2012139276A1 (en) | 2012-10-18 |
US20140035934A1 (en) | 2014-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI526947B (zh) | 頭像臉部表情技術 | |
Guo et al. | Ad-nerf: Audio driven neural radiance fields for talking head synthesis | |
US20210390767A1 (en) | Computing images of head mounted display wearer | |
Kartynnik et al. | Real-time facial surface geometry from monocular video on mobile GPUs | |
Thies et al. | Headon: Real-time reenactment of human portrait videos | |
WO2019223463A1 (zh) | 图像处理方法、装置、存储介质和计算机设备 | |
Thies et al. | Facevr: Real-time facial reenactment and eye gaze control in virtual reality | |
CN112819944B (zh) | 三维人体模型重建方法、装置、电子设备及存储介质 | |
US9792479B2 (en) | Geometry tracking | |
Radke | Computer vision for visual effects | |
CN111971713A (zh) | 使用图像和时间跟踪神经网络进行的3d面部捕获和修改 | |
US20170148201A1 (en) | Determining control values of an animation model using performance capture | |
US20130129141A1 (en) | Methods and Apparatus for Facial Feature Replacement | |
CN112884881A (zh) | 三维人脸模型重建方法、装置、电子设备及存储介质 | |
US8854376B1 (en) | Generating animation from actor performance | |
Elgharib et al. | Egocentric videoconferencing | |
TWI808321B (zh) | 應用於畫面顯示的物件透明度改變方法及實物投影機 | |
Guzov et al. | Visually plausible human-object interaction capture from wearable sensors | |
CN114049678B (zh) | 一种基于深度学习的面部动作捕捉方法及系统 | |
US10656722B2 (en) | Sensor system for collecting gestural data in two-dimensional animation | |
Song et al. | Tri $^{2} $-plane: Volumetric Avatar Reconstruction with Feature Pyramid | |
US20240233230A9 (en) | Automated system for generation of facial animation rigs | |
US20240135616A1 (en) | Automated system for generation of facial animation rigs | |
Condell et al. | HandPuppet3D: Motion capture and analysis for character animation | |
Hong et al. | A novel Gravity-FREAK feature extraction and Gravity-KLT tracking registration algorithm based on iPhone MEMS mobile sensor in mobile environment |