TW201719567A - 頭像管理和選擇的系統及方法 - Google Patents
頭像管理和選擇的系統及方法 Download PDFInfo
- Publication number
- TW201719567A TW201719567A TW105144327A TW105144327A TW201719567A TW 201719567 A TW201719567 A TW 201719567A TW 105144327 A TW105144327 A TW 105144327A TW 105144327 A TW105144327 A TW 105144327A TW 201719567 A TW201719567 A TW 201719567A
- Authority
- TW
- Taiwan
- Prior art keywords
- computing device
- avatar
- user
- video call
- display
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一種以動畫頭像取代參與的使用者之實際即時影像的視頻通訊系統。一種方法可包含選擇頭像、發起通訊、擷取影像、偵測在影像中的臉部、從臉部提取特徵、將臉部特徵轉換成頭像參數以及傳送至少一頭像選擇或頭像參數。在與遠端使用者主動通訊期間系統配置成允許使用者選擇新頭像。
Description
本發明係關於視頻通訊及互動,尤其是關於用於視頻通訊及/或互動的管理及選擇頭像的設備及方法。
在行動裝置中可用的各種功能日益增加已引發使用者除了簡單的通話外之透過視頻通訊的渴望。例如,使用者可發起“視頻通話”、“視頻會議”等等,其中裝置中的攝影機及麥克風擷取使用者的音頻及即時視頻用於傳送給一或多個接收者,例如其他行動裝置、桌上型電腦、視頻會議系統等等。即時視頻通訊可涉及大量資料的傳送(例如,依照攝影機的技術,用來處理即時影像資訊之特定的視頻編解碼器等)。考慮到目前2G/3G無線技術的頻寬限制,以及新興的4G無線技術仍有可用性限制,此意味著許多進行同步視頻通話的裝置使用者在目前的無線通訊設施的頻寬上是很大的負擔,其可能在視頻通話品質上產生負面的影響。
100‧‧‧裝置對裝置系統
102‧‧‧裝置
102’‧‧‧裝置
104‧‧‧攝影機
104’‧‧‧攝影機
106‧‧‧麥克風
106’‧‧‧麥克風
107‧‧‧揚聲器
108‧‧‧顯示器
108’‧‧‧顯示器
110‧‧‧頭像
112‧‧‧裝置
112’‧‧‧裝置
114‧‧‧攝影機
114’‧‧‧攝影機
116‧‧‧麥克風
116’‧‧‧麥克風
117‧‧‧揚聲器
118‧‧‧顯示器
118’‧‧‧顯示器
120‧‧‧頭像
122‧‧‧網路
124‧‧‧伺服器
124’‧‧‧伺服器
126‧‧‧虛擬空間系統
128‧‧‧虛擬空間
200‧‧‧攝影機、音頻及使用者輸入框架模組
202‧‧‧臉部偵測及追蹤模組
204‧‧‧特徵提取模組
206‧‧‧觸控偵測模組
208‧‧‧頭像選擇模組
210‧‧‧頭像控制模組
212‧‧‧顯示模組
214‧‧‧通訊模組
216‧‧‧反饋頭像
218‧‧‧處理器
320a‧‧‧第一頭像選擇介面
320b‧‧‧第二頭像選擇介面
322‧‧‧頭像資料庫
400‧‧‧觸控起始位置
402‧‧‧觸控終止位置
404‧‧‧方向
406‧‧‧頭像選擇應用程式
408‧‧‧圖形化使用者介面
410a‧‧‧頭像模型
410b‧‧‧頭像模型
410(1)‧‧‧頭像模型
410(2)‧‧‧頭像模型
410(3)‧‧‧頭像模型
412‧‧‧預覽模式幀
500‧‧‧WiFi連接
502‧‧‧網際網路
504‧‧‧WiFi連接
506‧‧‧企業級無線網路基地台
508‧‧‧閘道器
510‧‧‧防火牆
512‧‧‧媒體及訊號路徑
514‧‧‧家用無線網路基地台
所申請標的特徵及優點將藉由下列與其相符之詳細描述的實施方式而變得明顯,其中該詳細描述應參照所述之圖式,其中:圖1A係描繪與本發明各種實施例相符的範例裝置對裝置系統;圖1B係描繪與本發明各種實施例相符的範例虛擬空間系統;圖2係描繪與本發明各種實施例相符的範例裝置;圖3係更加詳細地描繪圖2的裝置;圖4A及4B係描繪與本發明各種實施例相符的選擇頭像的範例方法;圖5係根據本發明至少一實施例描繪範例系統實施;以及圖6係根據本發明至少一實施例的範例操作流程圖。
儘管下列詳細描述將參照說明性實施例來進行,許多替換、修改及其變更對於本領域中具通常知識者將是明顯的。
以概述的方式,本發明通常針對使用頭像的視頻通訊及互動的系統及方法。更具體地,符合本發明的
系統及方法大致上提供頭像模型的管理及選擇,以供在視頻通訊及互動期間使用。使用頭像而非即時影像大幅降低要傳送的資料量,因此,頭像通訊需要較小的頻寬。
在一實施例中,在耦合至攝影機的裝置中啟動應用程式。應用程式可配置成允許使用者選擇在遠端裝置上、虛擬空間中等等所顯示的頭像。接著,裝置可配置成發起與至少一其他裝置、虛擬空間等的通訊。例如,可在2G、3G、4G蜂巢式連接上建立通訊。可替代地,通訊可透過WiFi連接建立在網際網路上。通訊建立後,攝影機可配置成開始擷取影像。然後,在擷取的影像上執行臉部偵測/追蹤,以及在臉部上執行特徵提取。接著,在虛擬空間等之中,偵測到的臉部特徵上的臉部/頭部變動及/或變化被轉換成參數,其用於在至少一其他裝置上將頭像製作成動畫。然後,傳送至少一頭像選擇及頭像參數。在一實施例中,接收至少一遠端頭像選擇或遠端頭像參數。遠端頭像選擇可使裝置顯示頭像,而遠端頭像參數可使裝置將顯示的頭像製作成動畫。音頻通訊透過已知方法而伴隨於頭像動畫
在主動通訊期間,裝置的使用者可改變目前顯示的頭像以及選擇將被顯示的不同頭像。在與遠端裝置的主動通訊期間,使用者可存取介面,其配置成允許使用者在頭像中瀏覽以從該些頭像中選擇。頭像選擇接著被傳送至遠端裝置,隨即遠端裝置將頭像選擇及關聯的參數與在遠端裝置上的頭像檔案相比較,以判定相匹配的頭像是
否存在遠端裝置上。若判定為遠端裝置包含與頭像選擇相匹配的頭像,則在遠端裝置上顯示選擇的頭像。若判定為遠端裝置不包含相匹配的頭像,失敗訊息則提交給使用者,失敗訊息指示選擇的頭像不能被存取及/或處理,而使用者可繼續瀏覽及選擇不同的頭像使用。
圖1A描繪與本發明之各種實施例相符合的裝置對裝置系統100。系統100通常可包含裝置102及透過網路122通訊的裝置112。裝置102至少包含攝影機104、麥克風106及顯示器108。裝置112至少包含攝影機114、麥克風116及顯示器118。網路122包含至少一伺服器124。
裝置102及裝置112可包含各種能夠有線及/或無線通訊的硬體平台。例如,裝置102及裝置112可包含但不限於視頻會議系統、桌上型電腦、筆記型電腦、平板電腦、智慧型手機(例如,iPhones®,Android®-based phones,Blackberries®,Symbian®-based phones,Palm®-based phones等)、蜂巢式手持設備等。
攝影機104及攝影機114包含任何用於擷取數位影像的裝置,數位影像代表包含一或更多人的環境,以及可在如本文所述的環境中具有足夠解析度用於一或多個人的臉部分析。例如,攝影機104及攝影機114包含靜態攝影機(例如,配置成擷取靜態照片的攝影機)或視頻攝影機(例如,配置成擷取包括複數個幀的動態影像的攝影機)。攝影機104及攝影機114可配置成操作以使用可
見光譜中的光線或以電磁光譜的其他區段但不限於紅外光譜、紫外光譜等等的光線。攝影機104及攝影機114可分別整合至裝置102及裝置112中或可為透過有線或無線通訊配置成與裝置102及裝置112通訊的獨立裝置。攝影機104及攝影機114的具體實例可包含可與電腦、視頻監視器等連接的有線(例如,通用序列匯流排(USB)、乙太網路、火線等等)或無線(例如,WiFi、藍芽等)網路攝影機、行動裝置攝影機(例如,整合在如先前所討論的實例裝置中的手機或智慧型手機相機)、整合的筆記型電腦攝影機、整合的平板電腦攝影機(例如,iPad®,Galaxy Tab®之類)等。
裝置102及裝置112可進一步包含麥克風106及麥克風116。麥克風106及麥克風116包含任何配置成感測聲音的裝置。麥克風106及麥克風116可分別被整合至裝置102及裝置112中或可透過有線或無線通訊與裝置102及裝置112互動,有線或無線通訊如上述關於攝影機104及攝影機114的範例。顯示器108及顯示器118包含任何配置成顯示文字、靜態影像、動態影像(例如,視頻)、使用者介面、圖形等的裝置。顯示器108及顯示器118可被分別整合至裝置102及裝置112中或可透過有線或無線通訊與裝置互動,有線或無線通訊如上述關於攝影機104及攝影機114的範例。
在一實施例中,顯示器108及顯示器118配置成分別顯示頭像110及頭像120。如本文所提及的,頭
像被定義為在二維(2D)或三維(3D)之一的使用者圖形化代表。頭像不見得要與使用者的樣子相似,因此,頭像可以是逼真的代表,也可採用圖畫、卡通、素描等形式。如圖所示,裝置102可顯示代表裝置112(例如,遠端使用者)之使用者的頭像110,同樣地,裝置112可顯示代表裝置102之使用者的頭像120。因此,使用者可檢視其他使用者的代表而不必交換大量通常涉及使用即時影像的裝置對裝置通訊的資訊。
網路122可包含各種第二代(2G)、第三代(3G)、第四代(4G)基於蜂巢式的資料通訊技術、Wi-Fi無線資料通訊技術等。使用這些技術時,網路122包含至少一配置成建立及維護通訊連接的伺服器124。例如,伺服器124可配置成支援有關網際網路的通訊協定,如用於建立、修改以及終止兩方(單播)與多方(多播)會話的會話發起協定(Session Initiation Protocol,SIP)、用於呈現允許協定建立在位元組流最上的框架的互動式連接建立協定(Interactive Connectivity Establishment Protocol,ICE)、用於允許應用程式透過NAT操作以尋找其他NAT、IP位址及埠的存在,其他NAT、IP位址及埠分配給應用程式的使用者資料報協定(User Datagram Protocol,UDP)連接以連接至遠端主機的NAT(網路存取轉換器)會話傳輸應用程序協定(Session Traversal Utilities for Network Access Translators(NAT)Protocol,STUN)、用於允許NAT或防火牆後面的元件接收傳輸控
制協定(TCP)或UDP連接上的資料的使用中繼的NAT穿越協定(Traversal Using Relays around NAT,TURN)等等。
圖1B描繪與本文的各種實施例相符合的虛擬空間系統126。系統126可包含裝置102、裝置112及伺服器124。裝置102、裝置112及伺服器124可以類似於圖1A所描繪的方法持續通訊,但使用者互動可在虛擬空間128中進行而非裝置對裝置的方式。正如本文所提及的,虛擬空間可定義為實體位置的數位模擬。例如,虛擬空間128可像是如城市、路、人行道、田野、森林、島嶼等的戶外位置或如辦公室、房子、學校、商場、商店等的室內位置。
透過頭像代表的使用者可出現在虛擬空間128中互動,猶如在真實世界中。虛擬空間128可存在於一或多個耦合至網際網路的伺服器中且可由第三方維護。虛擬空間的範例包含虛擬辦公室、虛擬會議室、如第二人生(Second Life®)的虛擬世界、如魔獸世界(World of Warcraft®)的大型多人線上角色扮演遊戲(MMORPG)、如模擬市民(The Sims Online®)的大型多人線上遊戲(MMORLG)等等。在系統126中,虛擬空間128可包含複數個對應於不同使用者的頭像。顯示器108及顯示器118可顯示虛擬空間(VS)128的封裝(例如,較小的)版本,而取代顯示頭像。例如,顯示器108可顯示對應於裝置102使用者的頭像在虛擬空間128中看
到的透視圖。同樣地,顯示器118可顯示對應於裝置112使用者的頭像在虛擬空間128中看到的透視圖。頭像可能在虛擬空間128中看到的範例可包含但不限於虛擬結構(例如,建築物)、虛擬車輛、虛擬物體、虛擬動物、其他頭像等等。
圖2描繪根據本文的各種實施例的範例裝置102。雖然只描述裝置102,但是裝置112(例如,遠端裝置)可包含配置成提供相同或相似功能的資源。如先前所述的,裝置102如圖所示包含攝影機104、麥克風106及顯示器108。如一般所理解的,裝置102可進一步包含多重形式的使用者輸入(例如,按鈕、旋鈕、軌跡球、觸控螢幕等),其配置成允許使用者輸入空間資料以控制裝置102的操作(意即,操縱在裝置102上執行的圖形化使用者介面(graphical user interface,GUI))。在一實施例中,顯示器108可為觸控顯示器,其配置成允許使用者控制(意即,操縱)在裝置108上呈現的裝置102的GUI,這些將在本文中更詳細地描述。
攝影機104、麥克風106及觸控顯示器108可提供輸入給攝影機、音頻及使用者輸入框架模組200。攝影機、音頻及使用者輸入框架模組200可包含自訂、專屬、已知及/或後發展的音頻、視頻處理及/或使用者輸入代碼(或指令集),其一般為定義明確且可操作以控制至少攝影機104、麥克風106及觸控顯示器108。例如,攝影機、音頻及使用者輸入框架模組200可使攝影機104、
麥克風106及觸控顯示器108紀錄影像、物體距離、聲音及/或觸控,可處理影像、聲音、音頻訊號及/或觸控,可使影像及/或聲音再重現...等。攝影機、音頻及使用者輸入框架模組200可根據裝置102而變化,更具體地來說,是根據在裝置102中執行的操作系統(OS)。範例操作系統包含iOS®、Android®、Blackberry® OS、Symbian®、Palm® OS...等。揚聲器107可從攝影機、音頻及使用者輸入框架模組200接收音頻資訊且可配置成再重現本地聲音(例如,提供(轉換或未轉換的)使用者聲音的音頻回饋)及遠端聲音(例如,在虛擬空間中進行電話、視頻通話或互動的(轉換或未轉換的)其他方聲音)。
裝置102可進一步包含臉部偵測及追蹤模組202,其配置成識別及追蹤由攝影機104提供之影像中的頭部、臉部及/或臉部區域。例如,臉部偵測模組202可包含自訂、專屬、已知及/或後發展的臉部偵測碼(或指令集)、硬體及/或韌體,其一般為定義明確且可操作以接收標準格式影像(例如但不限於三原色(RGB)影像)及至少在一定程度上識別影像中的臉部。臉部偵測及追蹤模組202也可配置成透過一系列的影像追蹤偵測的臉部(例如,每秒24幀的視頻幀)以及基於偵測到的臉部判斷頭部位置。臉部偵測/追蹤模組202可使用的已知追蹤系統,其可包含粒子濾波器、平均位移、卡爾曼(Kalman)濾波器等,其每一個可使用邊緣分析、總和平方差分析、特徵點分析、直方圖分析、膚色分析等。
裝置102可進一步包含特徵提取模組204,其配置成辨識由臉部偵測模組202偵測到的臉部中的特徵(例如,如眼睛、眉毛、鼻子、嘴巴等的臉部標誌的位置及/或外型)。在一實施例中,在沒有臉部表情辨識之下,頭像動畫可直接基於感測到的臉部動作(例如,臉部特徵的變化)。頭像臉部上所對應的特徵點可仿效或模仿真實人的臉部變動,其稱為“表情複製”(expression clone)或“性能驅動的臉部動畫”(performance-driven facial animation)。特徵提取模組204可包含自訂、專屬、已知及/或後發展的臉部特徵辨識碼(或指令集),其一般定義明確且可操作以從攝影機104接收標準格式影像(例如,但不限於RGB影像)以及至少在一定程度上提取一或多個影像中的臉部特徵。此已知的臉部特徵系統包含但不限於科羅拉多州立大學的CSU臉部識別評估系統。
特徵提取模組204也可配置成辨識與偵測到的特徵相關聯的表情(例如,識別先前偵測到的臉部是否快樂、傷心、微笑、皺眉、驚訝、興奮...等)。因此,特徵提取模組204可進一步包含自訂、專屬、已知及/或後發展的臉部表情偵測及/或識別碼(或指令集),其一般定義明確且可操作以偵測及/或識別臉部中的表情。例如,特徵提取模組204可判斷臉部特徵(例如,眼睛、嘴巴、臉頰、牙齒...等)的大小及/或位置且可將這些臉部特徵與臉部特徵資料庫相比較,臉部特徵資料庫包含複數
個對應的臉部特徵類別(例如,微笑、皺眉、興奮、傷心...等)的臉部特徵樣本。
裝置102進一步包含觸控偵測模組206,其配置成從攝影機、音頻及使用者輸入框架模組200接收觸控資料以及基於接收的觸控資料而識別觸控事件並產生觸控輸入資料。觸控事件識別符可包含觸控顯示器108的觸控類型及/或觸控位置。針對觸控顯示器108,觸控類型可包含單擊、雙擊、按住不放、按住移動、縮放、滑動...等。觸控位置可包含觸控顯示器108的觸控起點、觸控終點及/或中介移動觸控位置...等。觸控位置可對應於觸控顯示器108的座標。觸控偵測模組206可包含自訂、專屬、已知及/或後發展的觸控偵測碼(或指令集),其一般定義明確且可操作以接收觸控資料及識別觸控事件。
裝置102進一步包含頭像選擇模組208,其配置成允許裝置102的使用者在遠端裝置上選擇用於顯示的頭像。更具體地來說,如圖3所示並在本文中更詳細地描述,在視頻通訊及互動期間,頭像選擇模組208可提供介面,其配置成允許使用者存取及瀏覽一或多個儲存於頭像資料庫中的頭像檔案,以及選擇其中一頭像以在遠端裝置上顯示。頭像選擇模組208配置成從觸控偵測模組206接收觸控輸入資料以允許使用者操縱及/或操作用於瀏覽及選擇頭像的介面,這些將在本文中更詳細地描述。
頭像選擇模組208可包含自訂、專屬、已知及/或後發展的使用者介面結構碼(或指令集),其一般
定義明確且可操作以呈現不同頭像給使用者,以便使用者可選擇其中一頭像。在一實施例中,在裝置102的頭像資料庫中可預定義一或多個頭像。預定義的頭像允許所有裝置具有相同頭像,且在互動期間只有頭像選擇(例如,預定義頭像的識別)需要被通訊至遠端裝置或虛擬空間,其降低了需要交換的資訊量。建立通訊之前可選擇頭像。頭像選擇也可發生在主動通訊的過程期間。因此,在本文中更詳細描述的,在通訊期間發送或接收在任何點上的頭像選擇,以及根據接收的頭像選擇而接收裝置改變顯示的頭像是可能的。
裝置102可進一步包含頭像控制模組210,其配置成基於觸控偵測模組206的觸控輸入資料,接收像是例如來自頭像選擇模組208的選擇頭像的使用者輸入,以及透過遠端裝置進一步傳送用於傳送及接收的此資訊。
頭像控制模組210可配置成產生使頭像變成動畫的參數。正如本文所指的,動畫可被定義為改變影像/模型的外觀。單一動畫可改變二維(2D)靜態影像的外觀,或多重動畫可依序發生以在影像中模擬動作(例如,轉頭、點頭、眨眼、說話、皺眉、微笑、大笑、眨單眼等)。用於三維(3D)模型的動畫範例包含使3D線框模型變形、使用紋理貼圖以及重新計算用於成像的模型頂點法線。在偵測到的臉部及/或提取的臉部特徵的位置中的變化可轉換成使頭像特徵與使用者的臉部特徵相似的參數。
在一實施例中,偵測到的臉部之一般的表情可轉換成一或更多使頭像呈現出相同表情的參數。頭像的表情也可誇張化以強調表情。當頭像參數可普遍使用於所有預定義的頭像時,選擇的頭像的知識就未必有需要了。然而,在一實施例中頭像參數對於選擇的頭像為特定,因此若選擇另一頭像,則可能改變頭像參數。例如,人的頭像相較於動物頭像、卡通頭像等頭像,可能需要不同參數設定(例如,可能改變不同頭像特徵)以顯示出像是快樂、傷心、生氣、驚訝等的情緒。
頭像控制模組210可包含自訂、專屬、已知及/或後發展的圖形處理代碼(或指令集),其基於由臉部偵測及追蹤模組202所偵測到的臉部/頭部位置及/或由特徵提取模組204所偵測到的臉部特徵,而一般為定義明確且可操作以產生使頭像變成動畫的參數,此頭像由頭像選擇模組208所選擇。對於臉部基於特徵的動畫方法,2D頭像動畫可能例如用影像扭曲或影像變形來完成,而3D動畫可能例如用自由變形(free form deformation,FFD)或使用在頭部的3D模型中定義的動畫結構來完成。Oddcast是一個可用於2D頭像動畫的軟體資源範例,而FaceGen是一個可用於3D頭像動畫的軟體資源範例。
頭像控制模組210可進一步接收可用於顯示頭像及使頭像變成動畫的遠端頭像選擇及遠端頭像參數,此頭像在遠端裝置上對應於使用者。頭像控制模組210可使顯示模組212在顯示器108上顯示頭像110。顯示模組
212可包含自訂、專屬、已知及/或後發展的圖形處理代碼(或指令集),其根據範例裝置對裝置實施例,一般為定義明確且可操作以在顯示器108上顯示頭像及使頭像變成動畫。例如,頭像控制模組210可接收遠端頭像選擇且可詮釋遠端頭像選擇以對應於預定的頭像。然後,顯示模組212可在顯示器108上顯示頭像110。再者,在頭像控制模組210中接收到的遠端頭像參數可被詮釋,以及可提供命令給顯示模組212以使頭像110變成動畫。
在一實施例中,二個以上的使用者可進行視頻通話。當二個以上的使用者正在視頻通話中互動,可劃分或分割顯示器108以允許同時顯示一個以上對應於遠端使用者的頭像。可替代地,在系統126中,頭像控制模組210可接收資訊,其使顯示模組212顯示對應於裝置102使用者的頭像在虛擬空間128中(例如,從頭像的虛擬透視)”看到”的。例如,顯示器108可顯示在虛擬空間128中表現的建築物、物體、動物、其他頭像等。在一實施例中,頭像控制模組210可配置成使顯示模組212顯示”反饋”頭像216。反饋頭像216表現選擇的頭像如何顯示在遠端裝置、虛擬空間等等之中。尤其是,反饋頭像216以使用者所選擇的頭像出現,以及可使用頭像控制模組210所產生的相同參數而變成動畫。如此,使用者可確定遠端使用者在其互動期間所看到的。
裝置102進一步包含通訊模組214,其配置成傳送及接收用於選擇頭像、顯示頭像、使頭像變成動畫、
顯示虛擬空間透視等等的資訊。通訊模組214可包含自訂、專屬、已知及/或後發展的通訊處理代碼(或指令集),其一般定義明確且可操作以傳送頭像選擇、頭像參數以及接收遠端頭像選擇與遠端頭像參數。通訊模組214也可傳送及接收對應於基於頭像的互動的音頻資訊。通訊模組214透過如先前所述的網路122傳送及接收上述資訊。
裝置102可進一步包含一或多個處理器218,其配置成執行關聯於裝置102及包含於其中的一或多個模組的操作。
圖3更詳細地描繪圖2的裝置102。如先前所述的,頭像選擇模組208配置成允許裝置102的使用者選擇用於在遠端裝置上顯示的頭像。如圖所示,頭像選擇模組208可提供第一頭像選擇介面320a及第二頭像選擇介面320b。第一及第二頭像選擇介面320a、320b可分別配置為允許使用者存取頭像資料庫322及瀏覽儲存於頭像資料庫322中的頭像檔案。第一及第二介面320a、320b可進一步配置成允許使用者從資料庫322中選擇頭像檔案。頭像檔案可包含頭像模型及對應的資料,其包含但不限於頭像模型的名稱或識別碼(ID)、頭像模型的類型(例如,3D或2D)、頭像檔案的大小等等。
在一實施例中,可在頭像資料庫322中預定義一或多個頭像。預定義的頭像可允許所有裝置具有相同的頭像,且在互動期間只有頭像選擇(例如,預定義頭像
的識別)需要被通訊至遠端裝置或虛擬空間,其降低了需要交換的資訊量。頭像資料庫322也可包含由使用者使用任何自訂、專屬、已知及/或後發展之頭像產生的方法所建立的自訂頭像。
可在建立通訊及/或在主動通訊過程中之前選擇頭像。因此,在通訊期間的任何點上發送或接收頭像選擇,以及根據接收的頭像選擇使接收裝置改變顯示的頭像也許是可能的。第一及第二頭像選擇介面320a、320b提供使用者從頭像資料庫322中不同的瀏覽及選擇頭像的方法,在本文中更詳細地描述。在頭像選擇上,頭像選擇模組208配置成傳送對應於選擇的頭像檔案的識別資料(例如,頭像ID)至頭像控制模組210,其將進一步依序傳送對應的頭像資料至通訊模組214以傳送至遠端裝置,以至於可在遠端裝置上顯示選擇的頭像。
當從裝置102接收到識別頭像資料,遠端裝置的頭像控制模組可配置成判別選擇頭像是否被包含在遠端裝置上以及是否能夠被顯示。更具體地來說,遠端裝置的頭像控制模組配置成比較本地使用者使用的頭像識別資料與遠端裝置之頭像資料庫之關聯的頭像檔案的識別資料。遠端裝置的頭像控制模組可進一步配置成識別具有識別資料的頭像,該識別資料與由本地使用者所選擇的頭像識別資料相匹配。
當識別在遠端裝置之頭像資料庫中的頭像檔案,其與選擇的頭像檔案相匹配,遠端裝置的頭像控制模
組可配置成傳送回應訊號至頭像控制模組210,回應訊號指示遠端裝置包含相匹配的頭像檔案。當建立遠端裝置包含相匹配的頭像檔案以及當收到指示匹配的回應訊號,在遠端裝置上顯示選擇的頭像且頭像控制模組210可配置成使顯示模組212顯示選擇的頭像。更具體地來說,選擇的頭像被顯示為“反饋”頭像216。反饋頭像216顯示如使用者所選擇的頭像,其中使用者可確定遠端使用者在其互動期間所看到的。
在遠端裝置之頭像資料庫不包含相匹配的頭像檔案的事件中,回應訊號被傳送至頭像控制模組210,回應訊號指示遠端裝置不包含相匹配的頭像檔案。當接收到回應訊號時,頭像控制模組210可配置成使顯示模組212在顯示器108上顯示警告訊息,警告訊息指示不能存取及/或處理選擇的頭像,且可進一步指示遠端裝置不包含選擇的頭像檔案。
同樣地,裝置102的頭像控制模組210可配置成接收來自遠端裝置上之使用者的遠端頭像選擇,其中頭像控制模組210可配置成判別是否在裝置102上包含來自遠端使用者之選擇的頭像檔案。更具體地來說,頭像控制模組210透過將來自遠端使用者之選擇的頭像檔案與頭像資料庫322中的頭像檔案相比較,而在裝置102上建立相匹配的頭像檔案。當在頭像資料庫322中建立相匹配的頭像檔案時,頭像控制模組210配置成使顯示模組在顯示器108上顯示遠端使用者之選擇的頭像。頭像控制模組
210進一步配置成傳送回應訊號至遠端裝置,回應訊號指示相匹配的頭像檔案。在頭像控制模組210無法建立相匹配的頭像檔案的事件中,頭像控制模組210配置成傳送回應訊號至遠端裝置,回應訊號指示裝置102不包含相匹配的頭像檔案。
圖4A及4B描繪與本發明的各種實施例相符的選擇頭像模組的範例方法。如先前所述,頭像選擇模組206包含第一及第二頭像選擇介面320a、320b,其配置成允許使用者存取頭像資料庫322及瀏覽儲存於頭像資料庫322中的頭像檔案。第一及第二介面320a、320b可進一步配置成允許使用者從資料庫322中選擇頭像檔案,以在與遠端使用者主動視頻通訊及互動的過程中顯示。
圖4A描繪第一頭像選擇介面320a的範例實施例。在描繪的實施例中,第一頭像選擇介面320a可配置成允許使用者透過滑動手勢(swiping gesture)的方式在觸控顯示器108上瀏覽頭像檔案。如圖所示,當存取第一頭像選擇介面320a時,來自可在頭像資料庫322中使用之關聯的頭像檔案的頭像模型(如圖410a所示)可呈現給使用者。使用者對觸控顯示器108使用滑動動作(swiping motion)以捲動翻閱來自儲存於頭像資料庫322中之關聯的頭像檔案的頭像模型(如圖410a、410b所示)。更具體地來說,滑動手勢可包含觸控起始位置400及觸控終止位置402。當使用者根據觸控起始及中止位置400、402以方向404使用滑動手勢時,可顯示來自頭像
資料庫322之可用的頭像給使用者。可用的頭像可透過於觸控顯示器108的每個滑動手勢而重複顯示給使用者。應注意的是,滑動手勢也可施用於方向404的相反方向。使用者可透過使用單擊、雙擊、按住不放,按住移動等方式來選擇頭像。可替代的(或除此之外)第一頭像選擇介面320a可允許使用者以如一般所理解的其他方向(例如,上下、斜對角等)的滑動手勢之方式瀏覽頭像檔案。
圖4B描繪第二頭像選擇介面320b的範例實施例。在描繪的實施例中,第二頭像選擇介面320b可配置成透過提供每個可用的頭像模型的縮圖(例如,快照視圖)而允許使用者瀏覽頭像檔案,頭像模型係儲存於頭像資料庫322中。如圖所示,使用者可透過選擇頭像選擇應用程式(app)406存取第二頭像選擇介面320b。在選擇頭像選擇應用程式406時,GUI 408可在顯示器108上對使用者呈現,其中呈現出一或多個儲存於頭像資料庫322中的頭像模型410(1)至410(3)。更具體地來說,呈現出每個頭像模型410(1)至410(3)的快照視圖。使用者可透過使用任何已知的觸控型式,例如像是對頭像模型的快照視圖的單擊,而選擇一頭像模型以在更大的預覽模式中查看(更大的頭像模型視圖)。如圖所示,使用者已選擇了頭像模型410(3),如在預覽模式幀412中所指示的,且在選擇時,GUI 408可在更大的預覽模式幀中進一步呈現選擇的頭像模型410(3)。使用者可透過對使用預覽模式幀412的任何已知的觸控型式而選擇使用於視頻通訊及互動的頭
像,觸控型式包含但不限於單擊、雙擊、按住不放、按住移動等等。
圖5描繪根據至少一實施例範例系統實施例。裝置102’配置成透過WiFi連接500(例如,在工作上)以無線通訊,伺服器124’配置成透過網際網路502協調裝置102’及112’間的連接,以及裝置112’配置成透過另一WiFi連接504(例如,在家中)以無線通訊。在一實施例中,裝置對裝置之基於頭像的視頻通話應用程式在裝置102’中被啟動。接下來的頭像選擇,應用程式可允許選擇至少一遠端裝置(例如,裝置112’)。然後,應用程式可使裝置102’發起與裝置112’的通訊。藉由裝置102’係透過企業級無線網路基地台(access point,AP)506傳送連接建立請求至裝置112’,通訊可被發起。企業級AP 506可為可用於商業環境中的AP,因此比起家用AP 514,企業級AP 506可支援更高的資料吞吐量及更多同時的無線客戶端。透過閘道器508,企業級AP 506可接收來自裝置102’的無線訊號且可經由各種商業網路進行傳送連接建立請求。然後,連接建立請求可通過防火牆510,其可配置成控制WiFi網路500流進及流出的資訊。
然後,裝置102’的連接建立請求可由伺服器124’來處理。伺服器124’可配置成IP位址的註冊、目的地位址的驗證以及NAT穿越,以便連接建立請求可被導向至在網際網路502上之正確的目的地。例如,伺服器124’可從接收來自裝置102’的連接建立請求中的資訊來分
析預定目的地(例如,遠端裝置112’),且可將訊號路由通過正確的NAT、埠以及發送至相應的目的地IP位址。根據網路配置,這些操作可能只需在連接建立期間執行。
在某些實例中,操作可在視頻通話期間重複進行用以提供通知給NAT以保持連接有效。在建立了連接之後,媒體及訊號路徑512可攜載視頻(例如,頭像選擇及/或頭像參數)及音頻資訊方向至家用AP 514。然後,裝置112’可接收連接建立請求且可配置成判別是否接受請求。例如,判定是否接受請求可包含呈現視覺敘述至裝置112’的使用者,以詢問是否接受來自裝置102’的連接請求。若裝置112’的使用者接受連接(例如,接受視頻通話),則可建立連接。然後,為了將每個使用者所選擇的頭像變成動畫,攝影機104’及攝影機114’可配置成開始擷取裝置102’及112’分別的各個使用者的影像。接著,麥克風106’及麥克風116’可配置成開始記錄來自每個使用者的音頻。當資訊交換在裝置102’及裝置112’之間開始時,顯示器108’及顯示器118’可顯示頭像及使頭像變成動畫,該等頭像係對應於裝置102’及裝置112’的使用者。
圖6係根據至少一實施例的範例操作流程圖。在操作602中,應用程式(例如,頭像基於語音通話應用程式)可在裝置中啟動。應用程式啟動隨後進行頭像的選擇。頭像選擇可包含透過應用程式呈現給使用者的介面,介面允許使用者瀏覽及從儲存於頭像資料庫的頭像檔
案中選擇。在頭像選擇之後,通訊可在操作604中被配置。用於參與視頻通話,通訊配置包含至少一遠端裝置或虛擬空間的識別。例如,使用者可從一遠端使用者/裝置的清單中選擇,遠端使用者/裝置係儲存於應用程式中,其儲存於裝置的另一相關系統中(例如,智慧型手機、手機等等中的通訊錄)、遠端地儲存於網際網路上(例如,像是Facebook、LinkedIn、Yahoo、Google+、MSN等的社群媒體網站中)。可替代地,使用者可選擇在如Second Life的虛擬空間中上線。
在操作606中,通訊可在裝置及至少一遠端裝置或虛擬空間之間發起。例如,可傳送連接建立請求至遠端裝置或虛擬空間。為了利於解釋本文,假設遠端裝置或虛擬空間接受連接建立請求。然後,在操作608中,裝置中的錄影機可開始擷取影像。影像可能為靜態影像或動態影像(例如,依序擷取的多重影像)。在操作610中,影像分析可能發生在開始於偵測/追蹤影像中的臉部/頭部。接著,可分析偵測的臉部以提取臉部特徵(例如,臉部標誌、臉部表情等等)。在操作612中,偵測的臉部/頭部位置及/或臉部特徵轉換成頭像參數。頭像參數係用於在遠端裝置上或虛擬空間中使選擇的頭像變成動畫。在操作614中,可傳送頭像選擇或頭像參數的至少之一者。
在操作616中,可顯示頭像及使頭像變成動畫。在裝置對裝置通訊(例如,系統100)的實例中,可接收來自遠端裝置的遠端頭像選擇或遠端頭像參數的至少
之一者。然後,基於接收的遠端頭像選擇可顯示對應於遠端使用者的頭像,以及基於接收的遠端頭像參數可使對應於遠端使用者的頭像變成動畫。在虛擬空間互動(例如,系統126)的實例中,可接收資訊以允許裝置顯示對應於裝置使用者的頭像所看到的。
在主動通訊期間,使用者可選擇頭像以使用,該選擇的頭像可能不同於當前所顯示的頭像。換句話說,在仍然與遠端使用者主動進行通訊的同時,使用者可切換頭像。在操作618中,可判定使用者在主動通訊期間是否決定改變頭像及存取頭像選擇介面。在操作620中,在與遠端裝置的主動通訊期間,介面可允許使用者存取及瀏覽儲存於裝置上的頭像資料庫中的頭像。在操作622中,可傳送包含對應的識別資料的頭像選擇至遠端裝置,其上遠端裝置可接收頭像選擇且將頭像選擇及對應的識別資料與關連的頭像檔案的識別資料相比較,以及在操作624中頭像選擇可儲存於遠端裝置的頭像資料庫中。
然後,在操作626中可作出是否在遠端裝置的頭像資料庫中偵測到匹配的頭像的判定。若在操作626中判定遠端裝置包含與頭像選擇匹配的頭像檔案,則操作608至616可重複進行以在遠端裝置上顯示基於使用者臉部的分析之選擇的頭像及使選擇的頭像變成動畫。反之,在操作628中,接收到失敗訊號並呈現失敗訊息給使用者,失敗訊息指示選擇的頭像無法存取及/或處理,而操作608至616可重複進行以允許使用者瀏覽及選擇不同的
頭像來使用。
然後,在操作618中可作出當前通訊是否完成了的判定。若在操作618中判定通訊未完成,則操作608至616可重複進行以繼續在遠端裝置上顯示基於使用者臉部的分析的頭像且使頭像變成動畫。反之,在操作620中可終止通訊。例如,若沒有進行進一步的視頻通話,則也可終止視頻通話應用程式。
在圖6根據實施例描繪各種操作時,應被理解的是並非所有描繪於圖6的操作都是其他實施例所必要的。的確,在本文充分考慮到在本發明的其他實施例中,描繪於圖6的操作及/或本文所述的其他操作可以未在任何圖式中具體顯示出但仍以充分符合本發明的方式組合。因此,不完全顯示於一圖式中之所請的申請專利範圍之特徵及/或操作被視為在本發明的範疇及內容之內。
在本文已描述了各種特徵、態樣及實施例。本領域中具通常知識者將要理解的是特徵、態樣及實施例易於相互組合使用且易於變更及修改。因此,本發明應被視為包括這類的組合、變更及修改。因而,本發明的廣度及範疇非由上述的範例實施例的任一者所限制,但應該僅根據下列申請專利範圍及其等效物所定義。
如在本文任何實施例中所使用的,術語“模組”可能指的是配置成執行上述操作之任一者的軟體、韌體及/或電路。軟體可以記錄在非暫態電腦可讀取儲存媒體上的套裝軟體、程式碼、指令、指令集及/或資料來實
施。韌體可以在記憶體裝置中寫死的(例如,非揮發性的)程式碼、指令或指令集及/或資料來實施。如在本文任何實施例中所使用的“電路”可包括例如固線式電路、如電腦處理器的可程式化電路之單一或其任何組合,電腦處理器包括儲存可程式化電路所執行的指令之一或多個別指令處理核心、狀態機電路及/或韌體。模組可共同或個別以組成例如積體電路(IC)、系統單晶片(SoC)、桌上型電腦、筆記型電腦、平板電腦、伺服器、智慧型手機等等的較大的系統之部分電路來實施。
在本文所述的任何操作可在包含一或多個儲存媒體的系統中實施,儲存媒體具有個別或組合地儲存於其上的指令,當一或多個處理器執行指令時,則執行此方法。在這種情況下,處理器可包含例如伺服器CPU、行動裝置CPU及/或其他可程式化電路。而且,其目的在於可在複數個實體裝置之間分配本文所述的操作,例如,在一個以上不同實體位置的處理結構。儲存媒體可包含任何類型的有形媒體,例如,包含硬碟、軟碟、光碟、唯讀光碟(CD-ROM)、可複寫光碟(CD-RW)以及磁碟片的任何類型的碟片、也包含半導體裝置,例如唯讀記憶體(ROM)、動態及靜態隨機存取記憶體、可抹除可程式化唯讀記憶體(EPROM)、電子可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、固態硬碟(SSD)、磁卡或光卡的隨機存取記憶體(RAM)、或適用於儲存電子指令的任何類型的媒體。其他實施例可以透過可程式化控制
裝置執行的軟體模組來實施。儲存媒體可為非暫態的。
在本文已採用的術語及用語是作為描述的術語而非限制性,且使用此術語及用語並沒有排除任何示出及描述的等效特徵(或部分等效特徵)的目地,以及了解到在申請專利範圍的範疇內的各種修改是可能的。因此,申請專利範圍目的在於涵蓋所有這樣的等效物。各種特徵態樣及實施例在本文中已被描述。本領域中具通常知識者將要理解的是各種特徵、態樣及實施例易於相互組合使用且易於變更及修改。因此,本發明應被視為包括此組合、變更及修改。
如本文所述的,各種實施例可使用硬體元件、軟體元件或其任何組合來實施。硬體元件的範例可包含處理器、微處理器、電路、電路元件(例如,電晶體、電阻器、電容器、電感器等等)、積體電路、特殊應用積體電路(ASIC)、可程式化邏輯裝置(PLD)、數位訊號處理器(DSP)、場可程式化閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、單晶片、晶片組等。
參考整篇說明書的“一實施例”或“實施例”意指關聯於實施例中所述的特定特徵、結構或特性係包含在至少一實施例中。因此,在整篇說明書中各個地方出現的片語“在一實施例中”或“在實施例中”未必都指相同的實施例。再者,特定特徵、結構或特性可在一或多個實施例中以任何合適的方式組合。
根據一態樣,提供一種在第一使用者裝置及
遠端使用者裝置間的主動通訊期間用於頭像管理及選擇的系統。此系統包含配置成擷取使用者輸入的第一使用者裝置。第一使用者裝置包括配置成傳送資訊至遠端使用者裝置及接收來自遠端使用者裝置的資訊的通訊模組。第一使用者裝置更包括一或多個儲存媒體,其具有個別或組合地儲存於其上的指令,當一或多個處理器執行指令時,則致使一或多個操作。操作包含發起第一使用者裝置及遠端使用者裝置之間的通訊,識別使用者輸入及基於使用者輸入來識別頭像選擇命令。頭像選擇命令包含在第一使用者裝置及遠端使用者裝置間的主動通訊期間從頭像資料庫選擇頭像檔案。操作更包含傳送對應於選擇的頭像檔案的識別資料至遠端使用者裝置,以及接收來自遠端使用者裝置的訊號,其指示頭像選擇匹配於儲存於遠端使用者裝置的頭像資料庫之中的頭像檔案。
另一範例系統包含上述組件,以及遠端使用者裝置包含一或多個儲存媒體,具有個別或組合地儲存於其上的指令,當一或多個處理器執行指令時,則致使包含接收來自第一使用者裝置的頭像選擇及識別儲存於頭像資料庫中之相匹配的頭像檔案的操作,頭像資料庫具有與選擇的頭像檔案之識別資料相匹配的識別資料。
另一範例系統包含上述組件,以及識別相匹配的頭像包含將選擇的頭像之識別資料與遠端使用者裝置之頭像資料庫的至少一頭像檔案的識別資料相比較。
另一範例系統包含上述組件,以及遠端使用
者裝置包含顯示器,其中當一或多個處理器執行指令時,則致使下列顯示頭像模型的附加操作,頭像模型係關聯於從第一使用者裝置中選擇的頭像。
另一範例系統包含上述組件,以及第一使用者裝置更包含配置成擷取影像的攝影機,其中當一或多個處理器執行指令時,則致使下列的附加操作:擷取影像、在影像中偵測臉部、從臉部提取特徵;轉換特徵為頭像參數,以及傳送至少一頭像參數至遠端輸入裝置。
另一範例系統包含上述組件,以及從臉部提取特徵包括判定臉部中的臉部表情。
另一範例系統包含上述組件,以及頭像選擇及頭像參數用於在遠端使用者裝置上產生頭像,頭像係基於臉部特徵。
另一範例系統包含上述組件,以及頭像選擇及頭像參數用於在虛擬空間中產生頭像,頭像係基於臉部特徵。
另一範例系統包含上述組件,以及當一或多個處理器執行指令時,則在第一使用者裝置及遠端使用者裝置間的主動通訊期間致使下列接收來自遠端使用者裝置的遠端頭像選擇或遠端頭像參數的至少之一者的附加操作。
另一範例系統包含上述組件,以及第一使用者裝置更包含顯示器,其中當一或多個處理器執行指令時,則致使下列顯示頭像的附加操作,頭像係基於遠端頭
像選擇。
另一範例系統包含上述組件,以及第一使用者裝置包含觸控顯示器且使用者輸入為觸控事件。
根據另一態樣,提供一種在第一使用者裝置及遠端使用者裝置間的主動通訊期間用於頭像管理及選擇的方法。此方法包含從第一使用者裝置發起通訊至遠端使用者裝置,第一使用者裝置係配置成擷取使用者輸入。方法更包含基於使用者輸入,透過第一使用者裝置識別使用者輸入以及透過第一使用者裝置識別頭像選擇命令。頭像選擇命令包含在第一使用者輸入裝置及遠端使用者輸入裝置間的主動通訊期間從頭像資料庫選擇頭像檔案。方法更包含透過第一使用者裝置傳送、識別對應於選擇的頭像檔案的資料至遠端使用者裝置,以及透過第一使用者裝置接收來自遠端使用者裝置的訊號,其指示儲存於遠端使用者裝置的頭像資料庫中的頭像檔案與頭像選擇相匹配。
另一範例方法包含上述操作,以及透過遠端使用者裝置接收來自第一使用者裝置的頭像選擇及透過遠端使用者裝置識別儲存於頭像資料庫之相匹配的頭像檔案,頭像資料庫具有與選擇的頭像檔案之識別資料相匹配的識別資料。
另一範例方法包含上述組件,以及識別相匹配的頭像包括將該選擇的頭像檔案的該識別資料與該遠端使用者裝置之該頭像資料庫的至少一頭像檔案的識別資料相比較。
另一範例方法包含上述操作,以及遠端使用者裝置包含配置成顯示頭像模型的顯示器,頭像模型係關聯於來自第一使用者裝置的選擇的頭像。
另一範例方法包含上述操作,以及第一使用者輸入裝置更包含配置成擷取影像的攝影機。
另一範例方法包含上述操作,以及更包含透過攝影機擷取影像、透過第一使用者裝置偵測影像中的臉部、透過第一使用者裝置提取臉部的特徵、透過第一使用者裝置轉換特徵為頭像參數以及透過第一使用者裝置傳送至少一頭像參數至遠端使用者裝置。
另一範例方法包含上述操作,以及從臉部提取特徵包含判定臉部中的臉部表情。
另一範例方法包含上述操作,以及頭像選擇及頭像參數用於在遠端使用者裝置上產生頭像,頭像係基於臉部特徵。
另一範例方法包含上述操作,以及頭像選擇及頭像參數用於在虛擬空間中產生頭像,頭像係基於臉部特徵。
另一範例方法包含上述操作,以及更包含在第一使用者輸入裝置及遠端使用者輸入裝置間的主動通訊期間透過第一使用者裝置接收來自遠端使用者輸入裝置的至少一遠端頭像選擇或遠端頭像參數。
另一範例方法包含上述操作,以及第一使用者裝置包含配置成顯示頭像的顯示器,頭像係基於遠端頭
像選擇。
另一範例方法包含上述操作,以及第一使用者裝置包含觸控顯示器及使用者輸入為觸控事件。
根據另一態樣,提供至少一包含指令儲存於其上的電腦可存取媒體。當被一或多個處理器執行時,則可使電腦系統在第一使用者裝置及遠端使用者裝置間的主動通訊期間執行用於頭像管理及選擇的操作。操作包含從第一使用者裝置發起通訊至遠端使用者裝置,第一使用者裝置係配置成擷取使用者輸入。操作更包含透過第一使用者裝置識別使用者輸入及透過第一使用者裝置識別基於使用者輸入的頭像選擇命令。頭像選擇命令包含在第一使用者輸入裝置及遠端使用者輸入裝置間的主動通訊期間從頭像資料庫選擇頭像檔案。操作更包含透過第一使用者裝置傳送、識別遠端使用者裝置之對應於選擇的頭像檔案的資料及透過第一使用者裝置接收來自遠端使用者裝置的訊號,其指示儲存於遠端使用者裝置的頭像資料庫中的頭像檔案與頭像選擇相匹配。
另一範例電腦可存取媒體包含上述操作,以及透過遠端使用者裝置接收來自第一使用者裝置的頭像選擇及透過遠端使用者裝置識別儲存於頭像資料庫之相匹配的頭像檔案,頭像資料庫具有與選擇的頭像檔案的識別資料相匹配的識別資料。
另一範例電腦可存取媒體包含上述組件,以及識別相匹配的頭像包括將該選擇的頭像檔案之該識別資
料與該遠端使用者裝置之該頭像資料庫的至少一頭像檔案的識別資料相比較。
另一範例電腦可存取媒體包含上述操作,以及遠端使用者裝置包含顯示器,其配置成顯示與來自第一使用者裝置之選擇的頭像關聯的頭像模型。
另一範例電腦可存取媒體包含上述操作,以及第一使用者輸入裝置更包含配置成擷取影像的攝影機。
另一範例電腦可存取媒體包含上述操作,以及更包含透過攝影機擷取影像、透過第一使用者裝置偵測影像中的臉部、透過第一使用者裝置提取臉部特徵、透過第一使用者裝置轉換特徵為頭像參數及透過第一使用者裝置傳送至少一頭像參數至遠端使用者裝置。
另一範例電腦可存取媒體包含上述操作,以及從臉部提取特徵包含判定臉部中的臉部表情。
另一範例電腦可存取媒體包含上述操作,以及頭像選擇及頭像參數用於產生遠端使用者裝置上的頭像,頭像係基於臉部特徵。
另一範例電腦可存取媒體包含上述操作,以及頭像選擇及頭像參數用於產生虛擬空間中的頭像,頭像係基於臉部特徵。
另一範例電腦可讀取媒體包含上述操作,以及更包含在第一使用者輸入裝置及遠端使用者輸入裝置間的主動通訊期間,透過第一使用者裝置接收來自遠端使用者輸入裝置的遠端頭像選擇或遠端頭像參數至少之一者。
另一範例電腦可存取媒體包含上述操作,以及第一使用者裝置包含顯示器,其配置成基於遠端頭像選擇而顯示頭像。
另一範例電腦可存取媒體包含上述操作,以及第一使用者裝置包含觸控顯示器及使用者輸入為觸控事件。
根據一態樣,在第一使用者裝置及遠端使用者裝置間的主動通訊期間提供用於頭像管理及選擇的設備。此設備包含頭像選擇模組,其包含用於允許使用者瀏覽存儲於頭像資料庫之頭像檔案的頭像資料庫及一或多個介面。頭像選擇模組配置成基於使用者輸入而接收頭像選擇命令。頭像選擇命令包含選擇的頭像檔案以在第一使用者裝置及遠端使用者裝置間的主動通訊期間顯示。設備更包含通訊模組,其配置成傳送與選擇的頭像檔案對應的識別資料至遠端使用者裝置,以及配置成進一步接收來自遠端使用者裝置的信號,其指示儲存於遠端使用者裝置之頭像資料庫的頭像檔案與選擇的頭像檔案相匹配。
另一範例設備包含上述組件,以及使用者輸入為觸控事件。
另一範例設備包含上述組件,以及更包含觸控偵測模組,其配置成在觸控顯示器上產生觸控輸入資料以回應一或多個觸控事件,及配置成傳送觸控輸入資料至頭像選擇模組。
另一範例設備包含上述組件,以及更包含頭
像控制模組,其在第一使用者裝置及遠端使用者裝置間的主動通訊期間配置成接收來自遠端使用者裝置的遠端頭像選擇。遠端頭像選擇包含至少一與遠端使用者裝置上之選擇的遠端頭像檔案對應的識別資料。
另一範例設備包含上述組件,以及頭像控制模組配置成識別儲存於頭像資料庫之相匹配的頭像檔案,其具有與選擇的遠端頭像檔案之識別資料相匹配的識別資料。
另一範例設備包含上述組件,以及識別相匹配的頭像檔案包含將選擇的遠端頭像檔案的識別資料與頭像資料庫之至少一頭像檔案的識別資料相比較。
另一範例設備包含上述組件,以及頭像控制模組配置成產生指示相匹配的頭像檔案之識別的回應訊號。
另一範例設備包含上述組件,以及更包含顯示器,其配置成顯示與選擇的遠端頭像檔案相關的頭像模組。
本文已採用的術語及用語是作為描述的術語而非限制性,且使用此術語及用語並沒有排除任何示出及描述的等效特徵(或部分等效特徵)的目地,以及了解到在申請專利範圍的範疇內的各種修改是可能的。因此,申請專利範圍目的在於涵蓋所有這樣的等效物。
100‧‧‧裝置對裝置系統
102‧‧‧裝置
104‧‧‧攝影機
106‧‧‧麥克風
107‧‧‧揚聲器
108‧‧‧顯示器
110‧‧‧頭像
112‧‧‧裝置
114‧‧‧攝影機
116‧‧‧麥克風
117‧‧‧揚聲器
118‧‧‧顯示器
120‧‧‧頭像
122‧‧‧網路
124‧‧‧伺服器
Claims (19)
- 一種一或多個非暫態性電腦可讀取儲存裝置,具有指令儲存於其上,當該等指令被第一計算裝置的至少一個處理器所執行時,導致下列操作包括:使能夠針對該第一計算裝置與第二計算裝置之間的視頻通話而選擇第一頭像;針對該視頻通話,辨識該第一計算裝置之使用者的一或多個臉部特徵;針對該視頻通話,產生要被傳送至該第二計算裝置的資訊,以使該所選擇的第一頭像活生生地顯現於該第二計算裝置的顯示器上,其中,該資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵;針對該視頻通話,使該所選擇的第一頭像顯示於該第一計算裝置上,以使該第一計算裝置之該使用者能夠觀察該所選擇的第一頭像的外觀於該第二計算裝置上;提供介面以使能夠針對該視頻通話而選擇第二頭像;針對該視頻通話,產生要被傳送至該第二計算裝置的第二資訊,以使該所選擇的第二頭像活生生地顯現於該第二計算裝置的該顯示器上,其中,該第二資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵;以及針對該視頻通話,使該所選擇的第二頭像顯示於該第一計算裝置上,以使該第一計算裝置之該使用者能夠觀察該所選擇的第二頭像的外觀於該第二計算裝置上。
- 如申請專利範圍第1項之一或多個非暫態性電腦可讀取儲存裝置,其中,該一或多個臉部特徵係要從該第一計算裝置之該使用者的一或多個視頻影像中被辨識出。
- 如申請專利範圍第1項之一或多個非暫態性電腦可讀取儲存裝置,其中,當該等指令被該第一計算裝置的該至少一個處理器所執行時,導致下列另外的操作包括:處理該第一計算裝置之該使用者要被傳送至該第二計算裝置的音頻資訊。
- 如申請專利範圍第1項之一或多個非暫態性電腦可讀取儲存裝置,其中,該介面包含圖形化使用者介面,用以使能夠從多個頭像中選擇該第一和該第二頭像。
- 一種使用頭像而與第二計算裝置實施視頻通話的第一計算裝置,該第一計算裝置包括:記憶體電路,用以儲存指令和資料;顯示裝置,用以顯示頭像;以及處理器電路,用以處理一或多個指令來實施下列操作包括:使能夠針對該視頻通話而選擇第一頭像;辨識該第一計算裝置之使用者的一或多個臉部特徵;針對該視頻通話,產生要被傳送至該第二計算裝置的資訊,以使該所選擇的第一頭像活生生地顯現於該第二計算裝置的顯示器上,其中,該資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵;使該所選擇的第一頭像顯示於該第一計算裝置上,以 使該第一計算裝置之該使用者能夠觀察該所選擇的第一頭像的外觀於該第二計算裝置上;提供介面以使能夠針對該視頻通話而選擇第二頭像;針對該視頻通話,產生要被傳送至該第二計算裝置的第二資訊,以使該所選擇的第二頭像活生生地顯現於該第二計算裝置的該顯示器上,其中,該第二資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵;以及針對該視頻通話,使該所選擇的第二頭像顯示於該第一計算裝置上,以使該第一計算裝置之該使用者能夠觀察該所選擇的第二頭像的外觀於該第二計算裝置上。
- 如申請專利範圍第5項之第一計算裝置,另包括:攝影機裝置,用以擷取該第一計算裝置之該使用者的一或多個視頻影像,其中,該一或多個臉部特徵係要從該第一計算裝置之該使用者的該一或多個所擷取的視頻影像中被辨識出。
- 如申請專利範圍第5項之第一計算裝置,另包括音頻擷取裝置,用以擷取該第一計算裝置之該使用者要被傳送至該第二計算裝置的音頻資訊。
- 如申請專利範圍第5項之第一計算裝置,其中,該介面包含圖形化使用者介面,用以使能夠從多個頭像中選擇該第一和該第二頭像。
- 一種使用頭像來通訊的方法,包括: 藉由第一計算裝置,使能夠針對該第一計算裝置與第二計算裝置之間的視頻通話而選擇第一頭像;藉由該第一計算裝置,針對該視頻通話,辨識該第一計算裝置之使用者的一或多個臉部特徵;藉由該第一計算裝置,針對該視頻通話,產生要被傳送至該第二計算裝置的資訊,以使該所選擇的第一頭像活生生地顯現於該第二計算裝置的顯示器上,其中,該資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵;藉由該第一計算裝置,針對該視頻通話,使該所選擇的第一頭像顯示於該第一計算裝置上,以使該第一計算裝置之該使用者能夠觀察該所選擇的第一頭像的外觀於該第二計算裝置上;藉由該第一計算裝置,提供介面以使能夠針對該視頻通話而選擇第二頭像;藉由該第一計算裝置,針對該視頻通話,產生要被傳送至該第二計算裝置的第二資訊,以使該所選擇的第二頭像活生生地顯現於該第二計算裝置的該顯示器上,其中,該第二資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵;以及藉由該第一計算裝置,針對該視頻通話,使該所選擇的第二頭像顯示於該第一計算裝置上,以使該第一計算裝置之該使用者能夠觀察該所選擇的第二頭像的外觀於該第二計算裝置上。
- 如申請專利範圍第9項之方法,其中,該一或多個臉部特徵係要從該第一計算裝置之該使用者的該一或多個視頻影像中被辨識出。
- 如申請專利範圍第9項之方法,另包括:藉由該第一計算裝置,處理該第一計算裝置之該使用者要被傳送至該第二計算裝置的音頻資訊。
- 如申請專利範圍第9項之方法,其中,該介面包含圖形化使用者介面,用以使能夠從多個頭像中選擇該第一和該第二頭像。
- 一種使用頭像而與第二計算裝置實施視頻通話的第一計算裝置,該第一計算裝置包括:頭像選擇模組,用以提供介面以使能夠針對該視頻通話而選擇至少第一和第二頭像;特徵提取模組,用以針對該視頻通話,辨識該第一計算裝置之使用者的一或多個臉部特徵;頭像控制模組,用以針對該視頻通話,產生要被傳送至該第二計算裝置的資訊,以使該所選擇的第一頭像活生生地顯現於該第二計算裝置的顯示器上,其中,該資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵;以及顯示模組,用以針對該視頻通話,顯示該所選擇的第一頭像於該第一計算裝置上,以使該第一計算裝置之該使用者能夠觀察該所選擇的第一頭像的外觀於該第二計算裝置上。
- 如申請專利範圍第13項之第一計算裝置,其中,該介面包含圖形化使用者介面,用以使能夠從多個頭像中選擇該第一和該第二頭像。
- 如申請專利範圍第13項之第一計算裝置,其中,該頭像控制模組係另用以產生要被傳送至該第二計算裝置的第二資訊,以使該所選擇的第二頭像活生生地顯現於該第二計算裝置的該顯示器上,其中,該第二資訊係基於該第一計算裝置之該使用者之該等所辨識的一或多個臉部特徵。
- 如申請專利範圍第15項之第一計算裝置,其中,該顯示模組係另用以顯示該所選擇的第二頭像於該第一計算裝置上,以使該第一計算裝置之該使用者能夠觀察該所選擇的第二頭像的外觀於該第二計算裝置上。
- 如申請專利範圍第13項之第一計算裝置,另包括臉部偵測及追蹤模組,用以偵測及追蹤該第一計算裝置之該使用者的臉部。
- 如申請專利範圍第13項之第一計算裝置,另包括音頻擷取裝置,用以擷取該第一計算裝置之該使用者要被傳送至該第二計算裝置的音頻資訊。
- 如申請專利範圍第13項之第一計算裝置,另包括視頻擷取裝置,用以擷取該第一計算裝置之該使用者的一或多個視頻影像,其中,該一或多個臉部特徵係要從該第一計算裝置之該使用者的該一或多個所擷取的視頻影像中被辨識出。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
??PCT/CN2012/000459 | 2012-04-09 | ||
PCT/CN2012/000459 WO2013152454A1 (en) | 2012-04-09 | 2012-04-09 | System and method for avatar management and selection |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201719567A true TW201719567A (zh) | 2017-06-01 |
TWI656505B TWI656505B (zh) | 2019-04-11 |
Family
ID=49326982
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102112378A TWI646498B (zh) | 2012-04-09 | 2013-04-08 | 頭像管理和選擇的系統及方法 |
TW105144327A TWI656505B (zh) | 2012-04-09 | 2013-04-08 | 頭像管理和選擇的系統及方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102112378A TWI646498B (zh) | 2012-04-09 | 2013-04-08 | 頭像管理和選擇的系統及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9357174B2 (zh) |
CN (1) | CN104170358B (zh) |
TW (2) | TWI646498B (zh) |
WO (1) | WO2013152454A1 (zh) |
Families Citing this family (218)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9105014B2 (en) | 2009-02-03 | 2015-08-11 | International Business Machines Corporation | Interactive avatar in messaging environment |
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
WO2013152453A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | Communication using interactive avatars |
CN104170358B (zh) | 2012-04-09 | 2016-05-11 | 英特尔公司 | 用于化身管理和选择的系统和方法 |
WO2013166588A1 (en) | 2012-05-08 | 2013-11-14 | Bitstrips Inc. | System and method for adaptable avatars |
CN103647922A (zh) * | 2013-12-20 | 2014-03-19 | 百度在线网络技术(北京)有限公司 | 虚拟视频通话方法和终端 |
US10438631B2 (en) | 2014-02-05 | 2019-10-08 | Snap Inc. | Method for real-time video processing involving retouching of an object in the video |
US9672416B2 (en) * | 2014-04-29 | 2017-06-06 | Microsoft Technology Licensing, Llc | Facial expression tracking |
GB201419441D0 (en) * | 2014-10-31 | 2014-12-17 | Microsoft Corp | Modifying video call data |
CN105578108A (zh) * | 2014-11-05 | 2016-05-11 | 爱唯秀股份有限公司 | 电子运算设备、视讯通话系统与其运行方法 |
US9948894B2 (en) | 2014-11-26 | 2018-04-17 | Hewlett-Packard Development Company, L.P. | Virtual representation of a user portion |
CN107077750A (zh) * | 2014-12-11 | 2017-08-18 | 英特尔公司 | 化身选择机制 |
WO2016101131A1 (en) | 2014-12-23 | 2016-06-30 | Intel Corporation | Augmented facial animation |
JP6152125B2 (ja) * | 2015-01-23 | 2017-06-21 | 任天堂株式会社 | プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法 |
US10803157B2 (en) | 2015-03-28 | 2020-10-13 | Intel Corporation | Gesture matching mechanism |
WO2016161556A1 (en) * | 2015-04-07 | 2016-10-13 | Intel Corporation | Avatar keyboard |
US20170069124A1 (en) * | 2015-04-07 | 2017-03-09 | Intel Corporation | Avatar generation and animations |
CN104767980B (zh) * | 2015-04-30 | 2018-05-04 | 深圳市东方拓宇科技有限公司 | 一种实时情绪演示方法、系统、装置和智能终端 |
CN105518582B (zh) * | 2015-06-30 | 2018-02-02 | 北京旷视科技有限公司 | 活体检测方法及设备 |
WO2017025485A1 (en) | 2015-08-07 | 2017-02-16 | Sensomotoric Instruments Gesellschaft Für Innovative Sensorik Gmbh | Communication system and method for providing a bionic virtual meeting room |
US10063751B2 (en) | 2015-09-24 | 2018-08-28 | Qualcomm Incorporated | System and method for accessing images with a captured query image |
CN105407313A (zh) * | 2015-10-28 | 2016-03-16 | 掌赢信息科技(上海)有限公司 | 一种视频通话方法、设备和系统 |
US10475225B2 (en) | 2015-12-18 | 2019-11-12 | Intel Corporation | Avatar animation system |
US10339365B2 (en) | 2016-03-31 | 2019-07-02 | Snap Inc. | Automated avatar generation |
US10474353B2 (en) | 2016-05-31 | 2019-11-12 | Snap Inc. | Application control using a gesture based trigger |
US9716825B1 (en) | 2016-06-12 | 2017-07-25 | Apple Inc. | User interface for camera effects |
US10360708B2 (en) | 2016-06-30 | 2019-07-23 | Snap Inc. | Avatar based ideogram generation |
US10855632B2 (en) | 2016-07-19 | 2020-12-01 | Snap Inc. | Displaying customized electronic messaging graphics |
DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
US10609036B1 (en) | 2016-10-10 | 2020-03-31 | Snap Inc. | Social media post subscribe requests for buffer user accounts |
US10198626B2 (en) | 2016-10-19 | 2019-02-05 | Snap Inc. | Neural networks for facial modeling |
US10432559B2 (en) | 2016-10-24 | 2019-10-01 | Snap Inc. | Generating and displaying customized avatars in electronic messages |
US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
US11616745B2 (en) | 2017-01-09 | 2023-03-28 | Snap Inc. | Contextual generation and selection of customized media content |
US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
US10242477B1 (en) | 2017-01-16 | 2019-03-26 | Snap Inc. | Coded vision system |
US10951562B2 (en) | 2017-01-18 | 2021-03-16 | Snap. Inc. | Customized contextual media content item generation |
US10454857B1 (en) | 2017-01-23 | 2019-10-22 | Snap Inc. | Customized digital avatar accessories |
US11069103B1 (en) | 2017-04-20 | 2021-07-20 | Snap Inc. | Customized user interface for electronic communications |
US10212541B1 (en) | 2017-04-27 | 2019-02-19 | Snap Inc. | Selective location-based identity communication |
US11893647B2 (en) | 2017-04-27 | 2024-02-06 | Snap Inc. | Location-based virtual avatars |
CN110800018A (zh) | 2017-04-27 | 2020-02-14 | 斯纳普公司 | 用于社交媒体平台的朋友位置共享机制 |
CN110490093B (zh) * | 2017-05-16 | 2020-10-16 | 苹果公司 | 表情符号录制和发送 |
DK180007B1 (en) | 2017-05-16 | 2020-01-16 | Apple Inc. | RECORDING AND SENDING EMOJI |
DK179867B1 (en) | 2017-05-16 | 2019-08-06 | Apple Inc. | RECORDING AND SENDING EMOJI |
EP3686850A1 (en) * | 2017-05-16 | 2020-07-29 | Apple Inc. | Emoji recording and sending |
US10679428B1 (en) | 2017-05-26 | 2020-06-09 | Snap Inc. | Neural network-based image stream modification |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
US11122094B2 (en) | 2017-07-28 | 2021-09-14 | Snap Inc. | Software application manager for messaging applications |
EP3688975A4 (en) * | 2017-09-26 | 2021-04-21 | Hewlett-Packard Development Company, L.P. | IDENTIFICATION OF CONFERENCE PARTICIPANTS |
US10586368B2 (en) | 2017-10-26 | 2020-03-10 | Snap Inc. | Joint audio-video facial animation system |
US10657695B2 (en) | 2017-10-30 | 2020-05-19 | Snap Inc. | Animated chat presence |
US11460974B1 (en) | 2017-11-28 | 2022-10-04 | Snap Inc. | Content discovery refresh |
KR20230049759A (ko) | 2017-11-29 | 2023-04-13 | 스냅 인코포레이티드 | 전자 메시징 애플리케이션들을 위한 그래픽 렌더링 |
US11411895B2 (en) | 2017-11-29 | 2022-08-09 | Snap Inc. | Generating aggregated media content items for a group of users in an electronic messaging application |
US10949648B1 (en) | 2018-01-23 | 2021-03-16 | Snap Inc. | Region-based stabilized face tracking |
KR102661019B1 (ko) * | 2018-02-23 | 2024-04-26 | 삼성전자주식회사 | 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 |
US10726603B1 (en) | 2018-02-28 | 2020-07-28 | Snap Inc. | Animated expressive icon |
US10979752B1 (en) | 2018-02-28 | 2021-04-13 | Snap Inc. | Generating media content items based on location information |
US10613827B2 (en) * | 2018-03-06 | 2020-04-07 | Language Line Services, Inc. | Configuration for simulating a video remote interpretation session |
US11310176B2 (en) | 2018-04-13 | 2022-04-19 | Snap Inc. | Content suggestion system |
US10719968B2 (en) | 2018-04-18 | 2020-07-21 | Snap Inc. | Augmented expression system |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
KR102637122B1 (ko) * | 2018-05-07 | 2024-02-16 | 애플 인크. | 크리에이티브 카메라 |
DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
DK201870378A1 (en) | 2018-05-07 | 2020-01-13 | Apple Inc. | DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
CN110634174B (zh) * | 2018-06-05 | 2023-10-10 | 深圳市优必选科技有限公司 | 一种表情动画过渡方法、系统及智能终端 |
US11074675B2 (en) | 2018-07-31 | 2021-07-27 | Snap Inc. | Eye texture inpainting |
US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
CN109448074A (zh) * | 2018-09-11 | 2019-03-08 | 北京达佳互联信息技术有限公司 | 群组头像的生成方法、装置、电子设备及存储介质 |
US10896534B1 (en) | 2018-09-19 | 2021-01-19 | Snap Inc. | Avatar style transformation using neural networks |
US10895964B1 (en) | 2018-09-25 | 2021-01-19 | Snap Inc. | Interface to display shared user groups |
US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11189070B2 (en) | 2018-09-28 | 2021-11-30 | Snap Inc. | System and method of generating targeted user lists using customizable avatar characteristics |
US11245658B2 (en) | 2018-09-28 | 2022-02-08 | Snap Inc. | System and method of generating private notifications between users in a communication session |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US10904181B2 (en) | 2018-09-28 | 2021-01-26 | Snap Inc. | Generating customized graphics having reactions to electronic message content |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US10698583B2 (en) | 2018-09-28 | 2020-06-30 | Snap Inc. | Collaborative achievement interface |
EP3641324A1 (en) | 2018-10-18 | 2020-04-22 | Sony Corporation | User interface for video call with content sharing |
US11103795B1 (en) | 2018-10-31 | 2021-08-31 | Snap Inc. | Game drawer |
US10872451B2 (en) | 2018-10-31 | 2020-12-22 | Snap Inc. | 3D avatar rendering |
US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
US10902661B1 (en) | 2018-11-28 | 2021-01-26 | Snap Inc. | Dynamic composite user identifier |
US10861170B1 (en) | 2018-11-30 | 2020-12-08 | Snap Inc. | Efficient human pose tracking in videos |
US11199957B1 (en) | 2018-11-30 | 2021-12-14 | Snap Inc. | Generating customized avatars based on location information |
US11055514B1 (en) | 2018-12-14 | 2021-07-06 | Snap Inc. | Image face manipulation |
US11516173B1 (en) | 2018-12-26 | 2022-11-29 | Snap Inc. | Message composition interface |
CN109727320A (zh) * | 2018-12-29 | 2019-05-07 | 三星电子(中国)研发中心 | 一种虚拟化身的生成方法和设备 |
US11032670B1 (en) | 2019-01-14 | 2021-06-08 | Snap Inc. | Destination sharing in location sharing system |
US10939246B1 (en) | 2019-01-16 | 2021-03-02 | Snap Inc. | Location-based context information sharing in a messaging system |
US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
US11294936B1 (en) | 2019-01-30 | 2022-04-05 | Snap Inc. | Adaptive spatial density based clustering |
US10656797B1 (en) | 2019-02-06 | 2020-05-19 | Snap Inc. | Global event-based avatar |
US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
US10936066B1 (en) | 2019-02-13 | 2021-03-02 | Snap Inc. | Sleep detection in a location sharing system |
KR20200101014A (ko) * | 2019-02-19 | 2020-08-27 | 삼성전자주식회사 | 아바타 추천 및 다운로드를 지원하는 전자 장치 |
US10964082B2 (en) | 2019-02-26 | 2021-03-30 | Snap Inc. | Avatar based on weather |
US10852918B1 (en) | 2019-03-08 | 2020-12-01 | Snap Inc. | Contextual information in chat |
US11868414B1 (en) | 2019-03-14 | 2024-01-09 | Snap Inc. | Graph-based prediction for contact suggestion in a location sharing system |
US11852554B1 (en) | 2019-03-21 | 2023-12-26 | Snap Inc. | Barometer calibration in a location sharing system |
US10674311B1 (en) | 2019-03-28 | 2020-06-02 | Snap Inc. | Points of interest in a location sharing system |
US11166123B1 (en) | 2019-03-28 | 2021-11-02 | Snap Inc. | Grouped transmission of location data in a location sharing system |
US10992619B2 (en) | 2019-04-30 | 2021-04-27 | Snap Inc. | Messaging system with avatar generation |
DK201970531A1 (en) | 2019-05-06 | 2021-07-09 | Apple Inc | Avatar integration with multiple applications |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
USD916811S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
USD916809S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
USD916810S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
USD916871S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a transitional graphical user interface |
USD916872S1 (en) | 2019-05-28 | 2021-04-20 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
US10893385B1 (en) | 2019-06-07 | 2021-01-12 | Snap Inc. | Detection of a physical collision between two client devices in a location sharing system |
US11676199B2 (en) | 2019-06-28 | 2023-06-13 | Snap Inc. | Generating customizable avatar outfits |
US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
US11188190B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | Generating animation overlays in a communication session |
US11307747B2 (en) | 2019-07-11 | 2022-04-19 | Snap Inc. | Edge gesture interface with smart interactions |
KR20210012724A (ko) | 2019-07-26 | 2021-02-03 | 삼성전자주식회사 | 아바타를 제공하는 전자 장치 및 그의 동작 방법 |
US11455081B2 (en) | 2019-08-05 | 2022-09-27 | Snap Inc. | Message thread prioritization interface |
US10911387B1 (en) | 2019-08-12 | 2021-02-02 | Snap Inc. | Message reminder interface |
US11320969B2 (en) | 2019-09-16 | 2022-05-03 | Snap Inc. | Messaging system with battery level sharing |
US11425062B2 (en) | 2019-09-27 | 2022-08-23 | Snap Inc. | Recommended content viewed by friends |
US11080917B2 (en) | 2019-09-30 | 2021-08-03 | Snap Inc. | Dynamic parameterized user avatar stories |
US11218838B2 (en) | 2019-10-31 | 2022-01-04 | Snap Inc. | Focused map-based context information surfacing |
US11063891B2 (en) | 2019-12-03 | 2021-07-13 | Snap Inc. | Personalized avatar notification |
US11128586B2 (en) | 2019-12-09 | 2021-09-21 | Snap Inc. | Context sensitive avatar captions |
US11036989B1 (en) | 2019-12-11 | 2021-06-15 | Snap Inc. | Skeletal tracking using previous frames |
US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
US11140515B1 (en) | 2019-12-30 | 2021-10-05 | Snap Inc. | Interfaces for relative device positioning |
US11128715B1 (en) | 2019-12-30 | 2021-09-21 | Snap Inc. | Physical friend proximity in chat |
US11169658B2 (en) | 2019-12-31 | 2021-11-09 | Snap Inc. | Combined map icon with action indicator |
US11036781B1 (en) | 2020-01-30 | 2021-06-15 | Snap Inc. | Video generation system to render frames on demand using a fleet of servers |
KR20220133249A (ko) | 2020-01-30 | 2022-10-04 | 스냅 인코포레이티드 | 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템 |
US11284144B2 (en) | 2020-01-30 | 2022-03-22 | Snap Inc. | Video generation system to render frames on demand using a fleet of GPUs |
US11356720B2 (en) | 2020-01-30 | 2022-06-07 | Snap Inc. | Video generation system to render frames on demand |
US11991419B2 (en) | 2020-01-30 | 2024-05-21 | Snap Inc. | Selecting avatars to be included in the video being generated on demand |
US11619501B2 (en) | 2020-03-11 | 2023-04-04 | Snap Inc. | Avatar based on trip |
US11217020B2 (en) | 2020-03-16 | 2022-01-04 | Snap Inc. | 3D cutout image modification |
US11625873B2 (en) | 2020-03-30 | 2023-04-11 | Snap Inc. | Personalized media overlay recommendation |
US11818286B2 (en) | 2020-03-30 | 2023-11-14 | Snap Inc. | Avatar recommendation and reply |
CN115699130A (zh) | 2020-03-31 | 2023-02-03 | 斯纳普公司 | 增强现实美容产品教程 |
US11956190B2 (en) | 2020-05-08 | 2024-04-09 | Snap Inc. | Messaging system with a carousel of related entities |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
DK202070624A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
US11543939B2 (en) | 2020-06-08 | 2023-01-03 | Snap Inc. | Encoded image based messaging system |
US11922010B2 (en) | 2020-06-08 | 2024-03-05 | Snap Inc. | Providing contextual information with keyboard interface for messaging system |
AU2021290132C1 (en) * | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
US11356392B2 (en) | 2020-06-10 | 2022-06-07 | Snap Inc. | Messaging system including an external-resource dock and drawer |
US11580682B1 (en) | 2020-06-30 | 2023-02-14 | Snap Inc. | Messaging system with augmented reality makeup |
KR20220018760A (ko) * | 2020-08-07 | 2022-02-15 | 삼성전자주식회사 | 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법 |
US11863513B2 (en) | 2020-08-31 | 2024-01-02 | Snap Inc. | Media content playback and comments management |
US11360733B2 (en) | 2020-09-10 | 2022-06-14 | Snap Inc. | Colocated shared augmented reality without shared backend |
US11452939B2 (en) | 2020-09-21 | 2022-09-27 | Snap Inc. | Graphical marker generation system for synchronizing users |
US11470025B2 (en) | 2020-09-21 | 2022-10-11 | Snap Inc. | Chats with micro sound clips |
US11910269B2 (en) | 2020-09-25 | 2024-02-20 | Snap Inc. | Augmented reality content items including user avatar to share location |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
US11140360B1 (en) * | 2020-11-10 | 2021-10-05 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
US11582424B1 (en) | 2020-11-10 | 2023-02-14 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
CN114710640B (zh) * | 2020-12-29 | 2023-06-27 | 华为技术有限公司 | 基于虚拟形象的视频通话方法、装置和终端 |
US12008811B2 (en) | 2020-12-30 | 2024-06-11 | Snap Inc. | Machine learning-based selection of a representative video frame within a messaging application |
US11790531B2 (en) | 2021-02-24 | 2023-10-17 | Snap Inc. | Whole body segmentation |
US11978283B2 (en) | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
US11544885B2 (en) | 2021-03-19 | 2023-01-03 | Snap Inc. | Augmented reality experience based on physical items |
US11562548B2 (en) | 2021-03-22 | 2023-01-24 | Snap Inc. | True size eyewear in real time |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
CN113163155B (zh) * | 2021-04-30 | 2023-09-05 | 咪咕视讯科技有限公司 | 用户头像生成方法、装置、电子设备及存储介质 |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US11636654B2 (en) | 2021-05-19 | 2023-04-25 | Snap Inc. | AR-based connected portal shopping |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
US11941227B2 (en) | 2021-06-30 | 2024-03-26 | Snap Inc. | Hybrid search system for customizable media |
US11854069B2 (en) | 2021-07-16 | 2023-12-26 | Snap Inc. | Personalized try-on ads |
US11908083B2 (en) | 2021-08-31 | 2024-02-20 | Snap Inc. | Deforming custom mesh based on body mesh |
US11983462B2 (en) | 2021-08-31 | 2024-05-14 | Snap Inc. | Conversation guided augmented reality experience |
US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
US11663792B2 (en) | 2021-09-08 | 2023-05-30 | Snap Inc. | Body fitted accessory with physics simulation |
US11900506B2 (en) | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
US11798238B2 (en) | 2021-09-14 | 2023-10-24 | Snap Inc. | Blending body mesh into external mesh |
US11836866B2 (en) | 2021-09-20 | 2023-12-05 | Snap Inc. | Deforming real-world object using an external mesh |
US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
US11636662B2 (en) | 2021-09-30 | 2023-04-25 | Snap Inc. | Body normal network light and rendering control |
US11836862B2 (en) | 2021-10-11 | 2023-12-05 | Snap Inc. | External mesh with vertex attributes |
US11790614B2 (en) | 2021-10-11 | 2023-10-17 | Snap Inc. | Inferring intent from pose and speech input |
US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
US20240096033A1 (en) * | 2021-10-11 | 2024-03-21 | Meta Platforms Technologies, Llc | Technology for creating, replicating and/or controlling avatars in extended reality |
US11763481B2 (en) | 2021-10-20 | 2023-09-19 | Snap Inc. | Mirror-based augmented reality experience |
US11996113B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Voice notes with changing effects |
US11995757B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Customized animation from video |
US12020358B2 (en) | 2021-10-29 | 2024-06-25 | Snap Inc. | Animated custom sticker creation |
US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
US11748958B2 (en) | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
US20230199147A1 (en) * | 2021-12-21 | 2023-06-22 | Snap Inc. | Avatar call platform |
US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
US11823346B2 (en) | 2022-01-17 | 2023-11-21 | Snap Inc. | AR body part tracking system |
US11954762B2 (en) | 2022-01-19 | 2024-04-09 | Snap Inc. | Object replacement system |
US20230254448A1 (en) * | 2022-02-10 | 2023-08-10 | Apple Inc. | Camera-less representation of users during communication sessions |
US12002146B2 (en) | 2022-03-28 | 2024-06-04 | Snap Inc. | 3D modeling based on neural light field |
US20230410396A1 (en) * | 2022-06-17 | 2023-12-21 | Lemon Inc. | Audio or visual input interacting with video creation |
US12020384B2 (en) | 2022-06-21 | 2024-06-25 | Snap Inc. | Integrating augmented reality experiences with other components |
US12020386B2 (en) | 2022-06-23 | 2024-06-25 | Snap Inc. | Applying pregenerated virtual experiences in new location |
US11870745B1 (en) | 2022-06-28 | 2024-01-09 | Snap Inc. | Media gallery sharing and management |
US11893166B1 (en) | 2022-11-08 | 2024-02-06 | Snap Inc. | User avatar movement control using an augmented reality eyewear device |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5880731A (en) * | 1995-12-14 | 1999-03-09 | Microsoft Corporation | Use of avatars with automatic gesturing and bounded interaction in on-line chat session |
US6169789B1 (en) | 1996-12-16 | 2001-01-02 | Sanjay K. Rao | Intelligent keyboard system |
JP3771989B2 (ja) | 1997-03-24 | 2006-05-10 | オリンパス株式会社 | 画像音声通信システムおよびテレビ電話送受信方法 |
US5953700A (en) | 1997-06-11 | 1999-09-14 | International Business Machines Corporation | Portable acoustic interface for remote access to automatic speech/speaker recognition server |
US7606936B2 (en) | 1998-05-29 | 2009-10-20 | Research In Motion Limited | System and method for redirecting data to a wireless device over a plurality of communication paths |
US6072496A (en) | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
US7003501B2 (en) | 2000-02-11 | 2006-02-21 | Maurice Ostroff | Method for preventing fraudulent use of credit cards and credit card information, and for preventing unauthorized access to restricted physical and virtual sites |
US7716133B1 (en) | 2000-03-10 | 2010-05-11 | Ncr Corporation | Self service terminal |
US7870599B2 (en) | 2000-09-05 | 2011-01-11 | Netlabs.Com, Inc. | Multichannel device utilizing a centralized out-of-band authentication system (COBAS) |
US8812319B2 (en) | 2001-01-31 | 2014-08-19 | Ibiometrics, Inc. | Dynamic pass phrase security system (DPSS) |
US7779076B2 (en) * | 2002-05-31 | 2010-08-17 | Aol Inc. | Instant messaging personalization |
CN1313979C (zh) | 2002-05-03 | 2007-05-02 | 三星电子株式会社 | 产生三维漫画的装置和方法 |
JP2004289254A (ja) | 2003-03-19 | 2004-10-14 | Matsushita Electric Ind Co Ltd | テレビ電話端末 |
GB0311208D0 (en) | 2003-05-15 | 2003-06-18 | British Telecomm | Feature based caricaturing |
KR100983745B1 (ko) | 2003-09-27 | 2010-09-24 | 엘지전자 주식회사 | 이동 통신 단말기의 아바타 생성 서비스 방법 |
US7752270B2 (en) * | 2004-01-21 | 2010-07-06 | At&T Mobility Ii Llc | Linking sounds and emoticons |
US7940932B2 (en) | 2004-04-08 | 2011-05-10 | Texas Instruments Incorporated | Methods, apparatus, and systems for securing SIM (subscriber identity module) personalization and other data on a first processor and secure communication of the SIM data to a second processor |
US7176956B2 (en) * | 2004-05-26 | 2007-02-13 | Motorola, Inc. | Video enhancement of an avatar |
TWM290286U (en) | 2004-11-22 | 2006-05-01 | Wavetronex Inc | Storage and applied devices based on images obtained from object tracking and recognition technology |
KR101141643B1 (ko) | 2005-03-07 | 2012-05-04 | 엘지전자 주식회사 | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 |
CN101035242A (zh) | 2006-03-07 | 2007-09-12 | 南京Lg新港显示有限公司 | 利用化身的向导方法及其装置 |
US8726195B2 (en) * | 2006-09-05 | 2014-05-13 | Aol Inc. | Enabling an IM user to navigate a virtual world |
CN100416612C (zh) | 2006-09-14 | 2008-09-03 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
US20080136814A1 (en) | 2006-09-17 | 2008-06-12 | Chang Woo Chu | System and method for generating 3-d facial model and animation using one video camera |
US8079905B2 (en) | 2006-11-06 | 2011-12-20 | Igt | Remote wager gaming system using a video game console |
CN1972274A (zh) | 2006-11-07 | 2007-05-30 | 搜图科技(南京)有限公司 | 基于互联网和移动应用的人脸图像变化处理系统及方法 |
US20080214168A1 (en) * | 2006-12-21 | 2008-09-04 | Ubiquity Holdings | Cell phone with Personalization of avatar |
US8199152B2 (en) | 2007-01-16 | 2012-06-12 | Lucasfilm Entertainment Company Ltd. | Combining multiple session content for animation libraries |
US8111281B2 (en) * | 2007-06-29 | 2012-02-07 | Sony Ericsson Mobile Communications Ab | Methods and terminals that control avatars during videoconferencing and other communications |
US9191497B2 (en) * | 2007-12-13 | 2015-11-17 | Google Technology Holdings LLC | Method and apparatus for implementing avatar modifications in another user's avatar |
CN101472158A (zh) | 2007-12-27 | 2009-07-01 | 上海银晨智能识别科技有限公司 | 基于人脸检测的网络摄像装置及图像形成方法 |
US8374422B2 (en) | 2008-04-14 | 2013-02-12 | Xid Technologies Pte Ltd. | Face expressions identification |
US20090315893A1 (en) | 2008-06-18 | 2009-12-24 | Microsoft Corporation | User avatar available across computing applications and devices |
CN101677389A (zh) | 2008-09-17 | 2010-03-24 | 深圳富泰宏精密工业有限公司 | 图片传输系统及方法 |
US8260262B2 (en) | 2009-06-22 | 2012-09-04 | Mourad Ben Ayed | Systems for three factor authentication challenge |
CN101826217A (zh) | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
US20110304629A1 (en) * | 2010-06-09 | 2011-12-15 | Microsoft Corporation | Real-time animation of facial expressions |
CN102087750A (zh) | 2010-06-13 | 2011-06-08 | 湖南宏梦信息科技有限公司 | 一种动漫特效的制作方法 |
CN101924924A (zh) | 2010-07-28 | 2010-12-22 | 厦门雅迅网络股份有限公司 | 一种无线远程视频监控的自适应传输方法及传输系统 |
WO2012139276A1 (en) | 2011-04-11 | 2012-10-18 | Intel Corporation | Avatar facial expression techniques |
CN102214288B (zh) | 2011-06-15 | 2013-03-06 | 清华大学 | 基于化身的隐私保护方法 |
US20130019154A1 (en) | 2011-07-11 | 2013-01-17 | Collegenet, Inc. | Systems and methods for collecting multimedia form responses |
CN102271241A (zh) | 2011-09-02 | 2011-12-07 | 北京邮电大学 | 一种基于面部表情/动作识别的图像通信方法及系统 |
CN104115503A (zh) | 2011-12-29 | 2014-10-22 | 英特尔公司 | 使用化身的通信 |
US9008633B2 (en) | 2012-02-17 | 2015-04-14 | Apple Inc. | Methods to determine availability of user based on mobile phone status |
US20130219166A1 (en) | 2012-02-20 | 2013-08-22 | Motorola Mobility, Inc. | Hardware based identity manager |
US8661549B2 (en) | 2012-03-02 | 2014-02-25 | Apple Inc. | Method and apparatus for obfuscating program source codes |
CN104170358B (zh) | 2012-04-09 | 2016-05-11 | 英特尔公司 | 用于化身管理和选择的系统和方法 |
WO2013152455A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | System and method for avatar generation, rendering and animation |
WO2013152453A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | Communication using interactive avatars |
US9124386B2 (en) | 2012-09-28 | 2015-09-01 | Saurabh Dadu | System, device, and method for securing voice authentication and end-to-end speech interaction |
-
2012
- 2012-04-09 CN CN201280071891.9A patent/CN104170358B/zh active Active
- 2012-04-09 WO PCT/CN2012/000459 patent/WO2013152454A1/en active Application Filing
- 2012-04-09 US US13/997,266 patent/US9357174B2/en active Active
-
2013
- 2013-04-08 TW TW102112378A patent/TWI646498B/zh active
- 2013-04-08 TW TW105144327A patent/TWI656505B/zh active
Also Published As
Publication number | Publication date |
---|---|
US9357174B2 (en) | 2016-05-31 |
WO2013152454A8 (en) | 2014-11-20 |
US20150312523A1 (en) | 2015-10-29 |
TWI646498B (zh) | 2019-01-01 |
WO2013152454A1 (en) | 2013-10-17 |
CN104170358A (zh) | 2014-11-26 |
TW201403536A (zh) | 2014-01-16 |
TWI656505B (zh) | 2019-04-11 |
CN104170358B (zh) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI656505B (zh) | 頭像管理和選擇的系統及方法 | |
US11595617B2 (en) | Communication using interactive avatars | |
TWI642306B (zh) | 用於化身的產生、渲染以及動畫化之系統與方法 | |
US20170111616A1 (en) | Communication using avatar | |
US9936165B2 (en) | System and method for avatar creation and synchronization | |
TWI583198B (zh) | 使用互動化身的通訊技術 | |
TWI682669B (zh) | 使用互動化身的通訊技術(五) | |
TW202107250A (zh) | 使用互動化身的通訊技術(七) |