TWI642306B - 用於化身的產生、渲染以及動畫化之系統與方法 - Google Patents

用於化身的產生、渲染以及動畫化之系統與方法 Download PDF

Info

Publication number
TWI642306B
TWI642306B TW102112511A TW102112511A TWI642306B TW I642306 B TWI642306 B TW I642306B TW 102112511 A TW102112511 A TW 102112511A TW 102112511 A TW102112511 A TW 102112511A TW I642306 B TWI642306 B TW I642306B
Authority
TW
Taiwan
Prior art keywords
avatar
remote
facial
display
user device
Prior art date
Application number
TW102112511A
Other languages
English (en)
Other versions
TW201352003A (zh
Inventor
童曉芬
李文龍
杜楊洲
胡威
張益明
李建國
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201352003A publication Critical patent/TW201352003A/zh
Application granted granted Critical
Publication of TWI642306B publication Critical patent/TWI642306B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種視訊通訊系統，其以動畫化的化身取代參與使用者之實際現場影像。該系統允許一使用者之臉部的二維(2-D)化身之產生、渲染以及動畫化。該2-D化身代表一使用者之基本臉部形狀以及關鍵臉部特徵，其包含，但是不受限於，眼睛、鼻子、口部、以及臉部輪廓之位置與形狀。該系統進一步允許用於顯示之適應式渲染以允許不同尺度的2-D化身將顯示在使用者設備之相關聯不同尺寸的顯示器上。

Description

用於化身的產生、渲染以及動畫化之系統與方法 發明領域
本揭示係關於視訊通訊以及互動，並且，尤其是，關於用以在視訊通訊以及互動中使用之化身的產生、動畫化以及渲染之系統與方法。
發明背景
用於移動式設備中之漸增多種功能性除了簡單通話之外，已釀成可以供使用者經由視訊而通訊的需求。例如，使用者可啟動“視訊電話”、“視訊會議”等等，其中，一設備之一攝影機以及麥克風發送一使用者之音訊以及即時視訊至一個或多個其他接受者，例如，其他移動式設備、桌上型電腦、視訊會議系統等等。該即時視訊的通訊可包含大量資料之發送(例如，取決於被採用以處理即時影像資訊之攝影機技術、特定視訊編解碼器等等)。在現有的2G/3G無線技術所給予的帶寬限制，以及新興的4G無線技術之有限之可利用性下，進行同時視訊電話之許多設備使用者之主張置放大的負擔在現有的無線通訊公共設施中之帶寬上，其可能負面地衝擊視訊電話品質。
依據本發明之一實施例，係特地提出一種在一第一使用者設備以及一遠端使用者設備之間的通訊期間用於化身的產生、渲染以及動畫化之系統，該系統包括：一攝影機，其被組態以擷取影像；一通訊模組，其被組態以啟動以及建立在該第一使用者設備以及該遠端使用者設備之間的通訊並且發送與接收在該第一使用者設備以及該遠端使用者設備之間的資訊；以及一個或多個儲存媒體，其具有個別地或組合地被儲存在其上之指令，當該等指令藉由一個或多個處理器被執行時，導致以下的操作，包括：選擇一模式為基礎之二維(2-D)化身以及一素描為基礎之2-D化身的至少一者，用以於在通訊期間使用；啟動通訊；擷取一影像；檢測該影像中之一臉部；決定來自該臉部之臉部特徵；轉換該等臉部特徵為化身參數；發送該化身選擇以及化身參數之至少一者。
100‧‧‧系統
102、112‧‧‧設備
104、114‧‧‧攝影機
106、116‧‧‧麥克風
108、118‧‧‧顯示器
110、120‧‧‧化身
122‧‧‧網路
124‧‧‧伺服器
126‧‧‧系統
128‧‧‧虛擬空間
200‧‧‧攝影機及音訊架構模組
202‧‧‧擴音機
204‧‧‧臉部檢測模組
206‧‧‧臉部特徵
208‧‧‧化身選擇模組
210‧‧‧化身控制模組
212‧‧‧顯示模組
214‧‧‧回授化身
216‧‧‧通訊模組
218‧‧‧處理器
300‧‧‧臉部檢測/追蹤模組
302‧‧‧臉部常態化模組
304‧‧‧界標檢測模組
306‧‧‧臉部樣型模組
308‧‧‧臉部參數模組
310‧‧‧臉部姿態模組
312‧‧‧臉部表情檢測模組
400‧‧‧使用者影像
402‧‧‧影像
404‧‧‧關鍵點
406‧‧‧邊緣
408‧‧‧2D化身
500‧‧‧化身資料庫
502‧‧‧化身產生模組
504‧‧‧化身渲染模組
600‧‧‧WiFi連接
602‧‧‧網際網路
604‧‧‧WiFi連接
606‧‧‧企業接取點
608‧‧‧閘道
610‧‧‧防火牆
612‧‧‧媒體及信號路線
614‧‧‧家庭接取點
700‧‧‧操作範例流程圖
702-730‧‧‧操作流程步驟
當隨著下面之詳細說明過程以及同時參照圖式時，所提出專利申請主題之各種實施例的特點以及優點將成為更明顯，其中相同號碼被使用於全文中以指示相同部件，並且於其中：圖1A圖解說明符合本揭示各種實施例之設備-對-設備系統的範例；圖1B圖解說明符合本揭示各種實施例之虛擬空間系統的範例； 圖2圖解說明符合本揭示各種實施例之設備的範例；圖3圖解說明符合本揭示各種實施例之臉部檢測模組的範例；圖4A-4C是圖解說明符合本揭示至少一實施例之臉部標記參數以及一化身的產生之範例；圖5是圖解說明符合本揭示各種實施例之化身控制模組以及選擇模組的範例；圖6是圖解說明符合本揭示至少一實施例之系統實作範例；以及圖7是符合本揭示至少一實施例之操作範例的流程圖。
雖然下面之詳細說明將參考圖解說明實施例而進行，熟習本技術者將明白其有許多選擇、變化及修改。
詳細說明
一些系統以及方法允許在使用者之間的通訊以及互動，於其中一使用者可選擇一特定化身以代表他或她本身。此化身模式以及動畫化在通訊期間對於使用者經驗可能是主要的。尤其是，其可能是需具有相對地快速動畫化回應(即時地或近乎即時的)以及使用者面部與臉部表情之精確及/或強烈的表示。
一些系統以及方法允許三維(3D)化身模式之產生以及渲染在通訊期間供使用。例如，一些習知的方法包含雷射掃瞄、模式為基礎之照片搭配、利用圖形設計者或藝術家之手動產生等等。但是，這些習知的3D化身產生系 統以及方法可能具有缺點。尤其是，為了在通訊期間保持模式動畫化相對地平穩，一3D化身模式通常可包含幾千個頂部以及三角形的點，並且3D化身模式之渲染可能需要大量的計算輸入以及馬力功率。另外地，當在通訊以及互動期間被使用時，3D化身之產生也可能需要手動校正以改進視覺效應，並且對於一般使用者可能是不易由他或她本身產生一相對強健的3D化身模式。
例如，許多使用者可採用移動式電腦裝置，例如，智慧型手機，以與化身通訊以及互動。但是，移動式電腦設備可能具有受限的計算資源及/或儲存量，並且，就此而論，可能不是完全地能夠提供使用者一滿意之化身通訊以及互動經驗，尤其是具有3D化身之使用。
概要而言，本揭示一般是針對使用互動式化身以供用於視訊通訊以及互動的系統與方法。符合本揭示之一系統以及方法通常提供化身的產生以及渲染以供在相關聯之本地以及遠端使用者設備上之本地以及遠端使用者之間的視訊通訊以及互動之使用。更明確地說，本系統允許一使用者之臉部的二維(2D)化身之產生、渲染以及動畫化，其中該2D化身代表一使用者之基本臉部形狀以及關鍵臉部特性，其包含，但是不受限於，眼睛、鼻子、口部以及臉部輪廓之位置與形狀。本系統進一步被組態以在致動通訊以及互動期間，至少部份地依據被檢測之使用者的關鍵臉部特性而即時地或近乎即時地提供化身之動畫化。本系統以及方法進一步在致動通訊以及互動期間提供適應式渲 染，以供顯示各種2D化身尺寸在使用者設備之一顯示器上。更明確地說，本系統以及方法可被組態以識別對應至使用者設備之不同尺寸大小的顯示器的2D化身之一比例因數，因而當被顯示在使用者設備之多種顯示器上時，可防止2D化身之失真。
於一實施例中，一應用於耦合至一攝影機之設備中被致動。該應用可被組態以允許一使用者依據使用者之臉部以及臉部特徵為基礎，而產生供用以顯示在一遠端設備上、於一虛擬空間中等等，之一2D化身。攝影機可被組態以開始擷取影像並且臉部的檢測接著在被擷取的影像上進行，而且臉部特徵被決定。化身選擇接著被進行，其中一使用者可在一預定2D化身以及依據使用者臉部特徵為基礎之一2D化身的產生之間做選擇。任何被檢測的臉部/頭部移動，包含一個或多個使用者之臉部特徵的移動(其包含，但是不受限於，眼睛、鼻子以及口部及/或臉部特點中的改變)，接著被轉換成為可供使用在至少一其他設備上、在虛擬空間內等等，以動畫化該2D化身的參數。
該設備接著可被組態以啟動與至少一其他設備、一虛擬空間等等之通訊。例如，該通訊可被建立在2G、3G、4G行動電話連接之上。另外地，該通訊可被建立在經由WiFi連接之網際網路上。在通訊被建立之後，比例因數被決定，以便允許所選擇的2D化身在該等設備之間的通訊以及互動期間將適當地被顯示在至少一其他設備上。化身選擇、化身參數以及比例因數之至少一者接著可被發送。 於一實施例中，一遠端化身選擇或遠端化身參數之至少一者被接收。該遠端化身選擇可導致該設備顯示一化身，而該等遠端化身參數可導致該設備動畫化所顯示的化身。音訊通訊經由習知的方法而伴隨著化身動畫。
符合本揭示之一系統以及方法可提供一改進的經驗以供一使用者，經由移動式電腦設備，例如，一智慧型手機，與其他使用者通訊與互動。尤其是，當比較至習知的3D化身系統以及方法時，本系統提供利用一較簡單之2D化身模式產生與渲染方法的優點，其僅需要較少計算輸入以及功率。另外地，本系統提供即時的或近乎即時的2D化身之動畫。
圖1A是圖解說明符合本揭示各種實施例之設備-對-設備系統100。系統100通常可包含經由網路122通訊之設備102以及112。設備102至少包含攝影機104、麥克風106以及顯示器108。設備112至少包含攝影機114、麥克風116以及顯示器118。網路122至少包含一伺服器124。
設備102以及112可包含可以是有線及/或無線通訊的各種硬體平臺。例如，設備102以及112可包含，但是不受限於，視訊會議系統、桌上型電腦、膝上型電腦、平板電腦、智慧型手機(例如，iPhones®、Android®為基礎之電話、黑莓機(Blackberries®)、Symbian®為基礎之電話、Palm®為基礎之電話等等)、行動電話機等等。
攝影機104以及114包含用以擷取包含一個或多個人員之環境的數位影像代表之任何設備，並且可具有足 夠的解析度以供如此處所述的環境中之一個或多個人的臉部分析。例如，攝影機104以及114可包含靜態攝影機(例如，被組態以擷取靜態照片之攝影機)或視訊攝影機(例如，被組態以擷取包括複數個訊框之移動影像的攝影機)。攝影機104以及114可被組態以使用可見頻譜或藉由電磁頻譜(不受限於紅外線頻譜、紫外線頻譜等等)的其他部份中之光線而操作。攝影機104以及114可分別地被包含在設備102以及112之內，或可以是被組態以經由有線或無線通訊而通訊於設備102以及112之分別的設備。攝影機104以及114之特定範例可包含有線者(例如，通用串列匯流排(USB)、以太、火線(Firewire)等等)或可以是關聯電腦、視訊監視器等等之無線(例如，WiFi、藍芽等等)網路攝影機、移動式設備攝影機(例如，被整合於，例如，先前討論範例設備中之蜂巢式手機或智慧型手機攝影機)、整合型膝上型電腦攝影機、整合型平板電腦攝影機(例如，iPad®、Galaxy Tab®以及其類似者)等等。
設備102以及112可進一步包含麥克風106以及116。麥克風106以及116包含被組態以檢測聲音之任何設備。麥克風106以及116可分別地被整合在設備102以及112內，或可經由有線的或無線通訊(例如，在上面有關攝影機104以及114之範例中被說明者)而與設備102、112互動。顯示器108以及118包含被組態以顯示文字、靜態影像、移動影像(例如，視訊)、使用者界面、圖形等等之任何設備。顯示器108以及118可分別地被整合在設備102以及112內，或 可經由有線或無線通訊(例如，在上面關於攝影機104以及114之範例中被說明者)而與設備互動。
於一實施例中，顯示器108以及118被組態以分別地顯示化身110以及120。如此處所提及，一化身被界定作為一使用者的二維(2D)或三維(3D)之任一者的圖形代表。化身不需要像使用者之外觀，並且因此，雖然化身可以是栩栩如生的代表，他們也可採用圖形、漫畫、素描等等之形式。如所展示，設備102可顯示代表設備112之使用者(例如，遠端使用者)的化身110，並且同樣地，設備112也可顯示代表設備102之使用者的化身120。就此而論，使用者可觀看其他使用者之代表，而不需要交換一般包含採用現場影像之設備-對-設備通訊的大量資訊。
網路122可包含各種第二代(2G)、第三代(3G)、第四代(4G)蜂巢式為基礎之資料通訊技術、Wi-Fi無線資料通訊技術等等。網路122至少包含被組態以建立以及保持通訊連接(當使用這些技術時)之一伺服器124。例如，伺服器124可被組態以支援網際網路相關通訊協定，該網際網路相關通訊協定，類似於用以產生、修改與終止二方(單向播送)以及多方(多重播送)會期之會期創始協定(SIP)、用以渲染允許協定將被建立在位元組訊流連接之頂部上的一架構之互動連線建立協定(ICE)、用於網路存取轉譯(或NAT)之會期傳輸應用、允許應用經由NAT操作以發現其他NAT之存在的協定(STUN)、被配置以用於一應用之使用者資料訊息協定(UDP)連接以連接至遠端主機之IP位址以及埠口、用以 允許元件在一NAT或火牆之後經發送控制協定(TCP)或UDP連接等等而接收資料的環繞NAT使用分程傳遞傳輸(TURN)。
圖1B圖解說明符合本揭示各種實施例之一虛擬空間系統126。系統126可包含設備102、設備112以及伺服器124。設備102、設備112以及伺服器124可以相似於圖1A之圖解說明的方式繼續通訊，但是使用者互動可能發生在虛擬空間128中而非設備-對-設備形式。如此處所提及的，一虛擬空間可被界定作為實際位置之一數位模擬。例如，虛擬空間128可能很像類似城市、道路、人行道、田野、森林、島嶼等等之戶外場所，或類似辦公室、房子、學校、購物中心、商店、等等之室內場所。
利用化身被表示之使用者，可能出現以如真實世界般在虛擬空間128中互動。虛擬空間128可能存在於耦合至網際網路之一個或多個伺服器上，並且可由一第三者被維護。虛擬空間範例包含虛擬辦公室、虛擬會議室、相似於第二人生(Second Life®)之虛擬世界、相似於Warcraft®世界之大型多人線上角色扮演遊戲(MMORPG)、相似於Sims Online®之大型多人線上生活實境遊戲(MMORLG)等等。於系統126中，虛擬空間128可包含對應至不同使用者之複數個化身。取代顯示化身，顯示器108以及118可顯示包裝(例如，較小)形式之虛擬空間(VS)128。例如，顯示器108可顯示其中對應至設備102之使用者的化身在虛擬空間128中“看見”之一透視圖。相似地，顯示118可顯示其中對應至設 備112之使用者的化身在虛擬空間128中“看見”之一透視圖。化身在虛擬空間128中可能看見之範例可包含，但是不受限於，虛擬結構(例如，建築物)、虛擬車輛、虛擬物件、虛擬動物、其他化身等等。
圖2是圖解說明依據本揭示之各種實施例的設備102之範例。雖然僅設備102被說明，但設備112(例如，遠端設備)可包含被組態以提供相同或相似功能之資源。如先前之討論，設備102被展示而包含攝影機104、麥克風106以及顯示器108。攝影機104以及麥克風106可提供輸入至一攝影機以及音訊架構模組200。攝影機以及音訊架構模組200可包含顧客、業主、已知的及/或之後產生的音訊以及視訊處理程式碼(或指令組)，其通常明確被定義且可操作以至少控制攝影機104以及麥克風106。例如，攝影機以及音訊架構模組200可導致攝影機104以及麥克風106記錄影像及/或聲音、可處理影像及/或聲音、可導致影像及/或聲音將被複製等等。攝影機以及音訊架構模組200可依據設備102而變化，並且尤其是，在設備102中執行之操作系統(OS)。操作系統範例包含iOS®、Android®、Blackberry®OS、Symbian®、Palm®OS等等。擴音機202可自攝影機以及音訊架構模組200接收音訊資訊，並且可被組態以複製本地聲音(例如，提供使用者聲音的音訊回授)以及遠端聲音(例如，在一虛擬位置中以電話、視訊電話或互動方式被銜接之其他者的聲音)。
設備102可進一步包含一臉部檢測模組204，該臉 部檢測模組204被組態以識別以及追蹤在藉由攝影機104所提供的影像內之一頭部、臉部及/或臉部區域並且決定使用者之一個或多個臉部特徵(亦即，臉部特徵206)。例如，臉部檢測模組204可包含顧客、業主、已知的及/或之後產生的臉部檢測程式碼(或指令組)、硬體、及/或韌體，其通常明確地被定義並且可操作以接收一標準格式影像(例如，但是，不受限於，RGB彩色影像)以及至少某一程度地識別影像中之一臉部。
臉部檢測模組204也可被組態以經由一串列之影像(例如，在每秒24個訊框之視訊訊框)而追蹤被檢測的臉部，並且依據被檢測的臉部，以及，例如，使用者臉部特徵中(例如，臉部特徵206)之移動的改變為基礎而決定一頭部位置。習知的追蹤系統(其可被臉部檢測模組204所採用)可包含微粒過濾、平均移動、Kalman過濾等等，其各可採用邊緣分析、方差總和分析，特徵點分析、統計圖分析、膚色分析等等。
臉部檢測模組204也可包含顧客、業主、已知的及/或之後產生的臉部特徵程式碼(或指令組)，其一般明確地被定義並且可操作以接收一標準格式影像(例如，但是不受限於，一RGB彩色影像)並且至少某一程度地識別該影像中之一個或多個臉部特徵206。此等習知的臉部特徵系統包含，但是不受限於，美國科羅拉多州大學之CSU臉部識別評估系統，標準Viola-Jones提升串聯架構，其可被發現於公用之公開源代碼電腦視覺(OpenCVTM)封裝中。
如此處更詳細之討論，臉部特徵206可能包含臉部特點，其包含，但是不受限於，臉部界標(例如，眼睛、鼻子、口部、臉部輪廓等等)之位置及/或形狀，以及此等界標之移動。於一實施例中，化身動畫可以是依據感應的臉部動作(例如，臉部特徵206中之改變)為基礎。在一化身之臉部上的對應特徵點可仿傚或模仿真人之臉部的移動，其是習知為“表情翻版”或“表現驅動臉部動畫”。
臉部檢測模組204也可被組態以識別關聯該等檢測特點之一表情(例如，識別一先前被檢測的臉部是否高興、悲傷、微笑、皺眉、驚訝、興奮等等)。因此，臉部檢測模組204可進一步包含顧客、業主、已知的及/或在之後產生的臉部之表情檢測及/或識別程式碼(或指令組)，其一般明確地被定義並且可操作以檢測及/或識別一臉部中之表情。例如，臉部檢測模組204可決定臉部特點(例如，眼睛、鼻子、口部、等等)的尺寸及/或位置，並且可比較這些臉部特點至一臉部特點資料庫，該臉部特點資料庫包含具有對應臉部的特點分類(例如，微笑、皺眉、興奮、悲傷等等)之複數個取樣臉部特點。
設備102可進一步包含一化身選擇模組208，該化身選擇模組208被組態以允許設備102之使用者選擇用以顯示在一遠端設備上之一化身。化身選擇模組208可包含顧客、業主、已知的及/或在之後產生的使用者界面構造程式碼(或指令組)，其一般是明確地被定義並且可操作以渲染不同的化身至使用者，因而使用者可選擇該等化身之一者。
於一實施例中，化身選擇模組208可被組態以允許設備102之使用者選擇儲存在設備102內之一個或多個預定化身或選擇具有依據該使用者之檢測的臉部特徵206為基礎所產生的一化身之一選項。該預定化身以及該產生的化身兩者皆可以是二維(2D)的，其中一預定化身是模式為基礎並且一產生的2D化身是素描為基礎，如於此處更詳細之說明。
預定化身可允許所有的設備具有相同化身，並且互動期間僅一化身之選擇(例如，預定化身之識別)需要被通訊至一遠端設備或虛擬空間，其減低需要交換之資訊數量。一產生的化身可被儲存在設備102內以供在未來通訊期間之使用。化身可在建立通訊前被選擇，但是也可在一致動通訊之過程期間被改變。因此，其可以在通訊期間任何點傳送或接收一化身選擇，並且對於該接收設備，可依據所接收的化身選擇而改變該顯示的化身。
設備102可進一步包含一化身控制模組210，該化身控制模組210被組態以回應於自化身選擇模組208之一選擇輸入而產生一化身。該化身控制模組210可包含顧客、業主、已知的及/或在之後產生的化身產生處理程式碼(或指令組)，其一般是明確地被定義並且可操作以依據利用臉部檢測模組204檢測的臉部/頭部位置及/或臉部特徵206為基礎而產生一2D化身。
化身控制模組210可進一步被組態以產生用以使一化身動畫化之參數。動畫化，如此處所提及的，可被界 定作為改變一影像/模型之外貌。一簡單動畫可改變2D靜態影像外貌，或複數個動畫可依序發生以模擬影像中之移動(例如，轉頭、點頭、談話、皺眉、微笑、大笑等等)。被檢測的臉部及/或臉部特徵206之位置的一改變可能被轉換成為參數，其導致化身的特點很像使用者之臉部特點。
於一實施例中，一般被檢測的臉部表情可被轉換成為導致化身展示相同表情之一個或多個參數。化身之表情也可被放大以強調該表情。在化身參數通常可被應用至所有預定化身之同時，對選擇化身之了解可能不是必須的。但是，於一實施例中，化身參數可以是特定於所選擇的化身，並且因此，如果另一化身被選擇則可能被改變。例如，人之化身可能比動物化身、漫畫化身等等需要不同的參數設定(例如，不同的化身特點可被改變)以展示相似於高興、悲傷、蒼白、驚訝等等之情感。
化身控制模組210可包含顧客、業主、已知的及/或在之後產生的圖形處理程式碼(或指令組)，其通常是明確地被定義並且可操作以產生用以動畫化一化身之參數，該化身是藉由化身選擇模組208依據利用臉部檢測模組204所檢測的臉部/頭部位置及/或臉部特徵206為基礎而選擇之化身。對於依據臉部特點為基礎的動畫化方法，2D化身動畫化可藉由，例如，影像變形或影像特效變形(morphing)被完成。Oddcast是可使用於2D化身動畫化之軟體資源的範例。
此外，於系統100中，化身控制模組210可接收一遠端化身選擇以及可使用以顯示並且動畫化對應至遠端設 備之一使用者的一化身之遠端化身參數。化身控制模組210可導致一顯示模組212以顯示一化身110在顯示器108上。顯示模組212可包含顧客、業主、已知的及/或在之後產生的圖形處理程式碼(或指令組)，其一般明確地被定義並且可操作以依據設備-對-設備實施範例而在顯示器108上顯示並且動畫化一化身。
例如，化身控制模組210可接收一遠端化身選擇並且可詮釋該遠端化身選擇以對應至一預定化身。顯示模組212接著可顯示化身110在顯示器108上。此外，於化身控制模組210中所接收之遠端化身參數可被詮釋，並且命令可被提供至顯示模組212以使化身110動畫化。
化身控制模組210可進一步被組態以依據遠端化身參數為基礎而提供一遠端化身選擇之適應式渲染。更明確地說，化身控制模組210可包含顧客、業主、已知的及/或在之後產生的圖形處理程式碼(或指令組)，其一般明確地被定義並且可適應地操作以渲染化身110，以便當被顯示至一使用者時適當地相稱於顯示器108上並且防止化身110之失真。
於一實施例中，多於二個使用者可以視訊電話方式銜接。當多於二個使用者是以視訊電話方式互動時，顯示器108可被劃分或被分割以允許對應至遠端使用者之多於一個的化身同時地被顯示。另外地，於系統126中，化身控制模組210可接收資訊，該資訊可導致顯示模組212顯示對應至設備102之使用者之化身在虛擬空間128中“看見”者 (例如，自化身之視覺透視)。例如，顯示器108可顯示於虛擬空間128中被表示之建築物、物件、動物與其他化身等等。於一實施例中，化身控制模組210可被組態以導致顯示模組212顯示一“回授”化身214。該回授化身214表現所選擇的化身如何顯示在遠端設備上、在一虛擬位置中等等。尤其是，回授化身214顯露如被使用者所選擇的化身並且可使用藉由化身控制模組210所產生之相同參數被動畫化。以此方式，使用者可確認在他們的互動期間遠端使用者是看見什麼。
設備102可進一步包含一通訊模組216，該通訊模組216被組態以發送以及接收用以選擇化身、顯示化身、動畫化化身、顯示虛擬位置透視圖等等之資訊。通訊模組216可包含顧客、業主、已知的及/或在之後產生的通訊處理程式碼(或指令組)，其一般明確地被定義並且可操作以發送化身選擇、化身參數並且接收遠端化身選擇以及該等遠端化身參數。通訊模組216也可發送以及接收對應至化身為基礎之互動的音訊資訊。通訊模組216可經由網路122發送以及接收如先前說明之上面資訊。
設備102可進一步包含一個或多個處理器218，該等處理器被組態以進行關聯設備102以及包含於其中的一個或多個模組之操作。
圖3是圖解說明符合本揭示各種實施例之臉部檢測模組204a的範例。臉部檢測模組204a可被組態以經由攝影機以及音訊架構模組200自攝影機104接收一個或多個影 像，並且識別，至少至某一程度，影像中之一臉部(或選擇複數個臉部)。臉部檢測模組204a也可被組態以識別以及決定，至少至某一程度，影像中之一個或多個臉部特徵206。臉部特徵206可依據如此處所述之利用臉部檢測模組204a被識別的一個或多個臉部參數為基礎而被產生。臉部特徵206可包含臉部特點，該等臉部特點包含，但是不受限於，臉部界標(例如，眼睛、鼻子、口部、臉部輪廓、眉毛等等)之位置及/或形狀。
於圖解說明之實施例中，臉部檢測模組204a可包含臉部檢測/追蹤模組300、臉部常態化模組302、界標檢測模組304、臉部樣型模組306、臉部參數模組308、臉部姿態模組310以及臉部表情檢測模組312。臉部檢測/追蹤模組300可包含顧客、業主、已知的及/或在之後產生的臉部追蹤程式碼(或指令組)，其一般明確地被定義並且可操作以檢測以及識別，至少至某一程度，自攝影機104接收之靜態影像或視訊流中的人臉尺寸以及位置。此等習知的臉部檢測/追蹤系統包含，例如，Viola以及Jones之技術，其是在2001年被接受之電腦視覺以及樣型識別會議上，而由Paul Viola以及Michael Jones所公佈之“使用提升簡單特點串聯的快速物件檢測”一文上。這些技術使用一系列適應式提升(AdaBoost)分類器以藉由詳盡地掃瞄一影像視窗以檢測一臉部。臉部檢測/追蹤模組300也可追蹤複數個影像之一臉部或臉部區域。
臉部常態化模組302可包含顧客、業主、已知的 及/或在之後的產生臉部常態化程式碼(或指令組)，其一般明確地被定義並且可操作以標準化影像中被識別的臉部。例如，臉部常態化模組302可被組態以旋轉該影像以對齊眼睛(如果眼睛之座標是已知的)、鼻子、口部等等，並且剪短該影像至通常對應臉部尺寸之較小尺寸，依比例縮放該影像以使得在眼睛、鼻子及/或口部等等之間的距離為常數、施加一遮罩以使不在包含一般臉部之橢圓形中像素歸零，以統計圖等化該影像以使得未遮罩像素之灰階數值的分配均勻、及/或常態化該影像而因此該等未遮罩像素具有零均值以及標準偏差為1。
界標檢測模組304可包含顧客、業主、已知的及/或在之後產生的界標檢測程式碼(或指令組)，其一般明確地被定義並且可操作以檢測以及識別，至少至某一程度，影像中之臉部的各臉部特點。界標檢測之作用是臉部已被檢測，至少至某一程度。選擇地，一些程度的局部化可被進行(例如，利用臉部常態化模組302)，以識別/集中在其中界標可能被找出之影像的區域/面積上。例如，界標檢測模組304可以是依據啟發式分析為基礎並且可被組態以識別及/或分析前額、眼睛(及/或眼角)、鼻子(例如，鼻尖)、下巴(例如下巴尖端)、眉毛、頰、顎骨以及臉部輪廓之相對位置、尺寸、及/或形狀。眼角以及口角也可使用Viola-Jones為基礎分類器被檢測。
臉部樣型模組306可包含顧客、業主、已知的及/或在之後產生的臉部樣型程式碼(或指令組)，其一般明確地 被定義並且可操作以依據影像中被識別的臉部界標為基礎而識別及/或產生臉部樣型。如可了解地，臉部樣型模組306可被考慮作為臉部檢測/追蹤模組300之一部份。
臉部樣型模組306可包含臉部參數模組308，該臉部參數模組308被組態以至少部份地依據影像中所識別的臉部界標而產生使用者之臉部的臉部參數。臉部參數模組308可包含顧客、業主、已知的及/或在之後產生的臉部樣型以及參數程式碼(或指令組)，其一般明確地被定義並且可操作以依據影像中該識別的臉部界標為基礎而識別及/或產生關鍵點以及連接至少一些關鍵點之關聯的邊緣。
如此處更詳細之說明，利用化身控制模組210產生之2D化身可以是至少部份地依據利用臉部參數模組308所產生的臉部參數，該等臉部參數包含關鍵點以及在該等關鍵點之間被界定之關聯的連接邊緣。同樣地，一選擇化身之動畫化以及渲染，包含預定化身以及利用化身控制模組210被產生的化身，其兩者皆可以是至少部份地依據利用臉部參數模組308所產生之臉部參數。
臉部姿勢模組310可包含顧客、業主、已知的及/或在之後產生的臉部方位檢測程式碼(或指令組)，其一般明確地被定義並且可操作以檢測以及識別，至少至某一程度，影像中之臉部姿勢。例如，臉部姿勢模組310可被組態以建立有關設備102之顯示器108的影像中之臉部姿勢。更明確地說，臉部姿勢模組310可被組態以決定使用者之臉部是否朝向設備102之顯示器108，因而指示使用者是否正注 意被顯示在顯示器108上之內容。
臉部表情檢測模組312可包含顧客、業主、已知的及/或在之後產生的臉部表情檢測及/或識別程式碼(或指令組)，其一般明確地被定義並且可操作以檢測及/或識別影像中之使用者的臉部表情。例如，臉部表情檢測模組312可決定臉部特點(例如，前額、下巴、眼睛、鼻子、口部、臉頰、臉部輪廓等等)之尺寸及/或位置，並且比較臉部特點至臉部特點資料庫，該資料庫包含複數個具有對應的臉部特點分類之樣本臉部特點。
圖4A-4C是圖解說明符合本揭示至少一實施例之臉部標記參數以及一化身的產生之範例。如於圖4A之展示，使用者之影像400的臉部檢測以及追蹤被進行。如先前之說明，臉部檢測模組204(包含臉部檢測/追蹤模組300、臉部常態化模組302及/或界標檢測模組304等等)可被組態以檢測以及識別使用者之臉部的尺寸、位置，標準化該識別之臉部，及/或檢測以及識別，至少至某一程度，影像中臉部之各種臉部特點。更明確地說，前額、眼睛(及/或眼角)、鼻子(例如，鼻尖)、下巴(例如，下巴尖端)、眉毛、頰骨、顎骨以及臉部輪廓之相對位置、尺寸及/或形狀可被識別及/或被分析。
如於圖4B之展示，使用者之臉部的臉部樣型，包含臉部參數，可於影像402中被識別。更明確地說，臉部參數模組308可被組態以至少部份地依據影像中該識別之臉部界標而產生使用者之臉部的臉部參數。如所展示的， 該等臉部參數可包含一個或多個關鍵點404以及連接一個或多個關鍵點404至另一者之關聯的邊緣406。例如，於圖解說明展示之實施例中，邊緣406(1)可以連接相鄰的關鍵點404(1)、404(2)至另一者。關鍵點404以及關聯的邊緣406依據該識別之臉部界標為基礎而形成使用者之全部的臉部樣型。
於一實施例中，臉部參數模組308可包含顧客、業主、已知的及/或在之後產生的臉部參數程式碼(或指令組)，其一般明確地被定義並且，例如，可依據，例如，在前額以及例如，至少其他另一識別之臉部界標，例如，眼睛之間的一識別臉部界標之統計幾何關係而操作，以依據該識別之臉部界標(例如，前額，眼睛、鼻子、口部、下巴、臉部輪廓等等)為基礎而產生關鍵點404以及連接的邊緣406。
例如，於一實施例中，關鍵點404以及關聯的邊緣406可於二維笛卡兒(Cartesian)座標系統(化身是2D)中被界定。更明確地說，關鍵點404可被定義(例如，被編碼)如{點,id,x,y}，其中“點(point)”代表節點名稱，“id”代表指標，以及“x”與“y”是座標。一邊緣406可被定義(例如，被編碼)如{邊緣,id,n,p1,p2,...,pn}，其中“邊緣(edge)”代表節點名稱，“id”代表邊緣指標，“n”代表被邊緣406所包含(例如，被連接)的關鍵點數目，並且p1-pn代表邊緣406之點指標。例如，數碼集合{邊緣,0,5,0,2,1,3,0)可被視為代表邊緣-0而包含(連接)5個關鍵點，其中關鍵點之連接順序是關鍵點0 至關鍵點2至關鍵點1至關鍵點3至關鍵點0。
圖4C是圖解說明依據識別臉部界標以及包含關鍵點404以及邊緣406之臉部參數為基礎所產生之2D化身408的範例。如所展示，2D化身408可包含通常畫出使用者之臉部以及關鍵臉部特徵(例如，眼睛、鼻子、口部、眉毛、臉部輪廓)之形狀的素描線。
圖5是圖解說明符合本揭示各種實施例之化身控制模組210a以及化身選擇模組208a的範例。化身選擇模組208a可被組態以允許設備102之一使用者以選擇用以顯示在一遠端設備上之一化身。化身選擇模組208可包含顧客、業主、已知的及/或在之後產生的使用者界面構造程式碼(或指令組)，其一般明確地被定義並且可操作以渲染不同的化身至一使用者，因而該使用者可選擇該等化身之一者。於一實施例中，化身選擇模組208a可被組態以允許設備102之一使用者選擇儲存在化身資料庫500內之一個或多個2D預定化身。化身選擇模組208a可進一步被組態以允許一使用者選擇而具有如通常參照圖4A-4C被展示以及被說明所產生的2D化身。被產生之一2D化身可被稱為素描為基礎之2D化身，其中來自一使用者之臉部的關鍵點以及邊緣被產生，如相對於具有預定關鍵點。相對地，預定2D化身可被稱為一模式為基礎之2D化身，其中該關鍵點是預定的並且該2D化身不是針對特定使用者之臉部的“客製”者。
如所展示地，化身控制模組210a可包含一化身產生模組502，其被組態以回應於使用者選擇(其指示自化身 選擇模組208a之一化身的產生)而產生一2D化身。該化身產生模組502可包含顧客、業主、已知的及/或在之後產生的化身產生處理程式碼(或指令組)，其通常明確地被定義並且可操作以依據利用臉部檢測模組204所檢測之臉部特徵206為基礎而產生一2D化身。更明確地說，該化身產生模組502可依據該等識別的臉部界標以及包含關鍵點404與邊緣406之臉部參數為基礎而產生一2D化身408(圖4C之展示)。當2D化身產生之同時，化身控制模組210a可進一步被組態以發送產生的2D化身之一複製至化身選擇模組208a以儲存在化身資料庫500中。
如一般之了解，化身產生模組502可被組態以依據遠端化身參數為基礎而接收並且產生一遠端化身選擇。例如，遠端化身參數可包含臉部特徵，其包含一遠端使用者之臉部的臉部參數(例如，關鍵點)，其中該化身產生模組502可被組態以產生一素描為基礎的化身模式。更明確地說，該化身產生模組502可被組態以至少部份地依據關鍵點以及連接一個或多個關鍵點之邊緣而產生遠端使用者之化身。產生的遠端使用者之化身接著可被顯示在設備102上。
化身控制模組210a可進一步包含一化身渲染模組504，其被組態以依據遠端化身參數為基礎而提供一遠端化身選擇之適應式渲染。更明確地說，化身控制模組210可包含顧客、業主、已知的及/或在之後產生的圖形處理程式碼(或指令組)，其通常明確地被定義並且可操作以適應式地渲染化身110，以便當被顯示至一使用者時適當地相稱於顯 示器108上並且防止化身110之失真。
於一實施例中，化身渲染模組504可被組態以接收一遠端化身選擇以及關聯的遠端化身參數。遠端化身參數可包含遠端化身選擇之包含臉部參數的臉部特徵。該化身渲染模組504可被組態以至少部份地依據遠端化身參數而識別遠端化身選擇之顯示參數。顯示參數可界定遠端化身選擇之一包圍方塊，其中該包圍方塊可被視為關連於遠端化身110之一原定顯示尺寸。化身渲染模組504可進一步被組態以當遠端化身110被渲染時，則用以識別設備102之顯示器108或顯示窗口之顯示參數(例如，高度以及寬度)。化身渲染模組504可進一步被組態以依據遠端化身選擇之識別的顯示參數以及顯示器108之識別的顯示參數為基礎而決定一化身比例因數。化身比例因數可允許遠端化身110藉由適當之比例(例如，稍微或無失真地)以及位置(例如，遠端化身110可被放在顯示器108中央)而被顯示在顯示器108上。
如一般之了解，於顯示器108之顯示參數改變之事件中(例如，使用者操作設備102以便改變自像片至景觀之觀看方位或改變顯示器108尺寸)，化身渲染模組504可被組態以依據顯示器108之新顯示參數為基礎而決定一新的比例因數，同時顯示模組212可被組態以至少部分地依據新比例因數為基礎而顯示遠端化身110在顯示器108上。同樣地，於一遠端使用者在通訊期間切換化身之事件中，化身渲染模組504可被組態以依據新遠端化身選擇之新顯示參 數為基礎而決定一新的比例因數，同時顯示模組212可被組態以至少部分地依據新比例因數為基礎而顯示遠端化身110在顯示器108上。
圖6是圖解說明依據至少一實施例之系統實作範例。設備102'被組態以經由WiFi連接600而無線地通訊(例如，在工作)，伺服器124'被組態以協商經由網際網路602在設備102'以及112'之間的一連接，並且裝置112'被組態以經由另一WiFi連接604而無線地通訊(例如，在家庭)。於一實施例中，設備-對-設備化身為基礎之視訊電話應用於裝置102'中被致動。隨著化身選擇，應用可允許至少一遠端設備(例如，設備112')被選擇。應用接著可導致設備102'啟動與設備112'之通訊。通訊可藉由經由企業接取點(AP)606利用設備102'發送一連線建立要求至設備112'而被啟動。企業AP606可以是可使用於一商業設施中之一AP，並且因此，可支援較高的資料總量以及比家庭AP 614更多之同時的無線客戶。企業AP 606可自設備102'接收無線信號並且可繼續以經由閘道608透過各種商業網路而發送連線建立要求。連線建立要求接著可通過防火牆610，其可被組態以控制WiFi網路600之資訊的流入以及流出。
設備102'之連線建立要求接著可藉由伺服器124'被處理。伺服器124'可被組態以供IP位址之註冊、目的地位址之認證以及NAT傳輸，因而連線建立要求可以是引導至網際網路602上之正確的目的地。例如，伺服器124'可從自設備102'所接收之連線建立要求中的資訊而決定預期之目 的地(例如，遠端設備112')，並且可引導信號以經由正確的NAT、埠口並且因此至目的地IP位址。這些操作可依據網路組態僅須在連線建立期間被進行。
於一些情況中，操作可在視訊電話期間被重複以便提供通知至NAT以保持連線繼續存在。在連線被建立之後，媒體及信號路線612可攜帶視訊(例如，化身選擇及/或化身參數)以及音訊資訊方向至家庭AP 614。設備112'接著可接收該連線建立要求並且可被組態以決定是否接受該要求。決定是否接受該要求可包含，例如，渲染一視覺敘述形式至設備112'的使用者(其查詢關於是否接受來自設備102'之連線要求)。如設備112'的使用者接受連線(例如，接受視訊電話)，則連線可被建立。攝影機104'以及114'可被組態以接著開始分別地擷取設備102'以及112'之分別使用者的影像，以供動畫化藉由各使用者所選擇之化身的使用。麥克風106'以及116'可被組態以接著開始記錄來自各使用者之音訊。當在設備102'以及112'之間的資訊交換開始時，顯示器108'以及118'可顯示以及動畫化對應至設備102'以及112'之使用者的化身。
圖7是依據至少一實施例之操作範例的流程圖。於操作702中，一應用(例如，一化身為基礎之聲音電話應用)可於一設備中被致動。該應用之致動可接著有化身704之選擇。化身之選擇可包含利用應用被渲染至使用者之一界面，該界面允許使用者自儲存在化身資料庫中之預定化身檔案瀏覽以及選擇。該界面可進一步允許一使用者選擇 以具有一產生的化身。在操作706，一使用者是否決定具有一產生之化身可被決定。如果決定使用者選擇具有一產生的化身，如相對於選擇一預定化身，則設備中之攝影機接著可於操作708中開始擷取影像。該等影像可以是靜態影像或現場視訊(例如，依序被擷取之複數個影像)。於操作710中，影像分析可開始於臉部/頭部影像中之檢測/追蹤而發生。被檢測的臉部接著可被分析，以便抽取臉部特徵(例如，臉部界標、臉部參數、臉部表情等等)。於操作712中，一化身至少部份地依據被檢測的臉部/頭部位置及/或臉部特徵而被產生。
在化身選擇之後，於操作714中通訊可被組態。通訊組態包含用以參與視訊電話之至少一遠端設備或一虛擬空間之識別。例如，一使用者可自下列設備列表中選擇，儲存在應用內之遠端使用者/設備、被儲存於關聯設備中之另一系統中(例如，智慧型手機、蜂巢式手機等等中之聯絡表)、被儲存於遠端者，例如，在網際網路上(例如，類似Facebook、LinkedIn、Yahoo、Google+、MSN等等之交際媒體網站)。另外地，使用者可選擇線上去到類似第二人生(Second Life)之虛擬空間。
於操作716中，在設備以及該至少一遠端設備或虛擬空間之間的通訊可被啟動。例如，一連線建立要求可被發送至遠端設備或虛擬空間。此處為說明起見，假設連線建立要求被遠端設備或虛擬空間所接受。設備中之一攝影機接著可於操作718中開始擷取影像。該等影像可以是靜 態影像或現場視訊(例如，依序被擷取之複數個影像)。於操作720中影像分析可開始於影像中臉部/頭部之檢測/追蹤而發生。被檢測的臉部接著可被分析，以便抽取臉部特徵(例如，臉部界標、臉部參數、臉部表情等等)。於操作722中，被檢測的臉部/頭部位置及/或臉部特徵被轉換成為化身參數。化身參數被使用以動畫化以及渲染該選擇的化身在遠端設備上或在虛擬空間中。於操作724中，化身選擇或該等化身參數之至少一者可被發送。
化身可被顯示以及被動畫化於操作726中。於設備-對-設備通訊(例如，系統100)之實例中，遠端化身選擇或遠端化身參數之至少一者可自遠端設備被接收。對應至遠端使用者的一化身接著可依據接收的遠端化身選擇為基礎而被顯示，並且可依據接收的遠端化身參數為基礎被動畫化及/或被渲染。於該虛擬位置互動之實例中(例如，系統126)，資訊可被接收而允許該設備顯示對應至該設備使用者的化身所看見者。
接著於操作728中，關於目前通訊是否完成之決定可被形成。如果於操作728中決定通訊未完成，則操作718-726可重複，以便繼續依據使用者之臉部的分析為基礎而顯示以及動畫化一化身在遠端裝置上。否則，於操作730中，通訊可被終止。如果，例如，沒有進一步的視訊電話被形成，則視訊電話應用也可被終止。
雖然圖7圖解說明依據一實施例之各種操作，應了解，不是圖7展示的所有操作對於其他實施例都是必須 的。實際上，如在此仔細地考量本揭示其他實施例中，圖7展示之操作及/或此處所述之其他操作可以不是特定地被展示於任何圖形中之方式而被組合，但仍然是完全符合本揭示。因此，不是完全地被展示於一圖形中之針對特點及/或操作的申請專利範圍是被認為在本揭示範疇以及內容之內。
各種特點、論點以及實施例已於此處被說明。熟習本技術者應明白，該等特點、論點以及實施例是可容許與另一者之組合以及變化與修改。因此，本揭示將被考慮為包含此等組合、變化、以及修改。因此，本發明之廣泛性以及範疇將不受限於任何上述之實施範例，但是將僅依據下面申請專利範圍以及它們的等效者被界定。
如此處於任何實施例中之使用，名詞“模組”可以關連被組態以進行任何上述操作之軟體、韌體及/或電路。軟體可被實施如被記錄在非暫態電腦可讀取儲存媒體上之一軟體封裝、程式碼、指令、指令組及/或資料。韌體可被實施如記憶體設備中之程式碼、指令或指令組及/或硬編碼之資料(例如，非依電性)。“電路”，如此處於任何實施例中之使用，可包括，例如，單一地或任何組合之硬線電路、可程控電路(例如，包括一個或多個分別指令處理核心之電腦處理器)、狀態機器電路、及/或儲存利用可程控電路執行之指令的韌體。該等模組，整體地或分別地，可被實施如形成較大系統之部份的電路，例如，一積體電路(IC)、單晶片系統(SoC)、桌上型電腦、膝上型電腦、平板電腦、伺服 器、智慧型手機等等。
此處所述之任何操作可被實作於一系統中，該系統包含一個或多個儲存媒體，該等儲存媒體具有分別地或組合地被儲存在其上之指令，該等指令藉由一個或多個處理器被執行以進行方法。在此，處理器可包含，例如，伺服器CPU、移動式設備CPU、及/或其他可程控電路。同時，於此處所述之操作也是預期可被分佈越過複數個實際設備(例如，在多於一個不同實際位置的處理結構)。儲存媒體可包含任何型式之實體媒體，例如，任何型式之碟片，其包含硬碟、軟碟、光碟、小型碟片唯讀記憶體(CD-ROM)、小型可重寫碟片(CD-RW)、以及磁鐵式光學碟片，半導體設備，例如，唯讀記憶體(ROM)、隨機存取記憶體(RAM)，例如，動態以及靜態RAM、可消除可程控唯讀記憶體(EPROM)、電氣地可消除可程控唯讀記憶體(EEPROM)、快閃記憶體、固態碟片(SSD)、磁或光學卡、或適用於儲存電子指令之任何型式的媒體。其他實施例可被實作如利用可程控設備被執行之軟體模組。該儲存媒體可以是非暫態的。
此處所採用之名詞以及詞組可被使用作為說明並且不是限制性的名詞，而且此等名詞以及詞組之使用不欲排除所展示以及說明特點之任何等效者(或其部份)，並且確認各種修改是可能在申請專利範圍範疇之內。因此，申請專利範圍是欲涵蓋所有此些等效者。各種特點、論點以及實施例已於此處被說明。熟習本技術者應了解，該等特點、論點以及實施例是可容許與另一者組合以及變化與修 改。因此，本揭示將被考慮包含此等組合、變化、以及修改。
如於此處所述，各種實施例可使用硬體元件、軟體元件、或其任何組合被實作。硬體元件範例可包含處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感器、以及其它者)、積體電路、特定應用積體電路(ASIC)、可程控邏輯設備(PLD)、數位信號處理器(DSP)、場式可程控閘陣列(FPGA)、邏輯閘、暫存器、半導體設備、晶片、微晶片、晶片組、以及其它者。
關於這說明文中之“一實施例”或“一個實施例”意謂著有關實施例說明之一特定特點、結構、或特性被包含在至少一實施例中。因此，這說明書中各處之詞組“於一實施例中”或“於一個實施例中”的出現是不必定得都關連於相同實施例。更進一步地，特定特點、結構、或特性，可於一個或多個實施例中以任何適當的方式被組合。
依據一論點，其提供在一第一使用者設備以及一遠端使用者設備之間的通訊期間用於產生、渲染以及動畫化之系統。該系統包含：一攝影機，其被組態以擷取影像；一通訊模組，其被組態以啟動以及建立在該第一以及該遠端使用者設備之間的通訊並且發送與接收在該第一以及該遠端使用者設備之間的資訊；以及一個或多個儲存媒體，其具有分別地或組合地被儲存在其上之指令，當該等指令藉由一個或多個處理器被執行時，導致一個或多個操作。該等操作包含選擇一模式為基礎之二維(2-D)化身以及一素 描為基礎之2-D化身的至少一者以供在通訊期間之使用；啟動通訊；擷取一影像；檢測影像中之一臉部；決定來自該臉部之臉部特徵；轉換該等臉部特徵為化身參數；並且發送該等化身選擇以及化身參數之至少一者。
另一系統範例包含上述構件，並且決定來自臉部之臉部特徵包含檢測以及識別臉部中之臉部界標。該等臉部界標包含該影像中之該臉部的一前額、下巴、眼睛、鼻子、口部、以及臉部輪廓之至少一者。決定來自臉部之臉部特徵進一步包含至少部份地依據該等識別的臉部界標而產生臉部參數。該等臉部參數包含一個或多個關鍵點以及在該等一個或多個關鍵點之至少二點之間形成連接的邊緣。
另一系統範例包含上述構件，並且化身選擇以及化身參數被使用以產生一化身在一遠端設備上，該化身是依據該等臉部特徵為基礎。
另一系統範例包含上述構件，並且該化身選擇以及化身參數被使用以產生一化身在一虛擬空間中，該化身是依據該等臉部特徵為基礎。
另一系統範例包含上述構件，以及指令，當該等指令藉由一個或多個處理器被執行時導致下面接收一遠端化身選擇以及該等遠端化身參數之至少一者的另外操作。
另一系統範例包含上述構件，以及進一步包含一顯示器，其中該等指令當藉由一個或多個處理器被執行時導致下面之另外的操作：依據遠端化身參數為基礎而渲染 遠端化身選擇以允許一化身依據遠端化身選擇為基礎而稍微或無失真被顯示並且依據渲染的遠端化身選擇為基礎而顯示該化身。
另一系統範例包含上述構件，以及指令，當該等指令藉由一個或多個處理器被執行時，導致下面之依據遠端化身參數為基礎而動畫化顯示的化身之另外的操作。
依據一論點，其在一第一使用者設備以及一遠端使用者設備之間的通訊期間提供用於化身的產生、渲染以及動畫化之一裝置。裝置包含一通訊模組，其被組態以啟動以及建立在該第一以及該遠端使用者設備之間的通訊；一化身選擇模組，其被組態以允許一使用者選擇一模式為基礎之二維(2-D)化身以及一素描為基礎之2-D化身的至少一者以供在通訊期間之使用；一臉部檢測模組，其被組態以檢測在該使用者之一影像中的一臉部區域並且檢測以及識別該臉部之一個或多個臉部特徵；以及一化身控制模組，其被組態以轉換該等臉部特徵為化身參數。該通訊模組被組態以發送該等化身選擇以及化身參數之至少一者。
另一裝置範例包含上述構件，以及該臉部檢測模組，該臉部檢測模組包含一界標檢測模組，其被組態以識別在該影像中之該臉部區域的臉部界標，該等臉部界標包括該臉部的一前額、下巴、眼睛、鼻子、口部以及臉部輪廓之至少一者。該臉部檢測模組進一步包含一臉部參數模組，其被組態以至少部份地依據該等識別的臉部界標而產生臉部參數，該等臉部參數包括一個或多個關鍵點以及在 該等一個或多個關鍵點之至少二點之間形成連接的邊緣。
另一裝置範例包含上述構件，以及化身控制模組，該化身控制模組被組態以至少部份地依據該等臉部參數而產生該素描為基礎之2D化身。
另一裝置範例包含上述構件，以及化身選擇以及化身參數，該等化身選擇以及化身參數被使用以產生一化身在遠端設備上，該化身是依據該等臉部特徵為基礎。
另一裝置範例包含上述構件以及通訊模組，該通訊模組被組態以接收一遠端化身選擇以及該等遠端化身參數之至少一者。
另一裝置範例包含上述構件，並且進一步包含一顯示器，該顯示器被組態以依據遠端化身選擇為基礎而顯示一化身。
另一裝置範例包含上述構件，並且進一步包含一化身渲染模組，該化身渲染模組被組態以依據遠端化身參數為基礎而渲染遠端化身選擇，以允許依據遠端化身選擇為基礎之化身稍微或無失真地被顯示。
另一裝置範例包含上述構件，以及化身控制模組，該化身控制模組被組態以依據遠端化身參數為基礎而動畫化該顯示之化身。
依據另一論點，其提供用於化身的產生、渲染以及動畫化之方法。該方法包含選擇一模式為基礎之二維(2-D)化身以及一素描為基礎之2-D化身的至少一者以供在通訊期間之使用；啟動通訊；擷取一影像；檢測影像中之 臉部；決定來自臉部之臉部特徵；轉換臉部特徵為化身參數並且發送化身選擇以及化身參數之至少一者。
另一方法範例包含上述操作，以及決定自臉部之臉部特徵，該決定步驟包含檢測以及識別臉部中之臉部界標。該等臉部界標包含影像中之臉部的前額、下巴、眼睛、鼻子、口部以及臉部輪廓之至少一者。決定來自臉部之臉部特徵進一步包含至少部份地依據識別臉部界標而產生臉部參數。該等臉部參數包含一個或多個關鍵點以及在該等一個或多個關鍵點之至少二點之間形成連接之邊緣。
另一方法範例包含上述操作，並且化身選擇以及化身參數被使用以產生一化身在一遠端設備上，該化身是依據該等臉部特徵為基礎。
另一方法範例包含上述操作，並且化身選擇以及化身參數被使用以在一虛擬空間中產生一化身，該化身是依據臉部特徵為基礎。
另一方法範例包含上述操作以及指令，當該等指令藉由一個或多個處理器被執行時，導致下面接收一遠端化身選擇以及該等遠端化身參數之至少一者的另外操作。
另一方法範例包含上述操作，以及進一步包含一顯示器，其中該等指令當藉由一個或多個處理器被執行時，導致下面之另外的操作：依據遠端化身參數為基礎而渲染遠端化身選擇，以允許依據遠端化身選擇為基礎之一化身稍微或無失真地被顯示並且依據渲染之遠端化身選擇為基礎而顯示該化身。
另一方法範例包含上述操作以及指令，該等指令當藉由一個或多個處理器被執行時，導致下面依據遠端化身參數為基礎而動畫化該顯示的化身之另外操作。
依據另一論點，其提供至少一電腦可存取媒體，其包含被儲存在其上之指令。當該等指令藉由一個或多個處理器被執行時，可導致電腦系統進行用於化身的產生、渲染以及動畫化之操作。該等操作包含選擇一模式為基礎之二維(2D)化身以及一素描為基礎2D之化身之至少一者以供在通訊期間之使用；啟動通訊；擷取一影像；檢測影像中之一臉部；決定來自臉部之臉部特徵；轉換該等臉部特徵為化身參數並且發送化身選擇以及化身參數之至少一者。
另一電腦可存取媒體範例包含上述操作，並且決定來自臉部之臉部特徵包含檢測以及識別臉部中之臉部界標。該等臉部界標包含影像中之臉部的前額、下巴、眼睛、鼻子、口部、以及臉部輪廓之至少一者。決定自臉部之臉部特徵進一步包含至少部份地依據識別的臉部界標而產生臉部參數。該等臉部參數包含一個或多個關鍵點以及在一個或多個關鍵點之至少二者之間形成連接之邊緣。
另一電腦可存取媒體範例包含上述操作，並且化身選擇以及化身參數被使用以產生一化身在一遠端設備上，該化身是依據臉部特徵為基礎。
另一電腦可存取媒體範例包含上述操作，並且化身選擇以及化身參數被使用以在一虛擬空間中產生一化 身，該化身是依據臉部特徵為基礎。
另一電腦可存取媒體範例包含上述操作以及指令，當該等指令藉由一個或多個處理器被執行時，導致下面接收一遠端化身選擇以及該等遠端化身參數之至少一者的另外操作。
另一電腦可存取媒體範例包含上述操作，以及進一步包含一顯示器，其中該等指令當藉由一個或多個處理器被執行時，導致下面另外的操作：依據遠端化身參數為基礎而渲染遠端化身選擇，以允許依據遠端化身選擇為基礎之一化身稍微或無失真地被顯示且依據渲染的遠端化身選擇為基礎而顯示該化身。
另一電腦可存取媒體範例包含上述操作以及指令，當該等指令藉由一個或多個處理器被執行時，導致下面依據遠端化身參數為基礎而動畫化顯示的化身之另外操作。
此處採用之名詞以及詞組被使用作為說明並且不是限制性的名詞，而且此等名詞以及詞組之使用不欲排除所展示以及說明特點之任何等效者(或其部份)，並且確認各種修改是可能在申請專利範圍範疇之內。因此，申請專利範圍是有意地涵蓋所有此些等效者。

Claims (16)

  1. 一種用於在一本地使用者設備與一遠端使用者設備之間的通訊期間之化身的產生、渲染及動畫化之系統，該系統包括：一攝影機，其被組態以擷取影像；一通訊電路，其被組態以通訊耦接至具有該遠端使用者設備的一網路；以及一個或多個儲存媒體，其具有個別地或組合地儲存在其上之指令，當該等指令藉由一個或多個處理器執行時會導致以下的操作，包括：選擇一本地二維(2-D)化身；接收來自該攝影機之一影像；檢測該影像中之一臉部；從該臉部決定臉部特徵；轉換該等臉部特徵為本地化身參數；經由該網路傳送該本地化身選擇及該等本地化身參數到該遠端使用者設備；接收來自該遠端使用者設備之一遠端化身選擇及遠端化身參數，該等遠端化身參數包含至少一個經轉換遠端臉部特徵；決定該本地使用者設備的一顯示器的一尺寸；決定使用該系統來互動之使用者的一數量；當判定多於兩位以上的使用者將使用該系統 來互動，則基於互動之使用者的該數量來將該顯示器的一顯示面積劃分成為該顯示面積的多個區域；於該本地使用者設備中基於所接收之該等遠端化身參數、及經決定之該本地使用者設備之該顯示器的該尺寸、及該顯示面積之該等區域的一尺寸來決定一遠端化身比例因數；於該本地使用者設備中藉由經決定之該遠端化身比例因數來依比例縮放所顯示之該遠端化身選擇；以及將經比例縮放之該遠端化身選擇顯示在該本地使用者設備的該顯示器上或者該顯示器的一區域中。
  2. 如申請專利範圍第1項之系統，其中決定來自該臉部之臉部特徵包括：檢測以及識別在該臉部中之臉部界標，該等臉部界標包括該影像中之該臉部的一前額、下巴、眼睛、鼻子、口部、以及臉部輪廓之至少一者；以及至少部份地基於經識別的該等臉部界標而產生臉部參數，該等臉部參數包括一個或多個關鍵點以及在該等一個或多個關鍵點之至少二點之間形成連接的邊緣。
  3. 如申請專利範圍第1項之系統，其中該等本地化身選擇以及本地化身參數被使用以在該遠端使用者設備上產生一化身，該化身是基於該等臉部特徵。
  4. 如申請專利範圍第1項之系統，其中該等本地化身選擇 以及本地化身參數被使用以在一虛擬空間中產生一化身，該化身是基於該等臉部特徵。
  5. 如申請專利範圍第1項之系統，其中該等指令當藉由一個或多個處理器被執行時，導致以下附加的操作：基於該等遠端化身參數而渲染該遠端化身選擇，以允許顯示基於該遠端化身選擇之一化身。
  6. 如申請專利範圍第5項之系統，其中該等指令當藉由一個或多個處理器被執行時，導致以下附加的操作：基於該等遠端化身參數而動畫化所顯示的該遠端化身。
  7. 一種用於化身的產生、渲染及動畫化之方法，該方法包括：選擇一本地二維(2-D)化身以供在一本地使用者設備與一遠端使用者設備之間經由一網路的通訊期間使用；擷取一影像；檢測該影像中之一臉部；從該臉部決定臉部特徵；轉換該等臉部特徵為本地化身參數；經由該網路傳送該本地化身選擇及該等化身參數到該遠端使用者設備；接收來自該遠端使用者設備之一遠端化身選擇及遠端化身參數，該等遠端化身參數包含至少一個經轉換的遠端臉部特徵；決定該本地使用者設備的一顯示器的一尺寸； 決定互動之使用者的一數量；當判定多於兩位以上的使用者將會互動，則基於互動之使用者的該數量來將該顯示器的一顯示面積劃分成為該顯示面積的多個區域；於該本地使用者設備中基於所接收之該等遠端化身參數、及經決定之該本地使用者設備之該顯示器的該尺寸、及該顯示面積之該等區域的一尺寸來決定一遠端化身比例因數；於該本地使用者設備中藉由經決定之該遠端化身比例因數來依比例縮放所顯示之該遠端化身選擇；以及將經比例縮放之該遠端化身選擇顯示在該本地使用者設備的該顯示器上或者該顯示器的一區域中。
  8. 如申請專利範圍第7項之方法，其中決定來自該臉部之臉部特徵包括：檢測以及識別在該臉部中之臉部界標，該等臉部界標包括該影像中之該臉部的一前額、下巴、眼睛、鼻子、口部、以及臉部輪廓之至少一者；並且至少部份地基於經識別的該等臉部界標而產生臉部參數，該等臉部參數包括關鍵點以及在一個或多個關鍵點之間形成連接之邊緣。
  9. 如申請專利範圍第7項之方法，其中該等本地化身選擇以及本地化身參數被使用以在一遠端使用者設備上產生一化身，該化身是基於該等臉部特徵。
  10. 如申請專利範圍第7項之方法，進一步包括： 基於該等遠端化身參數而渲染該遠端化身選擇，以允許顯示基於該遠端化身選擇之一化身。
  11. 如申請專利範圍第10項之方法，進一步包括基於該等遠端化身參數而動畫化所顯示的該遠端化身。
  12. 一種用於化身的產生之電腦執行方法，包括：接收來自耦接至一本地使用者設備之一攝影機的一影像；檢測該影像中之一臉部並且從經檢測之該臉部決定臉部特徵；基於經識別之該影像中的臉部界標來決定經檢測之該臉部的一臉部樣型；基於經決定的該臉部樣型而產生一素描式二維(2-D)化身，該素描式2-D化身提供對應至經檢測之該臉部之一形狀以及關鍵臉部特徵的至少一外形；將該素描式2-D化身作為化身參數傳送至一遠端使用者設備；接收來自該遠端使用者設備之一遠端化身選擇及遠端化身參數，該等遠端化身參數包含至少一個經轉換的遠端臉部特徵；決定該本地使用者設備的一顯示器的一尺寸；決定互動之使用者的一數量；當判定多於兩位以上的使用者將會互動，則基於互動之使用者的該數量來將該顯示器的一顯示面積劃分成為該顯示面積的多個區域； 於該本地使用者設備中基於所接收之該等遠端化身參數、及經決定之該本地使用者設備之該顯示器的該尺寸、及該顯示面積之該等區域的一尺寸來決定一遠端化身比例因數；於該本地使用者設備中藉由經決定之該遠端化身比例因數來依比例縮放所顯示之該遠端化身選擇；以及將經比例縮放之該遠端化身選擇顯示在該本地使用者設備的該顯示器上或者該顯示器的一區域中。
  13. 如申請專利範圍第12項之方法，其中決定經檢測之該臉部的該臉部樣型進一步包含識別出關鍵點及連接二或多個關鍵點之關聯的邊緣，該等關鍵點係對應至經識別之所偵測之該臉部之臉部界標，其中該等關聯的邊緣提供所連接之該二或多個關鍵點之間的相對定位之一指示。
  14. 如申請專利範圍第12項之方法，其中該臉部界標包含一前額、一下巴、眼睛、一鼻子、一嘴巴及臉部輪廓中的至少一者。
  15. 如申請專利範圍第12項之方法，其中被傳送到該遠端使用者設備的該等化身參數係被組態以致使該遠端使用者設備來基於該等化身參數而產生該素描式2-D化身的一視覺代表。
  16. 如申請專利範圍第12項之方法，進一步包括：基於該等遠端化身參數而渲染該遠端化身選擇，以允許顯示基於該遠端化身選擇之一化身。
TW102112511A 2012-04-09 2013-04-09 用於化身的產生、渲染以及動畫化之系統與方法 TWI642306B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/CN2012/000460 2012-04-09
PCT/CN2012/000460 WO2013152455A1 (en) 2012-04-09 2012-04-09 System and method for avatar generation, rendering and animation

Publications (2)

Publication Number Publication Date
TW201352003A TW201352003A (zh) 2013-12-16
TWI642306B true TWI642306B (zh) 2018-11-21

Family

ID=49326983

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102112511A TWI642306B (zh) 2012-04-09 2013-04-09 用於化身的產生、渲染以及動畫化之系統與方法

Country Status (4)

Country Link
US (1) US20140198121A1 (zh)
CN (2) CN111275795A (zh)
TW (1) TWI642306B (zh)
WO (1) WO2013152455A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087520B2 (en) 2018-09-19 2021-08-10 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation for facial model

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
CN104170318B (zh) 2012-04-09 2018-06-01 英特尔公司 使用交互化身的通信
WO2014139118A1 (en) 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
WO2014139142A1 (en) 2013-03-15 2014-09-18 Intel Corporation Scalable avatar messaging
CN105229673B (zh) * 2013-04-03 2021-12-03 诺基亚技术有限公司 一种装置和相关联的方法
GB2516241A (en) * 2013-07-15 2015-01-21 Michael James Levy Avatar creation system and method
US9761032B2 (en) 2014-07-25 2017-09-12 Intel Corporation Avatar facial expression animations with head rotation
WO2016068581A1 (en) 2014-10-31 2016-05-06 Samsung Electronics Co., Ltd. Device and method of managing user information based on image
EP3238177A4 (en) 2014-12-23 2018-09-05 Intel Corporation Facial gesture driven animation of non-facial features
US9824502B2 (en) 2014-12-23 2017-11-21 Intel Corporation Sketch selection for rendering 3D model avatar
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
CN104618721B (zh) * 2015-01-28 2018-01-26 山东大学 基于特征建模的极低码率下人脸视频编解码方法
KR101937850B1 (ko) * 2015-03-02 2019-01-14 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치
KR101620050B1 (ko) * 2015-03-03 2016-05-12 주식회사 카카오 인스턴트 메시지 서비스를 통한 시나리오 이모티콘 표시 방법 및 이를 위한 사용자 단말
KR101726844B1 (ko) * 2015-03-25 2017-04-13 네이버 주식회사 만화 데이터 생성 시스템 및 방법
CN114527881B (zh) * 2015-04-07 2023-09-26 英特尔公司 化身键盘
WO2016161553A1 (en) * 2015-04-07 2016-10-13 Intel Corporation Avatar generation and animations
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
CN105120165A (zh) * 2015-08-31 2015-12-02 联想(北京)有限公司 图像采集的控制方法以及装置
CN105577517A (zh) * 2015-12-17 2016-05-11 掌赢信息科技（上海）有限公司 一种短视频消息的发送方法及电子设备
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10504268B1 (en) * 2017-04-18 2019-12-10 Educational Testing Service Systems and methods for generating facial expressions in a user interface
KR20230144661A (ko) 2017-05-16 2023-10-16 애플 인크. 이모지 레코딩 및 전송
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
CN110036412A (zh) * 2017-05-16 2019-07-19 苹果公司 表情符号录制和发送
US11368351B1 (en) * 2017-09-19 2022-06-21 Lockheed Martin Corporation Simulation view network streamer
CN108335345B (zh) * 2018-02-12 2021-08-24 北京奇虎科技有限公司 面部动画模型的控制方法及装置、计算设备
US10681310B2 (en) 2018-05-07 2020-06-09 Apple Inc. Modifying video streams with supplemental content for video conferencing
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK179874B1 (en) 2018-05-07 2019-08-13 Apple Inc. USER INTERFACE FOR AVATAR CREATION
CN108717719A (zh) * 2018-05-23 2018-10-30 腾讯科技（深圳）有限公司 卡通人脸图像的生成方法、装置及计算机存储介质
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
CN109919016B (zh) * 2019-01-28 2020-11-03 武汉恩特拉信息技术有限公司 一种在无脸部器官的对象上生成人脸表情的方法及装置
DK201970531A1 (en) 2019-05-06 2021-07-09 Apple Inc Avatar integration with multiple applications
US11356720B2 (en) * 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
CN113223128B (zh) * 2020-02-04 2022-09-13 北京百度网讯科技有限公司 用于生成图像的方法和装置
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11652959B2 (en) * 2020-05-12 2023-05-16 True Meeting Inc. Generating a 3D visual representation of the 3D object using a neural network selected out of multiple neural networks
CN111614925B (zh) * 2020-05-20 2022-04-26 广州视源电子科技股份有限公司 人物图像处理方法、装置、相应终端及存储介质
EP4139777A1 (en) 2020-06-08 2023-03-01 Apple Inc. Presenting avatars in three-dimensional environments
CN111667553A (zh) * 2020-06-08 2020-09-15 北京有竹居网络技术有限公司 头像像素化的面部颜色填充方法、装置及电子设备
CN112115823A (zh) * 2020-09-07 2020-12-22 江苏瑞科科技有限公司 一种基于情感化身的混合现实协同系统
CN116762103A (zh) * 2021-01-13 2023-09-15 三星电子株式会社 电子装置及在该电子装置中运行化身视频服务的方法
CN112601047B (zh) * 2021-02-22 2021-06-22 深圳平安智汇企业信息管理有限公司 基于虚拟会议场景终端的投影方法、装置以及计算机设备
TWI792845B (zh) * 2021-03-09 2023-02-11 香港商數字王國企業集團有限公司 追蹤臉部表情的動畫產生方法及其神經網路訓練方法
CN113240778B (zh) * 2021-04-26 2024-04-12 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、电子设备和存储介质
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US20230273714A1 (en) 2022-02-25 2023-08-31 ShredMetrix LLC Systems And Methods For Visualizing Sporting Equipment
EP4273669A1 (en) * 2022-05-06 2023-11-08 Nokia Technologies Oy Monitoring of facial characteristics
US11972526B1 (en) * 2023-03-31 2024-04-30 Apple Inc. Rendering of enrolled user's face for external display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142236A1 (en) * 2002-01-28 2003-07-31 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
US7386799B1 (en) * 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
TW201136372A (en) * 2010-04-07 2011-10-16 Apple Inc Apparatus and method for establishing and utilizing backup communication channels
TW201205122A (en) * 2010-04-13 2012-02-01 Sony Comp Entertainment Us Calibration of portable devices in a shared virtual space
EP2431936A2 (en) * 2009-05-08 2012-03-21 Samsung Electronics Co., Ltd. System, method, and recording medium for controlling an object in virtual world

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
JP2004289254A (ja) * 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd テレビ電話端末
GB0311208D0 (en) * 2003-05-15 2003-06-18 British Telecomm Feature based caricaturing
KR100983745B1 (ko) * 2003-09-27 2010-09-24 엘지전자 주식회사 이동 통신 단말기의 아바타 생성 서비스 방법
KR101141643B1 (ko) * 2005-03-07 2012-05-04 엘지전자 주식회사 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
US7809172B2 (en) * 2005-11-07 2010-10-05 International Barcode Corporation Method and system for generating and linking composite images
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US20090315893A1 (en) * 2008-06-18 2009-12-24 Microsoft Corporation User avatar available across computing applications and devices
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142236A1 (en) * 2002-01-28 2003-07-31 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
US7386799B1 (en) * 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
EP2431936A2 (en) * 2009-05-08 2012-03-21 Samsung Electronics Co., Ltd. System, method, and recording medium for controlling an object in virtual world
TW201136372A (en) * 2010-04-07 2011-10-16 Apple Inc Apparatus and method for establishing and utilizing backup communication channels
TW201205122A (en) * 2010-04-13 2012-02-01 Sony Comp Entertainment Us Calibration of portable devices in a shared virtual space

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087520B2 (en) 2018-09-19 2021-08-10 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation for facial model

Also Published As

Publication number Publication date
CN104205171A (zh) 2014-12-10
TW201352003A (zh) 2013-12-16
US20140198121A1 (en) 2014-07-17
WO2013152455A1 (en) 2013-10-17
CN111275795A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
TWI642306B (zh) 用於化身的產生、渲染以及動畫化之系統與方法
US11595617B2 (en) Communication using interactive avatars
US9936165B2 (en) System and method for avatar creation and synchronization
TWI656505B (zh) 頭像管理和選擇的系統及方法
US20170310934A1 (en) System and method for communication using interactive avatar
TWI583198B (zh) 使用互動化身的通訊技術
TWI682669B (zh) 使用互動化身的通訊技術（五）
TW202107250A (zh) 使用互動化身的通訊技術（七）