TW202247107A - 用於訓練模型之臉部擷取人工智慧 - Google Patents

用於訓練模型之臉部擷取人工智慧 Download PDF

Info

Publication number
TW202247107A
TW202247107A TW111112263A TW111112263A TW202247107A TW 202247107 A TW202247107 A TW 202247107A TW 111112263 A TW111112263 A TW 111112263A TW 111112263 A TW111112263 A TW 111112263A TW 202247107 A TW202247107 A TW 202247107A
Authority
TW
Taiwan
Prior art keywords
game
character
model
data
mesh
Prior art date
Application number
TW111112263A
Other languages
English (en)
Other versions
TWI814318B (zh
Inventor
喬夫 維迪格
Original Assignee
美商索尼互動娛樂有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商索尼互動娛樂有限責任公司 filed Critical 美商索尼互動娛樂有限責任公司
Publication of TW202247107A publication Critical patent/TW202247107A/zh
Application granted granted Critical
Publication of TWI814318B publication Critical patent/TWI814318B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供用於使用一模擬角色訓練一模型以用於將一遊戲角色之一臉部表情製成動畫的方法及系統。該方法包括使用輸入標籤值檔案(iLVF)產生該模擬角色之臉部表情。該方法包括使用一虛擬攝影機來擷取該模擬角色之網格資料以產生該模擬角色之一臉部的三維(3D)深度資料。在一項實施例中，該3D深度資料被輸出為對應於藉由該虛擬攝影機擷取之訊框之網格檔案。該方法包括處理該等iLVF及該網格資料以訓練該模型。在一項實施例中，該模型經組態以接收來自一人類演員之輸入網格檔案以產生輸出標籤值檔案(oLVF)，該等輸出標籤值檔案用於將該遊戲角色之該臉部表情製成動畫。以此方式，訓練該模型不需要一真人演員。

Description

用於訓練模型之臉部擷取人工智慧
本發明大體上係關於將遊戲角色之臉部表情製成動畫，且更明確而言，係關於用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法及系統。
多年來，視訊遊戲產業已發生諸多變化。明確而言，在過去幾年中，與視訊遊戲中之臉部動畫相關的技術變得愈來愈複雜，從而導致遊戲角色看起來愈來愈逼真。如今，遊戲角色可像人臉一樣表達情緒及情感，讓玩家更加沉浸在遊戲世界中。為此，開發人員一直在尋找開發複雜操作的方法，該等操作將改良臉部動畫過程，藉此導致該過程更有效且更省時。
視訊遊戲產業之增長趨勢為改良及開發某些獨特方式，該等方式將增強遊戲角色之臉部動畫過程且使該過程變得更有效。遺憾地，當前臉部動畫過程昂貴、耗時，且涉及精確的規劃及指導。例如，臉部動畫過程可能涉及具有有助於製作動畫遊戲角色之不同技能組合的各種促成者(例如，導演、演員、視訊製作團隊、設計師、動畫師等)。當前的臉部動畫過程可能非常耗時且昂貴。明確而言，視訊製作團隊及真人演員可能需要一起工作以擷取演員之臉部表情。真人演員可能需要表演數千種面部表情，而視訊製作團隊則確保正確擷取演員之表演。遺憾地，該過程非常耗時且昂貴。因此，製作遊戲角色之臉部動畫的當前過程可能效率低下，如此可能無法在緊迫的時間表下有效地達成高品質結果。
本發明之實施方案正是在此背景下提出。
本發明之實施方案包括與使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫有關的方法、系統及裝置。在某些實施例中，揭示使得能夠產生模擬角色之臉部表情的方法，其中藉由虛擬攝影機擷取模擬角色之臉部表情以產生用於訓練人工智慧(AI)模型的網格資料。例如，表情模擬器可用於使用輸入標籤值檔案(iLVF)來產生該模擬角色之臉部表情。該等輸入標籤值iLVF可對應於多種臉部表情，諸如喜悅、恐懼、悲傷、憤怒、驚訝等，該等臉部表情可用於指示模擬角色產生臉部表情。
在一項實施例中，藉由虛擬攝影機擷取該模擬角色之臉部表情以產生網格資料，該網格資料經處理以訓練該模型。在某些實施例中，可在時間上與該等iLVF協調地處理該網格資料以訓練該模型。在一項實施例中，該模型可經組態以接收來自人類演員(或任何人或角色之臉部)的輸入檔案以產生輸出標籤值檔案(oLVF)，該等輸出標籤值檔案用於將遊戲角色之臉部表情製成動畫。因此，一旦訓練了該模型，本文中揭示之方法概述了在模型中使用人類演員之輸入網格檔案來產生oLVF的方式，該等oLVF用於將遊戲角色之臉部表情製成動畫。因此，替代需要真人演員來產生數千種臉部表情、動作及姿勢，本文揭示之方法概述了使用模擬角色訓練該模型之方式，其中指示該模擬角色產生數千種臉部表情、動作及姿勢。以此方式，訓練模型及將遊戲角色之臉部表情製成動畫可快速且有效地完成，而無需使用人類演員來訓練該模型。
在一項實施例中，提供一種用於使用模擬角色訓練一模型以用於將遊戲角色之臉部表情製成動畫的方法。該方法包括使用輸入標籤值檔案(iLVF)產生該模擬角色之臉部表情。該方法包括使用一虛擬攝影機來擷取該模擬角色之網格資料以產生該模擬角色之一臉部的三維(3D)深度資料。在一項實施例中，該3D深度資料被輸出為對應於藉由該虛擬攝影機擷取之訊框之網格檔案。該方法包括處理該等iLVF及該網格資料以訓練該模型。在一項實施例中，該模型經組態以接收來自一人類演員之輸入網格檔案以產生輸出標籤值檔案(oLVF)，該等輸出標籤值檔案用於將該遊戲角色之該臉部表情製成動畫。以此方式，訓練該模型不需要一真人演員。
在另一項實施例中，提供一種用於使用三維(3D)影像擷取來產生遊戲角色之臉部表情之標籤值的方法。該方法包括存取一模型，該模型係使用與一模擬角色相關聯的所擷取之輸入來進行訓練。在一項實施例中，所擷取之該輸入包括用於產生該模擬角色之臉部表情之輸入標籤值檔案(iLVF)。在另一項實施例中，該等輸入進一步包括該模擬角色之一臉部之網格資料，該網格資料表示該臉部之三維(3D)深度資料。在一項實施例中，藉由處理該等iLVF及該網格資料來訓練該模型。該方法包括擷取包括一人類演員之一臉部之網格資料的網格檔案，該等網格檔案被提供為該模型之輸入查詢以請求對應於該等所擷取之網格檔案中之各別者的標籤值檔案(LVF)。在一項實施例中，該等LVF可由一遊戲引擎使用來將藉由該遊戲引擎處理之一遊戲中存在之該遊戲角色之該等臉部表情製成動畫。
本發明之其他態樣及優點將自結合附圖以舉例方式說明本發明之原理之以下詳細闡述變得顯而易見。
本發明之以下實施方案提供用於使用模擬角色訓練人工智慧(AI)模型以用於將遊戲角色之臉部表情製成動畫的方法、系統及裝置。例如，在一項實施例中，指示模擬角色使用輸入值檔案(iLVF)來產生不同的臉部表情。在模擬角色產生不同的臉部表情時，虛擬攝影機經組態以擷取模擬角色之網格資料。在某些實施例中，處理所擷取之網格資料及iLVF以訓練該模型。在一項實施例中，在訓練了該模型之後，該模型經組態以接收來自任何人類演員(或任何人或角色之臉部)的輸入網格檔案以產生輸出標籤值檔案(oLVF)。因此，所產生之輸出oLVF可用於將視訊遊戲中之遊戲角色之臉部表情製成動畫。
因此，使用模擬角色替代真人演員來訓練模型促進將遊戲角色之臉部表情製成動畫的有效方式，此乃因不需要真人演員來產生不同的臉部表情、動作、姿勢及情緒。此消除了使用真人演員之需要，使用真人演員係耗時的且需要大量資源來確保恰當地擷取網格資料。例如，替代讓演員及視訊製作團隊花費很多小時及天數來產生及擷取演員之大量臉部表情及動作，可使用模擬角色來產生臉部表情，且可藉由虛擬攝影機擷取模擬角色之網格資料。大體上，本文闡述之方法提供用於使用已訓練模型將遊戲角色之臉部表情製成動畫的更有效方式，如此轉而可減少花在產生及擷取真人演員之臉部表情上的總體操作成本及時間。
舉例而言，揭示一種方法，該方法使得能夠使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫。該方法包括使用輸入標籤值檔案(iLVF)產生該模擬角色之臉部表情。在另一項實施例中，該方法可包括使用虛擬攝影機擷取模擬角色之網格資料以產生模擬角色之臉部的三維(3D)深度資料。在一項實施例中，該3D深度資料被輸出為對應於藉由虛擬攝影機擷取之訊框的網格檔案。在另一項實施例中，該方法可包括處理iLVF及網格資料以訓練該模型。在一項實例中，該模型經組態以接收來自人類演員之輸入網格檔案以產生輸出標籤值檔案(oLVF)，該等輸出標籤值檔案用於將遊戲角色之臉部表情製成動畫。然而，對於熟習此項技術者顯而易見的是，可在沒有目前所闡述之某些或全部具體細節的情況下實踐本發明。在其他情況下，未詳細闡述眾所周知之過程操作，以免不必要地使本發明變得模糊。
根據一項實施例，揭示一種系統，該系統用於使用模擬角色訓練模型以用於將視訊遊戲中之遊戲角色之臉部表情製成動畫。在一項實施例中，該系統可包括表情模擬器，該表情模擬器經組態以使用標籤值檔案(iLVF)作為輸入來指示模擬角色產生各種臉部表情。在某些實施例中，在模擬角色產生不同臉部表情時，虛擬攝影機經組態以擷取模擬角色之網格資料以產生模擬角色之臉部的三維(3D)深度資料。在某些實施例中，處理用於產生模擬角色之臉部表情的iLVF及所擷取之網格資料以訓練該模型。
在某些實施例中，對該模型之訓練可包括在時間上與iLVF協調地處理該網格資料，使得該模型學習該等iLVF與該網格資料之間的對應性。在一項實施例中，在訓練了該模型之後，該模型經組態以接收來自人類演員(或任何人或角色之臉部)的輸入網格檔案以產生輸出標籤值檔案(oLVF)，該等輸出標籤值檔案用於將遊戲角色之臉部表情製成動畫。
考慮到以上概述，以下提供幾項實例圖以促進對實例實施例的理解。
圖1示出了用於使用模擬角色102訓練人工智慧(AI)模型116之系統的實施例。如圖1所示，在一項實施例中，該系統可包括表情模擬器106，該表情模擬器經組態以使用標籤值(iLVF)作為輸入來指示模擬角色102產生各種臉部表情。在一項實施例中，一或多個虛擬攝影機108經組態以數位地擷取模擬角色102之臉部表情。在某些實施例中，識別3D網格資料關鍵訊框114以進行處理。在一項實施例中，該系統可包括經組態以識別與3D網格資料相關聯之特徵的3D網格資料特徵抽取118操作及經組態以使用一或多個分類器對該等特徵進行分類的3D網格資料分類器120操作。在其他實施例中，該系統可包括經組態以識別與iLVF 110相關聯之特徵的特徵抽取122操作及經組態以使用一或多個分類器對該等特徵進行分類的分類器124操作。在其他實施例中，該系統可包括對準操作126，該對準操作經組態以接收來自分類器120操作及分類器124操作之已分類特徵作為輸入以將3D網格資料與對應iLVF對準。在某些實施例中，使用來自對準操作126之訓練資料(例如，與對應iLVF對準的3D網格資料)來訓練模型116。因此，模型116接收到之訓練資料愈多，所產生之輸出標籤值檔案(oLVF)及臉部動畫的準確性將愈高。
在一項實施例中，表情模擬器106經組態以使用iLVF來指示模擬角色102產生各種臉部表情、臉部運動、眼睛運動、情緒、動作、姿勢等。大體上，iLVF為描述臉部表情、動作及模擬角色臉上之肌肉狀態的標籤。iLVF可包括指示模擬角色102表演特定之臉部表情、動作或使模擬角色臉上之特定肌肉運動的資訊。在其他實施例中，iLVF可識別模擬角色臉上之特定肌肉、該等肌肉所處之位置及識別激活該等肌肉中之哪些。例如，使用對應iLVF，可指示模擬角色102做出表達喜悅、悲傷、恐懼、憤怒、驚訝、厭惡、蔑視、恐慌等狀態的不同之臉部表情。在另一項實例中，使用對應iLVF，可指示模擬角色102產生各種動作，諸如呼吸、喝水、進食、吞嚥、閱讀等。因此，在模擬角色102產生各種表情及動作時，虛擬攝影機108經組態以精確地擷取及追蹤模擬角色102臉上之運動。
在某些實施例中，如圖1所示，顯示器104顯示模擬角色102正回應於來自表情模擬器106之指令而產生臉部表情。在所示實例中，對應於表達「蔑視」之情緒的iLVF用於產生在顯示器104中展示的模擬角色102之臉部表情，例如，眉毛上揚成弓形，嘴角在臉的一側抿緊。
在某些實施例中，在模擬角色產生各種臉部表情時，使用具有攝影機視點(POV) 107之虛擬攝影機108來記錄及擷取模擬角色102。在一項實施例中，虛擬攝影機108為高解析度攝影機，該高解析度攝影機經組態以擷取模擬角色102臉部之三維(3D)網格資料以產生模擬角色102之臉部的3D深度資料。 在一項實施例中，該3D深度資料被輸出為對應於藉由虛擬攝影機108擷取之訊框的網格檔案。在一項實施例中，3D網格資料112可包括與藉由虛擬攝影機108擷取之訊框之3D模型的結構建築物相關聯的網格檔案。在某些實施例中，3D網格資料112可包括使用X、Y及Z幾何坐標中之參考點來定義該3D模型之高度、寬度及深度的網格檔案。
在某些實施例中，在模擬角色之3D網格資料112被虛擬攝像機108擷取之後，識別3D網格資料關鍵訊框114且自3D網格資料112抽取該等3D網格資料關鍵訊框以進行處理。大體上，僅處理及分析3D網格資料關鍵訊框114而非3D網格資料112中之所有訊框，以幫助節省頻寬且減少冗餘。在其他實施例中，系統處理3D網格資料112中之所有訊框，包括過渡訊框。
在某些實施例中，在識別了3D網格資料關鍵訊框114之後，3D網格資料特徵抽取118操作經組態以識別及抽取3D網格資料之關鍵訊框中的各種特徵。在3D網格資料特徵抽取118操作處理及識別來自3D網格資料之關鍵訊框的特徵之後，3D網格資料分類器120操作經組態以使用一或多個分類器對該等特徵進行分類。在一項實施例中，使用分類演算法對特徵加標籤以藉由AI模型116進一步細化。
如上所述，iLVF 110為描述模擬角色之臉部表情及動作的標籤。iLVF 110可包括指示模擬角色102產生特定之臉部表情或動作的資訊。在某些實施例中，iLVF 110可包括複數個臉部特徵值。臉部特徵值可在0至1之間的範圍內且包括範圍大致在50至1500個總值之間的總值數。在某些實施例中，臉部特徵值表示闡述模擬角色臉上之肌肉活動的標籤。例如，臉部特徵值「0」可指示與臉部特徵相關聯的肌肉完全放鬆。相反，臉部特徵值「1」可指示與臉部特徵相關聯的肌肉被最佳地激活。
在某些實施例中，特徵抽取122操作經組態以處理iLVF 110以識別及抽取與iLVF 110相關聯的各種特徵。在特徵抽取122操作處理及識別來自iLVF 110之特徵之後，分類器124操作經組態以使用一或多個分類器對該等特徵進行分類。在一項實施例中，使用分類演算法對特徵加標籤，以藉由AI模型116進一步細化。
在某些實施例中，對準操作126經組態以接收已分類特徵(例如，iLVF已分類特徵、3D網格已分類特徵)作為輸入。在一項實施例中，對準操作126經組態以將3D網格資料與對應iLVF對準。例如，對模型116之訓練可包括對準操作126，該對準操作經組態以將3D網格資料112與iLVF 110相關聯，使得模型學習iLVF與3D網格資料之間的對應性。因此，一旦3D網格資料112與對應iLVF 110恰當地相關，則該資料可用作傳入模型116中之輸入以用於訓練模型116。
在某些實施例中，AI模型116經組態以接收藉由對準操作126產生之訓練檔案(例如，與iLVF對準之3D網格)作為輸入。在另一項實施例中，並非直接輸入或缺少輸入/回饋之其他輸入亦可被視為模型116之輸入。模型116可使用機器學習模型來預測特定輸入網格檔案的對應輸出LVF係什麼。在某些實施例中，隨著時間之推移，訓練檔案可用於訓練模型116以識別給定之輸入網格檔案中正在出現什麼。
圖2A示出表情模擬器106之實施例，該表情模擬器經組態以指示模擬角色102使用輸入標籤值檔案(iLVF) 110來產生臉部表情。如上所述，iLVF 110為描述模擬角色之臉部表情、動作及臉上之肌肉狀態的標籤。iLVF 110可包括指示模擬角色102產生特定之臉部表情或動作的資訊。例如，如圖2A所示之實例中所示，表情模擬器106被示出為接收及處理iLVF 110a至110n。在某些實施例中，表情模擬器106可經組態以接收及處理iLVF 110之任何組合，以指示模擬角色102產生所要之臉部表情或動作。
參看圖2A，iLVF 110a對應於表達「憤怒」之情緒，該情緒用於指示模擬角色102產生在數位臉部表情202a中示出的「憤怒」臉部表情。在另一項實例中，iLVF 110b對應於表達「恐懼」之情緒，該情緒用於指示模擬角色102產生在數位臉部表情202b中示出的「恐懼」臉部表情。在另一項實例中，iLVF 110c對應於表達「悲傷」之情緒，該情緒用於指示模擬角色102產生在數位臉部表情202c中示出的「悲傷」臉部表情。在另一項實例中，iLVF 110n對應於表達「驚訝」之情緒，該情緒用於指示模擬角色102產生在數位臉部表情202n中示出的「驚訝」臉部表情。
圖2B示出對準操作126之實施例，該對準操作經組態以在時間上與iLVF 110協調地處理3D網格資料112以訓練模型116。在一項實施例中，在時間上協調地處理該3D網格資料及該等iLVF，使得模型116學習該3D網格資料與該等iLVF之間的對應性。如上所述，表情模擬器106使用藉由虛擬攝影機108擷取之3D網格資料112及iLVF 110來指示模擬角色102產生各種臉部表情。在某些實施例中，對準操作126幫助訓練該模型，使得該模型可進行學習以在給定網格資料與iLVF之間進行準確相關。
例如，如圖2B中所示，對準操作126被示出為在時間上與iLVF 110協調地處理複數個3D網格檔案112a至112n。隨著時間推移且對準操作繼續接收額外的網格檔案及iLVF，該對準操作經組態以分析資料且確保網格檔案與iLVF恰當地相關。在一項實例中，網格檔案112a在時間t2與iLVF 110a(例如，憤怒)相關，網格檔案112b在時間t4與iLVF 110e(例如，蔑視)相關，網格檔案112c在時間t6與iLVF 110d(例如，厭惡)相關，且網格檔案112n在時間tn與iLVF 110n(例如，驚訝)相關。因此，隨著時間的推移，模型132學習網格資料與iLVF之間的對應性且變得更準確及更可靠。
圖3示出使用藉由模型116產生之輸出LVF 308來將遊戲角色314之臉部表情製成動畫的系統之實施例。如圖3所示，在一項實施例中，該系統可包括3D攝影機304，該3D攝影機經組態以擷取演員302之臉部表情以產生3D網格資料306。在某些實施例中，3D網格資料306可包括可用作傳入模型116中之輸入的輸入網格檔案。在一項實施例中，模型116可經組態以產生輸出LVF 308，該等輸出LVF用於將遊戲角色314之臉部表情製成動畫。在某些實施例中，該系統可包括遊戲引擎310及動畫引擎312，該遊戲引擎及動畫經組態以一起工作以使用輸出LVF 308將遊戲角色314之臉部表情製成動畫。因此，演員302做出的表情可由遊戲角色314即時地複製。
在圖3所示之所示實例中，真人演員302被示出為佩戴包括3D攝影機304之頭戴式耳機，該3D攝影機經組態以擷取演員302之臉部表情以產生3D網格資料306。在其他實施例中，替代真人演員302之臉，可使用任何其他臉，例如，化身、遊戲角色等。在某些實施例中，可能指示演員302做出可藉由3D攝影機304擷取的各種臉部表情、臉部運動、眼睛運動、情緒、動作、姿勢等。例如，可能指示演員302做出表達喜悅、悲傷、恐懼、憤怒、驚訝、厭惡、蔑視及恐慌之情緒狀態的臉部表情。在另一項實例中，可能要求演員302做出各種動作，例如呼吸、喝水、進食、吞嚥、閱讀等。因此，在演員表演期間，3D攝影機304可精確地擷取及追蹤演員臉上之自然肌肉運動。在一項實施例中，演員302及遊戲角色314彼此類似且共用各種臉部實體特性及屬性。在其他實施例中，演員302及遊戲角色並不彼此類似，其亦不共用任何臉部實體特性或屬性。
在一項實施例中，3D攝影機304可具有攝影機視點(POV) 303，該攝影機視點經組態以記錄及擷取演員之臉部表情。3D攝影機304可為高解析度攝影機，該高解析度攝影機經組態以擷取演員302臉部之影像以產生演員302之臉的3D深度資料。在一項實施例中，該3D深度資料被輸出為對應於藉由3D攝影機304擷取之訊框的網格檔案。在一項實施例中，3D網格資料306可包括與藉由3D攝影機304擷取之影像訊框之3D模型的結構建築物相關聯的網格檔案。3D網格資料306可包括使用X、Y及Z幾何坐標中之參考點來定義該3D模型之高度、寬度及深度的網格檔案。
在某些實施例中，模型116經組態以接收輸入網格檔案(例如，3D網格資料306)以產生輸出LVF 308。在某些實施例中，可使用與類似遊戲角色314之模擬角色102相關聯的訓練檔案(例如，iLVF、3D網格資料)來訓練模型116。此可導致准許具有高準確性及品質之輸出LVF 308的模型，此乃因該模型係專門針對特定遊戲角色來進行訓練。例如，在圖3所示之實施例中，模型116係專門針對遊戲角色314來進行訓練。在其他實施例中，可使用與複數個不同模擬角色102相關聯之訓練檔案來訓練模型116。在某些實施例中，模擬角色102中之每一者可為獨特的且彼此不同。例如，模擬角色102中之每一者可具有不同的臉部特徵及實體屬性。因此，模型116可包括複數個模型，其中該等模型中之每一者與視訊遊戲中之特定遊戲角色相關聯。結果，取決於將哪個特定遊戲角色製成動畫，對應模型經組態以產生各別遊戲角色之適當輸出LVF。
在某些實施例中，對應於輸入3D網格資料306的所產生之輸出LVF 308可藉由遊戲引擎310及動畫引擎312接收以進行處理。在某些實施例中，遊戲引擎310及動畫引擎312可一起工作以將遊戲角色314或任何影像(諸如化身)之臉部表情製成動畫。例如，遊戲角色314可為代表演員302之化身。當演員302做出特定臉部表情時，該臉部表情可被化身複製。在一項實施例中，動畫引擎312經組態以確認輸出LVF對於遊戲場景而言係正確的及重要的。在其他實施例中，遊戲引擎310經組態以執行一系列功能及操作，諸如執行及顯示玩遊戲過程。在一項實施例中，遊戲引擎310可使用輸出LVF 308來將遊戲角色314之臉部表情製成動畫。如圖3所示，顯示器316顯示遊戲角色314之臉部。在所示實例中，用於將遊戲角色製成動畫的輸出LVF 308對應於「快樂」情緒。因此，遊戲角色314被示出為微笑，例如，面頰上揚、牙齒露出、眼睛瞇起。
圖4示出LVF表格400之實施例，該LVF表格示出由模型116使用自演員302擷取之輸入網格檔案來產生的各種輸出LVF。在一項實施例中，模型116經組態以接收自演員302(或任何人、化身、角色等之臉)擷取之輸入網格檔案以產生對應於該等輸入網格檔案之輸出LVF。如圖所示，LVF表格400包括輸入網格檔案ID 402及對應之輸出LVF ID 404。在一項實施例中，每一輸出LVF可包括情緒類型406、情緒之闡述408及對應於演員302臉上之各種臉部特徵(例如，臉部特徵1至臉部特徵N)的臉部特徵值410。
如圖4所示，每一產生之輸出LVF可具有對輸出LVF進行分類的對應情緒類型406及闡述對應輸入網格檔案中之特徵的闡述408。例如，如圖4所示，輸入網格檔案(例如，IMF-5)作為輸入被提供至模型116，且輸出LVF(例如，OLV-5)被產生以對應於輸入網格檔案(例如，IMF-5)。如圖所示，輸出LVF(例如，OLV-5)包括與「厭惡」情緒相關聯的臉部表情。此外，對應於輸出LVF(例如，OLV-5)之闡述包括對對應輸入網格檔案之特徵的簡要闡述，例如，鼻子皺起、上唇上揚。
在某些實施例中，每一輸出LVF可包括臉部特徵值410，該等臉部特徵值對應於演員302臉上之特徵，該等特徵用於擷取輸入網格檔案。在一項實施例中，與輸入網格檔案相關聯之臉部特徵值410可包括50至1500個值。在一項實例中，值與演員302臉上的不同肌肉相關聯。在某些實施例中，臉部特徵值410可在0至1之範圍內。在一項實施例中，臉部特徵值410表示闡述每一輸入網格檔案中存在的臉上之肌肉活動的標籤。例如，臉部特徵值「0」可指示與臉部特徵相關聯的肌肉完全放鬆。相反，臉部特徵值「1」可指示與臉部特徵相關聯的肌肉被最佳地激活(例如，盡可能地緊張)。因此，輸出LVF愈詳細，遊戲角色的動畫則愈準確。輸出LVF中提供之細節級別及值的數量可能會直接影響遊戲角色動畫之品質，此乃因值數量愈高通常會產生品質愈高之動畫。
為了說明臉部特徵值410，在一項實例中，如圖4中所示，輸出LVF(例如，OLV-2)包括與「恐懼」情緒相關聯的臉部表情。對應之輸入網格檔案(例如，IMF-2)包括臉部特徵，例如眉毛上揚、上眼瞼上揚及嘴唇咧開。如圖所示，臉部特徵5之值為「1」，其對應於演員眉毛附近的點。值「1」可指示演員之眉毛係緊張的且被最佳地激活，此乃因該區域內之肌肉被激活使得眉毛盡可能地豎起。在另一項實例中，對於輸出LVF(例如，OLV-2)，臉部特徵4具有值「0」，其對應於演員鼻樑附近的點。值「0」可指示演員的鼻樑完全放鬆且不活動。
圖5示出使用輸出標籤值檔案(oLVF) 308a至308n來將遊戲角色314之臉部表情製成動畫的遊戲引擎310之實施例。如圖所示，顯示器316示出在藉由遊戲引擎310製成動畫之後具有不同臉部表情(例如，314a至314n)的遊戲角色314。在一項實例中，對應於「憤怒」臉部表情之oLVF 308a用於將遊戲角色之臉部表情製成動畫。在該實例中，被製成動畫之遊戲角色314a被示出為表達指示憤怒的情緒(例如，眉毛下垂、上眼瞼上揚、唇緣翹起)。
在另一項實例中，對應於「厭惡」臉部表情之oLVF 308b用於將遊戲角色之臉部表情製成動畫。在該實例中，被製成動畫之遊戲角色314b被示出為表達指示厭惡的情緒(例如，舌頭伸出、鼻子皺起、上唇翹起)。在又一項實例中，對應於「快樂」臉部表情之oLVF 308c用於將遊戲角色之臉部表情製成動畫。在該實例中，被製成動畫之遊戲角色314c被示出為表達指示快樂的情緒(例如，臉頰抬起、嘴唇向後咧開、牙齒露出)。
在另一項實例中，對應於「脾氣暴躁」臉部表情之oLVF 308d用於將遊戲角色之臉部表情製成動畫。在該實例中，被製成動畫之遊戲角色314d被示出為表達指示該角色脾氣暴躁的情緒(例如，嘴角下撇、眉毛低垂)。在又一項實例中，對應於「傷心」臉部表情之oLVF 308n用於將遊戲角色之臉部表情製成動畫。在該實例中，被製成動畫之遊戲角色314n被示出為表達指示該角色傷心的情緒(例如，眼睛變窄、嘴巴張開)。
圖6示出使用模擬角色102來訓練模型116以用於將遊戲角色314之臉部表情製成動畫的方法。在一項實施例中，該方法包括操作602，該操作經組態以使用輸入標籤值檔案(iLVF) 110來產生模擬角色之臉部表情。在一項實施例中，操作602可使用表情模擬器106，該表情模擬器經組態以使用iLVF 110來指示模擬角色102產生各種臉部表情、運動、眼睛運動、情緒、動作、姿勢等。如上所述，iLVF 110為描述臉部表情及動作的標籤。iLVF可包括指示模擬角色102產生特定之臉部表情或動作的資訊。
圖6中所示之方法隨後流至操作604，其中該操作經組態以使用虛擬攝影機108擷取模擬角色102之3D網格資料112以產生模擬角色102之臉的三維(3D)深度資料。在某些實施例中，該3D深度資料被輸出為對應於藉由虛擬攝影機擷取之訊框的網格檔案。例如，虛擬攝影機108可處於一位置，該位置經組態以在模擬角色產生臉部表情以傳達各種情緒(例如喜悅、悲傷、恐懼、憤怒、驚訝、厭惡、蔑視、恐慌等)時記錄及擷取模擬角色102之臉部表情。在一項實施例中，虛擬攝影機108經組態以擷取及監測模擬角色做出的每個運動，該運動可用於產生3D網格資料112。在某些實施例中，3D深度資料可用於產生第一人類演員的臉部的3D模型。
圖6中所示之方法隨後流至操作606，其中該操作經組態以處理iLVF 110及網格資料112以訓練該模型。在某些實施例中，操作606經組態以在時間上與iLVF 110協調地處理網格資料112。在一項實施例中，操作606將網格資料與對應tLVF對準，使得模型116學習網格資料與tLVF之間的對應性。對準過程有助於訓練模型116，使得模型116可進行學習以在給定網格資料與LVF之間進行準確相關。
在另一項實施例中，一旦訓練了模型116，則模型116經組態以接收自真人演員302或任何其他角色(諸如化身或遊戲角色)擷取的網格檔案作為輸入。使用輸入網格檔案，該模型116可用於產生對應於輸入網格檔案之輸出LVF。因此，已訓練模型116可簡單地使用與任何演員或角色相關聯之輸入網格檔案來產生輸出LVF，該等輸出LVF可用於將遊戲角色之臉部表情製成動畫。
圖7示出可用於執行本發明之各種實施例之態樣的實例裝置700之組件。該方塊圖示出裝置700，該裝置可結合或可為適合於實踐本發明之實施例的個人電腦、視訊遊戲控制台、個人數位助理、伺服器或其他數位裝置。裝置700包括用於運行軟體應用程式及視情況地運行作業系統的中央處理單元(CPU) 702。CPU 702可由一或多個同質或異質處理核心組成。例如，CPU 702為具有一或多個處理核心之一或多個通用微處理器。其他實施例可使用具有微處理器架構之一或多個CPU來實施，該等微處理器架構特別適合於高度並行且計算密集之應用，諸如解譯查詢、識別上下文相關資源及即刻實施及渲染視訊遊戲中之上下文相關資源的處理操作。裝置700可在玩遊戲片段之玩家本地(例如，遊戲控制台)或遠離玩家(例如，後端伺服器處理器)，或在遊戲雲端系統中使用虛擬化來將玩遊戲過程遠端地流式傳輸至用戶端的許多伺服器中之一個。
記憶體704儲存應用程式及資料以供CPU 702使用。儲存裝置706為應用程式及資料提供非揮發性儲存裝置及其他電腦可讀媒體，且可包括固定磁碟機、抽取式磁碟機、快閃記憶體裝置及CD-ROM、DVD-ROM、藍光、HD-DVD或其他光學儲存裝置，以及信號傳輸及儲存媒體。使用者輸入裝置708將來自一或多個使用者之使用者輸入傳送至裝置700，使用者輸入裝置之實例可包括鍵盤、滑鼠、搖桿、觸控板、觸控螢幕、靜態或視訊記錄器/攝影機、用於識別手勢之追蹤裝置、及/或麥克風。網路介面714允許裝置700經由電子通信網路與其他電腦系統通信，且可包括經由區域網路及諸如網際網路之廣域網路之有線或無線通信。音訊處理器712適於根據由CPU 702、記憶體704及/或儲存裝置706提供之指令及/或資料產生類比或數位音訊輸出。裝置700之組件，包括CPU 702、記憶體704、資料儲存裝置706、使用者輸入裝置708、網路介面714及音訊處理器712，經由一或多個資料匯流排722連接。
圖形子系統720進一步與資料匯流排722及裝置700之組件連接。圖形子系統720包括圖形處理單元(GPU) 716及圖形記憶體718。圖形記憶體718包括用於儲存輸出影像之每一像素之像素資料之顯示記憶體(例如，訊框緩衝器)。圖形記憶體718可與GPU716整合在同一裝置中，作為單獨之裝置與GPU 716連接，及/或在記憶體704內實施。像素資料可直接自CPU 702提供至圖形記憶體718。替代地，CPU 702向GPU 716提供定義期望輸出影像之資料及/或指令，GPU 716根據該等資料及/或指令產生一或多個輸出影像之像素資料。定義期望輸出影像之資料及/或指令可儲存在記憶體704及/或圖形記憶體718中。在一實施例中，GPU 716包括3D呈現能力，以用於根據定義場景之幾何形狀、照明、著色、紋理處理、運動及/或相機參數之指令及資料產生輸出影像之像素資料。GPU 716可進一步包括能夠執行著色器程式之一或多個可程式化執行單元。
圖形子系統720自圖形記憶體718週期性地輸出影像之像素資料，以在顯示裝置710上顯示。顯示裝置710可為能夠回應於來自裝置700之信號而顯示視覺資訊之任何裝置，包括CRT、LCD、電漿及OLED顯示器。舉例而言，裝置700可向顯示裝置710提供類比或數位信號。
應當注意，在廣闊之地理區域上遞送的存取服務，例如提供對當前實施例之遊戲的存取，通常使用雲端計算。雲端計算係一種計算方式，其中動態可擴展且通常為虛擬化之資源作為一服務透過網際網路提供。使用者無需成為支援其之「雲端」中的技術基礎設施之專家。雲端計算可分為不同服務，諸如基礎設施即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)。雲端計算服務通常提供自網頁瀏覽器存取之常見線上應用程式，諸如視訊遊戲，而軟體及資料則儲存在雲端中之伺服器上。術語雲端被用作網際網路之一隱喻，其係基於網際網路在電腦網路圖中之描繪方式，且係其隱藏之複雜基礎設施之一抽象概念。
在某些實施例中，遊戲伺服器可用於為視訊遊戲玩家執行持續性資訊平台之操作。大多數在網際網路上玩的視訊遊戲經由至遊戲伺服器之連接來操作。通常，遊戲使用專用伺服器應用程式，該專用伺服器應用程式自玩家收集資料且將其分發給其他玩家。在其他實施例中，視訊遊戲可由分散式遊戲引擎執行。在此等實施例中，分散式遊戲引擎可在複數個處理實體(PE)上執行，使得每一PE執行給定遊戲引擎之功能段，該視訊遊戲在該給定遊戲引擎上運行。每一處理實體皆被遊戲引擎視為僅係計算節點。遊戲引擎通常執行一系列功能不同之操作，以執行視訊遊戲應用程式以及使用者體驗之額外服務。例如，遊戲引擎實施遊戲邏輯，執行遊戲計算、實體、幾何變換、渲染、照明、著色、音訊以及額外之遊戲內或遊戲相關服務。額外服務可包括例如訊息傳遞、社交實用程式、音訊通信、遊戲回放功能、幫助功能等。雖然遊戲引擎有時可在由特定伺服器之超管理器虛擬化的作業系統上執行，但在其他實施例中，遊戲引擎本身散佈在複數個處理實體中，該複數個處理實體中之每一者可駐留在資料中心之不同伺服器單元上。
根據本實施例，取決於每個遊戲引擎段之需要，用於執行的各別處理實體可為伺服器單元、虛擬機或容器。例如，若遊戲引擎段負責攝影機變換，則該特定遊戲引擎段可能配備與圖形處理單元(GPU)相關聯之虛擬機，此乃因其將進行大量相對簡單之數學運算(例如，矩陣變換)。需要更少但更複雜之操作的其他遊戲引擎段可配備有與一或多個更高功率之中央處理單元(CPU)相關聯的處理實體。
藉由分散遊戲引擎，遊戲引擎具備不受實體伺服器單元能力限制之彈性計算性質。相反，遊戲引擎在需要時配備更多或更少之計算節點來滿足視訊遊戲之需求。自視訊遊戲及視訊遊戲玩家之角度來看，分散在多個計算節點上之遊戲引擎與在單個處理實體上執行之非分散式遊戲引擎無區別，此乃因遊戲引擎管理器或監督器分散工作量且將結果無縫整合以為最終使用者提供視訊遊戲輸出分量。
使用者使用用戶端裝置來存取遠端服務，該等用戶端裝置至少包括CPU、顯示器及I/O。用戶端裝置可為PC、行動電話、上網本、PDA等。在一項實施例中，在遊戲伺服器上執行的網路識別用戶端使用之裝置的類型且調整所採用之通信方法。在其他情況下，用戶端裝置使用標準通信方法(例如html)經由網際網路存取遊戲伺服器上的應用程式。
應了解，可為特定平台及特定之相關聯控制器裝置開發出給定之視訊遊戲或遊戲應用程式。然而，當此遊戲經由如本文提及之遊戲雲端系統變得可用時，使用者可能正在使用不同控制器裝置存取視訊遊戲。例如，可能已針對遊戲控制台及其相關聯之控制器開發遊戲，但使用者可能正在利用鍵盤及滑鼠自個人電腦存取遊戲的基於雲端之版本。在此情況下，輸入參數組態可定義自可由使用者之可用控制器裝置(在此情況下，為鍵盤及滑鼠)產生之輸入至可接受以用於執行視訊遊戲之輸入的映射。
在另一項實例中，使用者可經由平板計算裝置、觸控螢幕智慧電話或其他觸控螢幕驅動裝置來存取雲端遊戲系統。在此情況下，用戶端裝置及控制器裝置一起整合在同一裝置中，其中藉由偵測到之觸控螢幕輸入/手勢提供輸入。對於此種裝置，輸入參數組態可定義對應於視訊遊戲之遊戲輸入的特定觸控螢幕輸入。例如，可在視訊遊戲之運行期間顯示或覆蓋按鈕、方向墊或其他類型之輸入元件以指示觸控螢幕上使用者可觸控以產生遊戲輸入的位置。諸如沿特定方向輕掃或特定觸控運動之手勢亦可被偵測為遊戲輸入。在一項實施例中，例如，在開始視訊遊戲之玩遊戲過程之前，可向使用者提供指示如何經由觸控螢幕提供輸入來玩遊戲的教程，以便使使用者適應觸控螢幕上之控件的操作。
在某些實施例中，用戶端裝置用作控制器裝置之連接點。亦即，控制器裝置經由無線或有線連接與用戶端裝置通信以將輸入自控制器裝置傳輸至用戶端裝置。用戶端裝置繼而可處理此等輸入且隨後經由網路將輸入資料傳輸至雲端遊戲伺服器(例如，經由諸如路由器之區域網路連接裝置存取)。然而，在其他實施例中，控制器本身可為具有將輸入直接經由網路傳送至雲端遊戲伺服器之能力的網路連接裝置，而無需首先經由用戶端裝置傳送此等輸入。例如，控制器可連接至本地網路連接裝置(諸如上述路由器)以向雲端遊戲伺服器發送資料及自該雲端遊戲伺服器接收資料。因此，雖然用戶端裝置可能仍需要自基於雲端之視訊遊戲接收視訊輸出且將其呈現在本地顯示器上，但可藉由允許控制器繞過用戶端裝置直接經由網路將輸入發送至雲端遊戲伺服器來減少輸入延時。
在一項實施例中，網路控制器及用戶端裝置可經組態以將某些類型之輸入直接自控制器發送至雲端遊戲伺服器，以及經由用戶端裝置將其他類型之輸入發送至雲端遊戲伺服器。例如，其偵測不取決於除控制器本身之外的任何額外硬體或處理的輸入可繞過用戶端裝置經由網路自控制器直接發送至雲端遊戲伺服器。此類輸入可包括按鈕輸入、搖桿輸入、嵌入式運動偵測輸入(例如，加速度計、磁力計、陀螺儀)等。然而，利用額外硬體或需要用戶端裝置進行處理的輸入可由用戶端裝置發送至雲端遊戲伺服器。此等輸入可包括自遊戲環境擷取之視訊或音訊，該視訊或音訊在發送至雲端遊戲伺服器之前可由用戶端裝置進行處理。另外，來自控制器之運動偵測硬體的輸入可由用戶端裝置結合所擷取之視訊進行處理以偵測控制器之位置及運動，隨後由用戶端裝置將該位置及運動傳送至雲端遊戲伺服器。應了解，根據各種實施例之控制器裝置亦可自用戶端裝置或直接自雲端遊戲伺服器接收資料(例如，回饋資料)。
應理解，本文中定義之各種實施例可使用本文中揭示之各種特徵組合或裝配成特定實施方案。因此，提供之實例僅係某些可能之實例，而不限於藉由組合各種元件以定義更多實施方案而可能之各種實施方案。在某些實例中，某些實施方案可包括更少元件，而不背離所揭示或等效之實施方案之精神。
本發明之實施例可利用各種電腦系統組態來實踐，該等電腦系統組態包括手持式裝置、微處理器系統、基於微處理器或可程式化之消費型電子產品、小型電腦、大型電腦及諸如此類。本發明之實施例亦可在分散式計算環境中實踐，在分散式計算環境中，任務係由經由有線或無線網路鏈接之遠端處理裝置執行。
儘管方法操作係以特定次序闡述，但應理解，其他內務處理操作可在操作之間執行，或可調整操作，使得該等操作在稍微不同之時間發生，或可分散在允許處理操作以與處理相關聯之各種間隔發生的系統中，惟用於產生經修改遊戲狀態之遙測術及遊戲狀態資料的處理係按所要方式執行。
一或多項實施例亦可被製作為電腦可讀媒體上之電腦可讀碼。電腦可讀媒體係可儲存資料之任何資料儲存裝置，該資料隨後可由一電腦系統讀取。電腦可讀媒體之實例包括硬碟機、網路附接儲存裝置(NAS)、唯讀記憶體、隨機存取記憶體、CD-ROM、CD-R、CD-RW、磁帶及其他光學及非光學資料儲存裝置。電腦可讀媒體可包括分散在耦合網路之電腦系統上之電腦可讀有形媒體，使得電腦可讀碼以分散方式儲存及執行。
在一項實施例中，視訊遊戲在遊戲機本地、個人電腦或伺服器上執行。在某些情況下，視訊遊戲由資料中心之一或多個伺服器執行。當執行視訊遊戲時，視訊遊戲之某些例項可為視訊遊戲的模擬。例如，視訊遊戲可由產生該視訊遊戲之模擬的環境或伺服器執行。在某些實施例中，模擬為視訊遊戲之一個例項。在其他實施例中，模擬可由仿真器產生。在任一情況下，若視訊遊戲被表示為模擬，則該模擬能夠被執行以呈現可互動地流式傳輸、執行及/或由使用者輸入控制的互動內容。
儘管已出於清楚理解之目的詳細地闡述了先前實施例，但應明白，可在隨附申請專利範圍之範疇內進行某些改變及修改。因此，本發明實施例應被視為說明性的而非限制性的，且該等實施例不限於本文中給出之細節，而是可在隨附申請專利範圍之範疇及等效物內進行修改。
102:模擬角色 104:顯示器 106:表情模擬器 107:攝影機視點(POV) 108:虛擬攝影機 110:輸入標籤值檔案(iLVF) 110a~110n:iLVF 112:3D網格資料/網格資料 112a~112n:3D網格檔案/網格檔案 114:3D網格資料關鍵訊框 116:人工智慧(AI)模型/模型/已訓練模型 118:3D網格資料特徵抽取 120:3D網格資料分類器/分類器 122:特徵抽取 124:分類器 126:對準操作 202a~202n:數位臉部表情 302:演員/真人演員 303:攝影機視點(POV) 304:3D攝影機 306:3D網格資料 308:輸出LVF 308a~308n:輸出標籤值檔案(oLVF) 310:遊戲引擎 312:動畫引擎 314:遊戲角色 314a~314n:被製成動畫之遊戲角色 316:顯示器 400:LVF表格 402:輸入網格檔案ID 404:輸出LVF ID 406:情緒類型 408:闡述 410:臉部特徵值 602:操作 604:操作 606:操作 700:裝置 702:中央處理單元(CPU) 704:記憶體 706:資料儲存裝置/儲存裝置 708:使用者輸入裝置 710:顯示裝置 712:音訊處理器 714:網路介面 716:圖形處理單元(GPU) 718:圖形記憶體 720:圖形子系統 722:資料匯流排 t2:時間 t4:時間 t6:時間 tn:時間
藉由結合附圖參考以下闡述，可較佳地理解本發明，在附圖中：
[圖1]示出根據本發明之實施方案的用於使用模擬角色訓練人工智慧(AI)模型之系統的實施例。 [圖2A]示出根據本發明之實施方案的表情模擬器之實施例，該表情模擬器經組態以指示模擬角色使用輸入標籤值檔案(iLVF)來產生臉部表情。 [圖2B]示出根據本發明之實施方案的對準操作之實施例，該對準操作經組態以在時間上與iLVF協調地處理3D網格資料以訓練該模型。 [圖3]示出根據本發明之實施方案的使用由模型產生之輸出LVF將遊戲角色之臉部表情製成動畫之系統之實施例。 [圖4]示出根據本發明之實施方案的LVF表格之實施例，該LVF表格示出藉由該模型使用自演員擷取之輸入網格檔案來產生的各種輸出LVF。 [圖5]示出根據本發明之實施方案的使用輸出標籤值檔案來將遊戲角色之臉部表情製成動畫的遊戲引擎之實施例。 [圖6]示出根據本發明之實施方案的用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法。 [圖7]示出可用於執行本發明之各種實施例之態樣的實例裝置之組件。
104:顯示器
106:表情模擬器
107:攝影機視點(POV)
108:虛擬攝影機
110:輸入標籤值檔案(iLVF)
112:3D網格資料/網格資料
114:3D網格資料關鍵訊框
116:人工智慧(AI)模型/模型/已訓練模型
118:3D網格資料特徵抽取
120:3D網格資料分類器/分類器
122:特徵抽取
124:分類器
126:對準操作

Claims (20)

  1. 一種用於使用一模擬角色訓練一模型以用於將一遊戲角色之一臉部表情製成動畫之方法： 使用輸入標籤值檔案(iLVF)產生該模擬角色之臉部表情； 使用一虛擬攝影機擷取該模擬角色之網格資料以產生該模擬角色之一臉部之三維(3D)深度資料，該3D深度資料被輸出為對應於藉由該虛擬攝影機擷取之訊框之網格檔案；及 處理該等iLVF及該網格資料以訓練該模型； 其中該模型經組態以接收來自一人類演員之輸入網格檔案以產生輸出標籤值檔案(oLVF)，該等輸出標籤值檔案用於將該遊戲角色之該臉部表情製成動畫。
  2. 如請求項1之方法，其中在時間上與該等iLVF協調地處理該網格資料。
  3. 如請求項1之方法，其中該等oLVF經組態以被一遊戲引擎接收，以用於將該遊戲角色之該臉部表情製成動畫。
  4. 如請求項3之方法，其中由該遊戲引擎使用該等oLVF來激活該遊戲角色之一臉部上的肌肉以產生該等臉部表情。
  5. 如請求項1之方法，其中使用該等iLVF來指示該模擬角色激活該模擬角色之一臉部上的肌肉以產生該模擬角色之該等臉部表情。
  6. 如請求項1之方法，其中藉由該虛擬攝影機擷取之該網格資料對應於由該模擬角色產生之該等臉部表情。
  7. 如請求項1之方法，其中該等oLVF包括對應於該人類演員之一臉部上之特徵之複數個值，該複數個值用於將該遊戲角色之該臉部表情製成動畫。
  8. 如請求項7之方法，其中該複數個值經組態以導致該遊戲角色之一臉部上之各別區域中之肌肉活動。
  9. 如請求項1之方法，其中自該網格資料識別關鍵訊框，該等關鍵訊框經處理以訓練該模型。
  10. 如請求項1之方法，其中該等oLVF包括一情緒類型，該情緒類型由該人類演員產生以產生該等輸入網格檔案。
  11. 如請求項1之方法，其中該模型經組態以識別來自該網格資料及該等iLVF之特徵以對該網格資料及該等iLVF之屬性進行分類，該等屬性用於產生對應於該等輸入網格檔案之該等輸出LVF。
  12. 如請求項1之方法，其中該人類演員與該遊戲角色共用實體屬性。
  13. 如請求項1之方法，其中該遊戲角色為代表該人類演員之一化身。
  14. 一種用於使用三維(3D)影像擷取來產生一遊戲角色之臉部表情之標籤值之方法，該方法包括： 存取一模型，該模型係使用與一模擬角色相關聯的所擷取之輸入來進行訓練； 所擷取之該等輸入包括用於產生該模擬角色之臉部表情之輸入標籤值檔案(iLVF)； 該等輸入進一步包括該模擬角色之一臉部之網格資料，該網格資料表示該臉部之三維(3D)深度資料； 藉由處理該等iLVF及該網格資料來訓練該模型；及 擷取包括一人類演員之一臉部之網格資料之網格檔案，該等網格檔案被提供為至該模型之輸入查詢以請求對應於該等所擷取之網格檔案中之各別者之標籤值檔案(LVF)； 其中該等LVF可由一遊戲引擎使用來將藉由該遊戲引擎處理之一遊戲中存在之遊戲角色之臉部表情製成動畫。
  15. 如請求項14之方法，其中在時間上協調地處理該等iLVF及該網格資料，使得該模型學習該等iLVF與該網格資料之間的對應性。
  16. 如請求項14之方法，其中由該遊戲引擎使用該等LVF來激活該遊戲角色之一臉部上的肌肉以產生該遊戲角色之該等臉部表情。
  17. 如請求項14之方法，其中使用該等iLVF來指示該模擬角色激活該模擬角色之該臉部上的肌肉以產生該模擬角色之該等臉部表情。
  18. 如請求項14之方法，其中該等oLVF包括對應於該人類演員之該臉部上之特徵之複數個值，該複數個值用於將該遊戲角色之該臉部表情製成動畫。
  19. 如請求項18之方法，其中該複數個值經組態以導致該遊戲角色之該臉部上之各別區域中之肌肉活動。
  20. 如請求項14之方法，其中該模型經組態以識別來自該網格資料及該等iLVF之特徵以對該網格資料及該等iLVF之屬性進行分類，該等屬性用於產生對應於該等所擷取之網格檔案之該等LVF。
TW111112263A 2021-04-02 2022-03-30 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法 TWI814318B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163170334P 2021-04-02 2021-04-02
US63/170,334 2021-04-02

Publications (2)

Publication Number Publication Date
TW202247107A true TW202247107A (zh) 2022-12-01
TWI814318B TWI814318B (zh) 2023-09-01

Family

ID=81346347

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111112263A TWI814318B (zh) 2021-04-02 2022-03-30 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法

Country Status (3)

Country Link
US (1) US20220319088A1 (zh)
TW (1) TWI814318B (zh)
WO (1) WO2022212787A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009330607B2 (en) * 2008-12-04 2015-04-09 Cubic Corporation System and methods for dynamically injecting expression information into an animated facial mesh
TWI443601B (zh) * 2009-12-16 2014-07-01 Ind Tech Res Inst 擬真臉部動畫系統及其方法
US10860838B1 (en) * 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
US11049332B2 (en) * 2019-03-07 2021-06-29 Lucasfilm Entertainment Company Ltd. Facial performance capture in an uncontrolled environment
US11475608B2 (en) * 2019-09-26 2022-10-18 Apple Inc. Face image generation with pose and expression control
US20210358193A1 (en) * 2020-05-12 2021-11-18 True Meeting Inc. Generating an image from a certain viewpoint of a 3d object using a compact 3d model of the 3d object
US11393149B2 (en) * 2020-07-02 2022-07-19 Unity Technologies Sf Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model
CN112232310B (zh) * 2020-12-09 2021-03-12 中影年年(北京)文化传媒有限公司 一种用于表情捕捉的人脸识别系统和方法

Also Published As

Publication number Publication date
US20220319088A1 (en) 2022-10-06
TWI814318B (zh) 2023-09-01
WO2022212787A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US11532172B2 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
WO2021143261A1 (zh) 一种动画实现方法、装置、电子设备和存储介质
US10860838B1 (en) Universal facial expression translation and character rendering system
US11244489B2 (en) Method and system for determining identifiers for tagging video frames
US11992768B2 (en) Enhanced pose generation based on generative modeling
US20220327755A1 (en) Artificial intelligence for capturing facial expressions and generating mesh data
US20230177755A1 (en) Predicting facial expressions using character motion states
CN117315201A (zh) 用于在虚拟世界中动画化化身的系统
JP2023552744A (ja) ゲーム内の動的カメラアングル調整
Wen et al. VR. net: A real-world dataset for virtual reality motion sickness research
US20220172431A1 (en) Simulated face generation for rendering 3-d models of people that do not exist
US20240033640A1 (en) User sentiment detection to identify user impairment during game play providing for automatic generation or modification of in-game effects
TWI814318B (zh) 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法
US20230025389A1 (en) Route generation system within a virtual environment of a game application
TWI854208B (zh) 用於擷取臉部表情且產生網格資料之人工智慧
US11417042B2 (en) Animating body language for avatars
US20240193838A1 (en) Computer-implemented method for controlling a virtual avatar
US20240066413A1 (en) Ai streamer with feedback to ai streamer based on spectators
US20240221270A1 (en) Computer-implemented method for controlling a virtual avatar
US20240261678A1 (en) Text extraction to separate encoding of text and images for streaming during periods of low connectivity
US20240335737A1 (en) Gesture translation with modification based on game context
US12073529B2 (en) Creating a virtual object response to a user input
US20240335740A1 (en) Translation of sign language in a virtual environment
US20240226750A1 (en) Avatar generation using an image of a person with modifier description