TWI736054B

TWI736054B - 化身臉部表情產生系統及化身臉部表情產生方法

Info

Publication number: TWI736054B
Application number: TW108144988A
Authority: TW
Inventors: 洪偉哲; 龔銘洋; 林鼎傑; 朱峰森
Original assignee: 未來市股份有限公司
Priority date: 2019-10-17
Filing date: 2019-12-09
Publication date: 2021-08-11
Also published as: CN112684881A; TW202117498A; CN112684881B; EP3809236A1; JP2021068404A

Abstract

本發明提供一種化身臉部表情產生系統及化身臉部表情產生方法。在此方法中，取得與使用者的感測結果相關的使用者資料。決定第一情緒配置及第二情緒配置。第一情緒配置及第二情緒配置分別維持在第一期間及第二期間。基於第一情緒配置及第二情緒配置決定過渡情緒配置，且此過渡情緒配置維持在第三期間。分別基於第一情緒配置、過渡情緒配置及第二情緒配置產生化身的臉部表情。第三期間存在於第一期間與第二期間之間。因此，當遇到情緒轉換時，化身上將呈現正常臉部表情。

Description

化身臉部表情產生系統及化身臉部表情產生方法

本發明是有關於一種產生臉部表情的方法，且特別是有關於一種身臉部表情產生系統及化身臉部表情產生方法。

當今，例如虛擬實境（virtual reality，VR）、增強現實（augmented reality，AR）、混合現實（mixed reality，MR）及擴展現實（extended reality，XR）等用於模擬感覺、感知和/或環境的技術受到歡迎。上述技術可應用於多種領域中，例如遊戲、軍事訓練、醫療保健、遠端工作等。

為讓使用者將模擬環境感知為真實環境，將追蹤真實世界中的身體部位的動作或臉部表情，從而可反應於使用者的動作或臉部表情來改變VR、AR、MR或XR顯示器上顯示的化身的影像及動作或臉部表情。

就臉部表情模擬來說，在傳統方式中，設置相機以用頭戴式顯示器（head-mounted display，HMD）擷取使用者臉部的影像，並將根據所擷取的影像中的臉部特徵來產生模擬臉部表情。然而，一部分的臉部受HMD覆蓋，從而難以識別臉部特徵及臉部表情。

另外，人類有多種臉部表情，且帶有不同情緒的兩種臉部表情之間可能有顯著差異。在傳統方式中，化身的臉部表情可能反應於情緒的變化而被迫從一種情緒切換到另一種情緒。最終，在化身上可能出現異常臉部表情。因此，對化身的臉部表情模擬仍有許多技術問題應得到改進。

強制在化身的臉部表情上切換兩種情緒可能會造成異常臉部表情。有鑑於此，本發明提供一種化身臉部表情產生系統及化身臉部表情產生方法。

本發明實施例的化身臉部表情產生方法包括但不限於以下步驟：取得使用者資料，且使用者資料與使用者的感測結果相關。基於使用者資料決定第一情緒配置及第二情緒配置。第一情緒配置維持在第一期間，且第二情緒配置維持在不同於第一期間的第二期間。基於第一情緒配置及第二情緒配置決定過渡情緒配置。過渡情緒配置維持在不同於第一期間的第三期間。分別基於第一情緒配置、過渡情緒配置及第二情緒配置產生化身的臉部表情。第三期間存在於第一期間與第二期間之間。

本發明實施例的臉部表情產生系統包括但不限於輸入裝置、記憶體及處理器。輸入裝置用於取得使用者資料，且使用者資料與使用者的感測結果相關。記憶體用於儲存程式碼。處理器耦接記憶體並載入程式碼以執行以下步驟：處理器基於使用者資料決定第一情緒配置及第二情緒配置，基於第一情緒配置及第二情緒配置決定過渡情緒配置，並且分別基於第一情緒配置、過渡情緒配置及第二情緒配置產生化身的臉部表情。第一情緒配置維持在第一期間，且第二情緒配置維持在不同於第一期間的第二期間。過渡情緒配置維持在不同於第一期間的第三期間。第三期間存在於第一期間與第二期間之間。

基於上述，根據本發明實施例的化身臉部表情產生系統及化身臉部表情產生方法，反應於兩情緒的改變，將在臉部表情上應用第二情緒配置之前提供過度情緒配置。藉此，不會直接地切換不同情緒配置的臉部表情，且可呈現正常的臉部表情。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細參照本發明的當前優選實施例，在附圖中示出所述優選實施例的實例。盡可能地，在圖式及說明中使用相同的元件符號代表相同或相似的部件。

圖1是根據本發明示例性實施例中的一者的化身臉部表情產生系統100的方塊圖。參照圖1，化身臉部表情產生系統100包括但不限於輸入裝置110、記憶體130及處理器150。化身臉部表情產生系統100適用於VR、AR、MR、XR或其他現實相關技術。

輸入裝置110用於取得使用者資料。使用者資料與使用者的感測結果相關。感測結果可與使用者的語音、動作和/或臉部表情相關。

在一個實施例中，輸入裝置110包括影像感測器111。影像感測器111可為相機，例如單色相機或彩色相機、深度相機、錄影機或其他能夠擷取影像的感測器。

在一些實施例中，影像感測器111可用於朝向使用者的一個或多個人體部位進行擷取，以產生包括使用者的人體部位的影像。例如，人體部位可包括使用者的臉部、手部、頭部、腳踝、腿部或腰部。

在一些實施例中，影像感測器111可用於朝向使用者的臉部進行擷取，以產生臉部影像，此臉部影像包括使用者的一隻或兩隻眼睛、一隻或兩隻耳朵、鼻子、嘴巴、臉部形狀、頭髮形狀、眉毛、鬍鬚或其組合。

在一個實施例中，輸入裝置110包括音訊接收設備112。音訊接收設備112可包括但不限於麥克風、類比至數位轉換器、濾波器及音訊處理器。音訊接收設備112的麥克風可接收聲波（例如，由人類語音、環境聲音等產生的聲波）並將其轉換成聲音資料。在一些實施例中，音訊接收設備112用於接收使用者的語音並產生語音資料。在一些實施例中，化身臉部表情產生系統100可不具有音訊接收設備112。

在一個實施例中，輸入裝置110包括動作感測器113。動作感測器113可為加速度計、陀螺儀、磁強計、雷射感測器、慣性測量單元（inertial measurement unit，IMU）、紅外線（infrared ray，IR）感測器或前述感測器的任何組合。在本發明的實施例中，動作感測器113用於感測使用者的一個或多個人體部位的動作，以在若干時間點根據感測器110的感測結果產生一序列動作感測資料（例如，所感測到的強度值等）。例如，動作感測資料包括3自由度（3-degree of freedom，3-DoF）資料，且3-DoF資料與人體部位在三維（three-dimensional，3D）空間中的旋轉資料（例如橫擺（yaw）、翻滾（roll）及俯仰（pitch）中的加速度）相關。又例如，動作感測資料包括人體部位在二維（two-dimensional，2D）/3D空間中的相對位置和/或位移。

記憶體130可為任何類型的固定的或可移動的隨機存取記憶體（Random-Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體、相似裝置或者以上裝置的組合。記憶體130記錄程式碼、裝置配置、緩衝資料或永久資料（例如影像資料、語音資料、動作感測資料、情緒配置、過渡情緒配置、加權關係、線性關係、情緒類別等），且稍後將介紹這些資料。

處理器150耦接輸入裝置110及記憶體130，且處理器150經配置用以載入儲存在記憶體130中的程式碼，以執行本發明示例性實施例的流程。

在一些實施例中，處理器150的功能可使用例如中央處理單元（central processing unit，CPU）、微處理器、微控制器、數位信號處理（digital signal processing，DSP）晶片、現場可程式設計閘陣列（field programmable gate array，FPGA）等可程式設計單元來實施。在一些實施例中，處理器150的功能也可透過獨立的電子裝置或積體電路（integrated circuit，IC）來實施，且處理器150的操作也可透過軟體來實施。

應注意，處理器150可不與輸入裝置110設置在同一設備。然而，分別配備有輸入裝置110及處理器150的設備可進一步包括具有相容通訊技術的通訊收發器（例如藍牙、無線保真（wireless fidelity，Wi-Fi）、紅外線（IR）或實體傳輸線），以彼此傳輸或接收資料。例如，音訊接收設備112及處理器150可設置在頭戴式顯示器（HMD）中，而影像感測器111則設置在HMD之外。又例如，處理器150可設置在伺服器中，而影像感測器111及音訊接收設備112則設置在伺服器之外。

為更好地理解本發明的一個或多個實施例中所提供的操作過程，以下將舉例說明若干實施例，以詳細說明化身臉部表情產生系統100的操作過程。在以下實施例中應用化身臉部表情產生系統100中的裝置及模組來解釋本文中所提供的化身臉部表情產生方法。所述方法的每一步驟可根據實際的實施情況進行調整，且不應限於本文中所述者。

圖2是根據本發明示例性實施例中的一者的化身臉部表情產生方法的流程圖。參照圖2，處理器150透過輸入裝置110取得使用者資料（步驟S210）。使用者資料可為分別從音訊接收設備112、動作感測器113及影像感測器111取得的語音資料、動作感測資料或影像資料。或者，使用者資料可為語音資料、動作感測資料及影像資料的組合。

處理器150可基於使用者資料決定第一情緒配置及第二情緒配置（步驟S230）。具體來說，人類有多種情緒。不同的情緒可對應於不同的臉部表情。每一種情緒配置用於產生或修改化身上的臉部表情的特徵，且每一種情緒配置對應於特定的幾何參數和/或紋理參數。

在一個實施例中，化身臉部表情產生系統100提供多種情緒類別（例如快樂、悲傷、恐懼、厭惡、憤怒、驚訝、興奮等），且每一種情緒類別包括一個或多個等級。一種情緒類別的不同等級代表對應情緒的不同強度。例如，快樂情緒包括3個等級，其中第一等級代表快樂情緒的最小強度，且第三等級代表快樂情緒的最大強度。另外，每一種情緒配置對應於一種或多種情緒類別的一個或多個等級。例如，第一情緒配置是40%的第二等級的快樂情緒及60%的第一等級的悲傷情緒。然而，在一些實施例中，一種情緒類別可僅包括一個等級，且每一種情緒配置對應於一種或多種情緒類別。例如，第二情緒配置是50%的快樂情緒及50%的悲傷情緒。

在一個實施例中，處理器150可判斷輸入裝置110的輸入事件是否滿足預定義觸發條件中的任一者。預定義觸發條件中的每一者可對應於化身的情緒配置。當輸入事件滿足預定義觸發條件中的一者時，化身的情緒配置可能必須反應於輸入事件而更新。輸入事件可為遇到特定場景、偵測到使用者的特定動作、接收到特定輸入資料（例如語音資料、影像資料、動作感測資料、文本資料、使用者的輸入操作等）等。例如，音訊接收設備112對語音資料的接收可為輸入事件。又例如，由動作感測器113偵測的動作感測資料可為另一個輸入事件。

視不同的設計要求而定，存在許多觸發條件。觸發條件是決定使用者的一種或多種特定情緒的條件。處理器150可分析使用者的意圖以決定其情緒。在一個實施例中，觸發條件是由音訊接收設備112產生的包括關鍵字或關鍵片語的語音資料。處理器150可識別語音資料中的詞，並對所識別詞執行語義分析。在語義分析期間，處理器150可判斷語音資料中的所識別詞是否與特定關鍵字或特定關鍵片語相匹配，以判斷在語音資料中是否偵測到特定關鍵字或特定關鍵片語。處理器150可預定義多個關鍵字和/或關鍵片語，且每一個預定義關鍵字或預定義關鍵片語對應於特定情緒配置（即，特定情緒或一種情緒的特定等級）。例如，語音資料與句子“我很快樂”相關，且關鍵字“很快樂”對應於快樂情緒的第五等級。如果所識別詞與一個預定義關鍵字或一個預定義關鍵片語相匹配（即，偵測到預定義關鍵字或片語），則處理器150決定滿足觸發條件，且處理器150決定對應的情緒配置。否則，處理器150決定不滿足觸發條件。

在一些實施例中，處理器150可使用機器學習技術（例如人工神經網路、決策樹、支援向量機（support vector machines，SVM）等）進行語義分析，且處理器150可透過使用機器學習技術訓練的情緒分類器來決定哪一種情緒或情緒等級對應於語音資料。

在另一個實施例中，觸發條件可為偵測到使用者的特定動作或臉部表情。處理器150可分析由影像感測器111取得的影像資料和/或由動作感測器113取得的動作感測資料。此外，處理器150可判斷是否偵測到影像中的預定義動作或預定義臉部表情。例如，如果處理器150在由影像感測器111取得的影像資料中偵測到嘴角抬起，則處理器150可認為偵測到快樂情緒。舉另一個實例，如果處理器150在由動作感測器113取得的動作感測資料中偵測到使用者舉起他的雙手，則處理器150可認為偵測到快樂情緒。

應注意，在一些傳統方式中，反應於偵測到情緒的變化，後續情緒的對應臉部表情可能直接呈現在化身上。然而，兩種情緒的臉部特徵的幾何參數及紋理參數之間可能有很大差異。當強迫一種情緒切換為另一種情緒時，可能會呈現異常臉部表情。此外，在其他傳統方式中，化身的臉部表情是在不考慮使用者情緒的情況下決定。

在本發明的實施例中，如果偵測到情緒轉換（即，滿足第二情緒配置的觸發條件），則處理器150可基於第一情緒配置及第二情緒配置決定過渡情緒配置（步驟S250）。此意味著，將在兩種情緒配置之間插入過渡。圖3是根據本發明示例性實施例中的一者的多種情緒配置的時序圖。參照圖3，在一個實施例中，第一情緒配置EC1維持在第一期間t1期間，且第二情緒配置EC2維持在不同於第一期間t1的第二期間t2期間。另外，過渡情緒配置EC3維持在不同於第一期間t1的第三期間t3期間，且存在於第一期間t1與第二期間t2之間。此意味著，在用於應用過渡情緒配置EC3的第三期間t3到期之後，可接著應用第二情緒配置EC2。

過渡情緒配置EC3用於產生化身的臉部表情。化身的臉部模型上的臉部表情的一個或多個幾何參數和/或紋理參數可根據過渡情緒配置EC3產生或修改。

在一個實施例中，處理器150可組合第一情緒配置與第二情緒配置，以產生一種或多種情緒組合。組合兩種情緒配置的方式可為：決定兩種情緒配置的參數的總和或加權平均值，或者直接使用兩種情緒配置的參數中的部分參數作為一種情緒配置的參數。

在一個實施例中，情緒配置僅特別對應於一個臉部表情，且在第三期間的週期中，處理器150可透過對與第一情緒配置及第二情緒配置對應的幾何參數和/或紋理參數求平均或者給出所述兩種情緒配置的參數的加權關係來調整化身的臉部表情，且求平均的結果或權重計算的結果將成為一種情緒組合。例如，處理器150可決定所述兩種情緒配置的兩個鼻子位置之間的中心點，且所述中心點將為情緒組合的一個參數。又例如，第一情緒配置的權重是0.8，且第二情緒配置的權重是0.2，且處理器150根據前述權重對所述兩種情緒配置的嘴唇位置執行加權計算。接著，處理器150將每一種情緒組合作為一種過渡情緒配置。

在另一個實施例中，處理器150將第三期間劃分成多個時間週期，並根據第一情緒配置與第二情緒配置的線性關係決定加權關係。以圖3為例，第三期間t3被劃分成三個時間週期tp1、tp2及tp3。然而，在另一個實施例中，時間週期的數目可有所變化。線性關係是一種情緒配置的等級/比率與時間之間的關係。例如，線性關係的數學形式是L1=3-(3/2)*tsi，其中L1是第i時間週期處的第一情緒配置的等級，且tsi是第i時間週期的值。i越高，則第i時間週期的值越高。加權關係包括第一情緒配置的第一權重及第二情緒配置的第二權重。基於線性關係，在不同時間週期的第一權重隨時間減小，且在不同時間週期的第二權重隨時間增大。例如，第一情緒配置的線性關係的數學形式是L1=2-(2/4)*tsj，且第二情緒配置的線性關係的另一種數學形式是L2=4-(4/5)*tsj，其中L2是第j時間週期處的第二情緒配置的等級，且tsj是第j時間週期的值。j越高，則第j時間週期的值越高。第一權重及第二權重是根據依據線性關係決定的等級/比率來決定。例如，L1/(L1+L2)可為第一權重，且L2/(L1+L2)可為第二權重。

圖4是根據本發明示例性實施例中的一者的兩種情緒的變化的示意圖。參照圖4，分別存在第一情緒配置及第二情緒配置的兩個權重-時間圖。在第一期間t1結束時，偵測到與第二情緒配置對應的預定義關鍵字。由於此線性關係，第一情緒配置的權重可在不同的時間週期tp1、tp2及tp3線性減小，且第二權重情緒配置的權重可在不同的時間週期tp1、tp2及tp3線性增加。接著，根據此圖決定第一權重及第二權重。

在一個實施例中，將決定多種情緒組合，且處理器150可根據每一種情緒組合按順序產生臉部表情。用於應用過渡情緒配置的第三期間將被劃分成多個時間週期。處理器150可在不同的時間週期中應用不同的情緒組合。多種情緒組合的順序與所述兩種情緒配置的加權關係相關。就第一情緒配置來說，將首先應用第一權重的較大值。就第二情緒配置來說，將首先應用第二權重的較小值。

以圖4為例，用於應用過渡情緒配置的第三期間是第一期間t1與第二期間t2之間的期間。在三個時間週期tp1、tp2及tp3處有三種情緒組合。在時間週期tp1中應用的第一情緒組合與第一權重為0.75和第二權重為0.25相關。在時間週期tp2中應用的第二情緒組合與第一權重為0.5和第二權重為0.5相關。在時間週期tp3中應用的第三情緒組合與第一權重為0.25和第二權重為0.75相關。應注意，第一情緒配置的權重在第一期間t1期間保持不變。例如，第一情緒配置固定在60%的快樂情緒及40%的驚訝情緒。相似地，第二情緒配置的權重在第二期間t2期間保持不變。

圖5是根據本發明示例性實施例中的一者的多種情緒配置的參數的表T1。參照圖4及圖5，假設第一情緒配置包括60%的第二等級的快樂情緒及40%的第一等級的驚訝情緒。另外，第二情緒配置包括60%的第三等級的悲傷情緒、20%的第一等級的憤怒情緒及20%的第二等級的恐懼情緒。在時間週期tp1期間，過渡情緒配置是75%的第一情緒配置及25%的第二情緒配置，且即是45%的第二等級的快樂情緒、30%的第一等級的驚訝情緒、15%的第三等級的悲傷情緒、5%的第一等級的憤怒情緒及5%的第二等級的恐懼情緒。在時間週期tp2期間，過渡情緒配置是50%的第一情緒配置及50%的第二情緒配置，且即是30%的第二等級的快樂情緒、20%的第一等級的驚訝情緒、30%的第三等級的悲傷情緒、10%的第一等級的憤怒情緒及10%的第二等級的恐懼情緒。在時間週期tp3期間，過渡情緒配置是25%的第一情緒配置及75%的第二情緒配置，且即是15%的第二等級的快樂情緒、10%的第一等級的驚訝情緒、45%的第三等級的悲傷情緒、15%的第一等級的憤怒情緒及15%的第二等級的恐懼情緒。

圖6是根據本發明示例性實施例中的一者的多種情緒配置的參數的另一個表T2。參照圖4及圖6，假設第一情緒配置是40%的第二等級的悲傷情緒、40%的第二等級的憤怒情緒及20%的第一等級的恐懼情緒。另外，第二情緒配置占所有情緒的0%，例如，逐漸消失。在時間週期tp1期間，過渡情緒配置是75%的第一情緒配置及25%的第二情緒配置，且即是30%的第二等級的悲傷情緒、30%的第二等級的憤怒情緒且15%的第一等級的恐懼情緒。在時間週期tp2期間，過渡情緒配置是50%的第一情緒配置及50%的第二情緒配置，且即是20%的第二等級的悲傷情緒、20%的第二等級的憤怒情緒且10%的第一等級的恐懼情緒。在時間週期tp3期間，過渡情緒配置是25%的第一情緒配置及75%的第二情緒配置，且即是10%的第二等級的悲傷情緒、10%的第二等級的憤怒情緒及5%的第一等級的恐懼情緒。

應注意，用於應用過渡情緒配置的第三期間的長度可為固定的或可變的。在一個實施例中，處理器150根據第一情緒配置的第一情緒值與第二情緒配置的第二情緒值之間的差異決定用於應用過渡情緒配置的第三期間的長度。如果每一種情緒類別被定義為具有多個等級，則處理器150可將和第一情緒配置對應的第一情緒的第一等級與和第二情緒配置對應的第二情緒的第二等級之間的差異作為第一情緒配置與第二情緒配置之間的差異。

例如，第一情緒配置對應於悲傷情緒的第二等級，且第二情緒配置對應於恐懼情緒的第六等級。處理器150可決定兩種情緒配置之間的差異為8個等級。如果兩種情緒配置之間的差異更大，則過渡的第三期間可能增加。如果兩種情緒配置之間的差異較小，則過渡的第三期間可能減少。例如，如果差異為8個等級，則期間將為1秒；如果差異為2個等級，則期間將為200微秒。

在另一個實施例中，處理器150可預定義兩種特定情緒之間的第三期間。例如，從悲傷情緒過渡到快樂情緒的期間為500微秒，且從恐懼情緒過渡到快樂情緒的另一個期間為1秒。

在又一實施例中，處理器150可取得使用者的特性，並根據使用者的特性決定用於應用過渡情緒配置的第三期間。處理器150根據使用者的星座決定使用者的特性。或者，處理器150可分析使用者在虛擬世界中作出的行為或決定，且分析結果可用於決定使用者的特性。

重新參照圖2，處理器150基於第一情緒配置、過渡情緒配置及第二情緒配置產生化身的臉部表情（步驟S270）。具體來說，化身的臉部可包括臉部特徵（例如臉部、眼睛、鼻子、眉毛等的形狀或動作）。化身的臉部表情可包括幾何參數及紋理參數。每一個幾何參數用於指示化身的臉部頂點的2D或3D座標。在一些實施例中，每一個紋理參數用於指示臉部的應用對應情緒配置的臉部影像的位置。

處理器150可用臉部表情的特徵產生、合併或替換情緒配置，以產生與特定情緒對應的臉部表情。在一個實施例中，處理器150可根據機率分佈（例如常態分佈、幾何分佈、伯努利分佈（Bernoulli distribution）等），分別從對應的臉部表情群組中選擇一種臉部表情用於第一情緒配置、過渡情緒配置或第二情緒配置。每一個表情群組包括多種臉部表情。每一種情緒或一種情緒的每一個等級對應於特定的表情群組。例如，情緒配置有10個臉部表情，且處理器150可從所述10個臉部表情中隨機選擇一個。

在一些實施例中，處理器150可對於每一種情緒配置產生臉部特徵。每一種情緒配置可被配置成對於臉部特徵的參數具有特定的限制（例如長度、角度、顏色、大小等），且可基於所述限制產生對應的臉部特徵。例如，當情緒配置具有快樂情緒且快樂情緒的權重大於0.1時，嘴唇的長度具有一定範圍。

在一些實施例中，每一種情緒配置對應於臉部範本，且臉部範本對應於特定影像或特定動畫。處理器150可將臉部範本黏貼在臉部模型的特定位置處。

處理器150將分別並按順序基於第一情緒配置、過渡情緒配置及第二情緒配置產生臉部表情。此順序可例如基於如圖3中所示的三個期間的順序。

在一些實施例中，處理器150可反應於決定第一情緒配置及第二情緒配置來即時產生臉部表情。為實現即時(real-time)，偵測到一種情緒配置的時間點與在化身上產生具有所述情緒配置的臉部表情的時間點之間的第四期間可小於門檻值（例如500微秒、300微秒或1秒等）。然而，在一些實施例中，第四期間可大於門檻值（非即時方式）。

應注意，除情緒模擬以外，化身上的嘴唇可與語音資料同步。在一些實施例中，化身上嘴唇的動作隨著由音訊接收設備112所產生的語音資料而變化。如果接收到語音資料，則處理器150對語音資料執行言語辨別（speech recognition），並解析語音資料中的特定母音及子音。這些母音及子音是用特定的嘴唇形狀或嘴唇動畫來定義。反應於偵測到預定義的母音或子音，對應的嘴唇形狀或動畫將呈現在臉部模型上，使得化身上的嘴唇的動作與語音資料同步。

綜上所述，在本發明實施例的化身臉部表情產生系統及化身臉部表情產生方法中，反應於滿足後續的表情配置的觸發條件將提供過度情緒配置，而不是直接應用後續的情緒配置。藉此，當面臨情緒轉換時，在化身上可呈現正常的臉部表情。此外，情緒轉換可透過使用使用者的語音來觸發，且化身的嘴唇的動作可同步於此語音。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:化身臉部表情產生系統 110:輸入裝置 111:影像感測器 112:音訊接收設備 113:動作感測器 130:記憶體 150:處理器 EC1:第一情緒配置 EC2:第二情緒配置 EC3:過渡情緒配置 S210、S230、S250、S270:步驟 T1、T2:表 t1:第一期間 t2:第二期間 t3:第三期間 tp1、tp2、tp3:時間週期

圖1是根據本發明示例性實施例中的一者的化身臉部表情產生系統的方塊圖。圖2是根據本發明示例性實施例中的一者的化身臉部表情產生方法的流程圖。圖3是根據本發明示例性實施例中的一者的多種情緒配置的時序圖。圖4是根據本發明示例性實施例中的一者的兩種情緒的變化的示意圖。圖5是根據本發明示例性實施例中的一者的多種情緒配置的參數的表。圖6是根據本發明示例性實施例中的一者的多種情緒配置的參數的另一個表。

S210~S270:步驟

Claims

一種化身(avatar)臉部表情產生方法，包括：取得一使用者資料，其中所述使用者資料與一使用者的感測結果相關；基於所述使用者資料決定一第一情緒配置及一第二情緒配置，其中所述第一情緒配置維持在一第一期間，且所述第二情緒配置維持在不同於所述第一期間的一第二期間；基於所述第一情緒配置及所述第二情緒配置決定一過渡情緒配置，其中所述過渡情緒配置維持在不同於所述第一期間的第三期間，且決定所述過度情緒配置的步驟包括：組合所述第一情緒配置與所述第二情緒配置，以產生至少一情緒組合，包括：將所述第三期間劃分成多個時間週期；以及對所述第一情緒配置與所述第二情緒配置執行一加權計算，其中所述至少一情緒組合相關於所述加權計算，所述第一情緒配置與所述第二情緒配置的權重在所述加權計算中不為零，所述第一情緒配置與所述第二情緒配置的所述權重在不同時間週期變化；以及將所述至少一情緒組合作為所述過渡情緒配置；以及分別基於所述第一情緒配置、所述過渡情緒配置及所述第二情緒配置產生一化身的臉部表情，其中所述第三期間存在於所述第一期間與所述第二期間之間。
如申請專利範圍第1項所述的化身臉部表情產生方法，進一步包括：根據所述第一情緒配置與所述第二情緒配置的一線性關係決定所述加權計算，其中所述加權計算包括所述第一情緒配置的一第一權重及所述第二情緒配置的一第二權重，且基於所述線性關係，在不同時間週期的所述第一權重隨時間減小，且在不同時間週期的所述第二權重隨時間增加。
如申請專利範圍第1項所述的化身臉部表情產生方法，其中產生所述過渡情緒配置的步驟包括：根據所述第一情緒配置的一第一情緒值與所述第二情緒配置的一第二情緒值之間的一差異來決定所述第三期間的一長度。
如申請專利範圍第3項所述的化身臉部表情產生方法，進一步包括：提供多種情緒類別，其中所述多種情緒類別中的每一者包括至少一個等級，所述第一情緒配置對應於所述多種情緒類別中的一第一情緒的一第一等級，且所述第二情緒配置對應於所述多種情緒類別中的一第二情緒的一第二等級；以及將所述第一情緒的所述第一等級與所述第二情緒的所述第二等級之間的差異作為所述第一情緒配置與所述第二情緒配置之間的所述差異。
如申請專利範圍第1項所述的化身臉部表情產生方法，其中產生所述過渡情緒配置的步驟包括：取得所述使用者的一特性；以及根據所述使用者的所述特性決定所述第三期間。
如申請專利範圍第1項所述的化身臉部表情產生方法，其中所述使用者資料是一語音資料，且所述決定所述第一情緒配置及所述第二情緒配置的步驟包括：判斷在所述語音資料中是否偵測到一關鍵字或一關鍵片語；以及反應於偵測到所述關鍵字或所述關鍵片語，決定滿足所述第一情緒配置或所述第二情緒配置的觸發條件。
如申請專利範圍第1項所述的化身臉部表情產生方法，其中所述使用者資料是動作感測資料，且所述決定所述第一情緒配置及所述第二情緒配置的步驟包括：判斷在所述動作感測資料中是否偵測到一關鍵動作；以及反應於偵測到所述關鍵動作，決定滿足所述第一情緒配置或所述第二情緒配置的觸發條件。
如申請專利範圍第1項所述的化身臉部表情產生方法，其中所述使用者資料是一影像資料，且所述決定所述第一情緒配置及所述第二情緒配置的步驟包括：判斷在所述影像資料中是否偵測到一關鍵動作；以及反應於偵測到所述關鍵動作，決定滿足所述第一情緒配置或所述第二情緒配置的觸發條件。
如申請專利範圍第1項所述的化身臉部表情產生方法，其中所述產生所述化身的所述臉部表情的步驟包括：根據一機率分佈從一表情群組中選擇所述臉部表情中的一者，其中所述表情群組包括多個所述臉部表情。
如申請專利範圍第1項所述的化身臉部表情產生方法，其中所述產生所述化身的所述臉部表情的步驟包括：反應於決定所述第一情緒配置及所述第二情緒配置，即時產生所述臉部表情。
一種化身臉部表情產生系統，包括：一輸入裝置，取得一使用者資料，其中所述使用者資料與一使用者的感測結果相關；一記憶體，儲存一程式碼；以及一處理器，耦接所述記憶體，並載入所述程式碼以執行：基於所述使用者資料決定一第一情緒配置及一第二情緒配置，其中所述第一情緒配置維持在第一期間，且所述第二情緒配置維持在不同於所述第一期間的一第二期間；基於所述第一情緒配置及所述第二情緒配置決定一過渡情緒配置，其中所述過渡情緒配置維持在不同於所述第一期間的第三期間，且所述處理器進一步執行：組合所述第一情緒配置與所述第二情緒配置，以產生至少一情緒組合，包括：將所述第三期間劃分成多個時間週期；以及對所述第一情緒配置與所述第二情緒配置執行一加權計算，其中所述至少一情緒組合相關於所述加權計算，所述第一情緒配置與所述第二情緒配置的權重在所述加權計算中不為零，所述第一情緒配置與所述第二情緒配置的所述權重在不同時間週期變化；以及將所述至少一情緒組合作為所述過渡情緒配置；以及分別基於所述第一情緒配置、所述過渡情緒配置及所述第二情緒配置產生一化身的臉部表情，其中所述第三期間存在於所述第一期間與所述第二期間之間。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述處理器進一步執行：根據所述第一情緒配置與所述第二情緒配置的一線性關係決定所述加權計算，其中所述加權計算包括所述第一情緒配置的一第一權重及所述第二情緒配置的一第二權重，且基於所述線性關係，在不同時間週期的所述第一權重隨時間減小，且在不同時間週期的所述第二權重隨時間增加。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述處理器進一步執行：根據所述第一情緒配置的第一情緒值與所述第二情緒配置的第二情緒值之間的差異來決定所述第三期間的長度。
如申請專利範圍第13項所述的化身臉部表情產生系統，其中所述處理器進一步執行：提供多種情緒類別，其中所述多種情緒類別中的每一者包括至少一個等級，所述第一情緒配置對應於所述多種情緒類別中的一第一情緒的一第一等級，且所述第二情緒配置對應於所述多種情緒類別中的一第二情緒的一第二等級；以及將所述第一情緒的所述第一等級與所述第二情緒的所述第二等級之間的差異作為所述第一情緒配置與所述第二情緒配置之間的所述差異。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述處理器進一步執行：取得所述使用者的特性；以及根據所述使用者的所述特性決定所述第三期間。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述使用者資料是語音資料，且所述處理器進一步執行：判斷在所述語音資料中是否偵測到一關鍵字或一關鍵片語；以及反應於偵測到所述關鍵字或所述關鍵片語，決定滿足所述第一情緒配置或所述第二情緒配置的觸發條件。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述使用者資料是動作感測資料，且所述處理器進一步執行：判斷在所述動作感測資料中是否偵測到一關鍵動作；以及反應於偵測到所述關鍵動作，決定滿足所述第一情緒配置或所述第二情緒配置的觸發條件。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述使用者資料是影像資料，且所述處理器進一步執行：判斷在所述影像資料中是否偵測到一關鍵動作；以及反應於偵測到所述關鍵動作，決定滿足所述第一情緒配置或所述第二情緒配置的觸發條件。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述處理器進一步執行：根據一機率分佈從一表情群組中選擇所述臉部表情中的一者，其中所述表情群組包括多個所述臉部表情。
如申請專利範圍第11項所述的化身臉部表情產生系統，其中所述處理器進一步執行：反應於決定所述第一情緒配置及所述第二情緒配置，即時產生所述臉部表情。