TW202133117A - 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 - Google Patents
虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 Download PDFInfo
- Publication number
- TW202133117A TW202133117A TW109123572A TW109123572A TW202133117A TW 202133117 A TW202133117 A TW 202133117A TW 109123572 A TW109123572 A TW 109123572A TW 109123572 A TW109123572 A TW 109123572A TW 202133117 A TW202133117 A TW 202133117A
- Authority
- TW
- Taiwan
- Prior art keywords
- emotion
- emotional
- decision
- user data
- virtual avatar
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008451 emotion Effects 0.000 claims abstract description 257
- 230000002996 emotional effect Effects 0.000 claims description 202
- 238000012549 training Methods 0.000 claims description 20
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000036651 mood Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000001097 facial muscle Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本發明提供一種虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法。在方法中，取得多個使用者資料，且多個使用者資料與來自多個資料來源的使用者的感測結果有關。基於每一使用者資料分別決定多個第一情緒決策。決定第一情緒決策之間是否發生情緒衝突。情緒衝突與第一情緒決策的對應情緒群組彼此並不匹配有關。根據情緒衝突的決定結果自一或多個情緒群組決定第二情緒決策。第一情緒決策或第二情緒決策與一個情緒群組有關。基於第二情緒決策產生虛擬化身的臉部表情。因此，可呈現恰當的虛擬化身臉部表情。
Description
本發明是有關於一種虛擬化身模擬，且特別是有關於一種虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法。
現今很流行用於模擬感覺、感知和/或環境的技術，例如虛擬實境（virtual reality，VR）、擴增實境（augmented reality，AR）、混合實境（mixed reality，MR）以及擴展實境（extended reality，XR）。前述技術可應用在多個領域中，例如遊戲、軍事培訓、醫療保健、遠端工作等。
為了使使用者感知虛擬環境與真實環境，將追蹤真實環境中的使用者的人體部位的動作或使用者的臉部表情，以使得呈現於VR顯示器、AR顯示器、MR顯示器或XR顯示器上的虛擬化身的臉部表情可反應於使用者的動作或臉部表情而發生變化，且可改進虛擬環境中的社交影響。
關於臉部表情模擬，在常規方法中，配置相機以利用頭戴式顯示器（head-mounted display，HMD）擷取使用者的臉部，且將根據所擷取影像中的臉部特徵產生模擬的臉部表情。然而，臉部的一部分由HMD覆蓋，以使得難以辨識臉部特徵和臉部表情，且虛擬化身的臉部表情可能並不與真實環境中的使用者的臉部表情相同。
僅憑著相機來預測正確的臉部表情確實有難度。有鑑於此，本發明實施例提供一種虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法，以在虛擬環境中模擬具有情緒的虛擬化身臉部表情。
在示範性實施例中的一者中，虛擬化身臉部表情產生方法包含但不限於以下步驟：取得多個使用者資料。每一使用者資料與來自多個資料來源的使用者的感測結果有關。基於每一使用者資料分別決定多個第一情緒決策。決定第一情緒決策之間是否發生情緒衝突。情緒衝突與第一情緒決策的對應情緒群組彼此並不匹配有關。根據情緒衝突的決定結果自一或多個情緒群組決定第二情緒決策。第一情緒決策或第二情緒決策與一個情緒群組有關。基於第二情緒決策產生虛擬化身的臉部表情。
在示範性實施例中的一者中，臉部表情產生系統包含但不限於：一或多個追蹤裝置、記憶體以及處理器。追蹤裝置取得多個使用者資料。每一使用者資料與來自多個資料來源中的一者的使用者的感測結果有關。記憶體儲存程式碼。處理器耦接到記憶體且載入程式碼以執行以下步驟：處理器基於每一使用者資料分別決定多個第一情緒決策，決定第一情緒決策之間是否發生情緒衝突，根據情緒衝突的所決定結果自一或多個情緒群組決定第二情緒決策，以及基於第二情緒決策產生虛擬化身的臉部表情。情緒衝突與第一情緒決策的對應情緒群組彼此並不匹配有關。第一情緒決策或第二情緒決策與一個情緒群組有關。
基於上述，根據本發明實施例的虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法，當這些第一情緒決策之間發生情緒衝突，將進一步自兩個或更多個情緒群組中決定一個第二情緒決策，且(僅)有單一情緒群組被選擇用於虛擬化身的臉部情緒產生。藉此，可呈現恰當的虛擬化身臉部表情。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
現將詳細參考本公開的優選實施例，其實例在附圖中示出。只要可能，相同附圖符號在附圖和描述中用以指代相同或相似部分。
圖1是示出根據本公開的示範性實施例中的一者的虛擬化身臉部表情產生系統的方塊圖。參考圖1，虛擬化身臉部表情產生系統100包含但不限於：一或多個追蹤裝置110、顯示器120、記憶體130以及處理器150。虛擬化身臉部表情產生系統100適於VR、AR、MR、XR或其它實境模擬有關技術。
追蹤裝置110是掌上型控制器、可穿戴式設備（例如可穿戴式控制器、智慧手錶、腳踝感測器、頭戴式顯示器（head-mounted display，HMD）或類似物），或用於取得使用者資料的感測裝置（例如相機、慣性測量單元（inertial measurement unit，IMU）、心率監測儀、紅外線（infra-red，IR）發射器/接收器、超聲波感測器、錄音器、應變計）。使用者資料與來自一或多個資料來源的使用者的感測結果有關。追蹤裝置110可包含一或多個感測器115，以感測使用者的對應目標部位且在時間段內的多個時間點處根據感測結果（例如相機影像、感測的強度值）產生序列的感測資料。這些資料來源在使用者的目標部位或感測技術中不同。舉例來說，目標部位可以是使用者的人體部位（例如臉部的一部分或整個臉部、手部、頭部、腳踝、腿部、腰部）、器官（例如腦部、心臟、眼部）或組織（例如肌肉、神經組織）。感測器115的感測技術可與以下有關：影像、聲波、超聲波、電流、電勢、IR、力、與人體部位的位移和旋轉有關的動作感測資料等。
在一個實施例中，資料來源可以是：臉部肌肉活動、語音、部分或整個臉部的影像、手臂、腿部或頭部的動作、心電活動或腦電活動。在一些實施例中，資料來源可以是來自感測器115的即時資料檢測或由處理器150產生的預配置資料。
顯示器120可以是液晶顯示器（liquid-crystal display，LCD）、發光二極體（light-emitting diode，LED）顯示器、有機發光二極體（organic light-emitting diode，OLED）顯示器或其它顯示器。在本公開的實施例中，顯示器120用於顯示影像，例如虛擬環境。應注意，在一些實施例中，顯示器120可以是外部設備（例如智慧手機、平板電腦或類似物）的顯示器，且外部設備可放置在HMD的主體上。
記憶體130可以是任何類型的固定或可移動隨機存取記憶體（random-access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體記憶體、類似裝置或以上裝置的組合。記憶體130記錄程式碼、裝置配置、緩衝資料或永久性資料（例如使用者資料、訓練資料、情緒分類器、情緒決策、情緒配置、加權關係、線性關係、情緒群組），且將稍後介紹這些資料。
處理器150耦接到追蹤裝置110、顯示器120以及記憶體130。處理器150配置成載入儲存於記憶體130中的程式碼，以執行本公開的示範性實施例的程序。
在一些實施例中，處理器150可以是中央處理單元（central processing unit，CPU）、微處理器、微控制器、數位信號處理（digital signal processing，DSP）晶片、現場可程式設計閘陣列（field-programmable gate array，FPGA）。處理器150的功能也可由獨立電子裝置或積體電路（integrated circuit，IC）來實施，且處理器150的操作也可由軟體來實施。
應注意，處理器150可能並不與追蹤裝置110和顯示器120安裝在相同設備。然而，分別裝備有追蹤裝置110、顯示器120以及處理器150的設備可進一步包含具有相容通訊技術的通訊收發器或物理傳輸線路以與彼此發射或接收資料，所述相容通訊技術例如藍芽、Wi-Fi以及IR無線通訊。舉例來說，顯示器120和處理器150可安裝於HMD中，同時感測器115安裝在HMD外部。對於另一實例，處理器150可安裝於計算裝置中，同時追蹤裝置110和顯示器120安裝在計算裝置外部。
為了更好地理解在本公開的一或多個實施例中提供的操作工藝，在下文將舉例說明若干實施例以詳細解釋虛擬化身臉部表情產生系統100的操作流程。在以下實施例中應用虛擬化身臉部表情產生系統100中的裝置和模組，以解釋本文中提供的虛擬化身臉部表情產生方法。方法的每一步驟可根據實際實施情況調整，且不應限於本文描述的內容。
圖2是示出根據本公開的示範性實施例中的一者的虛擬化身臉部表情產生方法的流程圖。參考圖2，處理器150可經由追蹤裝置110取得多個使用者資料（步驟S210）。具體來說，這些使用者資料是從多個資料來源取得的。處理器150使用更多資料來源以改進情緒估測的準確度。圖3是示出根據本公開的示範性實施例中的一者的使用者資料產生的流程圖。參考圖3，在一個實施例中，處理器150可從每一感測器115取得例如原始資料或預處理資料的感測結果（其可透過例如濾波、擴大、類比至數位轉換處理），以即時地產生使用者資料（即，前述的即時資料檢測）（步驟S211）。舉例來說，使用者資料可以是從使用者的部分或整個臉部的一或多個影像、使用者的臉部特徵動作（例如眉毛、眼部、鼻部以及嘴部的動作）和/或使用者的語音收集的原始資料。在另一實施例中，處理器150可對來自每一感測器115的每一感測結果執行特徵擷取（步驟S213），以產生預配置資料（步驟S215）。特徵擷取用於從感測結果中取得意欲提供資訊且非冗餘的匯出值（特徵），從而有助於後續分析步驟。舉例來說，獨立成分分析（independent component analysis，ICA）、等距映射（Isomap）以及主成分分析（Principal component analysis，PCA）。特徵擷取可收集使用者的對應目標部位的一或多個特定動作/活動、預定時間間隔內的一或多個特定關鍵字或關鍵詞語或機器學習技術（例如神經網路（neural network，NN）、K均值（K-means）、支援向量機（support vector machine，SVM））中定義的任何特徵。舉例來說，預配置資料可以是預定時間間隔內的眨眼或點頭的臉部特徵或隨機產生的臉部特徵。對於另一實例，預配置資料可以是使用者的語音內容或話音語調。在一些實施例中，處理器150可取得即時資料和預配置資料的組合。
處理器150可基於每一使用者資料分別決定多個第一情緒決策（步驟S230）。具體來說，處理器150可預定義多個情緒群組。圖4是示出根據本公開的示範性實施例中的一者的情緒群組的類型的示意圖。參考圖4，在一個實施例中，如類型401，一個情緒群組包含僅一個情緒類別，例如愉快、悲傷、擔心、厭惡、憤怒、驚訝或興奮。在另一實施例中，如類型402，一個情緒群組包含多個情緒類別，且每一類別可以是正面情緒或負面情緒。正面情緒可包含例如愉快、興奮以及驚訝。負面情緒可包含例如悲傷、擔心以及憤怒。在一些實施例中，一些情緒群組可包含僅一個情緒類別，且其它情緒群組可包含多個情緒類別。
應注意，每一第一情緒決策（僅）與一個情緒群組有關。圖5是示出根據本公開的示範性實施例中的一者的使用者資料與第一情緒決策的關係的示意圖。參考圖5，在作為步驟S230的第一階段中，處理器150可為來自多個資料來源的每一使用者資料分別決定對應情緒群組，以根據這些使用者資料產生第一情緒決策。在一個實施例中，每一第一情緒決策是特定情緒。舉例來說，第一資料來源是使用者的眼部的影像，且第二資料來源是語音。第一情緒決策分別是第一資料來源和第二資料來源的愉快和悲傷情緒。在另一實施例中，每一第一情緒決策是兩個或大於兩個情緒類別的情緒加權組合。情緒加權組合的情緒權重可以是百分比或強度等級（即，情緒的層級）的格式。舉例來說，第三資料來源是臉部肌肉活動。第一情緒決策是第三資料來源的60%的愉快情緒和40%的驚訝情緒，其中愉快情緒的情緒權重為0.6且驚訝情緒的情緒權重為0.4。情緒權重可以是對應情緒類別在所有對應情緒類別中的比例。在一些實施例中，每一情緒可進一步包含多個層級（level）。舉例來說，愉快情緒包含3個層級，其中第一層級表示愉快情緒的最小強度等級且第三層級表示最大強度等級。因此，情緒權重可以是對應情緒類別的強度等級。藉此，處理器150可進一步決定每一第一情緒決策的情緒的層級。
圖6是示出根據本公開的示範性實施例中的一者的第一階段的示意圖。參考圖6，在一個實施例中，處理器150可基於機器學習技術（NN、K均值、SVM等）或基於樹的分類方式（提升樹（boosted tree）、自助聚集（bootstrap aggregating）決策樹等）透過使用第一情緒分類器231分別決定每一第一情緒決策。在機器學習技術中，分類器或模型用於辨識觀測結果屬於一組類別中的哪一個。在這一實施例中，第一情緒的觀測結果是使用者資料，且第一情緒的類別對應於第二情緒決策。即，第一情緒分類器用於辨識每一使用者資料屬於情緒群組中的哪一個。換句話說，每一使用者資料可以是第一情緒分類器的輸入資料，且每一第一情緒決策是第一情緒分類器的輸出資料。以人工神經網路（artificial neural networks，ANN）為例，ANN由接收輸入資料或前神經元的輸出的人工神經元構成。網路由連接構成，每一連接提供來自前神經元的一個神經元的輸出和其連接作為加權和，其中每一連接對應於輸入權重。在ANN的學習階段中，可調整輸入權重以改進分類器的結果的準確度。應注意，在學習階段中，處理器150可根據之前的多個第一訓練情緒和訓練感測資料為每一資料來源訓練第一情緒分類器。這些第一訓練情緒包含所有情緒群組。這意味著第一情緒分類器的輸出資料可以是情緒群組中的任一者。此外，訓練感測資料是分別從每一資料來源取得的且對應於特定情緒（其將成為第一訓練情緒）。
在另一實施例中，處理器150可根據與臉部特徵有關的一或多個距離232決定第一情緒決策。舉例來說，使用者的鼻根上存在的皺褶，眼部的形狀，牙齒、舌部或鼻部的存在。如果上眼瞼與眉毛之間的距離小於門檻值，那麼第一情緒決策將為愉快或驚訝情緒。此外，如果嘴部張開的大小大於另一門檻值，那麼第一情緒決策將為驚訝情緒。
在另一實施例中，處理器150可辨識來自語音的使用者資料中的詞語且對所辨識的詞語執行語義分析233。在語義分析期間，處理器150可決定使用者資料中的所辨識的詞語是否與特定關鍵字或特定關鍵詞語匹配，以決定是否在使用者資料中檢測特定關鍵字或特定關鍵詞語。處理器150可預定義多個關鍵字和/或關鍵詞語，且每一預定義關鍵字或預定義關鍵詞語對應於特定情緒、一個情緒的特定層級、兩個或大於兩個情緒類別的特定情緒加權組合或具有特定層級的兩個或大於兩個情緒的特定情緒加權組合。舉例來說，使用者資料與句子“我很快樂（I am very happy）”有關，且關鍵字“很快樂（very happy）”對應於愉快情緒的第五層級。如果所辨識的詞語與一個預定義關鍵字或一個預定義關鍵詞語（即，檢測到的預定義關鍵字或詞語）匹配，那麼處理器150決定對應第一情緒決策是愉快情緒的第五層級。
在另一實施例中，處理器150可分析來自相機影像或動作感測資料的使用者資料。處理器150可執行影像分析234以決定是否檢測影像中的預定義動作或預定義臉部表情。舉例來說，如果處理器150檢測到相機影像中嘴角提升，那麼處理器150可考慮檢測到愉快情緒。對於另一實例，如果處理器150檢測到動作感測資料中使用者舉起雙手，那麼處理器150可考慮檢測到愉快情緒。
應注意，取決於不同資料來源，可能存在另外多種用以決定第一情緒決策的方法，且實施例不限於此。此外，在一些實施例中，處理器150可從全部資料來源中選擇一或多個資料來源以決定其對應第一情緒決策。選定的資料來源可比其它資料來源在情緒估測方面具有更準確的決策。
在決定多個使用者資料（或資料來源）的第一情緒決策之後，處理器150可決定第一情緒決策之間是否發生情緒衝突（步驟S250）。具體來說，情緒衝突與這些第一情緒決策的對應情緒群組彼此並不匹配有關。舉例來說，如果第四資料來源（例如眼部特徵）的第一情緒決策是正面情緒且第五資料來源（例如嘴部特徵）的第一情緒決策是負面情緒，那麼將發生情緒衝突。對於另一實例，如果第六資料來源（例如心電描記術（electrocardiography，ECG））的第一情緒決策是愉快情緒且第七資料來源（例如肌電描記術（electromyography，EMG））的第一情緒決策是悲傷情緒，那麼將發生情緒衝突。
在一個實施例中，處理器150可針對情緒衝突的決策使用可靠等級。可靠等級是第一情緒決策的可靠程度。具體來說，處理器150可分別決定這些第一情緒決策的情緒值。情緒值與第一情緒決策的可靠程度或可靠等級的程度有關。情緒值越大，第一情緒決策越可靠且可靠等級越大。情緒值越小，第一情緒決策越不可靠且可靠等級越小。可由第一情緒分類器的輸出或與置信度等級有關的另一演算法來決定情緒值。接著，處理器150決定情緒值的加權值組合且將情緒值的加權值組合與可靠門檻值進行比較。處理器150可為每一第一情緒決策的情緒值給出對應情緒權重，且利用情緒值的對應情緒權重對情緒值執行權重計算。如果情緒加權組合大於可靠門檻值，那麼情緒衝突不發生。另一方面，如果加權值組合並不大於可靠門檻值，那麼情緒衝突發生。應注意，如果第一情緒決策是多個情緒類別的情緒加權組合，那麼情緒值也可以是多個情緒類別的情緒加權組合，且對應可靠門檻值將等於或類似於情緒值所處的坐標系中的線性方程式、曲線方程或另一方程式。
在一些實施例中，處理器150可選擇具有更高可靠性的一或多個第一情緒決策以決定情緒衝突是否發生。舉例來說，處理器150從臉部肌肉活動和語音中選擇兩個第一情緒決策，且比較第一情緒決策是否屬於相同情緒群組。
接著，處理器150可根據情緒衝突的所決定結果自一或多個情緒群組決定第二情緒決策（步驟S255）。所決定結果可為情緒衝突發生，且情緒衝突發生可為情緒衝突不發生。處理器150可融合一或多個情緒群組以產生（僅）與一個情緒群組有關的第二情緒決策。
在一個實施例中，如果情緒衝突發生，那麼處理器150可自至少兩者情緒群組決定第二情緒決策（步驟S260）。具體來說，如果情緒衝突發生，那麼第一情緒決策可包含兩個或大於兩個情緒群組。在第二階段中，處理器150可自第一情緒決策所屬於的情緒群組或自全部情緒群組進一步決定第二情緒決策，且第二情緒決策（僅）與一個情緒群組有關。
圖7是示出根據本公開的示範性實施例中的一者的第二情緒決策產生的流程圖。參考圖7，在一個實施例中，處理器150可使用一或多個第一情緒決策以決定第二情緒決策（步驟S261）。這意味著第一情緒決策將為用於第二情緒決策的參考。在一個實施例中，處理器150可決定兩個或大於兩個第一情緒決策的加權決策組合，且基於加權決策組合決定第二情緒決策。處理器150可對第一情緒決策執行權重計算，且計算出的結果與第二情緒決策有關。第二情緒決策可為實數、特定情緒類別、特定情緒類別的特定層級或多個情緒類別的情緒加權組合。在另一實施例中，將經由機器學習技術或基於樹的分類方式決定第二情緒決策，其中第一情緒決策是決策模型的輸入資料。
應注意，在一些實施例中，處理器150可選擇具有更高可靠性或不同情緒群組的兩個或大於兩個第一情緒決策以決定第二情緒決策。
在另一實施例中，處理器150可使用來自一或多個資料來源的一或多個使用者資料以決定第二情緒決策（步驟S263）。這意味著使用者資料將為用於第二情緒決策的參考。在一個實施例中，處理器150可基於機器學習技術或基於樹的分類方式透過使用第二情緒分類器決定第二情緒決策。第二情緒分類器用於辨識這些使用者資料屬於情緒群組中的哪一個。使用者資料可以是第二情緒分類器的輸入資料，且第二情緒決策是第二情緒分類器的輸出資料。應注意，處理器150可根據之前的多個第二訓練情緒和訓練感測資料訓練第二情緒分類器。這些第二訓練情緒包含兩個或大於兩個情緒群組。這意味著第二情緒分類器的輸出資料可以是選定的情緒群組中的僅一個。此外，訓練感測資料是分別從每一資料來源取得的且對應於特定情緒（其將成為第二訓練情緒）。處理器150可選擇由第一情緒決策的情緒群組或全部情緒群組訓練的第二情緒分類器用於第二情緒決策。
應注意，來自多個資料來源的原始資料、預處理資料或預配置資料可能不具有相同量、單元或收集時間間隔。圖8是示出根據本公開的示範性實施例中的一者的使用者資料轉換的流程圖。參考圖8，在一個實施例中，處理器150可進一步組合待輸入的兩個或大於兩個使用者資料以產生使用者資料組合。舉例來說，在特徵擷取之後，來自第一資料來源的使用者資料為40×1矩陣，來自第二資料來源的使用者資料為80×2矩陣，且使用者資料組合將為120×1矩陣。處理器150可進一步對來自使用者資料的使用者資料組合擷取臉部特徵執行線性轉換（步驟S262）。線性轉換是基於特定機器學習技術或特定基於樹的分類方式設計的。接著，線性轉換之後的資料將成為第二情緒分類器的輸入。
另一方面，在一個實施例中，如果情緒衝突未發生，那麼處理器150可自（僅）一個情緒群組決定第二情緒決策（步驟S270）。具體來說，如果情緒衝突不發生，那麼第一情緒決策可僅包含一個情緒群組。在一個實施例中，一個情緒群組僅包含一個情緒類別，處理器150可決定第一情緒決策中的任一者作為第二情緒決策。
然而，在一些實施例中，一個情緒群組可包含多個情緒類別，且一個情緒類別可包含多個層級。處理器150可自第一情緒決策所屬於的情緒類別進一步決定第二情緒決策，且第二情緒決策（僅）與具有特定層級的特定情緒類別或情緒類別的特定情緒加權組合有關。
在一個實施例中，處理器150可基於機器學習技術或基於樹的分類方式透過使用第三情緒分類器決定第二情緒決策。第三情緒分類器用於辨識使用者資料或第一情緒決策屬於情緒群組中的哪一個。使用者資料或一或多個第一情緒決策是第三情緒分類器的輸入資料，且第二情緒決策是第三情緒分類器的輸出資料。應注意，與第一情緒分類器和第二情緒分類器進行比較，處理器150根據第三訓練情緒訓練第三情緒分類器，且第三訓練情緒包含僅一個情緒群組。處理器150可選擇由第一情緒決策的情緒群組訓練的第三情緒分類器用於第二情緒決策。在另一實施例中，處理器150可決定兩個或大於兩個第一情緒決策的加權決策組合，且基於加權決策組合決定第二情緒決策。
接著，處理器150可基於第二情緒決策產生虛擬化身的臉部表情（步驟S290）。具體來說，虛擬化身的臉部可包含多個臉部特徵（例如臉部、眼部、鼻部、眉毛的形狀或動作）。虛擬化身的臉部表情可包含幾何參數和紋理參數（一起稱作臉部表情參數）。每一幾何參數用於指示虛擬化身的臉部的頂點的2D座標或3D座標。在一些實施例中，每一紋理參數用於指示對應第二情緒決策（例如特定情緒、特定情緒的特定層級或多個情緒類別的特定情緒加權組合）的臉部影像所應用的臉部的位置。
處理器150可利用臉部表情的特徵產生、合併或取代第二情緒決策，以產生對應於特定情緒的臉部表情。在一個實施例中，處理器150可根據機率分佈（例如常態分佈、幾何分佈、柏努利（Bernoulli）分佈）從對應臉部表情組中選擇一個臉部表情。每一表情組包括多個臉部表情。每一情緒或一個情緒的每一層級對應於特定表情組。舉例來說，對於特定第二情緒決策存在10個臉部表情，且處理器150可從10個臉部表情中隨機地選擇一個。
在一些實施例中，處理器150可為每一第二情緒決策產生臉部特徵。每一第二情緒決策可配置成具有針對臉部特徵的參數的特定限制（例如長度、角度、色彩、大小），且可基於所述限制產生對應臉部特徵。舉例來說，在第二情緒決策具有愉快情緒且愉快情緒的情緒權重大於0.1時，嘴唇的長度具有一定範圍。
在一些實施例中，每一第二情緒決策對應於臉部範本，且臉部範本對應於特定影像或特定動畫。處理器150可將臉部範本粘貼在臉部模型的特定位置處。
綜上所述，在本發明實施例的虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法中，多個情緒決策將在第一階段基於多個資料來源而被決定。若在第一階段的這些情緒決策之間發生情緒衝突，則一個恰當的情緒決策將在第二階段被決定。藉此，虛擬化身將呈現伴隨著恰當的情緒的正常臉部表情。減少不確定的臉部表情參數。此外，在虛擬環境中的社交行為將因伴隨著生動的臉部表情而被改善。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:虛擬化身臉部表情產生系統
110:追蹤裝置
115:感測器
120:顯示器
130:記憶體
150:處理器
231:第一情緒分類器
232:與臉部特徵有關的距離
233:語義分析
234:影像分析
401、402:類型
S210、S211、S213、S215、S230、S250、S255、S260、S261、S262、S263、S270、S290:步驟
圖1是示出根據本公開的示範性實施例中的一者的虛擬化身臉部表情產生系統的方塊圖。
圖2是示出根據本公開的示範性實施例中的一者的虛擬化身臉部表情產生方法的流程圖。
圖3是示出根據本公開的示範性實施例中的一者的使用者資料產生的流程圖。
圖4是示出根據本公開的示範性實施例中的一者的情緒群組的類型的示意圖。
圖5是示出根據本公開的示範性實施例中的一者的使用者資料與第一情緒決策的關係的示意圖。
圖6是示出根據本公開的示範性實施例中的一者的第一階段的示意圖。
圖7是示出根據本公開的示範性實施例中的一者的第二情緒決策產生的流程圖。
圖8是示出根據本公開的示範性實施例中的一者的使用者資料轉換的流程圖。
S210~S290:步驟
Claims (26)
- 一種虛擬化身臉部表情產生方法，包括： 取得多個使用者資料，其中所述使用者資料中的每一者與來自多個資料來源中的一者的使用者的感測結果有關； 基於所述使用者資料中的每一者分別決定多個第一情緒決策，其中所述第一情緒決策中的每一者與多個情緒群組中的一者有關； 決定所述第一情緒決策之間是否發生情緒衝突，其中所述情緒衝突與所述第一情緒決策的對應情緒群組彼此並不匹配有關； 根據所述情緒衝突的所決定結果自所述情緒群組中的至少一者決定一第二情緒決策，其中所述第二情緒決策與所述情緒群組中的一者有關；以及 基於所述第二情緒決策產生虛擬化身的臉部表情。
- 如申請專利範圍第1項所述的虛擬化身臉部表情產生方法，其中根據所述情緒衝突的所述所決定結果自所述情緒群組中的至少一者決定所述第二情緒決策的步驟包括： 反應於所述情緒衝突發生而自所述情緒群組中的至少兩者決定所述第二情緒決策。
- 如申請專利範圍第2項所述的虛擬化身臉部表情產生方法，其中反應於所述情緒衝突發生而自所述情緒群組中的至少兩者決定所述第二情緒決策的步驟包括： 使用所述第一情緒決策中的至少一者來決定所述第二情緒決策。
- 如申請專利範圍第1項所述的虛擬化身臉部表情產生方法，其中所述反應於所述情緒衝突發生而自所述情緒群組中的至少兩者決定所述第二情緒決策的步驟包括： 使用所述使用者資料中的至少一者來決定所述第二情緒決策。
- 如申請專利範圍第3項所述的虛擬化身臉部表情產生方法，其中使用所述第一情緒決策中的至少一者來決定所述第二情緒決策的步驟包括： 決定所述第一情緒決策中的至少兩者的加權決策組合；以及 基於所述加權決策組合決定所述第二情緒決策。
- 如申請專利範圍第4項所述的虛擬化身臉部表情產生方法，其中使用所述使用者資料中的至少一者來決定所述第二情緒決策的步驟包括： 組合所述使用者資料中的至少兩者以產生一使用者資料組合；以及 對所述使用者資料組合執行線性轉換以從所述使用者資料中的所述至少兩者中擷取臉部特徵。
- 如申請專利範圍第4項所述的虛擬化身臉部表情產生方法，其中所述使用所述使用者資料中的至少一者來決定所述第二情緒決策的步驟包括： 基於一機器學習技術透過使用一第一情緒分類器決定所述第二情緒決策，其中所述第一情緒分類器用於辨識所述使用者資料中的所述至少一者屬於所述情緒群組中的哪一個，所述使用者資料中的所述至少一者是所述第一情緒分類器的輸入資料，且所述第二情緒決策是所述第一情緒分類器的輸出資料，且所述第一情緒分類器是根據包括所述情緒群組中的至少兩者的多個第一訓練情緒而訓練的。
- 如申請專利範圍第1項所述的虛擬化身臉部表情產生方法，其中基於使用者資料中的每一者分別決定所述第一情緒決策的步驟包括： 基於一機器學習技術透過使用一第二情緒分類器分別決定第一情緒決策中的每一者，其中所述第二情緒分類器用於辨識所述使用者資料中的每一者屬於所述情緒群組中的哪一個，所述使用者資料中的所述至少一者是所述第二情緒分類器的輸入資料，第一情緒決策中的每一者是所述第二情緒分類器的輸出資料，且所述第二情緒分類器是根據包括全部所述情緒群組的多個第二訓練情緒而訓練的。
- 如申請專利範圍第1項所述的虛擬化身臉部表情產生方法，其中所述第一情緒決策或所述第二情緒決策中的每一者是多個情緒類別的情緒加權組合。
- 如申請專利範圍第1項所述的虛擬化身臉部表情產生方法，其中決定所述第一情緒決策之間是否發生所述情緒衝突的步驟包括： 分別決定所述第一情緒決策的情緒值； 決定所述情緒值的加權值組合；以及 將所述情緒值的所述加權值組合與可靠門檻值進行比較，其中反應於所述加權值組合大於所述可靠門檻值而不發生所述情緒衝突，且反應於所述加權值組合並不大於所述可靠門檻值而發生所述情緒衝突。
- 如申請專利範圍第1項所述的虛擬化身臉部表情產生方法，其中所述根據所述情緒衝突的所述所決定結果自所述情緒群組中的至少一者決定所述第二情緒決策的步驟包括： 反應於所述情緒衝突並未發生而自所述情緒群組中的一者決定所述第二情緒決策。
- 如申請專利範圍第11項所述的虛擬化身臉部表情產生方法，其中自所述情緒群組中的一者決定所述第二情緒決策的步驟包括： 基於一機器學習技術透過使用一第三情緒分類器決定所述第二情緒決策，其中所述第三情緒分類器用於辨識所述使用者資料或所述第一情緒決策屬於所述情緒群組中的哪一個，所述使用者資料中的所述至少一者或所述第一情緒決策中的至少一者是所述第三情緒分類器的輸入資料，所述第二情緒決策是所述第三情緒分類器的輸出資料，且所述第三情緒分類器是根據包括僅所述情緒群組中的一者的第三訓練情緒而訓練的。
- 如申請專利範圍第1項所述的虛擬化身臉部表情產生方法，其中所述資料來源在所述使用者的目標部位或感測技術中不同。
- 一種虛擬化身臉部表情產生系統，包括： 至少一追蹤裝置，取得多個使用者資料，其中所述使用者資料中的每一者與來自多個資料來源中的一者的使用者的感測結果有關； 一記憶體，儲存程式碼；以及 一處理器，耦接到所述記憶體，且載入所述程式碼以執行： 基於所述使用者資料中的每一者分別決定多個第一情緒決策，其中所述第一情緒決策中的每一者與多個情緒群組中的一者有關； 決定所述第一情緒決策之間是否發生情緒衝突，其中所述情緒衝突與所述第一情緒決策的對應情緒群組彼此並不匹配有關； 根據所述情緒衝突的所決定結果自所述情緒群組中的至少一者決定第二情緒決策，其中所述第二情緒決策與所述情緒群組中的一者有關；以及 基於所述第二情緒決策產生虛擬化身的臉部表情。
- 如申請專利範圍第14項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 反應於所述情緒衝突發生而自所述情緒群組中的至少兩者決定所述第二情緒決策。
- 如申請專利範圍第15項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 使用所述第一情緒決策中的至少一者來決定所述第二情緒決策。
- 如申請專利範圍第15項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 使用所述使用者資料中的至少一者來決定所述第二情緒決策。
- 如申請專利範圍第16項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 決定所述第一情緒決策中的至少兩者的加權決策組合；以及 基於所述加權決策組合決定所述第二情緒決策。
- 如申請專利範圍第17項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 組合所述使用者資料中的至少兩者以產生一使用者資料組合；以及 對所述使用者資料組合執行線性轉換以從所述使用者資料中的所述至少兩者中擷取臉部特徵。
- 如申請專利範圍第18項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 基於一機器學習技術透過使用一第一情緒分類器決定所述第二情緒決策，其中所述第一情緒分類器用於辨識所述使用者資料中的所述至少一者屬於所述情緒群組中的哪一個，所述使用者資料中的所述至少一者是所述第一情緒分類器的輸入資料，且所述第二情緒決策是所述第一情緒分類器的輸出資料，且所述第一情緒分類器是根據包括所述情緒群組中的至少兩者的多個第一訓練情緒而訓練的。
- 如申請專利範圍第15項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 基於一機器學習技術透過使用一第二情緒分類器分別決定第一情緒決策中的每一者，其中所述第二情緒分類器用於辨識所述使用者資料中的每一者屬於所述情緒群組中的哪一個，所述使用者資料中的所述至少一者是所述第二情緒分類器的輸入資料，第一情緒決策中的每一者是所述第二情緒分類器的輸出資料，且所述第二情緒分類器是根據包括全部所述情緒群組的多個第二訓練情緒而訓練的。
- 如申請專利範圍第15項所述的虛擬化身臉部表情產生系統，其中所述第一情緒決策或所述第二情緒決策中的每一者是多個情緒類別的情緒加權組合。
- 如申請專利範圍第15項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 分別決定所述第一情緒決策的情緒值； 決定所述情緒值的加權值組合；以及 將所述情緒值的所述加權值組合與可靠門檻值進行比較，其中反應於所述加權值組合大於所述可靠門檻值而不發生所述情緒衝突，且反應於所述加權值組合並不大於所述可靠門檻值而發生所述情緒衝突。
- 如申請專利範圍第15項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 反應於所述情緒衝突並未發生而自所述情緒群組中的一者決定所述第二情緒決策。
- 如申請專利範圍第24項所述的虛擬化身臉部表情產生系統，其中所述處理器進一步執行： 基於一機器學習技術透過使用一第三情緒分類器決定所述第二情緒決策，其中所述第三情緒分類器用於辨識所述使用者資料或所述第一情緒決策屬於所述情緒群組中的哪一個，所述使用者資料中的所述至少一者或所述第一情緒決策中的至少一者是所述第三情緒分類器的輸入資料，所述第二情緒決策是所述第三情緒分類器的輸出資料，且所述第三情緒分類器是根據包括僅所述情緒群組中的一者的第三訓練情緒而訓練的。
- 如申請專利範圍第14項所述的虛擬化身臉部表情產生系統，其中所述資料來源在所述使用者的目標部位或感測技術中不同。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/802,571 US11127181B2 (en) | 2018-09-19 | 2020-02-27 | Avatar facial expression generating system and method of avatar facial expression generation |
| US16/802,571 | 2020-02-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202133117A true TW202133117A (zh) | 2021-09-01 |
| TWI829944B TWI829944B (zh) | 2024-01-21 |
Family
ID=71741629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109123572A TWI829944B (zh) | 2020-02-27 | 2020-07-13 | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3872694A1 (zh) |
| JP (1) | JP2021135995A (zh) |
| CN (1) | CN113313795A (zh) |
| TW (1) | TWI829944B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI824883B (zh) * | 2022-12-14 | 2023-12-01 | 輔仁大學學校財團法人輔仁大學 | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023170795A1 (ja) * | 2022-03-08 | 2023-09-14 | ソフトバンク株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8965762B2 (en) * | 2007-02-16 | 2015-02-24 | Industrial Technology Research Institute | Bimodal emotion recognition method and system utilizing a support vector machine |
| TW201244694A (en) * | 2011-05-09 | 2012-11-16 | Univ Nat Taiwan Science Tech | Device for responding emotions and emotion recognition method thereof |
| CN107257403A (zh) * | 2012-04-09 | 2017-10-17 | 英特尔公司 | 使用交互化身的通信 |
| US10176619B2 (en) * | 2015-07-30 | 2019-01-08 | Intel Corporation | Emotion augmented avatar animation |
| US10528801B2 (en) * | 2016-12-07 | 2020-01-07 | Keyterra LLC | Method and system for incorporating contextual and emotional visualization into electronic communications |
| US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
| WO2018128996A1 (en) * | 2017-01-03 | 2018-07-12 | Clipo, Inc. | System and method for facilitating dynamic avatar based on real-time facial expression detection |
| WO2019040669A1 (en) * | 2017-08-22 | 2019-02-28 | Silicon Algebra, Inc. | METHOD FOR DETECTING EXPRESSIONS AND FACIAL EMOTIONS OF USERS |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
-
2020
- 2020-07-13 TW TW109123572A patent/TWI829944B/zh active
- 2020-07-21 EP EP20187067.2A patent/EP3872694A1/en not_active Withdrawn
- 2020-07-22 JP JP2020125192A patent/JP2021135995A/ja active Pending
- 2020-07-22 CN CN202010709804.4A patent/CN113313795A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI824883B (zh) * | 2022-12-14 | 2023-12-01 | 輔仁大學學校財團法人輔仁大學 | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3872694A1 (en) | 2021-09-01 |
| CN113313795A (zh) | 2021-08-27 |
| TWI829944B (zh) | 2024-01-21 |
| JP2021135995A (ja) | 2021-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11127181B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| Zhang et al. | Cooperative sensing and wearable computing for sequential hand gesture recognition | |
| JP6850723B2 (ja) | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| Zhang et al. | Intelligent facial emotion recognition and semantic-based topic detection for a humanoid robot | |
| US20200090392A1 (en) | Method of Facial Expression Generation with Data Fusion | |
| JP2021057057A (ja) | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム | |
| US10223838B2 (en) | Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras | |
| Du et al. | Non-contact emotion recognition combining heart rate and facial expression for interactive gaming environments | |
| TWI736054B (zh) | 化身臉部表情產生系統及化身臉部表情產生方法 | |
| TWI829944B (zh) | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 | |
| Zhang et al. | Intelligent Facial Action and emotion recognition for humanoid robots | |
| CN114998983A (zh) | 一种基于增强现实技术和姿态识别技术的肢体康复方法 | |
| US11403289B2 (en) | Systems and methods to facilitate bi-directional artificial intelligence communications | |
| US11087520B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation for facial model | |
| Tivatansakul et al. | Healthcare system focusing on emotional aspect using augmented reality: Emotion detection by facial expression | |
| TWI646438B (zh) | 情緒偵測系統及方法 | |
| CN115100560A (zh) | 用户不良状态的监测方法、装置、设备及计算机存储介质 | |
| Du et al. | A noncontact emotion recognition method based on complexion and heart rate | |
| Hjelm Gardner | Spot the Pain: Exploring the Application of Skeleton Pose Estimation for Automated Pain Assessment | |
| Mustafina et al. | Multimodal Embeddings In Emotion Recognition Research | |
| Lai et al. | Biometrics for biomedical applications | |
| El Morabit | New Artificial Intelligence techniques for Computer vision based medical diagnosis | |
| Wibowo et al. | Greeting Gesture Classification Using Machine Learning Based on Politeness Perspective in Japan |