TWI824883B - 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 - Google Patents
應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 Download PDFInfo
- Publication number
- TWI824883B TWI824883B TW111148067A TW111148067A TWI824883B TW I824883 B TWI824883 B TW I824883B TW 111148067 A TW111148067 A TW 111148067A TW 111148067 A TW111148067 A TW 111148067A TW I824883 B TWI824883 B TW I824883B
- Authority
- TW
- Taiwan
- Prior art keywords
- virtual reality
- virtual
- information
- expression
- computing host
- Prior art date
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 91
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 38
- 230000008451 emotion Effects 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 title claims abstract description 22
- 230000001815 facial effect Effects 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 230000001149 cognitive effect Effects 0.000 abstract description 2
- 230000008921 facial expression Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 206010003805 Autism Diseases 0.000 description 7
- 208000020706 Autistic disease Diseases 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000008909 emotion recognition Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100309447 Caenorhabditis elegans sad-1 gene Proteins 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 101100297738 Danio rerio plekho1a gene Proteins 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013440 design planning Methods 0.000 description 1
- 230000008918 emotional behaviour Effects 0.000 description 1
- 230000002143 encouraging effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本發明係一種應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統，其中，該虛擬實境互動式系統能夠在使用者的面前呈現出三維空間的場景環境，且能根據一問題訊息，而在該虛擬實境顯示器呈現出對應的各該虛擬表情物件，以及透過該虛擬實境顯示器及/或該播音器表現出該問題資訊，並利用至少一面部特徵抓取器抓取使用者的面部特徵，以根據使用者當前所作出的表情面貌是否實質上符合一答案訊息，執行對應的回應程序，如此，使用者能依照訓練指示(問題訊息)自行或被引導模仿出對應的表情面貌，進而達到協助自閉症患者進行情緒及表情相關的認知與訓練等效果。
Description
本發明係關於虛擬實境互動式系統，尤指一種專為自閉症患者或兒童設計，且是透過使用者模仿表情，以及識別使用者表情，以達到訓練情緒識別的虛擬實境互動式系統。
按，虛擬實境(Virtual Reality，簡稱VR)是利用頭戴式顯示器所產生的影像，建構出一個具有三維空間感，且看似真實的虛擬世界，使用者能夠自由地轉動頭部，且虛擬實境設備會偵測出使用者的動作行為，而產生符合的影像，令使用者彷彿身處於現實環境中，並能夠即時且沒有限制地觀察該虛擬世界中的事物。
目前應用虛擬實境技術的領域與項目愈來愈多，例如，醫療、影視、運動與遊戲等，但是，前述虛擬實境技術的目標對象大多設定為成年人，因此，其呈現內容多半較為複雜，且通常是由使用者操作遙控器或肢體行為，例如，使用者在使用前述虛擬實境技術時，通常是根據畫面上的文字指示進行對應的操作，且操作方式普遍為操作遙控手把，或是改變手腳位置的肢體動作等。換言之，現有虛擬實境所要求的使用者反饋，普遍建立於使用者操作按鍵與大幅度的身體動作變化上，由於兒童與成年人的理解能力不同，尤其是，對於複雜的手部操作過程，或是對於文字的熟識與解讀，都遠不如成年人，因此，若要以現有VR遊戲所呈現的技術手段，改變為訓練兒童的相關VR遊戲時，顯然無法供兒童得心應手的使用。
另外，情緒識別屬於基本社會交往技能，通常人們能夠透過觀察旁人的表情，而察覺與識別出旁人的情緒，同樣地，自身也能夠表現出不同的表情，而傳達出當下的情緒，因此，隨著年齡的增長，人們根據他人的面部表情來進行社會判斷和交流的能力將會逐漸提高。但是，對於自閉症兒童來說，前述觀察他人面部表情的情況卻極為困難，主要在於，自閉症兒童與他人進行目光接觸或者社會交流的時間過短，故容易缺乏與情境相應的面部表情、身體姿勢、手勢和言語表達。換言之，自閉症兒童較不會識別環境和他人的情緒行為，也不會做出適當的判斷和反應，因此，自閉症兒童在處理情感資訊以及辨識他人面部表情方面的障礙，直接影響了他們的社會交往能力。
誠如前述，透過VR遊戲來訓練兒童，尤其是自閉症兒童，雖能達到部分功效，但是，現有VR遊戲的人物表情，若是屬於正派人物，其大多呈現出溫和、開心、歡愉的樣子，若是屬於反派人物，其大多呈現出兇惡、威嚇的樣子，且前述遊戲人物的表情往往會在登場時即直接呈現出來，大多與周圍場景的情境變化沒有太多關係，換言之，對於自閉症兒童來說，並無法由遊戲的人物表情而達到提高情緒識別能力。此外，由於自閉症兒童大多存在刻板行為，因此，他人往往難以準確地從自閉症兒童的身體動作獲知其具體的情緒，故，如何有效解決前述問題，以能開發出一種專為兒童(尤其是自閉症兒童)使用的VR軟體，並能訓練兒童情緒識別功能的遊戲內容，即為本發明之一重要課題。
一般來說，溝通表達能力包括口語溝通(verbal communication)及非口語溝通(nonverbal communication)能力，非口語溝通能力係包含表情、手勢、眼神、語氣與姿勢等。然而，自閉症患者經常面無表情，或即使有表情也較為僵硬不自然，且自閉症患者往往會迴避他人眼神，導致其較無法專注觀察他人面部表情，換言之，自閉症患者對他人的情緒識別能力呈現弱勢。有鑑於此，發明人特別根據前述需求，在進行多次的研究與測試後，終於設計出本發明之一種應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統，以能訓練自閉症患者(尤其是兒童)的表情模仿、表情辨識、及在情境中做出正確的表情，進而對自閉症患者與他人之溝通及社交互動達成有效的幫助。
本發明之一目的，係提供一種應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統，包括一虛擬實境顯示器、至少一面部特徵抓取器、一播音器與一資訊運算主機，其中，該虛擬實境顯示器能用以呈現一三維空間的場景環境，以及複數個虛擬物件；各該面部特徵抓取器能抓取使用者的面部特徵，並產生對應的至少一面部參數訊息；該播音器能播放一聲音資訊；該資訊運算主機內安裝有一訓練軟體，該訓練軟體至少包含一場景模組與一事件模組，該場景模組係儲存至少一場景資訊與複數虛擬物件，以使該資訊運算主機能根據各該場景資訊與各該虛擬物件，而產生對應之三維空間的場景環境模型；該事件模組係儲存有複數個問題訊息，以及對應各該問題訊息的至少一答案訊息、一正面回應程序與一引導回應程序，且各該問題訊息分別包含至少一虛擬表情物件與問題資訊；該資訊運算主機能根據其中一個問題訊息，而在該虛擬實境顯示器呈現出對應的各該虛擬表情物件，以及透過該虛擬實境顯示器及/或該播音器表現出該問題資訊，俟該資訊運算主機接收到各該面部特徵抓取器傳來的面部參數訊息後，其能透過一表情辨識模組辨識該面部參數訊息所對應的表情面貌，並將該表情面貌比對於對應該問題訊息的該答案訊息，當該表情面貌實質上符合該答案訊息的情況下，該資訊運算主機能執行該正面回應程序；當該表情面貌實質上不符合該答案訊息的情況下，該資訊運算主機能執行該引導回應程序，以將回應結果呈現於該場景環境中及/或透過該播音器播放出來。
透過前述目的所使用的技術特徵，該虛擬實境互動式系統能使用VR虛擬實境技術模擬現實中的場景，以及透過相關硬體設備(如：虛擬實境顯示器、面部特徵抓取器等)，抓取使用者的面部特徵之變化數據，與自行定義之情緒、表情相關數據進行比對分析兩者相符程度，如此，在遊戲過程中，使用者能依照訓練指示(問題訊息)自行或被引導模仿出對應的表情面貌，進而達到協助自閉症患者進行情緒及表情相關的認知與訓練等效果。
可選地，該虛擬實境互動式系統還包括一收音器，該收音器能接收外部語音而產生一語音訊息，且該語音訊息能傳送至該資訊運算主機。
可選地，該虛擬實境互動式系統還包括一控制器，該控制器能根據外部控制行為而產生一操作訊息，且該操作訊息能傳送至該資訊運算主機。
可選地，該虛擬實境互動式系統還包括至少一感應器，該感應器能偵測配戴該虛擬實境顯示器之使用者的當前位置，並產生對應的一位置偵測訊息，該資訊運算主機接收到該位置偵測訊息後，會根據該位置偵測訊息的內容改變該虛擬實境顯示器所呈現出的場景環境及/或虛擬物件的態樣。
可選地，該正面回應程序包含至少一個虛擬獎勵物件，該資訊運算主機執行該正面回應程序的情況下，會在該虛擬實境顯示器中呈現出各該虛擬獎勵物件的回應結果。
可選地，該引導回應程序包含至少一引導聲音資訊，該資訊運算主機執行該引導回應程序的情況下，其會使該播音器播放該引導聲音資訊，其中，該引導聲音資訊的內容係用以引導使用者所做出的表情面貌能實質上相同於該答案訊息。
可選地，該引導回應程序包含至少一引導文字或至少一引導虛擬物件，該資訊運算主機執行該引導回應程序的情況下，其會在該虛擬實境顯示器中呈現出該引導文字或該引導虛擬物件，其中，該引導文字或該引導虛擬物件係用以引導使用者所做出的表情面貌能實質上相同於該答案訊息。
可選地，該資訊運算主機在該虛擬實境顯示器呈現出對應的各該虛擬表情物件，以及透過該虛擬實境顯示器及/或該播音器表現出該問題資訊後，會啟動一計時程序。
可選地，該虛擬實境互動式系統還包括一評估伺服器，且該資訊運算主機會記錄使用者所對應的該正面回應程序及/或該引導回應程序，並轉換與產生成一表現資訊，再將該表現資訊傳輸至該評估伺服器，以儲存至該評估伺服器中的一評估資料庫中。
為便 貴審查委員能對本發明目的、技術特徵及其功效，做更進一步之認識與瞭解，茲舉實施例配合圖式，詳細說明如下：
為使本發明之目的、技術內容與優點更加清楚明白，以下結合具體實施方式，並參照附圖，對本發明所公開的實施方式進一步詳細說明。本領域之技藝人士可由本說明書所公開的內容瞭解本發明的優點與效果，且本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外事先聲明，本發明的附圖僅為簡單示意說明，並非依實際尺寸進行描繪。此外，除非上下文有明確指出或定義，否則本發明之“一”、“該”之含義包括複數。又，以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。
應理解，本文所使用的術語通常具有本領域的普通含義，在有衝突的情況下，以本文所給出的任何定義為準。由於同一件事可以用多種方式表達，替代詞語與同義詞可用於本文所討論或敘述的任何術語，且在本文是否闡述或討論術語方面沒有特殊限定，一個或多個同義詞的使用並不能排除其他同義詞。在本發明之說明書中任何地方所使用的實施例，包括任何術語的使用，都僅是說明性，絕不限制本發明或任何術語的範圍與含義。同樣地，本發明並不侷限於說明書所揭露的各種實施例。雖然本文中可能使用術語第一、第二或第三等來描述各種元件，但各該元件不應受前述術語的限制，前述術語主要是用以區分一元件與另一元件，而不應對任何元件施加任何實質性限制，且不應限制各個元件在實際應用上的組裝或設置順序。另外實施例中提到的方向用語，例如“上”、“下”、“前”、“後”、“左”、“右”等，僅是參考附圖的方向。因此，使用的方向用語是用來說明並非用來限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
再者，本文中所使用的“實質上(substantially)”或“近似(approximately)”等用語，可以指一可為本領域之技藝人士所承認或決定的對於某特定值的偏差範圍中的數值或複數數值的平均值，包括考慮到受到測量系統或設備之限制，而對該特定值進行測量時之可能產生之一定特定之誤差，例如，實質上(substantially)所述及的數值，能夠包括該特定值的±5%、±3%、±1%、±0.5%、± 0.1%或一個或多個標準差範圍。
本發明係一種應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統，其主要的使用對象係為一般發展兒童與特殊發展兒童，例如，自閉症兒童，以進行表情識別訓練，意即，該虛擬實境互動式系統能模擬日常生活中人們遭遇各種情況，以供兒童能學習辨別各種微弱的情緒和相應的面部表情，還能使兒童藉由瞭解與模仿出不同情緒的表情，而準確地向外界表達出自己的當下情緒，進而提高自身的社會交際能力。
請參閱圖1及圖2所示，在一實施例中，該虛擬實境互動式系統1包括一虛擬實境顯示器11、複數面部特徵抓取器12A、12B、一播音器13與一資訊運算主機14，其中，該虛擬實境顯示器11、該面部特徵抓取器12A與播音器13能夠整合為同一個頭戴式設備H，該面部特徵抓取器12B則能為獨立設備，該資訊運算主機14能夠為桌上型電腦或是雲端伺服器，且能夠與該頭戴式設備H以及面部特徵抓取器12B相電氣連接，但不以此為限，在本發明之其它實施例中，根據產品需求，該虛擬實境互動式系統1能夠只設有單一個面部特徵抓取器12A或12B；或者，該面部特徵抓取器12B及/或該資訊運算主機14能夠整合至該頭戴式設備H上，或者，該虛擬實境顯示器11、該面部特徵抓取器12A與播音器13能夠個別為獨立設備，或者，該面部特徵抓取器12A、12B兩者能整合為同一設備等，只要前述元件能夠具有後續實施例的架構與達成效果即可。
另外，復請參閱圖1及圖2所示，該面部特徵抓取器12A、12B能抓取使用者的面部特徵，例如，眉毛、眼睛、嘴巴、臉頰等位置變化，並產生對應的至少一面部參數訊息，其中，該面部參數訊息能夠包含至少一個面部參數(如："Mouth_Smile_Left＞20"、"Mouth_Smile_Right＞20")，在該實施例中，該面部特徵抓取器12A能夠採用HTC VIVE Pro Eye，該面部特徵抓取器12B能夠採用HTC VIVE Facial Tracker，以及該虛擬實境互動式系統1能運行SR_Runtime軟體，但不以此為限。
復請參閱圖1及圖2所示，該資訊運算主機14內安裝有一訓練軟體15，由於本發明之虛擬實境互動式系統1的主要使用對象為兒童或自閉症患者，因此，該訓練軟體15能以遊戲的方式呈現(但不以此為限)，該訓練軟體15能包含一場景模組151與一事件模組152，其中，該場景模組151儲存有至少一個場景資訊(如，教室、捷運站、公園、便利商店甚至是空白等各種場景)與複數場景虛擬物件(如：黑板、課桌椅、捷運車輛、月台閘門、手扶梯等)，且該場景資訊分別包含了三維空間的必要資料，以及與該場景資訊相關聯的場景虛擬物件，因此，該資訊運算主機14能夠根據該場景模組151而產生三維空間的場景環境模型，並將前述場景環境模型的相關資訊，採用有線或無線方式傳輸至該虛擬實境顯示器11，以能在使用者的眼前呈現出具有立體感且身歷其境的場景環境畫面(包含處於該場景環境中的各種場景虛擬物件)。此外，該資訊運算主機14能夠使不同的場景虛擬物件分別呈現出靜態態樣或動態態樣，例如，捷運站台的場景虛擬物件會保持靜止不動，而月台閘門的場景虛擬物件則能夠形成開門或關門的動態態樣。前述場景環境模型與場景虛擬物件的結合，甚至是場景虛擬物件的出現時機或狀態改變，都為虛擬實境(Virtual Reality，簡稱VR)領域的慣用手段，在此不予贅述。
承上，請參閱圖1及圖3所示，該事件模組152中儲存有複數個問題訊息，且該問題訊息包含至少一虛擬表情物件1521與問題資訊，其中，該虛擬表情物件1521能為模擬人類開心、生氣、驚訝或哭泣等各種臉部的情緒表情，且能夠透過照片、動態/靜態圖片或影像等方式，呈現於該虛擬實境顯示器11的畫面中。又，不同問題訊息所包含的虛擬表情物件1521能夠相同或不相同。該問題資訊還能夠包含文字方式、圖案方式、聲音方式或前述方式之組合，例如，在畫面中以文字方式(如："請做出開心的表情"等文字)將問題呈現出來；或者在畫面中出現多張不同種類卡片圖案供使用者選擇；或者播放描述問題的聲音(如："請做出開心的表情"等述說前述內容的聲音)；或者在畫面中以文字方式將問題呈現出來，同時輔以對應前述文字的聲音等。
另外，請參閱圖1及圖4所示，各該問題訊息還會對應至少一答案訊息、一正面回應程序與一引導回應程序，當使用者的行為符合該答案訊息時，該資訊運算主機14能執行該正面回應程序，舉例而言，該正面回應程序包含至少一個虛擬獎勵物件1523(如：虛擬糖果、虛擬代幣等)或鼓勵聲音資訊，在訓練過程中，當使用者滿足預定的正確條件時，該資訊運算主機14會使該播音器13播放該鼓勵聲音資訊，或者在該虛擬實境顯示器11中呈現出對應的虛擬獎勵物件1523(即，執行正面回應程序的回應結果)，以達到鼓勵效果。又，該引導回應程序包含至少一引導聲音資訊、引導文字或引導虛擬物件(如：虛擬箭頭)，在訓練過程中，當使用者滿足預定的錯誤條件時，該資訊運算主機14會使該播音器13播放該引導聲音資訊，或者在該虛擬實境顯示器11中呈現出對應的引導文字或引導虛擬物件(即，執行引導回應程序的回應結果)，以透過該引導聲音資訊、引導文字或引導虛擬物件，能夠引導使用者的行為符合該答案訊息。
復請參閱圖1所示，在本發明之其它實施例中，該訓練軟體15還能夠額外設有物件模組，以儲存複數個虛擬物件，包含前述提及應用於場景中的場景虛擬物件、虛擬表情物件1521(如圖3所示)、虛擬獎勵物件1523(如圖4所示)、引導虛擬物件，或是其它用途的虛擬物件(如：用以呈現文字的對話框等)，且場景資訊、問題訊息、正面回應程序與引導回應程序能夠與對應的虛擬物件相關聯，令該資訊運算主機14在處理場景資訊、問題訊息、正面回應程序與引導回應程序時，能夠取得對應的虛擬物件。另，該訓練軟體15還能夠額外設有聲音模組，以儲存複數個聲音資訊，包含前述提及描述問題的聲音、引導聲音資訊，或是搭配場景資訊或場景虛擬物件的場景聲音(如：上課鐘響的鈴聲、同學喧鬧聲、自動門開啟聲或廣播聲音等)，前述各種聲音內容的聲音資訊能夠先行錄製，或者透過其它軟體程式產生或合成，且場景資訊、問題訊息、正面回應程序與引導回應程序能夠與對應的聲音資訊相關聯，令該資訊運算主機14在處理場景資訊、問題訊息、正面回應程序與引導回應程序時，能夠取得對應的聲音資訊。換言之，根據實際需求，各種虛擬物件與聲音資訊能夠儲存於對應的場景模組151或事件模組152中，或者儲存於對應的物件模組或聲音模組中，以提高該虛擬實境互動式系統1於設計規劃上的靈活度。
再者，復請參閱圖1所示，該虛擬實境互動式系統1還設有一表情辨識模組16，在該實施例中，該表情辨識模組16設置於該資訊運算主機14中，但在其它實施例，該表情辨識模組16能單獨設置於其他設備中，或是被包含於該訓練軟體15中。又，該資訊運算主機14能透過該表情辨識模組16，而辨識出其所接收到之面部參數訊息所對應的表情面貌，舉例而言，該表情辨識模組16能採用Eye and Facial tracking SDK，當該資訊運算主機14接收到來自該面部特徵抓取器12A、12B傳來的面部參數訊息後，其能將該面部參數訊息所包含的面部參數(即，使用者的面部特徵)反映在Eye and Facial tracking SDK提供的臉部模型上，再利用SkinnedMeshRenderer的功能，讀取臉部模型的BlendShapes數值變化，以判斷出使用者當前的表情面貌所代表的情緒(如：害怕、生氣、厭惡、開心等)，下表一係列出部分表情面貌的相關資訊，但不以此為限： [表一]
| 表情面貌 面部參數 | 害怕 Afraid | 生氣 Angry | 厭惡 Disgust | 開心 Happy | 驚訝 Surprise |
| Jaw_Open | ＞40 | ||||
| Mouth_Smile_Left | ＞20 | ||||
| Mouth_Smile_Right | ＞20 | ||||
| Mouth_Sad_Left | ＞30 | ＞25 | |||
| Mouth_Sad_Right | ＞30 | ＞25 | |||
| Mouth_Upper_UpLeft | ＞30 | ＞35 | |||
| Mouth_Upper_UpRight | ＞30 | ＞35 | |||
| Mouth_Lower_DownLe | ＞30 | ＞50 | |||
| Mouth_Lower_DownR | ＞30 | ＞50 | |||
| Mouth_Lower_Overlay | ＞30 |
承上，復請參閱圖1所示，該資訊運算主機14透過該表情辨識模組16，除了能判斷代表單一情緒的表情面貌之外，還能夠針對判斷出同一情緒之不同程度的表情面貌，如下表二所示，但不以此為限： [表二]
惟，在本發明之其它實施例中，該資訊運算主機14與表情辨識模組16能夠依實際需求而採用其它的軟體與組件。
| 表情面貌 面部參數 | 難過一 Sad-1 | 難過二 Sad-2 |
| Mouth_Sad_Left | ＞30 | |
| Mouth_Sad_Right | ＞30 | |
| Mouth_Lower_Overlay | ＞15 | |
| Eye_Left_Blink | ＞5 | ＞5 |
| Eye_Right_Blink | ＞5 | ＞5 |
再者，復請參閱圖1所示，為了提高虛擬實境互動式系統1的內容與操作豐富性，在該實施例中，該虛擬實境互動式系統1還能設有收音器17(如：麥克風)與控制器18，但不以此為限，其中，該收音器17能接收兒童說話的外部語音，並產生對應的語音訊息，且將該語音訊息以有線或無線方式傳輸至該資訊運算主機14，在部分實施例中，該收音器17能整合至頭戴式設備H中，但不以此為限。在該實施例中，該資訊運算主機14還包括一語音辨識模組(例如，Google Speech-to-Text，但不以此為限)，以能將語音訊息轉換為文字檔，以供該資訊運算主機14能夠執行一語意分析程序，進而辨識分析出該語音訊息的內容，換言之，該資訊運算主機14具有語意分析的能力或相關軟體工具，例如，斷字斷詞工具(如：jieba、CKIP)、機器學習工具(如：Azure Machine Learning Studio、Tensor Flow、Google Speech Analysis)，或是Python當中地NLTK（natural language toolkit，自然語言工具包）、潛在語意分析( latent semantic analysis，LSA )工具…等語意分析模組，以及pinyin套件來判斷同音不同字、口語表達咬字不清或相似音問題，以能準確地取得兒童口語內容，且進行文字探勘及語意分析，並找出語音訊息的關鍵字，進而分析與取得該兒童所說話語的真實含意。
承上，復請參閱圖1所示，該控制器18能夠為遙控手把的態樣，其上能設有複數個按鈕、搖桿等控制單元，還能設有陀螺儀或加速度計等元件，以能夠根據兒童的操作，例如，按壓按鈕、推動搖桿或移動/晃動控制器18等外部控制行為，而產生對應的一操作訊息，之後，該控制器18能夠以有線或無線方式將前述操作訊息傳輸至該資訊運算主機14，以供該資訊運算主機14能根據各該操作訊息而執行對應的程序。惟，在本發明之其它實施例中，該虛擬實境互動式系統1能夠包含複數個控制器18，且除了遙控手把的態樣之外，該控制器18還能夠為滑鼠、鍵盤等裝置，以供使用者能夠輸入個人的基本資料(如：姓名、年齡等)，並儲存至該資訊運算主機14中，或是藉由該資訊運算主機14而傳輸至其它伺服器設備中。
此外，復請參閱圖1所示，為了能夠準確地捕捉使用者的頭部動作與位置，該虛擬實境互動式系統1還包括至少一感應器19，該感應器19能偵測出配戴該虛擬實境顯示器11之使用者的當前位置，尤其是頭部的轉動方向，並能產生對應的一位置偵測訊息，該資訊運算主機14接收到該位置偵測訊息後，會根據該位置偵測訊息的內容改變該虛擬實境顯示器11所呈現出的場景環境及/或各種虛擬物件的態樣，例如，當兒童將頭部往右轉時，其所看到的場景環境與各種虛擬物件將會隨之改變，以使兒童彷彿身處於真實的場景環境中。
茲就該虛擬實境互動式系統1的運作流程進行說明，請參閱圖1及圖2所示，當兒童配戴了頭戴式設備H與面部特徵抓取器12B，並且握持了控制器18後，該資訊運算主機14能夠運行該訓練軟體15，以執行該訓練軟體15中所規劃的各種訓練體驗課程。嗣，該資訊運算主機14能使該頭戴式設備H的虛擬實境顯示器11呈現出三維空間的場景環境與對應的虛擬物件，例如，教室場景，以及黑板、課桌椅等，並能使該播音器13播放出對應的聲音(如：上課鐘聲)，之後，兒童能夠操作該控制器18，以執行各種操作行為，例如，搬動椅子的虛擬物件，又，該資訊運算主機14會根據該控制器18傳來的操作訊息，執行對應的程序，例如，更改椅子的位置。
承上，復請參閱圖1至圖3所示，當兒童在訓練過程中，達到預定的關卡時，該資訊運算主機14能夠根據預先設定或隨機取得至少一個問題訊息，並在該虛擬實境顯示器11中呈現出對應的虛擬表情物件1521，以及向兒童傳達出題目資訊。如圖3所示，該資訊運算主機14能在該虛擬實境顯示器11中呈現出一虛擬文字框1522，且該虛擬文字框1522包含題目文字(如：小明，請你模仿我現在做的表情)，同時還會使該播音器13播放符合前述文字的聲音資訊。在部分實施例中，該資訊運算主機14在該虛擬實境顯示器11中呈現出該虛擬表情物件1521，以及透過該虛擬實境顯示器11及/或該播音器13表現出該問題資訊後，能啟動一計時程序，當兒童沒有在預定時間內(如：5~10秒)做出對應的行為時，將會默認為兒童無法理解問題或做出錯誤行為，但不以此為限，在其它實施例中，能夠由兒童操作控制器18進行完成作答之選項的相關操作，來確認兒童是否已經完成作答。
又，請參閱圖1至圖4所示，當兒童根據題目資訊而做出表情後，該面部特徵抓取器12A、12B能抓取兒童的面部特徵，並產生對應的面部參數訊息，之後，其能將該面部參數訊息傳送至該資訊運算主機14。當該資訊運算主機14根據該面部參數訊息，而判斷出兒童所做出的表情實質上符合答案訊息時，將會執行正面回應程序，且正面回應程序是在該虛擬實境顯示器11中呈現出鼓勵文字(如：在虛擬文字框1522呈現"好棒，你模仿得很好，可以得到一顆糖果!"的文字)，以及給予虛擬獎勵物件1523(如：虛擬糖果)，同時還會使播音器13播放符合前述鼓勵文字的聲音(但不以此為限)。當該資訊運算主機14判斷出兒童所做出的表情實質上不符合答案訊息時，例如，虛擬表情物件1521為生氣的表情，但兒童做出其它情緒(如：驚訝)的表情，或者面部特徵的變化不大(不足以被判斷為生氣的表情)時，該資訊運算主機14將會執行引導回應程序，且該引導回應程序能夠在該虛擬實境顯示器11中呈現出引導文字(如：這是生氣的表情喔!)，同時還會使播音器13播放符合前述引導文字的聲音(但不以此為限)，以引導兒童能做出符合答案訊息的行為(如：做出生氣的表情)。
除了模仿表情之外，在部分實施例中，請參閱圖1至圖5所示，該資訊運算主機14根據所取得的另一問題訊息，能夠在該虛擬實境顯示器11中呈現出一段影片(即，題目資訊，圖5只呈現某一影片畫面M)，該影片能夠為一個男生突然出現嚇一個女生，且虛擬文字框1522能呈現出對應的題目文字(如：小明，你覺得影片中長頭髮的女生，應該是哪一個表情呢?)，並在呈現完文字後的預訂期間(如5秒)後，在該虛擬實境顯示器11中呈現複數個虛擬表情物件1521(如圖6所示，由左至右依序為"生氣"、"驚訝"、”難過”等表情)。之後，根據回答模式，兒童能夠採用做出驚訝的表情來回答問題，或者操作控制器18進行完成作答之選項的相關操作。
再者，為了能夠幫助教育人員或醫療人員準確地評估兒童的進步情況，請參閱圖1及圖7所示，兒童在訓練過程中的相關情形都會被該資訊運算主機14記錄下來，並轉換成一表現資訊，之後，該資訊運算主機14會將前述表現資訊透過網際網路傳送至一評估伺服器2的評估資料庫21中，以供相關人員能夠調閱該兒童的表現資訊，而瞭解該兒童的當前狀態。
綜上所述，透過本發明之虛擬實境互動式系統1，尤其是，利用仿真的虛擬環境，能夠訓練兒童(尤其是自閉症兒童)進行表情情緒模仿與表情情緒辨識，且訓練過程中，會針對兒童的表現給予立即的正增強或回饋，可有效訓練並強化兒童的正向行為，若兒童於訓練過程中做出錯誤的回答與行為，則該資訊運算主機14會執行引導回應程序，以應用提示(prompting)與消退(fading)的策略，協助兒童做出正確的臉部表情，使得兒童能夠熟悉人類面部所表現的表情情緒，進而能增加其關注人臉的注意力，如此，不僅能加強兒童瞭解各種情緒的代表內涵，也能進一步教導兒童對於不同情緒所能進行的反應，以提高兒童與他人溝通及社交互動的能力。
按，以上所述，僅係本發明之較佳實施例，惟，本發明所主張之權利範圍，並不侷限於此，按凡熟悉該項技藝人士，依據本發明所揭露之技術內容，可輕易思及之等效變化，均應屬不脫離本發明之保護範疇。
[習知]
無
[本創作]
1:虛擬實境互動式系統
11:虛擬實境顯示器
12A、12B:面部特徵抓取器
13:播音器
14:資訊運算主機
15:訓練軟體
151:場景模組
152:事件模組
1521:虛擬表情物件
1522:虛擬文字框
1523:虛擬獎勵物件
16:表情辨識模組
17:收音器
18:控制器
19:感應器
2:評估伺服器
21:評估資料庫
H:頭戴式設備
M:影片畫面
[圖1]係本發明之虛擬實境互動式系統的系統架構圖； [圖2]係使用者配戴頭戴式設備的示意圖； [圖3]係本發明之其中一虛擬畫面，且該虛擬畫面包含虛擬表情物件與虛擬文字框； [圖4]係本發明之另一虛擬畫面，且該虛擬畫面包含虛擬表情物件、虛擬文字框與虛擬獎勵物件； [圖5]係本發明之再一虛擬畫面，且該虛擬畫面包含影片畫面與虛擬文字框； [圖6]係本發明之又一虛擬畫面，且該虛擬畫面包含複數個虛擬表情物件與虛擬文字框；及 [圖7]係本發明之資訊運算主機與評估伺服器的連接示意圖。
1:虛擬實境互動式系統
11:虛擬實境顯示器
12A、12B:面部特徵抓取器
13:播音器
14:資訊運算主機
15:訓練軟體
151:場景模組
152:事件模組
16:表情辨識模組
17:收音器
18:控制器
19:感應器
H:頭戴式設備
Claims (9)
- 一種應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統，包括： 一虛擬實境顯示器，係用以呈現一三維空間的場景環境，以及複數個虛擬物件； 至少一面部特徵抓取器，係能抓取使用者的面部特徵，並產生對應的至少一面部參數訊息； 一播音器，係能播放一聲音資訊；及 一資訊運算主機，其內安裝有一訓練軟體，該訓練軟體至少包含： 一場景模組，係儲存至少一場景資訊與複數虛擬物件，以使該資訊運算主機能根據各該場景資訊與各該虛擬物件，而產生對應之三維空間的場景環境模型；及 一事件模組，係儲存有複數個問題訊息，以及對應各該問題訊息的至少一答案訊息、一正面回應程序與一引導回應程序，其中，各該問題訊息分別包含至少一虛擬表情物件與問題資訊； 該資訊運算主機能根據其中一個問題訊息，而在該虛擬實境顯示器呈現出對應的各該虛擬表情物件，以及透過該虛擬實境顯示器及/或該播音器表現出該問題資訊，俟該資訊運算主機接收到各該面部特徵抓取器傳來的面部參數訊息後，其能透過一表情辨識模組辨識該面部參數訊息所對應的表情面貌，並將該表情面貌比對於對應該問題訊息的該答案訊息，當該表情面貌實質上符合該答案訊息的情況下，該資訊運算主機能執行該正面回應程序；當該表情面貌實質上不符合該答案訊息的情況下，該資訊運算主機能執行該引導回應程序，以將回應結果呈現於該場景環境中及/或透過該播音器播放出來。
- 如請求項1所述之虛擬實境互動式系統，還包括一收音器，該收音器能接收外部語音而產生一語音訊息，且該語音訊息能傳送至該資訊運算主機。
- 如請求項1所述之虛擬實境互動式系統，還包括一控制器，該控制器能根據外部控制行為而產生一操作訊息，且該操作訊息能傳送至該資訊運算主機。
- 如請求項1所述之虛擬實境互動式系統，還包括至少一感應器，該感應器能偵測配戴該虛擬實境顯示器之使用者的當前位置，並產生對應的一位置偵測訊息，該資訊運算主機接收到該位置偵測訊息後，會根據該位置偵測訊息的內容改變該虛擬實境顯示器所呈現出的場景環境及/或虛擬物件的態樣。
- 如請求項1至4任一項所述之虛擬實境互動式系統，其中，該正面回應程序包含至少一個虛擬獎勵物件，該資訊運算主機執行該正面回應程序的情況下，會在該虛擬實境顯示器中呈現出各該虛擬獎勵物件的回應結果。
- 如請求項1至4任一項所述之虛擬實境互動式系統，其中，該引導回應程序包含至少一引導聲音資訊，該資訊運算主機執行該引導回應程序的情況下，其會使該播音器播放該引導聲音資訊，其中，該引導聲音資訊的內容係用以引導使用者所做出的表情面貌能實質上相同於該答案訊息。
- 如請求項1至4任一項所述之虛擬實境互動式系統，其中，該引導回應程序包含至少一引導文字或至少一引導虛擬物件，該資訊運算主機執行該引導回應程序的情況下，其會在該虛擬實境顯示器中呈現出該引導文字或該引導虛擬物件，其中，該引導文字或該引導虛擬物件係用以引導使用者所做出的表情面貌能實質上相同於該答案訊息。
- 如請求項1至4任一項所述之虛擬實境互動式系統，其中，該資訊運算主機在該虛擬實境顯示器呈現出對應的各該虛擬表情物件，以及透過該虛擬實境顯示器及/或該播音器表現出該問題資訊後，會啟動一計時程序。
- 如請求項1至4任一項所述之虛擬實境互動式系統，還包括一評估伺服器，且該資訊運算主機會記錄使用者所對應的該正面回應程序及/或該引導回應程序，並轉換與產生成一表現資訊，再將該表現資訊傳輸至該評估伺服器，以儲存至該評估伺服器中的一評估資料庫中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111148067A TWI824883B (zh) | 2022-12-14 | 2022-12-14 | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111148067A TWI824883B (zh) | 2022-12-14 | 2022-12-14 | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI824883B true TWI824883B (zh) | 2023-12-01 |
| TW202424697A TW202424697A (zh) | 2024-06-16 |
Family
ID=90053121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111148067A TWI824883B (zh) | 2022-12-14 | 2022-12-14 | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI824883B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201203185A (en) * | 2010-07-13 | 2012-01-16 | Univ Nat Changhua Education | Interactive virtual environment-learning method and system thereof |
| CN104835190A (zh) * | 2015-04-29 | 2015-08-12 | 华东师范大学 | 一种3d即时通讯系统及其通讯方法 |
| CN110045817A (zh) * | 2019-01-14 | 2019-07-23 | 启云科技股份有限公司 | 采用虚拟实境技术的交互式摄影系统 |
| TW201947362A (zh) * | 2018-05-17 | 2019-12-16 | 美商高通公司 | 使用者經驗評估 |
| TW202117498A (zh) * | 2019-10-17 | 2021-05-01 | 未來市股份有限公司 | 化身臉部表情產生系統及化身臉部表情產生方法 |
| TW202133117A (zh) * | 2020-02-27 | 2021-09-01 | 未來市股份有限公司 | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 |
| TW202221621A (zh) * | 2020-11-18 | 2022-06-01 | 國立臺北護理健康大學 | 用於照護教育之虛擬環境訓練系統 |
| TW202223732A (zh) * | 2020-09-03 | 2022-06-16 | 日商索尼互動娛樂股份有限公司 | 以元資料進行多模態遊戲視訊匯總 |
-
2022
- 2022-12-14 TW TW111148067A patent/TWI824883B/zh active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201203185A (en) * | 2010-07-13 | 2012-01-16 | Univ Nat Changhua Education | Interactive virtual environment-learning method and system thereof |
| CN104835190A (zh) * | 2015-04-29 | 2015-08-12 | 华东师范大学 | 一种3d即时通讯系统及其通讯方法 |
| TW201947362A (zh) * | 2018-05-17 | 2019-12-16 | 美商高通公司 | 使用者經驗評估 |
| CN110045817A (zh) * | 2019-01-14 | 2019-07-23 | 启云科技股份有限公司 | 采用虚拟实境技术的交互式摄影系统 |
| TW202117498A (zh) * | 2019-10-17 | 2021-05-01 | 未來市股份有限公司 | 化身臉部表情產生系統及化身臉部表情產生方法 |
| TW202133117A (zh) * | 2020-02-27 | 2021-09-01 | 未來市股份有限公司 | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 |
| TW202223732A (zh) * | 2020-09-03 | 2022-06-16 | 日商索尼互動娛樂股份有限公司 | 以元資料進行多模態遊戲視訊匯總 |
| TW202221621A (zh) * | 2020-11-18 | 2022-06-01 | 國立臺北護理健康大學 | 用於照護教育之虛擬環境訓練系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Randall | A survey of robot-assisted language learning (RALL) | |
| US11403961B2 (en) | Public speaking trainer with 3-D simulation and real-time feedback | |
| US11291919B2 (en) | Development of virtual character in a learning game | |
| Shahid et al. | Child–robot interaction across cultures: How does playing a game with a social robot compare to playing a game alone or with a friend? | |
| Gebhard et al. | Serious games for training social skills in job interviews | |
| US20090319459A1 (en) | Physically-animated Visual Display | |
| CN110931111A (zh) | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | |
| Tseng et al. | PlushPal: Storytelling with interactive plush toys and machine learning | |
| Freed | " This is the fluffy robot that only speaks french": language use between preschoolers, their families, and a social robot while sharing virtual toys | |
| CN117541444B (zh) | 一种互动虚拟现实口才表达训练方法、装置、设备及介质 | |
| Dobre et al. | Immersive machine learning for social attitude detection in virtual reality narrative games | |
| Nadel et al. | Autism and socially interactive agents | |
| Ince et al. | An audiovisual interface-based drumming system for multimodal human–robot interaction | |
| de Souza Jeronimo et al. | Comparing social robot embodiment for child musical education | |
| Sajó et al. | Turk-2, a multi-modal chess player | |
| TWI824883B (zh) | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 | |
| Daher et al. | Embodied conversational agent for emotional recognition training | |
| Mason et al. | Personalization of intelligent virtual agents for motion training in social settings | |
| Nagao et al. | Cyber Trainground: Building-Scale Virtual Reality for Immersive Presentation Training | |
| TW202322099A (zh) | 應用虛擬實境模擬兒童日常生活訓練的虛擬實境互動式系統 | |
| CN112634684B (zh) | 智能教学方法和装置 | |
| McCrocklin et al. | Exploring pronunciation learning in simulated immersive language learning experiences in virtual reality | |
| Javed | Personalizing Mixed Initiative Dance Interactions with a Socially-Aware Robot | |
| Novanda | Metrics to Evaluate Human Teaching Engagement From a Robot's Point of View | |
| Barnes | Toward a Longitudinal Program of In Situ Social Robotics Research and Informal STEAM Education |