TWI829517B - 基於化身之互動系統、方法及電腦可讀媒介 - Google Patents

Abstract

本發明揭露一種基於化身之互動系統、方法及電腦可讀媒介，係在具有顯示幕之電子設備上提供元宇宙應用模組以呈現出包括角色化身之元宇宙空間，再由第一使用者利用電子設備登入至元宇宙空間中來與角色化身進行對話。繼之，依據第一使用者與角色化身之對話內容發出通訊請求至第二使用者之通訊裝置以接收通訊內容，再為第二使用者在元宇宙空間中配置第二使用者角色化身，且分別透過電子設備與通訊裝置接通第一使用者與第二使用者以進行通訊。然後，將第二使用者之通訊內容套用至第二使用者角色化身上，使第二使用者角色化身之外形或動作配合通訊內容做出變化。

Description

基於化身之互動系統、方法及電腦可讀媒介

本發明係關於一種基於化身(avatar)之互動技術，特別是指一種基於化身之互動系統、方法及電腦可讀媒介。

「元宇宙」顧名思義是在虛擬世界(元宇宙空間)中，讓人們以化身之方式登入至虛擬世界中進行活動，而在虛擬世界中之每一化身不見得都是真人之化身，也有數位人(如AI數位人)之化身，故數位人或化身之相關技術在虛擬世界之發展上佔了重要且具有各種不同功用。

在習知技術中比較明顯之運用方式，便是將數位人(如AI數位人)用作於虛擬世界中之虛擬店員或客服人員，亦有讓真實之客服人員接管數位人之先前技術，也有與數位人、化身或虛擬世界進行通訊之先前技術。

惟，上述習知技術皆未揭露，如何在虛擬世界(元宇宙空間)中，隨著使用者之需求，讓系統自動呼喚真實世界之人員進入虛擬世界中，並讓使用者與這位被呼喚至虛擬世界中之人員透過化身互相通訊。

另外，習知技術無法於偵測到使用者需要與真實世界之使用 者進行通訊時，自動呼叫真實世界之使用者，並為真實世界之使用者在元宇宙空間中配置虛擬之角色化身。或者，習知技術無法偵測使用者之通訊需求以自動呼喚相應之真實世界之人員，並讓使用者與真實世界之人員藉由元宇宙空間中之化身來進行對話。又或者，習知技術無法在跨宇宙(橫跨真實世界與元宇宙空間)之通訊過程中，自動將真人之通話語音反應至元宇宙空間中之化身，也無法使化身之外形或動作配合真人之通訊內容做出變化。

因此，如何提供一種創新之基於化身之互動技術，以解決上述之任一問題或提供相關之系統/方法，已成為本領域技術人員之一大研究課題。

本發明所述基於化身之互動系統包括：一具有顯示幕與一元宇宙應用模組之電子設備，係利用元宇宙應用模組在電子設備之顯示幕上呈現一包括角色化身之元宇宙空間，以由一第一使用者利用電子設備登入至顯示幕所呈現之元宇宙空間中，俾使第一使用者與角色化身進行對話；一第二使用者之通訊裝置，係通訊連結該電子設備，以由電子設備之元宇宙應用模組依據第一使用者與角色化身進行對話之對話內容發出一通訊請求至第二使用者之通訊裝置，再透過通訊裝置依據通訊請求接收第二使用者之通訊內容；以及一元宇宙子系統，係為第二使用者在元宇宙空間中配置一第二使用者角色化身，以由元宇宙子系統分別透過電子設備與通訊裝置接通第一使用者與第二使用者，使第一使用者與第二使用者分別透過電子設備與通訊裝置進行通訊，其中，第二使用者之通訊內容係套用至元宇宙空間中之第二使用 者角色化身上，以於將第二使用者之通訊內容傳遞給第一使用者時，令第二使用者角色化身之外形或動作配合第二使用者之通訊內容做出變化。

本發明所述基於化身之互動方法包括：在一具有顯示幕之電子設備上提供一元宇宙應用模組，以利用元宇宙應用模組在電子設備之顯示幕上呈現一包括角色化身之元宇宙空間，再由一第一使用者利用電子設備登入至顯示幕所呈現之元宇宙空間中，俾使第一使用者與角色化身進行對話；由元宇宙應用模組依據第一使用者與角色化身進行對話之對話內容發出一通訊請求至一第二使用者之通訊裝置，再透過通訊裝置依據通訊請求接收第二使用者之通訊內容；為第二使用者在元宇宙空間中配置一第二使用者角色化身，以分別透過電子設備與通訊裝置接通第一使用者與第二使用者，使第一使用者與第二使用者分別透過電子設備與通訊裝置進行通訊；以及將第二使用者之通訊內容套用至元宇宙空間中之第二使用者角色化身上，以於將第二使用者之通訊內容傳遞給第一使用者時，令第二使用者角色化身之外形或動作配合第二使用者之通訊內容做出變化。

本發明之電腦可讀媒介應用於計算裝置或電腦中，係儲存有指令，以執行上述基於化身之互動方法。

因此，本發明提供一種創新之基於化身之互動系統、方法及電腦可讀媒介，係利於使用者(如第一使用者)登入至元宇宙空間(如虛擬立體空間/虛擬世界)中時，讓使用者(如第一使用者)與虛擬之角色化身(如虛擬之數位人或真人之化身)進行對話或互動。

或者，本發明之元宇宙子系統能於偵測到使用者(如第一使用者)需要與真實世界之使用者(如第二使用者)進行通訊時，自動呼叫真實世 界之使用者(如第二使用者)，以利元宇宙子系統自動為真實世界之使用者(如第二使用者)在元宇宙空間中配置虛擬之角色化身(如第二使用者角色化身)。

亦或者，本發明能讓元宇宙子系統偵測使用者(如第一使用者)之通訊需求，並自動呼喚相應之真實世界之人員(如第二使用者)，以利使用者(如第一使用者)能與真實世界之人員(如第二使用者)藉由元宇宙空間中之化身(如第二使用者角色化身)來進行對話。

又或者，本發明能在跨宇宙(橫跨真實世界與元宇宙空間)之通訊過程中，自動將真人(如第二使用者)之通話語音反應至元宇宙空間中之化身(如第二使用者角色化身)，亦能使化身(如第二使用者角色化身)之外形或動作配合真人(如第二使用者)之通訊內容做出變化。

為使本發明之上述特徵與優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容可得而知，或可藉由對本發明之實踐習得。應理解，前文一般描述與以下詳細描述二者均為例示性及解釋性的，且不欲約束本發明所欲主張之範圍。

1:基於化身之互動系統

10:電子設備

11:顯示幕

111:元宇宙空間

12:元宇宙應用模組

121:對話結果預測單元

20:通訊裝置

30:元宇宙子系統

31:編輯模組

32:語音轉文字模組

33:文字轉語音模組

34:通話管理模組

35:內容管理模組

36:化身臉部動畫模組

37:化身肢體動畫模組

A:第一使用者

A1:第一使用者角色化身

B:第二使用者

B1:第二使用者角色化身

C:虛擬使用者

P11至P18:程序

P21至P26:程序

R:角色化身

S1至S6:步驟

S51至S53:步驟

V:虛擬商店

V1:虛擬店員

圖1為本發明所述基於化身之互動系統之架構示意圖。

圖2為本發明所述基於化身之互動方法之流程示意圖。

圖3為本發明所述基於化身之互動系統及方法中，有關角色化身、第一使用者(第一使用者角色化身)與第二使用者(第二使用者角色化 身)等之互動方式之實施例示意圖。

圖4為本發明所述基於化身之互動方法中，有關三方通話頻道或通話聊天室之建立方法之流程示意圖。

圖5為本發明所述基於化身之互動系統及方法中，有關圖2步驟S5之內容之實施例示意圖。

圖6為本發明所述基於化身之互動系統及方法中，有關圖2步驟S6之內容之實施例示意圖。

以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容瞭解本發明之其他優點與功效，亦可因而藉由其他不同具體等同實施形態加以施行或運用。

圖1為本發明所述基於化身之互動系統1之架構示意圖。如圖所示，基於化身之互動系統1可包括互相通訊連結之一電子設備10、一通訊裝置20與一元宇宙子系統30等，電子設備10可具有一顯示幕11與一元宇宙應用模組12，其中，元宇宙應用模組12可具有一對話結果預測單元121，且元宇宙子系統30可具有一編輯模組31、一語音轉文字(Speech to Text；STT)模組32、一文字轉語音(Text to Speech；TTS)模組33、一通話管理模組34、一內容管理模組35、一化身臉部動畫模組36及/或一化身肢體動畫模組37等。

在一實施例中，電子設備10可為具有顯示幕11之虛擬實境(Virtual Reality；VR)頭戴裝置、行動裝置、電腦、伺服器等，且虛擬實境 頭戴裝置可為虛擬實境頭盔等。顯示幕11可為顯示螢幕、顯示介面、顯示面板、顯示器等，元宇宙應用模組12可為軟體、韌體、硬體、或是元宇宙軟體應用程式(App)等，通訊裝置20可為通訊器、市話機、電話機、行動裝置、電腦、伺服器等。行動裝置可為行動電話、智慧型手機等，電腦可為平板電腦、筆記型電腦、桌上型電腦、個人電腦等，伺服器可為中央伺服器、通用伺服器、雲端伺服器、遠端伺服器、網路伺服器等。

在一實施例中，編輯模組31可為編輯器、編輯軟體、編輯程式等，語音轉文字(STT)模組32可為語音轉文字轉換器、語音轉文字軟體、語音轉文字程式等，文字轉語音(TTS)模組33可為文字轉語音轉換器、文字轉語音軟體、文字轉語音程式等，通話管理模組34可為通話管理器、通話管理軟體、通話管理程式等。內容管理模組35可為內容管理系統(Content Management System；CMS)、內容管理器、內容管理軟體、內容管理程式等，化身臉部動畫模組36可為化身臉部動畫軟體、化身臉部動畫程式等(如Audio2Face應用程式)，化身肢體動畫模組37可為化身肢體動畫軟體、化身肢體動畫程式等(如Audio2Action應用程式)。

在一實施例中，本發明所述「至少一」代表一個以上(如一、二或三個以上)，「複數」代表二個以上(如二、三、四、五或十個以上)。「元宇宙空間」可代表虛擬立體空間、虛擬三維空間、虛擬世界、元宇宙世界等，「角色化身」可為虛擬之數位人(如AI數位人)或真人(使用者)之化身等，「虛擬商店」可為虛擬商品展售台、虛擬商場、虛擬購物中心、虛擬百貨公司、虛擬展覽館等。「網路」可為網際網路(Internet)、內部網路(Intranet)、廣域網路(WAN)、區域網路(LAN)、都會網域(MAN)、雲端網路等。但是， 本發明並不以各實施例所提及者為限。

圖2為本發明所述基於化身之互動方法之流程示意圖，圖3為本發明所述基於化身之互動系統1及方法中有關角色化身R、第一使用者A(第一使用者角色化身A1)與第二使用者B(第二使用者角色化身B1)等之互動方式之實施例示意圖。此外，此基於化身之互動方法可包括下列圖2之步驟S1至步驟S5之內容，並參閱圖1所示基於化身之互動系統1一併說明。

[1]圖2之步驟S1：在一具有顯示幕11之電子設備10上提供一元宇宙應用模組12。

在一實施例中，具有顯示幕11之電子設備10可為一虛擬實境頭戴裝置(如虛擬實境頭盔)，以在虛擬實境頭戴裝置內建元宇宙應用模組12(如元宇宙軟體應用程式)，或使虛擬實境頭戴裝置透過網路(如網際網路)下載或安裝元宇宙應用模組12(如元宇宙軟體應用程式)。在另一實施例中，虛擬實境頭戴裝置亦可改用行動裝置(如智慧型手機)或個人電腦等取代。

[2]圖2之步驟S2：利用元宇宙應用模組12在電子設備10之顯示幕11上呈現一包括角色化身R之元宇宙空間111(空間影像)，其中之角色化身R可為虛擬之數位人(如虛擬店員V1)或真人之化身等。

在圖3之實施例中，元宇宙應用模組12可在電子設備10(如虛擬實境頭戴裝置)之顯示幕11上繪製出元宇宙空間111(如虛擬立體空間/虛擬世界)，亦可在元宇宙空間111中開設一虛擬商店V(如虛擬商品展售台)，並在虛擬商店V中展售虛擬商品，且此虛擬商品可與一實體商品具有關聯性。進一步地，元宇宙子系統30可在元宇宙空間111中為虛擬商店V 配置一虛擬店員V1，且此虛擬店員V1可由元宇宙子系統30(如人工智慧子系統)所支持，以利實現第一使用者A與虛擬店員V1間之對話功能。

[3]圖2之步驟S3：第一使用者A利用電子設備10登入至顯示幕11所呈現之元宇宙空間111中，以使第一使用者A與角色化身R進行對話，其中之角色化身R可為虛擬之數位人(如虛擬店員V1)或真人之化身等。

在圖3之實施例中，當第一使用者A使用電子設備10(如戴上虛擬實境頭盔)時，第一使用者A可用自己之身份登入至元宇宙空間111(如虛擬立體空間/虛擬世界)中。若第一使用者A之使用者模式採用第三人稱，則元宇宙子系統30會對第一使用者A於元宇宙空間111之可視區中配置代表第一使用者A之第一使用者角色化身A1。而若第一使用者A之使用者模式採用第一人稱，則元宇宙應用模組12可以不顯示第一使用者A之第一使用者角色化身A1。

無論第一使用者A之使用者模式採用第一人稱或第三人稱，當第一使用者A於元宇宙空間111之可視區中出現一虛擬店員V1或第二使用者B之第二使用者角色化身B1時，第一使用者A向此虛擬店員V1或第二使用者B之第二使用者角色化身B1進行對話，且第一使用者A與此虛擬店員V1或第二使用者B之第二使用者角色化身B1採用語音或文字訊息之方式進行對話。元宇宙子系統30可支持語音轉文字(STT)之功能，以使整個元宇宙空間111之通訊，在基於語音通訊之前提下，也能在電子設備10(如虛擬實境頭戴裝置)之顯示幕11上呈現與此語音相關聯之文字內容。

[4]圖2之步驟S4：由電子設備10之元宇宙應用模組12依 據第一使用者A與角色化身R進行對話之對話內容發出一通訊請求(如請求通訊之指示)至第二使用者B之通訊裝置20，以透過通訊裝置20依據此通訊請求接收第二使用者B之通訊內容，其中之角色化身R可為虛擬之數位人(如虛擬店員V1)或真人之化身等。

在圖3之實施例中，元宇宙應用模組12可提供圖1所示之對話結果預測單元121(如對話結果預測器)，且此對話結果預測單元121可分為下列第一種與第二種。第一種為預設款之對話結果預測單元121，主要是支持虛擬店員V1與第一使用者A(或第一使用者角色化身A1)進行對話之基本功能，例如由虛擬店員V1回應第一使用者A之打招呼或回應第一使用者A之結束對話等。第二種為進階款之對話結果預測單元121，主要是支持虛擬店員V1負責回應第一使用者A(或第一使用者角色化身A1)之任務區別，例如不同虛擬商店V之虛擬店員V1所介紹之商品內容可能會有所不同，當對話結果預測單元121收到第一使用者A之語音諮詢時，進階款之對話結果預測單元121可依據第一使用者A之語音諮詢之內容決定要回應第一使用者A之語音對話內容為何。

舉例而言，若第一使用者A(或第一使用者角色化身A1)向販賣吸塵器之虛擬商店V之虛擬店員V1進行諮詢，以要求提供吸塵器之商品介紹，則此販賣吸塵器之虛擬商店V之虛擬店員V1可用語音向第一使用者A介紹吸塵器之商品內容。而若第一使用者A(或第一使用者角色化身A1)向販賣手機之虛擬商店V之虛擬店員V1進行諮詢，以要求提供手機之商品介紹，則此販賣手機之虛擬商店V之虛擬店員V1可用語音向第一使用者A介紹手機之商品內容。

當元宇宙應用模組12之對話結果預測單元121依據第一使用者A所輸入之語音對話內容預測到第一使用者A需要與真實世界之某位人員(如真人之第二使用者B)進行通訊時，例如對話結果預測單元121指示出第一使用者A之語音對話內容無合適之回應內容，元宇宙應用模組12可進一步分析出第一使用者A所需通訊(聯絡)之真實世界之人員(如真人之第二使用者B)之需求類型，且此真實世界之人員之需求類型可包括客服人員、工程人員、技術人員、維修人員、管理人員或專業人員等各種不同人員之區別型態。

然後，元宇宙應用模組12可依據所需通訊之真實世界之人員(如真人之第二使用者B)之需求類型與預存(預先儲存)之人員之聯繫方式(如市話門號/行動門號/即時通訊軟體帳號/服務單位之電話號碼等)，主動發出一通訊請求(如請求通訊之指示)至所需通訊之真實世界之人員(如真人之第二使用者B)之通訊裝置20(如市話機/智慧型手機/服務單位之電話機)，例如由元宇宙子系統30打電話(call out)至真實世界之人員(如真人之第二使用者B)之通訊裝置20，以透過通訊裝置20接收真實世界之人員之語音及/或其語音內容。

[5]圖2之步驟S5：由元宇宙子系統30為第二使用者B在元宇宙空間111(空間影像)中配置一第二使用者角色化身B1，且分別透過電子設備10與通訊裝置20接通第一使用者A與第二使用者B，以使第一使用者A與第二使用者B能分別透過電子設備10與通訊裝置20進行通訊。

在圖3之實施例中，當真人之第二使用者B同意依據第一使用者A與此角色化身R(如虛擬之數位人/真人之化身/虛擬店員V1等)之對 話內容所發出之通訊請求時，元宇宙子系統30可為真人之第二使用者B在第一使用者A所處之元宇宙空間111之可視區中配置一個代表真人之第二使用者B之第二使用者角色化身B1，且由元宇宙子系統30建立一個收納真人之第一使用者A、第二使用者B、與代表元宇宙子系統30之虛擬使用者C(如虛擬店員V1)之三方通話頻道或通話聊天室(如三方語音/文字之通話頻道/通話聊天室)。

在另一實施例中，元宇宙子系統30亦可分別建立二個雙方通話頻道或通話聊天室(如雙方語音/文字之通話頻道/通話聊天室)，亦即第一個雙方通話頻道或通話聊天室為第一使用者A與第二使用者B之通話頻道或通話聊天室，且第二個雙方通話頻道或通話聊天室為第二使用者B與虛擬使用者C(如虛擬店員V1)之通話頻道或通話聊天室。

[6]圖2之步驟S6：將第二使用者B之通訊內容套用至元宇宙空間111(空間影像)中之第二使用者角色化身B1上，以於元宇宙子系統30將第二使用者B之通訊內容透過電子設備10傳遞給第一使用者A時，令第二使用者角色化身B1之外形或動作(如臉部/眼神/嘴型/手勢/肢體動作等)得以配合第二使用者B之通訊內容做出變化(如臉部/眼神/嘴型/手勢/肢體動作等之相應變化)。

圖4為本發明所述基於化身之互動方法中有關三方通話頻道或通話聊天室(如語音/文字之通話頻道/通話聊天室)之建立方法之流程示意圖。此外，接續上方圖2之步驟S5所述「三方通話頻道或通話聊天室」之內容，此三方通話頻道或通話聊天室之建立方法可包括下列圖4之步驟S51至步驟S53之內容，並參閱圖1與圖3一併說明。

[1]圖4之步驟S51：由元宇宙子系統30依據第一使用者A所對話之角色化身R所代表之對象取得一預先設定之第二使用者B之通話號碼。

在圖3之實施例中，第一使用者A所對話之角色化身R(如人工智慧AI之虛擬店員V1)所代表之「對象」通常是某一虛擬商店V，且元宇宙子系統30可提供一編輯模組31(如編輯器)，以供編輯人員(如設計人員/管理人員/客服人員/總機人員等)透過此編輯模組31來設定虛擬商店V之各類聯繫窗口與潛在之第二使用者B等之通話號碼(如市話門號/行動門號/即時通訊軟體帳號/服務單位之電話號碼等)。

[2]圖4之步驟S52：由元宇宙應用模組20依據第二使用者B之通話號碼撥打至第二使用者B之通訊裝置20，且由元宇宙子系統30建立一通話頻道或通話聊天室(如語音/文字之通話頻道/通話聊天室)。

在圖3之實施例中，元宇宙子系統30可建立一通話頻道或通話聊天室(如語音/文字之通話頻道/通話聊天室)，並將代表元宇宙子系統30之虛擬使用者C(如虛擬店員V1)與第二使用者B先行加入此通話頻道或通話聊天室，且元宇宙子系統30對第一使用者A於元宇宙空間111之可視區中配置一個代表第二使用者B之第二使用者角色化身B1。

[3]圖4之步驟S53：當元宇宙空間111中之第一使用者A或其第一使用者角色化身A1面向第二使用者B之第二使用者角色化身B1時，若第一使用者A尚未在此通話頻道或通話聊天室(如語音/文字之通話頻道/通話聊天室)中，則元宇宙子系統30將自動第一使用者A加入此通話頻道或通話聊天室(如語音/文字之通話頻道/通話聊天室)。

在圖3之實施例中，元宇宙子系統30可自動偵測元宇宙空間111中之第一使用者A或其第一使用者角色化身A1之臉部之面對方向，以將元宇宙空間111中之第二使用者角色化身A2之臉部之方向面向第一使用者A或其第一使用者角色化身A1之臉部(即彼此面對面)，再由元宇宙子系統30自動將第一使用者A加入此通話頻道或通話聊天室(如語音/文字之通話頻道/通話聊天室)中。

在另一實施例中，因應第一使用者A之第一使用者角色化身A1之操控自由性(如第一使用者角色化身A1之移動方向或轉動方向等)，元宇宙子系統30可先保留第二使用者B在此通話頻道或通話聊天室中，直到元宇宙空間111中之第一使用者A或其第一使用者角色化身A1能與第二使用者B之第二使用者角色化身B1彼此面對面(準備好談話狀態)後，再讓第一使用者A與第二使用者B進行通話，且虛擬使用者C(如虛擬店員V1)亦可告知第一使用者A及/或第二使用者B例如「可以開始對話」。

在又一實施例中，元宇宙應用模組12可先提供一提示資訊(例如提示資訊為：等待第二使用者B回覆是否同意通訊)予第一使用者A，以供第一使用者A依據元宇宙應用模組12所提供之提示資訊決定是否先行登出或離開元宇宙空間111(如虛擬立體空間/虛擬世界)，待元宇宙子系統30取得第二使用者B同意通訊之響應或訊息後，再由元宇宙子系統30偵測第一使用者A之狀態。若第一使用者A已登出或離開元宇宙空間111，則由元宇宙子系統30待第一使用者A下次登入元宇宙空間111時，再呼喚第二使用者B。而若第一使用者A仍在元宇宙空間111中，則元宇宙子系統30可將元宇宙空間111中之第一使用者A或其第一使用者角色化身A1移動 至第二使用者B之第二使用者角色化身B1附近，使元宇宙空間111中之第一使用者A或其第一使用者角色化身A1能與第二使用者B之第二使用者角色化身B1進行面對面之對話。

圖5為本發明所述基於化身之互動系統1及方法中有關圖2步驟S5之內容之實施例示意圖，並參閱圖1一併說明。

如圖2之步驟S5所示，本發明之元宇宙子系統30可為第二使用者B在元宇宙空間111(空間影像)中配置一第二使用者角色化身B1，且分別透過電子設備10與通訊裝置20接通第一使用者A與第二使用者B，以使第一使用者A與第二使用者B能分別透過電子設備10與通訊裝置20進行通訊。

在一實施例中，如圖5之程序P11至程序P18所示，先由第一使用者A(第一使用者角色化身A1)選取元宇宙空間111中之物件(見程序P11)，以由元宇宙子系統30之內容管理模組35(如內容管理系統CMS)取出物件之物件屬性(見程序P12)，再由元宇宙子系統30之文字轉語音(TTS)模組33將物件屬性轉換成物件語音(見程序P13)，進而由通話管理模組34將物件語音放入元宇宙子系統30所建立之通話頻道或通話聊天室(見程序P14)。

繼之，由通訊裝置20接收物件語音來擷取出真人之第二使用者B之通話語音(見程序P15)，以由元宇宙子系統30之語音轉文字(STT)模組32將第二使用者B之通話語音轉換成第二使用者B之通話文字(見程序P16)，再由元宇宙子系統30之內容管理模組35(如內容管理系統CMS)從第二使用者B之通話文字找到物件之屬性標籤與屬性內容值(見程序P17)， 然後由電子設備10之顯示幕11顯示第二使用者B之通訊內容所影響之物件之屬性標籤與屬性內容值(見程序P18)。

申言之，本發明所述「通訊」之通訊內容可與元宇宙空間111(如虛擬立體空間/虛擬世界)中之物件或物件屬性具有關聯性。例如，當第一使用者A透過電子設備10(如虛擬實境頭戴裝置)選取如圖5之圓框所示之物件(如吸塵器)時(見圖5之程序P11)，因第二使用者B不見得有登入此三維之元宇宙空間111中，可能第二使用者B僅透過通訊裝置20來與第一使用者A進行語音通話而無法看見元宇宙空間111之影像畫面，故虛擬使用者C(如虛擬店員V1)可在通話頻道或通話聊天室(如語音/文字之通話頻道/通話聊天室)中向第二使用者B告知例如「第一使用者A目前意指X牌Y型之吸塵器」。

接著，若第二使用者B向第一使用者A詢問例如「您是說這支吸塵器有無其他優惠『方案』嗎？」之通訊內容，因元宇宙子系統30從第二使用者B之通訊內容(如語音通訊內容)中偵測出屬性之關鍵詞「方案」，則元宇宙應用模組12可在第一使用者A所處之元宇宙空間111之空間畫面中呈現及標記出如圖5之方框所示之「方案介紹」(見圖5之程序P18)。

第一使用者A不僅能從第二使用者B之通訊內容(如語音通訊內容)中瞭解第二使用者B之對話含意，亦能從元宇宙空間111(如虛擬立體空間/虛擬世界)之影像畫面中做出更詳細之確認判斷。因此，本發明進一步揭露元宇宙空間111中之物件或物件屬性，若此物件或物件屬性與通訊內容相關，則可由元宇宙子系統30在通話頻道或通話聊天室中告知第二使用者B。若元宇宙子系統30偵測到第二使用者B之通訊內容(交談內容)提及 了元宇宙空間111中之物件或物件屬性，則元宇宙子系統30可在電子設備10之顯示幕11上標記此物件或物件屬性，甚至對物件或物件屬性進行變更。

若第二使用者B提及之物件或物件屬性不在第一使用者A之可視範圍內，則元宇宙應用模組12可協助引導或帶領第一使用者A，直到第一使用者A看見第二使用者B所提及之物件或物件屬性。更進一步地，元宇宙子系統30亦可偵測真人之第一使用者A與第二使用者B間之通訊內容(如交談內容)是否已結束。若真人之第一使用者A與第二使用者B間之通訊內容已結束，則元宇宙子系統30可讓當初接洽第一使用者A之同一位虛擬店員V1，透過對話方式詢問第一使用者A是否尚有其他地方需要協助；或者依據第一使用者A與虛擬店員V1之通訊內容(如交談內容)之結果，在第一使用者A所處之元宇宙空間111之可視區(可視畫面)中標記出其他相近之參考物件(例如售價相近、同一廠牌或具同一功能之其他吸塵器)。

圖6為本發明所述基於化身之互動系統1及方法中有關圖2步驟S6之內容之實施例示意圖，並參閱圖1一併說明。

如圖2之步驟S6所示，本發明可將第二使用者B之通訊內容套用至元宇宙空間111(空間影像)中之第二使用者角色化身B1上，以於元宇宙子系統30將第二使用者B之通訊內容透過電子設備10傳遞給第一使用者A時，令第二使用者角色化身B1之外形或動作(如臉部/眼神/嘴型/手勢/肢體動作等)得以配合第二使用者B之通訊內容做出變化(如臉部/眼神/嘴型/手勢/肢體動作等之相應變化)。

在一實施例中，如圖6之程序P21至程序P26所示，先由通訊裝置20擷取真人之第二使用者B之通話語音(見程序P21)，以由元宇宙 子系統30之語音轉文字(STT)模組32將第二使用者B之通話語音轉換成第二使用者B之通話文字(見程序P22)，再由元宇宙子系統30之內容管理模組35(如內容管理系統CMS)從第二使用者B之通話文字找到物件之屬性標籤與屬性內容值(見程序P23)。

然後，由元宇宙子系統30之化身臉部動畫模組36(如Audio2Face應用程式)分析第二使用者B之通話語音以轉換成第二使用者角色化身B1之臉部動畫(見程序P24)，再由元宇宙子系統30之化身肢體動畫模組37(如Audio2Action應用程式)依據物件之物件屬性決定第二使用者角色化身B1之動作，例如由化身肢體動畫模組37將第二使用者角色化身B1移動至商品旁邊或在原地自然展現第二使用者角色化身B1之手勢動畫(見程序P25)，進而由電子設備10接收元宇宙子系統30之化身臉部動畫模組36(如Audio2Face應用程式)與化身肢體動畫模組37(如Audio2Action應用程式)兩者所生成之動畫描述以反映在第二使用者角色化身B1之模型上(見程序P26)。

申言之，元宇宙子系統30可透過通訊裝置20(如行動電話)擷取或接收真人之第二使用者B之通話語音或通話文字(通話訊息)，以利用元宇宙子系統30之語音轉文字(STT)模組32或文字轉語音(TTS)模組33同時得到第二使用者B之通話語音或通話文字之語音版本與文字版本(兩種版本)之內容。

繼之，元宇宙子系統30可運用化身臉部動畫模組36(如Audio2Face應用程式)將第二使用者B之通話語音或通話文字套用至第二使用者B之第二使用者角色化身B1，以在第一使用者A不確定第二使用者 B是否為真人之前提下，讓第一使用者A與第二使用者B之第二使用者角色化身B1進行對話，且此第二使用者B之對話內容係由真人所提供，以達到讓第一使用者A仍維持感受到元宇宙空間(如虛擬立體空間/虛擬世界)中之沉浸式體驗。

接著，當元宇宙子系統30偵測到第一使用者A與第二使用者B之第二使用者角色化身B1進行對話之通訊內容所提及之物件時，元宇宙子系統30可取得此物件之座標位置(如空間座標位置)與第二使用者角色化身B1之座標位置，以計算出此物件之座標位置與第二使用者角色化身B1之座標位置間之相對關係(包括距離及方向)。

然後，元宇宙子系統30可將此物件之座標位置與第二使用者角色化身B1之座標位置間之相對關係傳送至化身肢體動畫模組37(如Audio2Action應用程式)，以由元宇宙子系統30之化身肢體動畫模組37依據此物件之座標位置與第二使用者角色化身B1之座標位置間之相對關係，將第二使用者角色化身B1之手部往物件之方向指示或將第二使用者角色化身B1往物件之方向移動。進一步地，元宇宙子系統30之化身肢體動畫模組37也能依據第二使用者B之通話情緒，自動對第二使用者B之第二使用者角色化身B1做出相應之動畫。

此外，本發明還提供一種針對基於化身之互動方法之電腦可讀媒介，係應用於具有處理器及/或記憶體之計算裝置或電腦中，且電腦可讀媒介儲存有指令，並可利用計算裝置或電腦透過處理器及/或記憶體執行電腦可讀媒介，以於執行電腦可讀媒介時執行上述內容。

在一實施例中，處理器可為微處理器、中央處理器(CPU)、圖 形處理器(GPU)、微控制器(MCU)等，記憶體可為隨機存取記憶體(RAM)、唯讀記憶體(ROM)、記憶卡、硬碟(如雲端/網路/外接式硬碟)、光碟、隨身碟、資料庫等，且計算裝置或電腦可為計算機、平板電腦、個人電腦、筆記型電腦、桌上型電腦、伺服器(如雲端/遠端/網路伺服器)、智慧型手機等，但不以此為限。

綜上，本發明所述基於化身之互動系統、方法及電腦可讀媒介至少具有下列特色、優點或技術功效。

一、本發明能於使用者(如第一使用者)登入至元宇宙空間(如虛擬立體空間/虛擬世界)中時，讓使用者(如第一使用者)與虛擬之角色化身(如虛擬之數位人或真人之化身)進行對話或互動。

二、本發明之元宇宙子系統能於偵測到使用者(如第一使用者)需要與真實世界之使用者(如第二使用者)進行通訊時，自動呼叫真實世界之使用者(如第二使用者)，以利元宇宙子系統為雙方(如第一與第二使用者)建立通話頻道或通話聊天室，且為真實世界之使用者(如第二使用者)在元宇宙空間中配置虛擬之角色化身(如第二使用者角色化身)。

三、本發明能讓真實世界之使用者(如第二使用者)不用登入元宇宙空間(如虛擬立體空間/虛擬世界)，也能響應元宇宙子系統之呼喚而與元宇宙空間中之人員進行通訊，亦能利用通話頻道或通話聊天室迅速掌握到元宇宙空間中之情況。

四、本發明能讓元宇宙子系統偵測使用者(如第一使用者)之通訊需求，並自動呼喚相應之真實世界之人員(如第二使用者)，以利使用者(如第一使用者)能與真實世界之人員(如第二使用者)藉由元宇宙空間中之化 身(如第二使用者角色化身)來進行對話。

五、本發明能在元宇宙空間(如虛擬立體空間/虛擬世界)中，隨著使用者(如第一使用者)之需求，讓元宇宙子系統自動呼喚真實世界之人員(如真人之第二使用者)至元宇宙空間中，以利使用者(如第一使用者)與這位被呼喚至元宇宙空間中之人員(如第二使用者)透過化身(如第二使用者角色化身)互相通訊。

六、本發明能讓元宇宙空間(如虛擬立體空間/虛擬世界)中之使用者與真實世界中之合適人員(如第二使用者)，自動藉由此合適人員之化身(如第二使用者角色化身)為媒介來通話。

七、本發明能讓元宇宙空間(如虛擬立體空間/虛擬世界)中與真實世界中之通訊內容或過程更清楚明白，即使身處在真實世界並未登入元宇宙空間之使用者(如第二使用者)，也能靠著單純之語音通話或文字通話快速掌握元宇宙空間中之情況。

八、本發明能在跨宇宙(橫跨真實世界與元宇宙空間)之通訊過程中，自動將真人(如第二使用者)之通話語音反應至元宇宙空間中之化身(如第二使用者角色化身)，亦能使化身(如第二使用者角色化身)之外形或動作配合真人(如第二使用者)之通訊內容所提及之物件或物件屬性做出變化。

九、本發明能將真實世界之使用者(如第二使用者)在不登入元宇宙空間(如虛擬立體空間/虛擬世界)之前提下拉入元宇宙空間中，並與元宇宙空間之使用者或化身進行通訊，以利元宇宙空間之使用者與真實世界之使用者(如第二使用者)於進行通訊時，仍感受到是在同一個世界中互相通訊。

上述實施形態僅例示性說明本發明之原理、特點及其功效， 並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均能在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何使用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍應如申請專利範圍所列。

1:基於化身之互動系統

10:電子設備

11:顯示幕

111:元宇宙空間

12:元宇宙應用模組

121:對話結果預測單元

20:通訊裝置

30:元宇宙子系統

31:編輯模組

32:語音轉文字模組

33:文字轉語音模組

34:通話管理模組

35:內容管理模組

36:化身臉部動畫模組

37:化身肢體動畫模組

A:第一使用者

A1:第一使用者角色化身

B:第二使用者

B1:第二使用者角色化身

C:虛擬使用者

R:角色化身

Claims (20)

1. 一種基於化身之互動系統，包括：一具有相連接之顯示幕與元宇宙應用模組之電子設備，係利用該元宇宙應用模組在所連接之該電子設備之該顯示幕上呈現一包括角色化身之元宇宙空間，以由一第一使用者利用該電子設備登入至該顯示幕所呈現之該元宇宙空間中，俾使該第一使用者與該角色化身採用語音或文字訊息之方式透過一元宇宙子系統所建立之通話頻道或通話聊天室進行對話；一第二使用者之通訊裝置，係通訊連結該電子設備，以由該電子設備之該元宇宙應用模組依據該第一使用者與該角色化身透過該元宇宙子系統之該通話頻道或通話聊天室進行對話之對話內容發出相關聯之通訊請求至該第二使用者之該通訊裝置，再由該通訊裝置依據該第一使用者與該角色化身透過該元宇宙子系統之該通話頻道或通話聊天室進行對話之對話內容所關聯之該通訊請求接收該第二使用者之通話語音或通話文字之通訊內容；以及該元宇宙子系統，係為該第二使用者在該元宇宙空間中配置一第二使用者角色化身，以由該元宇宙子系統分別透過該電子設備與該通訊裝置接通該第一使用者與該第二使用者，使該第一使用者與該第二使用者分別透過該電子設備與該通訊裝置進行通訊，其中，該元宇宙子系統將與該第二使用者角色化身之外形或動作相關聯之該第二使用者之通話語音或通話文字之通訊內容套用至該元宇宙空間中之該第二使用者角色化身上，以於該元宇宙子系統將該第二使用者之通話語音或通話文字之通訊內容透過該電子設備傳遞給該第一使用者時，令該元宇宙子系統將該元宇宙空間中之該第二使用者角色化身之外形或動作配合相關聯之該第二使用者之通話語音或通話文字之通訊內容做出變化。
2. 如請求項1所述之互動系統，其中，該元宇宙應用模組係具有一對話結果預測單元，以於該對話結果預測單元依據該第一使用者所輸入之語音對話內容預測到該第一使用者需與真實世界之該第二使用者進行通訊時，由該元宇宙應用模組分析該第一使用者所需通訊之該第二使用者之需求類型，再由該元宇宙應用模組依據該第二使用者之需求類型與聯繫方式主動發出該通訊請求至該第二使用者之該通訊裝置，以透過該通訊裝置接收該第二使用者之語音內容。
3. 如請求項1所述之互動系統，其中，該元宇宙子系統係具有一內容管理模組、一文字轉語音模組與一通話管理模組，以由該第一使用者選取該元宇宙空間中之物件，且由該內容管理模組取出該物件之物件屬性，再由該文字轉語音模組將該物件屬性轉換成物件語音，俾由該通話管理模組將該物件語音放入該元宇宙子系統所建立之該通話頻道或通話聊天室。
4. 如請求項1所述之互動系統，其中，該元宇宙子系統更具有一語音轉文字模組與一內容管理模組，以由該通訊裝置接收物件語音來擷取出真人之該第二使用者之通話語音，且由該語音轉文字模組將該第二使用者之通話語音轉換成該第二使用者之通話文字，再由該內容管理模組從該第二使用者之通話文字找到物件之屬性標籤與屬性內容值，俾由該電子設備之該顯示幕顯示該第二使用者之通訊內容所影響之該物件之屬性標籤與屬性內容值。
5. 如請求項1所述之互動系統，其中，該元宇宙子系統係具有一語音轉文字模組或一文字轉語音模組，以由該元宇宙子系統透過該通訊裝置擷取或接收真人之該第二使用者之通話語音或通話文字，再利用 該語音轉文字模組或該文字轉語音模組同時得到該第二使用者之通話語音或通話文字之語音版本與文字版本之內容。
6. 如請求項1所述之互動系統，其中，該元宇宙子系統係具有一化身臉部動畫模組與一化身肢體動畫模組，以由該化身臉部動畫模組分析該第二使用者之通話語音而轉換成該第二使用者角色化身之臉部動畫，再由該化身肢體動畫模組依據物件之物件屬性決定該第二使用者角色化身之動作，俾由該電子設備接收該化身臉部動畫模組與該化身肢體動畫模組兩者所生成之動畫描述，反映在該第二使用者角色化身之模型上。
7. 如請求項1所述之互動系統，其中，該元宇宙子系統係具有一化身臉部動畫模組，以由該元宇宙子系統運用該化身臉部動畫模組將該第二使用者之通話語音或通話文字套用至該第二使用者之該第二使用者角色化身，並在該第一使用者不確定該第二使用者是否為真人之前提下，讓該第一使用者與該第二使用者之該第二使用者角色化身進行對話，且該第二使用者之對話內容由真人所提供，俾使該第一使用者維持感受到該元宇宙空間中之沉浸式體驗。
8. 如請求項1所述之互動系統，其中，當該元宇宙子系統偵測到該第一使用者與該第二使用者之該第二使用者角色化身進行對話之通訊內容所提及之物件時，由該元宇宙子系統取得該物件之座標位置與該第二使用者角色化身之座標位置，以計算出該物件之座標位置與該第二使用者角色化身之座標位置間之相對關係。
9. 如請求項1所述之互動系統，其中，該元宇宙子系統係具有一化身肢體動畫模組，以由該元宇宙子系統將物件之座標位置與該第二使用者角色化身之座標位置間之相對關係傳送至該化身肢體動畫模組，再由該化身肢體動畫模組依據該物件之座標位置與該第二使用者角色化身 之座標位置間之相對關係，將該第二使用者角色化身之手部往該物件之方向指示或將該第二使用者角色化身往該物件之方向移動，且由該化身肢體動畫模組進一步依據該第二使用者之通話情緒對該第二使用者之該第二使用者角色化身做出相應之動畫。
10. 一種基於化身之互動方法，包括：在一具有顯示幕之電子設備上提供一元宇宙應用模組，以利用該元宇宙應用模組在所連接之該電子設備之該顯示幕上呈現一包括角色化身之元宇宙空間，再由一第一使用者利用該電子設備登入至該顯示幕所呈現之該元宇宙空間中，俾使該第一使用者與該角色化身採用語音或文字訊息之方式透過一元宇宙子系統所建立之通話頻道或通話聊天室進行對話；由該電子設備之該元宇宙應用模組依據該第一使用者與該角色化身透過該元宇宙子系統之該通話頻道或通話聊天室進行對話之對話內容發出相關聯之通訊請求至一第二使用者之通訊裝置，再由該通訊裝置依據該第一使用者與該角色化身透過該元宇宙子系統之該通話頻道或通話聊天室進行對話之對話內容所關聯之該通訊請求接收該第二使用者之通話語音或通話文字之通訊內容；為該第二使用者在該元宇宙空間中配置一第二使用者角色化身，以分別透過該電子設備與該通訊裝置接通該第一使用者與該第二使用者，使該第一使用者與該第二使用者分別透過該電子設備與該通訊裝置進行通訊；以及由該元宇宙子系統將與該第二使用者角色化身之外形或動作相關聯之該第二使用者之通話語音或通話文字之通訊內容套用至該元宇宙空間中之該第二使用者角色化身上，以於該元宇宙子系統將該第二使用者之通話語音或通話文字之通訊內容透過該電子設備傳遞給該第一使用者時，令該元 宇宙子系統將該元宇宙空間中之該第二使用者角色化身之外形或動作配合相關聯之該第二使用者之通話語音或通話文字之通訊內容做出變化。
11. 如請求項10所述之互動方法，更包括當該元宇宙應用模組之對話結果預測單元依據該第一使用者所輸入之語音對話內容預測到該第一使用者需與真實世界之該第二使用者進行通訊時，由該元宇宙應用模組分析該第一使用者所需通訊之該第二使用者之需求類型，再由該元宇宙應用模組依據該第二使用者之需求類型與聯繫方式主動發出該通訊請求至該第二使用者之該通訊裝置，以透過該通訊裝置接收該第二使用者之語音內容。
12. 如請求項10所述之互動方法，更包括當該第一使用者使用該電子設備時，由該第一使用者使用自己之身份登入至該元宇宙空間中，其中，若該第一使用者之使用者模式採用第三人稱，則該元宇宙子系統對該第一使用者於該元宇宙空間之可視區中配置代表該第一使用者之一第一使用者角色化身，而若該第一使用者之使用者模式採用第一人稱，則該元宇宙應用模組不顯示該第一使用者之該第一使用者角色化身。
13. 如請求項10所述之互動方法，更包括由該元宇宙應用模組在該電子設備之該顯示幕上繪製出該元宇宙空間，以在該元宇宙空間中開設一虛擬商店並展售虛擬商品，其中，該元宇宙子系統更在該元宇宙空間中為該虛擬商店配置一虛擬店員，且該虛擬店員由該元宇宙子系統所支持以實現該第一使用者與該虛擬店員間之對話功能。
14. 如請求項10所述之互動方法，更包括當該第一使用者於該元宇宙空間之可視區中出現一虛擬店員或該第二使用者之該第二使用者角色化身時，由該第一使用者與該虛擬店員或該第二使用者之該第二使用者角色化身採用語音或文字訊息之方式進行對話，且該元宇宙子系統支 持語音轉文字之功能以在該電子設備之該顯示幕上呈現與該語音相關聯之文字內容。
15. 如請求項10所述之互動方法，更包括由該元宇宙應用模組提供預設之對話結果預測單元與進階之對話結果預測單元，其中，該預設之對話結果預測單元支持一虛擬店員與該第一使用者進行對話之基本功能，而該進階之對話結果預測單元則支持該虛擬店員負責回應該第一使用者之任務區別，以於該進階之對話結果預測單元收到該第一使用者之語音諮詢時，由該進階之對話結果預測單元依據該第一使用者之語音諮詢之內容決定要回應該第一使用者之語音對話內容。
16. 如請求項10所述之互動方法，更包括當該第二使用者同意該元宇宙應用模組依據該第一使用者與該角色化身之對話內容所發出之該通訊請求時，由該元宇宙子系統為真人之該第二使用者在該元宇宙空間之可視區中配置代表該第二使用者之該第二使用者角色化身，且由該元宇宙子系統建立一個收納該第一使用者、該第二使用者與代表該元宇宙子系統之虛擬使用者之三方通話頻道或通話聊天室。
17. 如請求項10所述之互動方法，更包括由該元宇宙子系統依據該第一使用者所對話之該角色化身所代表之對象取得預先設定之該第二使用者之通話號碼，以由該元宇宙應用模組依據該第二使用者之該通話號碼撥打至該第二使用者之該通訊裝置，且由該元宇宙子系統建立該通話頻道或通話聊天室，其中，當該元宇宙空間中之該第一使用者或其第一使用者角色化身面向該第二使用者之該第二使用者角色化身時，若該第一使用者尚未在該通話頻道或通話聊天室中，則該元宇宙子系統自動將該第一使用者加入該通話頻道或通話聊天室。
18. 如請求項10所述之互動方法，更包括由該元宇宙應用模組提供一提示資訊予該第一使用者，以供該第一使用者依據該元宇宙應用模組所提供之該提示資訊決定是否先行登出或離開該元宇宙空間，待該元宇宙子系統取得該第二使用者同意通訊之響應或訊息後，再由該元宇宙子系統偵測該第一使用者之狀態。
19. 如請求項10所述之互動方法，更包括由該元宇宙子系統之化身臉部動畫模組分析該第二使用者之通話語音而轉換成該第二使用者角色化身之臉部動畫，再由該元宇宙子系統之化身肢體動畫模組依據物件之物件屬性決定該第二使用者角色化身之動作，俾由該電子設備接收該化身臉部動畫模組與該化身肢體動畫模組兩者所生成之動畫描述，反映在該第二使用者角色化身之模型上。
20. 一種電腦可讀媒介，應用於計算裝置或電腦中，係儲存有指令，以執行如請求項10至19之任一者所述之基於化身之互動方法。

Images