TWI866435B - 視訊會議虛擬替身系統及其方法 - Google Patents

Abstract

本發明提供一種視訊會議系統，維護一視訊會議，該視訊會議允許一 或多個使用者加入；及一虛擬替身控制模組，對應加入該視訊會議的一第一使用者生成一第一虛擬替身，對應加入該視訊會議的一第二使用者生成一第二虛擬替身，並令該第一虛擬替身採取一特色反應，以回應該第二使用者或該第二虛擬替身與該視訊會議的一互動。可以透過虛擬替身來與其他人輕鬆的進行交流，並同時這些虛擬替身可以有效的代表會議參加人，透過虛擬替身依據別人的動作給予回應。

Description

視訊會議虛擬替身系統及其方法

一種虛擬替身系統及方法，特別是關於在視訊會議中能夠根據其他使用者的反應進行反饋之虛擬替身系統及方法。

近幾年因應新冠疫情肆虐，大大的改變了大家的生活、工作方式。為了減少人員聚集，避免病毒傳播擴散，遠端辦公、居家上班變成一種常態。

而為了要能進行居家上班，人們都會使用相關的視訊軟體，例如Teams、Meet、Webex等視訊軟體，藉以達到溝通、會議的需求。人們利用這些視訊軟體除了可以聽到聲音之外，也可以開啟攝影機來看到與會人員，也可以透過分享畫面來進行簡報。

然而現今的視訊軟體大多缺乏互動性，由於視訊會議持續進行時間大約30分鐘以上就會使得與會者感到疲倦，相當不容易維持足夠的專注力，導致會議參加人的負擔相當大。或者，會議參加人參與會議時並未梳妝打扮，不適合開啟鏡頭導致尷尬的情況。

為了解決上述問題，有一些公司研發了一種虛擬替身，例如Microsoft，這種虛擬替身可以允許用戶使用3D虛擬替身來開會、互動，也可以搭配攝影機以及麥克風進行辨識，用以偵測使用者目前的動作以及發出的聲 音，模擬個人動作和手勢。藉此，會議參加人即可以藉由虛擬替身來登入會議，使用者不需要整理儀容以及模糊背景，如此可以透過虛擬替身來與其他人輕鬆的進行交流。

然而，對於人們來說，這些虛擬替身還是不能代表會議參加人，透過虛擬替身依據其他參與者的動作給予回應。

為解決上述問題，本發明提供一種視訊會議虛擬替身系統，包括：一視訊會議系統，維護一視訊會議，該視訊會議允許一或多個使用者加入；及一虛擬替身控制模組，對應加入該視訊會議的一第一使用者生成一第一虛擬替身，對應加入該視訊會議的一第二使用者生成一第二虛擬替身，並令該第一虛擬替身採取一特色反應，以回應該第二使用者或該第二虛擬替身與該視訊會議的一互動。

本發明又提供一種視訊會議虛擬替身系統進一步包括一會議建立模組，該會議建立模組接收該使用者發出之會議請求後建立該視訊會議，一鏡頭偵測模組，該鏡頭偵測模組偵測該第二使用者或該第二虛擬替身與該視訊會議的肢體互動，該虛擬替身控制模組根據該肢體互動，令該第一虛擬替身採取該特色反應；一麥克風模組，該麥克風模組偵測該第二使用者與該視訊會議中其他使用者之聲音互動，該虛擬替身控制模組根據該聲音互動，令該使用者之該虛擬替身執行該特色反應；其中該特色反應為一表情變化或一肢體互動變化，以模擬反應人互動時之真實情況。

本發明再提供一種視訊會議虛擬替身之方法，執行以下步驟：建立一視訊會議；允許一第一使用者及一第二使用者加入該視訊會議；因應該第一使用者及該第二使用者的加入，各自生成一第一虛擬替身及一第二虛擬替身；令該第一虛擬替身採取一特色反應，以回應該第二使用者或該第二虛擬替身與該視訊會議的一互動；其中，該互動是藉由一麥克風模組以及一鏡頭偵測模組所偵測；其中，該特色反應為一表情變化或一肢體互動變化，以模擬反應人互動時之真實情況。

藉由本發明之一種視訊會議虛擬替身系統及其方法，會議參加人可以藉由虛擬替身來登入會議，使用者不需要整理儀容以及模糊背景，如此可以透過虛擬替身來與其他人輕鬆的進行交流，並同時這些虛擬替身可以有效的代表會議參加人，透過虛擬替身依據別人的動作給予回應。

1:使用者

2:視訊會議系統

21:虛擬替身控制模組

211:虛擬替身生成模組

212:虛擬替身運行模組

213:虛擬替身偵測模組

22:會議建立模組

23:鏡頭偵測模組

24:麥克風模組

S1~S6:步驟

圖1為本發明視訊會議虛擬替身系統之一系統架構圖。

圖2為本發明視訊會議虛擬替身系統之一方法流程圖。

圖3為本發明視訊會議中虛擬替身系統之偵測模組判斷之示例圖。

為使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及具體實施方式，對本發明進行進一步的詳細說明。應當理解的是，此處所描述的具體實施方式僅用以解釋本發明，並不限定本發明的保護範圍。

以下將參考圖式更完整說明本發明，並且藉由例示顯示特定範例具體實施例。不過，本主張主題可具體實施於許多不同形式，因此所涵蓋或申請主張主題的建構並不受限於本說明書所揭示的任何範例具體實施例；範例具體實施例僅為例示。同樣，本發明在於提供合理寬闊的範疇給所申請或涵蓋之主張主題。除此之外，例如主張主題可具體實施為方法、裝置或系統。因此，具體實施例可採用例如硬體、軟體、韌體或這些的任意組合(已知並非軟體)之形式。

本說明書內使用的詞彙「實施例」並不必要參照相同具體實施例，且本說明書內使用的「其他(一些/某些)實施例」並不必要參照不同的具體實施例。其目的在於例如主張的主題包括全部或部分範例具體實施例的組合。

本發明之視訊會議虛擬替身系統，請參考圖1，視訊會議系統2可以接收來自使用者1的連接，而使用者1可以視訊會議系統2之會議建立模組22建立視訊會議，連接後進入視訊會議系統2之前會有前置設定頁面，以供使用者1進入會議前之調整。例如：視訊會議系統2透過鏡頭偵測模組23與麥克風模組24偵測確認每個使用者1的麥克風與視訊鏡頭是否開啟，與該些裝置是否連接成功，若無成功連接，則會於頁面顯示未連接之通知。該會議中使用者1之數量以不超出系統上限為限。

在使用者1連接視訊會議後，虛擬替身控制模組21之虛擬替身生成模組211可以根據使用者1的臉部、髮型、衣著等外觀特徵創建出專屬使用者1個人之虛擬替身，該來源源自於鏡頭偵測模組23透過視訊鏡頭取得使用者1之外觀特徵，使用者1亦可以透過自行上傳照片至虛擬替身生成模組211生成自訂之 虛擬替身，進行製作與調整。同時使用者1可以調整生成的人臉視角，或調整現實中的鏡頭角度來改變視角。

在虛擬替身生成模組211生成虛擬替身後，每個使用者1之虛擬替身可以透過虛擬替身運行模組212被控制操作，並同時結合虛擬替身偵測模組213進行使用者1之動作或表情偵測。更需提及的是，虛擬替身偵測模組213不僅僅可以偵測該名使用者1的動作或表情，亦可以偵測其他使用者1的虛擬角色之動作與表情，並根據設定之表情、動作，透過虛擬替身運行模組212給予回應。

其中，虛擬替身控制模組21是透過學習辨識關鍵點，使用生成對抗網絡(Generative Adversarial Network，又稱GAN)，透過使用者1臉部表情與頭部運動、肢體運動等關鍵點步驟進行機器學習，又或是提前先將使用者1的參考圖片提供，又或是進入會議前的調整時間中，抓取這些關鍵點，以便在沒有人類加以標註的情況下，可以針對臉部動作建立模型，與針對眼睛、鼻子、嘴巴等五官與四肢等特徵位置進行編碼，以調整對應表情。

在一具體實施例中，若會議正在進行中，有另一使用者1正在進行簡報播送，當該使用者1正在持續發言，虛擬替身運行模組212會控制虛擬替身顯示專心聆聽之嚴肅表情。又一實施例中，若虛擬替身偵測模組213偵測到使用者1正在低頭打字，則虛擬替身運行模組212會控制虛擬替身顯示敲打鍵盤等動作。再一具體實施例中，若虛擬替身偵測模組213偵測到另一使用者1的虛擬替身露出微笑，虛擬替身運行模組212會控制虛擬替身顯示微笑表情應對。

虛擬替身偵測模組213亦可透過會議中文字聊天室的內容給予回應。在另一具體實施例中，虛擬替身會根據視訊會議中聊天室的表情符號進行 反應，若看到微笑的表情符號，虛擬替身運行模組212會控制虛擬替身顯示微笑的表情。

請進一步參考圖2，圖2為本發明視訊會議虛擬替身系統之一方法流程圖。視訊會議系統2會接收到來自使用者1的登入連接，其中使用者1可以為一或是複數個(S1)。接著視訊會議系統2會接收使用者1建立會議通知，並透過會議建立模組22建立會議(S2)。

在使用者1進入會議之前會有前置設定，需要先透過視訊會議系統2之鏡頭偵測模組23與麥克風模組24偵測確認每個使用者1的麥克風與視訊鏡頭是否開啟，與該些裝置是否連接成功(S3)。若無成功連接，則會於頁面顯示未連接之通知。視訊會議系統2會在進入會議前透過虛擬替身控制模組21製作使用者1之虛擬替身(S4)，虛擬替身生成模組211可以根據使用者1的臉部、髮型、衣著等特徵創建出專屬使用者1個人之虛擬替身。該來源源自於鏡頭偵測模組23透過視訊鏡頭取得使用者1之外觀特徵，使用者1亦可以透過自行上傳照片至虛擬替身生成模組211生成自訂之虛擬替身，進行製作與調整。同時使用者1可以調整生成的人臉視角，或調整現實中的鏡頭角度來改變視角。

進入視訊會議之後，虛擬替身控制模組21之虛擬替身運行模組212會持續控制虛擬替身(S5)，並同時根據虛擬替身偵測模組213偵測到的使用者1的動作、表情變化，或其他使用者1的虛擬替身動作、表情變化，進行適應性調整反應與表情(S6)。例如虛擬替身偵測模組213偵測到另一使用者1正在表情嚴肅地說話，虛擬替身運行模組212會控制虛擬替身同樣做出嚴肅狀態的認真表情。

請看到圖3，圖3為視訊會議中虛擬替身系統之偵測模組判斷之一示例圖。虛擬替身偵測模組213會透過偵測使用者1與其他使用者1的動作、表情變化進行反饋，亦可以透過一些會議之設定條件來觸發動作、表情變化之反饋，並透過虛擬替身運行模組212控制虛擬替身給予相對應的動作。在一具體實施例中，若會議時間為早上十點，而現在僅是九點四十分，虛擬替身控制模組21可以透過時間判斷目前尚未到安排的會議時間；而同時偵測到多人透過麥克風模組24發出聲音，則可以判斷此為會議前的閒聊。會議視訊系統2可以進一步判斷與會人數是否已經到期，若會議應到人數為三十人，至今仍只有十七人，則可判斷離會議應到人數仍有一定差距。在以上條件的構成之下，或是其中幾個條件構成，虛擬替身控制模組21會判斷當下的情況為會議前的輕鬆狀態，便可以透過虛擬會議運行模組212進行控制，使虛擬替身做出一些輕鬆的表情與動作，例如手插腰或微笑。

相對的，當虛擬替身控制模組21以時間判斷目前為安排的會議時間，亦或是偵測到有其他使用者1分享螢幕，同時長時間皆只有同一使用者1透過麥克風模組24發出聲音，在上述條件或是其中幾個條件的構成之下，虛擬替身控制模組21會判斷當下的情況為會議中之嚴肅狀態，便可以透過虛擬會議運行模組212進行控制，使虛擬替身做出一些嚴肅的表情與動作，例如面無表情鏡頭或雙手交疊。

在一具體實施例中：虛擬替身控制模組21透過API串接到視訊會議系統2之後台，取得會議時間設定、麥克風開啟偵測設定、會議人數統計、分享畫面存取偵測、或是聊天室偵測，若還沒到會議時間，臉部表情呈現神態輕鬆的狀態，肢體動作呈現為伸展肢體或隨興站著等姿態。但另一方面若為會議 時，則虛擬替身反應：臉部表情呈現嚴肅認真的狀態，肢體動作為向前傾且頻繁思考。

虛擬替身控制模組21可以提供使用者1自行製作個人化之特色虛擬替身，如使用者1可以預先錄製自己的肢體動作或是習慣動作，上傳至虛擬替身控制模組21，並透過虛擬替身控制模組21之演算法附加該些動作至特色虛擬替身之肢體動作表現上，在一個具體實施例中，預設之打招呼動作為一揮手動作，而一使用者1製作之個人化之特色虛擬替身之打招呼動作為拍對方的肩膀並比一個讚的手勢。

虛擬替身控制模組21更可以提供使用者1自行製作個人化之特色虛擬替身之聲音，使用者1可以預先錄製自己的聲音，上傳至虛擬替身控制模組21，並附加該些語音至對應之特色虛擬替身之肢體動作表現上。

在製作完成具個人化之虛擬替身後，該使用者1可以將該個人化之特色虛擬替身進行交易，而其餘使用者購買後可以安裝於自己使用，亦或是安裝在其餘視訊會議中使用，以增加額外互動趣味性，其中該使用者1可以設定使用期限，例如30天、60天的使用時間。

以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附請求項為準。

上面藉由參考根據本發明具體實施例的方法、設備(系統)和電腦程式產品之流程圖及/或方塊圖來描述本發明樣態。將瞭解，任何流程圖及/或 方塊圖中的每一方塊以及任何流程圖及/或方塊圖中方塊的組合都可由電腦程式指令來實施。這些電腦程式指令可提供給一般用途電腦、特殊用途電腦或其他可程式資料處理設備的處理器來產生諸如指令的機器，其透過電腦或其他可程式資料處理設備的處理器、用於實施任何流程圖及/或方塊圖中方塊所指定功能/動作之裝置所執行。

S1~S6:步驟

Claims (11)

1. 一種視訊會議虛擬系統，包括：一視訊會議系統，維護一視訊會議，該視訊會議允許一或多個使用者加入；及一虛擬替身控制模組，對應加入該視訊會議的一第一使用者生成一第一虛擬替身，對應加入該視訊會議的一第二使用者生成一第二虛擬替身；其中該虛擬替身控制模組偵測該第二使用者或該第二虛擬替身於該視訊會議的一互動，並基於該互動控制該第一虛擬替身採取一特色反應；其中該虛擬替身控制模組基於該視訊會議的一狀態或一設定條件來控制該第一虛擬替身採取一特色反應。
2. 如請求項1所述之視訊會議虛擬替身系統，進一步包括一會議建立模組，該會議建立模組接收該使用者發出之會議請求後建立該視訊會議。
3. 如請求項1所述之視訊會議虛擬替身系統，進一步包括一鏡頭偵測模組，該鏡頭偵測模組偵測該第二使用者或該第二虛擬替身與該視訊會議的肢體互動，該虛擬替身控制模組根據該肢體互動，令該第一虛擬替身採取該特色反應。
4. 如請求項1所述之視訊會議虛擬替身系統，進一步包括一麥克風模組，該麥克風模組偵測該第二使用者與該視訊會議中其他使用者之聲音互動，該虛擬替身控制模組根據該聲音互動，令該使用者之該虛擬替身執行該特色反應。
5. 如請求項3或4所述之視訊會議虛擬替身系統，其中該特色反應為一表情變化或一肢體互動變化，以模擬反應人互動時之真實情況。
6. 如請求項1所述之視訊會議虛擬替身系統，其中該虛擬替身採取之該特色反應係透過預先錄製該使用者之肢體動作或是習慣動作以反應該虛擬替身之該特色反應。
7. 如請求項1所述之視訊會議虛擬替身系統，其中該虛擬替身採取該特色反應係透過預先錄製該使用者之聲音以反應該虛擬替身之聲音。
8. 如請求項1所述之視訊會議虛擬替身系統，其中該第一使用者製作一特色虛擬替身可以進行交易，提供該第二使用者付費購買，該第二使用者購買後將該特色虛擬替身之安裝於該視訊會議或該視訊會議以外之會議使用。
9. 一種視訊會議虛擬替身之方法，執行以下步驟：建立一視訊會議；允許一第一使用者及一第二使用者加入該視訊會議；因應該第一使用者及該第二使用者的加入，各自生成一第一虛擬替身及一第二虛擬替身；其中該虛擬替身控制模組偵測該第二使用者或該第二虛擬替身於該視訊會議的一互動，並基於該互動控制該第一虛擬替身採取一特色反應；其中該虛擬替身控制模組基於該視訊會議的一狀態或一設定條件來控制該第一虛擬替身採取一特色反應。
10. 如請求項9所述之方法，其中，該互動是藉由一麥克風模組以及一鏡頭偵測模組所偵測。
11. 如請求項9所述之方法，其中，該特色反應為一表情變化或一肢體互動變化，以模擬反應人互動時之真實情況。

Images