TWM645713U - 視訊虛擬客服系統 - Google Patents

Abstract

一種視訊虛擬客服系統包含視訊核身伺服器、虛擬分身創建伺服器及影像識別伺服器。視訊核身伺服器用以接收並儲存第一電子裝置的客戶影像及第二電子裝置的客服影像。虛擬分身創建伺服器用以根據客服影像產生並傳送虛擬角色資訊至視訊核身伺服器。視訊核身伺服器根據客服影像及虛擬角色資訊以產生回饋畫面。視訊核身伺服器輸出回饋畫面至第一電子裝置。影像識別伺服器用以根據客戶影像的表情資訊以產生情緒機率值。當情緒機率值大於機率閾值時，影像識別伺服器輸出情緒資訊。

Description

視訊虛擬客服系統

本案係有關於一種虛擬客服系統，且特別是關於一種視訊虛擬客服系統。

於疫情期間，為減少實體面對面接觸造成疫情傳播，銀行端催生出視訊審核平台。銀行端可透過此平台，執行案件審查、案件放行及儲存檔案等作業，並同時應用雙向視訊來核對客戶端及客服端身分。

然而，實際使用上，為符合現行法規，銀行端與客戶端雙方皆須以真人面對面的方式進行，讓銀行端業務人員感到排斥並擔心露臉會被有心人士追蹤或騷擾，導致業務人員或客服人員無法專心服務客戶。

新型內容旨在提供本揭示內容的簡化摘要，以使閱讀者對本揭示內容具備基本的理解。此新型內容並非本揭示內容的完整概述，且其用意並非在指出本案實施例的重要/關鍵元件或界定本案的範圍。

本案內容之一技術態樣係關於一種視訊虛擬客服系統。視訊虛擬客服系統包含視訊核身伺服器、虛擬分身創建伺服器及影像識別伺服器。虛擬分身創建伺服器通信耦接於視訊核身伺服器，且影像識別伺服器通信耦接於視訊核身伺服器。視訊核身伺服器用以接收並儲存第一電子裝置的客戶影像及第二電子裝置的客服影像。虛擬分身創建伺服器用以根據客服影像產生並傳送虛擬角色資訊至視訊核身伺服器。視訊核身伺服器根據客服影像及虛擬角色資訊以產生回饋畫面。視訊核身伺服器輸出回饋畫面至第一電子裝置。影像識別伺服器用以根據客戶影像的表情資訊以產生情緒機率值。當情緒機率值大於機率閾值時，影像識別伺服器輸出情緒資訊。

因此，根據本案之技術內容，本案實施例所示之視訊虛擬客服系統得以使客服人員在伺服器（平台）上以虛擬替身的方式出現來服務客戶，以達到防範客服人員被騷擾的效果。

在參閱下文實施方式後，本案所屬技術領域中具有通常知識者當可輕易瞭解本案之基本精神及其他新型目的，以及本案所採用之技術手段與實施態樣。

為了使本揭示內容的敘述更加詳盡與完備，下文針對了本案的實施態樣與具體實施例提出了說明性的描述；但這並非實施或運用本案具體實施例的唯一形式。實施方式中涵蓋了多個具體實施例的特徵以及用以建構與操作這些具體實施例的方法步驟與其順序。然而，亦可利用其他具體實施例來達成相同或均等的功能與步驟順序。

除非本說明書另有定義，此處所用的科學與技術詞彙之含義與本案所屬技術領域中具有通常知識者所理解與慣用的意義相同。此外，在不和上下文衝突的情形下，本說明書所用的單數名詞涵蓋該名詞的複數型；而所用的複數名詞時亦涵蓋該名詞的單數型。

另外，關於本文中所使用之「耦接」或「連接」，可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。

在本文中，用語『器』泛指由一或多個電晶體與/或一或多個主被動元件按一定方式連接以處理訊號的物件。

在說明書及申請專利範圍中使用了某些詞彙來指稱特定的元件。然而，所屬技術領域中具有通常知識者應可理解，同樣的元件可能會用不同的名詞來稱呼。說明書及申請專利範圍並不以名稱的差異做為區分元件的方式，而是以元件在功能上的差異來做為區分的基準。在說明書及申請專利範圍所提及的「包含」為開放式的用語，故應解釋成「包含但不限定於」。

第1圖係依照本案一實施例繪示一種視訊虛擬客服系統的方塊示意圖。如第1圖所示，視訊虛擬客服系統100包含視訊核身伺服器110、虛擬分身創建伺服器120及影像識別伺服器130。於連接關係，虛擬分身創建伺服器120通信耦接於視訊核身伺服器110，且影像識別伺服器130通信耦接於視訊核身伺服器110。在一些實施例中，通信耦接可以指使用有線、無線方式（例如：網路、藍芽）的連接關係，但本案不以此為限。

在一實施例中，視訊核身伺服器110用以接收並儲存第一電子裝置900的客戶影像及第二電子裝置910的客服影像。虛擬分身創建伺服器120用以根據客服影像產生並傳送虛擬角色資訊至視訊核身伺服器110。視訊核身伺服器110根據客服影像及虛擬角色資訊以產生回饋畫面。視訊核身伺服器110輸出回饋畫面至第一電子裝置900。影像識別伺服器130用以根據客戶影像的表情資訊以產生情緒機率值。當情緒機率值大於機率閾值時，影像識別伺服器130輸出情緒資訊。

為使客服人員在伺服器(平台)上以虛擬替身的方式出現來服務客戶，以達到防範客服人員被騷擾的效果，本案提供如第1圖所示之視訊虛擬客服系統100，其相關操作詳細說明如後所述。

於操作上，在一實施例中，視訊核身伺服器110用以接收並儲存第一電子裝置900的客戶影像及第二電子裝置910的客服影像。舉例而言，視訊核身伺服器110可以為任何採用視訊審核客戶端或客服端身分的伺服器或系統，第一電子裝置900或第二電子裝置910可以為搭載錄影或拍照鏡頭的電子裝置，例如：智慧型手機、平板、智慧電視或電腦，客戶影像可以為任何具有客戶(Customer)的影像、畫面或圖像，客服影像可以為任何具有客服人員(Customer service)的影像、畫面或圖像，但本案不以此為限。

然後，虛擬分身創建伺服器120用以根據客服影像產生並傳送虛擬角色資訊至視訊核身伺服器110。舉例而言，虛擬分身創建伺服器120可以為任何用於創建虛擬分身的伺服器或系統，虛擬角色資訊可以為根據客服人員的外貌、輪廓、特徵或形象以產生的虛擬角色，虛擬角色可以為一個完整的二維(two dimensional,2D)、三維(three dimensional,3D)人物或臉孔(face)，但本案不以此為限。在一些實施例中，虛擬角色資訊可以使用虛擬角色創建系統捏成，以透過調整虛擬角色創建系統中的臉型、五官、身高、體態等參數以獲得虛擬角色，但本案不以此為限。

再來，視訊核身伺服器110根據客服影像及虛擬角色資訊以產生回饋畫面。舉例而言，視訊核身伺服器110可以將虛擬角色資訊可以作為一個皮套（skin）套於客服影像中的客服人員上而產生回饋畫面，但本案不以此為限。

然後，視訊核身伺服器110輸出回饋畫面至第一電子裝置900。舉例而言，視訊核身伺服器110可以將回饋畫面輸出至第一電子裝置900或第二電子裝置910，讓客戶端或客服端可以看到回饋畫面中虛擬角色資訊的呈現，但本案不以此為限。

再來，影像識別伺服器130用以根據客戶影像的表情資訊以產生情緒機率值。舉例而言，表情資訊可以為客戶影像中客戶的表情，例如：眉頭緊皺、嘴角上揚、嘴角下揚等表情，且一個表情資訊可以對應一個情緒機率值，例如：眉頭緊皺可以對應於生氣60％，但本案不以此為限。在一些實施例中，一個表情資訊可以對應多個情緒機率，例如：眉頭緊皺可以對應於平常心15％、開心10％、驚訝20％、難過30％、生氣60％、噁心35％和恐懼50％，或者，眉頭緊皺也可以對應於平常心5％、開心10％、驚訝10％、難過25％、生氣30％、噁心10％和恐懼10％但本案不以此為限。

然後，當情緒機率值大於機率閾值時，影像識別伺服器130輸出情緒資訊。舉例而言，機率閾值可以為50％，當情緒機率值為生氣60％時，則影像識別伺服器130可以輸出「生氣」的文字、圖片或影像資訊，但本案不以此為限。在一些實施例中，影像識別伺服器130具有複數個機率閾值，例如：平常心30％、開心30％、驚訝30％、難過30％、生氣30％、噁心30％和恐懼30％，當眉頭緊皺對應於平常心5％、開心10％、驚訝10％、難過25％、生氣30％、噁心10％和恐懼10％時，影像識別伺服器130可以輸出「生氣」的文字、圖片或影像資訊，但本案不以此為限。

在一實施例中，視訊核身伺服器110接收並根據虛擬角色資訊以將虛擬角色資訊置於客服畫面的人體位置或客服畫面的臉位置以產生回饋畫面。舉例而言，視訊核身伺服器110可以將二維人物（或三維人物）取代客服畫面中的客服人員以產生回饋畫面，此外，視訊核身伺服器110也可以將虛擬臉孔取代客服畫面中客服人員的臉孔以產生回饋畫，但本案不以此為限。在一些實施例中，虛擬分身創建伺服器120可以根據虛擬角色資訊以將虛擬角色資訊置於客服畫面的人體位置或客服畫面的臉位置以產生回饋畫面。

在一實施例中，虛擬角色資訊包含二維角色畫面，且視訊核身伺服器110將二維角色畫面置於客服畫面的人體位置以產生回饋畫面。舉例而言，虛擬角色資訊以為二維角色畫面，視訊核身伺服器110可以將二維角色畫面取代客服畫面中的客服人員，亦即二維角色畫面可以顯示於客服畫面的人體位置（例如：客服人員的頭至軀幹所有位置）以產生回饋畫面，但本案不以此為限。

在一實施例中，虛擬角色資訊包含容貌畫面，且視訊核身伺服器110將容貌畫面置於客服畫面的臉位置以產生回饋畫面。舉例而言，虛擬角色資訊可以為容貌畫面，視訊核身伺服器110也可以將容貌畫面取代客服畫面中客服人員的臉孔，亦即容貌畫面可以顯示於客服畫面的臉位置以產生回饋畫面，但本案不以此為限。

在一實施例中，影像識別伺服器130儲存複數個正面情緒信息及對應的複數個正面機率值，當複數個正面機率值的其中一者大於機率閾值時，影像識別伺服器130輸出複數個正面機率值的其中一者對應的正面情緒信息。舉例而言，複數個正面情緒信息可以為任何的正面情緒，例如：平常心、開心、喜悅、欣喜，複數個正面機率值可以為平常心5％、開心10％、喜悅20％、欣喜30％，機率閾值可以為25％，但本案不以此為限。

在一實施例中，複數個正面情緒信息包含平常心信息及開心信息。舉例而言，複數個晝面情緒信息可以為平常心相關的文字或影像信息，複數個晝面情緒信息也可以為開心相關的文字或影像信息，但本案不以此為限。

在一實施例中，影像識別伺服器130儲存複數個負面情緒信息及對應的複數個負面機率值，當複數個負面機率值的其中一者大於機率閾值時，影像識別伺服器輸出複數個負面機率值的其中一者對應的負面情緒信息。舉例而言，複數個負面情緒信息可以為任何的負面情緒，例如：煩躁、緊張、失落、驚訝、難過、生氣、噁心、恐懼，複數個負面機率值可以為煩躁30％、緊張5％、失落5％、驚訝5％、難過5％、生氣5％、噁心5％、恐懼5％，機率閾值可以為25％，但本案不以此為限。

在一實施例中，複數個負面情緒信息包含驚訝信息、難過信息、生氣信息、噁心信息及恐懼信息。舉例而言，複數個負面情緒信息可以為驚訝、難過、生氣、噁心及恐懼相關的文字或影像信息，但本案不以此為限。

在一實施例中，影像識別伺服器130儲存表情資訊及對應的情緒資訊。影像識別伺服器130包含情緒演算法，且影像識別伺服器130根據表情資訊及情緒演算法以輸出情緒資訊。舉例而言，情緒演算法可以為辨識客戶影像情緒的AI（Artificial Intelligence, AI）演算法，例如：EAR（Erasing Attention Consistency, EAR）演算法，影像識別伺服器130可以藉由從客戶的視訊鏡頭中捕捉的客戶影像作為EAR演算法的輸入資料，輸出則是EAR演算法根據客戶影像所預測的7個不同情緒(例如：平常心、開心、驚訝、難過、生氣、噁心和恐懼)的機率值，挑選機率最高的情緒作為預測情緒，用來通知銀行端的客服人員目前客戶的感受，但本案不以此為限。

在一實施例中，第二電子裝置910接收情緒資訊，且情緒資訊包含正面情緒及負面情緒的其中至少一者。舉例而言，第二電子裝置910可以為客服端的電子裝置，第二電子裝置910可以將影像與EAR演算法預測的情緒資訊儲存之後，未來可提供教育訓練於業務人員（或客服人員），以了解什麼情境下客戶會有什麼反應，讓業務人員在未來能有更好的服務品質，但本案不以此為限。

第2圖係依照本案另一實施例繪示一種視訊虛擬客服系統的方塊示意圖。如第2圖所示，視訊虛擬客服系統100A包含視訊核身系統110A、虛擬分身創建系統120A及影像識別系統130A。於連接關係，虛擬分身創建系統120A通信耦接於視訊核身系統110A，且影像識別系統130A通信耦接於視訊核身系統110A。

在一些實施例中，視訊核身系統110A通信耦接於客戶裝置900A，視訊核身系統110A通信耦接於公司客服人員裝置910A。

在一些實施例中，視訊核身系統110A包含網頁內容器111A、資料讀寫器112A、影像聲音輸出入器113A及視訊核身系統資料庫114A。舉例而言，視訊核身系統110A的操作與第1圖的視訊核身伺服器110的操作相似，為簡潔起見，此處將省略關於視訊核身系統110A中其他操作的描述。

在一些實施例中，虛擬分身創建系統120A包含影像輸出入器121A、虛擬分身運算器122A及虛擬分身創建系統資料庫123A。舉例而言，虛擬分身創建系統120A的操作與第1圖的虛擬分身創建伺服器120的操作相似，為簡潔起見，此處將省略關於虛擬分身創建系統120A中其他操作的描述。

在一些實施例中，影像識別系統130A包含影像輸入器131A及AI（Artificial Intelligence, AI）情感分析運算器132A。舉例而言，影像識別系統130A的操作與第1圖的影像識別伺服器130的操作相似，為簡潔起見，此處將省略關於影像識別系統130A中其他操作的描述。

在一些實施例中，視訊虛擬客服系統100、100A可以進一步具有動態捕捉設備，且動態捕捉設備可以用於取得客服人員的表情、軀體動作及相關動態，但本案不以此為限。

由上述本案實施方式可知，應用本案具有下列優點。本案實施例所示之視訊虛擬客服系統得以使客服人員在伺服器（平台）上以虛擬替身的方式出現來服務客戶，以達到防範客服人員被騷擾的效果。

雖然上文實施方式中揭露了本案的具體實施例，然其並非用以限定本案，本案所屬技術領域中具有通常知識者，在不悖離本案之原理與精神的情形下，當可對其進行各種更動與修飾，因此本案之保護範圍當以附隨申請專利範圍所界定者為準。

100:視訊虛擬客服系統 110:視訊核身伺服器 120:虛擬分身創建伺服器 130:影像識別伺服器 900:第一電子裝置 910:第二電子裝置 100A:視訊虛擬客服系統 110A:視訊核身系統 120A:虛擬分身創建系統 130A:影像識別系統 900A:客戶裝置 910A:公司客服人員裝置 111A:網頁內容器 112A:資料讀寫器 113A:影像聲音輸出入器 114A:視訊核身系統資料庫 121A:影像輸出入器 122A:虛擬分身運算器 123A:虛擬分身創建系統資料庫 131A:影像輸入器 132A:AI情感分析運算器

為讓本案之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下： 第1圖係依照本案一實施例繪示一種視訊虛擬客服系統的方塊示意圖。 第2圖係依照本案另一實施例繪示一種視訊虛擬客服系統的方塊示意圖。 根據慣常的作業方式，圖中各種特徵與元件並未依比例繪製，其繪製方式是為了以最佳的方式呈現與本案相關的具體特徵與元件。此外，在不同圖式間，以相同或相似的元件符號來指稱相似的元件/部件。

100:視訊虛擬客服系統

110:視訊核身伺服器

120:虛擬分身創建伺服器

130:影像識別伺服器

900:第一電子裝置

910:第二電子裝置

Claims (10)

1. 一種視訊虛擬客服系統，包含：一視訊核身伺服器，用以接收並儲存一第一電子裝置的一客戶影像及一第二電子裝置的一客服影像；一虛擬分身創建伺服器，通信耦接於該視訊核身伺服器，並用以根據該客服影像產生並傳送一虛擬角色資訊至該視訊核身伺服器，其中該視訊核身伺服器根據該客服影像及該虛擬角色資訊以產生一回饋畫面，其中該視訊核身伺服器輸出該回饋畫面至該第一電子裝置；以及一影像識別伺服器，通信耦接於該視訊核身伺服器，並用以根據該客戶影像的一表情資訊以產生一情緒機率值，其中當該情緒機率值大於一機率閾值時，該影像識別伺服器輸出一情緒資訊。
2. 如請求項1所述之視訊虛擬客服系統，其中該視訊核身伺服器接收並根據該虛擬角色資訊以將該虛擬角色資訊置於一客服畫面的一人體位置或該客服畫面的一臉位置以產生該回饋畫面。
3. 如請求項2所述之視訊虛擬客服系統，其中該虛擬角色資訊包含一二維角色畫面，其中該視訊核身伺服器將該二維角色畫面置於該客服畫面的該人體位置以產生該回饋畫面。
4. 如請求項2所述之視訊虛擬客服系統，其中該虛擬角色資訊包含一容貌畫面，其中該視訊核身伺服器將該容貌畫面置於該客服畫面的該臉位置以產生該回饋畫面。
5. 如請求項1所述之視訊虛擬客服系統，其中該影像識別伺服器儲存複數個正面情緒信息及對應的複數個正面機率值，其中當該些正面機率值的其中一者大於該機率閾值時，該影像識別伺服器輸出該些正面機率值的其中一者對應的該正面情緒信息。
6. 如請求項5所述之視訊虛擬客服系統，其中該些正面情緒信息包含一平常心信息及一開心信息。
7. 如請求項1所述之視訊虛擬客服系統，其中該影像識別伺服器儲存複數個負面情緒信息及對應的複數個負面機率值，其中當該些負面機率值的其中一者大於該機率閾值時，該影像識別伺服器輸出該些負面機率值的其中一者對應的該負面情緒信息。
8. 如請求項7所述之視訊虛擬客服系統，其中該些負面情緒信息包含一驚訝信息、一難過信息、一生氣信息、一噁心信息及一恐懼信息。
9. 如請求項1所述之視訊虛擬客服系統，其中該影像識別伺服器儲存該表情資訊及對應的該情緒資訊，其中該影像識別伺服器包含一情緒演算法，該影像識別伺服器根據該表情資訊及該情緒演算法以輸出該情緒資訊。
10. 如請求項1所述之視訊虛擬客服系統，其中該第二電子裝置接收該情緒資訊，其中該情緒資訊包含一正面情緒及一負面情緒的其中至少一者。

Images