TWI788741B

TWI788741B - 遠端視訊協作系統與遠端視訊協作方法

Info

Publication number: TWI788741B
Application number: TW109143606A
Authority: TW
Inventors: 鄭智升; 楊子文
Original assignee: 中華電信股份有限公司
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2023-01-01
Also published as: TW202224445A

Abstract

一種遠端視訊協作系統，包括擴增實境裝置以及伺服器。伺服器通訊連接至擴增實境裝置。擴增實境裝置傳送第一擴增實境資料至伺服器，其中第一擴增實境資料包括第一影音資料和第一擴增實境物件的至少其中之一。伺服器傳送對應於第一擴增實境資料的第二擴增實境資料至擴增實境裝置，其中第二擴增實境資料包括第二影音資料和第二擴增實境物件的至少其中之一。

Description

遠端視訊協作系統與遠端視訊協作方法

本揭露是有關於一種遠端視訊協作系統與遠端視訊協作方法。

現行的視訊協作服務是由本地（例如：工作現場）的工作人員配戴擴增實境（augmented reality，AR）裝置以擷取影像，並且將影像傳送給遠端支援者。遠端支援者可根據取得的影像指示本地工作人員。然而，遠端支援者可能需對類似的問題進行重複的視訊協作，造成人力資源的資源浪費。另外，在本地的工作人員也可能會臨時找不到可提供視訊協作的遠端支援者。

本揭露提供一種遠端視訊協作系統，能夠提供遠端支援者即時將視訊協作過程轉換為預存的擴增實境教學資料，當在工作現場的擴增實境裝置需要視訊協作，可由伺服器提供適合該擴增實境裝置的擴增實境資料，以提高視訊協作的效率。

本揭露的遠端視訊協作系統，包括擴增實境裝置以及伺服器。伺服器通訊連接至擴增實境裝置。擴增實境裝置傳送第一擴增實境資料至伺服器，其中第一擴增實境資料包括第一影音資料和第一擴增實境物件的至少其中之一。伺服器傳送對應於第一擴增實境資料的第二擴增實境資料至擴增實境裝置，其中第二擴增實境資料包括第二影音資料和第二擴增實境物件的至少其中之一。

本揭露的遠端視訊協作方法，包括：由擴增實境裝置傳送第一擴增實境資料至伺服器，其中第一擴增實境資料包括第一影音資料和第一擴增實境物件的至少其中之一；以及由伺服器傳送對應於第一擴增實境資料的第二擴增實境資料至擴增實境裝置，其中第二擴增實境資料包括第二影音資料和第二擴增實境物件的至少其中之一。

基於上述，本揭露的遠端視訊協作系統和方法可由伺服器預存候選擴增實境資料，當在工作現場的擴增實境裝置需要視訊協作，可由伺服器從預存的候選擴增實境資料中選出適合該擴增實境裝置的擴增實境資料，從而提高了視訊協作的效率。

為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是根據本揭露的一實施例繪示的一種遠端視訊協作系統100的示意圖。遠端視訊協作系統100可包括擴增實境裝置110、伺服器120以及支援終端裝置130。

擴增實境裝置110可具有處理單元（例如：處理器但不限於此）、通訊單元（例如：各類通訊晶片、行動通訊晶片、藍芽晶片、WiFi晶片等但不限於此）及儲存單元（例如：可移動隨機存取記憶體、快閃記憶體、硬碟等但不限於此）等運行擴增實境裝置110的必要構件。此外，擴增實境裝置110還可具有輸入裝置（例如：麥克風、鍵盤、擴增實境輸入裝置、滑鼠或觸控螢幕）。擴增實境裝置110例如可以是擴增實境眼鏡，然而本揭露不限於此。擴增實境輸入裝置例如是可由擴增實境裝置110操作的虛擬鍵盤。

伺服器120可具有處理單元（例如：處理器但不限於此）、通訊單元（例如：各類通訊晶片、行動通訊晶片、藍芽晶片、WiFi晶片等但不限於此）及儲存單元（例如：可移動隨機存取記憶體、快閃記憶體、硬碟等但不限於此）等運行伺服器120的必要構件。伺服器120可包括例如移動台、高級移動台（advanced mobile station，AMS）、客戶端、桌上型電腦、筆記型電腦、個人數位助理或工作站等具備IP位址或連網功能的設備。

支援終端裝置130可具有處理單元（例如：處理器但不限於此）、通訊單元（例如：各類通訊晶片、行動通訊晶片、藍芽晶片、WiFi晶片等但不限於此）及儲存單元（例如：可移動隨機存取記憶體、快閃記憶體、硬碟等但不限於此）等運行支援終端裝置130的必要構件。此外，支援終端裝置130還可具有輸入裝置（例如：麥克風、鍵盤、擴增實境輸入裝置、滑鼠或觸控螢幕）。擴增實境輸入裝置例如是可由擴增實境裝置110操作的虛擬鍵盤。支援終端裝置130例如是電腦、行動電話、平板或是智慧眼鏡。

在本實施例中，擴增實境裝置110可以是由在工作現場的現場使用者（例如外派的設備維運人員）來操作。支援終端裝置130可以是由不在工作現場的遠端支援者來操作。

當現場使用者在工作現場遇到問題需要協助時，現場使用者可利用擴增實境裝置110製作第一擴增實境資料，並且傳送第一擴增實境資料至伺服器120。第一擴增實境資料可包括第一影音資料以及/或者第一擴增實境物件。舉例來說，第一影音資料可包含現場使用者操作設備的完整過程的影像，或是現場使用者操作設備的關鍵影像。第一擴增實境物件可以是現場使用者利用擴增實境裝置110所製作的虛擬影像（例如相關於該設備的其它物件的擴增實境影像）。虛擬影像例如包含文字框，其中文字框可包含例如對問題的文字描述。

在一實施例中，伺服器120可預存多個候選擴增實境資料。候選擴增實境資料可以是用來協助現場使用者的擴增實境資料。候選擴增實境資料可包括影音資料（例如包含預先錄製並儲存好的操作設備的完整過程的影像，或者預先錄製並儲存的操作設備的關鍵影像）以及擴增實境物件（例如預先錄製並儲存的擴增實境物件）。

圖2是依照本揭露的一實施例繪示的候選擴增實境資料的示意圖。伺服器120可預存候選擴增實境資料121、候選擴增實境資料122以及候選擴增實境資料123。候選擴增實境資料121可包括影音資料1211以及擴增實境物件1212，候選擴增實境資料122可包括影音資料1221以及擴增實境物件1222，候選擴增實境資料123可包括影音資料1231以及擴增實境物件1232。圖2中所繪示的3個候選擴增實境資料僅為示例，本揭露不對此限制。

在一實施例中，響應於接收到第一擴增實境資料，若第一擴增實境資料包括第一影音資料，伺服器120可比對第一擴增實境資料中的第一影音資料與候選擴增實境資料121的影音資料1211，並且比對第一擴增實境資料中的第一影音資料與候選擴增實境資料122的影音資料1221，並且比對第一擴增實境資料中的第一影音資料與候選擴增實境資料123的影音資料1231。例如，伺服器120可使用基於機器學習的影像辨識模型來執行比對，本揭露不對此限制。

假設第一擴增實境資料中的第一影音資料與候選擴增實境資料121的影音資料1211為匹配，伺服器120可響應於第一擴增實境資料中的第一影音資料與候選擴增實境資料121（亦稱，第二擴增實境資料）中的影音資料1211（亦稱，第二影音資料）匹配而判斷第一擴增實境資料與候選擴增實境資料121（即第二擴增實境資料）匹配。據此，伺服器120可從多個候選擴增實境資料（候選擴增實境資料121、122、123）中，選出第二擴增實境資料（即候選擴增實境資料121）。

在另一實施例中，響應於接收到第一擴增實境資料，若第一擴增實境資料包括第一擴增實境資料，伺服器120可比對第一擴增實境資料中的第一擴增實境物件與候選擴增實境資料121的擴增實境物件1212，並且比對第一擴增實境資料中的第一擴增實境物件與候選擴增實境資料122的擴增實境物件1222，並且比對第一擴增實境資料中的第一擴增實境物件與候選擴增實境資料123的擴增實境物件1232。例如，伺服器120可使用基於機器學習的擴增實境物件辨識模型來執行比對。

假設第一擴增實境資料中的第一擴增實境資料與候選擴增實境資料122的擴增實境物件1222為匹配，伺服器120可響應於第一擴增實境資料中的第一擴增實境物件與候選擴增實境資料122（亦稱，第二擴增實境資料）中的擴增實境物件1222（亦稱，第二擴增實境物件）匹配而判斷第一擴增實境資料與候選擴增實境資料122（即第二擴增實境資料）匹配。據此，伺服器120可從多個候選擴增實境資料（候選擴增實境資料121、122、123）中，選出第二擴增實境資料（即，候選擴增實境資料122）。

在本實施例中，響應於從多個候選擴增實境資料中選出第二擴增實境資料，伺服器120可傳送對應於第一擴增實境資料的第二擴增實境資料（包括第二影音資料以及/或者第二擴增實境物件）至擴增實境裝置110。例如，假設伺服器120判斷第一擴增實境資料與候選擴增實境資料122（即第二擴增實境資料）匹配，伺服器120可傳送對應於第一擴增實境資料的第二擴增實境資料（即候選擴增實境資料122）至擴增實境裝置110，以協助現場使用者。

在一實施例中，伺服器120可響應於第一擴增實境資料與多個候選擴增實境資料均不匹配而將第一擴增實境資料轉發至支援終端裝置130。換句話說，由於伺服器120判斷伺服器120中並未預存可以協助擴增實境裝置110的候選擴增實境資料，故伺服器120可將第一擴增實境資料轉發至支援終端裝置130以請求支援終端裝置130（由遠端支援者操作）的協助。

在另一實施例中，若現場使用者希望由支援終端裝置130（由遠端支援者操作）協助，現場使用者可利用擴增實境裝置110的輸入裝置（例如虛擬鍵盤）操作擴增實境裝置110以請求操作支援終端裝置130的遠端支援者的協作。在接收到現場使用者的操作後，擴增實境裝置110可產生指令（亦稱，第二指令）並且傳送第二指令至伺服器120，以要求伺服器120轉發第一擴增實境資料至支援終端裝置130。

響應於接收到第一擴增實境資料以及第二指令，伺服器120可不執行前述第一擴增實境資料與候選擴增實境資料121、候選擴增實境資料122以及候選擴增實境資料123的比對，而根據第二指令轉發第一擴增實境資料至支援終端裝置130。

在一實施例中，在支援終端裝置130接收到第一擴增實境資料之後，遠端支援者可利用支援終端裝置130的輸入裝置（例如麥克風）輸入與第一擴增實境資料（例如現場使用者遇到的問題）中的第一影音資料以及/或者第一擴增實境物件相關的協助資訊以產生對應於第一擴增實境資料的指令（亦稱，第一指令）。支援終端裝置130可傳送第一指令至伺服器120。

在一實施例中，第一指令可包括擴增實境物件、影音資料或者索引。舉例來說，遠端支援者可利用支援終端裝置130的輸入裝置（例如虛擬鍵盤）繪製擴增實境物件。支援終端裝置130所產生的第一指令可包括遠端支援者所繪製的擴增實境物件。舉另一例來說，遠端支援者可利用支援終端裝置130的輸入裝置（例如麥克風）錄製聲音以產生影音資料，並且支援終端裝置130所產生的第一指令可包括所述影音資料。

若遠端支援者利用支援終端裝置130的輸入裝置（例如虛擬鍵盤）輸入索引以指示伺服器120所預存的多個候選擴增實境資料的其中之一（亦稱，第二擴增實境資料），支援終端裝置130所產生的第一指令可包括此索引。例如，假設遠端支援者判斷候選擴增實境資料123可協助擴增實境裝置110，遠端支援者可輸入索引以通過索引向伺服器120指示候選擴增實境資料123。

在一實施例中，第一指令還可指示伺服器120將包含於第一指令中的資料（例如擴增實境物件或影音資料）儲存起來以根據儲存的資料製作新的候選擴增實境資料。

伺服器120可根據第一指令產生第二擴增實境資料。舉例來說，若第一指令包括影音資料或擴增實境物件，伺服器120可根據所述影音資料或擴增實境物件產生第二擴增實境資料。

若第一指令包括的索引指示伺服器120所預存的多個候選擴增實境資料中的特定候選擴增實境資料，伺服器120可根據索引指示的特定候選擴增實境資料產生第二擴增實境資料。例如，若索引為指示「候選擴增實境資料123」，伺服器120可根據候選擴增實境資料123產生第二擴增實境資料。

響應於產生第二擴增實境資料，伺服器120可傳送對應於第一擴增實境資料的第二擴增實境資料至擴增實境裝置110。

圖3是根據本揭露的一實施例繪示的一種遠端視訊協作方法的流程圖，其中遠端視訊協作方法可由如圖1所示的遠端視訊協作系統100實施。在步驟S301中，由擴增實境裝置傳送第一擴增實境資料至伺服器，其中第一擴增實境資料包括第一影音資料和第一擴增實境物件的至少其中之一。在步驟S302中，由伺服器傳送對應於第一擴增實境資料的第二擴增實境資料至擴增實境裝置，其中第二擴增實境資料包括第二影音資料和第二擴增實境物件的至少其中之一。

綜上所述，本揭露的遠端視訊協作系統和方法可提供遠端支援者即時將視訊協作過程轉換為預存候選擴增實境教學資料，並可由伺服器預存候選擴增實境教學資料。當在工作現場的配戴擴增實境裝置的工作人員需要協助時，伺服器可從預存的候選擴增實境資料中選出適合該擴增實境裝置的擴增實境資料，從而提高了視訊協作的效率。除此之外，伺服器也可向操作支援終端裝置的遠端支援人員提出視訊協作的請求，以藉由遠端支援人員的專業解決工作現場的問題。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

100:遠端視訊協作系統 110:擴增實境裝置 120:伺服器 130:支援終端裝置 121、122、123:候選擴增實境資料 1211、1221、1231:影音資料 1212、1222、1233:擴增實境物件 S301、S302:步驟

圖1是根據本揭露的一實施例繪示的一種遠端視訊協作系統的示意圖。圖2是依照本揭露的一實施例繪示的候選擴增實境資料的示意圖。圖3是根據本揭露的一實施例繪示的一種遠端視訊協作方法的流程圖。

100:遠端視訊協作系統

110:擴增實境裝置

120:伺服器

130:支援終端裝置

Claims

一種遠端視訊協作系統，包括：擴增實境裝置；支援終端裝置；以及伺服器，通訊連接至所述擴增實境裝置以及所述支援終端裝置，其中所述擴增實境裝置傳送第一擴增實境資料至所述伺服器，其中所述第一擴增實境資料包括第一影音資料和第一擴增實境物件的至少其中之一，其中所述伺服器轉發所述第一擴增實境資料至所述支援終端裝置，其中所述支援終端裝置傳送對應於所述第一擴增實境資料的第一指令至所述伺服器，其中所述伺服器根據所述第一指令產生第二擴增實境資料，其中所述第一指令包括擴增實境物件、影音資料以及索引的至少其中之一，其中所述索引指示所述伺服器所預存的多個候選擴增實境資料中的所述第二擴增實境資料，其中所述伺服器傳送對應於所述第一擴增實境資料的所述第二擴增實境資料至所述擴增實境裝置，其中所述第二擴增實境資料包括第二影音資料和第二擴增實境物件的至少其中之一。
如請求項1所述的遠端視訊協作系統，其中所述伺服器響應於所述第一擴增實境資料與所述多個候選擴增實境資料不匹配而將所述第一擴增實境資料轉發至所述支援終端裝置。
如請求項1所述的遠端視訊協作系統，其中所述擴增實境裝置更傳送第二指令至所述伺服器，其中所述伺服器根據所述第二指令轉發所述第一擴增實境資料至所述支援終端裝置。
如請求項1所述的遠端視訊協作系統，其中所述伺服器響應於所述第一擴增實境資料與所述多個候選擴增實境資料中的所述第二擴增實境資料匹配而從所述多個候選擴增實境資料中選出所述第二擴增實境資料。
如請求項4所述的遠端視訊協作系統，其中所述伺服器響應於所述第一擴增實境資料中的所述第一影音資料與所述第二擴增實境資料中的第二影音資料匹配而判斷所述第一擴增實境資料與所述第二擴增實境資料匹配。
如請求項4所述的遠端視訊協作系統，其中所述伺服器響應於所述第一擴增實境資料中的所述第一擴增實境物件與所述第二擴增實境資料中的第二擴增實境物件匹配而判斷所述第一擴增實境資料與所述第二擴增實境資料匹配。
一種遠端視訊協作方法，包括：由擴增實境裝置傳送第一擴增實境資料至伺服器，其中所述第一擴增實境資料包括第一影音資料和第一擴增實境物件的至少其中之一；由所述伺服器轉發所述第一擴增實境資料至支援終端裝置；由所述支援終端裝置傳送對應於所述第一擴增實境資料的第一指令至所述伺服器；由所述伺服器根據所述第一指令產生第二擴增實境資料，其中所述第一指令包括擴增實境物件、影音資料以及索引的至少其中之一，其中所述索引指示所述伺服器所預存的多個候選擴增實境資料中的所述第二擴增實境資料；以及由所述伺服器傳送對應於所述第一擴增實境資料的所述第二擴增實境資料至所述擴增實境裝置，其中所述第二擴增實境資料包括第二影音資料和第二擴增實境物件的至少其中之一。