TWI804294B - 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介 - Google Patents

用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介 Download PDF

Info

Publication number
TWI804294B
TWI804294B TW111116231A TW111116231A TWI804294B TW I804294 B TWI804294 B TW I804294B TW 111116231 A TW111116231 A TW 111116231A TW 111116231 A TW111116231 A TW 111116231A TW I804294 B TWI804294 B TW I804294B
Authority
TW
Taiwan
Prior art keywords
augmented reality
remote
module
video call
operation interface
Prior art date
Application number
TW111116231A
Other languages
English (en)
Other versions
TW202343228A (zh
Inventor
吳家維
楊仕丞
Original Assignee
中華電信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中華電信股份有限公司 filed Critical 中華電信股份有限公司
Priority to TW111116231A priority Critical patent/TWI804294B/zh
Application granted granted Critical
Publication of TWI804294B publication Critical patent/TWI804294B/zh
Publication of TW202343228A publication Critical patent/TW202343228A/zh

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本發明揭露一種用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介,係由現場端之擴增實境裝置之擴增實境模組接收設備之現場影像畫面,以將第一操作介面套疊在所接收之設備之現場影像畫面上。繼之,由支援端之電子裝置之遠端視訊通話模組與此擴增實境模組進行視訊協作連線以取得設備之現場影像畫面,再將第二操作介面套疊在所取得之設備之現場影像畫面上。然後,由支援端使用電子裝置以透過第二操作介面遠端控制在現場端處之設備,俾供支援端透過電子裝置之遠端視訊通話模組所提供之畫面觀看在現場端處之設備之遠端控制結果。

Description

用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介
本發明係關於一種遠端設備控制技術,特別是指一種用於擴增實境(Augmented Reality;AR)協作之遠端設備控制系統、方法及電腦可讀媒介。
當欲控制一個遠端之設備時,設備本身必須具有遠端連線功能以便連接至物聯網(IoT),同時也需要開發者針對不同設備撰寫相關之不同應用程式(App)或控制程式,而無法利用同一應用程式或控制程式直接控制多種不同設備,且爾後不同設備之所有大小異動亦皆需開發者介入以重新開發/改寫應用程式或控制程式,導致非常地曠日費時。
在一現有技術中,提供一種基於擴增實境技術之互動式遠端專家協作檢修系統及方法,係支援專家對視頻進行勾畫處理,以將勾畫之目標區域圖像發送至現場端,且利用擴增實境技術將專家之回饋資訊、現 場客戶所採集之視頻/圖像與當前設備之狀態資訊合成擴增實境視頻。
惟,此現有技術並無法由在支援端之專家以遠距方式控制在現場端之使用者處之設備,亦無法由支援端協助現場端以解決設備之控制問題,也無法運用影像辨識技術以辨識出不同設備而提供相關聯之操作介面,更無法使現場端與支援端兩者進行視訊協作連線以提供安全之遠距離控制。
因此,如何提供一種創新之遠端設備控制技術,以解決上述之任一問題或提供相關之功能/服務,已成為本領域技術人員之一大研究課題。
本發明提供一種創新之用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介,係能由在支援端之專家以遠距方式控制在現場端之使用者處之設備,或者由支援端協助現場端以解決設備之控制問題,抑或者運用影像辨識技術以辨識出不同設備而提供相關聯之操作介面,又或者使現場端之擴增實境裝置與支援端之電子裝置兩者進行視訊協作連線以提供安全之遠距離控制。
本發明所述用於擴增實境協作之遠端設備控制系統包括:現場端之擴增實境裝置,係具有擴增實境模組以擷取或接收包括設備之即時影像之現場影像畫面,再由現場端之擴增實境裝置之擴增實境模組將與設備相關聯之第一操作介面套疊在所擷取或接收之包括設備之即時影像之現場影像畫面上;支援端之電子裝置,係具有遠端視訊通話模組以與現場端 之擴增實境裝置之擴增實境模組進行視訊連線或視訊協作連線,且由支援端之電子裝置之遠端視訊通話模組在視訊連線或視訊協作連線期間,從現場端之擴增實境裝置之擴增實境模組取得或接收包括設備之即時影像之現場影像畫面,再由支援端之電子裝置之遠端視訊通話模組將與設備相關聯之第二操作介面套疊在所取得或接收之包括設備之即時影像之現場影像畫面上;以及擴增實境平台,係提供與設備相關聯之第一操作介面與第二操作介面,以由支援端使用電子裝置透過擴增實境平台所提供之第二操作介面遠端控制在現場端處之設備,俾供支援端透過電子裝置之遠端視訊通話模組所提供之畫面觀看在現場端處之設備之遠端控制結果。
本發明所述用於擴增實境協作之遠端設備控制方法包括:由現場端之擴增實境裝置之擴增實境模組擷取或接收包括設備之即時影像之現場影像畫面,以由現場端之擴增實境裝置之擴增實境模組將與設備相關聯之第一操作介面套疊在所擷取或接收之包括設備之即時影像之現場影像畫面上;由支援端之電子裝置之遠端視訊通話模組與現場端之擴增實境裝置之擴增實境模組進行視訊連線或視訊協作連線,以由支援端之電子裝置之遠端視訊通話模組在視訊連線或視訊協作連線期間,從現場端之擴增實境裝置之擴增實境模組取得或接收包括設備之即時影像之現場影像畫面,再由支援端之電子裝置之遠端視訊通話模組將與設備相關聯之第二操作介面套疊在所取得或接收之包括設備之即時影像之現場影像畫面上;以及由支援端使用電子裝置以透過擴增實境平台所提供之第二操作介面遠端控制在現場端處之設備,俾供支援端透過電子裝置之遠端視訊通話模組所提供之畫面觀看在現場端處之設備之遠端控制結果。
本發明之電腦可讀媒介應用於計算裝置或電腦中,係儲存有指令,以執行上述用於擴增實境協作之遠端設備控制方法。
為使本發明之上述特徵與優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點,且此等特徵及優點將部分自所述描述內容可得而知,或可藉由對本發明之實踐習得。應理解,前文一般描述與以下詳細描述二者均為例示性及解釋性的,且不欲約束本發明所欲主張之範圍。
1:遠端設備控制系統
10:擴增實境裝置
11:擴增實境模組
20:擴增實境平台
201:擴增實境場景
21:場景編輯軟體工具
22:邏輯設計軟體工具
23:第一操作介面
231:按鈕
24:第一控制項
25:第二操作介面
251:遙控按鈕
26:第二控制項
27:遠端控制指令
28:設備開啟積木
30:電子裝置
31:遠端視訊通話模組
40:遠端視訊通話伺服器
50:設備
51:遙控操作指令
A:現場端
B:現場影像畫面
C:支援端
N:網路
S1至S5:步驟
圖1為本發明所述用於擴增實境協作之遠端設備控制系統之架構示意圖。
圖2為本發明所述用於擴增實境協作之遠端設備控制方法之流程示意圖。
圖3為本發明所述用於擴增實境協作之遠端設備控制系統及其方法中,有關擴增實境平台之實施例示意圖。
圖4A與圖4B為本發明所述用於擴增實境協作之遠端設備控制系統及其方法中,有關設備開啟積木與所串接之第一操作介面之按鈕之實施例示意圖。
圖5為本發明所述用於擴增實境協作之遠端設備控制系統及其方法中,有關擴增實境裝置、擴增實境平台與設備間之互動關係之實施例示意圖。
圖6為本發明所述用於擴增實境協作之遠端設備控制系統及其方法中,有關擴增實境裝置、電子裝置與設備間之互動關係之實施例示意圖。
圖7A與圖7B為本發明所述用於擴增實境協作之遠端設備控制系統及其方法中,有關遠端控制指令與所串接之第二操作介面之遙控按鈕與設備開啟積木(設備開啟指令)之實施例示意圖。
圖8為本發明所述用於擴增實境協作之遠端設備控制系統及其方法中,有關擴增實境裝置、擴增實境平台、電子裝置與設備間之互動關係之實施例示意圖。
以下藉由特定的具體實施形態說明本發明之實施方式,熟悉此技術之人士可由本說明書所揭示之內容了解本發明之其它優點與功效,亦可因而藉由其它不同具體等同實施形態加以施行或運用。
圖1為本發明所述用於擴增實境協作之遠端設備控制系統1之架構示意圖,圖2為本發明所述用於擴增實境協作之遠端設備控制方法之流程示意圖。
如圖1所示,用於擴增實境協作之遠端設備控制系統1可包括透過網路N互相連線或通訊之一現場端A之擴增實境裝置10、一擴增實境平台20、至少一(如複數)支援端C之電子裝置30與一遠端視訊通話伺服器40。現場端A之擴增實境裝置10可具有一擴增實境模組(如應用程式)11等,擴增實境平台20可具有一場景編輯軟體工具21、一邏輯設計軟體工具22、一第一操作介面23、至少一(如複數)第一控制項24、一第二操作介面25、至少一(如複數)第二控制項26、至少一(如複數)遠端控制指令27與至少一設備開啟積木28等,支援端C之電子裝置30可具有一遠 端視訊通話模組(如應用程式)31等。
本發明所述「至少一」代表一個以上(如一、二或三個以上),「複數」代表二個以上(如二、三、四、五或十個以上),「連線」或「通訊」代表以無線方式或有線方式進行連線或通訊。網路N可為無線網路或有線網路,例如無線網路為藍牙(Bluetooth)、無線保真(Wireless-Fidelity;Wi-Fi)等,且網路N亦能進一步涵蓋網際網路、區域網路(LAN)、無線區域網路(WLAN)、廣域網路(WAN)、都會區域網路(MAN)、虛擬專用網路(VPN)等。
在一實施例中,現場端A之擴增實境裝置10與支援端C之電子裝置30可位於不同地點或不同區域,例如現場端A之擴增實境裝置10與支援端C之電子裝置30分別位於設備50之現場及遠端。現場端A之人員可代表在設備50之現場之使用者(現場人員),例如維運人員、學員、學習者、受訓者等。支援端C之人員可代表在設備50之遠端之支援者(支援人員),例如熟悉設備50之專家(如遠距專家)、專業人員、操作者、控制者、教練、教授、老師等。設備50為各種可連線或連結網路N之實體設備,例如物聯網(IoT)設備、電子設備(如馬達/發電機/電子儀器)、工業設備、半導體設備、電腦設備、網路設備、通訊設備、家電設備(如電器)、車聯網設備(如電動車)、機器設備(如機器人)等。
在一實施例中,擴增實境裝置10可為擴增實境眼鏡(即AR眼鏡或AR智慧眼鏡),亦可為具有擴增實境(AR)功能之智慧型手機、平板電腦、筆記型電腦、個人數位助理(PDA)等。擴增實境平台20可為至少一或複數伺服器所構成之雲端平台,且伺服器可為雲端伺服器或伺服主機等。 場景編輯軟體工具21可為使用者場景編輯軟體工具等。第一操作介面23可供現場端A或擴增實境裝置10使用,亦能具有例如為藍牙低功耗(Bluetooth Low Energy;BLE)按鈕之按鈕。第二操作介面25可供支援端C或電子裝置30使用,亦能具有例如為遙控按鈕(Remote Button)之按鈕。電子裝置30可為電腦、行動裝置、可攜式裝置等,如個人電腦、平板電腦、筆記型電腦、桌上型電腦、智慧型手機、個人數位助理(PDA)等。
如圖1與圖2所示,本發明所述用於擴增實境協作中的遠端設備控制方法可包括下列步驟S1至步驟S5。
步驟S1:由現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11在其執行期間擷取或接收包括設備50之即時影像之現場影像畫面B。
申言之,現場端A之擴增實境裝置10(如AR眼鏡或平板電腦)可提供擴增實境模組(如應用程式)11,以由擴增實境模組(如應用程式)11在其執行期間透過擴增實境裝置10之攝像頭(如鏡頭)擷取或接收包括設備50之即時影像之現場影像畫面B。
步驟S2:由現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11運用影像辨識技術以依據所擷取或接收之包括設備50之即時影像之現場影像畫面B辨識出設備50之類型、名稱或身分等,且由擴增實境模組(如應用程式)11依據所辨識出之設備50之類型、名稱或身分等從擴增實境平台20之資料庫中動態取得以提供與設備50相關聯之具有按鈕(如藍牙低功耗按鈕)之第一操作介面23,再由擴增實境模組(如應用程式)11將與設備50相關聯之第一操作介面23套疊在包括設備50之即時影 像之現場影像畫面B上,俾由具有擴增實境裝置10之現場端A透過第一操作介面23或其按鈕(如BLE按鈕)控制設備50。
申言之,可在擴增實境平台20(如雲端平台)上提供場景編輯軟體工具21(如使用者場景編輯軟體工具)與邏輯設計軟體工具22,且透過藍牙或無線保真(Wi-Fi)等無線方式取得可連線之設備50所提供之遙控操作指令51(如電源、燈號、溫度等指令)。同時,可在擴增實境平台20之擴增實境場景201(見圖3)上新增或設計與設備50相關聯之第一操作介面23與至少一(如複數)第一控制項24,以供現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11使用擴增實境平台20之擴增實境場景201上所新增或設計之第一操作介面23與第一控制項24。
現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11可依據包括設備50之即時影像之現場影像畫面B辨識出設備50之類型、名稱或身分等,以由擴增實境模組(如應用程式)11依據所辨識出之設備50之類型、名稱或身分等將與設備50相關聯之第一操作介面23套疊在包括設備50之即時影像之現場影像畫面B上,俾由具有擴增實境裝置10之現場端A透過第一操作介面23或其按鈕(如BLE按鈕)控制設備50。
步驟S3:在現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11中提供視訊通話功能,以由現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11利用視訊通話功能來與支援端C之電子裝置30之遠端視訊通話模組(如應用程式)31進行視訊連線或視訊協作連線。
申言之,現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11可利用視訊通話功能來與支援端C之電子裝置30之遠端視訊通 話模組(如應用程式)31進行視訊連線或視訊協作連線。亦即,可在擴增實境平台20之擴增實境場景201上設計通話功能按鈕,以利用通話功能按鈕提供視訊通話功能予擴增實境裝置10之擴增實境模組(如應用程式)11。又,可在擴增實境平台20之擴增實境場景201上設計通話功能按鈕之細節,且通話功能按鈕之細節可包括電子裝置30之遠端視訊通話模組(如應用程式)31之識別碼(ID)或位址(如IP位址),以由遠端視訊通話伺服器40透過遠端視訊通話模組(如應用程式)31之識別碼(ID)或位址建立擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之視訊連線或視訊協作連線。
步驟S4:在擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之視訊連線或視訊協作連線之存續期間,由電子裝置30之遠端視訊通話模組(如應用程式)31從擴增實境裝置10之擴增實境模組(如應用程式)11取得或接收包括設備50之即時影像之現場影像畫面B,且透過擴增實境平台20之資料庫提供與設備50相關聯之第二操作介面25,再由遠端視訊通話模組(如應用程式)31將與設備50相關聯之第二操作介面25套疊在所取得或接收之包括設備50之即時影像之現場影像畫面B上。
申言之,遠端視訊通話伺服器40建立擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之視訊連線或視訊協作連線後,亦可進一步在擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之間建立點對點之視訊通道。電子裝置30之遠端視訊通話 模組(如應用程式)31可透過遠端視訊通話伺服器40所建立之點對點之視訊通道來與擴增實境裝置10之擴增實境模組(如應用程式)11持續進行視訊串流,以確保擴增實境模組(如應用程式)11與遠端視訊通話模組(如應用程式)31兩者之視訊串流之低延遲,再由電子裝置30之遠端視訊通話模組(如應用程式)31從擴增實境裝置10之擴增實境模組(如應用程式)11持續取得或接收包括設備50之即時影像之現場影像畫面B。
遠端視訊通話伺服器40除可在擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之間建立點對點之視訊通道外,亦可在擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之間建立數據通道以傳送資訊或資料,俾由擴增實境裝置10之擴增實境模組(如應用程式)11將所辨識出之設備50之識別碼(ID)等資訊透過遠端視訊通話伺服器40所建立之數據通道傳送至電子裝置30之遠端視訊通話模組(如應用程式)31。
可在擴增實境平台20之擴增實境場景201上新增或設計與設備50相關聯之第二操作介面25與至少一(如複數)第二控制項26,以供支援端C之電子裝置30之遠端視訊通話模組(如應用程式)31使用擴增實境平台20之擴增實境場景201上所新增或設計之第二操作介面25與第二控制項26。又,電子裝置30之遠端視訊通話模組(如應用程式)31可依據從數據通道所取得之設備50之識別碼(ID)等資訊,將與設備50相關聯之第二操作介面25套疊在所取得或接收之包括設備50之即時影像之現場影像畫面B上。
步驟S5:在擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之視訊連線或視訊協作連線之存續期間,由支援端C使用電子裝置30以透過擴增實境平台20所提供之第二操作介面25遠端控制在現場端A處之設備50,再由支援端C透過電子裝置30之遠端視訊通話模組(如應用程式)31所提供之畫面觀看在現場端A處之設備50之遠端控制結果。
申言之,可使用擴增實境平台20以在擴增實境場景201上新增或設計至少一(如複數)遠端控制指令(Remote Command)27,再由擴增實境平台20之邏輯設計軟體工具22將遠端控制指令27串接支援端C之電子裝置30所使用之第二操作介面25。當支援端C透過電子裝置30使用第二操作介面25時,由支援端C之電子裝置30所使用之第二操作介面25發送遠端控制指令27以透過數據通道傳送至現場端A之擴增實境裝置10,再由擴增實境平台20之邏輯設計軟體工具22利用現場端A之擴增實境裝置10所使用之第一控制項24以將遠端控制指令27串接相對應之設備操作指令。
當現場端A之擴增實境裝置10從數據通道收到遠端控制指令27時,由現場端A透過擴增實境裝置10觸發遠端控制指令27所對應之設備操作指令。然後,由支援端C透過電子裝置30所使用之第二操作介面25利用設備操作指令以遠端控制在現場端A處之設備50,俾供支援端C透過電子裝置30之遠端視訊通話模組(如應用程式)31所提供之畫面觀看在現場端A處之設備50之遠端控制結果。
圖3為本發明所述用於擴增實境協作之遠端設備控制系統1 及其方法中有關擴增實境平台20之實施例示意圖,圖4A與圖4B為本發明所述用於擴增實境協作之遠端設備控制系統1及其方法中有關設備開啟積木28與所串接之第一操作介面23之按鈕231之實施例示意圖,圖5為本發明所述用於擴增實境協作之遠端設備控制系統1及其方法中有關擴增實境裝置10、擴增實境平台20與設備50間之互動關係之實施例示意圖,圖6為本發明所述用於擴增實境協作之遠端設備控制系統1及其方法中有關擴增實境裝置10、電子裝置30與設備50間之互動關係之實施例示意圖,圖7A與圖7B為本發明所述用於擴增實境協作之遠端設備控制系統1及其方法中有關遠端控制指令27與所串接之第二操作介面25之遙控按鈕251與設備開啟積木28(設備開啟指令)之實施例示意圖,圖8為本發明所述用於擴增實境協作之遠端設備控制系統1及其方法中有關擴增實境裝置10、擴增實境平台20、電子裝置30與設備50間之互動關係之實施例示意圖。
舉例而言,下列以圖3至圖8所載之實施例作為示範,以進一步說明本發明所述用於擴增實境協作之遠端設備控制系統1及其方法之內容,並參閱圖1至圖2予以說明。
例如,設備50之電源之開關可利用藍牙進行開啟或關閉,且擴增實境平台20可為設備50提供遙控其電源之開關之能力。同時,使用擴增實境平台20以在擴增實境場景201上新增或設計第一操作介面23與第二操作介面25,並使用擴增實境平台20之邏輯設計軟體工具22(如積木邏輯設計工具)以串接設備50之控制功能或控制行為。
步驟S1:由現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11擷取或接收包括設備50之即時影像之現場影像畫面B。亦即, 現場端A之維運人員可透過擴增實境裝置10(如手機或AR眼鏡)之擴增實境模組(如應用程式)11以擷取或接收包括設備50之即時影像之現場影像畫面B,再由現場端A透過擴增實境裝置10觀看包括設備50之即時影像之現場影像畫面B。
步驟S2:由擴增實境裝置10之擴增實境模組(如應用程式)11辨識出設備50,以提供與設備50相關聯之第一操作介面23,再將第一操作介面23套疊在包括設備50之即時影像之現場影像畫面B上,使現場端A透過第一操作介面23或其按鈕231(如BLE按鈕)控制設備50。例如,步驟S2可包括下列程序P21至程序P24。
於程序P21中,如圖3所示,使用擴增實境平台20之場景編輯軟體工具21在擴增實境場景201上新增或設計現場端A之擴增實境裝置10所使用之第一操作介面23,且第一操作介面23可具有至少一(如複數)為藍牙低功耗(BLE)按鈕之按鈕231等,但不以此為限。
於程序P22中,如圖4A所示,擴增實境裝置10之擴增實境模組(如應用程式)11可取得設備50之遙控操作指令51(如藍牙連線電源開關操作指令)之規格與參數,以依據此規格與參數在擴增實境平台20中將設備50之遙控操作指令51編輯成設備開啟(Device Open)積木28,再將設備開啟積木28提供予擴增實境平台20之邏輯設計軟體工具22(如積木邏輯設計工具)使用。
於程序P23中,如圖4B所示,由擴增實境平台20之邏輯設計軟體工具22將第一操作介面23之按鈕231(如BLE按鈕)串接設備開啟積木28,再由邏輯設計軟體工具22將所串接之第一操作介面23之按鈕 231與設備開啟積木28提供予現場端A之擴增實境裝置10以作為控制設備50之使用。
於程序P24中,如圖5所示,當現場端A之維運人員欲開啟設備50之電源時,由現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11辨識出設備50之類型、名稱或身分等,以由擴增實境模組(如應用程式)11依據所辨識出之設備50之類型、名稱或身分等從擴增實境平台20之資料庫中動態取得現場端A之擴增實境裝置10所使用之相關聯或具有按鈕231(如BLE按鈕)之第一操作介面23,再由擴增實境模組(如應用程式)11將現場端A之擴增實境裝置10所使用之具有按鈕231(如BLE按鈕)之第一操作介面23套疊在包括設備50之即時影像之現場影像畫面B上,俾由具有擴增實境裝置10之現場端A透過第一操作介面23或其按鈕231(如BLE按鈕)控制設備50。
步驟S3:在現場端A之擴增實境裝置10之擴增實境模組(如應用程式)11中提供視訊通話功能,以由擴增實境裝置10之擴增實境模組(如應用程式)11利用視訊通話功能與電子裝置30之遠端視訊通話模組(如應用程式)31進行連線。
亦即,當現場端A之維運人員不確定是否應開啟設備50之電源時,現場端A可以尋求支援端C之遠距專家之協助。例如,現場端A可透過擴增實境裝置10輸入支援端C之電子裝置30之IP(網際網路協定)位址以呼叫支援端C之電子裝置30,且遠端視訊通話伺服器40可使用網路即時通訊(Web Real-Time Communication;WebRTC)技術以建立擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話 模組(如應用程式)31兩者之視訊連線或視訊協作連線。
步驟S4:由電子裝置30之遠端視訊通話模組(如應用程式)31接收包括設備50之即時影像之現場影像畫面B,以提供與設備50相關聯之第二操作介面25,再將第二操作介面25套疊在所取得或接收之包括設備50之即時影像之現場影像畫面B上。例如,步驟S4可包括下列程序P41至程序P43。
於程序P41中,在擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之視訊連線或視訊協作連線之存續期間,由電子裝置30之遠端視訊通話模組(如應用程式)31從擴增實境裝置10之擴增實境模組(如應用程式)11取得或接收包括設備50之即時影像之現場影像畫面B,再由擴增實境裝置10之擴增實境模組(如應用程式)11傳送設備50之識別碼(ID)至支援端C之電子裝置30之遠端視訊通話模組(如應用程式)31。
於程序P42中,使用擴增實境平台20之場景編輯軟體工具21在擴增實境場景201上新增或設計支援端C之電子裝置30所使用之第二操作介面25,且第二操作介面25可具有至少一(如複數)遙控按鈕251等,但不以此為限。
於程序P43中,如圖6所示,在電子裝置30上提供或生成支援端C之電子裝置30所使用之具有遙控按鈕251之第二操作介面25,以由電子裝置30之遠端視訊通話模組(如應用程式)31將具有遙控按鈕251之第二操作介面25套疊在所取得或接收之包括設備50之即時影像之現場影像畫面B上。
步驟S5:由支援端C使用電子裝置30以透過擴增實境平台20所提供之第二操作介面25控制在現場端A處之設備50,再由支援端C透過電子裝置30之遠端視訊通話模組(如應用程式)31所提供之畫面觀看在現場端A處之設備50之遠端控制結果。例如,步驟S5可包括下列程序P51至程序P53。
於程序P51中,如圖7A所示,在擴增實境平台20之擴增實境場景201上新增或設計遠端控制指令(Remote Command)27,以由擴增實境平台20之邏輯設計軟體工具22將遠端控制指令27串接第二操作介面25之遙控按鈕251。
於程序P52中,如圖7B所示,由擴增實境平台20之邏輯設計軟體工具22將現場端A之擴增實境裝置10所收到之遠端控制指令27串接設備開啟積木28之設備開啟指令。
於程序P53中,如圖8所示,在擴增實境裝置10之擴增實境模組(如應用程式)11與電子裝置30之遠端視訊通話模組(如應用程式)31兩者之視訊連線或視訊協作連線之存續期間,支援端C之專家欲示範如何開啟設備50之電源,故支援端C之專家可透過電子裝置30點選或按下第二操作介面25之遙控按鈕251。
當支援端C之專家透過電子裝置30點選或按下所使用之第二操作介面25之遙控按鈕251時,由擴增實境平台20透過網路N將第二操作介面25之遙控按鈕251所串接之遠端控制指令27傳送至現場端A之擴增實境裝置10。現場端A之擴增實境裝置10所使用之第一控制項24會監控(監聽)擴增實境平台20所傳送之遠端控制指令27,以由第一控制項 24於收到監聽遠端控制指令27時觸發設備開啟積木28之設備開啟指令,再由設備開啟積木28之設備開啟指令透過現場端A之擴增實境裝置10與設備50兩者之連線(如藍牙連線),使用例如為藍牙低功耗(BLE)協定之無線通訊協定以開啟設備50之電源。
另外,本發明還提供一種針對用於擴增實境協作之遠端設備控制方法之電腦可讀媒介,係應用於具有處理器及/或記憶體的計算裝置或電腦中,且電腦可讀媒介儲存有指令,並可利用計算裝置或電腦透過處理器及/或記憶體執行電腦可讀媒介,以於執行電腦可讀媒介時執行上述內容。例如,處理器可為微處理器、中央處理器(CPU)、圖形處理器(GPU)等,記憶體可為隨機存取記憶體(RAM)、記憶卡、硬碟(如雲端/網路硬碟)、資料庫等,但不以此為限。
綜上,本發明所述用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介至少具有下列特色、優點或技術功效。
一、本發明能由支援端之專家以遠距方式控制在現場端之使用者處之設備,亦利於支援端協助現場端以解決設備之控制問題。
二、本發明能由支援端之專家直接遙控在現場端之使用者處之設備,以有效減少支援端與現場端之溝通時間,亦能更快且更有效率地提供服務或協助予現場端。
三、本發明能由支援端之專家透過電子裝置之遠端視訊通話模組直接控制在現場端之使用者處之設備,以利支援端快速提供或傳承設備之控制方式(如控制知識或經驗)予現場端。
四、本發明能運用影像辨識技術以辨識出不同設備之類型、 名稱或身分等,有利於依據不同設備動態提供相關聯之第一或第二操作介面。
五、本發明能運用影像辨識技術以動態提供設備所對應之第一或第二操作介面,也可以不必針對不同設備提供不同應用程式或控制程式。
六、針對本來無法遠距離控制之設備,本發明能使現場端之擴增實境裝置與支援端之電子裝置兩者進行視訊連線或視訊協作連線,以利在視訊連線或視訊協作連線之期間針對設備提供安全之遠距離控制,亦能更有效或輕易地控制設備。
上述實施形態僅例示性說明本發明之原理、特點及其功效,並非用以限制本發明之可實施範疇,任何熟習此項技藝之人士均能在不違背本發明之精神及範疇下,對上述實施形態進行修飾與改變。任何使用本發明所揭示內容而完成之等效改變及修飾,均仍應為申請專利範圍所涵蓋。因此,本發明之權利保護範圍應如申請專利範圍所列。
1:遠端設備控制系統
10:擴增實境裝置
11:擴增實境模組
20:擴增實境平台
21:場景編輯軟體工具
22:邏輯設計軟體工具
23:第一操作介面
24:第一控制項
25:第二操作介面
26:第二控制項
27:遠端控制指令
28:設備開啟積木
30:電子裝置
31:遠端視訊通話模組
40:遠端視訊通話伺服器
50:設備
51:遙控操作指令
A:現場端
B:現場影像畫面
C:支援端
N:網路

Claims (17)

  1. 一種用於擴增實境協作之遠端設備控制系統,包括:現場端之擴增實境裝置,係具有擴增實境模組以擷取或接收包括設備之即時影像之現場影像畫面,再由該現場端之擴增實境裝置之擴增實境模組將擴增實境平台所提供之與該設備相關聯之第一操作介面套疊在所擷取或接收之包括該設備之即時影像之現場影像畫面上;支援端之電子裝置,係具有遠端視訊通話模組以與該現場端之擴增實境裝置之擴增實境模組進行視訊連線或視訊協作連線,且由該支援端之電子裝置之遠端視訊通話模組在該視訊連線或視訊協作連線期間,從該現場端之擴增實境裝置之擴增實境模組取得或接收包括該設備之即時影像之現場影像畫面,再由該支援端之電子裝置之遠端視訊通話模組將該擴增實境平台所提供之與該設備相關聯之第二操作介面套疊在從該現場端之擴增實境裝置之擴增實境模組所取得或接收之包括該設備之即時影像之現場影像畫面上;以及該擴增實境平台,係分別提供與該設備相關聯之該第一操作介面與該第二操作介面予該現場端之擴增實境裝置與該支援端之具有該遠端視訊通話模組之電子裝置,且該支援端使用具有該遠端視訊通話模組之電子裝置以透過該擴增實境平台所提供之該第二操作介面遠端控制在該擴增實境裝置之該現場端處之該設備,俾供該支援端透過該電子裝置之遠端視訊通話模組所提供之畫面觀看以該擴增實境平台所提供之該第二操作介面遠端控制在該擴增實境裝置之該現場端處之該設備之遠端控制結果。
  2. 如請求項1所述之遠端設備控制系統,其中,該現場端之擴增實境裝置之擴增實境模組更運用影像辨識技術以依據所擷取或接收之包括該設備之即時影像之現場影像畫面辨識出該設備之類型、名稱或身分,再由該擴增實境模組依據所辨識出之該設備之類型、名稱或身分從該擴增實境平台中取得與該設備相關聯之該第一操作介面。
  3. 如請求項1所述之遠端設備控制系統,其中,該擴增實境平台之擴增實境場景上新增或設計有與該設備相關聯之該第一操作介面、至少一第一控制項、該第二操作介面與至少一第二控制項,以供該擴增實境裝置之擴增實境模組使用該擴增實境平台之擴增實境場景上所新增或設計之該第一操作介面與該第一控制項,且供該電子裝置之遠端視訊通話模組使用該擴增實境平台所新增或設計之該第二操作介面與該第二控制項。
  4. 如請求項1所述之遠端設備控制系統,其中,該擴增實境平台係具有場景編輯軟體工具,以由該場景編輯軟體工具在該擴增實境平台之擴增實境場景上新增或設計具有至少一按鈕之該第一操作介面與具有至少一遙控按鈕之該第二操作介面。
  5. 如請求項1所述之遠端設備控制系統,其中,該擴增實境平台係具有邏輯設計軟體工具,且該擴增實境平台之擴增實境場景上新增或設計有至少一遠端控制指令,以由該邏輯設計軟體工具將該遠端控制指令串接該第二操作介面,俾於該支援端透過該電子裝置使用該第二操作介面時,由該第二操作介面發送該遠端控制指令至該現場端之擴增實境裝置。
  6. 如請求項1所述之遠端設備控制系統,更包括遠端視訊通話伺服器,其中,該擴增實境平台之擴增實境場景上設計有通話功能按鈕, 以利用該通話功能按鈕提供視訊通話功能予該擴增實境裝置之擴增實境模組,且其中,該通話功能按鈕包括該電子裝置之遠端視訊通話模組之識別碼或位址,以由該遠端視訊通話伺服器透過該遠端視訊通話模組之識別碼或位址建立該擴增實境裝置之擴增實境模組與該電子裝置之遠端視訊通話模組兩者之視訊連線或視訊協作連線。
  7. 如請求項1所述之遠端設備控制系統,更包括遠端視訊通話伺服器,係在該擴增實境裝置之擴增實境模組與該電子裝置之遠端視訊通話模組兩者之間建立點對點之視訊通道,以由該電子裝置之遠端視訊通話模組透過該遠端視訊通話伺服器所建立之該點對點之視訊通道與該擴增實境裝置之擴增實境模組持續進行視訊串流,再由該電子裝置之遠端視訊通話模組從該擴增實境裝置之擴增實境模組持續取得或接收包括該設備之即時影像之現場影像畫面。
  8. 如請求項1所述之遠端設備控制系統,更包括遠端視訊通話伺服器,係在該擴增實境裝置之擴增實境模組與該電子裝置之遠端視訊通話模組兩者之間建立數據通道,以由該擴增實境裝置之擴增實境模組將所辨識出之該設備之識別碼透過該遠端視訊通話伺服器所建立之該數據通道傳送至該電子裝置之遠端視訊通話模組,再由該電子裝置之遠端視訊通話模組依據該設備之識別碼將與該設備相關聯之該第二操作介面套疊在所取得或接收之包括該設備之即時影像之現場影像畫面上。
  9. 一種用於擴增實境協作之遠端設備控制方法,包括:由擴增實境平台分別提供與設備相關聯之第一操作介面與第二操作介面予現場端之擴增實境裝置與支援端之具有遠端視訊通話模組之電子裝 置,且由該現場端之擴增實境裝置之擴增實境模組擷取或接收包括該設備之即時影像之現場影像畫面,以由該現場端之擴增實境裝置之擴增實境模組將該擴增實境平台所提供之與該設備相關聯之第一操作介面套疊在所擷取或接收之包括該設備之即時影像之現場影像畫面上;由該支援端之電子裝置之遠端視訊通話模組與該現場端之擴增實境裝置之擴增實境模組進行視訊連線或視訊協作連線,以由該支援端之電子裝置之遠端視訊通話模組在該視訊連線或視訊協作連線期間,從該現場端之擴增實境裝置之擴增實境模組取得或接收包括該設備之即時影像之現場影像畫面,再由該支援端之電子裝置之遠端視訊通話模組將該擴增實境平台所提供之與該設備相關聯之第二操作介面套疊在從該現場端之擴增實境裝置之擴增實境模組所取得或接收之包括該設備之即時影像之現場影像畫面上;以及由該支援端使用具有該遠端視訊通話模組之電子裝置以透過該擴增實境平台所提供之該第二操作介面遠端控制在該擴增實境裝置之該現場端處之該設備,俾供該支援端透過該電子裝置之遠端視訊通話模組所提供之畫面觀看以該擴增實境平台所提供之該第二操作介面遠端控制在該擴增實境裝置之該現場端處之該設備之遠端控制結果。
  10. 如請求項9所述之遠端設備控制方法,更包括由該現場端之擴增實境裝置之擴增實境模組運用影像辨識技術以依據所擷取或接收之包括該設備之即時影像之現場影像畫面辨識出該設備之類型、名稱或身分,再由該擴增實境模組依據所辨識出之該設備之類型、名稱或身分從該擴增實境平台中取得與該設備相關聯之該第一操作介面。
  11. 如請求項9所述之遠端設備控制方法,更包括在該擴增實境平台之擴增實境場景上新增或設計與該設備相關聯之該第一操作介面、至少一第一控制項、該第二操作介面與至少一第二控制項,以供該擴增實境裝置之擴增實境模組使用該擴增實境平台之擴增實境場景上所新增或設計之該第一操作介面與該第一控制項,且供該電子裝置之遠端視訊通話模組使用該擴增實境平台所新增或設計之該第二操作介面與該第二控制項。
  12. 如請求項9所述之遠端設備控制方法,更包括由該擴增實境平台之場景編輯軟體工具在該擴增實境平台之擴增實境場景上新增或設計具有至少一按鈕之該第一操作介面與具有至少一遙控按鈕之該第二操作介面。
  13. 如請求項9所述之遠端設備控制方法,更包括在該擴增實境平台之擴增實境場景上新增或設計至少一遠端控制指令,以由該擴增實境平台之邏輯設計軟體工具將該遠端控制指令串接該第二操作介面,俾於該支援端透過該電子裝置使用該第二操作介面時,由該第二操作介面發送該遠端控制指令至該現場端之擴增實境裝置。
  14. 如請求項9所述之遠端設備控制方法,更包括在該擴增實境平台之擴增實境場景上設計通話功能按鈕,以利用該通話功能按鈕提供視訊通話功能予該擴增實境裝置之擴增實境模組,其中,該通話功能按鈕包括該電子裝置之遠端視訊通話模組之識別碼或位址,以由該遠端視訊通話伺服器透過該遠端視訊通話模組之識別碼或位址建立該擴增實境裝置 之擴增實境模組與該電子裝置之遠端視訊通話模組兩者之視訊連線或視訊協作連線。
  15. 如請求項9所述之遠端設備控制方法,更包括由遠端視訊通話伺服器在該擴增實境裝置之擴增實境模組與該電子裝置之遠端視訊通話模組兩者之間建立點對點之視訊通道,以由該電子裝置之遠端視訊通話模組透過該遠端視訊通話伺服器所建立之該點對點之視訊通道與該擴增實境裝置之擴增實境模組持續進行視訊串流,再由該電子裝置之遠端視訊通話模組從該擴增實境裝置之擴增實境模組持續取得或接收包括該設備之即時影像之現場影像畫面。
  16. 如請求項9所述之遠端設備控制方法,更包括由遠端視訊通話伺服器在該擴增實境裝置之擴增實境模組與該電子裝置之遠端視訊通話模組兩者之間建立數據通道,以由該擴增實境裝置之擴增實境模組將所辨識出之該設備之識別碼透過該遠端視訊通話伺服器所建立之該數據通道傳送至該電子裝置之遠端視訊通話模組,再由該電子裝置之遠端視訊通話模組依據該設備之識別碼將與該設備相關聯之該第二操作介面套疊在所取得或接收之包括該設備之即時影像之現場影像畫面上。
  17. 一種電腦可讀媒介,應用於計算裝置或電腦中,係儲存有指令,以執行如請求項9至16之任一者所述用於擴增實境協作之遠端設備控制方法。
TW111116231A 2022-04-28 2022-04-28 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介 TWI804294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111116231A TWI804294B (zh) 2022-04-28 2022-04-28 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111116231A TWI804294B (zh) 2022-04-28 2022-04-28 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介

Publications (2)

Publication Number Publication Date
TWI804294B true TWI804294B (zh) 2023-06-01
TW202343228A TW202343228A (zh) 2023-11-01

Family

ID=87803369

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111116231A TWI804294B (zh) 2022-04-28 2022-04-28 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介

Country Status (1)

Country Link
TW (1) TWI804294B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354316A (zh) * 2016-08-31 2017-01-25 广东格兰仕集团有限公司 一种基于ar技术和图像识别技术的操作面板
CN108352195A (zh) * 2015-10-29 2018-07-31 皇家飞利浦有限公司 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统
CN109407918A (zh) * 2018-09-25 2019-03-01 苏州梦想人软件科技有限公司 增强现实内容多级交互方式的实现方法
TW201944262A (zh) * 2018-04-13 2019-11-16 中華電信股份有限公司 擴增實境之方法及系統
US20190369836A1 (en) * 2018-05-30 2019-12-05 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
CN112219405A (zh) * 2018-06-25 2021-01-12 谷歌有限责任公司 识别和控制智能设备
TW202123025A (zh) * 2019-12-11 2021-06-16 中華電信股份有限公司 擴增實境之內容控制系統、方法及電腦可讀儲存媒介
US20220083198A1 (en) * 2016-12-05 2022-03-17 Magic Leap, Inc. Virtual user input controls in a mixed reality environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352195A (zh) * 2015-10-29 2018-07-31 皇家飞利浦有限公司 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统
CN106354316A (zh) * 2016-08-31 2017-01-25 广东格兰仕集团有限公司 一种基于ar技术和图像识别技术的操作面板
US20220083198A1 (en) * 2016-12-05 2022-03-17 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
TW201944262A (zh) * 2018-04-13 2019-11-16 中華電信股份有限公司 擴增實境之方法及系統
US20190369836A1 (en) * 2018-05-30 2019-12-05 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
CN112219405A (zh) * 2018-06-25 2021-01-12 谷歌有限责任公司 识别和控制智能设备
CN109407918A (zh) * 2018-09-25 2019-03-01 苏州梦想人软件科技有限公司 增强现实内容多级交互方式的实现方法
TW202123025A (zh) * 2019-12-11 2021-06-16 中華電信股份有限公司 擴增實境之內容控制系統、方法及電腦可讀儲存媒介

Also Published As

Publication number Publication date
TW202343228A (zh) 2023-11-01

Similar Documents

Publication Publication Date Title
WO2018121193A1 (zh) Vr设备的控制方法、装置及遥控器
CN107452119A (zh) 虚拟现实实时导览方法及系统
TWI804294B (zh) 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介
US10395547B2 (en) Supporting popularization of information and communications technology in the field of education
CN112770078B (zh) 一种视频会议终端融合方法、装置及可读存储介质
US11405434B2 (en) Data sharing method providing reception status of shared data among receiving terminals, and communication system and recording medium therefor
CN106603537A (zh) 一种移动智能终端标注视频信号源的系统及方法
JP7018110B1 (ja) モバイル機器ドック
TW201716975A (zh) 即時視訊互動方法與裝置
KR20180042325A (ko) 프로그래머블 표시기, 정보 처리 장치, 화면 데이터 작성 지원 프로그램, 및 화면 표시 시스템
CN102012746A (zh) 监控方法及应用其的键盘图像鼠标切换器及系统
Ma et al. Networked robot systems for indoor service enhanced via ROS middleware
JP2004280636A (ja) ユーザインターフェース非装備の通信接続型情報処理装置を含む情報処理システムおよびその制御方法
CN112615941B (zh) 一种基于Android操作系统的网络化控制实验室系统
CN105786672B (zh) 一种针对虚拟现实环境的监控系统及其监控方法
JP2008217272A (ja) 遠隔操作システム、遠隔操作方法およびプログラム
JP2017163251A (ja) テレイグジスタンスを利用したコミュニケーションシステム
Ciontos et al. Universal industrial interface-mobile
Ghorbel et al. Toward a generic human machine interface for assistive robots: The AMOR project
JP6766541B2 (ja) 操作制御プログラム、操作制御方法および情報処理装置
TWI801958B (zh) 設備維護系統及方法
CN113398581B (zh) 游戏画面显示方法、装置、电子设备及可读存储介质
TWI810895B (zh) 人機介面的遠端操作方法及遠端操作系統
Sergeyev et al. Non-Destructive, Remote Control of Industrial Robotic Arm
JP5312809B2 (ja) 画面表示装置