TWI823146B - 用於即時mr互動應用之邊緣渲染運算方法及系統 - Google Patents
用於即時mr互動應用之邊緣渲染運算方法及系統 Download PDFInfo
- Publication number
- TWI823146B TWI823146B TW110134251A TW110134251A TWI823146B TW I823146 B TWI823146 B TW I823146B TW 110134251 A TW110134251 A TW 110134251A TW 110134251 A TW110134251 A TW 110134251A TW I823146 B TWI823146 B TW I823146B
- Authority
- TW
- Taiwan
- Prior art keywords
- mixed reality
- management server
- central management
- edge computing
- computing device
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims description 40
- 230000002452 interceptive effect Effects 0.000 title description 2
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000010295 mobile communication Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000011017 operating method Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本案為一種應用於混合實境系統之邊緣渲染運算方法及其混合實境系統，邊緣渲染運算方法及其混合實境系統利用行動邊緣運算裝置來對混合實境裝置所感測的即時資訊進行運算，因此加快資料的處理與傳送速度，並減少混合實境裝置的顯示延遲，以提升使用者的體驗效果。
Description
本案屬於混合實境的領域，尤指一種應用於混合實境系統之邊緣渲染運算方法及混合實境系統。
隨著顯示器、陀螺儀、空間感應器等關鍵零組件的科技先進發展、頭戴顯示器的製造成本降低與微型輕量化，使得包含虛擬實境(Virtual Reality, VR)及擴增實境(Augmented Reality, AR)之混合實境(Mixed Reality, MR)(亦可視為延展實境，即Extended Reality, XR)開始普及，提供使用者完全不同於一般平面顯示器的視覺感官享受。而如何改善混合實境裝置在雲端互動體驗上所遇到的延遲問題，並在畫面品質與傳輸時間當中取得平衡是目前研發的重點。
近年來，由於雲端運算與網路之需求大幅增長，於是第五代行動通訊技術5G也被提出。第五代行動通訊技術5G需要具備低延遲、高負載量與大量裝置連結的特性，而為了實現上述低延遲的特性，一種新的網路架構稱為行動邊緣運算(Mobile Edge Computing，MEC)於是誕生。行動邊緣運算是一種分散式運算的架構，將數據資料的運算，由資料中心移往行動邊緣運算裝置來處理，即行動邊緣運算的技術將原本完全由資料中心處理的大型服務加以分解，切割成更小與更容易管理的部份，以分散到行動邊緣運算裝置去處理。相較於雲端系統，行動邊緣運算裝置更接近於終端裝置，因此可以加快資料的處理與傳送速度，且可以減少延遲。
然而在現有的混合實境平台或裝置中，目前都還是只專注於提供傳統遊戲的雲端服務，並未採用行動邊緣運算的技術，使得混合實境裝置並無法有效地發揮第五代行動通訊技術(5G)所帶來的優勢，進而在延遲減少的情況下達成即時互動、串流渲染結果。
本案為一種應用於混合實境系統之邊緣渲染運算方法及其混合實境系統，藉行動邊緣運算裝置的設置與使用，使得混合實境裝置可有效地發揮第五代行動通訊技術所帶來的優勢，進而在延遲減少的情況下達成即時互動、串流渲染結果。
為達上述目的，本案之一實施例為一種邊緣渲染運算方法，應用於混合實境系統，混合實境系統包含至少一混合實境裝置、中央管理伺服器及至少一行動邊緣運算裝置，邊緣渲染運算方法包含:執行運作程序，運作程序包含:
啟動至少一混合實境裝置，並執行混合實境裝置之用戶應用程式，用戶應用程式透過應用程式介面建立混合實境裝置與中央管理伺服器之間的連線；中央管理伺服器發送可提供的混合實境應用程式之一清單至混合實境裝置，且由混合實境裝置顯示清單；由混合實境裝置從清單中選擇其中之一混合實境應用程式，並透過應用程序介面將所選擇的混合實境應用程式所對應的識別碼傳送至中央管理伺服器；中央管理伺服器在接獲識別碼後輸出啟動訊號至與混合實境裝置最相近之行動邊緣運算裝置，作為選定行動邊緣運算裝置，其中啟動訊號包含混合實境裝置所選擇的混合實境應用程式的資訊；選定行動邊緣運算裝置在接獲啟動訊號後輸出回傳訊號至中央管理伺服器，並執行用戶連線程序等待與混合實境裝置連線；中央管理伺服器於接獲回傳訊號後將選定行動邊緣運算裝置的網際協定位址傳送至混合實境裝置，使混合實境裝置與選定行動邊緣運算裝置嘗試建立連線；選定行動邊緣運算裝置判斷是否與混合實境裝置連線成功。
為達上述目的，本案之另一實施例為混合實境系統，包含:混合實境裝置；中央管理伺服器；以及至少一行動邊緣運算裝置；其中混合實境系統用以執行前述之邊緣渲染運算方法。
體現本案特徵與優點的一些典型實施例將在後段的說明中詳細敘述。應理解的是本案能夠在不同的態樣上具有各種的變化，其皆不脫離本案的範圍，且其中的說明及圖式在本質上系當作說明之用，而非用於限制本案。
請參閱第1圖，其係為本案較佳實施例之混合實境系統的系統架構圖。本實施例之混合實境系統1包含至少一混合實境裝置2、中央管理伺服器3及至少一行動邊緣運算裝置4，其中混合實境裝置2、中央管理伺服器3及行動邊緣運算裝置4三者間可為但不限於以第五代行動通訊技術5G進行連線通訊。此外，混合實境裝置2與行動邊緣運算裝置4的個數更可分別為複數個，其中複數個混合實境裝置2的所在位置可不同，而複數個行動邊緣運算裝置4的所在位置亦可不同，且任一行動邊緣運算裝置4相較於其它行動邊緣運算裝置4會與複數個混合實境裝置2的其中之一混合實境裝置2最相鄰。
中央管理伺服器3用以管理所有行動邊緣運算裝置4的資源，且可處理混合實境裝置2與行動邊緣運算裝置4之間的連線。於一些實施例中，中央管理伺服器3具有Portal入口服務的功能，以提供授權驗證與應用程式操作服務等。此外，中央管理伺服器3更具有混合實境應用程式的資料，並可提供關於可執行的混合實境應用程式的清單。
混合實境裝置2可視為擴增實境裝置的一種，且混合實境裝置2可為但不限於頭戴式顯示器或眼鏡等，其中，混合實境裝置2可對所在環境進行感測，以提供即時資訊，即時資訊包含即時影音資訊、即時聲音資訊及/或即時加速度資訊等。
於一些實施例中，每一混合實境裝置2具有用戶應用程式，當混合實境裝置2執行用戶應用程式時，用戶應用程式便透過混合實境裝置2之應用程式介面(Application Programming Interface, API)讓混合實境裝置2與中央管理伺服器3之間建立連線，藉此混合實境裝置2便可透過中央管理伺服器3再與行動邊緣運算裝置4進行連線。
行動邊緣運算裝置4可與中央管理伺服器3保持連線，且將混合實境裝置2所感測到的即時資訊進行運算，藉此混合實境裝置2可利用行動邊緣運算裝置4的運算結果而顯示出渲染了虛擬影音的擴增實境影音。此外，於本實施例中，混合實境裝置2所感測到的即時資訊將提供給與自身距離最相近之行動邊緣運算裝置4來進行運算。行動邊緣運算裝置4更可儲存至少一混合實境應用程式。
以下將以第2圖所示之邊緣渲染運算方法來更進一步說明混合實境裝置2、中央管理伺服器3及行動邊緣運算裝置4三者間的作動。請參閱第2A圖、第2B圖，並配合第1圖，其中第2A圖及第2B圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行運作程序時的步驟流程圖。本案之邊緣渲染運算方法包含執行運作程序，運作程序的步驟包含如下。
步驟S1，啟動混合實境裝置2，並執行混合實境裝置2的用戶應用程式，用戶應用程式透過混合實境裝置2的應用程式介面建立混合實境裝置2與中央管理伺服器3之間的連線。
步驟S2，中央管理伺服器3發送可提供的混合實境應用程式之一清單至混合實境裝置2，且由混合實境裝置顯示清單。
步驟S3，使用者操作混合實境裝置2，以由混合實境裝置2從清單中選擇其中之一混合實境應用程式，並透過應用程序介面將所選擇的混合實境應用程式所對應的識別碼傳送至中央管理伺服器3。
步驟S4，中央管理伺服器3在接獲識別碼後輸出啟動訊號至與混合實境裝置2最相近之行動邊緣運算裝置4，以作為選定行動邊緣運算裝置，其中啟動訊號包含混合實境裝置2所選擇的混合實境應用程式的資訊。
步驟S5，選定行動邊緣運算裝置在接獲啟動訊號後輸出回傳訊號至中央管理伺服器3，且選定行動邊緣運算裝置更執行用戶連線程序等待與混合實境裝置2連線。
步驟S6，中央管理伺服器3於接獲回傳訊號後將選定行動邊緣運算裝置的網際協定位址傳送至混合實境裝置2，使混合實境裝置2與選定行動邊緣運算裝置嘗試建立連線。
步驟S7，選定行動邊緣運算裝置判斷是否與混合實境裝置2連線成功。
由上可知，本案之應用於混合實境系統之邊緣渲染運算方法及其混合實境系統由於使用了行動邊緣運算裝置，使得混合實境裝置所感測的即時資訊可由行動邊緣運算裝置來進行運算，而非透過資料中心或是其它運算裝置來運算，因此可以加快資料的處理與傳送速度，並減少混合實境裝置的顯示延遲，以提升使用者的體驗效果。
於一些實施例中，運作程序更包含步驟S8及步驟S9。步驟S8，當混合實境裝置2判斷出與選定行動邊緣運算裝置連線成功時，選定行動邊緣運算裝置依據啟動訊號執行混合實境裝置2所選擇的混合實境應用程式，並將混合實境裝置2所感測到的即時資訊進行運算，使執行中的混合實境應用程式利用運算結果產生暫時影音，而暫時影音透過編碼及解碼後形成擴增實境影音，並由混合實境裝置2顯示擴增實境影音。
步驟S9，在選定行動邊緣運算裝置執行混合實境裝置2所選擇的混合實境應用程式後，選定行動邊緣運算裝置傳送更新資訊至中央管理伺服器3進行更新，其中更新資訊包含與選定行動邊緣運算裝置之資訊及混合實境裝置2之資訊。
於一些實施例中，運作程序更包含步驟S9，當混合實境裝置判斷出與選定行動邊緣運算裝置連線失敗時，選定行動邊緣運算裝置輸出連線失敗訊號至中央管理伺服器3，使中央管理伺服器3通知混合實境裝置2啟動中止。
請參閱第3圖，並配合第1圖，其中第3圖為第1圖所示之混合實境裝置及行動邊緣運算裝置的細部結構示意圖。混合實境裝置2包含感測模組20、渲染模組21、輸入控制模組22、影音解碼模組23、第一通訊模組24、解壓縮模組25及顯示模組26。第一通訊模組24用以利用可為但不限於第五代行動通訊技術5G進行資料上傳與資料下載。感測模組20用以感測混合實境裝置2的所在環境，以提供即時資訊，且該即時資訊可藉由第一通訊模組24傳送至行動邊緣運算裝置4，其中感測模組20包含相機模組200、聲音模組201以及加速度計202，故感測模組20提供之即時資訊中可藉由相機模組200的感測而包含即時影像資訊，並藉由聲音模組201的感測而包含即時聲音資訊，以及藉由加速度計202的感測而包含即時加速度資訊。影音解碼模組23用以對所接收到的影音進行解碼，並提供給渲染模組21。渲染模組21對影音解碼模組23所提供的解碼影音進行渲染，以形成擴增實境影音。顯示模組26用以顯示由渲染模組21所形成之擴增實境影音。輸入控制模組22用以依據使用者的輸入操作產生第一控制訊號，第一控制訊號可利用第一通訊模組24傳送至行動邊緣運算裝置4，其中輸入控制模組22更包含藍芽裝置220，藍芽裝置220用以與使用者所操作的輸入裝置(未圖示)進行藍芽通訊，使輸入裝置依據使用者的輸入操作所產生的訊號及資料等可經由藍芽裝置220傳送至輸入控制模組22，進而讓輸入控制模組22產生對應的第一控制訊號。解壓縮模組25用以將通訊模組24所下載的已壓縮影音資料(例如從行動邊緣運算裝置4所下載的已壓縮且編碼的暫時影音)進行解壓縮，並傳送給影音解碼模組23進行解碼。
行動邊緣運算裝置4包含第二通訊模組40、運算模組41、控制模擬模組42、壓縮模組43、應用程式模組44及影音編碼模組45。第二通訊模組40用以利用可為但不限於第五代行動通訊技術5G進行資料上傳與資料下載，其中第二通訊模組40可與第一通訊模組24相通訊。運算模組41可藉由第二通訊模組40接收混合實境裝置2之感測模組20所提供之即時資訊，並將即時資訊進行運算。控制模擬模組42可藉由第二通訊模組40接收混合實境裝置2之輸入控制模組22所提供之第一控制訊號，並依據預設的訊號格式而將第一控制訊號進行轉換，以產生為統一格式的第二控制訊號，且於一些實施例中，控制模擬模組42包含控制訊號接收裝置420及訊號映射裝置421，控制訊號接收裝置420接收混合實境裝置2之輸入控制模組22所提供之第一控制訊號，訊號映射裝置421則預設訊號格式，並依據預設的訊號格式將第一控制訊號進行轉換，以產生為統一格式的第二控制訊號。應用程式模組44用以儲存至少一混合實境應用程式，且可依據控制模擬模組42產生之第二控制訊號而執行所儲存之混合實境應用程式，並使執行的混合實境應用程式利用運算模組41的運算結果產生暫時影音，且於一些實施例中應用程式模組44包含應用程式庫440及運行庫441，其中應用程式庫440用以儲存至少一混合實境應用程式，運行庫441則用以驅使應用程式庫440所儲存的任一混合實境應用程式執行，以利用運算模組41的運算結果產生暫時影音。影音編碼模組45用以將應用程式模組44產生的暫時影音進行編碼。壓縮模組43用以將影音編碼模組45所傳來的已編碼的暫時影音進行壓縮，而已壓縮且編碼的暫時影音可再透過第二通訊模組40傳送至混合實境裝置2。
請參閱第4圖，並配合第1圖，其中第4圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行串流分享程序時的步驟流程圖。於一些實施例，本案之混合實境系統1更包含串流伺服器5，串流伺服器5可與中央管理伺服器3保持連線，且用以利用串流技術進行影音傳輸，且可儲存串流格式之影音檔案。此外，每一混合實境裝置2更具有分享應用程式，當混合實境裝置2執行分享應用程式時，分享應用程式便透過應用程式介面通知中央管理伺服器3對應的混合實境裝置2即將進行畫面分享。又行動邊緣運算裝置4更可進行影音串流傳輸運作，例如將混合實境應用程式利用運算結果產生的暫時影音以串流方式傳輸至串流伺服器5。
更甚者，本案之邊緣渲染運算方法更包含執行串流分享程序，串流分享程序的步驟包含如下。
步驟S10，執行混合實境裝置2之分享應用程式，分享應用程式透過應用程式介面通知中央管理伺服器2混合實境裝置2即將分享畫面。
步驟S11，中央管理伺服器3通知選定行動邊緣運算裝置開始進行串流傳輸運作。
步驟S12，選定行動邊緣運算裝置將暫時影音以串流方式傳輸至串流伺服器5。
步驟S13，串流伺服器5於接收到串流格式的暫時影音後，回報中央管理伺服器3。
步驟S14，中央管理伺服器3回報混合實境裝置2目前正在進行畫面分享。
請參閱第5圖，並配合第1圖，其中第5圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行觀看程序時的步驟流程圖。於一些實例中，混合實境系統1更包含至少一觀看裝置6，觀看裝置6可為具顯示功能之裝置，例如電視、電腦或手機等，且觀看裝置6可提供用來觀賞串流影音之串流頻道，此外，觀看裝置6更可與中央管理伺服器3相通訊，且可與串流伺服器5建立連線。
另外，本案之邊緣渲染運算方法更包含執行觀看程序，觀看程序的步驟包含如下。
步驟S20，從觀看裝置6選擇串流頻道，且觀看裝置6將被選擇的串流頻道的資訊通知中央管理伺服器3。
步驟S21，中央管理伺服器3傳送串流伺服器5的資訊給觀看裝置6。
步驟S22，觀看裝置6依據中央管理伺服器3所傳送的串流伺服器5的資訊與串流伺服器5建立連線。
步驟S23，於觀看裝置6與串流伺服器5建立連線完成後，觀看裝置6下載串流伺服器5所提供之串流格式的暫時影音，使觀看裝置6的串流頻道依據串流格式的暫時影音顯示對應的影音畫面。
請參閱第6圖，並配合第1圖，其中第6圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行中繼服務程序時的步驟流程圖。於一些實例中，混合實境系統1更包含至少一終端裝置7及至少一中繼伺服器8。每一終端裝置7及每一中繼伺服器8可分別與對應之至少一混合實境裝置2相鄰設，其中終端裝置7可為但不限於包含環境感測器或相機模組等，當終端裝置7為環境感測器時，可感測對應之混合實境裝置2之周遭的環境參數，例如溫度、位移及/或速度等，並對應輸出感測資訊，當終端裝置7為相機模組時，則可感測對應之混合實境裝置2周遭的環境影像，並對應輸出感測資訊。中繼伺服器8可與中央管理伺服器3及對應的終端裝置7相通訊，且可接收並儲存終端裝置7所輸出的感測資訊。
另外，本案之邊緣渲染運算方法更包含中繼服務程序，中繼服務程序的步驟包含如下。
步驟S30，由與混合實境裝置2相近的至少一終端裝置7對混合實境裝置2周遭的環境進行感測，並輸出感測資訊給與混合實境裝置2相近之中繼伺服器8。
步驟S31，接收到感測資訊之中繼伺服器8向中央管理伺服器3進行註冊。
步驟S32，中央管理伺服器3更新已進行註冊之中繼伺服器8的清單。
步驟S33，中央管理伺服器3發送已註冊之中繼伺服器8的連線資訊給選定行動邊緣運算裝置。
步驟S34，選定行動邊緣運算裝置與已註冊之中繼伺服器8建立連線，並從建立連線之中繼伺服器8下載感測資訊。
步驟S35，選定行動邊緣運算裝置將感測資訊配合混合實境裝置2所感測到的即時資訊進行運算，使執行的混合實境應用程式利用運算結果調整擴增實境影音。
綜上所述，本案提供一種應用於混合實境系統之邊緣渲染運算方法及其混合實境系統，邊緣渲染運算方法及其混合實境系統由於使用了行動邊緣運算裝置，使得混合實境裝置所感測的即時資訊可由行動邊緣運算裝置來進行運算，而非透過資料中心或是其它運算裝置來運算，因此可以加快資料的處理與傳送速度，並減少混合實境裝置的顯示延遲，以提升使用者的體驗效果。
1:混合實境系統
2:混合實境裝置
3:中央管理伺服器
4:行動邊緣運算裝置
20:感測模組
21:渲染模組
22:輸入控制模組
23:影音解碼模組
24:第一通訊模組
25:解壓縮模組
26:顯示模組
200:相機模組
201:聲音模組
202:加速度計
220:藍芽裝置
40:第二通訊模組
41:運算模組
42:控制模擬模組
43:壓縮模組
44:應用程式模組
45:影音編碼模組
420:控制訊號接收裝置
421:訊號映射裝置
440:應用程式庫
441:運行庫
5:串流伺服器
6:觀看裝置
7:終端裝置
8:中繼伺服器
S1~S9:邊緣渲染運算方法執行運作程序時的步驟
S10~S14:邊緣渲染運算方法執行串流分享程序時的步驟
S20~S23:邊緣渲染運算方法執行觀看程序時的步驟
S30~S35:邊緣渲染運算方法執行中繼服務程序時的步驟
第1圖為本案較佳實施例之混合實境系統的系統架構圖；
第2A圖及第2B圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行運作程序時的步驟流程圖；
第3圖為第1圖所示之混合實境裝置及行動邊緣運算裝置的細部結構示意圖；
第4圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行串流分享程序時的步驟流程圖；
第5圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行觀看程序時的步驟流程圖；
第6圖為應用於第1圖所示之混合實境系統之本案較佳實施例之邊緣渲染運算方法執行中繼服務程序時的步驟流程圖。
S1~S9:邊緣渲染運算方法執行運作程序時的步驟
Claims (10)
- 一種邊緣渲染運算方法，應用於一混合實境系統，該混合實境系統包含至少一混合實境裝置、一中央管理伺服器及至少一行動邊緣運算裝置，該邊緣渲染運算方法包含: 執行一運作程序，該運作程序包含: (a) 啟動該至少一混合實境裝置，並執行該混合實境裝置之一用戶應用程式，該用戶應用程式透過一應用程式介面建立該混合實境裝置與該中央管理伺服器之間的連線； (b) 該中央管理伺服器發送可提供的混合實境應用程式之一清單至該混合實境裝置，且由該混合實境裝置顯示該清單； (c) 由該混合實境裝置從該清單中選擇其中之一該混合實境應用程式，並透過該應用程序介面將所選擇的該混合實境應用程式所對應的一識別碼傳送至該中央管理伺服器； (d) 該中央管理伺服器在接獲該識別碼後輸出一啟動訊號至與該混合實境裝置最相近之該行動邊緣運算裝置，作為一選定行動邊緣運算裝置，其中該啟動訊號包含該混合實境裝置所選擇的該混合實境應用程式的資訊； (e) 該選定行動邊緣運算裝置在接獲該啟動訊號後輸出回傳訊號至中央管理伺服器，並執行一用戶連線程序等待與該混合實境裝置連線； (f) 該中央管理伺服器於接獲該回傳訊號後將該選定行動邊緣運算裝置的一網際協定位址傳送至該混合實境裝置，使該混合實境裝置與該選定行動邊緣運算裝置嘗試建立連線；以及 (g) 該選定行動邊緣運算裝置判斷是否與該混合實境裝置連線成功。
- 如請求項1所述之邊緣渲染運算方法，其中該運作程序更包含: (h) 當該混合實境裝置判斷出與該選定行動邊緣運算裝置連線成功時，該選定行動邊緣運算裝置依據該啟動訊號執行該混合實境裝置所選擇的該混合實境應用程式，並將該混合實境裝置所感測到的該即時資訊進行運算，使執行中的該混合實境應用程式利用運算結果產生一暫時影音，而該暫時影音透過編碼及解碼後形成一擴增實境影音，並由該混合實境裝置顯示該擴增實境影音；以及 (i) 在該選定行動邊緣運算裝置執行該混合實境裝置所選擇的該混合實境應用程式後，該選定行動邊緣運算裝置傳送一更新資訊至該中央管理伺服器進行更新。
- 如請求項2所述之邊緣渲染運算方法，其中該運作程序更包含: (j) 當該混合實境裝置判斷出與該選定行動邊緣運算裝置連線失敗時，該選定行動邊緣運算裝置輸出一連線失敗訊號至該中央管理伺服器，使該中央管理伺服器通知該混合實境裝置啟動中止。
- 如請求項1所述之邊緣渲染運算方法，其中該混合實境系統更包含一串流伺服器，且該邊緣渲染運算方法更包含執行一串流分享程序，該串流分享程序包含: (k) 執行該混合實境裝置之一分享應用程式，該分享應用程式透過該應用程式介面通知該中央管理伺服器該混合實境裝置即將分享畫面； (l) 該中央管理伺服器通知該選定行動邊緣運算裝置開始進行串流傳輸運作； (m) 該選定行動邊緣運算裝置將該暫時影音以串流方式傳輸至該串流伺服器； (n) 該串流伺服器於接收到串流格式的該暫時影音後，回報該中央管理伺服器；以及 (o) 該中央管理伺服器回報該混合實境裝置目前正在進行畫面分享。
- 如請求項4所述之邊緣渲染運算方法，其中該混合實境系統更包含至少一觀看裝置，且該邊緣渲染運算方法更包含執行一觀看程序，該觀看程序包含: (p) 從該觀看裝置選擇一串流頻道，且該觀看裝置將被選擇的該串流頻道的資訊通知該中央管理伺服器； (q) 該中央管理伺服器傳送該串流伺服器的資訊給該觀看裝置； (r) 該觀看裝置依據該中央管理伺服器所傳送的該串流伺服器的資訊與該串流伺服器建立連線；以及 (s) 於該觀看裝置與該串流伺服器建立連線完成後，該觀看裝置下載該串流伺服器所提供之串流格式的該暫時影音，使該觀看裝置的該串流頻道依據串流格式的該暫時影音顯示對應的影音畫面。
- 如請求項5所述之邊緣渲染運算方法，其中該觀看裝置包含一電視、一電腦或一手機。
- 如請求項1所述之邊緣渲染運算方法，其中該混合實境系統更包含至少一終端裝置及至少一中繼伺服器，且該邊緣渲染運算方法更包含執行一中繼服務程序，該中繼服務程序包含: (t) 由與該混合實境裝置相近的至少一該終端裝置對該混合實境裝置周遭的環境進行感測，並輸出一感測資訊給與該混合實境裝置相近之該中繼伺服器； (u) 接收到該感測資訊之該中繼伺服器向該中央管理伺服器進行註冊； (v) 該中央管理伺服器更新已進行註冊之該中繼伺服器的清單； (w) 該中央管理伺服器發送已註冊之該中繼伺服器的連線資訊給該選定行動邊緣運算裝置； (x) 該選定行動邊緣運算裝置與已註冊之該中繼伺服器建立連線，並從建立連線之該中繼伺服器下載該感測資訊；以及 (y) 該選定行動邊緣運算裝置將該感測資訊配合該混合實境裝置所感測到的該即時資訊進行運算，使執行的該混合實境應用程式利用運算結果調整該擴增實境影音。
- 如請求項7所述之邊緣渲染運算方法，其中該終端裝置包含一環境感測器或一相機模組。
- 如請求項1所述之邊緣渲染運算方法，其中該混合實境裝置、該中央管理伺服器及至少一該行動邊緣運算裝置三者間以第五代行動通訊技術進行連線。
- 一種混合實境系統，包含: 一混合實境裝置； 一中央管理伺服器；以及 至少一行動邊緣運算裝置； 其中該混合實境系統執行請求項第1項至第9項中任一項所述之該邊緣渲染運算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110134251A TWI823146B (zh) | 2021-09-14 | 2021-09-14 | 用於即時mr互動應用之邊緣渲染運算方法及系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110134251A TWI823146B (zh) | 2021-09-14 | 2021-09-14 | 用於即時mr互動應用之邊緣渲染運算方法及系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202311908A TW202311908A (zh) | 2023-03-16 |
| TWI823146B true TWI823146B (zh) | 2023-11-21 |
Family
ID=86690551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110134251A TWI823146B (zh) | 2021-09-14 | 2021-09-14 | 用於即時mr互動應用之邊緣渲染運算方法及系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI823146B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200186989A1 (en) * | 2017-06-05 | 2020-06-11 | Sony Mobile Communications Inc. | Method for management of movable edge computing servers |
| TW202025799A (zh) * | 2018-12-19 | 2020-07-01 | 未來市股份有限公司 | 分派方法及邊緣計算系統 |
| TW202040981A (zh) * | 2019-02-25 | 2020-11-01 | 美商尼安蒂克公司 | 擴增實境行動邊緣計算 |
| US20200389531A1 (en) * | 2018-07-13 | 2020-12-10 | Samsung Electronics Co., Ltd. | Method and electronic device for edge computing service |
| CN112205007A (zh) * | 2018-06-01 | 2021-01-08 | 三星电子株式会社 | 利用启用层在5g网络中更好地利用资源的系统和方法 |
| CN113347275A (zh) * | 2021-07-06 | 2021-09-03 | 北京云端智度科技有限公司 | 一种基于用户终端地理坐标的边缘节点调度方法和系统 |
-
2021
- 2021-09-14 TW TW110134251A patent/TWI823146B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200186989A1 (en) * | 2017-06-05 | 2020-06-11 | Sony Mobile Communications Inc. | Method for management of movable edge computing servers |
| CN112205007A (zh) * | 2018-06-01 | 2021-01-08 | 三星电子株式会社 | 利用启用层在5g网络中更好地利用资源的系统和方法 |
| US20200389531A1 (en) * | 2018-07-13 | 2020-12-10 | Samsung Electronics Co., Ltd. | Method and electronic device for edge computing service |
| TW202025799A (zh) * | 2018-12-19 | 2020-07-01 | 未來市股份有限公司 | 分派方法及邊緣計算系統 |
| TW202040981A (zh) * | 2019-02-25 | 2020-11-01 | 美商尼安蒂克公司 | 擴增實境行動邊緣計算 |
| CN113347275A (zh) * | 2021-07-06 | 2021-09-03 | 北京云端智度科技有限公司 | 一种基于用户终端地理坐标的边缘节点调度方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202311908A (zh) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109510990B (zh) | 图像处理方法及装置、计算机可读存储介质、电子设备 | |
| US12022160B2 (en) | Live streaming sharing method, and related device and system | |
| WO2019001347A1 (zh) | 移动设备的投屏方法、存储介质、终端及投屏系统 | |
| US11089349B2 (en) | Apparatus and method for playing back and seeking media in web browser | |
| US8876601B2 (en) | Method and apparatus for providing a multi-screen based multi-dimension game service | |
| CN113209632B (zh) | 一种云游戏的处理方法、装置、设备及存储介质 | |
| WO2022257699A1 (zh) | 图像画面显示方法、装置、设备、存储介质及程序产品 | |
| US11694316B2 (en) | Method and apparatus for determining experience quality of VR multimedia | |
| KR20080085008A (ko) | 모바일 디바이스를 이용하여 사용자가 대형 화면 게임을플레이할 수 있도록 하는 방법 및 시스템 | |
| CN108337545A (zh) | 用于同步再现视频和音频的媒体重放设备和媒体服务设备 | |
| KR101942269B1 (ko) | 웹 브라우저에서 미디어를 재생하고 탐색하는 장치 및 방법 | |
| CN112799891B (zh) | iOS设备测试方法、装置、系统、存储介质及计算机设备 | |
| US20140243083A1 (en) | Apparatus and method of providing cloud service using game platform based on streaming | |
| CN111478930B (zh) | Stb云化方法、系统、瘦stb、虚拟stb及平台、存储介质 | |
| US11146662B2 (en) | Method and system of transmitting state based input over a network | |
| EP2443559A2 (en) | Apparatus and method for transmitting and receiving a user interface in a communication system | |
| WO2024037110A1 (zh) | 数据处理方法、装置、设备以及介质 | |
| US10525344B2 (en) | System and method for improving the graphics performance of hosted applications | |
| CN111327921A (zh) | 视频数据处理方法及设备 | |
| CN112354176A (zh) | 云游戏实现方法、云游戏实现装置、存储介质与电子设备 | |
| WO2024027611A1 (zh) | 视频直播方法、装置、电子设备以及存储介质 | |
| TWI823146B (zh) | 用於即時mr互動應用之邊緣渲染運算方法及系統 | |
| CN117370696A (zh) | 小程序页面的加载方法、装置、电子设备及存储介质 | |
| Hou et al. | A cloud gaming system based on NVIDIA GRID GPU | |
| CN113825016A (zh) | 视频渲染方法、装置、设备、存储介质及计算机程序产品 |