TW202343268A - 異地分享三維空間標註軌跡的方法及系統 - Google Patents
異地分享三維空間標註軌跡的方法及系統 Download PDFInfo
- Publication number
- TW202343268A TW202343268A TW111115556A TW111115556A TW202343268A TW 202343268 A TW202343268 A TW 202343268A TW 111115556 A TW111115556 A TW 111115556A TW 111115556 A TW111115556 A TW 111115556A TW 202343268 A TW202343268 A TW 202343268A
- Authority
- TW
- Taiwan
- Prior art keywords
- electronic device
- space
- movement trajectory
- dimensional movement
- virtual model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 48
- 230000003213 activating effect Effects 0.000 claims abstract description 26
- 238000005070 sampling Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 239000011521 glass Substances 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Radar Systems Or Details Thereof (AREA)
- Information Transfer Between Computers (AREA)
Abstract
異地分享三維空間標註軌跡的方法及系統。響應於啟動第一電子裝置以顯示第一空間，第一電子裝置取得呈現在第一空間中的指定物件的第一基準點。在第一電子裝置顯示第一空間之後，第一電子裝置偵測第一空間中目標物的三維移動軌跡，偵測三維移動軌跡的轉折點資訊並且擷取三維移動軌跡的直徑，之後傳送轉折點資訊以及直徑至第二電子裝置。響應於啟動第二電子裝置以顯示第二空間，第二電子裝置基於轉折點資訊與直徑重建三維移動軌跡，並在第二空間中基於相對於第一基準點的第二基準點呈現三維移動軌跡。
Description
本發明是有關於一種遠端傳輸機制，且特別是有關於一種異地分享三維空間標註軌跡的方法及系統。
隨著科技的發展，擴增實境（Augmented Reality，AR）與混合實境（Mixed Reality，MR）的用途也越來越廣。擴增實境的技術原理是透過攝影機拍攝現實畫面並結合某種辨識定位技術，讓螢幕中的現實場景擴增出電腦虛擬產生的物件，使得用戶能夠同時看到現實世界與虛擬世界並存的內容。混合實境指的是結合真實世界和虛擬世界創造了新的環境和視覺化，即，虛擬實境（Virtual Reality，VR）結合擴增實境的合成品。擴增實境、混合實境等技術可進一步應用於遠端操作指導。例如，在本地端進行操作的過程可以即時在遠端呈現。故，如何在異地傳輸進行改良為當前課題之一。
本發明提供一種異地分享三維空間標註軌跡的方法及系統，可即時分享三維空間標註軌跡。
本發明的異地分享三維空間標註軌跡的方法，包括：響應於啟動第一電子裝置以顯示第一空間，透過第一電子裝置取得呈現在第一空間中的指定物件的第一基準點；在第一電子裝置顯示第一空間之後，透過第一電子裝置偵測第一空間中目標物的三維移動軌跡；透過第一電子裝置偵測三維移動軌跡的轉折點資訊，並且擷取三維移動軌跡的直徑；透過第一電子裝置傳送轉折點資訊以及直徑至第二電子裝置；以及響應於啟動第二電子裝置以顯示第二空間，透過第二電子裝置基於轉折點資訊與直徑重建三維移動軌跡，並在第二空間中基於相對於第一基準點的第二基準點呈現三維移動軌跡。
本發明的異地分享三維空間標註軌跡的系統，包括：第一電子裝置以及第二電子裝置，其中第一電子裝置與第二電子裝置經由網路互相溝通。第一電子裝置經配置以：響應於啟動第一電子裝置以顯示第一空間，取得呈現在第一空間中的指定物件的第一基準點；在第一電子裝置顯示第一空間之後，偵測第一空間中目標物的三維移動軌跡；偵測三維移動軌跡的轉折點資訊，並且擷取三維移動軌跡的直徑；以及傳送轉折點資訊以及直徑至第二電子裝置。第二電子裝置經配置以：響應於啟動第二電子裝置以顯示第二空間，基於轉折點資訊與直徑重建三維移動軌跡，並在第二空間中基於相對於第一基準點的第二基準點呈現三維移動軌跡。
基於上述，本揭露透過第一電子裝置將所偵測到的三維移動軌跡的轉折點資訊以及直徑傳送至第二電子裝置，據此，可減少傳送資料的大小，進而減少第二電子裝置成像的延遲問題，達成即時分享的效果。
圖1是依照本發明一實施例的異地分享三維空間標註軌跡的系統方塊圖。請參照圖1，本系統包括第一電子裝置110、第二電子裝置120。第一電子裝置110與第二電子裝置120經由網路130互相溝通。在一實施例中，第一電子裝置110設置在本地端，第二電子裝置120設置在遠端。在另一實施例中，第一電子裝置110與第二電子裝置120可同時設置在同一個空間中供不同使用者來使用。
第一電子裝置110與第二電子裝置120可以是頭戴式顯示器、混合實境（Mixed Reality，MR）眼鏡或擴增實境（Augmented Reality，AR）眼鏡。另外，假設將第一電子裝置110作為操作端，將第二電子裝置120作為接收端，則第一電子裝置110可採用頭戴式顯示器、MR眼鏡或AR眼鏡來實現，第二電子裝置120可採用個人電腦、筆記型電腦、平板電腦、智慧型手機、智慧電視等具有顯示器的電子裝置來實現。
第一電子裝置110包括運算設備111、顯示器113、通訊設備115以及感測器117。運算設備111耦接至顯示器113、通訊設備115以及感測器117。第二電子裝置120包括運算設備121、顯示器123、通訊設備125以及感測器127。運算設備121耦接至顯示器123、通訊設備125以及感測器127。
運算設備111、121分別包括有處理器以及儲存器。儲存器中用以儲存一或多個程式碼片段供其對應的處理器執行。所述處理器例如為中央處理單元（Central Processing Unit，CPU）、物理處理單元（Physics Processing Unit，PPU）、可程式化之微處理器（Microprocessor）、嵌入式控制晶片、數位訊號處理器（Digital Signal Processor，DSP）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）或其他類似裝置。
所述儲存器例如為任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合。
感測器117、127例如為影像感測器（image sensor），以將光學影像轉換成電子訊號的設備。影像感測器主要分為感光耦合元件（Charge Coupled Device，CCD）以及互補式金屬氧化物半導體（Complementary Metal-Oxide Semiconductor，CMOS）。
通訊設備115、125可以是採用區域網路（Local Area Network，LAN）技術、無線區域網路（Wireless LAN，WLAN）技術或行動通訊技術的晶片或電路。區域網路例為乙太網路（Ethernet）。無線區域網路例如為Wi-Fi。行動通訊技術例如為全球行動通訊系統（Global System for Mobile Communications，GSM）、第三代行動通訊技術（third-Generation，3G）、第四代行動通訊技術（fourth-Generation，4G）、第五代行動通訊技術（fifth-Generation，5G）等。
在另一實施例中，所述系統還可進一步設置雲端伺服器，使得第一電子裝置110與第二電子裝置120中的其中一者將資料/資訊上傳至雲端伺服器，另一者再自雲端伺服器下載所需的資料/資訊。
圖2是依照本發明一實施例的異地分享三維空間標註軌跡的系統示意圖。在本實施例中，假設第一電子裝置110與第二電子裝置120為頭戴式的混合實境眼鏡。並且，假設使用者U1配戴第一電子裝置110，使用者U2配戴第二電子裝置120。
第一電子裝置110的顯示器113用以顯示第一空間210，並在第一空間210中呈現指定物件B1。在啟動第一電子裝置110顯示第一空間210後，第一電子裝置110會產生第一空間210的座標系統（具有原點座標O1），並且進一步取得指定物件B1的第一基準點P1，並將第一基準點P1傳送至第二電子裝置120。
第二電子裝置120的顯示器123用以顯示第二空間220，並在第二空間220中呈現指定物件B2。在啟動第二電子裝置120顯示第二空間220後，第二電子裝置120會產生第二空間220的座標系統（具有原點座標O2）。第二電子裝置120會在第二空間220中基於相對於第一基準點P1的第二基準點P2來顯示對應於指定物件B1的指定物件B2，使得第二空間220所呈現的內容得以對應於第一空間210所呈現的內容。
在一實施例中，第一空間210中所顯示的指定物件B1是由使用者U1所看到的實體物體（例如機台）的成像。第二空間220中所顯示的指定物件B2則是由運算設備121基於所述實體物體預先建立的虛擬模型。
在另一實施例中，第一空間210中的指定物件B1是由運算設備111基於實體物體預先建立的虛擬模型。第二空間220中的指定物件B2是由運算設備121基於所述實體物體預先建立的虛擬模型。
在又一實施例中，第一電子裝置110與第二電子裝置120為設置在不同實際空間中。第一空間210中所觀察的指定物件B1是由使用者U1所看到的實體物體（例如機台）的成像。第二空間220中所觀察的指定物件B2同樣是由使用者U2所看到的實體物體的成像，使用者U1與使用者U2所看到的是同一樣式實體機台。
在一實施例中，第一空間210中所顯示的指定物件B1是由運算設備111基於實體物體（例如機台）預先建立的虛擬模型。第二空間220中所顯示的指定物件B2則是由使用者U2所看到的實體物體（例如機台）的成像。
第一電子裝置110可透過感測器117來偵測使用者U1利用目標物的操作而獲得三維移動軌跡，並在第二電子裝置120的第二空間220中相對應地呈現所述三維移動軌跡。底下再舉一實施例來說明。
圖3是依照本發明一實施例的異地分享三維空間標註軌跡的方法流程圖。請參照圖1～圖3，在步驟S305中，響應於啟動第一電子裝置110以顯示第一空間210，透過第一電子裝置110取得呈現在第一空間210中的指定物件B1的第一基準點P1。第一電子裝置110在被啟動而顯示第一空間210時，會產生一個座標系統。例如，基於原點座標O1產生對應的座標系統。接著，透過感測器117感測目標物在此座標系統中的移動，以進行資料的收集。在此，目標物例如為使用者U1的手。第一空間210例如為第一電子裝置110所顯示的混合實境畫面對應的空間。
接著，在步驟S310中，在第一電子裝置110顯示第一空間210之後，透過第一電子裝置110偵測第一空間210中目標物的三維移動軌跡。即，經由感測器117來偵測使用者U1的手的操作，以獲得三維移動軌跡。
接著，在步驟S315中，透過第一電子裝置110偵測三維移動軌跡的轉折點資訊，並且擷取三維移動軌跡的直徑。舉例來說，在感測器117偵測到三維移動軌跡之後，運算設備111便可自三維移動軌跡中來取其直徑以及轉折點資訊。例如，運算設備111可提供輸入選項供使用者U1來選擇軌跡的粗細（直徑）、顏色等參數，或者利用預設的軌跡的粗細（直徑）、顏色等參數來產生三維移動軌跡。轉折點資訊中記錄著被判定為轉折點的座標資訊。
在本實施例中，運算設備111先自三維移動軌跡取出多個取樣點，根據每一個取樣點與其前後相鄰的兩個取樣點來形成兩條連線，並由此兩條連線來產生夾角。響應於夾角小於設定值，運算設備111判定此取樣點為轉折點，並記錄轉折點的座標至轉折點資訊。
圖4是依照本發明一實施例的三維移動軌跡的示意圖。請參照圖4，其繪示出部分的三維移動軌跡401，並以取樣點V
n來進行說明。取出取樣點V
n前後相鄰的取樣點V
n-1及取樣點V
n+1來計算取樣點V
n對應的夾角θ
n。即，基於取樣點V
n與取樣點V
n-1形成第一連線，並基於取樣點V
n與取樣點V
n+1形成第二連線。並且，由第一連線與第二連線來產生夾角θ
n。例如，可透過下述公式來獲得夾角θ
n：
。
代表取樣點V
n與取樣點V
n-1形成的向量，
代表取樣點V
n與取樣點V
n+1形成的向量。
接著，運算設備111判斷夾角θ
n是否小於設定值（設定值例如為180°、170°等）。響應於夾角θ
n小於設定值，運算設備111判定取樣點V
n為轉折點，並記錄此轉折點的座標至轉折點資訊。轉折點資訊中僅記錄被判定為轉折點的點。倘若夾角θ
n未小於設定值，運算設備111判定取樣點V
n不是轉折點。
另外，運算設備111還會進一步將每相鄰的兩個轉折點的切線的交點座標作為中間點而記錄至轉折點資訊。即，在所記錄的轉折點資訊中針對每個轉折點與其下一個轉折點來計算一個中間點。以轉折點P
m與轉折點P
m+1而言，計算轉折點P
m與轉折點P
m+1兩者的切線，之後，計算出兩個切線的相交的交點座標記錄至轉折點資訊以作為轉折點P
m與轉折點P
m+1之間的中間點P
m+0.5。
之後，在步驟S320中，透過第一電子裝置110傳送轉折點資訊以及直徑至第二電子裝置120。並且，在步驟S325中，響應於啟動第二電子裝置120以顯示第二空間220，透過第二電子裝置120基於轉折點資訊與直徑重建三維移動軌跡，並在第二空間中220基於相對於第一基準點P1的第二基準點P2呈現三維移動軌跡。
在一實施例中，第一電子裝置110在傳送之前，可先透過運算設備111編碼轉折點資訊以及直徑而獲得編碼資訊，並將編碼資訊傳送至第二電子裝置120。在另一實施例中，第一電子裝置110可將編碼資訊傳送至雲端伺服器，使得第二電子裝置120得以自雲端伺服器下載編碼資訊。
第二電子裝置120在獲得編碼資訊後，由運算設備121對編碼資訊進行解碼以獲得轉折點資訊與直徑。之後，運算設備121判斷轉折點資訊中的轉折點數量是否大於門檻值（例如2）。響應於轉折點數量大於門檻值，運算設備121判定三維移動軌跡為曲線，將轉折點資訊中的所有轉折點及兩個轉折點之間的中間點代入至曲線產生器（例如貝滋曲線（Bezier curve）產生器）來重建曲線，並結合直徑來重建出三維移動軌跡。另外，響應於轉折點數量未大於門檻值，運算設備121判定三維移動軌跡為直線，則結合直徑來重建出三維移動軌跡（直線軌跡）。
第一電子裝置110與第二電子裝置120具有下述四種使用情境：第一種情境為在第一電子裝置110中顯示實體物體的成像，亦即該實體物體為使用者U1穿透過第一電子裝置110所見，並在第二電子裝置120中顯示對應於所述實體物體的虛擬模型；第二種情境為在第一電子裝置110中顯示第一虛擬模型，在第二電子裝置120中顯示對應於第一虛擬模型的第二虛擬模型；第三種情境為第一電子裝置110與第二電子裝置120處於異地實體空間，使用者U1穿透過第一電子裝置110看見實體物件，使用者U2透過第二電子裝置120看見實體物件。第四種情境為第一種情境的相反變化，在第二電子裝置120中顯示實體物體的成像，亦即該實體物體為使用者U2穿透過第二電子裝置120所見，並在第一電子裝置110中顯示對應於所述實體物體的虛擬模型。在第一、第三與第四種情境下，實體物體上會具有至少一個識別標記，以作為基準點。上述步驟S305～S325分別適用於所述四種情境，具體說明如下。
在第一種情境下，指定物件B1為對應至實體物體在第一空間210的呈現，所述實體物體上具有識別標記。響應於啟動第一電子裝置110以顯示第一空間210，實體物體為使用者穿透過第一電子裝置110所見，第一電子裝置110透過其感測器117拍攝實體物體而在顯示器113中紀錄對應的指定物件B1的空間位址。第一電子裝置110啟動原點空間偵測，以當下偵測到的空間為第一空間210。此時，運算設備111可基於此識別標記來取得呈現在第一空間210中的指定物件B1的第一基準點P1。第一電子裝置110還會一併傳送第一基準點P1至第二電子裝置120。透過第二電子裝置120的運算設備121在第二空間220中定位出相對於第一基準點P1的第二基準點P2，並在第二空間220中基於第二基準點P2來顯示對應於指定物件B1的虛擬模型（指定物件B2）。
在第一種情境下，使用者U1透過第一電子裝置110偵測第一空間210中目標物（使用者U1的手）的三維移動軌跡，並將基於三維移動軌跡的轉折點資訊以及直徑傳送到第二電子裝置120。第二電子裝置120在重建三維移動軌跡之後，運算設備121在第二空間220中呈現相對應虛擬模型（指定物件B2）的三維移動軌跡。
另一方面，在第一種情境下，使用者U2也可透過第二電子裝置120偵測在第二空間220中另一目標物（使用者U2的手）的三維移動軌跡，並透過運算設備121來偵測所述三維移動軌跡的轉折點資訊，並且擷取所述三維移動軌跡的直徑後，將所獲得的轉折點資訊以及直徑傳送到第一電子裝置110，使得第一電子裝置110基於所接收到的轉折點資訊以及直徑來重建三維移動軌跡（其為第二電子裝置120所偵測到）。而第一電子裝置110在重建三維移動軌跡之後，運算設備111在第一空間210中呈現相對應指定物件B1的三維移動軌跡。
使用者U1在第一空間210使用第一電子裝置110傳送轉折點資訊以及直徑到第二電子裝置120，在重建三維移動軌跡之後，運算設備121在第二空間220中呈現相對應虛擬模型（指定物件B2）的三維移動軌跡。同樣的，使用者U2在第二空間220使用第二電子裝置120傳送轉折點資訊以及直徑到第一電子裝置110後，在重建三維移動軌跡之後，運算設備111在第一空間210中呈現相對應（指定物件B1）的三維移動軌跡。
另外，在第一種情境下，在第二空間220中呈現相對應虛擬模型（指定物件B2）之後，響應於虛擬模型在第二空間220中的移動，運算設備121取得虛擬模型的座標偏移資訊，並在第二空間220中基於所述座標偏移資訊來呈現相對應虛擬模型的三維移動軌跡。
在第二種情境下，指定物件B1為載入至第一空間210中的第一虛擬模型，第一虛擬模型中預先定義了第一基準點P1的位置；指定物件B2為載入至第二空間220中的第二虛擬模型，第二虛擬模型中預先定義了對應第一基準點P1的第二基準點P2的位置。響應於啟動第一電子裝置110以顯示第一空間210，透過運算設備111在第一空間210中載入第一虛擬模型，並取得呈現第一基準點。響應於啟動第二電子裝置120以顯示第二空間220，運算設備121在第二空間220中載入相對於第一虛擬模型的第二虛擬模型。響應於第一虛擬模型在第一空間210中的移動，運算設備111取得第一虛擬模型的第一座標偏移資訊並傳送至第二電子裝置120，使得第二電子裝置120的運算設備121在第二空間220中基於第一座標偏移資訊來呈現相對應第二虛擬模型的三維移動軌跡。響應於第二虛擬模型在第二空間220中的移動，第二電子裝置120的運算設備121取得第二虛擬模型的第二座標偏移資訊，並且在第二空間220中基於第二座標偏移資訊來呈現相對應第一虛擬模型的三維移動軌跡。
也就是說，在第二種情境下，在定義好第一電子裝置110與第二電子裝置120兩者對應的第一空間210與第二空間220之後，在第一空間210的第一虛擬模型沒有移動的情況下，第一電子裝置110只需記錄三維移動軌跡的資訊，而不用記錄與第一虛擬模型相關的座標連動。倘若第一空間210的第一虛擬模型移動，則需將三維移動軌跡的資訊以及第一座標偏移資訊一併傳送至第二電子裝置120，以使第二電子裝置120的第二空間220呈現的第二虛擬模型對應移動。
在第三種情境下，使用者U1與使用者U2所處的當下空間，透過第一電子裝置110以及第二電子裝置120所取得目視實體物體的空間位置。此實施例中，第一空間210與第二空間220為異地實體空間。第一電子裝置110啟動原點空間偵測，以當下偵測到的空間為第一空間210。響應於啟動第一電子裝置110以顯示第一空間210，第一電子裝置110的運算設備111基於識別標記來取得呈現在第一空間210中的指定物件B1的第一基準點P1。另外，第二電子裝置120啟動原點空間偵測，以當下偵測到的空間為第二空間220。響應於啟動第二電子裝置120以顯示第二空間220，第二電子裝置120的運算設備121基於識別標記來取得呈現在第二空間220中的指定物件B2的第二基準點P2。
在第四種情境下，在第二電子裝置120中顯示實體物體的成像，亦即該實體物體為使用者穿透過第二電子裝置120所見，並在第一電子裝置110中顯示對應於所述實體物體的虛擬模型。第二電子裝置120啟動原點空間偵測，以當下偵測到的空間為第二空間220。使用者U1在第一空間210使用第一電子裝置110傳送相對於第一基準點P1的轉折點資訊以及直徑到第二電子裝置120後，在重建三維移動軌跡之後，運算設備121在第二空間220中呈現相對於第二基準點P2的三維移動軌跡。使用者U2在第二空間220使用第二電子裝置120傳送相對於第二基準點P2的轉折點資訊以及直徑到第一電子裝置110後，在重建三維移動軌跡之後，運算設備111在第一空間210中呈現相對於第一基準點P1的三維移動軌跡。
綜上所述，透過本揭露可將操作端的電子裝置（例如第一電子裝置）所偵測到的三維移動軌跡的轉折點資訊以及直徑傳送至接收端的電子裝置（例如第二電子裝置）。據此，僅傳輸轉折點資訊及直徑而無需傳輸完整的資料，可大幅降低傳輸的資料量。
以記錄完整資料量而言，其記錄格式為：每一點3維座標(x,y,z)，共需記錄156個點；每一點的法向量資訊；每一個面的資訊，共144個面；顏色資訊，即RGB，共3個位元。檔案容量為18.1 Kbytes。以4G網路傳輸而言，其傳輸時間為1.8 ms。而以本揭露方式而言，其記錄格式為：轉折點的三維座標(x,y,z)，共3個點；直徑，共1個整數值；顏色資訊，即RGB，共3個位元。檔案容量為49 bytes。以4G網路傳輸而言，其傳輸時間為0.005 ms。
由於減少了傳輸的資料量，進而可加快傳輸速度，而解決遠端的電子裝置成像的延遲問題，並且在兩個電子裝置中呈現的指定物件未移動的情況下，可不需經過任何座標轉換即可進行三維移動軌跡的顯示，達成即時分享的效果。
110:第一電子裝置
120:第二電子裝置
130:網路
111、121:運算設備
113、123:顯示器
115、125:通訊設備
117、127:感測器
210:第一空間
220:第二空間
401:三維移動軌跡
B1、B2:指定物件
O1、O2:原點座標
P1:第一基準點
P2:第二基準點
U1、U2:使用者
V
n、V
n-1、V
n+1:取樣點
θ
n:夾角
S305～S320:異地分享三維空間標註軌跡的方法流程圖
圖1是依照本發明一實施例的異地分享三維空間標註軌跡的系統方塊圖。
圖2是依照本發明一實施例的異地分享三維空間標註軌跡的系統示意圖。
圖3是依照本發明一實施例的異地分享三維空間標註軌跡的方法流程圖。
圖4是依照本發明一實施例的三維移動軌跡的示意圖。
S305~S325:異地分享三維空間標註軌跡的方法流程圖
Claims (22)
- 一種異地分享三維空間標註軌跡的方法，包括： 響應於啟動第一電子裝置以顯示第一空間，透過該第一電子裝置取得呈現在該第一空間中的指定物件的第一基準點； 在該第一電子裝置顯示該第一空間之後，透過該第一電子裝置偵測該第一空間中目標物的三維移動軌跡； 透過該第一電子裝置偵測該三維移動軌跡的轉折點資訊，並且擷取該三維移動軌跡的直徑； 透過該第一電子裝置傳送該轉折點資訊以及該直徑至第二電子裝置；以及 響應於啟動該第二電子裝置以顯示第二空間，透過該第二電子裝置基於該轉折點資訊與該直徑重建該三維移動軌跡，並在該第二空間中基於相對於該第一基準點的第二基準點呈現該三維移動軌跡。
- 如請求項1所述的異地分享三維空間標註軌跡的方法，其中透過該第一電子裝置偵測該三維移動軌跡的轉折點資訊的步驟包括： 自該三維移動軌跡取出多個取樣點，根據第n個取樣點與第n-1個取樣點形成的第一連線，以及該第n個取樣點與第n+1個取樣點形成的第二連線，產生夾角； 判斷該夾角是否小於設定值；以及 響應於該夾角小於該設定值，判定該第n個取樣點為轉折點，並記錄該轉折點的座標至該轉折點資訊。
- 如請求項2所述的異地分享三維空間標註軌跡的方法，其中透過該第一電子裝置偵測該三維移動軌跡的轉折點資訊的步驟包括： 將每相鄰的兩個轉折點的切線的交點座標作為中間點而記錄至該轉折點資訊。
- 如請求項1所述的異地分享三維空間標註軌跡的方法，其中在透過該第一電子裝置傳送該轉折點資訊以及該直徑至該第二電子裝置之後，更包括： 透過該第二電子裝置判斷該轉折點資訊中的轉折點數量是否大於門檻值； 響應於該轉折點數量大於該門檻值，判定該三維移動軌跡為曲線；以及 響應於該轉折點數量未大於該門檻值，判定該三維移動軌跡為直線。
- 如請求項1所述的異地分享三維空間標註軌跡的方法，其中透過該第一電子裝置傳送該轉折點資訊以及該直徑至該第二電子裝置的步驟包括： 透過該第一電子裝置編碼該轉折點資訊以及該直徑而獲得編碼資訊；以及 透過該第一電子裝置傳送該編碼資訊至雲端伺服器， 其中，在透過該第一電子裝置傳送該編碼資訊至該雲端伺服器之後，更包括： 透過該第二電子裝置自該雲端伺服器下載該編碼資訊，並進行解碼以獲得該轉折點資訊與該直徑。
- 如請求項1所述的異地分享三維空間標註軌跡的方法，其中該指定物件為對應至實體物體在該第一空間的呈現，該實體物體上具有識別標記， 其中，響應於啟動該第一電子裝置以顯示該第一空間，更包括： 透過該第一電子裝置基於該識別標記來取得呈現在該第一空間中的該指定物件的該第一基準點， 其中，響應於啟動該第二電子裝置以顯示該第二空間，更包括： 透過該第二電子裝置在該第二空間中定位出相對於該第一基準點的該第二基準點； 透過該第二電子裝置在該第二空間中基於該第二基準點來顯示對應於該指定物件的虛擬模型；以及 在重建該三維移動軌跡之後，透過該第二電子裝置在該第二空間中呈現相對應該虛擬模型的該三維移動軌跡。
- 如請求項1所述的異地分享三維空間標註軌跡的方法，其中該指定物件為對應至呈現在該第二空間中的實體物體的虛擬模型，其中該方法更包括： 透過該第一電子裝置傳送相對於該第一基準點的該轉折點資訊以及該直徑至該第二電子裝置，使得該第二電子裝置在重建該三維移動軌跡之後，在該第二空間中呈現相對於該第二基準點的該三維移動軌跡； 透過該第二電子裝置傳送相對於該第二基準點的轉折點資訊以及直徑至該第一電子裝置，使得該第一電子裝置在重建該三維移動軌跡之後，在該第一空間中呈現相對於該第一基準點的該三維移動軌跡。
- 如請求項6所述的異地分享三維空間標註軌跡的方法，其中在透過該第二電子裝置該第二空間中基於該第二基準點來顯示對應於該指定物件的該虛擬模型之後，更包括： 響應於該虛擬模型在該第二空間中的移動，透過該第二電子裝置取得該虛擬模型的座標偏移資訊；以及 透過該第二電子裝置在該第二空間中基於該座標偏移資訊來呈現相對應該虛擬模型的該三維移動軌跡。
- 如請求項1所述的異地分享三維空間標註軌跡的方法，其中該指定物件為載入至該第一空間中的第一虛擬模型，該第一虛擬模型包括該第一基準點， 其中，響應於啟動該第二電子裝置以顯示該第二空間，更包括： 透過該第二電子裝置在該第二空間中載入相對於該第一虛擬模型的第二虛擬模型，其中該第二虛擬模型包括該第二基準點。
- 如請求項9所述的異地分享三維空間標註軌跡的方法， 其中，響應於該第一虛擬模型在該第一空間中的移動， 透過該第一電子裝置取得該第一虛擬模型的第一座標偏移資訊並傳送至該第二電子裝置；以及 透過該第二電子裝置在該第二空間中基於該第一座標偏移資訊來呈現相對應該第二虛擬模型的該三維移動軌跡， 其中，響應於該第二虛擬模型在該第二空間中的移動，包括： 透過該第二電子裝置取得該第二虛擬模型的第二座標偏移資訊；以及 透過該第二電子裝置在該第二空間中基於該第二座標偏移資訊來呈現相對應該第一虛擬模型的該三維移動軌跡。
- 如請求項1所述的異地分享三維空間標註軌跡的方法，其中該指定物件對應至實體物體，該實體物體上具有識別標記， 其中，響應於啟動該第一電子裝置以顯示該第一空間，更包括： 透過該第一電子裝置基於該識別標記來取得呈現在該第一空間中的該指定物件的該第一基準點， 其中，響應於啟動該第二電子裝置以顯示該第二空間，更包括： 透過該第二電子裝置基於該識別標記來取得呈現在該第二空間中的該指定物件的第二基準點；以及 在重建該三維移動軌跡之後，在該第二空間中呈現相對應該基準點的該三維移動軌跡。
- 一種異地分享三維空間標註軌跡的系統，包括： 第一電子裝置以及第二電子裝置，其中該第一電子裝置與該第二電子裝置經由網路互相溝通； 該第一電子裝置經配置以：響應於啟動第一電子裝置以顯示第一空間，取得呈現在該第一空間中的指定物件的第一基準點；在該第一電子裝置顯示該第一空間之後，偵測該第一空間中目標物的三維移動軌跡；偵測該三維移動軌跡的轉折點資訊，並且擷取該三維移動軌跡的直徑；以及傳送該轉折點資訊以及該直徑至該第二電子裝置； 該第二電子裝置經配置以：響應於啟動第二電子裝置以顯示第二空間，基於該轉折點資訊與該直徑重建該三維移動軌跡，並在該第二空間基於相對於該第一基準點的第二基準點呈現該三維移動軌跡。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，其中該第一電子裝置經配置以： 自該三維移動軌跡取出多個取樣點，根據第n個取樣點與第n-1個取樣點形成的第一連線，以及該第n個取樣點與第n+1個取樣點形成的第二連線，產生夾角； 判斷該夾角是否小於設定值；以及 響應於該夾角小於該設定值，判定該第n個取樣點為轉折點，並記錄該轉折點的座標至該轉折點資訊。
- 如請求項13所述的異地分享三維空間標註軌跡的系統，其中該第一電子裝置經配置以： 將每相鄰的兩個轉折點的切線的交點座標作為中間點而記錄至該轉折點資訊。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，其中該第二電子裝置經配置以： 判斷該轉折點資訊中的轉折點數量是否大於門檻值； 響應於該轉折點數量大於該門檻值，判定該三維移動軌跡為曲線；以及 響應於該轉折點數量未大於該門檻值，判定該三維移動軌跡為直線。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，更包括：雲端伺服器， 其中該第一電子裝置經配置以：編碼該轉折點資訊以及該直徑而獲得編碼資訊，並傳送該編碼資訊至該雲端伺服器， 該第二電子裝置經配置以：自該雲端伺服器下載該編碼資訊，並進行解碼以獲得該轉折點資訊與該直徑。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，其中該第一電子裝置與該第二電子裝置分別為頭戴式顯示器、混合實境眼鏡或擴增實境眼鏡， 該第一電子裝置包括： 第一顯示器； 第一通訊設備； 第一感測器，經配置以偵測該目標物的該三維移動軌跡； 第一運算設備，耦接至該第一顯示器、該第一通訊設備與該第一感測器，且經配置以：響應於啟動該第一電子裝置以在該第一顯示器中顯示該第一空間，取得呈現在該第一空間中的該指定物件的該第一基準點；偵測該三維移動軌跡的轉折點資訊，擷取該三維移動軌跡的該直徑，並且透過該第一通訊設備將該轉折點資訊以及該直徑傳送至該第二電子裝置， 其中該第二電子裝置包括： 第二通訊設備，經由該網路與該第一通訊設備建立連線； 第二顯示器；以及 第二運算設備，耦接至該第二通訊設備與該第二顯示器，且經配置以：響應於啟動該第二電子裝置以在該第二顯示器中顯示該第二空間，基於該轉折點資訊與該直徑重建該三維移動軌跡，並在該第二空間中基於相對於該第一基準點的第二基準點呈現該三維移動軌跡。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，其中該指定物件為對應至實體物體在該第一空間的呈現，該實體物體上具有識別標記， 其中，響應於啟動該第一電子裝置以顯示該第一空間，該第一電子裝置進一步經配置以：基於該識別標記來取得呈現在該第一空間中的該指定物件的該第一基準點， 其中，響應於啟動該第二電子裝置以顯示該第二空間，該第二電子裝置進一步經配置以：在該第二空間中定位出相對於該第一基準點的該第二基準點；在該第二空間中基於該第二基準點來顯示對應於該指定物件的虛擬模型；以及在重建該三維移動軌跡之後，在該第二空間中呈現相對應該虛擬模型的該三維移動軌跡。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，其中該指定物件為對應至呈現在該第二空間中的實體物體的虛擬模型， 該第一電子裝置經配置以：傳送相對於該第一基準點的該轉折點資訊以及該直徑至該第二電子裝置，使得該第二電子裝置在重建該三維移動軌跡之後，在該第二空間中呈現相對於該第二基準點的該三維移動軌跡； 該第二電子裝置經配置以：傳送相對於該第二基準點的轉折點資訊以及直徑至該第一電子裝置，使得該第一電子裝置在重建該三維移動軌跡之後，在該第一空間中呈現相對於該第一基準點的該三維移動軌跡。
- 如請求項18所述的異地分享三維空間標註軌跡的系統，其中響應於該虛擬模型在該第二空間中的移動，該第二電子裝置進一步經配置以： 取得該虛擬模型的座標偏移資訊；以及 在該第二空間中基於該座標偏移資訊來呈現相對應該虛擬模型的該三維移動軌跡。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，其中該指定物件為載入至該第一空間中的第一虛擬模型，該第一虛擬模型包括該第一基準點， 其中，響應於啟動第二電子裝置以顯示第二空間，該第二電子裝置進一步經配置以：在該第二空間中載入相對於該第一虛擬模型的一第二虛擬模型，其中該第二虛擬模型包括該第二基準點， 其中，響應於該第一虛擬模型在該第一空間中的移動，該第一電子裝置進一步經配置以：取得該第一虛擬模型的第一座標偏移資訊並傳送至該第二電子裝置；以及 響應於該第一虛擬模型在該第一空間中的移動，該第二電子裝置進一步經配置以：在該第二空間中基於該第一座標偏移資訊來呈現相對應該第二虛擬模型的該三維移動軌跡， 其中，響應於該第二虛擬模型在該第二空間中的移動，該第二電子裝置進一步經配置以：取得該第二虛擬模型的第二座標偏移資訊；以及在該第二空間中基於該第二座標偏移資訊來呈現相對應該虛擬模型的該三維移動軌跡。
- 如請求項12所述的異地分享三維空間標註軌跡的系統，其中該指定物件對應至實體物體，該實體物體上具有識別標記， 其中，響應於啟動該第一電子裝置以顯示該第一空間，該第一電子裝置進一步經配置以：基於該識別標記來取得呈現在該第一空間中的該指定物件的該第一基準點， 其中，響應於啟動該第二電子裝置以顯示該第二空間，該第二電子裝置進一步經配置以：基於該識別標記來取得呈現在該第二空間中的該指定物件的第二基準點；以及在重建該三維移動軌跡之後，在該第二空間中呈現相對應該基準點的該三維移動軌跡。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111115556A TWI808734B (zh) | 2022-04-25 | 2022-04-25 | 異地分享三維空間標註軌跡的方法及系統 |
| CN202210477566.8A CN116993771A (zh) | 2022-04-25 | 2022-04-28 | 异地分享三维空间标注轨迹的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111115556A TWI808734B (zh) | 2022-04-25 | 2022-04-25 | 異地分享三維空間標註軌跡的方法及系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI808734B TWI808734B (zh) | 2023-07-11 |
| TW202343268A true TW202343268A (zh) | 2023-11-01 |
Family
ID=88149345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111115556A TWI808734B (zh) | 2022-04-25 | 2022-04-25 | 異地分享三維空間標註軌跡的方法及系統 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116993771A (zh) |
| TW (1) | TWI808734B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI411939B (zh) * | 2009-07-10 | 2013-10-11 | Univ Nat Cheng Kung | 移動軌跡重建系統及其訊號輸入裝置 |
| TWI676909B (zh) * | 2018-01-19 | 2019-11-11 | 財團法人工業技術研究院 | 顯示系統及顯示方法 |
| TWI708130B (zh) * | 2019-11-11 | 2020-10-21 | 東元電機股份有限公司 | 路徑軌跡追蹤系統 |
| CN113160275B (zh) * | 2021-04-21 | 2022-11-08 | 河南大学 | 一种基于多个视频的自动目标跟踪和轨迹计算的方法 |
-
2022
- 2022-04-25 TW TW111115556A patent/TWI808734B/zh active
- 2022-04-28 CN CN202210477566.8A patent/CN116993771A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| TWI808734B (zh) | 2023-07-11 |
| CN116993771A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7506091B2 (ja) | 画像ベースの位置特定 | |
| KR102332950B1 (ko) | 구면 비디오 편집 | |
| TWI619088B (zh) | 圖像資料處理系統和相關方法以及相關圖像融合方法 | |
| WO2018059034A1 (zh) | 一种全景视频播放方法及装置 | |
| US10560755B2 (en) | Methods and systems for concurrently transmitting object data by way of parallel network interfaces | |
| US9437045B2 (en) | Real-time mobile capture and application of photographic images as textures in three-dimensional models | |
| KR102381433B1 (ko) | 화각 가상 현실 스트리밍을 위한 세션 제어 지원을 위한 방법 및 장치 | |
| US20220351390A1 (en) | Method for generating motion capture data, electronic device and storage medium | |
| US20120293613A1 (en) | System and method for capturing and editing panoramic images | |
| TWI642903B (zh) | 用於頭戴式顯示裝置的定位方法、定位器以及定位系統 | |
| JP2005250950A (ja) | マーカ提示用携帯端末および拡張現実感システムならびにその動作方法 | |
| JPWO2013187129A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| CN110520903A (zh) | 基于用户移动信息显示图像的方法和装置 | |
| CN116866336A (zh) | 一种进行远程协助的方法与设备 | |
| WO2019059325A1 (ja) | 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム | |
| CN111583350B (zh) | 图像处理方法、装置、系统及服务器 | |
| Sörös et al. | Augmented visualization with natural feature tracking | |
| CN111563879B (zh) | 一种应用画面显示质量的检测方法及装置 | |
| TWI808734B (zh) | 異地分享三維空間標註軌跡的方法及系統 | |
| US11500455B2 (en) | Video streaming system, video streaming method and apparatus | |
| US20230342945A1 (en) | Method and system for remote sharing three dimensional space annotation trajectory | |
| CN116212361B (zh) | 虚拟对象显示方法、装置和头戴式显示装置 | |
| CN116681818B (zh) | 新视角重建方法、新视角重建网络的训练方法及装置 | |
| JP2024525132A (ja) | 共有仮想空間内で電子装置を位置決め及び方向付けするためのコンピュータ実装方法 | |
| WO2023081213A1 (en) | Video processing systems and methods |