TWI830523B - 具分散式與互動性之擴增實境遠端服務方法 - Google Patents
具分散式與互動性之擴增實境遠端服務方法 Download PDFInfo
- Publication number
- TWI830523B TWI830523B TW111146589A TW111146589A TWI830523B TW I830523 B TWI830523 B TW I830523B TW 111146589 A TW111146589 A TW 111146589A TW 111146589 A TW111146589 A TW 111146589A TW I830523 B TWI830523 B TW I830523B
- Authority
- TW
- Taiwan
- Prior art keywords
- computing device
- augmented reality
- image
- data
- captured image
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 16
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims 1
- 239000011521 glass Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
一種具分散式與互動性之擴增實境遠端服務方法包含以下步驟：(A)一運算設備經由一通訊網路接收來自一擴增實境設備的一拍攝影像；(B)該運算設備將該拍攝影像進行一影像處理，以獲得一影像處理資料；(C)該運算設備根據該影像處理資料，將該拍攝影像進行一影像渲染，以產生一包括一虛擬物件的渲染影像；及(D)該運算設備經由該通訊網路傳送該渲染影像至該擴增實境設備，以致該擴增實境設備顯示該渲染影像。該擴增實境設備僅需要進行影像的拍攝與顯示之基礎，不再受到效能的限制。
Description
本發明是有關於一種基於使用者圖形介面的互動技術，特別是指一種具分散式與互動性之擴增實境遠端服務方法。
近幾年擴增實境(Augmented Reality, 下稱AR)技術被應用於工業、教育、醫療、半導體等產業，以有效提升工作效率。AR技術是在現實情境之上疊加虛擬技術，增加臨場感，其中AR眼鏡是一種可以將虛擬影像投影在現實場景的穿戴式設備。詳細而言，AR眼鏡能在真實世界呈現虛擬影像給配戴者，可使配戴者更加了解現場狀況，讓配戴者在虛擬影像與真實世界互動，避免因資訊不足而做出錯誤的判斷。
然而，現有的AR眼鏡受到效能的限制無法完全整合物聯網或人工智慧等技術，且為了保持AR眼鏡能有足夠運行的效能，AR眼鏡會有一定的重量，使用者長時間配戴會有不適的情況。
因此，本發明的目的，即在提供一種使擴增實境設備不受到效能限制的具分散式與互動性之擴增實境遠端服務方法。
於是，本發明具分散式與互動性之擴增實境遠端服務方法，由一擴增實境遠端服務系統來實施，該擴增實境遠端服務系統包括一擴增實境設備，及一經由一通訊網路連接該擴增實境設備的運算設備，該方法包含一步驟(A)、一步驟(B)、一步驟(C)，及 一步驟(D)。
在該步驟(A)中，該運算設備經由該通訊網路接收來自該擴增實境設備的一拍攝影像。
在該步驟(B)中，該運算設備將該拍攝影像進行一影像處理，以獲得一影像處理資料。
在該步驟(C)中，該運算設備根據該影像處理資料，將該拍攝影像進行一影像渲染，以產生一包括一虛擬物件的渲染影像。
在該步驟(D)中，該運算設備經由該通訊網路傳送該渲染影像至該擴增實境設備，以致該擴增實境設備顯示該渲染影像。
本發明之功效在於：藉由該運算設備進行該影像處理及該影像渲染的高強度運算，使得該擴增實境設備僅具備進行影像的拍攝與顯示之基礎功能，大幅降低該擴增實境設備的運算負擔及重量，不再受到效能的限制。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，本發明具分散式與互動性之擴增實境遠端服務方法的一實施例是由一擴增實境遠端服務系統1來實施。該擴增實境遠端服務系統1包括一擴增實境設備11、一機台設備12，及一經由一通訊網路100連接該擴增實境設備11及該機台設備12的運算設備13。
值得注意的是，在本實施例中，擴增實境遠端服務以工業服務為例，該擴增實境設備11例如為擴增實境眼鏡、智慧型平板、智慧型手機，該機台設備12例如為電腦數值控制(Computer Numerical Control, CNC)工具機，該運算設備13為具有高效能運算能力的設備，例如為伺服器、桌上型電腦，在其他實施方式中，擴增實境遠端服務亦可例如為教育服務、醫療服務、半導體服務，不以此為限。
要再注意的是，在本實施例中，該擴增實境設備11、該機台設備12，及該運算設備13是利用第五代行動通訊技術(5G)網路與插座(Socket)通訊界面傳送資料，但不以此為限。
該運算設備13儲存有一頂點規範(Vertex Specification)資料、一標籤字典資料、一辨識參數資料，及多筆機台狀態資料，每一機台狀態資料包括多個分別對應多個狀態的區間，該等狀態例如為安全狀態、警告狀態，及危險狀態，該等區間例如為安全區間、警告區間，及危險區間。
參閱圖1、2展示了本發明的該實施例，以下詳述圖2所示的該實施例的各個步驟。
在步驟21中，該擴增實境設備11產生並經由該通訊網路100傳送一拍攝影像至該運算設備13。
在步驟22中，該運算設備13將該拍攝影像進行一影像處理，以獲得一影像處理資料，其中該影像處理資料包括一相關於該擴增實境設備11的相機內部參數資料，及一相關於該擴增實境設備11的相機外部參數資料。
搭配參閱圖3，步驟22包括子步驟221~224，以下說明步驟22所包括的子步驟。
在子步驟221中，該運算設備13根據該拍攝影像、該標籤字典資料，及該辨識參數資料進行一特徵比對，以產生一比對結果，該比對結果包括一正確標籤位置資訊，及一不正確標籤位置資訊之其中一者。
在子步驟222中，該運算設備13判定該比對結果是否包括該正確標籤頂點位置。當該運算設備13判定該比對結果包括該正確標籤頂點位置時，流程進行子步驟223；而當該運算設備13判定該比對結果包括該不正確標籤頂點位置時，則重複步驟21。
詳細而言，該運算設備13先根據該辨識參數資料辨識該拍攝影像是否具有目標標籤，若該運算設備13能辨識出該拍攝影像具有目標標籤，則產生該正確標籤位置資訊，反之，若該運算設備13無法辨識出該拍攝影像具有目標標籤，則產生該不正確標籤位置資訊。
在子步驟223中，該運算設備13根據該拍攝影像進行一相機校正(Camera Calibration)，以獲得該相機內部參數資料。
在子步驟224中，運算設備13根據該比對結果的該正確標籤頂點位置及該相機內部參數資料進行一相機姿態估計（Pose Estimation），以獲得一相關於該擴增實境設備11的相機外部參數資料。
值得注意的是，在本實施例中，該運算設備13是利用基於標記的方法，例如ArUco標記，進行該影像姿態估計，故會進行子步驟221、222。在其他實施方式中，該運算設備13亦可利用基於無標記的方法進行該影像姿態估計，及不需要進行子步驟221、222，但不以此為限。
在步驟23中，該運算設備13經由該通訊網路100接收多筆來自該機台設備12且分別對應該等機台狀態資料的感測數值。
在步驟24中，對於每一感測數值，該運算設備13判定該感測數值是否需要進行時域-頻域轉換。當該運算設備13判定出該感測數值需要進行時域-頻域轉換時，流程進行步驟25；而當該運算設備13判定出該感測數值不需要進行時域-頻域轉換時，則流程進行步驟26。
在步驟25中，對於每一需要進行時域-頻域轉換的感測數值，該運算設備13將該感測數值進行時域-頻域轉換。
在步驟26中，對於每一感測數值，該運算設備13根據該感測資料，及對應該感測資料的機台狀態資料進行比對分析，以在該機台狀態資料的該等區間中，獲得該感測數值所屬的一目標區間。
舉例來說，該等感測數值例如為該機台設備12的主軸X方向震動值、該機台設備12的主軸Y方向震動值、該機台設備12的主軸Z方向震動值、該機台設備12的主軸電流、該機台設備12的X軸位置、該機台設備12的Y軸位置、該機台設備12的Z軸位置、該機台設備12的X軸速度、該機台設備12的Y軸速度、該機台設備12的Z軸速度，該機台狀態資料例如以下表一所示。
表一
| 名稱 | 安全區間 | 警告區間 | 危險區間 |
| 主軸X方向震動值 | ＞26 | 26~43 | ＜43 |
| 主軸Y方向震動值 | ＞32 | 32~55 | ＜55 |
| 主軸Z方向震動值 | ＞4 | 4~7 | ＜7 |
| 主軸電流 | 0~17 | 18~28 | ＞28 |
| X軸位置 | 16~885 | 0~15、886~900 | ＜0、＞900 |
| Y軸位置 | 16~535 | 0~15、536~550 | ＜0、＞550 |
| Z軸位置 | 16~275 | 0~15、276~280 | ＜0、＞280 |
| X軸速度 | 0~3000 | 3001~6000 | ＞6000 |
| Y軸速度 | 0~3000 | 3001~6000 | ＞6000 |
| Z軸速度 | 0~3000 | 3001~5000 | ＞5000 |
在步驟27中，對於每一感測數值，該運算設備13根據該目標區間，獲得該目標區間所對應的一目標狀態。
舉例來說，若主軸X方向震動值為28，則在步驟26中，該目標區間為警告區間，在步驟27中，該目標狀態為警告狀態。
值得注意的是，由於在本實施例中，該等感測數值例如為該機台設備12的主軸X方向震動值、該機台設備12的主軸Y方向震動值，該機台設備12的主軸Z方向震動值需要在頻域進行分析，故以例如快速傅立葉轉換（Fast Fourier Transform, FFT），進行時域-頻域轉換，在其他實施方式中，若該等感測數值只需要在時域進行分析，則可不進行步驟24、25。
在步驟28中，該運算設備13根據該頂點規範資料、該影像處理資料、該等感測數值，及該等感測數值對應的目標狀態，將該拍攝影像進行一影像渲染(Image Shading)，以產生一渲染影像。該渲染影像包括該虛擬物件、該等感測數值，及多個分別對應該等感測數值的背景。
搭配參閱圖4，步驟28包括子步驟281、282，以下說明步驟28所包括的子步驟。
在子步驟281中，該運算設備13根據該頂點規範資料及該拍攝影像，獲得一相關於該虛擬物件的頂點資訊。該頂點資訊包括頂點、平面、頂點法向量、表面紋理等參數。
在子步驟282中，該運算設備13根據該拍攝影像、該頂點資訊、該影像處理資料、該等感測數值，及該等感測數值對應的目標狀態，以產生並經由該通訊網路100傳送該渲染影像至該擴增實境設備11。
要特別注意的是，在本實施例中，為使現場人員對該等感測數據保持敏感性，當設備出現異常時可立即做出最有利的應變決策，以降低因設備異常所產生之額外成本，因此該渲染影像包括該等感測數值及該等背景。詳細而言，在步驟26中該運算設備13進行比對分析，在步驟27中該運算設備13判斷該等感測數值所屬的目標區間是對應安全狀態、警告狀態，或危險狀態，並進行可視化圖像色系調整，如安全狀態使用白色背景、警告狀態使用黃色背景、危險狀態則使用紅色背景，在步驟28中，該運算設備13將該等感測數值及該等背景渲染至該渲染影像(如圖5所示)，使現場人員可直觀且快速地了解該機台設備12的狀態。
要再注意的是，在其他實施方式中，亦可不進行步驟23~27，在步驟28中，該運算設備13僅將該虛擬物件渲染至該渲染影像。詳細而言，該運算設備13根據該頂點規範資料獲得該頂點資訊，再根據步驟22獲得的該影像處理資料，將該頂點資訊進行座標轉換，以獲得該渲染影像。
在步驟29中，該運算設備13經由該通訊網路100傳送該渲染影像至該擴增實境設備11。
在步驟30中，該擴增實境設備11顯示該渲染影像。
綜上所述，本發明具分散式與互動性之擴增實境遠端服務方法，藉由該運算設備13進行該影像處理及該影像渲染的高強度運算，使得該擴增實境設備11僅需要具備影像的拍攝與顯示之基礎功能，大幅降低該擴增實境設備11的運算負擔及重量，不再受到效能的限制。此外，該運算設備13將該等感測數值及該等背景渲染至該渲染影像(如圖5所示)，使現場人員可直觀且快速地了解該機台設備12的狀態，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
1:擴增實境遠端服務系統
11:擴增實境設備
12:機台設備
13:運算設備
100:通訊網路
21~30:步驟
221~224:子步驟
281、282:子步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：
圖1是一方塊圖，說明用以實施本發明具分散式與互動性之擴增實境遠端服務方法的一實施例的一擴增實境遠端服務系統；
圖2是一流程圖，說明本發明具分散式與互動性之擴增實境遠端服務方法的該實施例；
圖3是一流程圖，輔助說明圖2的步驟22之子步驟；
圖4是一流程圖，輔助說明圖2的步驟28之子步驟；及
圖5是一示意圖，該擴增實境遠端服務系統的一運算設備將多筆感測數值及多個背景渲染至一渲染影像。
21~30:步驟
Claims (5)
- 一種具分散式與互動性之擴增實境遠端服務方法，由一擴增實境遠端服務系統來實施，該擴增實境遠端服務系統包括一擴增實境設備，及一經由一通訊網路連接該擴增實境設備的運算設備，該運算設備儲存一標籤字典資料，及一辨識參數資料，該方法包含以下步驟：(A)該運算設備經由該通訊網路接收來自該擴增實境設備的一拍攝影像；(B)該運算設備將該拍攝影像進行一影像處理，以獲得一影像處理資料，步驟(B)包括下子步驟：(B-1)該運算設備根據該拍攝影像、該標籤字典資料，及該辨識參數資料進行一特徵比對，以產生一比對結果，該比對結果包括一正確標籤位置資訊，及一不正確標籤位置資訊之其中一者，其中，該運算設備先根據該辨識參數資料辨識該拍攝影像是否具有一目標標籤，若該運算設備能辨識出該拍攝影像具有該目標標籤，則產生該正確標籤位置資訊，若該運算設備無法辨識出該拍攝影像具有該目標標籤，則產生該不正確標籤位置資訊，(B-2)該運算設備判定該比對結果是否包括該正確標籤頂點位置，(B-3)當判定出該比對結果包括該正確標籤頂點位置時，該運算設備根據該拍攝影像進行一相機校正，以獲得一相關於該擴增實境設備的相機內部參數資料，及(B-4)該運算設備根據該相機內部參數資料及該比對 結果的該正確標籤頂點位置進行一相機姿態估計，以獲得一相關於該擴增實境設備的相機外部參數資料，其中，當判定出該比對結果不包括該正確標籤頂點位置時，重複步驟(A)，該影像處理資料包括該相機內部參數資料及該相機外部參數資料；(C)該運算設備根據該影像處理資料，將該拍攝影像進行一影像渲染，以產生一包括一虛擬物件的渲染影像；及(D)該運算設備經由該通訊網路傳送該渲染影像至該擴增實境設備，以致該擴增實境設備顯示該渲染影像。
- 如請求項1所述的具分散式與互動性之擴增實境遠端服務方法，該運算設備還儲存一頂點規範資料，其中，步驟(C)包括下子步驟：(C-1)該運算設備根據該頂點規範資料及該拍攝影像，獲得一相關於該虛擬物件的頂點資訊；及(C-2)該運算設備根據該拍攝影像、該頂點資訊，及該影像處理資料，產生該渲染影像。
- 如請求項1所述的具分散式與互動性之擴增實境遠端服務方法，該擴增實境遠端服務系統還包括一經由該通訊網路連接該運算設備的機台設備，在步驟(C)之前還包含以下步驟：(E)該運算設備經由該通訊網路接收多筆來自該機台設備且分別對應該等機台狀態資料的感測數值；其中，在步驟(C)中，該運算設備還根據該等感測數值，將 該拍攝影像進行該影像渲染，該渲染影像還包括該等感測數值。
- 如請求項3所述的具分散式與互動性之擴增實境遠端服務方法，該運算設備儲存多筆機台狀態資料，每一機台狀態資料包括多個分別對應多個狀態的區間，在步驟(E)之後還包含以下步驟：(F)對於每一感測數值，該運算設備根據該感測資料，及對應該感測資料的機台狀態資料進行比對分析，以在該機台狀態資料的該等區間中，獲得該感測數值所屬的一目標區間；及(G)對於每一感測數值，該運算設備根據該目標區間，獲得該目標區間所對應的一目標狀態；其中，在步驟(C)中，該運算設備還根據該等感測數值對應的目標狀態，將該拍攝影像進行該影像渲染，該渲染影像還包括多個分別對應該等感測數值的背景，每一背景根據對應的目標狀態所產生。
- 如請求項4所述的具分散式與互動性之擴增實境遠端服務方法，在步驟(E)及步驟(F)之間還包含以下步驟：(H)對於每一感測數值，該運算設備判定該感測數值是否需要進行時域-頻域轉換；及(I)對於每一需要進行時域-頻域轉換的感測數值，該運算設備將該感測數值進行時域-頻域轉換。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111146589A TWI830523B (zh) | 2022-12-05 | 2022-12-05 | 具分散式與互動性之擴增實境遠端服務方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111146589A TWI830523B (zh) | 2022-12-05 | 2022-12-05 | 具分散式與互動性之擴增實境遠端服務方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI830523B true TWI830523B (zh) | 2024-01-21 |
| TW202424903A TW202424903A (zh) | 2024-06-16 |
Family
ID=90459251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111146589A TWI830523B (zh) | 2022-12-05 | 2022-12-05 | 具分散式與互動性之擴增實境遠端服務方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI830523B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106067159A (zh) * | 2016-05-27 | 2016-11-02 | 范杭 | 虚拟现实、增强现实的实时显示方法和系统 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
-
2022
- 2022-12-05 TW TW111146589A patent/TWI830523B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106067159A (zh) * | 2016-05-27 | 2016-11-02 | 范杭 | 虚拟现实、增强现实的实时显示方法和系统 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
Non-Patent Citations (3)
| Title |
|---|
| 期刊 Olwal, Alex, Jonny Gustafsson, and Christoffer Lindfors. "Spatial augmented reality on industrial CNC-machines." The Engineering Reality of Virtual Reality 2008. Vol. 6804. SPIE, 2018 pages 1-9 * |
| 期刊 Sang, Zhiqian, and Xun Xu. "The framework of a cloud-based CNC system." Procedia Cirp 63 (2017) Elsevier 2017 pages 82-88; * |
| 期刊 Wei, Yongli, et al. "Consistency retention method for CNC machine tool digital twin model." Journal of Manufacturing Systems 58 (2021) Elsevier 2021 pages 313-322; * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202424903A (zh) | 2024-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3678101A2 (en) | Ar-enabled labeling using aligned cad models | |
| US9167155B2 (en) | Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room | |
| Zhou et al. | Computer vision enabled building digital twin using building information model | |
| WO2014187223A1 (en) | Method and apparatus for identifying facial features | |
| CN113177469A (zh) | 人体属性检测模型的训练方法、装置、电子设备及介质 | |
| CN113052951B (zh) | 物体的渲染处理方法、装置、计算机设备和存储介质 | |
| CN113936121B (zh) | 一种ar标注设置方法以及远程协作系统 | |
| US20180144497A1 (en) | Information processing apparatus, method, and program | |
| CN113870439A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| TWI703348B (zh) | 影像處理系統及影像處理方法 | |
| Yang et al. | Research on Tracking and Registration Algorithm Based on Natural Feature Point. | |
| TWI830523B (zh) | 具分散式與互動性之擴增實境遠端服務方法 | |
| Gao et al. | Marker tracking for video-based augmented reality | |
| CN117422851A (zh) | 虚拟换衣方法及其装置、电子设备 | |
| US12014523B2 (en) | Intrinsic parameters estimation in visual tracking systems | |
| WO2023184278A1 (en) | Method for semantic map building, server, terminal device and storage medium | |
| Stastny et al. | Augmented reality usage for prototyping speed up | |
| TWI740361B (zh) | 智慧操作輔助系統及智慧操作輔助方法 | |
| CN110211239B (zh) | 基于无标记识别的增强现实方法、装置、设备及介质 | |
| CN112785524A (zh) | 一种人物图像的修复方法、装置及电子设备 | |
| KR20220077242A (ko) | 증강현실을 이용한 전력설비 유지보수 시스템 | |
| Wang et al. | A cyber-physical prototype system in augmented reality using RGB-D camera for CNC machining simulation | |
| Li et al. | Research on MR virtual scene location method based on image recognition | |
| TWM597913U (zh) | 智慧操作輔助系統 | |
| CN112258435A (zh) | 图像处理方法和相关产品 |