TWI810486B - 擴增實境即時互動售服維修系統 - Google Patents
擴增實境即時互動售服維修系統 Download PDFInfo
- Publication number
- TWI810486B TWI810486B TW109132566A TW109132566A TWI810486B TW I810486 B TWI810486 B TW I810486B TW 109132566 A TW109132566 A TW 109132566A TW 109132566 A TW109132566 A TW 109132566A TW I810486 B TWI810486 B TW I810486B
- Authority
- TW
- Taiwan
- Prior art keywords
- augmented reality
- maintenance
- component
- cloud platform
- real
- Prior art date
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 92
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 85
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000013515 script Methods 0.000 claims description 11
- 238000013024 troubleshooting Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000010295 mobile communication Methods 0.000 claims description 4
- 239000004984 smart glass Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一種擴增實境即時互動售服維修系統，設有一雲端平台，於一工具機的多個元件分別安裝一物聯網裝置，將各物聯網裝置感測各元件的資料與感測值上傳至該雲端平台，使用者透過一擴增實境裝置與該雲端平台連線，該工具機製造商的維修伺服器執行一決策輔助系統與該雲端平台連線，取得各元件的資料與感測值辨識出損壞元件，並利用一即時互動維修系統與該擴增實境裝置通話，將對應各損壞元件的維修資訊派送給該擴增實境裝置，以客服人員口頭指引或給予當下適合的維修資訊指引的方式指導維修，達到遠端售後服務或教育訓練的效果。
Description
本發明涉及一種擴增實境的系統，尤其涉及一種擴增實境即時互動售服維修系統。
現有AR(擴增實境)的互動方式為腳本式(預先載入動作與流程)的互動，例如將3D動畫、照片、聲音等資訊載入裝置後，透過擴增實境裝置辨識人物的特殊動作或現實環境的圖標，將前述腳本的資訊以投影的方式疊加在現實環境，或將資訊疊加在擴增實境裝置拍攝的影像畫面的方式，讓使用者進行擴增實境的圖像互動。
由於擴增實境的互動腳本是已先設定好的內容，無法改變以因應突發的狀況。有鑑於此，當將擴增實境應用至工具機維修的售後服務時，僅能顯示已有的流程資訊，例如僅能依照預先規劃好的腳本進行一般的維修指引，既無法具體指出工具機損壞的元件，也不能依照工具機的現場損壞狀況在遠端，例如於工具機製造商提供工具機所在現場人員即時且客制化的維修導引，如此售後服務的人員僅能以出差的方式前往工具機所在處進行維修，造成售後服務的人力成本高以及工具機產生突發狀況時無法即時因應處理的缺點。
由於現有擴增實境的互動方式為腳本式，應用於工具機的售後服務時僅能執行已有的制式指引，因此指示維修處理的效果差且不能因應特殊狀
況。為此，本發明運用物聯網的通訊架構開發即時的擴增實境即時互動售服維修系統，讓製造商與使用者可以透過系統的裝置辨識工具機元件損壞的狀況，並能進行即時的互動與維修的輔助，達到遠端即可執行有效的維修售後服務或遠端教育訓練的效果。
為達到上述的創作目的，本發明提供一種擴增實境即時互動售服維修系統，包括：一雲端平台，建構於網際網路；多個物聯網裝置，分別安裝於一工具機的元件，各物聯網裝置包括一用於感測各元件的感測器以及一與該感測器電連接的物聯網無線模組，各物聯網裝置的物聯網無線模組將各感測器的資料與感測各元件的感測值無線傳輸至該雲端平台儲存；一擴增實境裝置，該擴增實境裝置連線至該雲端平台；以及一設備製造商維修伺服器，執行一決策輔助系統與該物聯網雲平台連線取得各元件的資料與感測值，由各元件的資料辨識出損壞元件，該設備製造商維修伺服器執行一即時互動維修系統，以直接或透過該雲端平台的方式與該擴增實境裝置連線，透過該即時互動維修系統與該擴增實境裝置通話，並將對應各損壞元件的維修資訊派送給該擴增實境裝置。
進一步，本發明該擴增實境裝置由該雲端平台接收所述各元件的感測值，由各元件的資料辨識出損壞元件，並對應各損壞元件執行該擴增實境裝置預存或由該雲端平台下載的維修擴增實境腳本，將各損壞元件的感測值以及位於該工具機的何處顯示出來，提供使用者進行故障排除。
更進一步，本發明所述的擴增實境裝置是智慧眼鏡，包括一中央處理模組以及分別與該中央處理模組電連接的一辨識鏡頭、一無線傳輸模組、一麥克風、一揚聲器以及一顯示器，該擴增實境裝置以該無線傳輸模組與該雲端平
台或該設備製造商維修伺服器連線，以該辨識鏡頭拍攝現場狀況傳輸至該設備製造商維修伺服器，並透過該麥克風、該揚聲器以及該顯示器與該設備製造商維修伺服器通話。
較佳的，本發明所述對應各損壞元件的維修資訊，包括所述各元件的感測值、擴增實境維修工具提醒、相片、資料庫以及聲音資訊，將各元件的感測值、擴增實境維修工具提醒、相片、資料庫顯示於該顯示器，將聲音資訊播放於該揚聲器，指引使用者進行故障排除。
較佳的，本發明於所述各物聯網裝置設定一異常警示值，當各感測器感測所述各工具機的元件的感測值超過該異常顯示值，各物聯網裝置的物聯網無線模組才將各感測器的資料與感測各元件的感測值無線傳輸至該雲端平台儲存。
較佳的，本發明擴增實境裝置是以5G行動通訊連上網際網路的方式與該雲端平台或該設備製造商維修伺服器連線。
本發明使用時由於物聯網裝置會將工具機各元件的感測值即時上傳至該雲端平台，因此無論是客戶端的使用者利用擴增實境裝置連接該雲端平台，或者該設備製造商維修伺服器連接該雲端平台，都能接收各元件的資料與感測值，判斷各工件的損壞狀況。
本發明的功效在於，透過製造商與使用者之間的通話以及維修資訊的派送，可以透過系統的互動具體確認工具機元件損壞的狀況，並藉由原廠的判斷進行維修的輔助，達到遠端售後服務或遠端的教育訓練。
A:工具機
A1:元件
10:雲端平台
20:物聯網裝置
21:感測器
22:物聯網無線模組
30:擴增實境裝置
31:中央處理模組
32:辨識鏡頭
33:無線傳輸模組
34:麥克風
35:揚聲器
36:顯示器
40:設備製造商維修伺服器
41:決策輔助系統
42:即時互動維修系統
S01-S03:步驟
圖1是本發明較佳實施例的方塊示意圖。
圖2是本發明較佳實施例的擴增實境裝置的方塊示意圖。
圖3是本發明較佳實施例使用的步驟流程圖。
圖4是本發明另一較佳實施例的方塊示意圖。
為能詳細瞭解本發明的技術特徵及實用功效，並可依照說明書的內容來實施，進一步以如圖式所示的較佳實施例，詳細說明如下。
如圖1、圖2所示的較佳實施例，本發明提供一種擴增實境即時互動售服維修系統，運用於設備製造商生產的工具機A維修的售後服務，該工具機A包括多個例如主軸、泵浦、馬達等元件A1，該系統進一步包括：一建構於網際網路的雲端平台10，該雲端平台10是包括儲存資料的資料庫以及提供數據交換、通話服務的平台。
多個分別安裝於各元件A1的物聯網裝置20，各物聯網裝置20包括一用於感測各元件A1的感測器21以及一與該感測器21電連接的物聯網無線模組22，在本較佳實施例中各物聯網無線模組22是5G行動通訊的無線模組。各物聯網裝置20的物聯網無線模組22持續地將各感測器21的資料(包含感測器21的類型、所感測的元件A1為何，以及此元件A1位於該工具機A的何處)與感測各元件A1的感測值無線傳輸至該雲端平台10儲存，各元件A1代表的元件以及位於該工具機A的何處可由各感測器21的資料判斷。較佳的，可於各物聯網裝置20預先設定一異常警示值，當各感測器21感測各工具機A的元件A1的感測值超過該異常顯示值時，各物聯網裝置20的物聯網無線模組22才將各感測器21的資料與感測各元件A1的感測值無線傳輸至該雲端平台10儲存，藉此能夠減少各物聯網無線模組22與該雲端平台10之間傳輸數據流量的使用，節省通訊的成本。
一擴增實境裝置30，可以是手持裝置或穿戴式裝置的擴增實境裝置，如本較佳實施中該擴增實境裝置30是智慧眼鏡，並且包括一中央處理模組31以及分別與該中央處理模組31電連接的一辨識鏡頭32、一無線傳輸模組33、一麥克風34、一揚聲器35以及一顯示器36。該擴增實境裝置30的無線傳輸模組33是5G行動通訊的無線模組，該擴增實境裝置30通過該無線傳輸模組33於網際網路與該雲端平台10連線，以該辨識鏡頭32拍攝工具機A周圍的現場狀況，該擴增實境裝置30透過該麥克風34、該揚聲器35以及該顯示器36可在該擴增實境裝置30與該雲端平台10連線時，透過該雲端平台10與第三方例如工具機A的設備製造商的客服人員進行通話。
該擴增實境裝置30與該雲端平台10連線時，由該雲端平台10接收各元件A1的感測值，由各元件A1的資料辨識出損壞元件A1，並對應各損壞元件A1執行預存於該擴增實境裝置30或由該雲端平台10即時下載的維修擴增實境腳本，將腳本用於維修的動畫、照片或流程等資訊，配合各損壞元件A1的感測值以及各損壞元件A1位於該工具機A的何處，以擴增實境的方式於該顯示器36顯示出來，提供使用者依循維修擴增實境腳本的指引進行各元件A1的故障排除。
一設備製造商維修伺服器40，安裝並執行一決策輔助系統41以及一即時互動維修系統42，該決策輔助系統41是連線與分析軟體，該設備製造商維修伺服器40執行該決策輔助系統41與該物聯網雲平台10連線取得各元件A1的資料與感測值，由各元件A1的資料辨識出損壞元件A1；該即時互動維修系統42是包含通話的軟硬體以及調度、使用指示客戶端維修所需的擴增實境維修工具提醒、資料庫等工具的系統，該擴增實境裝置30執行該即時互動維修系統42透過該雲端平台10與該擴增實境裝置30連線，設備製造商的客戶服務人員透過該即時互動維修系統42與該擴增實境裝置30的使用者通話，當由該決策輔助系統41取得該辨識鏡頭32拍攝的工具機A的現場環境，並由擴增實境裝置30取得可即時判
斷各元件A1損壞具體情況的語音訊息等決策資訊判斷後，透過該即時互動維修系統42選擇將對應各損壞元件A1的維修資訊派送給該擴增實境裝置30。
對應各損壞元件A1的維修資訊包括但不限於各元件A1的感測值、擴增實境維修工具提醒、相片、資料庫以及聲音資訊；在客戶端的擴增實境裝置30將各元件A1的感測值、擴增實境維修工具提醒、相片、資料庫，以擴增實境的方式疊加於該工具機A的現場狀況的影像顯示於該顯示器36，將聲音資訊播放於該揚聲器35供使用者聽取即時的建議，並由該辨識鏡頭32拍攝配合該麥克風34即時回饋當場維修操作的狀況至該設備製造商維修伺服器40的決策輔助系統41供客戶服務人員判斷，如此以即時且互動的擴增實境方式指引使用者進行故障排除或教育訓練的指導。
前述本發明第一較佳實施例的系統運用於工具機A與其設備製造商的過程，請參看如圖3所示的步驟說明如下：
(S01)元件導入物聯網裝置：於設備製造商的工具機A的多個元件A1分別安裝所述的物聯網裝置20，當某些物聯網裝置20的感測器21感測的數值超過該異常顯示值時，各物聯網裝置20的物聯網無線模組22將各感測器21的資料與感測各元件A1的感測值無線傳輸至該雲端平台10儲存，使所有的元件A1的狀態可無線傳輸至該雲端平台10之上；當設備製造商的設備製造商維修伺服器40與該雲端平台10連線時，可以透過雲端平台10得知該工具機A的那一個元件A1損壞，達到不用前往使用者端即可得知目前該工具機A損壞狀況的效果；當該擴增實境裝置30與該雲端平台10連線時可以得知該工具機A的那一個元件A1損壞，透過執行維修擴增實境腳本的方式，將各損壞元件A1的感測值以及位於該工具機A的何處於該顯示器36顯示出來。
(S02)擴增實境簡易故障排除：當該擴增實境裝置30與該雲端平台10連線時，由接收的資料辨識出損壞元件A1，透過執行維修擴增實境腳本的方式，進行簡易的故障排除。
(S03)擴增實境即時互動故障排除：該工具機A細部的故障排除或是突發狀況的故障排除，可透過遠端與設備製造商的設備製造商維修伺服器40的客服人員進行即時的互動故障排除，與設備製造商進行互動式故障排除時，可以透過決策輔助系統41取得該工具機A的元件A1的資料、損壞程度、位置、影像、感測值等相關資訊，相關資訊來源如下所述：當客戶端的使用者戴上該擴增實境裝置30，透過該雲端平台10與該設備製造商維修伺服器40進行通話時，可透過該雲端平台10即時回傳使用者以該辨識鏡頭32拍攝的當前影像、動作流程、維修位置等決策輔助資訊至該決策輔助系統41，使設備製造商的維修人員得知即時資訊進行決策，並利用該即時互動維修系統42將感測值、擴增實境維修工具提醒、相片、資料庫以及聲音資訊派送至使用者端戴上的擴增實境裝置30，將前述資訊顯示於該顯示器36之上；透過該即時互動維修系統42的互動工具，可以提供有助於維修的指引，達成遠端的即時互動維修服務。
本發明除前述較佳實施例，請參看圖4所示的另一較佳實施例。該擴增實境裝置30與該設備製造商維修伺服器40之間除了是透過該雲端平台10的聯繫進行通話以及維修資訊的數據傳輸以外，兩者之間的連線也可以不透過該雲端平台10。
這時該擴增實境裝置30直接以該無線傳輸模組33與該設備製造商維修伺服器40連線，藉此與該設備製造商維修伺服器40的客戶服務人員進行通話，並將該辨識鏡頭32拍攝工具機A的現場狀況以及詢問回饋給該設備製造商維修伺服器40的決策輔助系統41，提供決策資訊給客戶服務人員進行判斷，客戶
服務人員並由該設備製造商維修伺服器40的即時互動維修系統42，將語音、照片、感測值、資料庫或擴增實境維修工具提醒等對應各損壞元件A1的維修資訊，派送給擴增實境裝置30。
以上所述僅為本發明的較佳實施例而已，並非用以限定本發明主張的權利範圍，凡其它未脫離本發明所揭示的精神所完成的等效改變或修飾，均應包括在本發明的申請專利範圍內。
A:工具機
A1:元件
10:雲端平台
20:物聯網裝置
21:感測器
22:物聯網無線模組
30:擴增實境裝置
33:無線傳輸模組
40:設備製造商維修伺服器
41:決策輔助系統
42:即時互動維修系統
Claims (4)
- 一種擴增實境即時互動售服維修系統，包括：一雲端平台，建構於網際網路；多個物聯網裝置，分別安裝於一工具機的元件，各物聯網裝置包括一用於感測各元件的感測器以及一與該感測器電連接的物聯網無線模組，於所述各物聯網裝置設定一異常警示值，當各感測器感測所述各工具機的元件的感測值超過該異常警示值，各物聯網裝置的物聯網無線模組才將各感測器的資料與感測各元件的感測值無線傳輸至該雲端平台儲存，該感測器的資料包含該感測器的類型、所感測的該元件為何，以及此元件位於該工具機的何處；一擴增實境裝置，該擴增實境裝置連線至該雲端平台，該擴增實境裝置由該雲端平台接收所述各元件的感測值，由各元件的資料辨識出損壞元件，並對應各損壞元件執行該擴增實境裝置預存或由該雲端平台下載的維修擴增實境腳本，將各損壞元件的感測值以及位於該工具機的何處顯示出來，提供使用者進行故障排除；以及一設備製造商維修伺服器，執行一決策輔助系統與該物聯網雲平台連線取得各元件的資料與感測值，由各元件的資料辨識出損壞元件，該設備製造商維修伺服器執行一即時互動維修系統，以直接或透過該雲端平台的方式與該擴增實境裝置連線，透過該即時互動維修系統與該擴增實境裝置通話，並將對應各損壞元件的維修資訊派送給該擴增實境裝置。
- 如請求項1所述之擴增實境即時互動售服維修系統，其中所述的擴增實境裝置是智慧眼鏡，包括一中央處理模組以及分別與該中央處理模組電連接的一辨識鏡頭、一無線傳輸模組、一麥克風、一揚聲器以及一顯示器，該擴增實境裝置以該無線傳輸模組與該雲端平台或該設備製造商維修伺服器連線， 以該辨識鏡頭拍攝現場狀況傳輸至該設備製造商維修伺服器，並透過該麥克風以及該揚聲器與該設備製造商維修伺服器通話。
- 如請求項2所述之擴增實境即時互動售服維修系統，其中所述對應各損壞元件的維修資訊，包括所述各元件的感測值、擴增實境維修工具提醒、相片、資料庫以及聲音資訊，將各元件的感測值、擴增實境維修工具提醒、相片、資料庫顯示於該顯示器，將聲音資訊播放於該揚聲器，指引使用者進行故障排除。
- 如請求項3所述之擴增實境即時互動售服維修系統，其中擴增實境裝置是以5G行動通訊連上網際網路的方式與該雲端平台或該設備製造商維修伺服器連線。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109132566A TWI810486B (zh) | 2020-09-21 | 2020-09-21 | 擴增實境即時互動售服維修系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109132566A TWI810486B (zh) | 2020-09-21 | 2020-09-21 | 擴增實境即時互動售服維修系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202213064A TW202213064A (zh) | 2022-04-01 |
| TWI810486B true TWI810486B (zh) | 2023-08-01 |
Family
ID=82197108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109132566A TWI810486B (zh) | 2020-09-21 | 2020-09-21 | 擴增實境即時互動售服維修系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI810486B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106843511A (zh) * | 2017-04-14 | 2017-06-13 | 上海翊视皓瞳信息科技有限公司 | 一种全场景覆盖的智能显示设备系统及应用 |
| TW201835722A (zh) * | 2017-03-24 | 2018-10-01 | 國立成功大學 | 機台維修系統與方法 |
| TWM570975U (zh) * | 2018-12-01 | Machine tool intelligent service system | ||
| TWM596380U (zh) * | 2019-12-31 | 2020-06-01 | 亞達科技股份有限公司 | 人工智慧擴增實境輔助系統 |
| TWM607166U (zh) * | 2020-09-21 | 2021-02-01 | 國立虎尾科技大學 | 擴增實境即時互動售服維修系統 |
-
2020
- 2020-09-21 TW TW109132566A patent/TWI810486B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWM570975U (zh) * | 2018-12-01 | Machine tool intelligent service system | ||
| TW201835722A (zh) * | 2017-03-24 | 2018-10-01 | 國立成功大學 | 機台維修系統與方法 |
| CN106843511A (zh) * | 2017-04-14 | 2017-06-13 | 上海翊视皓瞳信息科技有限公司 | 一种全场景覆盖的智能显示设备系统及应用 |
| TWM596380U (zh) * | 2019-12-31 | 2020-06-01 | 亞達科技股份有限公司 | 人工智慧擴增實境輔助系統 |
| TWM607166U (zh) * | 2020-09-21 | 2021-02-01 | 國立虎尾科技大學 | 擴增實境即時互動售服維修系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202213064A (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112018892B (zh) | 一种电力运维远程指导系统 | |
| US9628772B2 (en) | Method and video communication device for transmitting video to a remote user | |
| US9829873B2 (en) | Method and data presenting device for assisting a remote user to provide instructions | |
| JP5000888B2 (ja) | 通信方法および通信システム | |
| CN110471804B (zh) | 设备调试方法、装置及电子设备 | |
| US20220276701A1 (en) | Remote work support system | |
| CN110413112A (zh) | 一种基于虚拟现实技术的安全体验教育系统及其方法 | |
| CN112887651A (zh) | 一种基于ar的远程指挥方法及系统 | |
| CN111666955A (zh) | 电烙铁操作指导信息生成方法、系统 | |
| TWI810486B (zh) | 擴增實境即時互動售服維修系統 | |
| WO2020194413A1 (ja) | 保守支援システム、保守支援方法及びプログラム | |
| TWM607166U (zh) | 擴增實境即時互動售服維修系統 | |
| US7986336B2 (en) | Image capture apparatus with indicator | |
| CN114063954A (zh) | 一种通信运检作业远程协作的交互系统 | |
| CN106133718B (zh) | 包括音频设备和用于显示关于音频设备的信息的移动设备的系统 | |
| JP2022088678A (ja) | 遠隔保守支援方法 | |
| Jacobs | Ar headsets give oil and gas sector the quicker fix | |
| US11480940B2 (en) | Control system | |
| CN108805294A (zh) | 一种针对目标设备的指导信息的处理方法及装置 | |
| WO2010130289A1 (en) | A teach pendant unit for an industrial robot and a service system | |
| KR20160140009A (ko) | 통합 원격제어 프로그램을 가지는 원격제어 장치 및 그 원격제어 방법 | |
| CN114915647B (zh) | 基于微服务的前沿装备远程互动体验系统 | |
| US20220262078A1 (en) | Remote device provisioning and remote support using augmented reality | |
| CN114629241A (zh) | 一种5g智能化安全电力检修系统及检修方法 | |
| CN115209040A (zh) | 一种远程拍摄控制系统及应用 |