TWI784645B

TWI784645B - 擴增實境系統及其操作方法

Info

Publication number: TWI784645B
Application number: TW110127878A
Authority: TW
Inventors: 黃志文; 徐文正; 傅宇; 楊朝光
Original assignee: 宏碁股份有限公司
Priority date: 2021-07-29
Filing date: 2021-07-29
Publication date: 2022-11-21
Also published as: US20230031556A1; TW202306380A

Abstract

本發明提供一種擴增實境系統及其操作方法。擴增實境系統包括目標設備、擴增實境伺服器以及擴增實境設備。目標設備顯示標記。擴增實境伺服器提供該標記所對應的數位內容。擴增實境設備拍攝目標設備與標記而產生畫面。擴增實境設備通過通訊網路從擴增實境伺服器取得數位內容。擴增實境設備依據標記追蹤在畫面中的目標設備，以進行擴增實境應用。在進行擴增實境應用時，擴增實境設備將數位內容疊覆在畫面中的目標設備。

Description

擴增實境系統及其操作方法

本發明是有關於一種視訊系統，且特別是有關於一種擴增實境（Augmented Reality，AR）系統及其操作方法。

各種影音串流服務越來越風行。常見的影音串流服務包括視訊會議。在視訊會議中，使用者A可以通過通訊網路展示某個東西給遠端的使用者B看。舉例來說，使用者A所持拿的手機正在顯示一個有趣的數位內容（畫面或是立體數位物件），使用者A可能想要將這個數位內容透過視訊會議給遠端的使用者B看。因此，使用者A讓視訊會議設備拍攝這個手機的畫面。受限於各種環境因素（例如解析度、色偏等），使用者B很可能無法清楚看見使用者A的手機所顯示的內容。

本發明提供一種擴增實境（Augmented Reality，AR）系統及其操作方法，以進行擴增實境應用。

在本發明的一實施例中，上述的擴增實境系統包括目標設備、擴增實境伺服器以及擴增實境設備。目標設備用以顯示標記。擴增實境伺服器用以提供該標記所對應的數位內容。擴增實境設備用以拍攝目標設備與標記而產生畫面。擴增實境設備通過通訊網路從擴增實境伺服器取得數位內容。擴增實境設備依據標記追蹤在畫面中的目標設備以進行擴增實境應用。擴增實境設備在擴增實境應用中將數位內容疊覆在畫面中的目標設備。

在本發明的一實施例中，上述的操作方法包括：由目標設備顯示標記；由擴增實境伺服器提供該標記所對應的數位內容；由擴增實境設備通過通訊網路從擴增實境伺服器取得數位內容；由擴增實境設備拍攝目標設備與標記而產生畫面；由擴增實境設備依據標記追蹤在畫面中的目標設備，以進行擴增實境應用；以及由擴增實境設備在擴增實境應用中將數位內容疊覆在畫面中的目標設備。

基於上述，本發明諸實施例所述擴增實境設備可以拍攝目標設備的標記而產生畫面，以進行擴增實境應用。擴增實境伺服器可以提供標記所對應的數位內容給擴增實境設備。在進行擴增實境應用的過程中，所述擴增實境設備可以將擴增實境伺服器所提供的數位內容疊覆在畫面中的目標設備。因為數位內容不是被固定儲存在擴增實境設備中，所以擴增實境設備可以更彈性地呈現擴增實境效果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

在本案說明書全文（包括申請專利範圍）中所使用的「耦接（或連接）」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接（或連接）於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。本案說明書全文（包括申請專利範圍）中提及的「第一」、「第二」等用語是用以命名元件（element）的名稱，或區別不同實施例或範圍，而並非用來限制元件數量的上限或下限，亦非用來限制元件的次序。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。

圖1是依照本發明的一實施例的一種擴增實境（Augmented Reality，AR）系統100的電路方塊（circuit block）示意圖。圖1所示AR系統100包括目標設備110、AR設備120以及AR伺服器130。使用者可以讓AR設備120拍攝目標設備110而產生畫面。本實施例並不限制AR設備120與目標設備110的具體產品類別。舉例來說，在一些實施例中，目標設備110可以包括手機、智能手錶、平板電腦或是其他電子裝置，而AR設備120可以包括本地端電腦、頭戴式顯示器以及（或是）其他AR設備。

圖2是依照本發明的一實施例的一種AR系統的操作方法的流程示意圖。請參照圖1與圖2。在步驟S210中，目標設備110可以顯示標記MRK。基於實際設計，標記MRK可以包括ArUco標記、快速回應（Quick Response，QR）碼或是預先定義的任何幾何圖形。AR設備120可以通過通訊網路與AR伺服器130建立通訊連接。依照實際設計，所述通訊網路可以包括Wi-Fi無線網路、乙太網路（Ethernet）、網際網路（internet）以及（或是）其他通訊網路。因此，AR伺服器130可以提供標記MRK所對應的數位內容DC給AR設備120（步驟S220）。所述數位內容DC可以依照實際應用來設定。舉例來說，在一些實施例中，數位內容DC可以包括二維影像幀、三維數位物件以及（或是）其他數位內容。二維影像幀可以包括相片、影片或其他影像訊號。在步驟S230，AR設備120可以通過通訊網路從AR伺服器130取得數位內容DC。

在步驟S240，AR設備120可以拍攝目標設備110與標記MRK而產生畫面（或畫面串流）。舉例來說（但不限於此），AR設備120可以依據目標設備110所顯示的標記MRK獲得對於AR伺服器130的數位內容下載資訊。依照實際設計，在一些實施例中，標記MRK可以包括QR碼或是以其他可編碼圖形，而所述數位內容下載資訊可以被嵌入標記MRK。依照實際設計，所述數位內容下載資訊可以包括AR伺服器130的網址、目標設備110的識別碼、數位內容識別碼以及（或是）其他下載數位內容的相關資訊。AR設備120可以依據所述數位內容下載資訊通過通訊網路從AR伺服器130取得數位內容DC。

在步驟S250，AR設備120可以追蹤在所述畫面中的目標設備110，以進行AR應用。依照實際設計，所述AR應用可以包括遊戲應用、教育應用、視訊會議應用以及（或是）其他應用。在進行所述AR應用的過程中，AR設備120可以在所述畫面中將AR伺服器430所提供的數位內容DC疊覆於目標設備110（步驟S260）。

圖3是依照本發明的一實施例的一種AR應用的情境示意圖。在圖3所示實施例中，所述AR應用可以包括視訊會議應用。請參照圖1與圖3。AR設備120可以通過通訊網路連結遠端設備300。依照實際設計，所述通訊網路可以包括Wi-Fi無線網路、乙太網路、網際網路以及（或是）其他通訊網路。在圖3所示實施例中，目標設備110可以包括智能手機，而AR設備120以及遠端設備300可以包括筆記型電腦。AR設備120可以通過通訊網路將畫面傳送給遠端設備300以進行視訊會議。

在圖3所示視訊會議中，使用者A可以通過通訊網路展示某個東西給遠端的使用者B看。舉例來說，使用者A所持拿的目標設備110正在顯示一個有趣的數位內容（畫面或是立體數位物件），而且使用者A可能想要將這個數位內容透過視訊會議給遠端的使用者B看。因此，使用者A讓AR設備120拍攝這個目標設備110所顯示的畫面。受限於各種環境因素（例如解析度、色偏等），使用者B很可能無法清楚看見AR設備120拍攝的，目標設備110所顯示的內容。

因此在視訊會議（AR應用）中，目標設備110可以將正在顯示的數位內容DC提供給AR設備120，而AR設備120可以拍攝目標設備110與使用者A而產生畫面（在此稱為會議畫面）。AR設備120可以在所述會議畫面中將數位內容DC疊覆於目標設備110，以產生AR會議畫面。AR設備120可以通過通訊網路將所述AR會議畫面傳送給遠端設備300以進行視訊會議。遠端設備300可以顯示AR會議畫面給使用者B。使用者B所看到的目標設備110正在顯示的數位內容不是AR設備120的拍攝結果，因此這個數位內容沒有解析度、色偏等問題。

舉例來說，基於實際設計，目標設備110提供給AR設備120的數位內容可以包括三維數位物件，而目標設備110具有至少一個姿態感測器（Attitude sensor，未繪示於圖1與圖3）以偵測目標設備110的姿態。舉例來說，姿態感測器可以包括加速度感測器（acceleration sensor）、重力感測器（gravity sensor）、陀螺儀（gyroscope）、電子羅盤（electronic compass）以及（或是）其他感測器。目標設備110可以通過通訊連接將目標設備110的姿態所對應的姿態資訊提供給AR設備120。依照實際設計，所述通訊連接可以包括藍芽（Bluetooth）、Wi-Fi無線網路、通用序列匯流排（Universal Serial Bus，USB）以及（或是）其他通訊連接介面。AR設備120可以拍攝目標設備110而產生畫面（例如會議畫面），以及在所述畫面中將三維數位物件（數位內容DC）疊覆於目標設備110。AR設備120可以基於目標設備110的姿態資訊去對應調整在所述畫面中的三維數位物件的姿態。

圖4是依照本發明的另一實施例的一種AR系統400的電路方塊（circuit block）示意圖。圖4所示AR系統400包括目標設備410、AR設備420以及AR伺服器430。圖4所示目標設備410、AR設備420以及AR伺服器430可以參照圖1所示目標設備110、AR設備120以及AR伺服器130的相關說明加以類推，故不再贅述。

在圖4所示實施例中，目標設備410可以通過通訊網路提供顯示資訊D_inf給AR伺服器430。依照實際設計，所述通訊網路可以包括Wi-Fi無線網路、乙太網路、網際網路以及（或是）其他通訊網路。AR伺服器430可以將顯示資訊D_inf轉換為數位內容DC以提供給AR設備420。依照實際設計，在一些實施例中，顯示資訊D_inf可以包括對應於目標設備410的設備識別碼。在另一些實施例中，顯示資訊D_inf可以包括對應於目標設備410當下顯示的顯示內容。

在此假設，顯示資訊D_inf可以包括對應於目標設備410的設備識別碼。目標設備410可以藉由顯示標記MRK以將目標設備410的設備識別碼傳送給AR設備420。AR設備420可以將帶有所述設備識別碼的內容要求通過通訊網路傳送給AR伺服器430，而目標設備410可以將帶有所述設備識別碼的顯示資訊D_inf通過通訊網路提供給AR伺服器430。AR伺服器430可以比對顯示資訊D_inf的設備識別碼與AR設備420的內容要求的設備識別碼而產生比對結果。AR伺服器430可以依據比對結果決定是否將數位內容DC提供給AR設備420。

在此假設，顯示資訊D_inf可以包括對應於目標設備410當下顯示的顯示內容。AR伺服器430可以進行加值服務，以將目標設備410當下顯示的顯示內容（顯示資訊D_inf）轉換為數位內容DC。所述加值服務可以依照實際設計/應用而有所不同。舉例來說，在一些實施例中，AR伺服器430所提供的加值服務可以包括超解析度成像（Super-resolution imaging，SR）服務、三維影像轉換服務、影像增強（image enhancement）服務、翻譯服務以及（或是）其他服務。「超解析度成像」是一種提高影片解析度的技術。AR伺服器430所提供的超解析度成像服務可以調高目標設備410當下顯示的顯示內容（顯示資訊D_inf）作為數位內容DC。AR伺服器430所提供的三維影像轉換服務可以將目標設備410當下顯示的二維顯示內容（顯示資訊D_inf）轉換為三維內容作為所述數位內容DC。AR伺服器430所提供的影像增強服務包括，對目標設備410當下顯示的顯示內容（顯示資訊D_inf）行去模糊（de-blurring）操作，以將顯示內容（顯示資訊D_inf）轉換為數位內容DC。AR伺服器430所提供的翻譯服務可以將目標設備410當下顯示的文字內容（顯示資訊D_inf）從第一語言轉換為第二語言，然後將轉換結果作為所述數位內容DC。

圖5是依照本發明的一實施例的一種目標設備410的電路方塊示意圖。依照實際設計，在一些實施例中，圖1所示目標設備110可以參考圖5所示目標設備410的相關說明加以類推。在圖5所示實施例中，目標設備410包括應用處理器411、通訊電路412以及顯示器413。請參照圖4與圖5。應用處理器411耦接至通訊電路412與顯示器413。通訊電路412可以與AR伺服器430建立連接，以提供顯示資訊D_inf給AR伺服器430。基於應用處理器411的驅動與控制，顯示器413可以顯示標記MRK。AR設備420可以拍攝顯示器413所顯示的標記MRK，以定位在畫面中的目標設備410的位置。

圖6是依照本發明的一實施例的一種AR設備420的電路方塊示意圖。依照實際設計，在一些實施例中，圖1所示AR設備120可以參考圖6所示AR設備420的相關說明加以類推。在圖6所示實施例中，AR設備420包括影像處理器421、通訊電路422、相機423以及顯示器424。影像處理器421耦接至通訊電路422、相機423與顯示器424。通訊電路422可以與AR伺服器430建立連接，以接收數位內容DC。相機423可以拍攝目標設備410與標記MRK而產生畫面IMG。影像處理器421可以依據目標設備410所顯示的標記MRK定位在所述畫面IMG中的目標設備410的位置。影像處理器421可以在畫面IMG中將數位內容DC疊覆於目標設備410，以產生疊覆後的畫面IMG’。顯示器424耦接至影像處理器421，以接收畫面IMG’。基於影像處理器421的驅動與控制，顯示器424可以顯示經疊覆數位內容DC後的畫面IMG’。

依照不同的設計需求，上述應用處理器411以及（或是）影像處理器421的實現方式可以是硬體（hardware）、韌體（firmware）、軟體（software，即程式）或是前述三者中的多者的組合形式。以硬體形式而言，上述應用處理器411以及（或是）影像處理器421可以實現於積體電路（integrated circuit）上的邏輯電路。上述應用處理器411以及（或是）影像處理器421的相關功能可以利用硬體描述語言（hardware description languages，例如Verilog HDL或VHDL）或其他合適的編程語言來實現為硬體。舉例來說，上述應用處理器411以及（或是）影像處理器421的相關功能可以被實現於一或多個控制器、微控制器、微處理器、特殊應用積體電路（Application-specific integrated circuit, ASIC）、數位訊號處理器（digital signal processor, DSP）、場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）及/或其他處理單元中的各種邏輯區塊、模組和電路。

以軟體形式及/或韌體形式而言，上述應用處理器411以及（或是）影像處理器421的相關功能可以被實現為編程碼（programming codes）。例如，利用一般的編程語言（programming languages，例如C、C++或組合語言）或其他合適的編程語言來實現上述應用處理器411以及（或是）影像處理器421。所述編程碼可以被記錄/存放在「非臨時的電腦可讀取媒體（non-transitory computer readable medium）」中。在一些實施例中，所述非臨時的電腦可讀取媒體例如包括唯讀記憶體（Read Only Memory，ROM）、帶（tape）、碟（disk）、卡（card）、半導體記憶體、可程式設計的邏輯電路以及（或是）儲存裝置。所述儲存裝置包括硬碟（hard disk drive，HDD）、固態硬碟（Solid-state drive，SSD）或是其他儲存裝置。電腦、中央處理器（Central Processing Unit，CPU）、控制器、微控制器或微處理器可以從所述非臨時的電腦可讀取媒體中讀取並執行所述編程碼，從而實現上述應用處理器411以及（或是）影像處理器421的相關功能。而且，所述編程碼也可經由任意傳輸媒體（通信網路或廣播電波等）而提供給所述電腦（或CPU）。所述通信網路例如是網際網路（Internet）、有線通信（wired communication）網路、無線通信（wireless communication）網路或其它通信介質。

綜上所述，上述諸實施例所述AR設備可以拍攝目標設備的標記而產生畫面，以進行AR應用。AR伺服器可以提供標記MRK所對應的數位內容DC給AR設備。在進行AR應用的過程中，所述AR設備可以將AR伺服器所提供的數位內容DC疊覆在畫面中的目標設備。因為數位內容DC不是被固定儲存在AR設備中，所以AR設備可以更彈性地呈現AR效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、400:擴增實境（AR）系統 110、410:目標設備 120、420:AR設備 130、430:AR伺服器 300:遠端設備 411:應用處理器 412:通訊電路 413:顯示器 421:影像處理器 422:通訊電路 423:相機 424:顯示器 A、B:使用者 D_inf:顯示資訊 DC:數位內容 IMG、IMG’:畫面 MRK:標記 S210～S260:步驟

圖1是依照本發明的一實施例的一種擴增實境（AR）系統的電路方塊（circuit block）示意圖。圖2是依照本發明的一實施例的一種AR系統的操作方法的流程示意圖。圖3是依照本發明的一實施例的一種AR應用的情境示意圖。圖4是依照本發明的另一實施例的一種AR系統的電路方塊示意圖。圖5是依照本發明的一實施例的一種目標設備的電路方塊示意圖。圖6是依照本發明的一實施例的一種AR設備的電路方塊示意圖。

S210~S260:步驟

Claims

一種擴增實境系統，包括：一目標設備，包括一第一顯示器及一第一通訊電路，該第一顯示器用以顯示一標記；一擴增實境伺服器，用以提供該標記所對應的一數位內容；以及一擴增實境設備，用以拍攝該目標設備與該標記而產生一畫面，其中該擴增實境設備通過一通訊網路從該擴增實境伺服器取得該數位內容，該擴增實境設備依據該標記追蹤在該畫面中的該目標設備以進行一擴增實境應用，以及該擴增實境設備在該擴增實境應用中將該數位內容疊覆在該畫面中的該目標設備。
如請求項1所述的擴增實境系統，其中該標記包括ArUco標記。
如請求項1所述的擴增實境系統，其中該擴增實境設備還依據該標記獲得對於該擴增實境伺服器的一數位內容下載資訊，以及該擴增實境設備依據該數位內容下載資訊通過該通訊網路從該擴增實境伺服器取得該數位內容。
如請求項1所述的擴增實境系統，其中該目標設備通過該通訊網路提供一顯示資訊給該擴增實境伺服器，以及該擴增實境伺服器將該顯示資訊轉換為該數位內容以提供給該擴增實境設備。
如請求項4所述的擴增實境系統，其中該顯示資訊包括對應於該目標設備的一設備識別碼，該目標設備藉由顯示該標記以將該設備識別碼傳送給該擴增實境設備，該擴增實境設備將帶有該設備識別碼的一內容要求通過該通訊網路傳送給該擴增實境伺服器，該擴增實境伺服器比對該顯示資訊的該設備識別碼與該內容要求的該設備識別碼而產生一比對結果，以及該擴增實境伺服器依據該比對結果決定是否將該數位內容提供給該擴增實境設備。
如請求項4所述的擴增實境系統，其中該顯示資訊包括對應於該目標設備當下顯示的一顯示內容，以及該擴增實境伺服器進行一加值服務以將該顯示內容轉換為該數位內容。
如請求項6所述的擴增實境系統，其中該加值服務包括一超解析度成像服務、一三維影像轉換服務、一影像增強服務以及一翻譯服務其中至少一者。
如請求項7所述的擴增實境系統，其中該影像增強服務包括對該顯示內容進行去模糊操作，以將該顯示內容轉換為該數位內容。
如請求項1所述的擴增實境系統，其中該數位內容包括一三維數位物件，該目標設備具有至少一姿態感測器以偵測該目標設備的姿態，該目標設備將該目標設備的姿態所對應的一姿態資訊提供給該擴增實境設備，以及該擴增實境設備基於該姿態資訊對應調整在該畫面中該三維數位物件的姿態。
如請求項1所述的擴增實境系統，其中在該擴增實境應用中，該擴增實境設備通過該通訊網路將該畫面傳送給一遠端設備以進行一視訊會議。
如請求項1所述的擴增實境系統，其中該第一通訊電路用以與該擴增實境伺服器建立一連接以提供一顯示資訊給該擴增實境伺服器。
如請求項1所述的擴增實境系統，其中該擴增實境設備包括：一第二通訊電路，用以與該擴增實境伺服器建立一連接以接收該數位內容；一相機，用以拍攝該目標設備與該標記而產生該畫面；以及一影像處理器，耦接至該第二通訊電路與該相機，其中該影像處理器依據該標記定位在該畫面中的該目標設備的位置，以及該影像處理器在該畫面中將該數位內容疊覆該目標設備。
如請求項12所述的擴增實境系統，其中該擴增實境設備更包括：一第二顯示器，耦接至該影像處理器，用以顯示經疊覆該數位內容後的該畫面。
如請求項1所述的擴增實境系統，其中該目標設備包括一手機，以及該擴增實境設備包括一本地端電腦。
一種擴增實境系統的操作方法，包括：由一目標設備的一顯示器顯示一標記；由一擴增實境伺服器提供該標記所對應的一數位內容；由一擴增實境設備通過一通訊網路從該擴增實境伺服器取得該數位內容；由該擴增實境設備拍攝該目標設備與該標記而產生一畫面；由該擴增實境設備依據該標記追蹤在該畫面中的該目標設備，以進行一擴增實境應用；由該擴增實境設備在該擴增實境應用中將該數位內容疊覆在該畫面中的該目標設備；以及由該目標設備的一通訊電路通過該通訊網路提供一顯示資訊給該擴增實境伺服器。
如請求項15所述的操作方法，其中該標記包括ArUco標記。
如請求項15所述的操作方法，更包括：由該擴增實境設備依據該標記獲得對於該擴增實境伺服器的一數位內容下載資訊；以及由該擴增實境設備依據該數位內容下載資訊通過該通訊網路從該擴增實境伺服器取得該數位內容。
如請求項15所述的操作方法，更包括：由該擴增實境伺服器將該顯示資訊轉換為該數位內容以提供給該擴增實境設備。
如請求項18所述的操作方法，其中該顯示資訊包括對應於該目標設備的一設備識別碼，以及所述操作方法更包括：由該目標設備藉由顯示該標記將該設備識別碼傳送給該擴增實境設備；由該擴增實境設備將帶有該設備識別碼的一內容要求通過該通訊網路傳送給該擴增實境伺服器；由該擴增實境伺服器比對該顯示資訊的該設備識別碼與該內容要求的該設備識別碼而產生一比對結果；以及由該擴增實境伺服器依據該比對結果決定是否將該數位內容提供給該擴增實境設備。
如請求項18所述的操作方法，其中該顯示資訊包括對應於該目標設備當下顯示的一顯示內容，以及所述操作方法更包括：由該擴增實境伺服器進行一加值服務，以將該顯示內容轉換為該數位內容。
如請求項20所述的操作方法，其中該加值服務包括一超解析度成像服務、一三維影像轉換服務、一影像增強服務以及一翻譯服務其中至少一者。
如請求項21所述的操作方法，其中該影像增強服務包括對該顯示內容進行去模糊操作，以將該顯示內容轉換為該數位內容。
如請求項15所述的操作方法，其中該數位內容包括一三維數位物件，以及所述操作方法更包括：由該目標設備的至少一姿態感測器偵測該目標設備的姿態；由該目標設備將該目標設備的姿態所對應的一姿態資訊提供給該擴增實境設備；以及由該擴增實境設備基於該姿態資訊對應調整在該畫面中該三維數位物件的姿態。
如請求項15所述的操作方法，更包括：在該擴增實境應用中，由該擴增實境設備通過該通訊網路將該畫面傳送給一遠端設備以進行一視訊會議。
如請求項15所述的操作方法，其中該目標設備包括一手機，以及該擴增實境設備包括一本地端電腦。