TWI779332B - 擴增實境系統與其錨定顯示虛擬物件的方法 - Google Patents

擴增實境系統與其錨定顯示虛擬物件的方法 Download PDF

Info

Publication number
TWI779332B
TWI779332B TW109128636A TW109128636A TWI779332B TW I779332 B TWI779332 B TW I779332B TW 109128636 A TW109128636 A TW 109128636A TW 109128636 A TW109128636 A TW 109128636A TW I779332 B TWI779332 B TW I779332B
Authority
TW
Taiwan
Prior art keywords
image
matching
frame
template
component device
Prior art date
Application number
TW109128636A
Other languages
English (en)
Other versions
TW202209875A (zh
Inventor
黃昭世
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW109128636A priority Critical patent/TWI779332B/zh
Priority to US17/125,884 priority patent/US11380071B2/en
Publication of TW202209875A publication Critical patent/TW202209875A/zh
Application granted granted Critical
Publication of TWI779332B publication Critical patent/TWI779332B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Abstract

一種擴增實境系統與其錨定顯示虛擬物件的方法。透過頭戴式顯示裝置上的影像擷取裝置朝電子設備擷取影像序列。影像序列包括第i幀環境影像與第(i+1)幀環境影像，電子設備包括構件裝置。對第i幀環境影像與第一模板影像進行特徵匹配操作而獲取匹配結果資訊。反應於匹配結果資訊滿足預設條件，從第i幀環境影像中擷取自構件裝置的匹配影像區塊而延伸的第二模板影像。對第(i+1)幀環境影像與第二模板影像進行特徵匹配操作，以依據另一匹配結果資訊透過頭戴式顯示裝置顯示虛擬物件。虛擬物件顯示為錨定於實際場景中的電子設備。

Description

擴增實境系統與其錨定顯示虛擬物件的方法
本發明是有關於一種擴增實境設備，且特別是有關於一種擴增實境系統與其錨定顯示虛擬物件的方法。
隨著科技的發展，擴增實境（Augmented Reality，AR）技術的應用越來越多，AR技術將虛擬的資訊應用到真實世界。
另一方面，隨著資訊處理量的增加，單一螢幕的筆記型電腦已逐漸無法滿足工作者的需求。一般而言，位於辦公室內的使用者，可將筆記型電腦連接至另一台桌上型顯示器，以使用多螢幕顯示功能來提昇工作效率。但是，在外辦公的使用者無法隨身攜帶體積龐大的桌上型顯示器，因而較難以享受多螢幕顯示功能帶來的便利。
有鑑於此，本發明提出一種擴增實境系統與其錨定顯示虛擬物件的方法，其可透過頭戴顯示器顯示以實際場景中的電子設備為定錨點的虛擬物件。
本發明實施例提供一種擴增實境系統的錨定顯示虛擬物件的方法，包括下列步驟。透過頭戴式顯示裝置上的影像擷取裝置朝電子設備擷取影像序列。其中，影像序列包括第i幀環境影像與第(i+1)幀環境影像，且電子設備包括構件裝置。對第i幀環境影像與第一模板影像進行特徵匹配操作而獲取匹配結果資訊。第一模板影像包括構件裝置的影像。反應於匹配結果資訊滿足預設條件，從第i幀環境影像中擷取自構件裝置的匹配影像區塊而延伸的第二模板影像，其中第一模板影像相異於第二模板影像。接著，對第(i+1)幀環境影像與第二模板影像進行特徵匹配操作而獲取另一匹配結果資訊，並依據另一匹配結果資訊透過頭戴式顯示裝置於當前時間點顯示虛擬物件。虛擬物件顯示為錨定於實際場景中的電子設備。
本發明實施例提供一種擴增實境系統，其包括頭戴式顯示裝置以及計算機裝置。頭戴式顯示裝置包括影像擷取裝置，並顯示一虛擬物件。此影像擷取裝置朝電子設備擷取影像序列。此影像序列包括第i幀環境影像與第(i+1)幀環境影像，且電子設備包括構件裝置。計算機裝置連接頭戴式顯示裝置，並包括儲存裝置以及處理器。處理器經配置以執行下列步驟。對第i幀環境影像與第一模板影像進行特徵匹配操作而獲取匹配結果資訊。第一模板影像包括構件裝置的影像。反應於匹配結果資訊滿足預設條件，從第i幀環境影像中擷取自構件裝置的匹配影像區塊而延伸的第二模板影像，其中第一模板影像相異於第二模板影像。接著，對第(i+1)幀環境影像與第二模板影像進行特徵匹配操作而獲取另一匹配結果資訊，並依據另一匹配結果資訊控制頭戴式顯示裝置顯示虛擬物件。虛擬物件顯示為錨定於實際場景中的電子設備。
基於上述，於本發明的實施例中，透過對環境影像與模板影像進行特徵匹配操作，可獲取環境影像中電子設備之構件裝置的位置資訊，進而決定虛擬物件的顯示位置。於此，模板影像可依據電子設備周遭的實際場景而動態決定，從而提昇特徵匹配操作的準確度與穩健性。基此，使用者可透過頭戴式顯示裝置觀看到穩定地且準確地顯示於電子設備周遭的虛擬物件，且虛擬物件是錨定於實際場景中的固定位置，從而提昇使用者觀看虛擬物件的觀看體驗。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與系統的範例。
圖1A與圖1B是依照本發明一實施例的擴增實境系統的示意圖。請參照圖1A與圖1B，擴增實境（AR）系統10包括頭戴式顯示裝置110以及計算機裝置120，其可為單一整合系統或分離式系統。具體而言，如圖1A所示，計算機裝置120可配置於電子設備130內，並經由有線傳輸介面或是無線傳輸介面與頭戴式顯示裝置110相連。於另一實施例中，如圖1B所示，擴增實境系統10中的頭戴式顯示裝置110與計算機裝置120可以實作成一體式（all-in-one，AIO）頭戴式顯示器。舉例而言，擴增實境系統10可實施為一體式的AR眼鏡，或者實施為經由通訊介面相連結的AR眼鏡與電腦系統。擴增實境系統10用於向使用者提供擴增實境內容。擴增實境系統10中的頭戴式顯示裝置110用以顯示虛擬物件，且此虛擬物件會顯示為錨定於實際場景中的電子設備130。
電子設備130例如為筆記型電腦、平板電腦或智慧型手機或桌上型顯示器，本發明對此不限制。電子設備130可包括構件裝置131。構件裝置131可為鍵盤、顯示螢幕或其他適於被頭戴式顯示裝置110之影像擷取單元111拍攝到的構件。於一實施例中，當使用者配戴頭戴式顯示裝置110觀看實際場景中的電子設備130的顯示螢幕時，擴增實境系統10所提供的虛擬物件可作為輔助螢幕。
頭戴式顯示裝置110包括影像擷取裝置111、顯示器112以及動作感測器113。影像擷取裝置111用以擷取環境影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。在一實施例中，影像擷取裝置111固定設置於頭戴式顯示裝置110上，並用於拍攝位於頭戴式顯示裝置110前方的實際場景。舉例而言，當使用者配戴頭戴式顯示裝置110時，影像擷取裝置111可位於使用者雙眼之間或位於某一眼外側而朝使用者前方的實際場景進行拍攝動作。
顯示器112是具有一定程度的光線穿透性的顯示裝置，使用者觀看時能夠呈現出相對於觀看者另一側的實際場景。顯示器112可以液晶、有機發光二極體、電子墨水或是投影方式等顯示技術顯示虛擬物件，其具有半透明或是透明的光學鏡片。因此，使用者透過顯示器112所觀看到的內容將會是疊加虛擬物件的擴增實境場景。在一實施例中，顯示器112可實作為擴增實境眼鏡的鏡片。
動作感測器113例如是六軸感測器（可進行方向及加速度的感測），可使用的感測器種類包括重力感測器（g-sensor）、陀螺儀（gyroscope）、加速度計（accelerometer）、電子羅盤（Electronic Compass）或是其他適合的動作感測器或上述感測器的組合搭配。
然而，除了影像擷取裝置111、顯示器112以及動作感測器113之外，頭戴式顯示裝置110更可包括未繪示於圖1的元件，像是揚聲器、控制器以及各式通信介面等等，本發明對此不限制。
另一方面，計算機裝置120可包括儲存裝置122，以及處理器123。儲存裝置122用以儲存資料與供處理器123存取的程式碼（例如作業系統、應用程式、驅動程式）等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或其組合。
處理器123耦接儲存裝置122，例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。處理器123可存取並執行記錄在儲存裝置122中的程式碼與軟體元件，以實現本發明實施例中的錨定顯示虛擬物件的方法。
圖2是依照本發明一實施例的擴增實境系統的應用情境圖。請參照圖2，當使用者透過頭戴式顯示裝置110的顯示器112觀看電子設備130時，使用者可看到虛擬物件V_obj疊加於實際場景的擴增實境場景。詳細而言，當使用者在配戴頭戴式顯示裝置110的情況下操作電子設備130時，影像擷取裝置111會朝電子設備130拍攝包括多張環境影像的影像序列。計算機裝置120可依據這些環境影像來即時定位電子設備130，並依據定位結果決定虛擬物件V_obj的顯示參數，像是顯示邊界、顯示尺寸或顯示位置等等，致使虛擬物件V_obj可呈現為錨定於電子設備130上。亦即，即便使用者的頭部移動或轉動，使用者可透過頭戴式顯示裝置110觀看到位於實際場景中一固定位置上的虛擬物件V_obj。換言之，顯示器112上所顯示的虛擬物件V_obj會隨著使用者移動或其頭部轉動而相對移動。
如圖2的範例所示，當使用者透過頭戴式顯示裝置110的顯示器112觀看電子設備130時，使用者可看到自電子設備130的右顯示邊框向外展開的虛擬物件V_obj。虛擬物件V_obj可用以提供各種資訊給使用者，例如是視窗、文件、影像、桌面或執行應用程式生成的視覺輸出等等。因此，當使用者透過頭戴式顯示裝置110觀看電子設備130時，可享受到多螢幕顯示功能帶來的便利。然而，圖2僅為一示範說明，本發明對於虛擬物件的數量與其顯示位置並不限制。
需說明的是，影像擷取裝置111可定時地且連續地拍攝多張環境影像（例如以30Hz的擷取幀率來產生環境影像），而計算機裝置120可重複地計算電子設備130於擴增實境座標系統下的位置資訊，並據以持續更新虛擬物件的顯示位置。藉此，在滿足顯示虛擬條件V_obj之條件的情況下，即便使用者的位置改變或其頭部轉動，虛擬物件依然可顯示為錨定於實際場景中的相對於電子設備130的一個固定位置上。
於一實施例中，每當計算機裝置120獲取一幀環境影像，計算機裝置120可透過對環境影像與關聯於構件裝置131的模板影像進行特徵匹配操作，從而獲取定位電子設備130的構件裝置131的定位資訊。於是，計算機裝置120可參考構件裝置131的定位資訊而實時（in real-time）決定虛擬物件V_obj的顯示位置。舉例而言，構件裝置131可以是鍵盤K1或顯示螢幕S1。值得一提的是，於一實施例中，為了確保特徵匹配的穩健性，計算機裝置120所使用的模板影像是可基於實際場景資訊而動態改變的。
以下即搭配擴增實境系統10的各元件列舉實施例，以說明錨定顯示虛擬物件的方法的詳細步驟。
圖3是依照本發明一實施例的錨定顯示方法的流程圖。請參照圖1與圖3，本實施例的方式適用於上述實施例中的擴增實境系統10，以下即搭配擴增實境系統10中的各項元件說明本實施例之錨定顯示虛擬物件的方法的詳細步驟。
於步驟S301，透過頭戴式顯示裝置110上的影像擷取裝置111朝電子設備130擷取影像序列。於一實施例中，影像擷取裝置111可依據一擷取幀率持續地擷取影像序列。影像序列包括第i幀環境影像與第(i+1)幀環境影像，其中i為大於0的整數。影像序列中的多張環境影像為位於使用者周遭的實際場景的影像。詳細來說，實際場景的影像關聯於影像擷取裝置111的視野範圍。
於步驟S302，處理器123對第i幀環境影像與第一模板影像進行特徵匹配操作而獲取匹配結果資訊。此第一模板影像包括構件裝置131的影像。第一模板影像可為預設的原始模板影像或基於先前環境影像（例如第(i-n)幀環境影像）的影像內容而產生的模板影像。舉例而言，當i=1，即在尚未依據實境場景更新模板影像的情況下，則第一模板影像可為預設的原始模板影像。原始模板影像可僅包括構件裝置131的影像。當i=5，則第一模板影像可為基於第4幀環境影像的影像內容而產生的模板影像，且此模板影像會包括構件裝置131的影像以及實境場景的影像。圖4為依據本發明一實施例的原始模板影像與基於先前環境影像的影像內容而產生的模板影像的範例示意圖。請參照圖4，假設構件裝置131為電子設備130的鍵盤。原始模板影像Img_r可僅包括鍵盤的影像，而基於環境影像的影像內容而產生的模板影像Img_T可包括鍵盤的影像以及實境場景的影像。
於一實施例中，處理器123可依據特徵擷取（feature extraction）演算法分別對第i幀環境影像與第一模板影像擷取影像特徵。特徵擷取演算法例如是尺度不變特徵轉換（Scale Invariant feature transformation，SIFT）演算法或加速強健特徵（Speeded Up Robust Features，SURF）演算法等等。接著，處理器123可對第i幀環境影像中的影像特徵與第一模板影像中的影像特徵進行特徵匹配（feature matching）操作，從而獲取匹配結果資訊。然而，本發明對於特徵匹配演算法並不加以限制。於一實施例中，匹配結果資訊可包括多個特徵匹配對以及第i幀環境影像中構件裝置130的匹配影像區塊。具體而言，依據特徵匹配操作的結果，處理器123可從第i幀環境影像中偵測到構件裝置131的匹配影像區塊。基於第一樣板影像中構件裝置131的匹配影像區塊，處理器123例如可透過隨機抽樣一致（RANdom SAmple Consensus，RANSAC）演算法而自第i幀環境影像中定義出構件裝置130的匹配影像區塊。影像擷取裝置111的拍攝距離與拍攝方向都會影響第i幀環境影像中匹配影像區塊的形狀與尺寸。
此外，於一實施例中，儲存裝置122可儲存多張原始模板影像，例如對應至不同鍵盤型號的鍵盤模板影像。於一實施例中，步驟S302中的第一模板影像可為原始模板影像其中之一。具體而言，處理器123可分別對第i幀環境影像與這些原始模板影像進行特徵匹配操作。接著，依據分別對應於原始模板影像的匹配程度，處理器123可從這些原始模板影像挑選出匹配程度最高的第一模板影像，接著依據關聯於第一模板影像的匹配結果資訊執行後續步驟。
於步驟S303，反應於匹配結果資訊滿足預設條件，處理器123從第i幀環境影像中擷取自構件裝置131的匹配影像區塊而延伸的第二模板影像。隨著使用者頭部的擺動或移動或實際場景變化，第一模板影像將相異於第二模板影像。於一實施例中，第二模板影像的尺寸大於第一模板影像的尺寸。在一實施例中，處理器123可依據匹配結果資訊決定第i幀環境影像與第一模板影像之間的匹配程度。若第i幀環境影像與第一模板影像之間的匹配程度滿足預設條件，處理器123可從第i幀環境影像擷取出包括構件裝置131的匹配影像區塊以及其他實際場景內容的第二模板影像，從而達到更新模板影像的目的。需說明的是，反應於匹配結果資訊未滿足預設條件，處理器123可於後續操作中維持使用第一模板影像而不依據第i幀環境影像產生第二模板影像。亦即，反應於匹配結果資訊未滿足預設條件，處理器123可維持使用第一模板影像來定位第（i+1）幀環境影像中的構件裝置131。此外，於一實施例中，處理器123也可依據第i幀環境影像中構件裝置131的匹配影像區塊的形狀與位置決定是否從第i幀環境影像擷取出第二模板影像。
接著，於步驟S304，處理器123對第(i+1)幀環境影像與第二模板影像進行特徵匹配操作而獲取另一匹配結果資訊，以依據另一匹配結果資訊透過頭戴式顯示裝置110顯示虛擬物件。處理器123對第(i+1)幀環境影像與第二模板影像進行特徵匹配操作的操作原理相同於對第i幀環境影像與第一模板影像進行特徵匹配操作的操作原理，於此不贅述。
於一實施例中，依據第(i+1)幀環境影像與第二模板影像的特徵匹配結果，處理器123可從第(i+1)幀環境影像中獲取構件裝置130的另一匹配影像區塊。第(i+1)幀環境影像中獲取構件裝置130的另一匹配影像區塊可視為構件裝置130的定位結果。於是，處理器123可依據第(i+1)幀環境影像中另一匹配影像區塊的影像座標資訊決定虛擬物件的顯示位置。舉例而言，處理器123可以第(i+1)幀環境影像中另一匹配影像區塊的任一角點或中心點作為參考定錨點而依據預設相對位置關係來計算出虛擬物件的顯示位置。接著，處理器123可依據此顯示位置透過頭戴式顯示裝置110顯示虛擬物件。具體而言，處理器123可依據第(i+1)幀環境影像中另一匹配影像區塊的影像座標資訊計算虛擬物件於相機座標系統中的顯示位置。接著，處理器123可依據座標轉換關係將虛擬物件於相機座標系統中的顯示位置轉換為虛擬物件於擴增實境座標系統中的顯示位置。透過利用已知的幾何向量投影演算法，處理器123可依據虛擬物件於擴增實境座標系統中的顯示位置產生提供給頭戴式顯示裝置110的顯示資料。
需說明的是，於一實施例中，在步驟S302之後，處理器123同樣可依據第i幀環境影像與第一模板影像之間的匹配結果資訊決定虛擬物件的顯示位置，以依據第i幀環境影像與第一模板影像之間的匹配結果資訊透過頭戴式顯示裝置110顯示虛擬物件。可理解的，頭戴式顯示裝置110先依據關聯於第i幀環境影像與第一模板影像之間的匹配結果資訊來顯示虛擬物件，然後再依據關聯於第(i+1)幀環境影像與第二模板影像之間的另一匹配結果資訊來顯示虛擬物件。藉此，虛擬物件的顯示位置是反應於這些環境影像的變化而實時地調整。亦即，使用者所看到的虛擬物件將錨定於相對於電子設備130的特定位置上，致使虛擬物件可與實際場景中的電子設備130結合為一體，從而增進視覺體驗與提昇便利性。
為了方便說明，以上實施例是以影像擷取裝置111連續拍攝的兩張環境影像（即第i幀環境影像與第(i+1)幀環境影像）說明。可理解的，藉由重複執行圖3所示的流程，用以定位構件裝置131的模板影像可反應場景變化與場景內容而對應調整。因此，於一實施例中，在處理器123對第(i+1)幀環境影像與第二模板影像進行特徵匹配操作而獲取另一匹配結果資訊之後，處理器123同樣可依據另一匹配結果資訊而依據第(i+1)幀環境影像產生相異於第二模板影像的第三模板影像。
圖5是依照本發明一實施例的動態調整用以定位構件裝置之模板影像的示意圖。假設電子設備130為一筆記型電腦，且構件裝置131為電子設備130的鍵盤。請參照圖5，在影像擷取裝置111擷取第i幀環境影像Img_Si之後，處理器123可對第i幀環境影像Img_Si與第一模板影像Img_T1進行特徵匹配操作，以從第i幀環境影像Img_Si搜尋出相似於第一模板影像Img_T1中構件裝置131的匹配影像區塊M1的匹配影像區塊M2。於第一時間點，處理器123可依據第i幀環境影像Img_Si中構件裝置131的匹配影像區塊M2的位置（例如中心點位置P1）決定虛擬物件的顯示位置。
此外，若第i幀環境影像Img_Si與第一模板影像Img_T1之間匹配程度符合特定條件，處理器123可從第i幀環境影像Img_Si中擷取出自構件裝置131的匹配影像區塊M2相外延伸的第二模板影像Img_T2，從而更新用以定位構件裝置之模板影像。
接著，在獲取第(i+1)幀環境影像Img_S(i+1)之後，處理器123對第(i+1)幀環境影像Img_S(i+1)與第二模板影像Img_T2進行特徵匹配操作，以從第(i+1)幀環境影像Img_S(i+1)搜尋出相似於第二模板影像Img_T2中構件裝置131的匹配影像區塊M2的匹配影像區塊M3。於是，於第二時間點，處理器123會依據第(i+1)幀環境影像Img_S(i+1)中構件裝置131的匹配影像區塊M3的位置（例如中心點位置P2）決定虛擬物件的顯示位置。
可理解的，不同時間所使用的模板影像是會基於實際場景而變化或延伸，因而可提昇特徵匹配操作的穩健度。藉此，假設構件裝置131為鍵盤時，即便使用者的手部位於鍵盤上，特徵匹配操作的準確度也可保持一定的準確度。或者，假設構件裝置131為顯示螢幕時，即便顯示螢幕之顯示畫面的特徵量不足，特徵匹配操作的準確度也可保持一定的準確度。
值得一提的是，於一實施例中，當構件裝置131為顯示螢幕時，基於顯示畫面為時變資料，處理器123可依據顯示螢幕的顯示畫面來調整第二模板影像。亦即，模板影像中為顯示螢幕的顯示區域是依據電子設備130的顯示螢幕的顯示資料而決定。
此外，於一實施例中，動作感測器113可感測頭戴式顯示裝置110對應於三座標軸向（X軸、Y軸與Z軸）的加速度。基此，假設影像擷取單元111於第i個時間點擷取第i幀環境影像，且於第(i+1)個時間點擷取第(i+1)幀環境影像。處理器113可取得頭戴式顯示裝置110在第i個時間點及第i+1個時間點之間所測得的加速度，並據以估計頭戴式顯示裝置110在第i個時間點及第i+1個時間點之間的移動量。於是，處理器123可依據此移動量調整基於第i幀環境影像而獲取的匹配影像區塊的位置，並據以調整虛擬物件的顯示位置。於一實施例中，處理器123可使用卡爾曼濾波器來預估構件裝置131的匹配影像區塊之四個角點的座標位置。基此，藉由動作感測器113的協助，虛擬物件的顯示可更為流暢。
圖6是依照本發明一實施例的錨定顯示方法的流程圖。請參照圖1與圖6，本實施例的方式適用於上述實施例中的擴增實境系統10，以下即搭配擴增實境系統10中的各項元件說明本實施例之錨定顯示虛擬物件的方法的詳細步驟。
於步驟S601，透過頭戴式顯示裝置110上的影像擷取裝置111朝電子設備130擷取影像序列。於步驟S602，處理器123對第i幀環境影像與第一模板影像進行特徵匹配操作而獲取匹配結果資訊。步驟S601～步驟S602的操作原理相似於前述實施例的步驟S301～步驟S302的操作原理，於此不贅述。
於步驟S603，處理器123依據匹配結果資訊透過頭戴式顯示裝置110顯示虛擬物件。亦即，處理器123可依據第i幀環境影像中構件裝置131的匹配影像區塊的位置決定虛擬物件的顯示位置，以依據此顯示位置控制頭戴式顯示裝置110顯示虛擬物件。
需說明的是，於一實施例中，第i幀環境影像與第一模板影像之間的匹配結果資訊可包括多個特徵匹配對以及第i幀環境影像中構件裝131的匹配影像區塊。基於特徵匹配操作，一個特徵匹配對是由第i幀環境影像中的一個影像特徵與第一模板影像中的一個影像特徵組成，且各個特徵匹配對具有對應的匹配距離。具體而言，處理器123可在執行特徵匹配演算法之後，獲取多個特徵匹配對與各個特徵匹配對的匹配距離。匹配距離可反映特徵匹配對之兩個影像特徵之間的相似程度，其為兩影像特徵的特徵描述子（Descriptor）於一向量空間中的距離。
於步驟S604，處理器123判斷特徵匹配對的數目是否大於第一臨界值。可知的，特徵匹配對的數目可反映第i幀環境影像與第一模板影像之間的相似程度，且特徵匹配對的數目也可反映第一模板影像中的影像特徵是否足夠。於步驟S605，處理器123判斷特徵匹配對的匹配距離的平均值是否小於第二臨界值。特徵匹配對的匹配距離的平均值可反映第i幀環境影像與第一模板影像之間的相似程度，也可反映特徵匹配操作的準確度。特徵匹配對的匹配距離的平均值越小，代表特徵匹配的準確度越高。
於步驟S606，處理器123判斷第i幀環境影像中構件裝置131的匹配影像區塊是否位於預設範圍內。舉例而言，以圖5為例，處理器123可判斷匹配影像區塊M2的中心點位置P1是否位於第i幀環境影像的特定中心範圍內，此特定中心範圍可依據實際需求而設置。舉例而言，假設第i幀環境影像的影像尺寸為M*N，則處理器123可判斷匹配影像區塊M2的中心點位置P1的X分量是否介於0.25＊M至0.75*M之間，且匹配影像區塊M2的中心點位置P1的Y分量是否介於0.25＊N至0.75*N之間。若匹配影像區塊M2的中心點位置P1的X分量與Y分量滿足上述條件，則處理器123可判定第i幀環境影像中構件裝置131的匹配影像區塊位於預設範圍內。
於一實施例中，若特徵匹配對的數目大於第一臨界值、特徵匹配對的匹配距離的匹配距離小於第二臨界值，且匹配影像區塊位於預設範圍內，處理器123可第i幀環境影像中擷取自構件裝置131的匹配影像區塊而延伸的第二模板影像。於一實施例中，第二模板影像為一部分的第i幀環境影像。
於圖6的實施例中，處理器123更可依據匹配影像區塊的幾何形狀，決定是否從第i幀環境影像中擷取第二模板影像。於是，於步驟S607，處理器123判斷區塊邊界的斜率是否滿足有關於構件裝置131的幾何形狀條件。具體而言，第i幀環境影像中構件裝置131的匹配影像區塊包括多個區塊邊界，例如4個區塊邊界。於一實施例中，假設構件裝置131為矩形的顯示螢幕，匹配影像區塊的幾何形狀應當為梯形。在此情況下，處理器123可依據這些區塊邊界的斜率來判斷匹配影像區塊的正確性。若區塊邊界的斜率不滿足有關於構件裝置131的幾何形狀條件，代表特徵匹配操作的結果有缺失，因而可得知不適於從第i幀環境影像中擷取第二模板影像。若區塊邊界的斜率滿足有關於構件裝置131的幾何形狀條件，則處理器123從第i幀環境影像中擷取自構件裝置131的匹配影像區塊而延伸的第二模板影像。
舉例而言，第i幀環境影像中構件裝置131的匹配影像區塊包括第一區塊邊界，相對於第一區塊邊界的第二區塊邊界、第三區塊邊界，以及相對於第三區塊邊界的第四區塊邊界。假設構件裝置131為矩形的顯示螢幕。因此，唯有若第一區塊邊界的斜率的絕對值相似於第二區塊邊界的斜率的絕對值且第三區塊邊界的斜率的絕對值相似於第四區塊邊界的斜率的絕對值，則處理器123才可在從第i幀環境影像中擷取自構件裝置131的匹配影像區塊而延伸的第二模板影像。
於是，若步驟S604、S605、S606、S607皆判斷為是，處理器123可決定從第i幀環境影像中擷取第二模板影像。另一方面，若步驟S604、S605、S606、S607其中之一判斷為否，處理器123不更新用以定位構件裝置131的模板影像。於是，於步驟S611，處理器123可對第(i+1)幀環境影像與第一模板影像進行特徵匹配操作而獲取另一匹配結果資訊，以依據另一匹配結果資訊透過頭戴式顯示裝置110顯示虛擬物件。
於本實施例中，在步驟S604、S605、S606、S607皆判斷為是的情況下，於步驟S608，處理器123可依據第i幀環境影像與第一模板影像之間的匹配結果資訊決定延伸配置參數，並依據延伸配置參數從第i幀環境影像中構件裝置131的匹配影像區塊的區塊邊界開始延伸而擷取第二模板影像。於一實施例中，處理器123可依據特徵匹配對的分佈情況來決定延伸配置參數。於一實施例中，延伸配置參數可包括延伸方向與延伸量。舉例而言，延伸配置參數可包括對應於X軸的正負方向以及對應於Y軸的正負方向的四個延伸量，而上述延伸量可依據匹配結果資訊而決定。假設第i幀環境影像中構件裝置131的左方具有較多的匹配成功的影像特徵，則處理器123可配置對應於X軸的負方向的延伸量大於對應於X軸的正方向的延伸量。由此可知，處理器123是依據動態改變的延伸配置參數來產生模板影像，因此處理器123可從第i幀環境影像中擷取影像特徵量較為豐富的第二模板影像。
此外，於一實施例中，處理器123可逐漸擴大模板影像的尺寸，直至模板影像的尺寸符合預設尺寸。因此，於一實施例中，處理器123判斷第一模板影像的影像尺寸是否符合一預設尺寸。反應於第一模板影像的影像尺寸符合預設尺寸，處理器123基於預設尺寸自第i幀環境影像中擷取自構件裝置131的匹配影像區塊而延伸的第二模板影像。在此情況下，第一模板影像的尺寸與第二模板影像的尺寸皆為預設尺寸。另一方面，反應於第一模板影像的影像尺寸未符合預設尺寸，處理器123依據暫時延伸尺寸自第i幀環境影像中擷取自構件裝置131的匹配影像區塊而延伸的第二模板影像。在此情況下，第一模板影像的尺寸小於暫時延伸尺寸且第二模板影像的尺寸為暫時延伸尺寸，而暫時延伸尺寸小於預設尺寸。
於步驟S609，若特徵匹配對的數目大於第一臨界值且特徵匹配對的相似距離的平均值小於第二臨界值，處理器123利用特徵匹配對的數目更第一臨界值並利用匹配距離的平均值更新第二臨界值。藉由於一操作情境中持續更新第一臨界值與第二臨界值，可使第一臨界值趨近特定最大值而與第二臨界值趨近為特定最小值，從而獲取適合於當前操作情境的第一臨界值與第二臨界值。
接著，於步驟S610，處理器123對第(i+1)幀環境影像與第二模板影像進行特徵匹配操作而獲取另一匹配結果資訊，以依據另一匹配結果資訊透過頭戴式顯示裝置110顯示虛擬物件。
綜上所述，於本發明實施例中，當使用者配戴頭戴式顯示裝置觀看電子設備時，即便頭戴式顯示裝置動態移動，但使用者依然可看到於錨定於實境場景中一固定位置的虛擬物件。藉此，使用者可透過虛擬物件獲取更多的資訊量，並享優良舒適的觀看體驗。此外，基於用以定位電子設備之構件裝置的樣板影像可隨場景內容而動態變化，特徵匹配的可靠性與穩健性可大幅提昇，從而使虛擬物件的顯示更為流暢且準確。藉此，可提昇使用者使用頭戴式顯示裝置觀看虛擬物件的觀看體驗。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:擴增實境系統 110:頭戴式顯示裝置 120:計算機裝置 111:影像擷取裝置 112:顯示器 122:儲存裝置 123:處理器 130:電子設備 131:構件裝置 S1:顯示螢幕 K1:鍵盤 P1、P2:中心點位置 Img_T、Img_T1、Img_T2:樣板影像 Img_r:原始樣板影像 M1～M3:匹配影像區塊 V_obj:虛擬物件 Img_Si、Img_S(i+1):環境影像 S301～S304、S601～S611:步驟
圖1A是依照本發明一實施例的擴增實境系統的示意圖。 圖1B是依照本發明一實施例的擴增實境系統的示意圖。 圖2是依照本發明一實施例的擴增實境系統的應用情境圖。 圖3是依照本發明一實施例的錨定顯示虛擬物件的方法的流程圖。 圖4為依據本發明一實施例的原始模板影像與基於先前環境影像的影像內容而產生的模板影像的範例示意圖。 圖5是依照本發明一實施例的動態調整用以定位構件裝置之模板影像的示意圖。 圖6是依照本發明一實施例的錨定顯示方法的流程圖。
S301~S304:步驟

Claims (14)

  1. 一種擴增實境系統的錨定顯示虛擬物件的方法，所述方法包括：透過一頭戴式顯示裝置上的影像擷取裝置朝一電子設備擷取一影像序列，其中該影像序列包括一第i幀環境影像與一第(i+1)幀環境影像，且該電子設備包括一構件裝置；對該第i幀環境影像與一第一模板影像進行特徵匹配操作而獲取一匹配結果資訊，其中該第一模板影像包括該構件裝置的影像；反應於該匹配結果資訊滿足預設條件，從該第i幀環境影像中擷取自該構件裝置的匹配影像區塊而延伸的一第二模板影像，其中該第一模板影像相異於該第二模板影像：以及對該第(i+1)幀環境影像與該第二模板影像進行特徵匹配操作而獲取另一匹配結果資訊，並依據該另一匹配結果資訊透過該頭戴式顯示裝置顯示一虛擬物件，其中該虛擬物件顯示為錨定於實際場景中的該電子設備；其中該第i幀環境影像與該第一模板影像之間的該匹配結果資訊包括多個特徵匹配對以及該第i幀環境影像中該構件裝置的該匹配影像區塊；而反應於該匹配結果資訊滿足該預設條件，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像的步驟包括：若該些特徵匹配對的數目大於第一臨界值、該些特徵匹配對 的匹配距離的匹配距離小於第二臨界值，且該匹配影像區塊位於預設範圍內，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像；其中在反應於該匹配結果資訊滿足該預設條件，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像的步驟之後，所述方法更包括：若該些特徵匹配對的數目大於該第一臨界值且該些特徵匹配對的相似距離的該平均值小於該第二臨界值，利用該些特徵匹配對的數目更新該第一臨界值並利用該平均值更新該第二臨界值。
  2. 如請求項1所述的錨定顯示虛擬物件的方法，其中該反應於該匹配結果資訊滿足該預設條件，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像的步驟包括：判斷該些特徵匹配對的數目是否大於該第一臨界值；判斷該些特徵匹配對的匹配距離的平均值是否小於該第二臨界值；以及判斷該第i幀環境影像中該構件裝置的該匹配影像區塊是否該位於預設範圍內。
  3. 如請求項2所述的錨定顯示虛擬物件的方法，其中該第i幀環境影像中該構件裝置的該匹配影像區塊包括多個區塊邊界，其中反應於該匹配結果資訊滿足該預設條件，從該第i幀環境 影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像的步驟更包括：判斷該些區塊邊界的斜率是否滿足有關於該構件裝置的幾何形狀條件；以及若該些區塊邊界的斜率滿足有關於該構件裝置的該幾何形狀條件，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像。
  4. 如請求項1所述的錨定顯示虛擬物件的方法，其中自該第i幀環境影像中擷取自關聯於該構件裝置的該匹配影像區塊而延伸的該第二模板影像的步驟包括：依據該匹配結果資訊決定一延伸配置參數，並依據該延伸配置參數從該第i幀環境影像中該構件裝置的該匹配影像區塊的區塊邊界開始延伸而擷取該第二模板影像，其中該延伸配置參數包括延伸方向與延伸量。
  5. 如請求項4所述的錨定顯示虛擬物件的方法，其中依據該匹配結果資訊決定該延伸配置參數，並依據該延伸配置參數從該第i幀環境影像中該構件裝置的該匹配影像區塊的該區塊邊界開始延伸而擷取該第二模板影像的步驟更包括：判斷該第一模板影像的影像尺寸是否符合一預設尺寸；反應於第一模板影像的影像尺寸符合該預設尺寸，基於該預設尺寸自該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像；以及 反應於第一模板影像的影像尺寸未符合該預設尺寸，依據一暫時延伸尺寸自該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像，其中該暫時延伸尺寸小於該預設尺寸。
  6. 如請求項1所述的錨定顯示虛擬物件的方法，其中該構件裝置為鍵盤或顯示螢幕，且依據該另一匹配結果資訊透過該頭戴式顯示裝置於該當前時間點顯示該虛擬物件的步驟包括：獲取該第(i+1)幀環境影像中該構件裝置的另一匹配影像區塊；依據該另一匹配影像區塊的影像座標資訊決定該虛擬物件的顯示位置；以及依據該顯示位置透過該頭戴式顯示裝置顯示該虛擬物件。
  7. 如請求項1所述的錨定顯示虛擬物件的方法，其中所述方法更包括：儲存多張原始模板影像，其中該第一模板影像為該些原始模板影像其中之一；以及分別對該第i幀環境影像與該些原始模板影像進行特徵匹配操作，以從該些原始模板影像挑選出該第一模板影像。
  8. 一種擴增實境系統，包括：一頭戴式顯示裝置，包括一影像擷取裝置，並顯示一虛擬物件，其中該影像擷取裝置朝一電子設備擷取一影像序列，該影像序列包括一第i幀環境影像與一第(i+1)幀環境影像，且該電子設 備包括一構件裝置；一計算機裝置，連接該頭戴式顯示裝置，並包括：一儲存裝置；以及一處理器，耦接該儲存裝置，經配置以：對該第i幀環境影像與一第一模板影像進行特徵匹配操作而獲取一匹配結果資訊，其中該第一模板影像包括該構件裝置的影像；反應於該匹配結果資訊滿足預設條件，從該第i幀環境影像中擷取自該構件裝置的匹配影像區塊而延伸的一第二模板影像，其中第一模板影像相異於該第二模板影像：以及對該第(i+1)幀環境影像與該第二模板影像進行特徵匹配操作而獲取另一匹配結果資訊，並依據該另一匹配結果資訊控制該頭戴式顯示裝置顯示該虛擬物件，其中該虛擬物件顯示為錨定於實際場景中的該電子設備；其中該第i幀環境影像與該第一模板影像之間的該匹配結果資訊包括多個特徵匹配對以及該第i幀環境影像中該構件裝置的該匹配影像區塊；而反應於該匹配結果資訊滿足該預設條件，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像的步驟包括：若該些特徵匹配對的數目大於第一臨界值、該些特徵匹配對的匹配距離的匹配距離小於第二臨界值，且該匹配影像區塊位於預設範圍內，從該第i幀環境影像中擷取自該構件裝置的該匹配影 像區塊而延伸的該第二模板影像；其中在反應於該匹配結果資訊滿足該預設條件，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像的步驟之後，所述方法更包括：若該些特徵匹配對的數目大於該第一臨界值且該些特徵匹配對的相似距離的該平均值小於該第二臨界值，利用該些特徵匹配對的數目更新該第一臨界值並利用該平均值更新該第二臨界值。
  9. 如請求項8所述的擴增實境系統，其中該處理器更經配置以：判斷該些特徵匹配對的數目是否大於該第一臨界值；判斷該些特徵匹配對的匹配距離的平均值是否小於該第二臨界值；以及判斷該第i幀環境影像中該構件裝置的該匹配影像區塊是否該位於預設範圍內。
  10. 如請求項9所述的擴增實境系統，其中該第i幀環境影像中該構件裝置的該匹配影像區塊包括多個區塊邊界，而該處理器更經配置以：判斷該些區塊邊界的斜率是否滿足有關於該構件裝置的幾何形狀條件；以及若該些區塊邊界的斜率滿足有關於該構件裝置的該幾何形狀條件，從該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像。
  11. 如請求項8所述的擴增實境系統，其中該處理器更經配置以：依據該匹配結果資訊決定一延伸配置參數，並依據該延伸配置參數從該第i幀環境影像中該構件裝置的該匹配影像區塊的區塊邊界開始延伸而擷取該第二模板影像，其中該延伸配置參數包括延伸方向與延伸量。
  12. 如請求項11所述的擴增實境系統，其中該處理更經配置以：判斷該第一模板影像的影像尺寸是否符合一預設尺寸；反應於第一模板影像的影像尺寸符合該預設尺寸，基於該預設尺寸自該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像；以及反應於第一模板影像的影像尺寸未符合該預設尺寸，依據一暫時延伸尺寸自該第i幀環境影像中擷取自該構件裝置的該匹配影像區塊而延伸的該第二模板影像，其中該暫時延伸尺寸小於該預設尺寸。
  13. 如請求項8所述的擴增實境系統，其中該構件裝置為鍵盤或顯示螢幕，且該處理更經配置以：獲取該第(i+1)幀環境影像中該構件裝置的另一匹配影像區塊；依據該另一匹配影像區塊的影像座標資訊決定該虛擬物件的顯示位置；以及 依據該顯示位置透過該頭戴式顯示裝置顯示該虛擬物件。
  14. 如請求項8所述的擴增實境系統，其中該處理更經配置以：儲存多張原始模板影像，其中該第一模板影像為該些原始模板影像其中之一；以及分別對該第i幀環境影像與該些模板影像進行特徵匹配操作，以從該些原始模板影像挑選出該第一模板影像。
TW109128636A 2020-08-21 2020-08-21 擴增實境系統與其錨定顯示虛擬物件的方法 TWI779332B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109128636A TWI779332B (zh) 2020-08-21 2020-08-21 擴增實境系統與其錨定顯示虛擬物件的方法
US17/125,884 US11380071B2 (en) 2020-08-21 2020-12-17 Augmented reality system and display method for anchoring virtual object thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109128636A TWI779332B (zh) 2020-08-21 2020-08-21 擴增實境系統與其錨定顯示虛擬物件的方法

Publications (2)

Publication Number Publication Date
TW202209875A TW202209875A (zh) 2022-03-01
TWI779332B true TWI779332B (zh) 2022-10-01

Family

ID=80269697

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109128636A TWI779332B (zh) 2020-08-21 2020-08-21 擴增實境系統與其錨定顯示虛擬物件的方法

Country Status (2)

Country Link
US (1) US11380071B2 (zh)
TW (1) TWI779332B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201631960A (zh) * 2015-02-17 2016-09-01 奇為有限公司 擴增實境式串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品
TW202001686A (zh) * 2014-10-15 2020-01-01 南韓商三星電子股份有限公司 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200111256A1 (en) * 2018-10-08 2020-04-09 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US11430141B2 (en) * 2019-11-04 2022-08-30 Facebook Technologies, Llc Artificial reality system using a multisurface display protocol to communicate surface data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202001686A (zh) * 2014-10-15 2020-01-01 南韓商三星電子股份有限公司 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備
TW201631960A (zh) * 2015-02-17 2016-09-01 奇為有限公司 擴增實境式串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品

Also Published As

Publication number Publication date
US11380071B2 (en) 2022-07-05
US20220058877A1 (en) 2022-02-24
TW202209875A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
CN109146965B (zh) 信息处理装置、计算机可读介质和头戴式显示装置
CN110310329B (zh) 操作显示设备的方法、信息处理系统及非暂时性存储介质
WO2019205850A1 (zh) 位姿确定方法、装置、智能设备及存储介质
WO2019205851A1 (zh) 位姿确定方法、装置、智能设备及存储介质
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
CN111738220A (zh) 三维人体姿态估计方法、装置、设备及介质
WO2022022141A1 (zh) 图像显示方法、装置、计算机设备及存储介质
US11915453B2 (en) Collaborative augmented reality eyewear with ego motion alignment
US10672191B1 (en) Technologies for anchoring computer generated objects within augmented reality
CN112150560A (zh) 确定消失点的方法、装置及计算机存储介质
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
TWI779332B (zh) 擴增實境系統與其錨定顯示虛擬物件的方法
TWM630947U (zh) 立體影像播放裝置
WO2021118560A1 (en) Scene lock mode for capturing camera images
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
US20220335638A1 (en) Depth estimation using a neural network
US20240071018A1 (en) Smooth object correction for augmented reality devices
JP2015061200A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2020095671A (ja) 認識装置及び認識方法

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent