TW202105133A - 在人工實境環境中使用周邊裝置的虛擬使用者介面 - Google Patents

在人工實境環境中使用周邊裝置的虛擬使用者介面 Download PDF

Info

Publication number
TW202105133A
TW202105133A TW109123051A TW109123051A TW202105133A TW 202105133 A TW202105133 A TW 202105133A TW 109123051 A TW109123051 A TW 109123051A TW 109123051 A TW109123051 A TW 109123051A TW 202105133 A TW202105133 A TW 202105133A
Authority
TW
Taiwan
Prior art keywords
user interface
virtual
artificial reality
peripheral device
virtual user
Prior art date
Application number
TW109123051A
Other languages
English (en)
Inventor
莎琳 瑪莉 阿特拉斯
馬克 特拉諾
查德 奧斯丁 布拉姆威爾
卡琳 范尼奧
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW202105133A publication Critical patent/TW202105133A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

本揭露內容大致是描述用於產生及提供一虛擬使用者介面之人工實境系統及技術，使用者可以利用一實體周邊裝置來和所述虛擬使用者介面互動。在某些例子中，一人工實境系統包含一被配置以捕捉影像資料的影像捕捉裝置；一被配置以輸出人工實境內容的頭戴式顯示器(HMD)；一被配置以從所述影像資料偵測一周邊裝置的使用者介面引擎，其中所述使用者介面引擎被配置以產生包括一或多個虛擬使用者介面元素的一虛擬使用者介面；以及一成像引擎，其被配置以成像所述人工實境內容，並且在相對於所述周邊裝置在一人工實境環境中的一位置而被鎖定的一使用者介面位置處成像所述虛擬使用者介面以用於顯示在所述HMD。

Description

在人工實境環境中使用周邊裝置的虛擬使用者介面
本揭露內容大致是有關於人工實境系統，例如是擴增實境、混合實境、及/或虛擬實境系統，並且更具體而言是有關於人工實境環境中的使用者介面。 相關申請案的交互參照 本申請案主張2019年7月9日申請的第16/506,618號的美國非臨時申請案的權益，所述美國非臨時申請案是以其整體被納入在此作為參考。
人工實境系統正變成逐漸普遍存在於例如是電腦遊戲、健康及安全、產業及教育的許多領域的應用中。舉例而言，人工實境系統正被納入行動裝置、遊戲機、個人電腦、電影院、以及主題樂園中。一般而言，人工實境是一種形式的實境，其在呈現給一使用者之前已經用某種方式調整，例如可包含一虛擬實境(VR)、一擴增實境(AR)、一混合實境(MR)、一複合實境、或是其之某種組合及/或衍生。
典型的人工實境系統包含一或多個用於成像及顯示內容給使用者的裝置。舉例而言，一人工實境系統可以納入一頭戴式顯示器(HMD)，其被一使用者所穿戴並且被配置以輸出人工實境內容至所述使用者。所述人工實境內容可包含完全是所產生的內容、或是結合所捕捉的內容(例如，真實世界的視訊及/或影像)之產生的內容。在操作期間，所述使用者通常與所述人工實境系統互動，以和一人工實境環境中的虛擬實境內容互動。
本揭露內容大致是描述用於產生及呈現一虛擬使用者介面之人工實境(AR)系統及技術，使用者可以利用一實體周邊裝置來和所述虛擬使用者介面互動。所述AR系統成像供一HMD、眼鏡或是其它顯示裝置顯示的AR內容，其中所述虛擬使用者介面被鎖定至所述周邊裝置。換言之，所述AR系統可以在所述人工實境環境中的一位置及姿態(pose)成像具有一或多個虛擬使用者介面元素的所述虛擬使用者介面，所述位置及姿態是根據並且對應於所述實體周邊裝置在所述實體環境中的位置及姿態。以此種方式，在所述人工實境環境中的所述虛擬使用者介面可以追蹤所述實體周邊裝置。在各種的例子中，所述虛擬使用者介面元素可包含虛擬的按鈕、一虛擬的鍵盤、一虛擬的繪圖介面、一虛擬的可選的功能表、或是其它使用者可選的虛擬使用者介面元素，其可以是根據所述使用者目前參與的AR應用程式情境驅動的。所述周邊裝置可以是具有一或多個存在感應(presence-sensitive)表面的一計算裝置。
所述AR系統可以使得所述使用者能夠透過覆蓋在所述周邊裝置上的所述虛擬使用者介面的虛擬使用者介面元素來和所述周邊裝置互動，所述周邊裝置可以藉由所述使用者來加以操縱並且以其它方式互動，以透過所述周邊裝置的姿態追蹤以及影像為基礎的姿勢(gesture)偵測及/或經由所述周邊裝置的一或多個輸入裝置(例如是一存在感應表面)，來提供輸入至一AR系統。例如，所述使用者可以和被成像在所述實體周邊裝置上的所述虛擬使用者介面互動，以執行相關虛擬使用者介面元素的使用者介面姿勢。譬如，所述使用者可以將其手指按壓在所述周邊裝置上的一實體位置，其對應於在所述人工實境環境中，所述AR系統成像所述虛擬使用者介面的一虛擬使用者介面按鈕所在的一位置。在此例子中，所述AR系統偵測此使用者介面姿勢並且執行一對應於所述虛擬使用者介面按鈕的偵測到的按壓的動作。譬如，所述AR系統亦可以和所述姿勢一起繪製所述虛擬使用者介面按鈕的按壓。
所述技術可以提供一或多個技術的改善，其提供至少一實際的應用。例如，相對於在所述人工實境環境中的自由浮動的虛擬使用者介面，所述技術可以使得使用者能夠提供相關被虛擬成像在一實體周邊裝置上的使用者介面元素的細微顆粒的使用者輸入，而實體周邊裝置則提供觸覺回授。此可以簡化及改善姿勢偵測的精確度，並且提供更愉快的使用者體驗。此外，所述周邊裝置可能並未在其本身的顯示器顯示所述使用者介面元素，並且甚至可能並未包含顯示器。藉由消除為了接收來自一使用者的精確輸入而原本將會需要在譬如智慧型手機或平板電腦的一存在感應顯示器產生及顯示的一個別的介面，所述技術因此可以額外降低功率消耗並且簡化AR應用程式。
在某些例子中，一種人工實境系統包含一影像捕捉裝置，其被配置以捕捉影像資料；一頭戴式顯示器(HMD)，其被配置以輸出人工實境內容；一使用者介面引擎，其被配置以從所述影像資料偵測一周邊裝置，其中所述使用者介面引擎被配置以產生包括一或多個虛擬使用者介面元素的一虛擬使用者介面；以及一成像引擎，其被配置以成像所述人工實境內容，並且在相對於所述周邊裝置在一人工實境環境中的一位置而被鎖定的一使用者介面位置處成像所述虛擬使用者介面，以用於顯示在所述HMD。
在某些例子中，一種方法包括藉由包含一頭戴式顯示器(HMD)的一人工實境系統，透過一影像捕捉裝置來獲得影像資料，所述HMD被配置以輸出人工實境內容；藉由所述人工實境系統從所述影像資料偵測一周邊裝置；藉由所述人工實境系統產生包括一或多個虛擬使用者介面元素的一虛擬使用者介面；以及藉由所述人工實境系統成像所述人工實境內容，並且在相對於所述周邊裝置在一人工實境環境中的一位置而被鎖定的一使用者介面位置處成像所述虛擬使用者介面以用於顯示在所述HMD。
在某些例子中，一種包括指令之非暫態的電腦可讀取的媒體，當所述指令被執行時，使得包含一被配置以輸出人工實境內容的頭戴式顯示器(HMD)的一人工實境系統的一或多個處理器：產生包括一或多個虛擬使用者介面元素的一虛擬使用者介面；成像所述人工實境內容、以及在相對於所述周邊裝置在一人工實境環境中的一位置而被鎖定的一使用者介面位置處成像所述虛擬使用者介面，以用於顯示在所述HMD；偵測由一使用者在對應於所述虛擬使用者介面元素的其中一者的一位置處所執行的一使用者介面姿勢；以及響應於所述使用者介面姿勢來執行與所述虛擬使用者介面元素的所述其中一者相關的一或多個動作。
一或多個例子的細節是在以下所附的圖式及說明中被闡述。其它特點、目的及優點從所述說明及圖式、以及從請求項來看將會是明顯的。
圖1A是描繪根據本揭露內容的技術的一範例的人工實境系統的圖式。在圖1A的例子中，人工實境系統10包含HMD 112、控制台106、周邊裝置136，並且可包含一或多個外部的感測器90。如圖所示，HMD 112通常是使用者110所穿戴的，並且包括一電子顯示器及光學組件以用於提供人工實境內容122給使用者110。此外，HMD 112包含一或多個感測器(例如，加速度計)以用於追蹤所述HMD 112的運動，並且可包含一或多個影像捕捉裝置138(例如，攝影機、線掃描器)以用於捕捉周圍的實體環境的影像資料。在此例子中，控制台106被展示為單一計算裝置，例如是一遊戲主機、工作站、一桌上型電腦、或是一膝上型電腦。在其它例子中，控制台106可被分散在複數個計算裝置之間，例如是一分散式計算網路、一資料中心、或是一雲端計算系統。控制台106、HMD 112以及感測器90可以如同在此例子中所示的經由網路104來通訊地耦接，所述網路104可以是一有線或無線的網路，例如是Wi-Fi、一網格網路或是一短範圍的無線通訊媒體、或是其之組合。儘管HMD 112在此例子中被展示為和控制台106通訊(例如，繫連的(tethered)或無線通訊)，但是在某些實施方式中，HMD 112是運作為一獨立的行動人工實境系統。
大致而言，人工實境系統10利用從一真實世界的3D實體環境捕捉的資訊，以成像人工實境內容122以用於顯示給使用者110。在圖1A的例子中，使用者110觀看藉由在控制台106及/或HMD 112上執行的一人工實境應用程式所建構及成像的人工實境內容122。在某些例子中，人工實境內容122可包括真實世界的影像(例如，手132、周邊裝置136、牆壁121)以及虛擬的物件(例如，虛擬的內容項目124、126以及虛擬使用者介面137)的混合，以產生混合實境及/或擴增實境。在某些例子中，虛擬的內容項目124、126可被對映(例如，被固定、鎖定、設置)到人工實境內容122之內的一特定的位置。用於虛擬的內容項目的位置可以是固定的，例如是相對於牆壁121中之一或地面。用於虛擬的內容項目的位置可以是可變的，例如是相對於周邊裝置136或使用者。在某些例子中，一虛擬的內容項目在人工實境內容122之內的特定的位置是和在所述真實世界的實體環境之內的一位置(例如，在一實體物體的一表面上)相關的。
在圖1A所示的例子中，虛擬的內容項目124、126被對映到牆壁121上的位置。在圖1A中的例子亦展示虛擬的內容項目124是只在人工實境內容122之內而部分出現在牆壁121上，其描繪此虛擬的內容並不存在於所述真實世界的實體環境中。虛擬使用者介面137被對映到周邊裝置136的一表面。因此，AR系統10在相對於周邊裝置136在所述人工實境環境中的一位置而被鎖定的一使用者介面位置成像虛擬使用者介面137，以用於顯示在HMD 112作為人工實境內容122的部分。圖1A展示虛擬使用者介面137只在人工實境內容122之內出現在周邊裝置136上，其描繪此虛擬的內容並不存在於所述真實世界的實體環境中。如同在此所用的，‘被鎖定’到周邊裝置136或是其它實體物體的一位置的一虛擬的元件被成像在相對於所述實體物體的位置的一位置，以便於在所述人工實境環境中看起來像是所述實體物體的部分、或者是連繫到所述實體物體。
在某些實施方式中，人工實境系統10是在一虛擬的表面上產生並且成像虛擬的內容項目124、126(例如，GIF、照片、應用程式、現場直播、視頻、文字、一網路瀏覽器、圖式、動畫、資料檔的表示、或是任何其它可見的媒體)。一虛擬的表面可以是和一平面或其它真實世界的表面(例如，所述虛擬的表面對應並且被鎖定到一實體平面的表面，例如是一靠牆邊桌或天花板)相關的。在圖1A所示的例子中，所述虛擬的表面是和牆壁121相關的。在其它例子中，一虛擬的表面可以是和一表面的一部分(例如，牆壁121的一部分)相關的。在某些例子中，只有內含在一虛擬的表面之內的虛擬的內容項目才被成像。在其它例子中，所述虛擬的表面被產生及成像(例如，作為一虛擬的平面、或是作為一對應於所述虛擬的表面的邊界)。在某些例子中，一虛擬的表面可以在一虛擬或是真實世界的實體環境中被成像為浮動的(例如，並不和一特定的真實世界的表面相關的)。
所述人工實境系統10可以響應於虛擬的內容項目的位置的至少一部分是在使用者110的視野130中的一判斷來成像一或多個虛擬的內容項目。例如，只有在周邊裝置136是在使用者110的視野130之內，人工實境系統10才可以成像虛擬使用者介面137。
在操作期間，所述人工實境應用程式是藉由追蹤並且計算針對於一參考座標系（通常是HMD 112的一觀看視角）的姿態資訊，來建構人工實境內容122以用於顯示給使用者110。利用HMD 112作為一參考座標系，並且根據由HMD 112的一目前的估計的姿態所判斷的一目前的視野130，所述人工實境應用程式成像3D人工實境內容，在某些例子中，所述人工實境內容可被(至少部分)覆蓋在使用者110的真實世界的3D實體環境之上。在此過程期間，所述人工實境應用程式利用從HMD 112接收到的感測到的資料，例如是移動資訊及使用者命令、以及在某些例子中，來自例如是外部的攝影機的任何外部的感測器90的資料，以捕捉在所述真實世界的實體環境之內的3D資訊，例如是使用者110所做的運動及/或相關使用者110的特點追蹤的資訊。根據所述感測到的資料，所述人工實境應用程式針對於HMD 112的參考座標系來判斷一目前的姿態，並且根據所述目前的姿態來成像所述人工實境內容122。
人工實境系統10可以根據使用者110的一目前的視野130(如同可藉由所述使用者的即時的注視追蹤所判斷的)或是其它狀況，來觸發虛擬的內容項目的產生及成像。更明確地說，HMD 112的影像捕捉裝置138捕捉代表在所述真實世界的實體環境中，在影像捕捉裝置138的一視野130之內的物體的影像資料。視野130通常對應HMD 112的觀看視角。在某些例子中，所述人工實境應用程式是呈現包括混合實境及/或擴增實境的人工實境內容122。如同在圖1A中所繪的，所述人工實境應用程式可以成像在視野130之內的真實世界的物體的影像，例如是使用者110的周邊裝置136、手132、及/或手臂134的部分、以及例如是在人工實境內容122之內的虛擬的物件。在其它例子中，所述人工實境應用程式可以在人工實境內容122之內成像在視野130之內的使用者110的周邊裝置136，手132及/或手臂134的部分之虛擬的表示(例如，成像真實世界的物體為虛擬的物件)。在任一例子中，使用者110都能夠在人工實境內容122之內觀看在視野130之內的其手132、手臂134、周邊裝置136及/或任何其它真實世界的物體的部分。在其它例子中，所述人工實境應用程式可以不成像使用者的手132或手臂134的表示。
在操作期間，人工實境系統10在藉由HMD 112的影像捕捉裝置138所捕捉的影像資料之內執行物體識別，以識別使用者110的周邊裝置136、手132，其包含選配地識別個別的手指或拇指、及/或手臂134的全部或部分。再者，人工實境系統10在一滑動的時間窗上追蹤周邊裝置136、手132(選配地包含所述手的特定的手指)、及/或手臂134的部分的位置、方位、以及配置。在某些例子中，周邊裝置136包含一或多個用於追蹤所述周邊裝置136的運動或方位的感測器(例如，加速度計)。
根據此揭露內容的技術，人工實境系統10呈現一虛擬使用者介面137，而使用者可以利用一被稱為“周邊裝置”的實體裝置來和虛擬使用者介面137互動。周邊裝置136是一實體真實世界的裝置，其具有AR系統10將虛擬使用者介面137覆蓋在其上的一表面。換言之，AR系統10在一位置及方位虛擬成像虛擬使用者介面137，使得虛擬使用者介面137看起來像是周邊裝置136的一表面、或是與周邊裝置136的表面並列的。在此方面而言，周邊裝置136運作為一用於例如是虛擬使用者介面137的虛擬的內容的平台。周邊裝置136可包含一或多個存在感應表面，以用於藉由偵測觸碰或盤旋在所述存在感應表面的位置之上的一或多個物體(例如，手指、指示筆)的存在來偵測使用者輸入。在某些例子中，周邊裝置136可包含一輸出顯示器，其可以是一存在感應顯示器。當成像虛擬使用者介面137時，AR系統10可以使得周邊裝置136停用(亦即，關閉)所述輸出顯示器。在某些例子中，當所述輸出顯示器被停用時，AR系統10可以只成像虛擬使用者介面137。然而，在某些例子中，周邊裝置136並不包含輸出顯示器。
在某些例子中，周邊裝置136可以是一智慧型手機、平板電腦、個人數位助理(PDA)、或是其它手持式裝置。在某些例子中，周邊裝置136可以是一智慧型手錶、智慧戒指、或是其它可穿戴的裝置。周邊裝置136亦可以是資訊站(kiosk)或是其它靜止或行動的系統的部分。周邊裝置136可以包含、或可以不包含用於輸出內容至螢幕的顯示裝置。周邊裝置136可以利用一或多個有線或無線的通訊鏈路(例如，Wi-Fi、例如是藍芽的短距離的無線通訊的近場通訊)來和HMD 112及/或控制台106通訊。
所述AR系統10成像AR內容給HMD、眼鏡或其它顯示裝置112，其中虛擬使用者介面137被鎖定到周邊裝置136的一表面。換言之，所述AR系統10可以在所述虛擬的環境中，在一位置及方位下成像具有一或多個虛擬使用者介面元素的虛擬使用者介面137，所述位置及方位是根據並且對應於所述實體周邊裝置136在所述實體環境130中的位置及方位。例如，若所述周邊裝置136被設置在一垂直的位置(被稱為“肖像模式”)，則所述AR系統10可以是在肖像模式中，並且在一對應於所述周邊裝置136的位置及方位的地點成像所述虛擬使用者介面。若所述周邊裝置136被設置在一水平的位置(被稱為“風景模式”)，則所述AR系統10可以是在風景模式中，並且在一對應於所述周邊裝置136的位置及方位的地點成像所述虛擬使用者介面。以此種方式，在所述虛擬的環境中正被成像的虛擬使用者介面可以追蹤所述手持式實體周邊裝置136，使得周邊裝置136對於所述使用者而言看起來像是正在周邊裝置136的一表面上輸出虛擬使用者介面137。
虛擬使用者介面137包含一或多個虛擬使用者介面元素。虛擬使用者介面元素可包含譬如是一虛擬的繪圖介面142、一可選的功能表144(例如，一下拉式功能表)、虛擬的按鈕146、一方向按鍵148、一鍵盤、或是其它使用者可選的使用者介面元素、字形、顯示器元素、內容、使用者介面控制、等等。用於虛擬使用者介面137的特定的虛擬使用者介面元素可以是根據使用者目前參與的AR應用程式的情境驅動的。
當一使用者在所述虛擬的環境中，在對應於覆蓋在所述周邊裝置136上的虛擬使用者介面137的虛擬使用者介面元素中之一的一位置執行一使用者介面姿勢時，所述AR系統10偵測所述使用者介面並且執行一動作。例如，所述使用者可以將其手指按壓在所述周邊裝置136上的一實體位置，其對應於在所述虛擬的環境中的所述AR系統10在虛擬使用者介面137上成像一虛擬使用者介面按鈕146所在的一位置。在此例子中，所述AR系統10偵測此虛擬的按鈕按壓姿勢，並且執行對應於一虛擬使用者介面按鈕146的所偵測到的按壓的一動作。再者，所述AR系統10譬如可以繪製所述虛擬使用者介面按鈕的一按壓以及所述按鈕按壓姿勢。
AR系統10可以利用一具有影像捕捉裝置138及/或外部的攝影機的內向外(inside-out)或是外向內(outside-in)的追蹤系統來偵測使用者介面姿勢以及其它姿勢。AR系統10可以替代或額外利用一存在感應表面來偵測使用者介面姿勢以及其它姿勢。換言之，周邊裝置136的一存在感應介面可以接收構成一使用者介面姿勢的使用者輸入。
周邊裝置136藉由具有使用者可以與其互動(例如，觸碰、以一手指拖曳、抓握、等等)的一實體表面，來提供觸覺回授給觸碰為基礎的使用者互動。此外，周邊裝置136可以利用一輸出裝置來輸出其它使用者互動的指示。例如，響應於一虛擬使用者介面按鈕146的一偵測到的按壓，周邊裝置136可以輸出一振動或是“點擊”噪聲、或是周邊裝置136可以產生及輸出內容至一顯示器。
在某些例子中，所述使用者可以將其手指按壓並且沿著在所述周邊裝置136上的實體位置拖曳，所述實體位置對應於在所述虛擬的環境中的所述AR系統10成像虛擬使用者介面137的虛擬的繪圖介面142所在的位置。在此例子中，所述AR系統10偵測此繪圖姿勢，並且根據一虛擬的繪圖介面142的偵測到的按壓及拖曳來執行一動作，例如是藉由在所述虛擬的環境中的所述位置產生及成像虛擬的標記。以此種方式，AR系統10利用虛擬使用者介面137來模擬在周邊裝置136上的繪圖或撰寫。
在某些例子中，使用者可以將其手指按壓在所述周邊裝置136上的一實體位置，其對應於在所述虛擬的環境中的所述AR系統10成像一虛擬的可選的功能表144所在的一位置。在此例子中，所述AR系統10偵測此使用者介面姿勢並且根據一虛擬的可選的功能表144的偵測到的按壓來執行一動作。所述虛擬的可選的功能表144可包括一下拉式功能表、一餅形功能表、一表列功能表、或是任何包含複數個可選的項目的功能表。在某些例子中，所述虛擬的可選的功能表144包含子功能表，使得當一使用者選擇在所述虛擬的可選的功能表144的一主要功能表中的一項目時，所述AR系統10將會成像對應於在所述主要功能表中的所選的項目的具有一或多個項目的一子功能表，所述一或多個項目是進一步可藉由所述使用者選擇的。以此種方式，AR系統10利用虛擬使用者介面137來模擬和在周邊裝置136上的一功能表互動。
在某些例子中，使用者可以將其手指按壓在所述周邊裝置136上的一實體位置，其對應於在所述虛擬的環境中的所述AR系統10成像一虛擬的方向按鍵148所在的一位置。在此例子中，所述AR系統10偵測此使用者介面姿勢，並且根據虛擬的方向按鍵148的偵測到的按壓來執行一動作。以此種方式，AR系統10利用虛擬使用者介面137來模擬和在周邊裝置136上的一方向按鍵互動。
於是，本揭露內容的技術提供藉由一人工實境系統成像及顯示內容的電腦相關的領域之明確的技術改善，其可以提供一或多個實際的應用。例如，如同在此所述的人工實境系統可以藉由產生及成像被鎖定到周邊裝置136的一表面的虛擬使用者介面137，並且偵測藉由使用者110相關周邊裝置136所執行的姿勢，來提供高品質的人工實境體驗給所述人工實境應用程式的使用者(例如是使用者110)。
此外，如同在此所述的AR系統可被配置以偵測提供自觸覺回授給使用者的姿勢。例如，在所述使用者110的每一隻手132上的一或多個手指可以觸碰或是大致觸碰在所述實體世界中的周邊裝置136，以作為和在所述人工實境內容中的虛擬使用者介面137的一特定的虛擬使用者介面元素互動的部分。在所述使用者的手132的一或多個手指以及所述周邊裝置之間的觸碰可以提供所述使用者當直接和一實體使用者輸入物體，例如是在一實體鍵盤或其它實體輸入裝置上的一按鈕互動時，所述使用者的感覺的一模擬。
作為另一例子的是，相對於在所述人工實境環境中的自由浮動的虛擬使用者介面，如同在此所述的AR系統可以使得使用者能夠提供相關被虛擬成像在一周邊裝置136上的虛擬使用者介面元素的細微顆粒的使用者輸入，而所述周邊裝置136提供觸覺回授。此可以簡化及改善姿勢偵測的精確度。此外，周邊裝置136可以不在其本身的顯示器顯示所述使用者介面元素，並且甚至可以不包含顯示器。藉由消除為了接收來自一使用者的精確輸入而原本將會需要在譬如智慧型手機或平板電腦的一存在感應顯示器產生及顯示的一個別的介面，所述技術因此可以額外降低功率消耗並且簡化AR應用程式。在某些例子中，利用一存在感應表面來接收使用者輸入可以提供比影像為基礎的姿勢偵測技術更精確的姿勢偵測。
圖1B是描繪根據本揭露內容的技術的另一範例的人工實境系統20的圖式。類似於圖1A的人工實境系統10，圖1B的人工實境系統20可以呈現及控制在所述人工實境環境中被鎖定到周邊裝置136的一位置的虛擬使用者介面137。
在圖1B的例子中，人工實境系統20包含外部的攝影機102A及102B(全體稱為“外部的攝影機102”)、HMD 112A–112C(全體稱為“HMD 112”)、控制器114A及114B(全體稱為“控制器114”)、控制台106、實體周邊裝置136、以及感測器90。如同在圖1B中所示，人工實境系統20代表一種多使用者的環境，其中在控制台106及/或HMD 112上執行的一人工實境應用程式是根據針對於個別的使用者的一對應的參考座標系的一目前的觀看視角，來呈現人工實境內容給使用者110A–110C(全體稱為“使用者110”)的每一個。換言之，在此例子中，所述人工實境應用程式藉由對於HMD 112的每一個的一參考座標系追蹤並且計算姿態資訊來建構人工內容。人工實境系統20利用從攝影機102、HMD 112及控制器114接收到的資料來捕捉在所述真實世界環境之內的3D資訊，例如是使用者110所做的運動、及/或追蹤相關使用者110及物體108的資訊，以用於針對HMD 112的一對應的參考座標系計算更新的姿態資訊。舉例而言，所述人工實境應用程式可以根據針對於HMD 112C所判斷的一目前的觀看視角來成像人工實境內容122，其具有如同在空間上覆蓋在真實世界物體108A–108B(全體稱為“真實世界物體108”)之上的虛擬的物件128A–128B(全體稱為“虛擬的物件128”)。再者，從HMD 112C的觀點，人工實境系統20分別根據針對於使用者110A、110B估計的位置來成像化身120A、120B。
HMD 112的每一個是同時在人工實境系統20之內操作。在圖1B的例子中，使用者110的每一個可以是在所述人工實境應用程式中的一“玩家”或“參與者”，並且使用者110的每一個可以是在所述人工實境應用程式中的一“旁觀者”或是“觀察者”。HMD 112C可以實質類似於圖1A的HMD 112來操作，其藉由追蹤使用者110C的手132及/或手臂134，並且在人工實境內容122之內成像手132在視野130之內的部分成為虛擬的手136。HMD 112B可以從使用者110B所持的控制器114接收使用者輸入。在某些例子中，控制器114A及/或114B可以對應於圖1A的周邊裝置136，並且實質類似於圖1A的周邊裝置136來操作。HMD 112A亦可以實質類似於圖1A的HMD 112來操作，並且接收具有藉由使用者110A的手132A、132B在周邊裝置136上或是利用周邊裝置136所執行的姿勢的形式的使用者輸入。HMD 112B可以從使用者110B所持的控制器114接收使用者輸入。控制器114可以利用例如是藍芽的短距離的無線通訊的近場通訊、利用有線的通訊鏈路、或是利用其它類型的通訊鏈路來和HMD 112B通訊。
以一種類似於以上相關圖1A論述的例子的方式，人工實境系統20的控制台106及/或HMD 112C在一被鎖定到周邊裝置136的一表面的位置產生並且成像虛擬使用者介面136。換言之，控制台106及/或HMD 112C可以在所述虛擬的環境中的一位置及方位成像具有一或多個虛擬使用者介面元素的虛擬使用者介面137，所述位置及方位是根據並且對應於所述實體周邊裝置136在所述實體環境中的位置及方位。
如同在圖1B中所示，作為經由HMD 112C的一或多個影像捕捉裝置138所捕捉的影像資料額外或替代的是，來自外部的攝影機102的輸入資料可被用來追蹤及偵測使用者110的周邊裝置136及/或手與手臂(例如是使用者110C的手132)的特定的運動、配置、位置、及/或方位，其包含所述手的個別手指及/或手指的組合(手指、拇指)的移動。以此種方式，AR系統20可以將虛擬使用者介面137覆蓋在周邊裝置136的表面上，同時追蹤周邊裝置136以確保虛擬使用者介面137在所述虛擬的環境中是和周邊裝置136在所述實體環境中的移動一起移動的。
在某些特點中，所述人工實境應用程式可以在控制台106上執行，並且可以利用影像捕捉裝置102A及102B來分析手132B的配置、位置、及/或方位，以識別可藉由HMD 112A的一使用者所執行的輸入姿勢。類似地，HMD 112C可以利用影像捕捉裝置138來分析周邊裝置136及手132C的配置、位置、及/或方位，以輸入可藉由HMD 112C的一使用者所執行的姿勢。在某些例子中，周邊裝置136包含一或多個感測器(例如，加速度計)，以用於追蹤所述周邊裝置136的運動或方位。所述人工實境應用程式可以用一種類似於以上相關圖1A所述的方式，響應於此種姿勢來成像虛擬的內容項目及/或使用者介面元素。
影像捕捉裝置102及138可以捕捉在可見光頻譜、紅外線頻譜、或是其它頻譜中的影像。在此所述的用於識別物體、物體姿態、以及姿勢的影像處理例如可包含處理紅外線影像、可見光頻譜影像、等等。
虛擬使用者介面137被對映到周邊裝置136的一表面。因此，AR系統10是在相對於周邊裝置136在所述人工實境環境中的一位置而被鎖定的一使用者介面位置成像虛擬使用者介面137，以用於顯示在HMD 112C作為人工實境內容122的部分。圖1B展示虛擬使用者介面137只在人工實境內容122之內出現在周邊裝置136上，其描繪此虛擬的內容並不存在於所述真實世界的實體環境中。
圖2A是描繪根據本揭露內容的技術的一範例的HMD 112以及一範例的周邊裝置136的圖式。圖2A的HMD 112可以是圖1A及1B的HMD 112的任一者的一個例子。HMD 112可以是一人工實境系統(例如圖1A、1B的人工實境系統10、20)的部分、或是可以操作為被配置以實施在此所述的技術的一獨立的行動人工實境系統。
在此例子中，HMD 112包含一前剛性主體以及一條帶以將HMD 112固定到一使用者。此外，HMD 112包含一面對內部的電子顯示器203，其被配置以呈現人工實境內容給所述使用者。電子顯示器203可以是任何適當的顯示器技術，例如是液晶顯示器(LCD)、量子點顯示器、點矩陣顯示器、發光二極體(LED)顯示器、有機發光二極體(OLED)顯示器、陰極射線管(CRT)顯示器、電子墨水、或單色、彩色、或是任何能夠產生視覺輸出的其它類型的顯示器。在某些例子中，所述電子顯示器是用於提供個別的影像給使用者的每一眼的立體顯示器。在某些例子中，當追蹤HMD 112的位置及方位以用於根據HMD 112以及所述使用者的一目前的觀看視角來成像人工實境內容時，顯示器203相對於HMD 112的前剛性主體的已知的方位及位置被使用作為一參考座標系，亦被稱為一本地的原點。在其它例子中，HMD 112可以具有其它可穿戴的頭戴式顯示器的形式，例如是眼鏡或護目鏡。
如同在圖2A中進一步所示的，在此例子中，HMD 112進一步包含一或多個運動感測器206，例如一或多個加速度計(亦被稱為慣性量測單元或是“IMU”)，其輸出指出HMD 112的目前的加速的資料、輸出指出HMD 112的一位置的資料的GPS感測器、輸出指出HMD 112相隔各種物體的距離的資料的雷達或聲納、或是提供HMD 112或其它物體在一實體環境之內的一位置或方位的指示的其它感測器。再者，HMD 112可包含整合的影像捕捉裝置138A及138B(全體稱為“影像捕捉裝置138”)，例如是攝影機、雷射掃描器、都卜勒雷達掃描器、深度掃描器、或類似者，其被配置以輸出代表所述實體環境的影像資料。更明確地說，影像捕捉裝置138捕捉代表在所述實體環境中，在影像捕捉裝置138的一視野130A、130B之內(其通常對應HMD 112的觀看視角)的物體(其包含周邊裝置136及/或手132)的影像資料。HMD 112包含一內部的控制單元210，其可包含一內部的電源以及一或多個印刷電路板，其具有一或多個處理器、記憶體、以及硬體以提供一操作環境以用於執行可程式化的操作以處理所感測到的資料，並且在顯示器203上呈現人工實境內容。
在某些例子中，控制單元210被配置以根據所述感測到的資料(例如，藉由影像捕捉裝置138捕捉的影像資料、來自GPS感測器的位置資訊)，產生及成像用於顯示在顯示器203上的包括一或多個虛擬的內容項目(例如，圖1A的虛擬的內容項目124、126)的一虛擬的表面，其是和內含在影像捕捉裝置138的視野130A、130B之內的一位置相關的。如同參考圖1A-1B所解說的，一虛擬的內容項目可以是和一虛擬的表面之內的一位置相關的，而所述虛擬的表面是和一真實世界的環境之內的一實體表面相關的，並且控制單元210可被配置以響應於和所述虛擬的內容(或是因此其部分)相關的位置是在目前的視野130A、130B之內的判斷，來成像所述虛擬的內容項目(或是其之部分)以用於顯示在顯示器203上。在某些例子中，一虛擬的表面是和在一平面的表面或是其它表面(例如，一牆壁)上的一位置相關的，因而當內含在所述虛擬的表面之內的任何虛擬的內容項目的部分是在視野130A、130B之內時，控制單元210將會產生及成像那些部分。
在某些例子中，根據在此所述的技術，控制單元210被配置以根據所述感測到的資料，來識別由使用者所執行的一特定的姿勢或是姿勢的組合，並且作為響應的是執行一動作。例如，響應於一被識別的姿勢，控制單元210可以在一相對於周邊裝置136而被鎖定的位置產生及成像一特定的使用者介面，以用於顯示在電子顯示器203上。例如，控制單元210可以在周邊裝置136的表面220上產生及成像包含一或多個使用者介面元素(例如，虛擬的按鈕)的一使用者介面。如同在此所解說的，根據本揭露內容的技術，控制單元210可以在藉由影像捕捉裝置138所捕捉的影像資料之內執行物體識別，以識別周邊裝置136及/或使用者的一手132、手指、拇指、手臂或是其他部分，並且追蹤所述周邊裝置136及/或所述使用者的被識別的部分的移動、位置、配置、等等，以識別由所述使用者所執行的預先定義的姿勢。響應於識別一預先定義的姿勢，控制單元210採取某些動作，例如從和一使用者介面相關的一選項組選擇一選項(例如，從一使用者介面功能表選擇一選項)、將所述姿勢轉譯成為輸入(例如，字元)、啟動一應用程式、操縱虛擬的內容(例如，移動、旋轉一虛擬的內容項目)、產生及成像虛擬的標記、產生及成像一雷射指標、或以其它方式顯示內容、與類似者。例如，控制單元210可以響應於偵測被指明為用於顯現一使用者介面的“觸發”的一預先定義的姿勢(例如，將周邊裝置轉成一風景或水平的方位(未顯示))，來動態地產生及呈現一例如是功能表的使用者介面。在某些例子中，控制單元210根據所述感測到的資料來偵測相關一被成像的使用者介面的使用者輸入(例如，在一虛擬使用者介面元素上所執行的一輕敲姿勢)。在某些例子中，控制單元210是響應於來自一外部的裝置(例如控制台106)的指示以執行此種功能，其可以執行物體識別、運動追蹤及姿勢偵測、或是其之任何部分。
舉例而言，控制單元210可以利用影像捕捉裝置138A及138B來分析周邊裝置136、手132及/或手臂134的配置、位置、移動、及/或方位，以識別一使用者介面姿勢、選擇姿勢、蓋印姿勢、平移姿勢、旋轉姿勢、繪圖姿勢、指向姿勢、等等，其可以藉由使用者相關周邊裝置136來加以執行。所述控制單元210可以成像一虛擬使用者介面(包含虛擬使用者介面元素)及/或一虛擬的表面(包含任何虛擬的內容項目)，並且如同在以下更詳細敘述的，其使得所述使用者能夠根據由所述使用者相關所述周邊裝置所執行的一使用者介面姿勢、選擇姿勢、蓋印姿勢、平移姿勢、旋轉姿勢、以及繪圖姿勢的偵測，來和所述虛擬使用者介面及/或虛擬的表面相互配合。
在一例子中，根據在此所述的技術，周邊裝置136的表面220是一存在感應表面，例如是一種利用電容性、導電性、電阻性、聲波、或是其它技術以偵測觸碰及/或盤旋輸入的表面。在某些例子中，周邊裝置136的表面220是一觸控螢幕(例如，電容性觸控螢幕、電阻性觸控螢幕、表面聲波(SAW)觸控螢幕、紅外線觸控螢幕、光學成像觸控螢幕、聲波脈衝識別觸控螢幕、或是任何其它觸控螢幕)。在此種例子中，周邊裝置136可以偵測在表面220上的使用者輸入(例如，觸碰或盤旋輸入)。在某些例子中，表面220並不包含顯示器，因而周邊裝置136並不包含顯示器。
在具有一用於表面220的觸控螢幕的例子中，周邊裝置136可以利用無線通訊鏈路(例如，Wi-Fi、例如是藍芽的短距離的無線通訊的近場通訊)、利用有線的通訊鏈路(未顯示)、或是利用其它類型的通訊鏈路，來通訊偵測到的使用者輸入至HMD 112(及/或圖1A的控制台106)。在某些例子中，周邊裝置136可包含一或多個輸入裝置222(例如，按鈕、軌跡球、滾輪)以用於和虛擬的內容互動(例如，用以選擇一虛擬使用者介面元素、滾動瀏覽虛擬使用者介面元素)。
圖2B是描繪根據本揭露內容的技術的一範例的HMD 112的圖式。如同在圖2B中所示，HMD 112可以具有眼鏡的形式。圖2A的HMD 112可以是圖1A及1B的HMD 112的任一者的一個例子。HMD 112可以是一人工實境系統(例如圖1A、1B的人工實境系統10、20)的部分、或是可以操作為被配置以實施在此所述的技術的一獨立的行動人工實境系統。
在此例子中，HMD 112是包括一前框架，其包含一容許所述HMD 112擱在一使用者的鼻子上的鼻樑架、以及延伸在所述使用者的耳朵上以將HMD 112固定至所述使用者的鏡腳(或是“臂”)的眼鏡。此外，圖2B的HMD 112包含面向內的電子顯示器203A及203B(全體稱為“電子顯示器203”)，其被配置以呈現人工實境內容給使用者。電子顯示器203可以是任何適當的顯示器技術，例如是液晶顯示器(LCD)、量子點顯示器、點矩陣顯示器、發光二極體(LED)顯示器、有機發光二極體(OLED)顯示器、陰極射線管(CRT)顯示器、電子墨水、或是單色、彩色、或任何能夠產生視覺輸出的其它類型的顯示器。在圖2B所示的例子中，電子顯示器203是形成用於提供個別的影像給使用者的每一眼的立體顯示器。在某些例子中，當追蹤HMD 112的位置及方位以用於根據HMD 112以及所述使用者的一目前的觀看視角來成像人工實境內容時，顯示器203相對於HMD 112的前框架的已知的方位及位置被使用作為一參考座標系，亦被稱為一本地的原點。
如同在圖2B中進一步所示的，在此例子中，HMD 112進一步包含一或多個運動感測器206，例如是一或多個加速度計(亦被稱為慣性量測單元或是“IMU”)，其輸出指出HMD 112的目前的加速的資料、輸出指出HMD 112的一位置的資料的GPS感測器、輸出指出HMD 112相隔各種物體的距離的資料的雷達或聲納、或是提供HMD 112或其它物體在一實體環境之內的一位置或方位的指示的其它感測器。再者，HMD 112可包含整合的影像捕捉裝置138A及138B(全體稱為“影像捕捉裝置138”)，例如是攝影機、雷射掃描器、都卜勒雷達掃描器、深度掃描器、或類似者，其被配置以輸出代表所述實體環境的影像資料。HMD 112包含一內部的控制單元210，其可包含一內部的電源以及一或多個印刷電路板，其具有一或多個處理器、記憶體、以及硬體以提供一操作環境以用於執行可程式化的操作以處理所感測到的資料，並且在顯示器203上呈現人工實境內容。
圖3是展示圖1A、1B的人工實境系統10、20的控制台106、HMD 112、以及周邊裝置136的範例實施方式的方塊圖。在圖3的例子中，控制台106至少根據感測的資料，例如從HMD 112及/或外部的感測器接收到的運動資料及影像資料、以及在某些情形中是根據藉由周邊裝置136接收到的使用者輸入的指示，來執行根據在此所述的技術的姿態追蹤、姿勢偵測、以及用於HMD 112的虛擬使用者介面的產生及成像。
在此例子中，HMD 112包含一或多個處理器302以及記憶體304，其在某些例子中是提供一電腦平台以用於執行一作業系統305，所述作業系統305譬如可以是一內嵌即時的多工作業系統、或是其它類型的作業系統。於是，作業系統305提供一多工操作環境以用於執行一或多個軟體構件307，其包含應用程式引擎340。如同相關圖2A及2B的例子所論述的，處理器302是耦接至電子顯示器203、運動感測器206以及影像捕捉裝置138。在某些例子中，處理器302以及記憶體304可以是分開的離散的構件。在其它例子中，記憶體304可以是在單一積體電路之內，與處理器302位在一起的晶片上的記憶體。
一般而言，控制台106是一計算裝置，其處理從攝影機102(圖1B)及/或HMD 112的影像捕捉裝置138(圖1A、2A、2B)接收到的影像及追蹤資訊，以執行姿勢偵測以及用於HMD 112的使用者介面及/或虛擬的內容的產生。在某些例子中，控制台106是單一計算裝置，例如是一工作站、一桌上型電腦、一膝上型、或是遊戲系統。在某些例子中，控制台106的至少一部分(例如處理器312及/或記憶體314)可以橫跨一雲端計算系統、一資料中心、或是橫跨一網路，例如是網際網路、另一公共或私人通訊網路，譬如寬頻、蜂巢式、Wi-Fi、及/或用於在計算系統、伺服器、以及計算裝置之間發送資料的其它類型的通訊網路而被分散的。
在圖3的例子中，控制台106包含一或多個處理器312以及記憶體314，其在某些例子中是提供一電腦平台以用於執行一作業系統316，所述作業系統316譬如可以是多工作業系統、或是其它類型的作業系統。於是，作業系統316提供一多工操作環境以用於執行一或多個軟體構件317。處理器312是耦接至一或多個I/O介面315，其提供一或多個I/O介面以用於和外部的裝置，例如是鍵盤、遊戲控制器、顯示裝置、影像捕捉裝置、HMD、與類似者通訊。再者，所述一或多個I/O介面315可包含一或多個有線或無線的網路介面控制器(NIC)，以用於和一網路(例如網路104)通訊。
控制台106的軟體應用程式317是操作以提供一整體的人工實境應用程式。在此例子中，軟體應用程式317包含應用程式引擎320、成像引擎322、姿勢偵測器324、姿態追蹤器326、以及使用者介面引擎328。
一般而言，應用程式引擎320包含功能以提供及呈現一人工實境應用程式，例如是一電話會議應用程式、一遊戲應用程式、一瀏覽應用程式、一教育應用程式、訓練或模擬應用程式、或是其它應用程式。應用程式引擎320例如可包含一或多個套裝軟體、軟體函式庫、硬體驅動程式、及/或應用程式介面(API)，以用於在控制台106上實施一人工實境應用程式。響應於藉由應用程式引擎320的控制，成像引擎322產生3D人工實境內容以用於藉由HMD 112的應用程式引擎340來顯示給所述使用者。
應用程式引擎320以及成像引擎322是根據針對於一參考座標系，通常是HMD 112的一觀看視角的如同藉由姿態追蹤器326所判斷的目前的姿態資訊，來建構所述人工內容以用於顯示給使用者110。根據目前的觀看視角，成像引擎322建構所述3D人工實境內容，其在某些情形中可以(至少部分)覆蓋在使用者110的真實世界的3D環境之上。在此過程期間，姿態追蹤器326是在從HMD 112接收到的例如是移動資訊及使用者命令的感測的資料、以及在某些例子中的來自例如是外部攝影機的任何外部的感測器90(圖1A、1B)的資料上運算，以捕捉在所述真實世界環境之內的3D資訊，例如是使用者110所做的運動及/或相關使用者110的特點追蹤資訊。根據所述感測的資料，姿態追蹤器326針對於HMD 112的參考座標系判斷一目前的姿態，並且根據所述目前的姿態來建構所述人工實境內容，以用於經由所述一或多個I/O介面315通訊至HMD 112以用於顯示給使用者110。
姿態追蹤器326可以針對於周邊裝置136判斷一目前的姿態，並且根據所述目前的姿態來觸發和被鎖定到周邊裝置136的虛擬的內容相關的某種功能(例如，將一虛擬的內容項目設置到一虛擬的表面之上、操縱一虛擬的內容項目、產生且成像一或多個虛擬的標記、產生且成像一雷射指標)。在某些例子中，姿態追蹤器326偵測所述HMD 112是否接近對應於一虛擬的表面(例如，一虛擬的紙板)的一實體位置，以觸發虛擬的內容的成像。
使用者介面引擎328被配置以產生虛擬使用者介面，以用於成像在一人工實境環境中。使用者介面引擎328產生一虛擬使用者介面以包含一或多個虛擬使用者介面元素329，例如在以上相關圖1A所述的元素142、144、146及148。成像引擎322被配置以根據周邊裝置136的一目前的姿態來在所述人工實境環境中的一使用者介面位置處成像所述虛擬使用者介面，而所述使用者介面位置是相對於周邊裝置136在所述人工實境環境中的一位置而被鎖定。所述使用者介面位置可以是存在感應表面220中之一的一位置，並且成像引擎322可以縮放、旋轉、以及用其它方式轉換所述虛擬使用者介面來施加投影以匹配所述存在感應表面220的姿態、尺寸、以及觀點，使得所述虛擬使用者介面在所述人工實境環境中看起來是覆蓋在所述存在感應表面220上。使用者介面引擎328可以將虛擬使用者介面產生為部分透明的，此容許存在感應表面220能夠被所述使用者看見。此通透性的程度可以是可配置的。
控制台106可以經由一通訊通道來輸出此虛擬使用者介面以及其它人工實境內容至HMD 112，以用於顯示在HMD 112。成像引擎322接收周邊裝置136的姿態資訊以持續地更新所述使用者介面位置及姿態，以匹配所述周邊裝置136的位置及姿態，例如是存在感應表面220中之一的位置及姿態。
根據來自所述影像捕捉裝置138或102、存在感應表面220、或是其它感測器裝置的任一個的感測到的資料，姿勢偵測器324分析所述周邊裝置136及/或使用者的物體(例如，手、手臂、手腕、手指、手掌、拇指)的被追蹤的運動、配置、位置、及/或方位，以識別由使用者110所執行的一或多個姿勢。更明確地說，姿勢偵測器324可以分析在由HMD 112的影像捕捉裝置138及/或感測器90以及外部的攝影機102所捕捉的影像資料之內所辨認的物體以識別周邊裝置136及/或使用者110的一手及/或手臂，並且追蹤所述周邊裝置136、手及/或手臂相對於HMD 112的移動以識別由使用者110所執行的姿勢。在某些例子中，姿勢偵測器324可以根據所捕捉的影像資料來追蹤所述周邊裝置136、手、手指、及/或手臂的移動(其包含位置及方位的改變)，並且比較所述物體的運動向量與姿勢函式庫330中的一或多個項目以偵測由使用者110所執行的一姿勢或是姿勢的組合。在某些例子中，姿勢偵測器324可以接收藉由周邊裝置的存在感應表面偵測到的使用者輸入，並且處理所述使用者輸入以偵測由使用者110相關周邊裝置136所執行的一或多個姿勢。
姿勢偵測器324以及姿勢函式庫330可以整體或部分被分散至周邊裝置136，以處理在周邊裝置136上的使用者輸入以偵測姿勢。在此種情形中，存在感應表面220偵測在所述表面的位置的使用者輸入。執行姿勢偵測器324的周邊裝置136可以處理所述使用者輸入，以偵測姿勢函式庫330的一或多個姿勢。周邊裝置136可以傳送所述偵測到的姿勢的指示至控制台106及/或HMD 112，以使得所述控制台106及/或HMD 112響應地執行一或多個動作。周邊裝置136可以替代或額外地傳送在所述表面的位置的使用者輸入的指示至控制台106，並且姿勢偵測器324可以處理所述使用者輸入以偵測姿勢函式庫330的一或多個姿勢。
在姿勢函式庫330中的某些項目分別可以定義一姿勢為一系列或模式的運動，例如是周邊裝置136、一使用者的手、特定的手指、拇指、手腕及/或手臂的一相對的路徑或是空間的平移及旋轉。在姿勢函式庫330中的某些項目分別可以定義一姿勢為所述周邊裝置、使用者的手及/或手臂(或是其之部分)在一特定時間、或是在一段時間期間的一配置、位置、及/或方位。在姿勢函式庫330中的某些項目分別可以定義一姿勢為隨著時間藉由周邊裝置136的存在感應表面220偵測到的一或多個使用者輸入。其它類型的姿勢例子是可能的。此外，在姿勢函式庫330中的項目的每一個可以針對於所定義的姿勢或是姿勢的系列指明所述姿勢或是姿勢的系列觸發一動作所需的條件，例如是相對HMD 112的一目前的視野的空間的關係、相對如同可藉由所述個人的即時注視追蹤判斷的目前正被所述使用者觀察的特定區域的空間的關係、周邊裝置136在HMD 112的目前的視野之內的一姿態、正被顯示的人工內容的類型、正被執行的應用程式的類型、與類似者。
在姿勢函式庫330中的項目的每一個可以進一步針對於所定義的姿勢或是姿勢的組合/系列的每一個指明將藉由軟體應用程式317執行的一所要的響應或動作。例如，根據此揭露內容的技術，某些專門的姿勢可以是預先定義的，使得響應於偵測到所述預先定義的姿勢中之一，使用者介面引擎328動態地產生一使用者介面作為正被顯示給使用者的人工實境內容的一覆蓋，藉此容許所述使用者110能夠輕易地呼叫一使用者介面以用於配置HMD 112及/或控制台106，甚至當和人工實境內容互動時也是如此。在其它例子中，某些姿勢可以是和其它動作相關的，例如是提供輸入、選擇虛擬的物件(包含虛擬的內容項目及/或使用者介面元素)、平移(例如，移動、旋轉)虛擬的物件、改變(例如，縮放、注解)虛擬的物件、進行虛擬的標記、啟動應用程式、以及其它動作。
舉例而言，姿勢函式庫330可包含描述一周邊裝置姿勢的項目，例如是使用者介面啟動姿勢、一功能表捲動姿勢、一選擇姿勢、一蓋印姿勢、一平移姿勢、旋轉姿勢、繪圖姿勢、及/或指向姿勢。這些姿勢中的某些個亦可以利用一虛擬使用者介面來加以執行。例如，一使用者可以利用一周邊裝置姿勢(藉由操縱所述周邊裝置的姿態)或是一使用者介面姿勢(藉由和一虛擬使用者介面互動)來執行一繪圖姿勢。姿勢偵測器324可以處理來自影像捕捉裝置138的影像資料以分析周邊裝置136及/或一使用者的手的配置、位置、運動、及/或方位，以識別可藉由使用者相關周邊裝置136來執行的一使用者介面姿勢、選擇姿勢、蓋印姿勢、平移姿勢、旋轉姿勢、繪圖姿勢、指向姿勢、等等。
姿勢偵測器324可以偵測藉由一使用者在對應於由使用者介面引擎328所產生的一虛擬使用者介面的虛擬使用者介面元素中之一的一位置所執行的一使用者介面姿勢。例如，成像引擎322可以在所述人工實境環境中的一對應於周邊裝置136在所述實體環境中的一位置之位置處成像所述虛擬使用者介面。成像引擎322在所述虛擬使用者介面之內的亦對應於在所述周邊裝置136上的地點的位置之位置處成像使用者介面元素。藉由一使用者在所述虛擬使用者介面元素的位置中之一所執行的一姿勢是相關所述虛擬使用者介面元素所執行的一姿勢的一指示。例如，一使用者可以在所述周邊裝置136上的一位置執行一按鈕按壓使用者介面姿勢，所述位置是在所述人工實境環境中被一虛擬的按鈕所包含及覆蓋。響應於由一使用者在對應於所述虛擬使用者介面元素的一位置所執行的一被偵測到的使用者介面姿勢，所述人工實境系統可以執行和所述虛擬使用者介面元素相關的一或多個動作。
動作例如可包含啟動一應用程式或執行在一應用程式之內的某個動作、修改所述虛擬使用者介面、繪製人工實境內容，例如是所述使用者介面元素中之一、關閉一應用程式、輸出人工實境以用於顯示、配置一應用程式、修改一應用程式、或是藉由控制台106、HMD 112或周邊裝置136所做的其它動作。
對應於所述虛擬使用者介面元素並且所偵測到的姿勢被執行所在的位置可以是在一存在感應表面220上的一位置。使用者介面引擎328可以儲存在所述存在感應表面220上的位置至一虛擬使用者介面的虛擬使用者介面元素的對映。響應於接收在所述存在感應表面220的一位置的一偵測到的姿勢的一指示，使用者介面引擎328可以將所述位置對映至所述虛擬使用者介面元素。所述人工實境系統接著可以執行和所述虛擬使用者介面元素相關的一或多個動作。
在某些例子中，對應於所述虛擬使用者介面元素並且所偵測到的姿勢被執行所在的位置可以是在所述周邊裝置136上的一個不是存在感應表面的地點。使用者介面引擎328可以儲存在周邊裝置上的地點至一虛擬使用者介面的虛擬使用者介面元素的對映。響應於接收在周邊裝置136的一地點的一偵測到的姿勢的一指示，使用者介面引擎328可以將所述地點對映至所述虛擬使用者介面元素。所述人工實境系統接著可以執行和所述虛擬使用者介面元素相關的一或多個動作。
響應於一偵測到的姿勢，虛擬使用者介面引擎322可以修改所述虛擬使用者介面。虛擬使用者介面引擎322可以響應於一偵測到的選擇姿勢來下拉一選擇表列、響應於一按鈕按壓姿勢來繪製一按鈕按壓、在所述虛擬使用者介面中的位置產生標記以及和使用者介面相關的其它使用者介面類型的動畫或修改。成像引擎322在被鎖定到周邊裝置136的適當的使用者介面位置處成像所述修改後的虛擬使用者介面。
在圖3所示的例子中，周邊裝置136包含一或多個處理器346以及記憶體344，其在某些例子中是提供一電腦平台以用於執行一作業系統342，所述作業系統342譬如可以是一內嵌即時的多工作業系統、或是其它類型的作業系統。於是，作業系統342提供一多工操作環境以用於執行一或多個軟體構件。在某些例子中，周邊裝置136包含一或多個存在感應表面220(例如，一或多個表面，其利用電容性、導電性、電阻性、聲波、及/或其它技術以偵測觸碰及/或盤旋輸入)。在一或多個特點中，周邊裝置136可被配置以偵測在存在感應表面220的觸碰及/或盤旋輸入，處理所述輸入(例如，在處理器346)、以及通訊所述觸碰及/或盤旋輸入並且通訊有關所述輸入的資訊(包含有關所述輸入的地點資訊)至控制台106及/或HMD 112。如同相關圖2A的例子所論述的，存在感應表面220可包括一觸控螢幕(例如，一電容性觸控螢幕、電阻性觸控螢幕、表面聲波(SAW)觸控螢幕、紅外線觸控螢幕、光學成像觸控螢幕、聲波脈衝識別觸控螢幕、或是任何其它觸控螢幕)。如同在圖3中進一步所示的，在此例子中，周邊裝置136進一步包含一或多個運動感測器348，例如一或多個加速度計(亦被稱為IMU)，其輸出指出周邊裝置136的目前的加速的資料、輸出指出周邊裝置的一地點或位置的資料的GPS感測器、輸出指出周邊裝置136相隔各種物體(例如，相隔一壁或是其它表面)的距離的資料的雷達或聲納、或是提供周邊裝置或其它物體在一實體環境之內的一地點、位置或方位的指示的其它感測器。在某些例子中，處理器346是耦接至存在感應表面220以及運動感測器246。在某些例子中，處理器346以及記憶體344可以是分開的離散的構件。在其它例子中，記憶體344可以是晶片上的記憶體，其和處理器346共同位在在單一積體電路之內。在一或多個特點中，周邊裝置136可以與所述HMD共存，並且在某些例子中，操作為在所述虛擬的環境中，用於所述HMD的一輔助的輸入/輸出裝置。在某些例子中，所述周邊裝置136可以操作為一人工實境共同處理的裝置，而所述HMD 112及/或控制台106的某些功能被卸載至該裝置。在一或多個特點中，周邊裝置136可以是一智慧型手機、平板電腦、或是任何其它手持的裝置。
在某些例子中，處理器302、312、346的每一個可包括一多核心的處理器、一控制器、一數位信號處理器(DSP)、一特殊應用積體電路(ASIC)、一現場可程式閘陣列(FPGA)、或是等同的離散或整合的邏輯電路中的任一或多個。記憶體304、314、344可包括用於儲存資料及可執行的軟體指令的任何形式的記憶體，例如是隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式唯讀記憶體(PROM)、可抹除可程式唯讀記憶體(EPROM)、電子可抹除可程式唯讀記憶體(EEPROM)、以及快閃記憶體。
若周邊裝置136包含一輸出顯示器，例如一存在感應表面220是一觸控螢幕，則控制台106可以傳送指示其停用(亦即，關閉)所述輸出顯示器的通訊至周邊裝置136。在某些例子中，當用於所述周邊裝置136的輸出顯示器被停用時，成像引擎322可以只成像虛擬使用者介面137。
圖4是描繪根據本揭露內容的技術的其中虛擬使用者介面的產生是藉由圖1A、1B的人工實境系統的HMD 112來加以執行的一個例子的方塊圖。
在此例子中，類似於圖3，HMD 112包含一或多個處理器302以及記憶體304，其在某些例子中是提供一電腦平台以用於執行一作業系統305，所述作業系統305譬如可以是一內嵌即時的多工作業系統、或是其它類型的作業系統。於是，作業系統305提供一多工操作環境以用於執行一或多個軟體構件417。再者，處理器302是耦接至電子顯示器203、運動感測器206、以及影像捕捉裝置138。
在圖4的例子中，軟體構件417是操作以提供一整體人工實境應用程式。在此例子中，軟體應用程式417包含應用程式引擎440、成像引擎422、姿勢偵測器424、姿態追蹤器426、以及使用者介面引擎428。在各種的例子中，軟體構件417是類似於圖3的控制台106的對應構件(例如，應用程式引擎320、成像引擎322、姿勢偵測器324、姿態追蹤器326、以及使用者介面引擎328)來操作，以建構被覆蓋在所述人工內容上、或是作為所述人工內容的部分之虛擬使用者介面以用於顯示給使用者110。
類似於相關圖3所述的例子，使用者介面引擎428被配置以產生虛擬使用者介面，以用於成像在一人工實境環境中。使用者介面引擎428產生一虛擬使用者介面以包含一或多個虛擬使用者介面元素429，例如在以上相關圖1A所述的元素142、144、146及148。成像引擎422被配置以根據周邊裝置136的一目前的姿態來在所述人工實境環境中的一使用者介面位置處成像所述虛擬使用者介面，而所述使用者介面位置是相對於周邊裝置136在所述人工實境環境中的一位置而被鎖定。所述使用者介面位置可以是存在感應表面220中之一的一位置，並且成像引擎422可以縮放、旋轉、以及用其它方式轉換所述虛擬使用者介面來施加觀點以匹配所述存在感應表面220的姿態、尺寸、以及觀點，使得所述虛擬使用者介面在所述人工實境環境中看起來是覆蓋在所述存在感應表面220上。使用者介面引擎428可以將虛擬使用者介面產生為部分透明的，此容許存在感應表面220能夠被所述使用者看見。此通透性的程度可以是可配置的。
類似於相關圖3所述的例子，根據來自所述影像捕捉裝置138或102、周邊裝置136的存在感應表面220、或是其它感測器裝置的任一個的感測到的資料，姿勢偵測器424分析周邊裝置136及/或使用者的物體(例如，手、手臂、手腕、手指、手掌、拇指)的被追蹤的運動、配置、位置、及/或方位，以識別由使用者110所執行的一或多個姿勢。更明確地說，姿勢偵測器424可以分析在由HMD 112的影像捕捉裝置138及/或感測器90以及外部的攝影機102所捕捉的影像資料之內所辨認的物體以識別周邊裝置136及/或使用者110的一手及/或手臂，並且追蹤所述周邊裝置136、手、及/或手臂相對於HMD 112的移動以識別由使用者110所執行的姿勢。在某些例子中，姿勢偵測器424可以根據所捕捉的影像資料來追蹤所述周邊裝置136、手、手指及/或手臂的移動(其包含位置及方位的改變)，並且比較所述物體的運動向量與姿勢函式庫430中的一或多個項目以偵測由使用者110所執行的一姿勢或是姿勢的組合。在某些例子中，姿勢偵測器424可以接收藉由周邊裝置的存在感應表面偵測到的使用者輸入，並且處理所述使用者輸入以偵測由使用者110相關周邊裝置136所執行的一或多個姿勢。
姿勢偵測器424可以根據所捕捉的影像資料來追蹤所述周邊裝置、手(包含手指)、及/或手臂的移動(包含對於位置及方位的改變)，並且比較所述物體的運動向量與姿勢函式庫430中的一或多個項目，以偵測由使用者110所執行的一姿勢或是姿勢的組合。姿勢函式庫430是類似於圖3的姿勢函式庫330。姿勢偵測器424的全部功能中的某些功能可藉由周邊裝置136來加以執行。
圖5是描繪根據此揭露內容的技術的一或多個特點的用於一人工實境系統的一範例操作模式的流程圖。操作模式500的操作在此例子中是相關人工實境系統10來描述，但是可以藉由在此所述的任何人工實境系統，例如是圖1A、1B的人工實境系統10、20的一或多個構件來加以執行。譬如，所述操作中的某些個或是全部可以藉由姿態追蹤器(圖3及4的326、426)、姿勢偵測器(圖3及4的324、424)、一使用者介面引擎(圖3及4的328、428)、以及一成像引擎(圖3及4的322、422)中的一或多個來加以執行。
人工實境系統10是從一或多個影像捕捉裝置獲得影像資料(502)，並且處理所述影像資料以偵測在HMD 112的一視野中的一周邊裝置136(504)。人工實境系統10產生具有一或多個虛擬使用者介面元素的一虛擬使用者介面137(506)。人工實境系統10是在相對於所述周邊裝置136在一人工實境環境中的一位置而被鎖定的一使用者介面位置處成像所述虛擬使用者介面137，而虛擬使用者介面137是用於顯示在HMD 112(508)。人工實境系統10亦可以成像所述周邊裝置、或是其之一表示(例如，一周邊裝置的化身)，其中所述虛擬使用者介面137被成像為覆蓋在所述被成像的周邊裝置表示上。
人工實境系統10偵測在所述人工實境環境中的一位置的一使用者介面姿勢，所述位置對應於所述虛擬使用者介面元素中之一(510)。響應於所述使用者介面姿勢，人工實境系統10執行和所述虛擬使用者介面元素相關的一或多個動作。
圖6是根據本揭露內容的特點的一範例的HMD顯示畫面600，其描繪和人工實境內容互動。在圖6的舉例說明的例子中，所述HMD的一成像引擎可以成像一虛擬使用者介面602，其覆蓋在周邊裝置136的表面上以用於顯示在所述HMD。在圖6所描繪的例子中，當虛擬的內容項目616是有效的，所述人工實境系統產生並且成像虛擬使用者介面602。在一或多個特點中，虛擬使用者介面602包含一或多個虛擬的元素604A–604D(全體稱為“虛擬的元素604”)以註釋有效的虛擬的內容項目616。一使用者可以在一對應於被成像在所述周邊裝置136上的虛擬的元素604中的一或多個的位置處執行一使用者介面姿勢。在一或多個特點中，一註釋姿勢包括手132(或是手132的一或多個手指)選擇(例如，虛擬觸碰或按壓)元素604A–604D中之一。例如，一使用者可以藉由選擇一“表情符號(emoji)”(例如，元素604A、604B的任一個)來註釋有效的虛擬的內容項目616，其指出一使用者對於所述虛擬的內容項目的反應。
所述HMD偵測藉由一使用者在一對應於所述被成像的虛擬的元素604的位置所執行的使用者介面姿勢。在一或多個特點中，如同以上所指出的，在周邊裝置136的表面上所執行的觸碰姿勢可以從藉由所述人工實境系統的一影像捕捉裝置所捕捉的影像資料加以偵測。在一或多個特點中，如同以上所指出的，周邊裝置136的表面是一存在感應表面，而所述周邊裝置136是在所述存在感應表面偵測所述觸碰姿勢。
響應於偵測一使用者介面姿勢選擇或觸碰元素604A，所述人工實境系統將會執行一或多個動作，例如是註釋有效的虛擬的內容項目616以指出使用者“喜愛”或“喜歡”虛擬的內容項目616。在某些例子中，所述“喜愛”或“喜歡”註釋將會被反映在虛擬的內容項目616上(例如，如同在圖6中所示，元素608將會被產生在虛擬的內容項目616之上)、或是被反映在虛擬的內容項目616的附近(例如，相鄰)。在另一例子中，使用者可以藉由在所述虛擬的內容項目上評論來註釋有效的虛擬的內容項目616。例如，使用者可以選擇元素604C，並且所述人工實境系統可以響應於偵測元素604C的選擇姿勢，產生及成像一虛擬的鍵盤以供所述使用者輸入有關有效的虛擬的內容項目616的評論。在一或多個特點中，所輸入的評論將會被反映在虛擬的內容項目616之上、或是在虛擬的內容項目616的附近(例如，相鄰)。在一或多個特點中，虛擬使用者介面602被成像以用於顯示在所述HMD(例如，如同在圖6中所示，虛擬使用者介面602是藉由所述HMD而覆蓋在周邊裝置136的一表面上)。在一或多個特點中，虛擬使用者介面602是藉由周邊裝置136而被成像以用於顯示(例如，在周邊裝置136的一顯示器或觸控螢幕)。在一或多個特點中，所述人工實境系統可以不成像所述周邊裝置136的任何表示。在一或多個特點中，一有效的虛擬的內容項目可包含一有效的指示器610(例如，一邊界、突出顯示、一陰影、及/或使用者可以操縱或者是和一特定的虛擬的內容項目互動的任何其它指示)，以指出所述使用者可以註釋所述虛擬的內容項目。
圖7A是根據本揭露內容的特點的一範例的HMD顯示畫面700，其描繪一虛擬的繪圖表面模式。在圖7A描繪的例子中，所述人工實境系統的一成像引擎可以成像一虛擬使用者介面702，其覆蓋在周邊裝置136的表面上以用於顯示在所述HMD。在此例子中，所述虛擬使用者介面702可包含一虛擬的繪圖介面或是文本輸入介面，以互動或是以其它方式參與藉由所述HMD輸出的人工實境內容(例如，人工實境內容122)。在此例子中，一使用者正利用手132B的食指來和一周邊裝置136互動(例如，在其上執行觸碰使用者介面姿勢)。在一或多個特點中，如同以上所指出的，在周邊裝置136的表面上執行的觸碰使用者介面姿勢可以從藉由所述人工實境系統的一影像捕捉裝置捕捉的影像資料偵測到。在一或多個特點中，如同以上所指出的，周邊裝置136的表面是一存在感應表面，而所述周邊裝置136是在所述存在感應表面偵測所述觸碰使用者介面姿勢。在此例子中，所述人工實境系統偵測藉由使用者在對應於所述虛擬的繪圖介面的位置所執行的一觸碰使用者介面姿勢(例如，在此例中是一繪圖姿勢)。例如，使用者可以藉由將手132B的食指按壓在所述虛擬使用者介面702的一位置上、拖曳所述手指至所述虛擬使用者介面702的一不同的位置、以及釋放所述手指，來和周邊裝置136互動。
如同在圖7A的人工內容122中所繪的，響應於偵測在周邊裝置136的表面的使用者輸入(例如，所述繪圖姿勢)，所述人工實境系統在其中所述繪圖姿勢被執行的周邊裝置136的表面的位置產生包括虛擬的標記706的一修改後的虛擬使用者介面，以用於顯示在所述HMD。例如，所述人工實境系統是在其中所述使用者將食指按壓在所述虛擬使用者介面702的最初的位置上、以及拖曳到所述虛擬使用者介面702的一不同的位置之位置處產生並且成像虛擬的標記706。
如同在圖7A中所示，虛擬的標記706在人工實境內容122之外並不存在(例如，不利用HMD就無法看見)，並且其是在相對於周邊裝置136在所述人工實境環境中的一位置而被鎖定的一使用者介面位置處被成像。在一或多個特點中，虛擬的標記706是在觸碰輸入被偵測到時被產生及成像。例如，圖7B描繪在圖7A中所示之後的一時點的HMD顯示畫面710。在此例子中，如同在圖7B的人工實境內容122中所示，使用者已經利用在周邊裝置136的表面上的觸碰姿勢來完成詞組“Hi Everyone!”。所述人工實境系統產生一修改後的虛擬使用者介面712，並且在被鎖定至周邊裝置136的目前的位置及姿態之適當的使用者介面位置及姿態成像所述修改後的虛擬使用者介面712。
圖7C是根據本揭露內容的特點的一範例的HMD顯示畫面720，其描繪用於對於在周邊裝置136上的人工內容執行各種處理的一虛擬的繪圖表面模式。在圖7C的舉例說明的例子中，所述人工實境系統可以根據利用周邊裝置136的對應於所述人工實境內容的各種處理的使用者介面姿勢，成像一修改後的虛擬使用者介面722，其覆蓋在周邊裝置136的表面上以用於顯示在所述HMD。在此例子中，所述人工實境系統可以產生及成像包括經處理的虛擬的標記(例如，被縮放、平移或是旋轉的虛擬的標記)的一修改後的虛擬使用者介面722。
例如，使用者可以相關周邊裝置136來執行使用者介面姿勢，以利用周邊裝置136來執行相關所述虛擬的標記的各種處理。使用者可以執行觸碰使用者介面姿勢，例如是一捏拉縮放姿勢以擴大或縮小被成像在周邊裝置136上的虛擬的標記。例如，使用者可以在所述虛擬使用者介面722上的兩個位置按壓手132A的拇指以及手132B的拇指，並且可以將所述手指“捏”成較靠近的(以拉遠或縮小所述標記或是其它虛擬使用者介面元素)、或是將所述手指進一步“分開”(以拉近或放大所述標記或是其它虛擬使用者介面元素)。使用者可以執行其它使用者介面姿勢來操縱在周邊裝置136上的虛擬的標記，例如旋轉所述虛擬的標記(例如，將兩個手指置放在所述虛擬使用者介面722上，並且旋轉所述手指的置放)、或是移動所述虛擬的標記(例如，將兩個手指置放在所述虛擬使用者介面722上，並且在一方向上滑動所述兩個手指)。在其它例子中(未顯示)，使用者亦可以執行對於所述虛擬使用者介面整體、或是其它虛擬使用者介面元素的各種處理。
在一或多個特點中，如同以上所指出的，在周邊裝置136的表面上所執行的觸碰姿勢可以從藉由所述人工實境系統的一影像捕捉裝置所捕捉的影像資料偵測到。在一或多個特點中，如同以上所指出的，周邊裝置136的表面是一存在感應表面，而所述周邊裝置136是在所述存在感應表面偵測所述觸碰姿勢。
響應於偵測所述使用者輸入(例如，所述使用者介面姿勢)，所述人工實境系統可以執行一或多個動作，例如是根據所述使用者輸入來產生包括修改後的虛擬的標記的一修改後的虛擬使用者介面(例如，放大的虛擬的標記)。
虛擬的標記706在人工實境內容122之外並不存在(例如，不利用HMD就無法看見)，並且其是在相對於周邊裝置136在所述人工實境環境中的一位置而被鎖定的一使用者介面位置處被成像。在一或多個特點中，虛擬的標記706是在觸碰輸入被偵測到時被產生及成像。例如，所述虛擬的標記706可以在手132A及132B分別的拇指被分隔更開時放大。
圖8A是根據本揭露內容的特點的一範例的HMD顯示畫面800，其描繪一虛擬使用者介面802以及虛擬的指標804。在圖8A描繪的例子中，所述人工實境系統的一成像引擎可以成像一覆蓋在周邊裝置136的表面上的虛擬使用者介面802以及虛擬的指標804，以用於顯示在所述HMD。例如，人工實境內容122包含在對應於一實體牆壁121的一虛擬的表面上，沿著在周邊裝置136至地點805之間的一條線的虛擬的指標804。在一或多個特點中，所述虛擬的指標805可以代表一實線，但是可以代表任何種類的線，例如被分解成具有相同或不同長度的一或多個部分的一條線。在一或多個特點中，所述虛擬的指標804並不必要是直的，並且可以是具有自由形式，其在端點具有至少一點。在圖8A描繪的例子中，所述虛擬的表面亦包含人工實境內容項目816、124及126。
在一或多個特點中，人工實境內容項目可包括GIF、照片、應用程式、現場直播、視頻、文字、一網路瀏覽器、圖式、動畫、資料檔的表示、或是任何其它可見的媒體。在一或多個特點中，所述人工實境系統產生並且成像一虛擬使用者介面802，其中一虛擬的指標805是覆蓋在周邊裝置136的一表面上以用於顯示在所述HMD。在一或多個特點中，虛擬使用者介面802包含虛擬的元素，例如一繪圖元素806、移動元素808、旋轉元素810、縮放元素812、及/或一設定元素814。在一或多個特點中，虛擬使用者介面802可包含使用者介面元素的其它組合。在一或多個特點中，虛擬使用者介面802被成像以用於顯示在所述HMD(例如，如同在圖8A中所示，虛擬使用者介面802是藉由所述人工實境系統來覆蓋在周邊裝置136的一表面上)。
圖8B是根據本揭露內容的特點的一範例的HMD顯示畫面820，其描繪指標繪圖姿勢。在圖8B描繪的例子中，所述HMD的一成像引擎可以成像一覆蓋在周邊裝置136的表面上的虛擬使用者介面802，以用於顯示在所述HMD。在此例子中，當選擇繪圖元素806時，使用者正利用所述周邊裝置136來和一虛擬的繪圖表面822互動(例如，藉由執行一或多個繪圖姿勢)。在一或多個特點中，如同以上所指出的，利用周邊裝置136所執行的一或多個繪圖姿勢可以從藉由所述人工實境系統的一影像捕捉裝置所捕捉的影像資料偵測到。當所述使用者選擇繪圖元素806時，響應於偵測利用周邊裝置136的一或多個繪圖姿勢，所述人工實境系統是在虛擬的繪圖表面822上的指標804的地點產生並且成像虛擬的標記824A–824C，以用於顯示在所述HMD。在圖8B所示的例子在中，使用者在選擇繪圖元素806時，利用周邊裝置136來執行一垂直的繪圖姿勢以成像標記824A，接著使用者在選擇繪圖元素806時利用周邊裝置136來執行一第二垂直的繪圖姿勢以成像標記824B，並且接著使用者在選擇繪圖元素806時利用周邊裝置136來執行一第三繪圖姿勢以成像標記824C。在一或多個特點中，使用者可以選擇繪圖元素806，並且經由一虛擬的繪圖介面(例如，如先前在圖7A中所述)來繪圖一影像以被投影在所述虛擬的繪圖表面822之內。在一或多個特點中，使用者在執行所述第一、第二及第三繪圖姿勢之間並未選擇繪圖元素806。在一或多個特點中，虛擬的繪圖表面可包含邊界826。在一或多個特點中，虛擬的繪圖表面822是和一平的表面(例如，牆壁121)相關的。選擇繪圖元素806可包含在執行一繪圖姿勢時執行一保持姿勢，其維持持續的接觸在周邊裝置136上的對應於繪圖元素806的地點。在一或多個特點中，虛擬的繪圖表面可以對應於一整個實體表面(例如，具有和所述實體表面相同的表面積)、或是對應於一實體表面的一部分(例如，如同在圖8B中所示)。在某些例子中，一虛擬的繪圖表面可以在一虛擬或真實世界的實體環境中被成像為浮動的(例如，並未和特定的真實世界的表面相關)(未顯示)。
圖8C–8D分別描繪根據本揭露內容的特點的HMD顯示畫面830–840，其描繪容許使用者改變虛擬的指標804的虛擬使用者介面。響應於偵測到選擇虛擬使用者介面802的設定元素814(例如，如同在圖8C中所繪)，所述人工實境系統在周邊裝置136的一表面上產生並且成像一修改後的虛擬使用者介面842(例如，如同在圖8D中所繪)，例如是在圖8D中描繪的虛擬使用者介面。在圖8D描繪的例子中，所述虛擬使用者介面802包含設定元素，其包含一色彩元素832、寬度元素834、以及指標元素836。在一或多個特點中，所述虛擬使用者介面842可包含虛擬使用者介面元素的其它組合。在一或多個特點中，虛擬使用者介面842被成像以用於顯示在所述HMD(例如，如同在圖12D中所示，虛擬使用者介面842是藉由所述HMD而被投射在周邊裝置136的一表面上)。在一或多個特點中，虛擬使用者介面842是藉由周邊裝置136而被成像以用於顯示(例如，在周邊裝置136的一顯示器或觸控螢幕)。在一或多個特點中，所述人工實境系統響應於偵測到色彩元素832的選擇來改變虛擬的指標804的色彩(例如，所述人工實境系統將會切換虛擬的指標804的被成像的色彩)。在一或多個特點中，改變虛擬的指標804的色彩將會改變任何未來利用虛擬的指標804被成像的虛擬的標記的色彩。在一或多個特點中，當虛擬的指標804的地點838是在虛擬的繪圖表面822上，所述人工實境系統響應於偵測到色彩元素832的選擇來改變虛擬的標記824A–824C的色彩。在一或多個特點中，當虛擬的指標804的地點838是在虛擬的標記824A–824C的任一個上，所述人工實境系統響應於偵測到色彩元素832的選擇來改變虛擬的標記824A–824C的任一個的色彩。在一或多個特點中，所述人工實境系統響應於偵測到寬度元素834的選擇來改變虛擬的指標804的寬度(例如，所述人工實境系統將會切換虛擬的指標804被成像的寬度)。在一或多個特點中，改變虛擬的指標804的寬度將會改變任何未來利用虛擬的指標804被成像的虛擬的標記的寬度。在一或多個特點中，當虛擬的指標804的地點838是在虛擬的繪圖表面822上，所述人工實境系統響應於偵測到寬度元素834的選擇來改變虛擬的標記824A–824C的寬度。在一或多個特點中，當虛擬的指標804的地點838是在虛擬的標記824A–824C的任一個上，所述人工實境系統響應於偵測到寬度元素834的選擇來改變虛擬的標記824A–824C的任一個的寬度。在一或多個特點中，所述人工實境系統響應於偵測到指標元素836的選擇來改變虛擬的指標804的其它特徵。在某些例子中，所述其它特徵包含虛擬的指標804的形狀(例如，圓錐體、管、線)、虛擬的指標804是否包含一模式(例如，所述虛擬的指標是否只有一或多個部分被成像)、所述虛擬的指標804的不透明性(例如，所述射束是否透明、或是有多透明)、虛擬的指標804的亮度、及/或虛擬的指標804的任何其它視覺的特徵。
圖8E是根據本揭露內容的特點的一範例的HMD顯示畫面850，其描繪使用者利用虛擬的指標804來選擇人工實境內容項目816。在圖8E描繪的例子中，所述人工實境系統響應於虛擬的指標804的地點805是在人工實境內容項目上被偵測到而選擇人工實境內容項目816(例如，設定人工實境內容項目816的狀態為有效的)。在一或多個特點中，一有效的人工實境內容項目可包含一有效的指示器852(例如，一邊界、突出顯示、一陰影、及/或使用者可以操縱一特定的虛擬的繪圖或者是和其互動的任何其它指示)。在一或多個特點中，如同在以下更詳細敘述的，使用者可以在虛擬的縮放元素812被選擇時修改其。
圖8F是根據本揭露內容的特點的一範例的HMD顯示畫面860，其描繪當選擇移動元素808時的一轉換姿勢。在圖8F描繪的例子中，當人工實境內容項目816是有效的，使用者水平地朝右移動周邊裝置136(例如，執行一水平的平移姿勢)及/或從左至右旋轉周邊裝置。響應於當選擇移動元素808時偵測到所述平移姿勢，所述人工實境系統是根據相關周邊裝置136所執行的平移姿勢來平移人工實境內容項目816(例如，如同在圖8F中所示，將人工實境內容項目816移至右邊)。例如，使用者可以按壓及保持所述移動元素808，移動所述周邊裝置136或虛擬的指標804以移動所述人工實境內容816，並且釋放所述移動元素808以停止移動所述人工實境內容816。在某些例子中，使用者可以在所述移動元素808上做出第一按壓，移動所述周邊裝置136或虛擬的指標804以移動所述人工實境內容816，並且在所述移動元素808上做出第二按壓以停止移動所述人工實境內容816。在一或多個特點中，使用者可以在其它方向上(例如，在一垂直的方向上)平移(例如，移動)周邊裝置136，此將會使得所述人工實境系統根據所述運動來移動人工實境內容項目816。在一或多個特點中，人工實境內容項目816是在和周邊裝置136相同的方向上被移動相同的距離。例如，若周邊裝置136被移動至左邊三吋，則人工實境系統將會移動人工實境內容項目816至左邊三吋。在一或多個特點中，人工實境內容項目816是在和周邊裝置136實質相同的方向上(例如，在10度之內)被移動實質相同的距離(例如，在幾吋之內)。在一或多個特點中，所述人工實境系統將會移動人工實境內容項目816對應於所述周邊裝置136的被移動的距離的一大小的距離(例如，所述周邊裝置136被移動的距離的50%、150%、200%或是任何百分比)。
在某些例子中，所述人工實境系統的成像引擎可以成像一方向按鍵，以控制一所選的人工實境內容的移動。例如，使用者可以選擇移動元素806，經由所述虛擬的指標804來選擇一影像，並且在所述方向按鍵上執行一介面姿勢以移動人工實境內容816。
圖8G是根據本揭露內容的特點的一範例的HMD顯示畫面870，其描繪一轉換姿勢。在圖8G描繪的例子中，當人工實境內容項目816是有效的，並且當使用者選擇旋轉元素810時，所述使用者逆時針旋轉周邊裝置136。響應於當選擇旋轉元素810時偵測到所述旋轉姿勢，所述人工實境系統是根據相關周邊裝置136所執行的平移姿勢來旋轉人工實境內容項目816(例如，如同在圖8G中所示，旋轉人工實境內容項目816)。例如，使用者可以按壓及保持所述旋轉元素810，旋轉所述周邊裝置136或虛擬的指標804以旋轉所述人工實境內容816，並且釋放所述旋轉元素810以停止旋轉所述人工實境內容816。在某些例子中，使用者可以在所述旋轉元素810上做出第一按壓，旋轉所述周邊裝置136或虛擬的指標804以旋轉所述人工實境內容816，並且在所述旋轉元素810上做出第二按壓以停止旋轉所述人工實境內容816。在某些例子中，所述人工實境系統的成像引擎可以產生包括一修改後的虛擬使用者介面元素的一修改後的虛擬使用者介面，其包含一虛擬的方向按鍵以控制所述旋轉。在一或多個特點中，使用者可以在其它方向上(例如，在一順時針的方向上)旋轉周邊裝置136，其將會使得所述人工實境系統根據所述方向來旋轉人工實境內容項目816。在一或多個特點中，人工實境內容項目816是在和周邊裝置136相同的方向上被旋轉相同的度數。例如，若周邊裝置136被逆時針移動十五度，則人工實境系統將會逆時針旋轉人工實境內容項目816十五度。在一或多個特點中，人工實境內容項目816被旋轉和周邊裝置136實質相同的度數(例如，在十度之內)。在一或多個特點中，所述人工實境系統將會旋轉人工實境內容項目816一對應於所述周邊裝置136被旋轉的度數的大小(例如，所述周邊裝置136被旋轉的度數的50%、150%、200%或是任何的百分比)。
圖8H是根據本揭露內容的特點的一範例的HMD顯示畫面880，其描繪一轉換姿勢。在圖8H描繪的例子中，當人工實境內容項目816是有效的，並且當使用者選擇縮放元素812時，所述使用者將周邊裝置136從對應於牆壁121的虛擬的表面移開。響應於當選擇縮放元素812時偵測到朝向或是遠離在實體空間中的一平面(例如，牆壁121)的一平移姿勢，所述人工實境系統是根據相關周邊裝置136所執行的平移姿勢來縮放人工實境內容項目816。在圖8H描繪的例子中，所述人工實境系統響應於所述周邊裝置136從對應於牆壁121的虛擬的表面遠離移動，來增加人工實境內容項目816的尺寸。在其它例子中，所述人工實境系統響應於使用者朝向對應於牆壁121的虛擬的表面來移動周邊裝置136，以縮減人工實境內容項目816的尺寸。在一或多個特點中，人工實境內容項目816的尺寸是根據周邊裝置136至對應於牆壁121的虛擬的表面的距離而被縮放，其具有一類似於投影的效果。
在某些例子中，使用者可以按壓及保持所述縮放元素812，移動所述周邊裝置136或虛擬的指標804以縮放所述人工實境內容816，並且釋放所述縮放元素812以停止縮放所述人工實境內容816。在某些例子中，使用者可以在所述縮放元素812上做出第一按壓，移動所述周邊裝置136或虛擬的指標804以縮放所述人工實境內容816，並且在所述縮放元素812上做出第二按壓以停止旋轉所述人工實境內容816。在某些例子中，所述人工實境系統的成像引擎可以產生包括一修改後的虛擬使用者介面元素的一修改後的虛擬使用者介面，其包含一虛擬的方向按鍵以控制所述縮放。
圖8I是根據本揭露內容的特點的一範例的HMD顯示畫面890，其描繪使用者利用虛擬的指標804來和人工實境內容項目816互動。在圖8I的舉例說明的例子中，所述HMD的一成像引擎可以成像一覆蓋在周邊裝置136的表面上的虛擬使用者介面892，以用於顯示在所述HMD。在圖8I描繪的例子中，所述人工實境系統是利用虛擬的指標804產生並且成像虛擬使用者介面892。在一或多個特點中，虛擬使用者介面892包含一或多個虛擬的元素894A–894D(全體稱為“虛擬的元素894”)，以註釋有效的人工實境內容項目616。使用者可以使用所述虛擬的指標804來選擇要註釋所針對的人工實境內容，例如是人工實境內容816。響應於選擇人工實境內容816，使用者可以在對應於被成像在所述周邊裝置136上的虛擬的元素894中的一或多個的一位置處執行一介面姿勢。在一或多個特點中，一註釋姿勢包括手132(或是手132的一或多個手指)選擇(例如，觸碰)元素894A–894D中之一。例如，使用者可以藉由選擇一“表情符號”(例如，元素894A、894B的任一個)來註釋有效的虛擬的內容項目616，其指出使用者對於所述虛擬的內容項目的反應。
所述HMD偵測由使用者在對應於被成像的虛擬的元素894的一位置處所執行的介面姿勢。在一或多個特點中，如同以上所指出的，在周邊裝置136的表面上所執行的觸碰姿勢可以從藉由所述人工實境系統的一影像捕捉裝置所捕捉的影像資料偵測到。在一或多個特點中，如同以上所指出的，周邊裝置136的表面是一存在感應表面，所述周邊裝置136是在所述存在感應表面偵測所述觸碰姿勢。
響應於偵測到一選擇或觸碰元素894A的姿勢，所述人工實境系統將會執行一或多個動作，例如是註釋有效的虛擬的內容項目816以指出使用者“喜愛”或“喜歡”虛擬的內容項目816。在某些例子中，所述“喜愛”或“喜歡”的註釋將會被反映在虛擬的內容項目816上(例如，如同在圖8I中所示，元素896將會被產生在虛擬的內容項目816之上)、或是在虛擬的內容項目816的附近(例如，相鄰)。在另一例子中，使用者可以藉由在所述虛擬的內容項目上評論來註釋有效的虛擬的內容項目816。例如，使用者可以選擇元素894C，並且所述人工實境系統可以響應於偵測到元素894C的選擇姿勢來產生及成像一虛擬的鍵盤，以供所述使用者輸入有關有效的虛擬的內容項目816的一評論。在一或多個特點中，所輸入的評論將會被反映在虛擬的內容項目816之上、或是在虛擬的內容項目816的附近(例如，相鄰)。在一或多個特點中，虛擬使用者介面892被成像以用於顯示在所述HMD(例如，如同在圖8I中所示，虛擬使用者介面892是藉由所述人工實境系統而覆蓋或投影在周邊裝置136的一表面上)。在一或多個特點中，虛擬使用者介面892是藉由周邊裝置136而被成像用於顯示(例如，在周邊裝置136的一顯示器或是觸控螢幕)。在一或多個特點中，一有效的虛擬的內容項目可包含一有效的指示器898(例如，一邊界、突出顯示、一陰影、及/或使用者可以操縱或者是和一特定的虛擬的內容項目互動的任何其它指示)，以指出所述使用者可以註釋所述虛擬的內容項目。
圖9是描繪根據此揭露內容的技術的一範例的周邊裝置以及虛擬使用者介面的方塊圖。圖9是描繪覆蓋在一周邊裝置上的具有一虛擬使用者介面元素的虛擬使用者介面137，所述虛擬使用者介面元素是一虛擬的按鈕146。周邊裝置136存在於實體的實境中。虛擬使用者介面146是藉由一人工實境系統而被投射到周邊裝置136的一表面之上，並且被成像以用於輸出至一HMD，以便對於所述HMD的使用者而言看起來是藉由周邊裝置136的一顯示器輸出的。儘管利用一分解圖來描繪，其中虛擬使用者介面146被展示設置成顯著高於表面220，但是一人工實境系統可以直接在表面220上、或是稍微從表面220偏移來成像虛擬使用者介面146。其在此被稱為覆蓋在表面220上。
虛擬的按鈕146對應於在表面220上的一位置。虛擬的按鈕146在所述人工實境環境中的一區域是對應於虛擬的按鈕146在表面220上的區域146’。此對應性譬如可包含虛擬的按鈕146在所述人工實境環境中的區域包含或對映到在所述實體環境中的表面122上的一區域146’，其中虛擬的按鈕146被虛擬成像到來自HMD裝載的攝影機或其它的攝影機的一視訊饋送上，並且顯示給所述使用者。
所述人工實境系統可以偵測使用者在區域146’，亦即在一對應於在表面200上的虛擬的按鈕146的位置所執行的一使用者介面姿勢。所述人工實境系統的偵測可以藉由處理由表面200偵測到的輸入、或是藉由分析在由影像捕捉裝置及/或感測器與外部的攝影機所捕捉的影像資料之內所辨認的物體以識別周邊裝置136及/或使用者的一手及/或手臂，並且追蹤周邊裝置136、手、及/或手臂相對於一HMD的移動以識別由所述使用者所執行的姿勢，來偵測所述使用者介面姿勢。
在此揭露內容中所述的技術可以(至少部分)用硬體、軟體、韌體或是其之任意組合來加以實施。例如，所述技術的各種特點可以在一或多個處理器之內實施，其包含一或多個微處理器、DSP、特殊應用積體電路(ASIC)、現場可程式閘陣列(FPGA)、或是任何其它等同的整合或離散的邏輯電路、以及此種構件的任意組合。所述術語“處理器”或“處理電路”可以大致是指前述邏輯電路的任一種(單獨或結合其它邏輯電路)、或是任何其它等效電路。一包括硬體的控制單元亦可以執行此揭露內容的技術中的一或多個。
此種硬體、軟體、以及韌體可以在相同的裝置之內或是在分開的裝置之內實施，以支援在此揭露內容中所述的各種操作及功能。此外，所述單元、模組或構件的任一個可以一起加以實施、或是分開加以實施為離散但可以共同操作的邏輯裝置。不同特點的描繪為模組或單元是欲強調不同的功能特點，因而並不一定意指此種模組或單元必須藉由分開的硬體或軟體構件來加以實現。而是，和一或多個模組或單元相關的功能可以藉由分開的硬體或軟體構件來加以執行、或是被整合在共同或個別的硬體或軟體構件之內。
在此揭露內容中所述的技術亦可被體現或編碼在包含指令的一電腦可讀取的媒體中，例如是電腦可讀取的儲存媒體。被內嵌或編碼在一電腦可讀取的儲存媒體中的指令例如在所述指令被執行時，可以使得一可程式化的處理器或是其它處理器執行所述方法。電腦可讀取的儲存媒體可包含隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式唯讀記憶體(PROM)，可抹除可程式唯讀記憶體(EPROM)、電子可抹除可程式唯讀記憶體(EEPROM)、快閃記憶體、一硬碟、一CD-ROM、一軟碟片、一卡匣、磁性媒體、光學媒體、或是其它電腦可讀取的媒體。
如同藉由在此的各種例子所述，本揭露內容的技術可包含一人工實境系統、或是結合一人工實境系統來加以實施。如先前所述，人工實境是一種形式的實境，其在呈現給一使用者之前已經用某種方式調整，例如可包含一虛擬實境(VR)、一擴增實境(AR)、一混合實境(MR)、一複合實境、或是其之某種組合及/或衍生。人工實境內容可包含完全是所產生的內容、或是結合所捕捉的內容(例如，真實世界的照片)之產生的內容。所述人工實境內容可包含視訊、音訊、觸覺回授、或是其之某種組合，並且其之任一個都可以用單一通道或是多個通道來加以呈現(例如是產生三維效果給觀看者的立體視訊)。此外，在某些實施例中，人工實境亦可以是和應用程式、產品、配件、服務、或是其之某種組合相關的，其例如被用來在一人工實境中產生內容，且/或在一人工實境中被使用(例如，在人工實境中執行活動)。提供人工實境內容的人工實境系統可以在各種平台上加以實施，其包含連接至一主機電腦系統的一頭戴顯示器(HMD)、一獨立的HMD、一行動裝置或計算系統、或是任何其它能夠提供人工實境內容給一或多個觀看者的硬體平台。
10:人工實境系統 20:人工實境系統 90:感測器 102、102A、102B:外部的攝影機 104:網路 106:控制台 108、108A–108B:真實世界物體 110、110A–110C:使用者 112、112A–112C:HMD 114、114A、114B:控制器 120A、120B:化身 121:牆壁 122:人工實境內容 124、126:虛擬的內容項目 128、128A、128B:虛擬的物件 130、130A、130B:視野 132、132A、132B:手 134:手臂 136:周邊裝置 137:虛擬使用者介面 138、138A、138B:影像捕捉裝置 142:虛擬的繪圖介面 144:可選的功能表 146:虛擬的按鈕 146’:區域 148:方向按鍵 203、203A、203B:電子顯示器 206:運動感測器 210:內部的控制單元 220:表面 222:輸入裝置 302:處理器 304:記憶體 305:作業系統 307:軟體構件 312:處理器 314:記憶體 315:I/O介面 316:作業系統 317:軟體構件 320:應用程式引擎 322:成像引擎 324:姿勢偵測器 326:姿態追蹤器 328:使用者介面引擎 329:虛擬使用者介面元素 330:姿勢函式庫 340:應用程式引擎 342:作業系統 344:記憶體 346:處理器 348:運動感測器 417:軟體構件 422:成像引擎 424:姿勢偵測器 426:姿態追蹤器 428:使用者介面引擎 429:虛擬使用者介面元素 430:姿勢函式庫 440:應用程式引擎 500:操作模式 502:操作 504:操作 506:操作 508:操作 510:操作 512:操作 600:HMD顯示畫面 602:虛擬使用者介面 604、604A–604D:虛擬的元素 610:有效的指示器 616:虛擬的內容項目 700:HMD顯示畫面 702:虛擬使用者介面 706:虛擬的標記 710:HMD顯示畫面 712:虛擬使用者介面 720:HMD顯示畫面 722:虛擬使用者介面 800:HMD顯示畫面 802:虛擬使用者介面 804:虛擬的標記 805:地點 806:繪圖元素 808:移動元素 810:旋轉元素 812:縮放元素 814:設定元素 820:HMD顯示畫面 822:虛擬的繪圖表面 824A–824C:虛擬的標記 826:邊界 830:HMD顯示畫面 832:色彩元素 834:寬度元素 836:指標元素 838:地點 840:HMD顯示畫面 842:虛擬使用者介面 850:HMD顯示畫面 852:有效的指示器 860:HMD顯示畫面 870:HMD顯示畫面 880:HMD顯示畫面 890:HMD顯示畫面 892:虛擬使用者介面 894、894A–894D:虛擬的元素 896:元素 898:有效的指示器
[圖1A]是描繪根據本揭露內容的技術的一範例的人工實境系統的圖式，其包含一頭戴式顯示器(HMD)以及一周邊裝置。
[圖1B]是描繪根據本揭露內容的技術的一範例的人工實境系統的圖式。
[圖2A]是描繪根據本揭露內容的技術的一範例的HMD以及一範例的周邊裝置的圖式。
[圖2B]是描繪根據本揭露內容的技術的一範例的HMD的圖式。
[圖3]是展示根據本揭露內容的技術的一控制台、一HMD、以及圖1A、1B的人工實境系統的一周邊裝置的範例實施方式的方塊圖。
[圖4]是描繪根據本揭露內容的技術的其中使用者介面的產生是藉由圖1A、1B的人工實境系統的HMD來加以執行的一個例子的方塊圖。
[圖5]是描繪根據本揭露內容的特點的一周邊裝置的操作的流程圖。
[圖6]是根據本揭露內容的特點的一範例的HMD顯示器，其描繪和人工實境內容互動。
[圖7A]–[圖7C]是根據本揭露內容的特點的範例的HMD顯示器，其描繪響應於在一周邊裝置上所執行的一使用者介面姿勢的一偵測的一或多個動作的執行。
[圖8A]–[圖8I]是根據本揭露內容的特點的範例的HMD顯示器，其描繪利用一虛擬的雷射指標來和人工實境內容的各種互動。
[圖9]是描繪根據此揭露內容的技術的一範例的周邊裝置以及虛擬使用者介面的方塊圖。
相同的元件符號是指整個說明及圖式的相似的元件。
10:人工實境系統
90:感測器
104:網路
106:控制台
110:使用者
112:HMD
121:牆壁
122:人工實境內容
124、126:虛擬的內容項目
130:視野
132:手
134:手臂
136:周邊裝置
137:虛擬使用者介面
138:影像捕捉裝置
142:虛擬的繪圖介面
144:可選的功能表
146:虛擬的按鈕
148:方向按鍵

Claims (20)

  1. 一種人工實境系統，包括： 影像捕捉裝置，其被配置以捕捉影像資料； 頭戴式顯示器(HMD)，其被配置以輸出人工實境內容； 使用者介面引擎，其被配置以從所述影像資料偵測周邊裝置， 其中所述使用者介面引擎被配置以產生包括一或多個虛擬使用者介面元素的虛擬使用者介面；以及 成像引擎，其被配置以成像所述人工實境內容，並且在相對於所述周邊裝置在人工實境環境中的位置而被鎖定的使用者介面位置處成像所述虛擬使用者介面，以用於顯示在所述頭戴式顯示器。
  2. 如請求項1之人工實境系統， 姿勢偵測器，其被配置以偵測由使用者在對應於所述虛擬使用者介面元素的其中一者的位置處所執行的使用者介面姿勢， 其中所述人工實境系統被配置以響應於所述使用者介面姿勢來執行與所述虛擬使用者介面元素的所述其中一者相關的一或多個動作。
  3. 如請求項2之人工實境系統，進一步包括： 所述周邊裝置，其中所述周邊裝置包括存在感應(presence-sensitive)介面，所述存在感應介面被配置以接收由使用者所做的一或多個輸入， 其中所述姿勢偵測器被配置以根據所述一或多個輸入來偵測所述使用者介面姿勢。
  4. 如請求項2之人工實境系統， 其中為了執行所述一或多個動作，所述使用者介面引擎被配置以修改所述虛擬使用者介面以產生包括一或多個修改後的虛擬使用者介面元素的修改後的虛擬使用者介面，以及 其中所述成像引擎被配置以在所述使用者介面位置處成像所述修改後的虛擬使用者介面，以用於顯示在所述頭戴式顯示器。
  5. 如請求項1之人工實境系統， 其中為了成像所述虛擬使用者介面，所述成像引擎被配置以成像覆蓋在所述周邊裝置的表面上的所述虛擬使用者介面。
  6. 如請求項5之人工實境系統，其中所述周邊裝置的所述表面包括存在感應介面。
  7. 如請求項1之人工實境系統，進一步包括： 所述周邊裝置，其中所述周邊裝置並不包含顯示器。
  8. 如請求項1之人工實境系統，進一步包括： 所述周邊裝置， 其中所述周邊裝置包含顯示器， 其中所述虛擬使用者介面引擎被配置以傳送通訊至所述周邊裝置，以使得所述周邊裝置停用所述顯示器。
  9. 如請求項1之人工實境系統，進一步包括： 所述周邊裝置， 其中所述周邊裝置包含顯示器， 其中所述虛擬使用者介面引擎被配置以接收所述顯示器被停用的指示，以及 其中為了產生所述虛擬使用者介面，所述虛擬使用者介面引擎被配置以響應於根據所述指示而判斷的所述顯示器被停用來產生所述虛擬使用者介面。
  10. 如請求項1之人工實境系統，進一步包括： 所述周邊裝置， 其中所述周邊裝置包括姿勢偵測器，其被配置以偵測由使用者在對應於所述虛擬使用者介面元素的其中一者的位置處所執行的使用者介面姿勢，以及 其中所述頭戴式顯示器被配置以響應於所述使用者介面姿勢來執行與所述虛擬使用者介面元素的所述其中一者相關的一或多個動作。
  11. 如請求項1之人工實境系統，進一步包括： 姿勢偵測器，其被配置以偵測由使用者在對應於在所述虛擬使用者介面上的位置之一位置處所執行的繪圖姿勢， 其中所述虛擬使用者介面引擎被配置以響應於所述繪圖姿勢來產生修改後的虛擬使用者介面，其包括在所述虛擬使用者介面上的所述位置處的虛擬的標記， 其中所述成像引擎被配置以在所述使用者介面位置成像所述修改後的虛擬使用者介面，以用於顯示在所述頭戴式顯示器。
  12. 如請求項1之人工實境系統，其中所述周邊裝置包括智慧型手機、智慧型手錶、或是平板電腦中之一者。
  13. 一種方法，包括： 藉由包含頭戴式顯示器(HMD)的人工實境系統，透過影像捕捉裝置來獲得影像資料，所述頭戴式顯示器被配置以輸出人工實境內容； 藉由所述人工實境系統從所述影像資料偵測周邊裝置； 藉由所述人工實境系統產生包括一或多個虛擬使用者介面元素的虛擬使用者介面；以及 藉由所述人工實境系統成像所述人工實境內容，並且在相對於所述周邊裝置在人工實境環境中的位置而被鎖定的使用者介面位置處成像所述虛擬使用者介面，以用於顯示在所述頭戴式顯示器。
  14. 如請求項13之方法，進一步包括： 藉由所述人工實境系統偵測由使用者在對應於所述虛擬使用者介面元素的其中一者的位置處所執行的使用者介面姿勢； 藉由所述人工實境系統響應於所述使用者介面姿勢來執行與所述虛擬使用者介面元素的所述其中一者相關的一或多個動作。
  15. 如請求項14之方法，進一步包括： 在所述周邊裝置的存在感應(presence-sensitive)介面處接收由使用者所做的一或多個輸入；以及 其中所述偵測包括根據所述一或多個輸入來偵測所述使用者介面姿勢。
  16. 如請求項14之方法， 其中執行所述一或多個動作包括修改所述虛擬使用者介面以產生包括一或多個修改後的虛擬使用者介面元素的修改後的虛擬使用者介面，所述方法進一步包括： 在所述使用者介面位置處成像所述修改後的虛擬使用者介面，以用於顯示在所述頭戴式顯示器。
  17. 如請求項13之方法，其中所述周邊裝置並不包含顯示器。
  18. 如請求項13之方法，進一步包括： 從所述頭戴式顯示器傳送通訊至所述周邊裝置，以使得所述周邊裝置關閉所述顯示器。
  19. 如請求項13之方法，進一步包括： 藉由所述周邊裝置偵測由使用者在對應於所述虛擬使用者介面元素的其中一者的位置處所執行的使用者介面姿勢；以及 藉由所述人工實境系統響應於所述使用者介面姿勢來執行與所述虛擬使用者介面元素的所述其中一者相關的一或多個動作。
  20. 一種包括指令之非暫態的電腦可讀取的媒體，當所述指令被執行時，使得包含被配置以輸出人工實境內容的頭戴式顯示器(HMD)的人工實境系統的一或多個處理器： 產生包括一或多個虛擬使用者介面元素的虛擬使用者介面； 成像所述人工實境內容，並且在相對於所述周邊裝置在人工實境環境中的位置而被鎖定的使用者介面位置處成像所述虛擬使用者介面，以用於顯示在所述頭戴式顯示器； 偵測由使用者在對應於所述虛擬使用者介面元素的其中一者的位置處所執行的使用者介面姿勢；以及 響應於所述使用者介面姿勢來執行與所述虛擬使用者介面元素的所述其中一者相關的一或多個動作。
TW109123051A 2019-07-09 2020-07-08 在人工實境環境中使用周邊裝置的虛擬使用者介面 TW202105133A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/506,618 US20210011556A1 (en) 2019-07-09 2019-07-09 Virtual user interface using a peripheral device in artificial reality environments
US16/506,618 2019-07-09

Publications (1)

Publication Number Publication Date
TW202105133A true TW202105133A (zh) 2021-02-01

Family

ID=71833468

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123051A TW202105133A (zh) 2019-07-09 2020-07-08 在人工實境環境中使用周邊裝置的虛擬使用者介面

Country Status (7)

Country Link
US (1) US20210011556A1 (zh)
EP (1) EP3997552A1 (zh)
JP (1) JP2022540315A (zh)
KR (1) KR20220030294A (zh)
CN (1) CN114080585A (zh)
TW (1) TW202105133A (zh)
WO (1) WO2021007221A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644972B2 (en) 2021-09-24 2023-05-09 Htc Corporation Virtual image display device and setting method for input interface thereof
TWI803134B (zh) * 2021-09-24 2023-05-21 宏達國際電子股份有限公司 虛擬影像顯示裝置及其輸入介面的設定方法
TWI821878B (zh) * 2021-02-02 2023-11-11 仁寶電腦工業股份有限公司 虛實互動方法及虛實互動系統
TWI829563B (zh) * 2022-03-23 2024-01-11 宏達國際電子股份有限公司 可穿戴追蹤系統和可穿戴追蹤方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190560B2 (en) 2015-07-27 2021-11-30 Autodesk, Inc. Sharing computer application activities
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US11409671B2 (en) 2019-09-19 2022-08-09 Facebook Technologies, Llc Artificial reality system having multi-bank, multi-port distributed shared memory
US11474970B2 (en) 2019-09-24 2022-10-18 Meta Platforms Technologies, Llc Artificial reality system with inter-processor communication (IPC)
US11487594B1 (en) 2019-09-24 2022-11-01 Meta Platforms Technologies, Llc Artificial reality system with inter-processor communication (IPC)
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11368283B2 (en) 2019-11-15 2022-06-21 Facebook Technologies, Llc Encryption and decryption engines with selective key expansion skipping
US11196846B2 (en) 2019-11-15 2021-12-07 Facebook Technologies, Llc Inline encryption of packet data in a wireless communication system
US11520707B2 (en) 2019-11-15 2022-12-06 Meta Platforms Technologies, Llc System on a chip (SoC) communications to prevent direct memory access (DMA) attacks
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
WO2021236170A1 (en) * 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
US11694376B2 (en) * 2020-10-19 2023-07-04 Adobe Inc. Intuitive 3D transformations for 2D graphics
US11449606B1 (en) 2020-12-23 2022-09-20 Facebook Technologies, Llc Monitoring circuit including cascaded s-boxes for fault injection attack protection
US20220207804A1 (en) * 2020-12-30 2022-06-30 Snap Inc. Automated content curation for generating composite augmented reality content
JP2022122479A (ja) * 2021-02-10 2022-08-23 キヤノン株式会社 撮像システム、表示装置、撮像装置、および撮像システムの制御方法
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
TWI784645B (zh) * 2021-07-29 2022-11-21 宏碁股份有限公司 擴增實境系統及其操作方法
WO2023028571A1 (en) * 2021-08-27 2023-03-02 Chinook Labs Llc System and method of augmented representation of an electronic device
WO2023080958A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Intelligent keyboard attachment for mixed reality input
US11797175B2 (en) * 2021-11-04 2023-10-24 Microsoft Technology Licensing, Llc Intelligent keyboard attachment for mixed reality input
US20230176662A1 (en) * 2021-12-06 2023-06-08 Htc Corporation Control method, virtual reality system, and non-transitory computer readable storage medium with map of head-mounted device
US11847267B2 (en) * 2022-05-11 2023-12-19 Hewlett-Packard Development Company, L.P. Input device tracking systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
US10928888B2 (en) * 2016-11-14 2021-02-23 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821878B (zh) * 2021-02-02 2023-11-11 仁寶電腦工業股份有限公司 虛實互動方法及虛實互動系統
US11644972B2 (en) 2021-09-24 2023-05-09 Htc Corporation Virtual image display device and setting method for input interface thereof
TWI803134B (zh) * 2021-09-24 2023-05-21 宏達國際電子股份有限公司 虛擬影像顯示裝置及其輸入介面的設定方法
TWI829563B (zh) * 2022-03-23 2024-01-11 宏達國際電子股份有限公司 可穿戴追蹤系統和可穿戴追蹤方法

Also Published As

Publication number Publication date
JP2022540315A (ja) 2022-09-15
KR20220030294A (ko) 2022-03-10
US20210011556A1 (en) 2021-01-14
CN114080585A (zh) 2022-02-22
WO2021007221A1 (en) 2021-01-14
EP3997552A1 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
TW202105133A (zh) 在人工實境環境中使用周邊裝置的虛擬使用者介面
US10890983B2 (en) Artificial reality system having a sliding menu
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
US11334212B2 (en) Detecting input in artificial reality systems based on a pinch and pull gesture
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US11422669B1 (en) Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
WO2024064231A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments