TW202046085A - 基於捏合和拉放手勢偵測人工實境系統中的輸入 - Google Patents

基於捏合和拉放手勢偵測人工實境系統中的輸入 Download PDF

Info

Publication number
TW202046085A
TW202046085A TW109118112A TW109118112A TW202046085A TW 202046085 A TW202046085 A TW 202046085A TW 109118112 A TW109118112 A TW 109118112A TW 109118112 A TW109118112 A TW 109118112A TW 202046085 A TW202046085 A TW 202046085A
Authority
TW
Taiwan
Prior art keywords
user interface
artificial reality
gesture
hand
movement
Prior art date
Application number
TW109118112A
Other languages
English (en)
Inventor
強納森 拉瓦斯
艾蒂安 蘋尚
西蒙 查爾斯 提克納
羅伯特 艾利斯
賈斯柏 史帝芬斯
亞當 蒂伯爾 瓦爾加
珍妮弗 林恩 史柏拉克
圖密 凱爾 艾利克 沙爾居
巴列特 福克斯
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW202046085A publication Critical patent/TW202046085A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

描述一種人工實境系統，其成像、呈現及控制一人工實境環境內之使用者介面元素，且回應於使用者之一或多個偵測到之姿勢而進行動作。在一個實例中，一種人工實境系統包含：一影像擷取裝置，其被配置以擷取表示一實體環境之影像資料；一頭戴式顯示器（HMD），其被配置以輸出人工實境內容；一手勢偵測器，其被配置以自該些影像資料識別一手勢，該手勢包含來自一手部之兩個手指形成一捏合組態之運動及處於該捏合組態時之後續拉放運動；一使用者介面（UI）引擎，其被配置以回應於識別該手勢而產生一使用者介面輸入元素；及一成像引擎，其被配置以將該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上。

Description

基於捏合和拉放手勢偵測人工實境系統中的輸入
本揭示大體上係關於人工實境系統，諸如虛擬實境、混合實境及/或擴增實境系統，且更特定而言，係關於人工實境系統之使用者介面。
人工實境系統在諸如電腦遊戲、健康及安全、工業及教育之許多領域中之應用正變得愈來愈普遍。作為幾個實例，人工實境系統正併入至行動裝置、遊戲控制台、個人電腦、電影院及主題公園中。一般而言，人工實境為在呈現給使用者之前已以某一方式調整之一種形式之實境，其可包括例如虛擬實境（virtual reality；VR）、擴增實境（augmented reality；AR）、混合實境（mixed reality；MR）、混雜實境或其某一組合及/或衍生物。
典型人工實境系統包括用於向使用者成像及顯示內容之一或多個裝置。作為一個實例，人工實境系統可併入由使用者穿戴且被配置以將人工實境內容輸出至使用者之頭戴式顯示器（head-mounted display；HMD）。人工實境內容可包括完全產生之內容或與所擷取之內容（例如真實世界視訊及/或影像）組合之產生之內容。在操作期間，使用者通常與人工實境系統互動以選擇內容、啟動應用程式或以其他方式配置系統。
一般而言，本揭示描述人工實境系統，且更具體而言，描述用於呈現及控制人工實境環境內之使用者介面元素之圖形使用者介面元素及技術。
舉例而言，描述回應於使用者之一或多個預定義手勢之檢測而產生及成像圖形使用者介面元素以供向使用者顯示之人工實境系統，該些預定義手勢諸如使用者之手部、手指、拇指或手臂之特定運動、組態、位置及/或定向，或預定義手勢之組合。在一些實例中，人工實境系統可回應於與其他條件組合之特定手勢（諸如實體環境中特定手勢相對於使用者之當前視場（其可藉由使用者之即時視線追蹤判定）或相對於由使用者穿戴之頭戴式顯示器之姿勢之位置及定向）之偵測而進一步觸發圖形使用者介面元素之產生及成像。
在一些實例中，人工實境系統可產生圖形使用者介面元素且將其呈現為相對於當前在人工實境系統之顯示器內成像之人工實境內容之覆蓋元素。圖形使用者介面元素可例如為：圖形使用者介面，諸如選單或子選單，使用者與其互動以操作人工實境系統；或可由使用者選擇及操縱之個別圖形使用者介面元素，諸如切換元素、下拉式元素、選單選擇元素、二維或三維形狀、圖形輸入鍵或鍵盤、內容顯示窗口及其類似者。
本揭示描述用於識別使用者之手部與使用者介面元素（諸如使用者介面（user interface；UI）捏合元素）之互動且回應於此類互動而觸發或閘控圖形使用者介面元素之呈現之技術。在一些實例中，使用者可經由手勢或移動與此使用者介面捏合元素互動，該手勢或移動可包括手部之兩個手指聚集在一起及/或在使用者介面捏合元素附近形成捏合組態，繼之以在手部處於捏合組態時手部及/或手指之後續拉放運動。在一些實例中，圖形使用者介面元素之呈現之觸發或閘控可係回應於識別或偵測藉由使用者之手部在控制實體觸控筆時進行之特定動作或移動。
在一些實例中，回應於捏合及拉放手勢（或回應於觸控筆動作）而呈現之圖形使用者介面元素可呈現用於指定輸入之選項，其中該輸入可由使用者出於對人工實境環境之一或多個態樣作出調整之目的指定。在呈現圖形使用者介面元素之後，使用者之進一步移動可使得人工實境系統修改圖形使用者介面元素之外觀以指示調整（若經選擇）可能對人工實境環境具有之效果。在一些實例中，額外手勢或移動使得人工實境系統識別使用者之用於藉由圖形使用者介面元素呈現之調整或選項之選定輸入，且在此選擇後，將該輸入應用於人工實境環境。
本揭示之技術中之一些可提供特定技術改良及優點。舉例而言，本文中所描述之手勢及/或移動中之至少一些可提供觸覺回饋或觸感（亦即，「自觸感」）回饋之感測，其滿足一些使用者之在與使用者介面元素互動時對於實體回饋之一些感測之期望。另外，本文中所描述之手勢及/或移動中之至少一些可為能夠僅用單一手部進行之自然移動，且對許多使用者而言並無太多物理困難。此外，此類手勢及/或移動可能夠由頭戴式顯示器或由其他感測器或影像擷取裝置可靠地追蹤及/或辨識，此係由於此類手勢及/或移動可能易於自影像資料識別，且手勢及/或移動之影像可能不太易於受實體環境內之其他實體元素（例如使用者之另一手部）遮蔽或遮擋。
本揭示主要描述根據本揭示之一或多個態樣之藉由人工實境系統進行之操作。在一個具體實例中，本揭示描述一種方法，其包含：藉由影像擷取裝置擷取表示實體環境之影像資料；藉由頭戴式顯示器輸出人工實境內容；自該些影像資料識別手勢，該手勢包含來自手部之兩個手指形成捏合組態之運動及處於該捏合組態時之後續拉放運動；回應於識別該手勢而產生使用者介面輸入元素；及將該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上。
在另一具體實例中，本揭示描述一種方法，其包含：輸出人工實境內容；偵測觸控筆之移動；偵測觸控筆選擇動作；在偵測該觸控筆選擇動作之後，偵測該觸控筆之進一步移動；回應於偵測該觸控筆之移動而產生觸控筆移動內容；回應於偵測該觸控筆選擇動作而產生使用者介面輸入元素；將該觸控筆移動內容及該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上；及基於該觸控筆之該進一步移動來更新該觸控筆移動內容。
在另一具體實例中，本揭示描述一種方法，其：藉由影像擷取裝置擷取表示實體環境之影像資料；藉由頭戴式顯示器（HMD）輸出人工實境內容；自該些影像資料識別手勢，該手勢包含來自手部之兩個手指形成捏合組態之運動及處於該捏合組態時之後續拉放運動；回應於識別該手勢而產生使用者介面輸入元素；及將該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上。
在另一具體實例中，本揭示描述一種非暫時性電腦可讀取媒體，其包含用於使得人工實境系統之一或多個處理器進行操作之指令，該些操作包含：藉由影像擷取裝置擷取表示實體環境之影像資料；藉由頭戴式顯示器（HMD）輸出人工實境內容；自該些影像資料識別手勢，該手勢包含來自手部之兩個手指形成捏合組態之運動及處於該捏合組態時之後續拉放運動；回應於識別該手勢而產生使用者介面輸入元素；及將該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上。
在另一具體實例中，本揭示描述：輸出人工實境內容；偵測觸控筆之移動；偵測觸控筆選擇動作；在偵測該觸控筆選擇動作之後，偵測該觸控筆之進一步移動；回應於偵測該觸控筆之移動而產生觸控筆移動內容；回應於偵測該觸控筆選擇動作而產生使用者介面輸入元素；將該觸控筆移動內容及該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上；及基於該觸控筆之該進一步移動來更新該觸控筆移動內容。
在另一具體實例中，本揭示描述一種非暫時性電腦可讀取媒體，其包含用於使得人工實境系統之一或多個處理器進行操作之指令，該些操作包含：輸出人工實境內容；偵測觸控筆之移動；偵測觸控筆選擇動作；在偵測該觸控筆選擇動作之後，偵測該觸控筆之進一步移動；回應於偵測該觸控筆之移動而產生觸控筆移動內容；回應於偵測該觸控筆選擇動作而產生使用者介面輸入元素；將該觸控筆移動內容及該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上；及基於該觸控筆之該進一步移動來更新該觸控筆移動內容。
本揭示之技術之一或多個實例之細節闡述於隨附圖式及以下描述中。該些技術之其他特徵、目標及優點將自描述及圖式以及自申請專利範圍顯而易見。
圖1A為描繪根據本揭示之技術之呈現及控制人工實境環境內之使用者介面元素之實例人工實境系統10之說明。在一些實例實施方案中，人工實境系統10回應於由使用者110進行之一或多個偵測到之手勢而產生圖形使用者介面元素且將其成像給使用者110。亦即，如本文中所描述，人工實境系統10回應於偵測由使用者110進行之一或多個特定手勢（諸如使用者之手部、手指、拇指或手臂之特定運動、組態、方位及/或定向）而呈現一或多個圖形使用者介面元素124、126。在其他實例中，人工實境系統10呈現及控制專門設計用於人工實境環境內之使用者互動及操縱之使用者介面元素，諸如專用切換元素、下拉式元素、選單選擇元素、圖形輸入鍵或鍵盤、內容顯示窗口及其類似者。
在圖1A之實例中，人工實境系統10包括頭戴式裝置（head mounted device；HMD）112、控制台106及（在一些實例中）一或多個外部感測器90。如所展示，頭戴式顯示器112通常由使用者110穿戴且包括用於向使用者110呈現人工實境內容122之電子顯示器及光學總成。此外，頭戴式顯示器112包括用於追蹤頭戴式顯示器之運動之一或多個感測器（例如加速計），且可包括用於擷取周圍實體環境之影像資料之一或多個影像擷取裝置138，例如攝影機、線掃描器及其類似者。在此實例中，控制台106展示為單一計算裝置，諸如遊戲控制台、工作站、桌上型電腦或膝上型電腦。在其他實例中，控制台106可跨越諸如分散式計算網路、資料中心或雲端計算系統之複數個計算裝置而分佈。如此實例中所展示，控制台106、頭戴式顯示器112及感測器90可經由網路104以通信方式耦接，該網路104可為有線或無線網路，諸如WiFi、網狀網路或短程無線通信媒體。儘管頭戴式顯示器112在此實例中展示為與控制台106通信，例如系留至控制台106或與控制台106無線通信，但在一些實施方案中，頭戴式顯示器112操作為獨立之行動人工實境系統。
一般而言，人工實境系統10使用自真實世界之3D實體環境所擷取之資訊來成像人工實境內容122，以供向使用者110顯示。在圖1A之實例中，使用者110觀看藉由在控制台106及/或頭戴式顯示器112上執行之人工實境應用程式建構及成像之人工實境內容122。作為一個實例，人工實境內容122可為消費者遊戲應用程式，其中使用者110成像為具有一或多個虛擬物件128A、128B之化身120。在一些實例中，人工實境內容122可包含真實世界影像與虛擬物件之混合，例如混合實境及/或擴增實境。在其他實例中，人工實境內容122可為例如視訊會議應用程式、導航應用程式、教學應用程式、訓練或模擬應用程式，或實施人工實境之其他類型之應用程式。
在操作期間，人工實境應用程式藉由追蹤及計算參考座標（通常為頭戴式顯示器112之觀看視角）之姿勢資訊來建構人工實境內容122以供向使用者110顯示。使用頭戴式顯示器112作為參考座標且基於如藉由頭戴式顯示器112之當前所估計姿勢判定之當前視場130，人工實境應用程式成像3D人工實境內容，其在一些實例中可至少部分地覆蓋於使用者110之真實世界之3D實體環境上。在此過程期間，人工實境應用程式使用自頭戴式顯示器112接收到之感測到之資料（諸如移動資訊及使用者命令），且在一些實例中使用來自任何外部感測器90（諸如外部攝影機）之資料來擷取真實世界之實體環境內之3D資訊，諸如使用者110之運動及/或相對於使用者110之特徵追蹤資訊。基於感測到之資料，人工實境應用程式判定頭戴式顯示器112之參考座標之當前姿勢，且根據當前姿勢來成像人工實境內容122。
此外，根據本揭示之技術，基於感測到之資料，人工實境應用程式偵測由使用者110進行之手勢，且回應於偵測一或多個特定手勢而產生一或多個使用者介面元素，例如使用者介面選單124及使用者介面元素126，其可覆蓋於呈現給使用者之底層人工實境內容122上。就此而言，使用者介面元素124、126可視為在人工實境環境中呈現給使用者之人工實境內容122之部分。以此方式，人工實境系統10回應於偵測使用者110之一或多個特定手勢（諸如使用者之手部、手指、拇指或手臂之特定運動、組態、位置及/或定向）而動態地呈現一或多個圖形使用者介面元素124、126。使用者之手部之實例組態可包括拳頭、伸展之一或多個手指（digit）、手部之個別手指中之一或多者之相對及/或絕對位置及定向、手部之手掌之形狀等等。使用者介面元素可例如為：圖形使用者介面，諸如選單或子選單，使用者110與其互動以操作人工實境系統；或可由使用者110選擇及操縱之個別使用者介面元素，諸如切換元素、下拉式元素、選單選擇元素、二維或三維形狀、圖形輸入鍵或鍵盤、內容顯示窗口及其類似者。儘管描繪為例如二維元素，但使用者介面元素126可為二維或三維形狀，其可由進行手勢以在人工實境環境中平移、縮放及/或旋轉形狀之使用者操縱之二維或三維形狀。
此外，如本文中所描述，在一些實例中，人工實境系統10可回應於其他條件而觸發圖形使用者介面元素124、126之產生及成像，該些其他條件諸如由系統執行之一或多個應用程式之當前狀態，或實體環境中特定偵測到之手勢相對於使用者110之當前視場130（如可藉由使用者之即時視線追蹤判定）之位置及定向，或其他條件。
更具體而言，如本文中所進一步描述，頭戴式顯示器112之影像擷取裝置138擷取影像資料，該些影像資料表示真實世界之實體環境中之在影像擷取裝置138之視場130內之物件。視場130通常與頭戴式顯示器112之觀看視角一致。在諸如圖1A之所說明實例之一些實例中，人工實境應用程式將使用者110之手部132之在視場130內之部分成像為人工實境內容122內之虛擬手部136。在其他實例中，人工實境應用程式可在包含混合實境及/或擴增實境之人工實境內容122內呈現使用者110之手部132及/或手臂134之真實世界影像。在任一實例中，使用者110能夠將其手部132及/或手臂134在視場130內之部分作為人工實境內容122內之物件觀看。在其他實例中，人工實境應用程式可能根本不成像使用者之手部132或手臂134。
在操作期間，人工實境系統10可在藉由頭戴式顯示器112之影像擷取裝置138所擷取之影像資料內進行物件辨識以識別使用者110之手部132（視需要包括識別個別手指或拇指）及/或手臂134之全部或部分。另外，人工實境系統10可在滑動時間窗上追蹤手部132（視需要包括手部之特定手指）及/或手臂134之部分之位置、定向及組態。人工實境應用程式分析手部132及/或手臂134之部分之任何所追蹤之運動、組態、位置及/或定向，以識別由特定物件（例如使用者110之手部132（包括手部之特定手指）及/或手臂134之部分）進行之一或多個手勢。為了偵測手勢，人工實境應用程式可將手部132及/或手臂134之部分之運動、組態、位置及/或定向與儲存於人工實境系統10之手勢庫中之手勢定義進行比較，其中手勢庫中之每一手勢可各自映射至一或多個動作。在一些實例中，偵測移動可包括追蹤手部132之手指（個別手指及拇指）中之一或多者之位置，包括所定義組合之手指（諸如食指及拇指）中之任一者是否聚集在一起以在實體環境中觸控或近似觸控。在其他實例中，偵測移動可包括追蹤相對於頭戴式顯示器112之當前姿勢之手部132之定向（例如手指指向頭戴式顯示器112或遠離頭戴式顯示器112）及/或手臂134之定向（例如手臂之法線面朝頭戴式顯示器112）。手部132（或其一部分）之位置及定向可替代地稱為手部132（或其一部分）之姿勢。
此外，人工實境應用程式可分析手部132及/或手臂134之組態、位置及/或定向以識別手勢，該手勢包括手部132及/或手臂134在至少臨限時段內保持處於一或多個特定組態、位置及/或定向。作為實例，手部132及/或手臂134在至少可組態時段內在視場130內保持實質上靜止之一或多個特定位置可由人工實境系統10用作以下指示：使用者110嘗試進行意欲觸發人工實境應用程式之所要回應（諸如觸發特定類型之使用者介面元素124、126（諸如選單）之顯示）之手勢。作為另一實例，手部132之手指及/或手掌及/或手臂134在至少可組態時間段內保持於視場130內之一或多個特定組態可由人工實境系統10用作使用者110嘗試進行手勢之指示。儘管在圖1A中僅說明使用者110之右手132及右臂134，但在其他實例中，人工實境系統10可識別使用者110之左手及/或左臂，或使用者110之右手及左手兩者及/或右臂及左臂兩者。以此方式，人工實境系統10可偵測實體環境內之藉由任一手部進行之單手手勢、雙手手勢或基於手臂之手勢，且回應於偵測到之手勢而產生相關聯使用者介面元素。
根據本揭示之技術，人工實境應用程式判定所識別手勢是否對應於由控制台106及/或頭戴式顯示器112之手勢庫中之複數個條目中之一者定義之手勢。如下文更詳細地描述，手勢庫中之條目中之每一者可將不同手勢定義為使用者之手部、手指（手指或拇指）及/或手臂隨時間推移之特定運動、組態、位置及/或定向，或此類性質之組合。此外，所定義手勢中之每一者可與呈待由人工實境應用程式進行之一或多個動作形式之所要回應相關聯。作為一個實例，手勢庫中之所定義手勢中之一或多者可觸發待成像及覆蓋於人工實境內容122上之一或多個使用者介面元素（例如使用者介面選單124）之產生、變換及/或組態，其中手勢可定義人工實境內容122中之使用者介面選單124之方位及/或定向。作為另一實例，所定義手勢中之一或多者可指示使用者110與特定使用者介面元素之互動（例如使用者介面選單124之使用者介面元素126之選擇）以觸發對所呈現使用者介面之改變、所呈現使用者介面之子選單之呈現或其類似者。
如本文中所描述，頭戴式顯示器112或控制台106可偵測與呈現於人工實境內容122內之使用者介面元素之互動，且作為回應，呈現使得使用者能夠指定待由人工實境系統10處理之輸入之圖形使用者介面元素。舉例而言，參考圖1A，頭戴式顯示器112可偵測手部132之運動，且可進一步判定運動包括來自手部132之兩個手指在使用者介面捏合元素（其可為例如使用者介面元素126或另一使用者介面元素）附近形成捏合組態。頭戴式顯示器112亦可偵測手部132已在處於捏合組態時進行後續拉放運動。頭戴式顯示器112可基於偵測到之運動將包括圖形使用者介面元素之經更新之人工實境內容呈現給使用者110。
頭戴式顯示器112可偵測在手部132處於捏合組態時手部132之進一步移動，且可回應於進一步移動，回應於進一步移動而更新人工實境內容之圖形使用者介面元素及其他態樣。舉例而言，在使用者介面元素可表示簡單一維音訊音量控制之實例中，手部之進一步移動（亦即，在識別捏合及拉放手勢之後）可由頭戴式顯示器112解譯為用以調整（例如增大或減小）音訊音量之使用者輸入。在一些實例中，可在使用者之手部正在移動時調整音訊音量，從而向使用者與使用者介面元素之互動提供近乎即時之回應。因此，使用者可經由移動與使用者介面元素互動，且隨著彼等移動之進行，使用者可看到、聽到或感測此類互動如何改變人工實境環境。因此，此類互動可充當以亦可向使用者提供適當及/或有用回饋之方式向人工實境系統提供輸入之方式，使得使用者能夠以直觀及/或互動方式改變、修改或調整人工實境環境之態樣。
在其他實例中，在使用者介面捏合元素附近進行之捏合及拉放手勢可觸發其他類型之使用者介面元素之呈現，該些使用者介面元素諸如使得使用者能夠選擇數個離散輸入選項中之一者、沿連續值之標度選擇值、選擇色彩或選擇任何其他適當輸入值或輸入值集合之使用者介面元素。
在一些實例中，頭戴式顯示器112可替代地（或另外）回應於偵測使用實體觸控筆之使用者之手勢或互動而呈現使用者介面元素，或呈現藉由偵測使用實體觸控筆之使用者之手勢或互動觸發之使用者介面元素。一旦偵測到手勢或互動，則頭戴式顯示器112可偵測觸控筆之進一步移動，且回應於觸控筆之進一步移動而以類似於先前所描述實例之方式更新人工實境內容之使用者介面元素及其他態樣。舉例而言，回應於使用觸控筆之手勢或互動而呈現之圖形使用者介面元素亦可為音訊音量控制，且觸控筆之進一步移動可由頭戴式顯示器112解譯為用以調整（例如增大或減小）音訊音量之使用者輸入，如在先前實例中。因此，在此實例中，使用者可替代地經由觸控筆之移動與使用者介面元素互動，且作為回應，使用者可看到、聽到或感測此類互動如何改變人工實境環境。
因此，本揭示之技術藉由人工實境系統提供對成像及顯示內容之電腦相關領域之特定技術改良。舉例而言，如本文中所描述之人工實境系統可藉由基於由使用者進行之直觀而獨特之手勢之偵測來產生及成像覆蓋於人工實境內容上之使用者介面元素而向人工實境應用程式之使用者（諸如使用者110）提供高品質人工實境體驗。
另外，如本文中所描述之系統可被配置以基於經定義為避免追蹤遮擋之手部及手臂移動來偵測某些手勢。追蹤遮擋可發生在使用者之一個手部至少部分地重疊另一手部時，從而使得難以準確地追蹤每一手部上之個別手指（手指及拇指），以及每一手部之位置及定向。因此，如本文中所描述之系統可被配置以主要偵測基於單手或單臂之手勢。基於單手或單臂之手勢之使用可進一步向具有較大及精細運動技能限制之使用者提供增強之可行性。另外，如本文中所描述之系統可被配置以偵測基於雙手或雙臂之手勢，其中使用者之手部並不相互作用或彼此重疊。
此外，如本文中所描述之系統可被配置以偵測向使用者提供自觸感回饋之手勢。舉例而言，使用者之每一手部上之拇指及一或多個手指可在實體世界中觸控或近似觸控，作為指示與人工實境內容中之特定使用者介面元素之互動之預定義手勢之部分。使用者之手部之拇指與一或多個手指之間之觸控可為使用者提供在與實體使用者輸入物件（諸如實體鍵盤或其他實體輸入裝置上之按鈕）直接互動時由使用者所感覺到之感覺之模擬。
本揭示之技術中之一些可提供特定技術改良及優點。舉例而言，呈現於人工實境環境中之使用者介面選單及類似使用者介面元素通常為非有形的，且一些使用者可發現與虛擬使用者介面元素互動係不直觀的，此通常係由於使用手部或觸控筆與虛擬選單互動可能未提供任何觸覺回饋。另一方面，將手指移動至捏合組態中為提供觸感（亦即「自觸感」）回饋之感測之特定運動，此係由於使用者之手指聚集在一起，其自身提供一些觸覺回饋。此可在使用者正進行期望產生回應或對人工實境環境具有效果之動作（例如與使用者介面元素互動）時滿足使用者對於觸覺回饋之期望。
圖1B為描繪根據本揭示之技術之另一實例人工實境系統20之說明。類似於圖1A之人工實境系統10，在一些實例中，圖1B之人工實境系統20可呈現及控制專門設計用於人工實境環境內之使用者互動及操縱之使用者介面元素。在各種實例中，人工實境系統20亦可回應於使用者之一或多個特定手勢之偵測而產生某些圖形使用者介面元素且將其成像給使用者。
在圖1B之實例中，人工實境系統20包括外部攝影機102A及102B（統稱為「外部攝影機102」）、頭戴式顯示器112A至112C（統稱為「頭戴式顯示器112」）、控制器114A及114B（統稱為「控制器114」）、控制台106及感測器90。如圖1B中所展示，人工實境系統20表示多使用者環境，其中在控制台106及/或頭戴式顯示器112上執行之人工實境應用程式基於各別使用者之對應參考座標之當前觀看視角向使用者110A至110C（統稱為「使用者110」）中之每一者呈現人工實境內容。亦即，在此實例中，人工實境應用程式藉由追蹤及計算頭戴式顯示器112中之每一者之參考座標之姿勢資訊來建構人工內容。人工實境系統20使用自攝影機102、頭戴式顯示器112及控制器114接收到之資料來擷取真實世界環境內之3D資訊，諸如使用者110之運動及/或相對於使用者110及物件108之追蹤資訊，以用於計算頭戴式顯示器112之對應參考座標之經更新之姿勢資訊。作為一個實例，人工實境應用程式可基於針對頭戴式顯示器112C判定之當前觀看視角將具有虛擬物件128A至128C（統稱為「虛擬物件128」）之人工實境內容122成像為在空間上覆蓋於真實世界物件108A至108C（統稱為「真實世界物件108」）上。另外，自頭戴式顯示器112C之視角，人工實境系統20分別基於使用者110A、110B之所估計位置來成像化身120A、120B。
在一些實例中，頭戴式顯示器112中之每一者在人工實境系統20內同時操作。在圖1B之實例中，使用者110中之每一者可為人工實境應用程式中之「玩家」或「參與者」，且使用者110中之任一者可為人工實境應用程式中之「觀眾」或「觀察者」。頭戴式顯示器112C可藉由追蹤使用者110C之手部132及/或手臂134且將手部132在視場130內之部分成像為人工實境內容122內之虛擬手部136來實質上類似於圖1A之頭戴式顯示器112各自操作。頭戴式顯示器112B可自由使用者110B固持之控制器114接收使用者輸入。頭戴式顯示器112A亦可藉由追蹤使用者110A之手部132A、132B之移動來實質上類似於圖1A之頭戴式顯示器112操作且接收使用者輸入。頭戴式顯示器112B可自由使用者110B固持之控制器114接收使用者輸入。控制器114可使用諸如藍芽（Bluetooth）之短程無線通信之近場通信、使用有線通信鏈路或使用另一類型之通信鏈路來與頭戴式顯示器112B通信。
以類似於上文相對於圖1A所論述之實例之方式，人工實境系統20之控制台106及/或頭戴式顯示器112C產生及成像使用者介面元素124、126，其可覆蓋於向使用者110C顯示之人工實境內容122上。此外，控制台106及/或頭戴式顯示器112C可基於經由姿勢追蹤對由使用者110C進行之直觀而獨特之手勢之偵測來觸發使用者介面元素124、126之產生及動態顯示。舉例而言，人工實境系統20可回應於偵測使用者110C之一或多個特定手勢而動態地呈現一或多個圖形使用者介面元素124、126，該些特定手勢諸如使用者之手部、手指、拇指或手臂之特定運動、組態、位置及/或定向。如圖1B中所展示，除了經由頭戴式顯示器112C之攝影機138所擷取之影像資料以外，來自外部攝影機102之輸入資料亦可用於追蹤及偵測使用者110之手部及手臂（諸如使用者110C之手部132）之特定運動組態、位置及/或定向，包括手部之手指（手指、拇指）中之個別者及/或組合之移動
如本文中所描述，且參考圖1B，頭戴式顯示器112A、112B及112C中之任一者可偵測與呈現於彼等頭戴式顯示器內之顯示器處之使用者介面元素之互動，且作為回應，呈現使得使用者能夠指定待由人工實境系統20處理之輸入之圖形使用者介面元素。舉例而言，頭戴式顯示器112C（或控制台106）可偵測手部132之運動，且可進一步判定運動包括來自手部132之兩個手指在使用者介面捏合元素附近形成捏合組態。頭戴式顯示器112C亦可偵測手部132已在處於捏合組態時進行後續拉放運動。作為回應，頭戴式顯示器112C可向使用者110呈現經更新之人工實境內容，該經更新之人工實境內容包括使得使用者110C能夠以類似於圖1A中所描述且如下文進一步描述之方式向人工實境系統20提供輸入之使用者介面元素。
圖2為描繪被配置以根據本揭示之技術來操作之實例頭戴式顯示器112之說明。圖2之頭戴式顯示器112可為圖1A及1B之頭戴式顯示器112中之任一者之實例。頭戴式顯示器112可為人工實境系統（諸如圖1A、1B之人工實境系統10、20）之部分，或可操作為被配置以實施本文中所描述之技術之獨立之行動人工實境系統。
在此實例中，頭戴式顯示器112包括用於將頭戴式顯示器112固定至使用者之前剛體及帶。此外，頭戴式顯示器112包括被配置以將人工實境內容呈現給使用者之內向電子顯示器203。電子顯示器203可為任何合適之顯示器技術，諸如液晶顯示器（liquid crystal display；LCD）、量子點顯示器、點矩陣顯示器、發光二極體（light emitting diode；LED）顯示器、有機發光二極體（organic light-emitting diode；OLED）顯示器、陰極射線管（cathode ray tube；CRT）顯示器、電子墨水或單色顯示器、彩色顯示器，或能夠產生視覺輸出之任何其他類型之顯示器。在一些實例中，電子顯示器為用於向使用者之每一眼睛提供單獨影像之戴眼鏡式立體顯示器。在一些實例中，當追蹤頭戴式顯示器112之位置及定向以用於根據頭戴式顯示器112及使用者之當前觀看視角來成像人工實境內容時，將顯示器203相對於頭戴式顯示器112之前剛體之已知定向及位置用作參考座標，亦稱為本端原點。在其他實例中，頭戴式顯示器可呈其他可穿戴頭戴式顯示器形式，諸如眼鏡。
如圖2中所進一步展示，在此實例中，頭戴式顯示器112進一步包括：一或多個運動感測器206，諸如一或多個加速計（亦稱為慣性量測單元或「IMU」），其輸出指示頭戴式顯示器112之當前加速度之資料；GPS感測器，其輸出指示頭戴式顯示器112之方位之資料；雷達或聲納，其輸出指示頭戴式顯示器112與各種物件之距離之資料；或其他感測器，其提供實體環境內之頭戴式顯示器112或其他物件之方位或定向之指示。此外，頭戴式顯示器112可包括積體影像擷取裝置138A及138B（統稱為「影像擷取裝置138」），諸如視訊攝影機、雷射掃描器、都卜勒（Doppler）雷達掃描器、深度掃描器或其類似者，其被配置以輸出表示實體環境之影像資料。更具體而言，影像擷取裝置138擷取表示實體環境中之在影像擷取裝置138之視場130A、130B內之物件之影像資料，該視場130A、130B通常與頭戴式顯示器112之觀看視角一致。頭戴式顯示器112包括內部控制單元210，其可包括內部電源及具有一或多個處理器、記憶體及硬體之一或多個印刷電路板，以提供用於執行可程式化的操作以處理感測到之資料且在顯示器203上呈現人工實境內容之操作環境。
在一個實例中，根據本文中所描述之技術，控制單元210被配置以基於感測到之資料來識別由使用者進行之特定手勢或手勢組合，且作為回應而進行動作。舉例而言，回應於一個所識別手勢，控制單元210可產生及成像覆蓋於人工實境內容上之特定使用者介面元素以供顯示於電子顯示器203上。如本文中所解釋，根據本揭示之技術，控制單元210可在藉由影像擷取裝置138所擷取之影像資料內進行物件辨識，以識別使用者之手部132、手指、拇指、手臂或另一部分且追蹤所識別部分之移動以識別由使用者進行之預定義手勢。回應於識別預定義手勢，控制單元210採取一些動作，諸如自與使用者介面元素相關聯之選項集合選擇選項、將手勢轉換成輸入（例如字元）、啟動應用程式或以其他方式顯示內容，及其類似者。在一些實例中，控制單元210回應於偵測指定為用於顯露使用者介面之「觸發」之預定義手勢而動態地產生及呈現使用者介面元素，諸如選單。在其他實例中，控制單元210回應於來自可進行物件辨識、運動追蹤及手勢偵測或其任何部分之控制台106之外部裝置之方向而進行此類功能。
如本文中所描述，頭戴式顯示器112可偵測對應於來自手部132之兩個手指在另一使用者介面元素（例如使用者介面捏合元素，圖2中未展示）附近形成捏合組態之手部132之運動。頭戴式顯示器112亦可偵測手部132在處於捏合組態時正進行後續拉放運動（例如朝向圖2中之頭戴式顯示器112）。在一些實例中，頭戴式顯示器112可將此運動解譯為頭戴式顯示器112之使用者對呈現圖形使用者介面元素之請求，其可回應於手部132之進一步移動而使得使用者能夠提供輸入。
圖3為展示圖1A、1B之人工實境系統10、20之控制台106及頭戴式顯示器112之實例實施方案之方塊圖。在圖3之實例中，控制台106基於感測到之資料（諸如自頭戴式顯示器112及/或外部感測器接收到之運動資料及影像資料）根據本文中所描述之技術來針對頭戴式顯示器112進行姿勢追蹤、手勢偵測及使用者介面產生及成像。
在此實例中，頭戴式顯示器112包括一或多個處理器302及記憶體304，在一些實例中，該些處理器302及記憶體304提供用於執行操作系統305之電腦平台，該操作系統305可為例如嵌入式、即時多任務操作系統或其他類型之操作系統。繼而，操作系統305提供用於執行一或多個軟體組件307（包括應用程式引擎340）之多任務操作環境。如相對於圖2之實例所論述，處理器302耦接至電子顯示器203、運動感測器206及影像擷取裝置138。在一些實例中，處理器302及記憶體304可為單獨之離散組件。在其他實例中，記憶體304可為與處理器302同置於單一積體電路內之晶載記憶體。
一般而言，控制台106為計算裝置，其處理自攝影機102（圖1B）及/或頭戴式顯示器112接收到之影像及追蹤資訊以針對頭戴式顯示器112進行手勢偵測及使用者介面產生。在一些實例中，控制台106為單一計算裝置，諸如工作站、桌上型電腦、膝上型電腦或遊戲系統。在一些實例中，諸如處理器312及/或記憶體314之控制台106之至少一部分可跨越雲端計算系統、資料中心或跨越網路而分佈，該網路諸如網際網路、另一公用或專用通信網路，例如寬頻、蜂巢式、Wi-Fi及/或用於在計算系統、伺服器及計算裝置之間傳輸資料之其他類型之通信網路。
在圖3之實例中，控制台106包括一或多個處理器312及記憶體314，在一些實例中，該些處理器312及記憶體314提供用於執行操作系統316之電腦平台，該操作系統316可為例如嵌入式、即時多任務操作系統或其他類型之操作系統。繼而，操作系統316提供用於執行一或多個軟體組件317之多任務操作環境。處理器312耦接至一或多個I/O介面315，其提供用於與諸如鍵盤、遊戲控制器、顯示裝置、影像擷取裝置、頭戴式顯示器及其類似者之外部裝置通信之一或多個I/O介面。此外，一或多個I/O介面315可包括用於與諸如網路104之網路通信之一或多個有線或無線網路介面控制器（network interface controller；NIC）。處理器302、312中之每一者可包含多核心處理器、控制器、數位信號處理器（digital signal processor；DSP）、特殊應用積體電路（application specific integrated circuit；ASIC）、現場可程式閘陣列（field-programmable gate array；FPGA），或等效離散或積體邏輯電路系統中之任何一或多者。記憶體304、314可包含用於儲存資料及可執行軟體指令之任何形式之記憶體，諸如隨機存取記憶體（random-access memory；RAM）、唯讀記憶體（read only memory；ROM）、可程式唯讀記憶體（programmable read only memory；PROM）、可抹除可程式唯讀記憶體（erasable programmable read only memory；EPROM）、電子可抹除可程式唯讀記憶體（electronically erasable programmable read only memory；EEPROM）及快閃記憶體。
控制台106之軟體應用程式317操作以提供整個人工實境應用程式。在此實例中，軟體應用程式317包括應用程式引擎320、成像引擎322、手勢偵測器324、姿勢追蹤器326及使用者介面引擎328。
一般而言，應用程式引擎320包括用以提供及呈現例如下述者之人工實境應用程式之功能性：電話會議應用程式、遊戲應用程式、導航應用程式、教學應用程式、訓練或模擬應用程式，及其類似者。應用程式引擎320可包括例如用於在控制台106上實施人工實境應用程式之一或多個套裝軟體、軟體庫、硬體驅動程式及/或應用程式介面（Application Program Interface；API）。回應於受應用程式引擎320控制，成像引擎322產生3D人工實境內容以供藉由頭戴式顯示器112之應用程式引擎340輸出及/或呈現（例如經由頭戴式顯示器112之顯示、聲音、觸覺回饋或以其他方式）給使用者。
應用程式引擎320及成像引擎322根據如藉由姿勢追蹤器326判定之參考座標（通常為頭戴式顯示器112之觀看視角）之當前姿勢資訊來建構人工內容以供顯示及/或呈現給使用者110。基於當前觀看視角，成像引擎322建構3D人工實境內容，其在一些情況下可至少部分地覆蓋於使用者110之真實世界3D環境上。在此過程期間，姿勢追蹤器326對自頭戴式顯示器112接收到之感測到之資料（諸如移動資訊及使用者命令）進行操作，且在一些實例中對來自諸如外部攝影機之任何外部感測器90（圖1A、1B）之資料進行操作，以擷取真實世界環境內之3D資訊，諸如使用者110之運動及/或相對於使用者110之特徵追蹤資訊。基於感測到之資料，姿勢追蹤器326判定頭戴式顯示器112之參考座標之當前姿勢，且根據當前姿勢來建構人工實境內容以用於經由一或多個I/O介面315傳達至頭戴式顯示器112，以供向使用者110顯示。
此外，基於感測到之資料，手勢偵測器324分析使用者之物件（例如手部、手臂、手腕、手指、手掌、拇指）之所追蹤運動、組態、位置及/或定向以識別由使用者110進行之一或多個手勢。更具體而言，手勢偵測器324分析在藉由頭戴式顯示器112之影像擷取裝置138及/或感測器90及外部攝影機102所擷取之影像資料內所辨識之物件，以識別使用者110之手部及/或手臂且追蹤手部及/或手臂相對於頭戴式顯示器112之移動以識別由使用者110進行之手勢。手勢偵測器324可基於所擷取之影像資料來追蹤移動，包括手部、手指及/或手臂之位置及定向之改變，且將物件之運動向量與手勢庫330中之一或多個條目進行比較以偵測由使用者110進行之手勢或手勢組合。手勢庫330中之一些條目可各自將手勢定義為一系列運動圖案，諸如使用者之手部、特定手指、拇指、手腕及/或手臂之相對路徑或空間平移及旋轉。手勢庫330中之一些條目可各自將手勢定義為使用者之手部及/或手臂（或其部分）在特定時間或在一段時間內之組態、位置及/或定向。手勢類型之其他實例係可能的。此外，手勢庫330中之條目中之每一者可針對所定義手勢或一系列手勢指定該手勢或一系列手勢觸發動作所需之條件，諸如與頭戴式顯示器112之當前視場之空間關係、與當前由使用者觀察到之特定區之空間關係（如可藉由個人之即時視線追蹤判定）、所顯示之人工內容之類型、所執行之應用程式之類型及其類似者。
手勢庫330中之條目中之每一者進一步可針對所定義手勢中之每一者或手勢組合/一系列手勢指定待由軟體應用程式317進行之所要回應或動作。舉例而言，根據本發明之技術，某些專用手勢可經預定義，使得回應於偵測預定義手勢中之一者，使用者介面引擎328將使用者介面動態地產生為覆蓋在向使用者顯示之人工實境內容之上，藉此允許使用者110易於調用使用者介面以用於組態頭戴式顯示器112及/或控制台106，即使在與人工實境內容互動時亦是如此。在其他實例中，某些手勢可與其他動作相關聯，諸如提供輸入、選擇物件、啟動應用程式及其類似者。
圖4為描繪根據本揭示之技術之藉由圖1A、1B之人工實境系統之頭戴式顯示器112進行手勢偵測及使用者介面產生之實例之方塊圖。
在此實例中，類似於圖3，頭戴式顯示器112包括一或多個處理器302及記憶體304，在一些實例中，該些處理器302及記憶體304提供用於執行操作系統305之電腦平台，該操作系統305可為例如嵌入式、即時多任務操作系統或其他類型之操作系統。繼而，操作系統305提供用於執行一或多個軟體組件417之多任務操作環境。此外，處理器302耦接至電子顯示器203、運動感測器206及影像擷取裝置138。
在圖4之實例中，軟體組件417操作以提供整個人工實境應用程式。在此實例中，軟體應用程式417包括應用程式引擎440、成像引擎422、手勢偵測器424、姿勢追蹤器426及使用者介面引擎428。在各種實例中，軟體組件417類似於圖3之控制台106之對應組件（例如應用程式引擎320、成像引擎322、手勢偵測器324、姿勢追蹤器326及使用者介面引擎328）而操作以根據偵測到之使用者110之手勢來建構覆蓋於人工內容上或作為人工內容之部分之使用者介面元素以供向使用者110顯示。在一些實例中，成像引擎422建構3D人工實境內容，其可至少部分地覆蓋於使用者110之真實世界之實體環境上。
類似於相對於圖3所描述之實例，基於感測到之資料，手勢偵測器424分析使用者之物件（例如手部、手臂、手腕、手指、手掌、拇指）之所追蹤運動、組態、位置及/或定向以識別由使用者110進行之一或多個手勢。根據本揭示之技術，使用者介面引擎428將使用者介面元素產生為待向使用者110顯示之人工實境內容之部分（例如覆蓋於該人工實境內容上），及/或基於藉由手勢偵測器424偵測到之使用者110之一或多個手勢或手勢組合來進行動作。更具體而言，手勢偵測器424分析在藉由頭戴式顯示器112之影像擷取裝置138及/或感測器90或外部攝影機102所擷取之影像資料內所辨識之物件，以識別使用者110之手部及/或手臂且追蹤手部及/或手臂相對於頭戴式顯示器112之移動以識別由使用者110進行之手勢。手勢偵測器424可基於所擷取之影像資料來追蹤移動，包括手部、手指及/或手臂之位置及定向之改變，且將物件之運動向量與手勢庫430中之一或多個條目進行比較以偵測由使用者110進行之手勢或手勢之組合。
手勢庫430類似於圖3之手勢庫330。手勢庫430中之條目中之每一者可針對所定義手勢或一系列手勢指定手勢觸發動作所需之條件，諸如與頭戴式顯示器112之當前視場之空間關係、與當前由使用者觀察到之特定區之空間關係（如可藉由個人之即時視線追蹤判定）、所顯示之人工內容之類型、所執行之應用程式之類型及其類似者。
回應於偵測匹配手勢或手勢組合，頭戴式顯示器112進行指派給手勢庫430中之匹配條目之回應或動作。舉例而言，根據本發明之技術，某些專用手勢可經預定義，使得回應於手勢偵測器424偵測預定義手勢中之一者，使用者介面引擎428將使用者介面動態地產生為覆蓋在向使用者顯示之人工實境內容之上，藉此允許使用者110易於調用使用者介面以用於組態頭戴式顯示器112，即使在觀看人工實境內容時亦是如此。在其他實例中，回應於手勢偵測器424偵測預定義手勢中之一者，使用者介面引擎428及/或應用程式引擎440可接收輸入、選擇與使用者介面元素相關聯之值或參數、啟動應用程式、修改可組態設定、發送訊息、開始或停止過程，或進行其他動作。
圖5A、圖5B及圖5C說明根據本揭示之一或多個態樣之回應於由頭戴式顯示器112之使用者進行之捏合及拉放手勢而在人工實境顯示器處呈現之人工實境內容之實例順序。圖5A、圖5B及圖5C分別說明人工實境內容522A、人工實境內容522B及人工實境內容522C（通常作為「人工實境內容522」提及）。在每一情況下，人工實境內容522包括與使用者介面捏合元素562互動之虛擬手部136，其定位於使用者介面面板560附近或距使用者介面面板560不同距離處。本文中對手部132之提及對應於實體手部（其對應於虛擬手部136），且在該意義上，手部132與虛擬手部136可彼此對應；在適當時，可在本文中可互換地提及手部132與虛擬手部136。此外，下文主要參考圖4之方塊圖來描述參考圖5A、圖5B及圖5C所描述之操作。然而，可藉由圖3之對應組件、模組及/或元件以對應方式進行此類操作。因此，應理解，在本文中描述為由頭戴式顯示器112進行之操作可在其他實例中由其他裝置或系統（包括例如控制台106（例如在對應於圖3之實例中））進行。
在圖5A之實例中，且根據本揭示之一或多個態樣，頭戴式顯示器112可呈現人工實境內容522A。舉例而言，參考可描述於圖4之上下文中之實例，姿勢追蹤器426偵測諸如來自感測器90（見例如圖1A）之移動資訊及資料。姿勢追蹤器426將姿勢資訊輸出至成像引擎422。成像引擎422基於偵測到之輸入且基於如藉由姿勢追蹤器426所判定之人工實境內容122之觀看視角來建構人工實境內容522A，成像引擎422使得應用程式引擎440輸出人工實境內容522A以供以圖5A中所說明之方式顯示及/或呈現。人工實境內容522A可呈現於頭戴式顯示器112內之顯示器處，該顯示器例如諸如圖2、圖3及/或圖4中所說明之顯示器203。
在圖5A中，使用者介面捏合元素562可初始地定位於使用者介面捏合元素默認位置561處。手部132（或作為手部132之表示之虛擬手部136）展示為定位於使用者介面捏合元素默認位置561之附近。
圖5B說明可藉由頭戴式顯示器112回應於手部132之移動而呈現之經更新之人工實境內容522B之實例。舉例而言，參考圖4及圖5A，手勢偵測器424諸如自影像擷取裝置138、攝影機102及/或感測器90中之一或多者偵測輸入。手勢偵測器424基於輸入來判定關於手部132之運動之資訊。手勢偵測器424進一步判定手部132之運動包括來自手部132之兩個手指在使用者介面捏合元素562附近形成捏合組態，該使用者介面捏合元素562在圖5A中位於使用者介面捏合元素默認位置561處。手勢偵測器424判定手部132在捏合組態下已保持之時間量。手勢偵測器424將關於與使用者介面捏合元素562相關聯之捏合組態之資訊輸出至成像引擎422。手勢偵測器424進一步判定手部132已在處於捏合組態時進行後續拉放運動。手勢偵測器424將關於拉放運動之資訊輸出至成像引擎422。成像引擎422更新人工實境內容522A，使得使用者介面捏合元素562以與關於自手勢偵測器424接收到之拉放運動之資訊一致之方式移動。此外，成像引擎422更新人工實境內容522A以產生人工實境內容522B。成像引擎422使得應用程式引擎440以圖5B中所說明之方式在顯示器203處呈現人工實境內容。
在圖5B中，人工實境內容522B對應於在以所描述之方式回應於手部132之移動而經更新之後之人工實境內容522A。舉例而言，使用者介面捏合元素562展示為自使用者介面捏合元素默認位置561移動一距離。人工實境內容522B說明使用者介面捏合元素默認位置561與使用者介面捏合元素562之新位置之間之使用者介面串元素564，藉此提供使用者介面捏合元素562相對於使用者介面捏合元素默認位置561之距離及空間方位之視覺指示。距離565B表示藉由手部132進行之拉放運動之距離，且具有近似等於使用者介面串元素564之長度。在一些實例中，手勢偵測器424可能要求手部132之拉放運動在手部132處於捏合組態時足以（例如長度或距離足以）超過臨限距離，以便有資格作為捏合及拉放手勢。換言之，如圖5B中所說明之（例如對應於距離565B之）移動可能不足以有資格作為捏合及拉放手勢。
圖5C說明可藉由頭戴式顯示器112回應於手部132之進一步移動而呈現之經更新之人工實境內容之實例。舉例而言，參考圖5B及圖4，手勢偵測器424偵測進一步輸入。手勢偵測器424分析輸入且基於輸入來判定仍處於捏合組態之手部132已充分移動以對應於捏合及拉放手勢。手勢偵測器424將關於偵測到之捏合及拉放手勢之資訊輸出至使用者介面引擎428。使用者介面引擎428使得成像引擎422產生人工實境內容522C，從而說明更長之使用者介面串元素564。成像引擎422使得應用程式引擎440以圖5C中所說明之方式在顯示器203處呈現人工實境內容522C。
在圖5C中，距離565C長於距離565B（圖5B中所展示）。在圖5C之實例中，距離565C可足夠長以有資格作為捏合及拉放手勢，而圖5B中所說明之手部132（或虛擬手部136）之移動可能不夠。在一些實例中，且如本文中所進一步描述，有資格作為捏合及拉放手勢之移動可觸發或閘控頭戴式顯示器112之進一步操作，包括但不限於使用者介面元素或進一步人工實境內容之顯示。
圖6A、圖6B及圖6C說明根據本揭示之一或多個態樣之包括回應於由頭戴式顯示器112之使用者進行之捏合及拉放手勢而在顯示器處呈現之實例一維浮動塊使用者介面元素之人工實境內容之順序。圖6A、圖6B及圖6C分別說明人工實境內容610A、人工實境內容610B及人工實境內容610C。人工實境內容之每一情況包括虛擬手部136及距使用者介面面板560不同距離處之使用者介面捏合元素562。在圖6A中，使用者介面捏合元素562定位於使用者介面捏合元素默認位置561處。
在圖6A之實例中，根據本揭示之一或多個態樣，頭戴式顯示器112可呈現人工實境內容610A。舉例而言，參考可描述於圖4之上下文中之實例，姿勢追蹤器426偵測諸如來自感測器90之移動資訊及資料。姿勢追蹤器426將姿勢資訊輸出至成像引擎422，且成像引擎422基於偵測到之輸入且基於如藉由姿勢追蹤器426所判定之人工實境內容122之觀看視角來建構人工實境內容610A。成像引擎422使得應用程式引擎440輸出人工實境內容610A以供以圖6A中所說明之方式顯示及/或呈現。人工實境內容610A可呈現於頭戴式顯示器112內之顯示器處，該顯示器例如諸如圖2中所說明之顯示器203。
圖6B說明可藉由頭戴式顯示器112回應於手部132之捏合及拉放移動而呈現之實例一維浮動塊使用者介面元素。舉例而言，參考圖4及圖6A，手勢偵測器424諸如自影像擷取裝置138、攝影機102及/或感測器90中之一或多者偵測輸入。手勢偵測器424基於輸入來判定手部132已移動，使得來自手部132之兩個手指在使用者介面捏合元素562附近形成捏合組態。手勢偵測器424判定手部132已在處於捏合組態時進行後續拉放運動。手勢偵測器424判定偵測運動有資格作為捏合及拉放手勢，如結合圖5A、圖5B及圖5C所描述。成像引擎422更新人工實境內容610A以產生人工實境內容610B，從而反映手部132之移動。成像引擎422使得應用程式引擎440以圖6B中所說明之方式在顯示器處呈現人工實境內容610B。
在圖6B中，人工實境內容610B包括使用者介面輸入元素，其在圖6B之實例中為一維浮動塊使用者介面元素612。在所描述之實例中，浮動塊使用者介面元素612回應於由手勢偵測器424偵測到之捏合及拉放手勢而呈現。人工實境內容610B包括反映在手部132處於捏合組態之後對應於手部132之移動之距離之使用者介面串元素564。環繞使用者介面捏合元素562之圓613為一維浮動塊使用者介面元素612之部分，且圓613圍繞使用者介面捏合元素562之直徑可轉換成連續（亦即，非離散）輸入值。在一些實例中，輸入值可替代地對應於使用者介面串元素564之長度，從而表示使用者介面捏合元素默認位置561與使用者介面捏合元素562之間之距離。在任一情況下，由一維浮動塊使用者介面元素612表示之輸入值可對應於用於音訊音量控制之輸入、用於視覺變焦值之輸入，或可由一維連續變數表示之任何其他輸入。
圖6C說明可藉由頭戴式顯示器112回應於手部132之進一步移動而呈現之經更新之人工實境內容之實例。舉例而言，參考圖6B及圖4，手勢偵測器424偵測進一步輸入。手勢偵測器424分析輸入且基於輸入來判定手部132在仍處於捏合組態時已自使用者介面捏合元素默認位置561拉放更遠。手勢偵測器424將關於額外移動之資訊輸出至使用者介面引擎428。成像引擎422更新人工實境內容610B以產生人工實境內容610C，從而說明更長之使用者介面串元素564及圍繞使用者介面捏合元素562之更大直徑之圓613。成像引擎422使得應用程式引擎440以圖6C中所說明之方式在顯示器處呈現人工實境內容610C。
在圖6C中，一維浮動塊使用者介面元素612經更新，使得圓613具有比在圖6B中更大之直徑及/或更長之使用者介面串元素564。由經更新之圓613表示之更大值可表示及/或對應於經更新之更大輸入值。
頭戴式顯示器112可偵測識別使用者之選定輸入之移動。舉例而言，在一些實例中，且參考圖4及圖6C，手勢偵測器424偵測進一步輸入。手勢偵測器424判定輸入對應於對應於釋放使用者介面捏合元素562之運動之移動分開之手部132之捏合手指。手勢偵測器424將關於釋放運動之資訊輸出至使用者介面引擎428。使用者介面引擎428基於在偵測到釋放運動時使用者介面串元素564之位置來判定對應於由頭戴式顯示器112之使用者選擇之輸入值之選定輸入值。在一些實例中，選定輸入值對應於一值，該值對應於在手部132釋放使用者介面捏合元素562之前一維浮動塊使用者介面元素612之最末狀態。使用者介面引擎428將關於選定輸入值之資訊輸出至應用程式引擎440。應用程式引擎440以與選定輸入值一致之方式更新環境。如何更新環境可取決於與何種一維浮動塊使用者介面元素612相關聯。在一些實例中，一維浮動塊使用者介面元素612可用於調整音訊音量、亮度或人工實境環境之任何其他適當屬性。
頭戴式顯示器112可更新人工實境內容610C以移除一維浮動塊使用者介面元素612。舉例而言，參考圖4及圖6C，使用者介面引擎428告知成像引擎422手部132已釋放使用者介面捏合元素562。成像引擎422產生人工實境內容610C之經更新之版本，自人工實境內容610C移除一維浮動塊使用者介面元素612，且將使用者介面捏合元素562復原至使用者介面捏合元素默認位置561（見例如圖6A）。成像引擎422使得應用程式引擎440在與頭戴式顯示器112相關聯之顯示器處呈現經更新之人工實境內容610C。
在所描述之實例中，頭戴式顯示器112在偵測手部132之捏合手指已移動分開時識別使用者之選定輸入。此運動可大體上對應於釋放使用者介面捏合元素562之運動，從而指示應終止與一維浮動塊使用者介面元素612之互動。然而，在其他實例中，頭戴式顯示器112可以另一方式識別使用者之選定輸入，包括但不限於識別手部132之不同運動、涉及手部132之不同手勢，或手部132之或手臂134之任何其他運動。
圖7A及圖7B說明根據本揭示之一或多個態樣之包括回應於由頭戴式顯示器112之使用者進行之捏合及拉放手勢而在顯示器處呈現之實例開關使用者介面元素（亦即，使用者介面輸入元素）之人工實境內容之順序。圖7A及圖7B分別說明人工實境內容620A及人工實境內容620B。人工實境內容620之每一情況在已辨識捏合及拉放手勢之後包括使用者介面捏合元素562、使用者介面串元素564及虛擬手部136。
在圖7A之實例中，根據本揭示之一或多個態樣，頭戴式顯示器112可呈現人工實境內容620A內之開關使用者介面元素622。舉例而言，參考圖4及圖7A，手勢偵測器424偵測使用者介面捏合元素默認位置561附近之手部132之捏合組態，隨後偵測手部132之拉放運動。手勢偵測器424判定手部132之移動對應於捏合及拉放手勢。成像引擎422建構包括開關使用者介面元素622之人工實境內容620A。成像引擎422使得應用程式引擎440輸出人工實境內容620A以供以圖7A中所說明之方式顯示及/或呈現。
在圖7A中，人工實境內容620A包括開關使用者介面元素622，其包括第一開關位置623及第二開關位置624。使用者介面串元素564與開關使用者介面元素622相交，且在圖7A中所展示之實例中，使用者介面串元素564在開關位置623內與開關使用者介面元素622相交。手勢偵測器424基於使用者介面捏合元素562之位置及使用者介面串元素564在開關使用者介面元素622中之相交點來判定藉由手部132之使用者定位選擇開關位置623亦或開關位置624。在7A之實例中，由於使用者介面串元素564與開關位置623相交，故成像引擎422將手部132之位置及移動解譯為對應於第一開關位置。
圖7B說明可藉由頭戴式顯示器112回應於手部132之進一步移動而呈現之經更新之人工實境內容之實例。舉例而言，參考圖7A及圖4，手勢偵測器424偵測手勢偵測器424判定對應於手部132之平移移動更低之進一步輸入。手勢偵測器424將資訊輸出至使用者介面引擎428，且使用者介面引擎428判定移動使得使用者介面串元素564與開關位置624相交。使用者介面引擎428判定手部132之位置及移動對應於開關位置624之選擇。成像引擎422更新人工實境內容620A以產生人工實境內容620B，從而反映使用者介面串元素564與開關位置624相交。成像引擎422使得應用程式引擎440輸出人工實境內容620B以供以圖7B中所說明之方式顯示。
在圖7B中，使用者介面捏合元素562已由手部132定位，使得使用者介面串元素564與開關位置624而非開關位置623相交，藉此對應於開關使用者介面元素622之切換。在一些實例中，成像引擎422可將使用者介面捏合元素562更新為不同色彩、陰影或圖案，以反映開關使用者介面元素622之切換或對應於開關使用者介面元素622之新值。舉例而言，使用者介面捏合元素562之色彩可改變為類似於對應於開關位置624之區之色彩或與對應於開關位置624之區之色彩相同。
圖7C為說明捏合及拉放手勢相對於開關使用者介面元素之二維表示之概念圖。圖7C大體上對應於如圖7A中所說明之開關使用者介面元素622，從而展示處於「提起（picked up）」或「拉放」狀態之使用者介面捏合元素562。圖7C說明與圖7A中之使用者介面面板560正交之平面中之相對距離及空間方位。在圖7A之實例中，開關使用者介面元素622可平行於使用者介面面板560，因此開關使用者介面元素622（與使用者介面面板560相似）亦展示為與圖7C中所說明之平面正交。在圖7C中，利用延伸於使用者介面捏合元素默認位置561與使用者介面捏合元素562之間之使用者介面串元素564來說明使用者介面捏合元素默認位置561及使用者介面捏合元素562。在一些實例中，使用者介面捏合元素默認位置561不是恰好定位於使用者介面面板560處，而是以圖7C中所展示之方式距使用者介面面板560微小距離定位。在使用者介面面板560與使用者介面捏合元素默認位置561之間提供此距離使得使用者能夠藉由到達使用者介面捏合元素562之略微後方來使抓握或捏合（在定位於使用者介面捏合元素默認位置561處時之）使用者介面捏合元素562視覺化。
在圖7C之實例中，使用者介面串元素564在開關位置623內與開關使用者介面元素622相交，從而對應於圖7A中所說明之切換位置。如所說明，開關使用者介面元素622定位於使用者介面捏合元素默認位置561與使用者介面捏合元素562之間，且開關使用者介面元素622之位置可對應於可能為拉放使用者介面捏合元素562以便有資格作為足以觸發捏合及拉放手勢之拉放運動所需之臨限距離。在其他實例中，開關使用者介面元素622可定位於他處，諸如除定位於使用者介面捏合元素默認位置561處之外定位於平行於使用者介面面板560之位置處，或定位於距使用者介面捏合元素默認位置561一距離處，該距離未對應於捏合及拉放手勢之臨限拉放距離。
圖8A說明根據本揭示之一或多個態樣之包括實例徑向項目選取器使用者介面輸入元素之人工實境內容。在圖8A之實例中，使用者介面引擎428可藉由判定使用者介面串元素564在何處與徑向項目選取器使用者介面元素632相交來識別離散數目之輸入值中之一者。在一些實例中，使用者介面引擎428可基於來自手勢偵測器424之解譯手部132之移動之資訊來作出此判定。在圖8A中所展示之實例中，使用者介面引擎428基於手部132之定位來判定由使用者選擇八個離散輸入值（各自由徑向項目選取器使用者介面元素632內之八個小卵形中之一者表示）中之何者。展示於徑向項目選取器使用者介面元素632中之輸入值可對應於供選擇作為輸入之任何適當內容，諸如圖標、表情符號、特定色彩、特定選單項目或其類似者。儘管徑向項目選取器使用者介面元素632中之可選項目展示為以徑向方式配置之卵形顯示元素，但可使用其他顯示元素及配置。舉例而言，在其他實例中，徑向項目選取器使用者介面元素632可呈現方形或矩形顯示元素之網格、選單項目之堆疊，或可變形狀之顯示圖標之鑲嵌。使用者可藉由終止捏合及拉放手勢（諸如藉由釋放手部132之捏合組態或藉由進行另一運動）來選擇顯示元素中之一者。
圖8B說明根據本揭示之一或多個態樣之包括實例徑向浮動塊使用者介面輸入元素之人工實境內容。在圖8B之實例中，使用者介面引擎428可將值指派給對應於徑向浮動塊使用者介面元素642之部分之連續變數，該部分包括包括於徑向浮動塊使用者介面元素642內之變暗徑向卵形。在一些實例中，使用者介面引擎428可基於來自手勢偵測器424之解譯在手部132被配置處於捏合組態時手部132之徑向移動之資訊來作出此判定。在圖8B之實例中，手部132之反時針徑向移動對應於輸入變數之增大值。儘管徑向項目選取器使用者介面元素632被配置以表示連續輸入值，但在其他實例中，徑向項目選取器使用者介面元素632可被配置以表示離散值，諸如隨著手部132以反時針運動（或以另一運動）移動而增大之離散輸入值。
圖8C說明根據本揭示之一或多個態樣之包括實例色彩選取器使用者介面輸入元素之人工實境內容。在圖8C之實例中，使用者介面引擎428可將值指派給對應於在色彩或值之二維頻譜內或由包括於色彩選取器使用者介面元素652內之色彩頻譜或灰階頻譜表示之點之連續變數。在圖8C中，色彩選取器使用者介面元素652內之每一點可表示色彩選取器使用者介面元素652內之頻譜內之可能值之連續內之輸入值。使用者介面引擎428可將手部132之移動轉換成色彩選取器使用者介面元素652內之值之連續內之不同位置，其中位置藉由使用者介面串元素564與色彩選取器使用者介面元素652之相交點判定。由於手部132之移動轉換成使用者介面捏合元素562之移動且因此轉換成使用者介面串元素564，故手部132之移動亦轉換成色彩選取器使用者介面元素652內之不同點。使用者可藉由終止捏合及拉放手勢來選擇包括於色彩選取器使用者介面元素652內之頻譜內之點中之一者。
圖9A、圖9B及圖9C說明根據本揭示之一或多個態樣之包括回應於由頭戴式顯示器112之使用者進行之捏合及拉放手勢而在顯示器處呈現之實例徑向項目選取器使用者介面輸入元素之人工實境內容之順序。圖9A、圖9B及圖9C分別說明人工實境內容660A、人工實境內容660B及人工實境內容660C。人工實境內容660之每一情況在已辨識捏合及拉放手勢之後包括使用者介面串元素564及虛擬手部136。實例徑向項目選取器使用者介面元素622亦包括於每一情況中，其中選單項目基於手部132之位置來改變。
在9A之實例中，且根據本揭示之一或多個態樣，頭戴式顯示器112可呈現人工實境內容660A內之由圖9A中所說明之四個卵形表示之徑向項目選取器使用者介面元素662A，其可用於選擇四個輸入選項中之一者。舉例而言，參考圖4，手勢偵測器424偵測使用者介面捏合元素默認位置561附近之手部132之捏合組態，隨後偵測手部132之拉放運動。手勢偵測器424判定手部132之移動對應於捏合及拉放手勢。成像引擎422建構包括徑向項目選取器使用者介面元素662A之人工實境內容660A。成像引擎422使得應用程式引擎440輸出人工實境內容660A以供以圖9A中所說明之方式顯示及/或呈現。人工實境內容660A可呈現於頭戴式顯示器112內之顯示器處，該顯示器例如諸如圖2中所說明之顯示器203。
圖9B說明可藉由頭戴式顯示器112回應於手部132之進一步移動而呈現之經更新之徑向項目選取器使用者介面元素之實例。舉例而言，參考圖9A及圖4，手勢偵測器424偵測手勢偵測器424判定對應於進一步拉放運動從而使手部132更遠離使用者介面捏合元素默認位置561移動之進一步輸入。手勢偵測器424將關於手部132之運動之資訊輸出至使用者介面引擎428。使用者介面引擎428基於手部132之位置來提高徑向項目選取器使用者介面元素662A之粒度。使用者介面引擎428將資訊輸出至成像引擎422。成像引擎422更新人工實境內容660A以產生人工實境內容660B。成像引擎422使得應用程式引擎440輸出人工實境內容660B以供以圖9B中所說明之方式顯示。在圖9B中，人工實境內容660B包括經更新之徑向項目選取器使用者介面元素662B，其具有比圖9A中所說明之徑向項目選取器使用者介面元素662A更具可選性之顯示元素。
圖9C說明可藉由頭戴式顯示器112回應於手部132之又進一步移動而呈現之經進一步更新之徑向項目選取器使用者介面元素之實例。舉例而言，參考圖9B及圖4，手勢偵測器424偵測手勢偵測器424判定對應於圖9A及圖9B中所說明之拉放運動之持續之進一步輸入。使用者介面引擎428基於手部132之位置來判定徑向項目選取器使用者介面元素662B之粒度應進一步提高。成像引擎422更新人工實境內容660B以產生人工實境內容660C。成像引擎422使得應用程式引擎440輸出人工實境內容660C以供以圖9C中所說明之方式顯示。在圖9C中，人工實境內容660C包括徑向項目選取器使用者介面元素662C，其具有比徑向項目選取器使用者介面元素662A或徑向項目選取器使用者介面元素662B更具可選性之顯示元素。
在圖9A、圖9B及圖9C之實例中，隨著使用者更遠離使用者介面捏合元素默認位置561拉放手部132，徑向項目選取器使用者介面元素662之粒度提高。由於使用者介面串元素564在使用者更遠離使用者介面捏合元素默認位置561拉放手部132時延長，且在每一情況下，徑向項目選取器使用者介面元素662在手部132更遠離拉放時保持靜止，故手部132之移動傾向於轉換成相交點566之逐漸更小之移動。舉例而言，參考圖9B及圖9C，在手部132移動時，圖9C中之相交點566C比圖9B中之相交點566B移動更少，此係由於使用者介面串元素564之長度產生在使用者介面捏合元素默認位置561處由不同使用者介面串元素564形成之兩條線之間至手部132之不同位置之更小角度。換言之，若圖9B中之手部132移動八吋，則該移動可使得相交點566B移動一吋。然而，若圖9C中之手部132移動八吋，則該移動將有可能使得相交點566C移動小於一吋，此係由於圖9C中之手部132比在圖9B中更遠離使用者介面捏合元素默認位置561。因此，在手部132更遠離使用者介面捏合元素默認位置561移動（例如如在圖9C中）時，更高粒度徑向項目選取器使用者介面之使用可為適當的，此係由於手部132之移動產生相交點566C之更精細移動。相較於徑向項目選取器使用者介面元素662B，進行手部移動之使用者在進行徑向項目選取器使用者介面元素662C所需之更精細移動時可能未感到任何額外困難。
圖10為根據本揭示之一或多個態樣之包括實例體積色彩選取器使用者介面輸入元素672之實例人工實境內容之說明。在圖10之實例中，頭戴式顯示器112可呈現體積色彩選取器使用者介面元素672。舉例而言，參考圖4，使用者介面引擎428回應於由手勢偵測器424所識別之閘控或觸發手勢（諸如捏合及拉放手勢）而產生體積色彩選取器使用者介面元素672。成像引擎422建構包括體積色彩選取器使用者介面元素672之人工實境內容670。成像引擎422使得應用程式引擎440輸出人工實境內容670以供以圖10中所說明之方式顯示及/或呈現。
頭戴式顯示器112可使用體積色彩選取器使用者介面元素672將手部132之移動轉換成輸入變數。舉例而言，參考圖4及圖10，使用者介面引擎428可基於由手勢偵測器424偵測到之資訊來判定使用者介面捏合元素562在體積色彩選取器使用者介面元素672內之位置。使用者介面引擎428可判定與使用者介面捏合元素562在體積色彩選取器使用者介面元素672內之位置相關聯之輸入值（例如色彩）。使用者介面引擎428可將關於輸入值之資訊輸出至成像引擎422。成像引擎422建構經更新之人工實境內容670。此外，成像引擎422可將使用者介面捏合元素562加陰影或著色以對應於由與手部132之位置相關聯之輸入值表示之色彩。如圖10中所說明之體積色彩選取器使用者介面輸入元素672在其可用於選擇三維值而非二維值之意義上可不同於色彩選取器使用者介面元素652。在一些實例中，三維值可表示色度、飽和度及亮度值，其中色度及飽和度由串之相交點及藉由距離設定之亮度值限定。使用三維值之其他實施方案係可能的，包括涉及RGB色彩值之實例。
圖11為說明根據本揭示之一或多個態樣之包括實例進度浮動塊使用者介面輸入元素682之人工實境內容之概念圖。在圖11之實例中，頭戴式顯示器112可呈現進度浮動塊使用者介面元素682，其包括進度指示符683。進度浮動塊使用者介面元素682可用以表示呈現於使用者介面面板570內之視訊片段在時間上之進度。在圖11之實例中，進度指示符683可基於使用者介面捏合元素562之移動來調整，該使用者介面捏合元素562在圖11之實例中說明為連接至使用者介面串元素564。手勢偵測器424及/或使用者介面引擎428將手部132之自一側至另一側之移動轉換成進度指示符683之不同位置。舉例而言，手部132之向右移動可使進度指示符683朝向進度浮動塊使用者介面元素682之右方移動（例如對應於視訊片段內之稍晚時間）。手部132之向左移動可使得進度指示符683朝向進度浮動塊使用者介面元素682之左方移動（例如對應於視訊片段內之稍早時間）。在手部132之捏合組態之釋放後，頭戴式顯示器112可判定對應於進度指示符683之新位置之輸入值。
在本文中（例如開始於圖5A且直至圖11）所描述之說明中之許多者中，使用者介面捏合元素562說明為球形物件，且大體上以一致大小說明。然而，在其他實例中，使用者介面捏合元素562可為不同形狀，且可為不同大小。在一些實例中，使用者介面捏合元素562之特性可提供捏合及拉放手勢可賦能之輸入之類型（例如可選選單項目、物件選擇、一維離散或連續變數、二維變數、三維體積變數或其他）之視覺指示。在其他實例中，與使用者介面捏合元素562相鄰（例如在使用者介面面板560上）之本文可替代地或另外指示捏合及拉放手勢可賦能之輸入之類型。
圖12A、圖12B及圖12C說明根據本揭示之一或多個態樣之涉及實例實體觸控筆之人工實境內容之順序。圖12A、圖12B及圖12C分別說明人工實境內容705A、人工實境內容705B及人工實境內容705C。在所展示實例中，人工實境內容之每一情況包括實體觸控筆710。實體觸控筆710包括實體按鈕712。實體觸控筆710通常可藉由使用者之手部控制及/或保持，該手部可表示於圖12A、圖12B及圖12C中所說明之人工實境內容內。然而，為了易於說明且清晰，手部未展示於圖12A、圖12B及圖12C中。
人工實境內容705A、人工實境內容705B及人工實境內容705C中之每一者可藉由諸如圖1A及/或圖1B中所說明之實例頭戴式顯示器112呈現。儘管圖12A、圖12B及圖12C描述於使用具有實體按鈕712之實體觸控筆710之上下文中，但在其他實例中，基於手部之手勢或所辨識組態，可採用使用虛擬觸控筆之類似技術。
在圖12A之實例中，根據本揭示之一或多個態樣，頭戴式顯示器112可呈現人工實境內容705A。舉例而言，參考可描述於圖4之上下文中之實例，姿勢追蹤器426偵測諸如來自感測器90之移動資訊及資料。姿勢追蹤器426將姿勢資訊輸出至成像引擎422，且成像引擎422基於偵測到之輸入且基於如藉由姿勢追蹤器426所判定之人工實境內容122之觀看視角來建構人工實境內容705A。姿勢追蹤器426偵測進一步移動資訊，且判定移動對應於沿使用者介面面板560移動之實體觸控筆710。姿勢追蹤器426將資訊輸出至成像引擎422，且成像引擎422建構人工實境內容705A。成像引擎422在人工實境內容705A內包括線720。線720可對應於實體觸控筆710沿使用者介面面板560之移動。成像引擎422使得應用程式引擎440輸出人工實境內容705A以供以圖12A中所說明之方式顯示及/或呈現。
圖12B說明可藉由頭戴式顯示器112回應於對實體觸控筆710進行之動作而呈現之實例線厚度使用者介面元素。舉例而言，參考圖4及圖12A，使用者介面引擎428偵測對應於選擇實體按鈕712、壓下實體按鈕712且以遠離使用者介面面板560之朝上運動拉放實體觸控筆710之使用者之輸入。（在一些實例中，此可對應於描述於早先圖式中之捏合及拉放手勢。）使用者介面引擎428可基於來自影像擷取裝置138、攝影機102及/或感測器90中之一或多者之影像、基於由實體觸控筆710回應於實體按鈕712之選擇而啟動之無線信號及/或以另一方式偵測此輸入。使用者介面引擎428基於輸入來判定與實體觸控筆710之移動之互動對應於閘控或觸發線厚度使用者介面元素732之顯示之動作。使用者介面引擎428將關於動作之資訊輸出至成像引擎422。成像引擎422更新人工實境內容705A以產生人工實境內容705B，從而反映實體觸控筆710之移動及線厚度使用者介面元素732之顯示。成像引擎422使得應用程式引擎440以圖12B中所說明之方式呈現人工實境內容705B。
使用者介面引擎428可偵測實體觸控筆710之進一步移動，此可引起對人工實境內容705B中之線720之寬度之修改。舉例而言，再次參考圖12B，使用者介面引擎428可偵測在實體按鈕712持續壓下時，實體觸控筆710已自使用者介面面板560移動更遠。作為回應，成像引擎422可使得用更厚之線重新繪製線720。類似地，使用者介面引擎428可偵測實體觸控筆710已（在實體按鈕712壓下之情況下）更接近使用者介面面板560移動，且作為回應，成像引擎422可使得用更薄之線繪製線720。使用者介面引擎428可偵測實體按鈕712已釋放，此可終止與線厚度使用者介面元素732之互動。作為回應，使用者介面引擎428可識別線720之選定厚度，該選定厚度可為對應於在實體按鈕712釋放時線厚度使用者介面元素732之狀態之厚度。成像引擎422可將選定厚度應用於線720，且自人工實境內容705B移除線厚度使用者介面元素732。其後（例如在按鈕712釋放之後），且直至偵測到使用者介面閘控手勢為止，實體觸控筆710之進一步移動大體上將不會影響線720之厚度。
圖12C說明可藉由頭戴式顯示器112回應於對實體觸控筆710進行之動作而呈現之實例色彩選取器使用者介面元素。舉例而言，再次參考圖12A，使用者介面引擎428偵測對應於選擇實體按鈕712且以遠離使用者介面面板560之朝上運動拉放實體觸控筆710之使用者之輸入。使用者介面引擎428判定運動及與實體觸控筆710之互動足以觸發色彩選取器使用者介面元素742之顯示。使用者介面引擎428將關於輸入之資訊輸出至成像引擎422。成像引擎422更新人工實境內容705A以產生人工實境內容705C，從而反映實體觸控筆710之移動及色彩選取器使用者介面元素742之顯示。成像引擎422使得應用程式引擎440以圖12C中所說明之方式呈現人工實境內容705C。
使用者介面引擎428可偵測實體觸控筆710之進一步移動，此可引起對線720之色彩或陰影之修改。舉例而言，參考圖12C，使用者介面引擎428可偵測在實體按鈕712持續壓下時，實體觸控筆710已在使用者介面面板560上方之空間內移動，且作為回應，使用者介面引擎428可判定使用者介面串元素564與色彩選取器使用者介面元素742相交於不同方位處。使用者介面引擎428識別對應於使用者介面串元素564之相交點之色彩。使用者介面引擎428將關於所識別色彩之資訊輸出至成像引擎422。成像引擎422藉由使用所識別色彩繪製線720來更新人工實境內容705C以反映所識別色彩。成像引擎422使得應用程式引擎440更新顯示器203內之人工實境內容705C。
使用者介面引擎428最終可偵測實體按鈕712已釋放。使用者介面引擎428可將此動作辨識為使用者終止與色彩選取器使用者介面元素742之互動且將當前色彩應用於線720之請求。作為回應，使用者介面引擎428可將選定色彩應用於線720，且自人工實境內容705C移除色彩選取器使用者介面元素742。
在圖12B及圖12C兩者中，實體觸控筆710展示為分別定位於線厚度使用者介面元素732及色彩選取器使用者介面元素742上方。在每一實例中，使用者介面輸入元素732及742可回應於實體觸控筆710之移動以類似於本文中相對於捏合及拉放手勢所描述之方式之方式操作。換言之，實體觸控筆710可用以觸發在本文中描述為藉由捏合及拉放手勢觸發之相同使用者介面輸入元素中之任一者。然而，在圖12B及圖12C之實例中，此類使用者介面輸入元素藉由與實體觸控筆710之互動（例如按壓實體按鈕712及實體觸控筆710之後續移動）觸發。因此，儘管圖12B及圖12C展示為實例，但本文中結合涉及手部132之捏合及拉放手勢所描述之其他使用者介面輸入元素中之任一者可替代地由實體觸控筆710之動作閘控。在此類實例中，彼等使用者介面輸入元素可回應於實體觸控筆710之對應移動而操作。
另外，儘管按壓按鈕712之選擇描述為觸發使用者介面輸入元素之顯示之動作之部分，但在其他實例中，此類使用者介面輸入元素可藉由觸控筆710以另一方式（諸如藉由經由觸控筆710向觸控筆710之下之表面施加足夠壓力）觸發。在此實例中，觸控筆710可辨識由使用者施加之壓力，且以類似於上文在按鈕712按壓時所描述之方式之方式回應。
圖13A為說明根據本揭示之一或多個態樣之藉由實例人工實境系統進行之操作之流程圖。下文在圖1A之人工實境系統10之上下文內描述圖13A。在其他實例中，描述於圖13A中之操作可藉由一或多個其他組件、模組、系統或裝置進行。另外，在其他實例中，結合圖13所描述之操作可經合併、以不同順序進行、省略，或可涵蓋未具體說明或描述之額外操作。
在圖13A中所說明之過程中，且根據本揭示之一或多個態樣，人工實境系統10可擷取影像資料（801）。舉例而言，參考圖1A，包括於頭戴式顯示器112（或其他裝置）內之一或多個影像擷取裝置138可擷取視場130內之表示穿戴頭戴式顯示器112之使用者附近之實體環境之影像。
人工實境系統10可輸出人工實境內容（802）。舉例而言，參考圖1A，頭戴式顯示器112可在包括於頭戴式顯示器112內之顯示器處呈現人工實境內容。此內容可包括實體環境之影像、覆蓋於實體環境之影像上之人工內容、使用者介面元素（例如選單），或其他內容。
人工實境系統10可自影像資料識別包含捏合組態及拉放運動之手勢（803）。舉例而言，再次參考圖1A，頭戴式顯示器112可分析由一或多個影像擷取裝置138所擷取之影像資料且基於影像資料來識別手勢，該手勢包含來自手部132之兩個手指形成捏合組態之運動及在手部132處於捏合組態時之後續拉放運動。頭戴式顯示器112可判定在拉放運動之前或期間手部132之捏合組態在該組態下保持了足夠時間量。頭戴式顯示器112可進一步判定拉放運動之長度足夠以在與捏合組態組合時有資格作為捏合及拉放手勢，如例如結合圖5A、圖5B及圖5C所描述（自803之是路徑）。
人工實境系統10可回應於識別捏合及拉放組態而成像使用者介面（804）。舉例而言，再次參考圖1A，頭戴式顯示器112產生人工實境內容，其中產生人工實境內容包括產生使用者介面元素。頭戴式顯示器112在包括於頭戴式顯示器112內之顯示器處呈現及/或成像人工實境內容。人工實境內容可包括覆蓋於實體環境之影像上之使用者介面元素。在一些實例中，包括於人工實境內容內之使用者介面元素可為一維浮動塊使用者介面元素，諸如圖6A、圖6B及圖6C中所說明之一維浮動塊使用者介面元素。然而，所成像之使用者介面元素可為任何其他適當使用者介面元素，包括但不限於本揭示中所描述之使用者介面元素中之任一者（例如包括描述為藉由捏合及拉放手勢或以其他方式閘控或觸發之使用者介面元素）。
人工實境系統10可判定捏合組態尚未釋放（自805之否路徑）。舉例而言，在圖1A中，頭戴式顯示器112可持續分析由影像擷取裝置138中之一或多者所擷取之影像資料，且基於影像資料來判定手部132持續處於捏合組態。
人工實境系統10可識別手部132之進一步運動（自806之是路徑）。舉例而言，在圖1A中，頭戴式顯示器112可基於所擷取之影像資料來識別在手部132處於捏合組態時手部132之進一步運動。回應於進一步運動，頭戴式顯示器112可更新在包括於頭戴式顯示器112內之顯示器處呈現之內容。特定而言，頭戴式顯示器112可更新包括於人工實境內容內之使用者介面元素。在使用者介面元素為類似於結合圖6A、圖6B及圖6C所說明之一維浮動塊之一維浮動塊之實例中，頭戴式顯示器112可更新使用者介面以與手部132之移動一致。在此實例中，頭戴式顯示器112可回應於進一步拉放運動而增大與一維浮動塊使用者介面元素612（見圖6C）相關聯之圓613之大小以對應於由使用者介面元素表示之增大之一維輸入值。
人工實境系統10可判定捏合組態已釋放（自805之是路徑）且處理輸入值（807）。舉例而言，在圖1A中，頭戴式顯示器112可持續分析由影像擷取裝置138中之一或多者所擷取之影像資料，且基於影像資料來判定手部132不再處於捏合組態。頭戴式顯示器112可判定當手部132處於捏合組態時由使用者介面元素表示之最末輸入值。頭戴式顯示器112可將最末輸入值識別為使用者之選定輸入值。頭戴式顯示器112可藉由例如影響使用輸入值之環境來處理使用者之選定輸入值。在一些實例中，輸入值可對應於音訊音量水平，因此對選定輸入值之調整可具有增大由人工實境系統10呈現之聲音之音訊音量之效果。
圖13B為說明根據本揭示之一或多個態樣之藉由使用實體觸控筆之實例人工實境系統進行之操作之流程圖。下文在圖1A之人工實境系統10及圖11A及圖11B之上下文內描述圖13B。在其他實例中，描述於圖13B中之操作可藉由一或多個其他組件、模組、系統或裝置進行。另外，在其他實例中，結合圖13所描述之操作可經合併、以不同順序進行、省略，或可涵蓋未具體說明或描述之額外操作。
在圖13B中所說明之過程中，且根據本揭示之一或多個態樣，人工實境系統10可擷取影像資料（811）。舉例而言，參考圖1A，包括於頭戴式顯示器112內之一或多個影像擷取裝置138可擷取視場130內之表示穿戴頭戴式顯示器112之使用者附近之實體環境之影像。
人工實境系統10可輸出人工實境內容（812）。舉例而言，參考圖1A及圖11A，頭戴式顯示器112可在包括於頭戴式顯示器112內之顯示器處呈現人工實境內容。此內容可包括實體環境之影像。此內容亦可包括覆蓋於實體環境之影像上之人工內容，諸如回應於圖11A之實體觸控筆710之移動而產生之線或其他內容。此外，使用者介面元素（例如選單）及/或其他內容亦可覆蓋於實體環境之影像上。
人工實境系統10可識別觸控筆選擇及拉放運動（813）。舉例而言，參考圖11A，頭戴式顯示器112可分析由一或多個影像擷取裝置138所擷取之影像資料，且基於影像資料來識別實體觸控筆710之移動。頭戴式顯示器112亦可偵測來自實體觸控筆710之頭戴式顯示器112判定對應於實體觸控筆710上之實體按鈕712已壓下之指示之信號。頭戴式顯示器112可基於影像資料進一步偵測在實體按鈕712壓下時實體觸控筆710之後續拉放運動。頭戴式顯示器112可判定繼之以後續拉放運動之實體按鈕712之選擇有資格作為觸控筆選擇及拉放運動（自813之是路徑）。
人工實境系統10可回應於識別觸控筆選擇及拉放運動而成像使用者介面（814）。舉例而言，再次參考圖11A，頭戴式顯示器112產生人工實境內容，其可包括繪製於使用者介面面板560上之線720。頭戴式顯示器112亦可在人工實境內容內包括使用者介面元素，諸如如圖11B中所說明之線厚度使用者介面元素732。頭戴式顯示器112在包括於頭戴式顯示器112內之顯示器處呈現及/或成像人工實境內容。頭戴式顯示器112包括人工實境內容內之線厚度使用者介面元素732，但在其他實例中任何其他適當使用者介面元素可回應於觸控筆選擇及拉放運動而包括於替代實境內容內，該使用者介面元素包括但不限於在本揭示中描述為藉由觸控筆選擇動作或手部132之捏合及拉放手勢閘控或觸發之使用者介面元素中之任一者。
人工實境系統10可判定觸控筆釋放動作尚未發生（自815之否路徑）。舉例而言，在圖1A中，頭戴式顯示器112可基於來自實體觸控筆710之影像資料或通信來判定實體按鈕712持續壓下。
人工實境系統10可識別實體觸控筆710之進一步運動（自816之是路徑）。舉例而言，在圖1A中，頭戴式顯示器112可基於所擷取之影像資料來識別在實體按鈕712壓下時實體觸控筆710之進一步運動。回應於進一步運動，頭戴式顯示器112可更新在包括於頭戴式顯示器112內之顯示器處呈現之內容。特定而言，頭戴式顯示器112可基於移動來更新線厚度使用者介面元素732。在一些實例中，且如圖11B中所說明，頭戴式顯示器112可使得線720之厚度在實體觸控筆710更遠離使用者介面面板560拉放時增大。頭戴式顯示器112可使得在使實體觸控筆710更接近使用者介面面板560時線720之厚度減小。
人工實境系統10可判定觸控筆釋放動作已發生（815之是路徑）且處理輸入值（817）。舉例而言，在圖1A中，頭戴式顯示器112可偵測實體按鈕712已釋放。頭戴式顯示器112判定在實體按鈕712釋放之前由線厚度使用者介面元素732表示之最末輸入值。頭戴式顯示器112將最末輸入值識別為使用者之選定輸入值。頭戴式顯示器112藉由例如儲存線720之厚度且更新所呈現之人工實境內容來處理使用者之選定輸入值，使得線720持續以選定厚度呈現。
本揭示中所描述之技術可至少部分地實施於硬體、軟體、韌體或其任何組合中。舉例而言，所描述技術之各種態樣可實施於一或多個處理器內，包括一或多個微處理器、DSP、特殊應用積體電路（ASIC）、現場可程式閘陣列（FPGA）或任何其他等效積體或離散邏輯電路系統，以及此等組件之任何組合。術語「處理器」或「處理電路系統」大體上可指單獨或與其他邏輯電路系統或任何其他等效電路系統組合之前述邏輯電路系統中之任一者。包含硬體之控制單元亦可進行本揭示之技術中之一或多者。
此硬體、軟體及韌體可實施於同一裝置內或單獨裝置內以支援本揭示中所描述之各種操作及功能。此外，所描述之單元、模組或組件中之任一者可共同實施或分開實施為離散但可互操作之邏輯裝置。將不同特徵描述為模組或單元意欲突出不同功能性態樣，且未必暗示此類模組或單元必須藉由單獨硬體或軟體組件實現。確切而言，與一或多個模組或單元相關聯之功能性可藉由單獨硬體或軟體組件進行，或整合於共同或單獨硬體或軟體組件內。
本揭示中所描述之技術亦可體現或編碼於含有指令之電腦可讀取媒體（諸如電腦可讀取儲存媒體）中。嵌入或編碼於電腦可讀取儲存媒體中之指令可例如在執行指令時使得可程式處理器或其他處理器進行方法。電腦可讀取儲存媒體可包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可程式唯讀記憶體（PROM）、可抹除可程式唯讀記憶體（EPROM）、電子可抹除可程式唯讀記憶體（EEPROM）、快閃記憶體、硬碟、CD-ROM、軟碟、卡匣、磁性媒體、光學媒體或其他電腦可讀取媒體。
如本文中藉助於各種實例所描述，本揭示之技術可包括人工實境系統或結合人工實境系統實施。如所描述，人工實境為在呈現給使用者之前已以某一方式調整之一種形式之實境，其可包括例如虛擬實境（VR）、擴增實境（AR）、混合實境（MR）、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生之內容或與所擷取之內容（例如真實世界相片）組合之所產生內容。人工實境內容可包括視訊、音訊、觸覺反饋或其某一組合，且其中之任一者可在單一通道中或在多個通道中呈現（諸如對觀看者產生三維效應之立體聲視訊）。另外，在一些具體實例中，人工實境可與例如用以在人工實境中創建內容及/或用於人工實境中（例如在人工實境中進行活動）之應用、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上，包括連接至主機電腦系統之頭戴式顯示器（HMD）、獨立式頭戴式顯示器、行動裝置或計算系統，或能夠向一或多個觀看者提供人工實境內容之任何其他硬體平台。
10:人工實境系統 20:人工實境系統 90:外部感測器 102A:外部攝影機 102B:外部攝影機 104:網路 106:控制台 108A:真實世界物件 108B:真實世界物件 108C:真實世界物件 110:使用者 110A:使用者 110B:使用者 110C:使用者 112:頭戴式裝置 112A:頭戴式顯示器 112B:頭戴式顯示器 112C:頭戴式顯示器 114A:控制器 114B:控制器 120:化身 120A:化身 120B:化身 122:人工實境內容 124:圖形使用者介面元素 126:圖形使用者介面元素 128A:虛擬物件 128B:虛擬物件 128C:虛擬物件 130:視場 130A:視場 130B:視場 132:手部 132A:手部 132B:手部 134:手臂 136:虛擬手部 138:影像擷取裝置 138A:影像擷取裝置 138B:影像擷取裝置 203:電子顯示器 206:運動感測器 210:控制單元 302:處理器 304:記憶體 305:操作系統 307:軟體組件 312:處理器 314:記憶體 315:I/O介面 316:操作系統 317:軟體組件 320:應用程式引擎 322:成像引擎 324:手勢偵測器 326:姿勢追蹤器 328:使用者介面引擎 330:手勢庫 340:應用程式引擎 417:軟體組件 422:成像引擎 424:手勢偵測器 426:姿勢追蹤器 428:使用者介面引擎 430:手勢庫 440:應用程式引擎 522A:人工實境內容 522B:人工實境內容 522C:人工實境內容 560:使用者介面面板 561:使用者介面捏合元素默認位置 562:使用者介面捏合元素 564:使用者介面串元素 565B:距離 565C:距離 566:相交點 570:使用者介面面板 610A:人工實境內容 610B:人工實境內容 610C:人工實境內容 612:一維浮動塊使用者介面元素 613:圓 620A:人工實境內容 620B:人工實境內容 622:開關使用者介面元素 623:第一開關位置 624:第二開關位置 632:徑向項目選取器使用者介面元素 642:徑向浮動塊使用者介面元素 652:色彩選取器使用者介面元素 660A:人工實境內容 660B:人工實境內容 660C:人工實境內容 662A:徑向項目選取器使用者介面元素 662B:徑向項目選取器使用者介面元素 662C:徑向項目選取器使用者介面元素 670:人工實境內容 672:體積色彩選取器使用者介面輸入元素 682:進度浮動塊使用者介面輸入元素 683:進度指示符 705A:人工實境內容 705B:人工實境內容 705C:人工實境內容 710:實體觸控筆 712:實體按鈕 720:線 732:線厚度使用者介面元素 742:色彩選取器使用者介面元素 801:操作 802:操作 803:操作 804:操作 805:操作 806:操作 807:操作 811:操作 812:操作 813:操作 814:操作 815:操作 816:操作 817:操作
[圖1A]為描繪根據本揭示之技術之呈現及控制人工實境環境內之使用者介面元素之實例人工實境系統之說明。
[圖1B]為描繪根據本揭示之技術之另一實例人工實境系統之說明。
[圖2]為描繪根據本揭示之技術來操作之實例頭戴式顯示器之說明。
[圖3]為展示圖1A、1B之人工實境系統之控制台及頭戴式顯示器之實例實施方案之方塊圖。
[圖4]為描繪根據本揭示之技術之藉由圖1A、1B之人工實境系統之頭戴式顯示器進行手勢偵測及使用者介面產生之實例之方塊圖。
[圖5A]、[圖5B]及[圖5C]說明根據本揭示之一或多個態樣之回應於由使用者進行之捏合及拉放手勢而呈現之人工實境內容之實例順序。
[圖6A]、[圖6B]及[圖6C]說明根據本揭示之一或多個態樣之包括回應於由使用者進行之捏合及拉放手勢而在顯示器處呈現之實例一維浮動塊使用者介面元素之人工實境內容之順序。
[圖7A]及[圖7B]說明根據本揭示之一或多個態樣之包括回應於由使用者進行之捏合及拉放手勢而在顯示器處呈現之實例開關使用者介面元素之人工實境內容之順序。
[圖7C]為說明捏合及拉放手勢相對於開關使用者介面元素之二維表示之概念圖。
[圖8A]說明根據本揭示之一或多個態樣之包括實例徑向項目選取器使用者介面元素之人工實境內容。
[圖8B]說明根據本揭示之一或多個態樣之包括實例徑向浮動塊使用者介面元素之人工實境內容。
[圖8C]說明根據本揭示之一或多個態樣之包括實例色彩選取器使用者介面元素之人工實境內容。
[圖9A]、[圖9B]及[圖9C]說明根據本揭示之一或多個態樣之包括回應於由使用者進行之捏合及拉放手勢而在顯示器處呈現之實例徑向項目選取器使用者介面元素之人工實境內容之順序。
[圖10]為說明根據本揭示之一或多個態樣之包括實例體積色彩選取器使用者介面元素之人工實境內容之概念圖。
[圖11]為說明根據本揭示之一或多個態樣之包括實例進度浮動塊使用者介面元素之人工實境內容之概念圖。
[圖12A]、[圖12B]及[圖12C]說明根據本揭示之一或多個態樣之涉及實例實體觸控筆之人工實境內容之順序。
[圖13A]為說明根據本揭示之一或多個態樣之藉由實例人工實境系統進行之操作之流程圖。
[圖13B]為說明根據本揭示之一或多個態樣之藉由使用實體觸控筆之實例人工實境系統進行之操作之流程圖。
10:人工實境系統
90:外部感測器
104:網路
106:控制台
110:使用者
112:頭戴式裝置
120:化身
122:人工實境內容
124:圖形使用者介面元素
126:圖形使用者介面元素
128A:虛擬物件
128B:虛擬物件
130:視場
132:手部
134:手臂
136:虛擬手部
138:影像擷取裝置

Claims (20)

  1. 一種人工實境系統，其包含： 一影像擷取裝置，其被配置以擷取表示一實體環境之影像資料； 一頭戴式顯示器（HMD），其被配置以輸出人工實境內容； 一手勢偵測器，其被配置以自該些影像資料識別一手勢，該手勢包含來自一手部之兩個手指形成一捏合組態之運動及處於該捏合組態時之後續拉放運動； 一使用者介面（UI）引擎，其被配置以回應於識別該手勢而產生一使用者介面輸入元素；及 一成像引擎，其被配置以將該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上。
  2. 如請求項1之人工實境系統，其中為了識別該手勢，該手勢偵測器進一步被配置以： 自該些影像資料判定該捏合組態在一使用者介面捏合元素附近。
  3. 如請求項1之人工實境系統，其中該手勢偵測器進一步被配置以： 在識別該手勢之後，在該兩個手指處於該捏合組態時識別該手部之進一步移動。
  4. 如請求項3之人工實境系統，其中該成像引擎進一步被配置以： 回應於該手部之該進一步移動且以對應於該手部之該進一步移動之方式修改該使用者介面輸入元素。
  5. 如請求項4之人工實境系統，其中為了以對應於該手部之該進一步移動之方式修改該使用者介面輸入元素，該成像引擎進一步被配置以： 修改該使用者介面輸入以指示一輸入值。
  6. 如請求項5之人工實境系統，其中該成像引擎進一步被配置以： 成像經修改之使用者介面輸入元素。
  7. 如請求項1之人工實境系統，其中該手勢偵測器進一步被配置以： 自該些影像資料判定該捏合組態已停止。
  8. 如請求項7之人工實境系統，其中該使用者介面引擎進一步被配置以： 回應於判定該捏合組態已停止而識別一輸入值；及 基於該輸入值來產生經更新之人工實境內容。
  9. 如請求項8之人工實境系統，其中該成像引擎進一步被配置以： 成像該經更新之人工實境內容。
  10. 如請求項1之人工實境系統，其中該頭戴式顯示器進一步被配置以輸出表示該實體環境之該些影像資料中之至少一些。
  11. 如請求項1之人工實境系統，其中為了識別該手勢，該手勢偵測器進一步被配置以： 將該手勢識別為對應於一手勢庫中之一條目。
  12. 如請求項1之人工實境系統，其中來自該手部之該兩個手指為一拇指及食指。
  13. 如請求項1之人工實境系統，其中該後續拉放運動包含該手部之一拉放運動。
  14. 如請求項1之人工實境系統，其中該後續拉放運動包含該兩個手指之一拉放運動。
  15. 如請求項1之人工實境系統，其中該影像擷取裝置整合於該頭戴式顯示器內。
  16. 如請求項1之人工實境系統，其中該使用者介面輸入元素為下述各者中之至少一者： 一維連續變數浮動塊； 一維離散變數浮動塊； 開關； 選單； 徑向項目選取器； 徑向浮動塊； 色彩選取器； 體積色彩選取器；或 進度浮動塊。
  17. 一種方法，其包含： 藉由一影像擷取裝置擷取表示一實體環境之影像資料； 藉由一頭戴式顯示器（HMD）輸出人工實境內容； 自該些影像資料識別一手勢，該手勢包含來自一手部之兩個手指形成一捏合組態之運動及處於該捏合組態時之後續拉放運動； 回應於識別該手勢而產生一使用者介面輸入元素；及 將該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上。
  18. 如請求項17之方法，其進一步包含： 自該些影像資料判定該捏合組態在一使用者介面捏合元素附近。
  19. 如請求項17之方法，其進一步包含： 在識別該手勢之後，在該兩個手指處於該捏合組態時識別該手部之進一步移動。
  20. 一種非暫時性電腦可讀取媒體，其包含用於使得一人工實境系統之一或多個處理器進行操作之指令，該些操作包含： 藉由一影像擷取裝置擷取表示一實體環境之影像資料； 藉由一頭戴式顯示器（HMD）輸出人工實境內容； 自該些影像資料識別一手勢，該手勢包含來自一手部之兩個手指形成一捏合組態之運動及處於該捏合組態時之後續拉放運動； 回應於識別該手勢而產生一使用者介面輸入元素；及 將該使用者介面輸入元素成像為覆蓋在該人工實境內容中之至少一些之上。
TW109118112A 2019-06-07 2020-05-29 基於捏合和拉放手勢偵測人工實境系統中的輸入 TW202046085A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/435,116 2019-06-07
US16/435,116 US11334212B2 (en) 2019-06-07 2019-06-07 Detecting input in artificial reality systems based on a pinch and pull gesture

Publications (1)

Publication Number Publication Date
TW202046085A true TW202046085A (zh) 2020-12-16

Family

ID=71833419

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109118112A TW202046085A (zh) 2019-06-07 2020-05-29 基於捏合和拉放手勢偵測人工實境系統中的輸入

Country Status (7)

Country Link
US (1) US11334212B2 (zh)
EP (1) EP3980867A1 (zh)
JP (1) JP2022536015A (zh)
KR (1) KR20220016273A (zh)
CN (1) CN113874819A (zh)
TW (1) TW202046085A (zh)
WO (1) WO2020247279A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI829467B (zh) * 2021-12-20 2024-01-11 宏達國際電子股份有限公司 用於與虛擬世界進行互動的方法及相關產品

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11442549B1 (en) * 2019-02-07 2022-09-13 Apple Inc. Placement of 3D effects based on 2D paintings
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
CN114424151A (zh) * 2019-09-20 2022-04-29 交互数字Ce专利控股公司 用于vr和ar环境中的基于手的用户交互的装置和方法
US11372518B2 (en) * 2020-06-03 2022-06-28 Capital One Services, Llc Systems and methods for augmented or mixed reality writing
CN112527107B (zh) * 2020-11-30 2023-04-07 京东方科技集团股份有限公司 手势识别方法、装置、电子设备及存储介质
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
CN112949512B (zh) * 2021-03-08 2022-07-08 豪威芯仑传感器(上海)有限公司 一种动态手势识别方法、手势交互方法及交互系统
EP4328717A1 (en) * 2021-04-23 2024-02-28 Wacom Co., Ltd. Controller and computer
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
KR20230034461A (ko) * 2021-09-02 2023-03-10 삼성디스플레이 주식회사 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법
KR20240064017A (ko) * 2021-09-25 2024-05-10 애플 인크. 전자 디바이스와 상호작용하기 위한 방법들
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11907415B2 (en) * 2022-02-25 2024-02-20 Htc Corporation Method, electronic device, and non-transitory computer readable storage medium for interacting with virtual reality environment
US12093462B2 (en) 2022-04-11 2024-09-17 Meta Platforms Technologies, Llc Virtual keyboard selections using multiple input modalities
CN117289850A (zh) * 2022-06-16 2023-12-26 北京字跳网络技术有限公司 显示控制方法、装置、电子设备、介质及程序产品
US12073054B2 (en) 2022-09-30 2024-08-27 Sightful Computers Ltd Managing virtual collisions between moving virtual objects
US20240264660A1 (en) * 2023-02-08 2024-08-08 Meta Platforms Technologies, Llc Facilitating User Interface Interactions in an Artificial Reality Environment

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8402391B1 (en) 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
US8884876B2 (en) 2008-10-27 2014-11-11 Autodesk, Inc. Spatially-aware projection pen interface
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
TWI408339B (zh) * 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
KR102092132B1 (ko) 2012-11-30 2020-04-14 삼성전자주식회사 호버링 입력 효과를 제공하는 전자 장치 및 그 제어 방법
US20140210797A1 (en) 2013-01-31 2014-07-31 Research In Motion Limited Dynamic stylus palette
US20140267078A1 (en) 2013-03-15 2014-09-18 Adobe Systems Incorporated Input Differentiation for Touch Computing Devices
US9418378B2 (en) * 2013-03-15 2016-08-16 Gilt Groupe, Inc. Method and system for trying out a product in relation to a real world environment
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9529513B2 (en) 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
KR102200823B1 (ko) 2013-09-10 2021-01-11 삼성전자 주식회사 전자 장치의 입력 방법 및 시스템
EP3055757A4 (en) 2013-10-08 2016-10-05 Microsoft Technology Licensing Llc DEFORMABLE INPUT DEVICE
US10318100B2 (en) * 2013-10-16 2019-06-11 Atheer, Inc. Method and apparatus for addressing obstruction in an interface
US10579207B2 (en) 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
KR20160023298A (ko) 2014-08-22 2016-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 입력 인터페이스 제공 방법
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
US20190347865A1 (en) 2014-09-18 2019-11-14 Google Inc. Three-dimensional drawing inside virtual reality environment
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
US10921907B2 (en) 2016-09-19 2021-02-16 Apple Inc. Multipurpose stylus with exchangeable modules
US20180181245A1 (en) 2016-09-23 2018-06-28 Microsoft Technology Licensing, Llc Capacitive touch mapping
US10261595B1 (en) 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
US10168789B1 (en) * 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
US10754496B2 (en) 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10937215B1 (en) * 2017-09-29 2021-03-02 Apple Inc. Techniques for enabling drawing in a computer-generated reality environment
US10930075B2 (en) 2017-10-16 2021-02-23 Microsoft Technology Licensing, Llc User interface discovery and interaction for three-dimensional virtual environments
US20190369752A1 (en) 2018-05-30 2019-12-05 Oculus Vr, Llc Styluses, head-mounted display systems, and related methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI829467B (zh) * 2021-12-20 2024-01-11 宏達國際電子股份有限公司 用於與虛擬世界進行互動的方法及相關產品
US11954266B2 (en) 2021-12-20 2024-04-09 Htc Corporation Method for interacting with virtual world, host, and computer readable storage medium

Also Published As

Publication number Publication date
WO2020247279A1 (en) 2020-12-10
EP3980867A1 (en) 2022-04-13
US11334212B2 (en) 2022-05-17
KR20220016273A (ko) 2022-02-08
JP2022536015A (ja) 2022-08-12
CN113874819A (zh) 2021-12-31
US20200387287A1 (en) 2020-12-10
US20220244834A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
TW202046085A (zh) 基於捏合和拉放手勢偵測人工實境系統中的輸入
US10890983B2 (en) Artificial reality system having a sliding menu
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
TW202105133A (zh) 在人工實境環境中使用周邊裝置的虛擬使用者介面
US11422669B1 (en) Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US10955929B2 (en) Artificial reality system having a digit-mapped self-haptic input method
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
US12099693B2 (en) Detecting input in artificial reality systems based on a pinch and pull gesture