TW202311814A - 人工實境顯示器內的動態小工具擺置 - Google Patents

人工實境顯示器內的動態小工具擺置 Download PDF

Info

Publication number
TW202311814A
TW202311814A TW111128995A TW111128995A TW202311814A TW 202311814 A TW202311814 A TW 202311814A TW 111128995 A TW111128995 A TW 111128995A TW 111128995 A TW111128995 A TW 111128995A TW 202311814 A TW202311814 A TW 202311814A
Authority
TW
Taiwan
Prior art keywords
virtual
trigger element
location
selecting
view
Prior art date
Application number
TW111128995A
Other languages
English (en)
Inventor
馬克 派瑞特
希羅希 何利
譚佩琪
徐燕
盧菲瑜
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202311814A publication Critical patent/TW202311814A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所揭露的電腦實施的方法可包含(1)識別在由一人工實境裝置的一顯示器元件呈現的一視野之內的一觸發元件、(2)判斷所述觸發元件在所述視野之內的一位置、(3)根據所述觸發元件的位置來選擇在所述視野之內用於一虛擬的小工具的一位置、以及(4)經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。亦揭露各種的其它方法、系統及電腦可讀取媒體。

Description

人工實境顯示器內的動態小工具擺置
本揭露內容大致是針對於人工實境裝置(例如，虛擬實境及/或擴增實境的系統)，其被配置以在使用者與真實世界互動時由使用者穿戴。 相關申請案的交互參照
此申請案主張2021年8月11日申請的第63/231,940號美國臨時申請案、以及2022年5月18日申請的第17/747,767號美國非臨時申請案的權益，上述的每一個美國申請案的揭露內容以其整體納入本文作為參考。
人工實境系統可以用各種不同的形狀因數及配置來實施。一些人工實境系統可被設計成在無近眼顯示器(NED)下工作。其它人工實境系統可包含NED，其亦提供對真實世界的可見性、或是使得使用者在視覺上沉浸在人工實境中。儘管一些人工實境裝置可以是獨立的系統，但是其它人工實境裝置可以與外部的裝置通訊及/或協作，以提供人工實境的體驗給使用者。此種外部的裝置的例子包含手持式控制器、行動裝置、桌上型電腦、由使用者穿戴的裝置、由一或多個其他使用者穿戴的裝置、及/或任何其它適當的外部系統。
提供一種電腦實施的方法，其包括：識別在由人工實境裝置的顯示器元件呈現的視野之內的觸發元件；判斷所述觸發元件在所述視野之內的位置；根據所述觸發元件的位置來選擇在所述視野之內用於虛擬的小工具的位置；以及經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
提供一種系統，其包括：至少一物理處理器；以及物理記憶體，其包括電腦可執行指令，當所述指令由所述物理處理器執行時，使得所述物理處理器：識別在由人工實境裝置的顯示器元件呈現的視野之內的觸發元件；判斷所述觸發元件在所述視野之內的位置；根據所述觸發元件的位置來選擇在所述視野之內用於虛擬的小工具的位置；以及經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
提供一種非暫態的電腦可讀取媒體，其包括一或多個電腦可讀取指令，當所述指令藉由計算裝置的至少一處理器執行時，其使得所述計算裝置：識別在由人工實境裝置的顯示器元件呈現的視野之內的觸發元件；判斷所述觸發元件在所述視野之內的位置；根據所述觸發元件的位置來選擇在所述視野之內用於虛擬的小工具的位置；以及經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
本揭露內容大致是針對於人工實境裝置(例如，虛擬實境及/或擴增實境的系統)，其被配置以在使用者與真實世界互動時由使用者穿戴。所揭露的人工實境裝置可包含一顯示器元件，所述使用者可以透過其看見真實世界。所述顯示器元件可以額外被配置以顯示虛擬的內容，使得所述虛擬的內容是在所述顯示器元件之內視覺上重疊在真實世界之上。因為真實世界的元件以及虛擬的內容可以經由所述顯示器元件而被呈現給所述使用者，因此有風險是虛擬的內容在所述顯示器元件之內不良的擺置可能會妨礙使用者和真實世界的互動(例如，因為擋到真實世界的物體)，而不是強化互動。根據此風險，本揭露內容指出對於在一人工實境裝置的一顯示器元件之內的一位置擺置一虛擬的元件之系統及方法的需求，所述位置是根據一或多個觸發元件(例如，物體及/或區域)在所述顯示器元件之內的一位置而被判斷出的。在一例子中，一種電腦實施的方法可包含(1)識別被呈現在一人工實境裝置的一顯示器元件之內的一觸發元件、(2)判斷所述觸發元件在所述顯示器元件之內的一位置、(3)根據所述觸發元件的位置來選擇在所述顯示器元件之內的用於一虛擬的小工具的一位置、以及(4)在所述顯示器元件之內的所選的位置呈現所述虛擬的小工具。
所揭露的系統可以在許多不同的使用案例中實施此揭露的方法。舉一特定的例子，所揭露的系統可以識別在經由一人工實境裝置的一顯示器元件所呈現的視野之內的一可閱讀的表面(例如，一電腦螢幕、一本書的一頁、等等)，並且作為響應的，其可以在所述視野之內的一或多個位置擺置一或多個虛擬的小工具，所述位置是相隔所述可閱讀的表面一指定的距離及/或方向(例如，圍繞所述可閱讀的表面)，以免干擾到使用者閱讀在所述可閱讀的表面上所寫的內容的能力。在一實施例中，所述虛擬的小工具可被配置以符合在所述可閱讀的表面周圍的一指定的模式。類似地，所揭露的系統可以識別在經由一人工實境裝置的一顯示器元件呈現的視野之內的一靜止的物體(例如，一爐子)，並且作為響應的，可以在所述視野之內接近所述物體的位置的一位置擺置一或多個虛擬的小工具(例如，一虛擬的計時器)(例如，使得所述虛擬的小工具看起來像是依靠所述物體)。
在一實施例中，所揭露的系統可以識別在經由一人工實境裝置的一顯示器元件呈現的視野之內的一漫遊的物體(例如，一人工實境裝置的一使用者的一手臂)，並且作為響應的，可以在所述視野之內的指定接近所述物體的一位置擺置一或多個虛擬的小工具(例如，在所述物體移動時維持所述物體至所述虛擬的小工具的相對位置)。舉另一特定的例子，所揭露的系統可以響應於判斷穿戴一擴增實境裝置的使用者正在移動(例如，走路、跑步、跳舞、或是駕車)，(1)識別在經由所述擴增實境裝置的一顯示器元件呈現的視野之內的一中央區域、以及(2)將一或多個虛擬的小工具定位至所述中央區域之外的一週邊位置(例如，至其側邊)(例如，使得所述虛擬的小工具的位置並不阻礙觀看可能是在所述使用者的移動路徑中的物體)。
本揭露內容的實施例可包含各種類型的人工實境系統、或是結合各種類型的人工實境系統來加以實施。人工實境是一種形式的實境，其在呈現給使用者之前已經用某種方式調整，例如可包含一虛擬實境、一擴增實境、一混合實境、一複合實境、或是其之某種組合及/或衍生。人工實境內容可包含完全是電腦產生的內容、或是結合所捕捉的(例如，真實世界的)內容之電腦產生的內容。所述人工實境內容可包含視訊、音訊、觸覺回授、或是其之某種組合，並且其之任一個都可以用單一通道或是多個通道來加以呈現(例如是產生三維效果給觀看者的立體視訊)。此外，在某些實施例中，人工實境亦可以是和應用程式、產品、配件、服務、或是其之某種組合相關的，其例如被用來在一人工實境中產生內容，且/或否則在一人工實境中被使用(例如，在人工實境中執行活動)。
人工實境系統可以用各種不同的形狀因數及配置來實施。一些人工實境系統可被設計成在無近眼顯示器(NED)下工作。其它人工實境系統可包含NED，其亦提供對真實世界的可見性(例如，圖1中的擴增實境系統100)、或是使得使用者在視覺上沉浸在人工實境中(例如，圖2中的虛擬實境系統200)。儘管一些人工實境裝置可以是獨立的系統，但是其它人工實境裝置可以與外部的裝置通訊及/或協作，以提供人工實境的體驗給使用者。此種外部的裝置的例子包含手持式控制器、行動裝置、桌上型電腦、由使用者穿戴的裝置、由一或多個其他使用者穿戴的裝置、及/或任何其它適當的外部系統。
轉到圖1，擴增實境系統100可包含一具有框架110的眼部穿戴裝置102，所述框架110是被配置以將一左顯示裝置115(A)以及一右顯示裝置115(B)保持在一使用者的眼睛的前面。顯示裝置115(A)及115(B)可以一起或獨立地動作來向使用者呈現一影像或是系列的影像。儘管擴增實境系統100包含兩個顯示器，但是此揭露內容的實施例可以在具有單一NED或是超過兩個NED的擴增實境系統中實施。在某些實施例中，擴增實境系統100可包含一或多個感測器，例如是感測器140。感測器140可以響應於擴增實境系統100的運動來產生測量信號，並且可以是位在框架110的實質任何部分上。感測器140可以代表各種不同的感測機構中的一或多個，例如位置感測器、慣性量測單元(IMU)、深度相機組件、結構發光器及/或偵測器、或是其之任意組合。在某些實施例中，擴增實境系統100可以包括或可以不包含感測器140、或是可包含超過一感測器。在其中感測器140包含IMU的實施例中，所述IMU可以根據來自感測器140的量測信號來產生校準資料。感測器140的例子可包含但不限於加速度計、陀螺儀、磁力儀、其它適當類型的偵測運動的感測器、用於所述IMU的誤差校正的感測器、或是其之某種組合。
在某些例子中，擴增實境系統100亦可包含一具有複數個聲學換能器120(A)至120(J)(統稱為聲學換能器120)的麥克風陣列。聲學換能器120可以代表偵測由聲波引起的氣壓變化的換能器。每一個聲學換能器120可被配置以偵測聲音，並且轉換所偵測到的聲音成為一電子格式(例如，一類比或數位格式)。在圖1中的麥克風陣列例如可包含十個聲學換能器：120(A)及120(B)，其可被設計成置放在使用者的一對應的耳朵內、聲學換能器120(C)、120(D)、120(E)、120(F)、120(G)及120(H)，其可以定位在框架110上的各種位置處、及/或聲學換能器120(I)及120(J)，其可被定位在一對應的圍頸帶105上。在某些實施例中，聲學換能器120(A)至120(J)中的一或多個可被使用作為輸出換能器(例如，揚聲器)。例如，聲學換能器120(A)及/或120(B)可以是耳塞式耳機或是任何其它適當類型的頭戴式耳機或揚聲器。
所述麥克風陣列的聲學換能器120的配置可以變化。儘管擴增實境系統100在圖1中被展示為具有十個聲學換能器120，但是聲學換能器120的數目可以大於或小於十個。在某些實施例中，利用較多數量的聲學換能器120可以增加收集的音訊資訊的量、及/或提高音訊資訊的靈敏度和準確度。相對地，利用較少數量的聲學換能器120可以減少相關的控制器150處理所收集到的音訊資訊所需的計算能力。此外，所述麥克風陣列的每一個聲學換能器120的位置可以變化。例如，一聲學換能器120的位置可包含在使用者上的一界定的位置、在框架110上的一定義的座標、和每一個聲學換能器120相關的一方位、或是其之某種組合。
聲學換能器120(A)及120(B)可被定位在使用者耳朵的不同部分上，例如是在耳廓之後、在耳屏之後、及/或在外耳或耳窩內。或者，除了在耳道內的聲學換能器120之外，還可以有在耳朵上或是耳朵周圍的額外的聲學換能器120。將聲學換能器120定位在使用者的耳道旁可以使得所述麥克風陣列能夠收集有關於聲音如何到達耳道的資訊。藉由將聲學換能器120中的至少兩個定位在使用者頭部的兩側上(例如，作為雙耳麥克風)，擴增實境系統100可以模擬雙耳聽覺，並且圍繞使用者的頭部捕捉3D立體聲場。在某些實施例中，聲學換能器120(A)及120(B)可以經由一有線的連線130來連接至擴增實境系統100，而在其它實施例中，所述聲學換能器120(A)及120(B)可以經由一無線的連線(例如，藍芽連線)來連接至擴增實境系統100。在另外其它實施例中，聲學換能器120(A)及120(B)可以完全不與擴增實境系統100結合使用。在框架110上的聲學換能器120可以用各種不同的方式，包含沿著鏡腿的長度、跨過鼻樑架、在顯示裝置115(A)及115(B)之上或之下、或是其之某種組合來加以定位。聲學換能器120可被定向成使得所述麥克風陣列能夠在穿戴所述擴增實境系統100的使用者周圍的各個方向上偵測聲音。在某些實施例中，在所述擴增實境系統100的製造期間可以執行最佳化程序，以決定每一個聲學換能器120在所述麥克風陣列中的相對定位。
在某些例子中，擴增實境系統100可包含或是連接至一外部的裝置(例如，一配對的裝置)，例如是圍頸帶105。圍頸帶105大致是代表任意類型或形式的配對的裝置。因此，以下關於圍頸帶105的討論亦可以應用於各種其它配對的裝置，例如是充電盒、智慧型手錶、智慧型手機、腕帶、其它可穿戴的裝置、手持控制器、平板電腦、膝上型電腦、其它外部的計算裝置、等等。如圖所示，圍頸帶105可以經由一或多個連接器來耦合至眼部穿戴裝置102。所述連接器可以是有線或無線的，並且可包含電性及/或非電性(例如，結構的)構件。在某些情形中，眼部穿戴裝置102及圍頸帶105可以獨立地運作，而在它們之間沒有任何有線或無線的連線。儘管圖1在眼部穿戴裝置102及圍頸帶105上的範例的位置描繪眼部穿戴裝置102及圍頸帶105的構件，但是所述構件可以是位在眼部穿戴裝置102及/或圍頸帶105的別處，且/或被不同地分布在其上。在某些實施例中，眼部穿戴裝置102及圍頸帶105的構件可以是位在與眼部穿戴裝置102、圍頸帶105配對的一或多個額外的週邊裝置、或是其之某種組合上。配對例如是圍頸帶105的外部裝置與擴增實境的眼部穿戴裝置可以使得所述眼部穿戴裝置能夠達成一副眼鏡的形狀因數，同時仍然提供足夠的電池和計算能力用於擴充的功能。擴增實境系統100的電池容量、計算資源、及/或額外的特點中的某些或全部可以是由一配對的裝置提供的、或是在一配對的裝置以及一眼部穿戴裝置之間共用的，因此減小所述眼部穿戴裝置整體的重量、熱輪廓、以及形狀因數，同時仍然保持所要的功能。例如，圍頸帶105可以容許原本要被納入在眼部穿戴裝置上的構件能夠內含在圍頸帶105中，因為使用者可以在其肩膀上容忍比在其頭上將容忍的重量負荷更重的重量負荷。圍頸帶105亦可具有較大的表面積，以在該表面積上將熱擴散並分散到周圍環境中。因此，圍頸帶105可以容許比在獨立的眼部穿戴裝置上原本可能具有的電池和計算容量更大的電池和計算容量。由於在圍頸帶105中承載的重量可以比在眼部穿戴裝置102中承載的重量對使用者的侵害性更小，因此比起使用者容忍穿戴沉重的獨立的眼睛穿戴裝置，使用者可以更長時間地容忍穿戴較輕的眼睛穿戴裝置並且承載或穿戴配對的裝置，藉此使得使用者能夠更充分地將人工實境環境結合到其日常活動中。
圍頸帶105可以和眼部穿戴裝置102及/或其它裝置通訊地耦合。這些其它裝置可以提供某些功能(例如，追蹤、定位、深度映射、處理、儲存、等等)給擴增實境系統100。在圖1的實施例中，圍頸帶105可包含兩個聲學換能器(例如，120(I)及120(J))，其是所述麥克風陣列的部分(或是潛在地形成其本身的麥克風子陣列)。圍頸帶105亦可包含一控制器125以及一電源135。
圍頸帶105的聲學換能器120(I)及120(J)可被配置以偵測聲音，並且轉換所偵測到的聲音成為一電子格式(類比或數位)。在圖1的實施例中，聲學換能器120(I)及120(J)可被定位在圍頸帶105上，藉此增加在所述圍頸帶的聲學換能器120(I)及120(J)以及定位在眼部穿戴裝置102上的其它聲學換能器120之間的距離。在某些情形中，增加在所述麥克風陣列的聲學換能器120之間的距離可以改善經由所述麥克風陣列執行的波束成形的準確度。例如，若一聲音是藉由聲學換能器120(C)及120(D)偵測的，並且在聲學換能器120(C)及120(D)之間的距離大於例如在聲學換能器120(D)及120(E)之間的距離，則所述偵測到的聲音的判斷的來源位置可以是比藉由聲學換能器120(D)及120(E)偵測到的聲音更準確。
圍頸帶105的控制器125可以處理由在圍頸帶105及/或擴增實境系統100上的感測器產生的資訊。例如，控制器125可以處理來自所述麥克風陣列的資訊，其描述由所述麥克風陣列偵測到的聲音。對於每一個偵測到的聲音，控制器125可以執行到達方向(DOA)的估計，以估計所述偵測到的聲音是從哪個方向到達所述麥克風陣列。當所述麥克風陣列偵測到聲音時，控制器125可以用所述資訊來填充音訊資料集。在其中擴增實境系統100包含慣性量測單元的實施例中，控制器125可以從位在眼部穿戴裝置102上的IMU計算所有慣性及空間的計算。一連接器可以在擴增實境系統100與圍頸帶105之間以及在擴增實境系統100與控制器125之間傳遞資訊。所述資訊可以具有光學資料、電性資料、無線資料、或是任何其它可傳輸的資料形式的形式。將由擴增實境系統100產生的資訊的處理移動到圍頸帶105可以減少眼部穿戴裝置102中的重量及熱，使得其對使用者而言更為舒適。
在圍頸帶105中的電源135可以提供電力給眼部穿戴裝置102及/或圍頸帶105。電源135可包含但不限於鋰離子電池、鋰聚合物電池、一次鋰電池、鹼性電池、或是任何其它形式的電力儲存。在某些情形中，電源135可以是有線的電源。在圍頸帶105上而不是在眼部穿戴裝置102上包含電源135可以有助於更佳的分布由電源135所產生的重量及熱。
如同所指出的，代替混合人工實境與實際的實境的是，一些人工實境系統可以用虛擬體驗來實質取代使用者對真實世界的感官感知中的一或多個。此類型的系統的一個例子是頭戴式顯示器系統，例如在圖2中的虛擬實境系統200，其大部分或完全地覆蓋使用者的視野。虛擬實境系統200可包含一前剛性主體202以及一條帶204，其被成形為適合戴在使用者的頭部周圍。虛擬實境系統200亦可包含輸出音訊換能器206(A)及206(B)。再者，儘管未展示在圖2中，前剛性主體202可包含一或多個電子元件，其包含一或多個電子顯示器、一或多個慣性量測單元(IMU)、一或多個追蹤發射器或偵測器、及/或任何其它適當的用於產生人工實境體驗的裝置或系統。
人工實境系統可包含各種類型的視覺回授機構。例如，在擴增實境系統100及/或虛擬實境系統200中的顯示裝置可包含一或多個液晶顯示器(LCD)、發光二極體(LED)顯示器、microLED顯示器、有機LED(OLED)顯示器、數位光投影(DLP)微顯示器、液晶覆矽(LCoS)微顯示器、及/或任何其它適當類型的顯示器螢幕。這些人工實境系統可包含用於雙眼的單一顯示器螢幕、或是可以為每只眼睛提供一顯示器螢幕，此可以容許為變焦調整或是用於校正使用者的屈光不正提供額外的彈性。某些人工實境系統亦可包含光學子系統，其具有一或多個透鏡(例如，凹透鏡或凸透鏡、菲涅耳透鏡、可調整的液態透鏡、等等)，使用者可以透過其來觀看一顯示器螢幕。這些光學子系統可以用於各種目的，其包含準直(例如，使物體看起來處於比其物理距離更大的距離)、放大(例如，使物體看起來比其實際大小更大)、及/或中繼光(到例如觀看者的眼睛)。這些光學子系統可被用在一非瞳孔形成的架構(例如單一透鏡配置，其直接準直光但是產生所謂的枕形失真)及/或一瞳孔形成的架構(例如多透鏡配置，其產生所謂的桶形失真以抵消枕形失真)。
額外或代替利用顯示器螢幕，在此所述的某些人工實境系統可包含一或多個投影系統。例如，在擴增實境系統100及/或虛擬實境系統200中的顯示裝置可包含微型LED投影機，其投影光(例如利用波導)到顯示裝置中，例如是容許環境光通過的透明組合器透鏡。所述顯示裝置可以折射所述投影的光朝向使用者的瞳孔，並且可以使得使用者能夠同時觀看人工實境內容以及真實世界兩者。所述顯示裝置可以利用各種不同的光學構件的任一種來達成此，其包含波導構件(例如，全息、平面、繞射、偏振、及/或反射的波導元件)、光操縱表面及元件(例如繞射、反射及折射元件及光栅)、耦合元件、等等。人工實境系統亦可被配置有任何其它適當類型或形式的影像投影系統，例如是用在虛擬視網膜顯示器中的視網膜投影機。
在此所述的人工實境系統亦可包含各種類型的電腦視覺構件及子系統。例如，擴增實境系統100及/或虛擬實境系統200可包含一或多個光學感測器，例如是二維(2D)或3D相機、結構光發射器及偵測器、飛行時間深度感測器、單一射束或掃描的雷射測距儀、3D LiDAR感測器、及/或任何其它適當類型或形式的光學感測器。人工實境系統可以處理來自這些感測器中的一或多個的資料，以識別使用者的位置、繪製真實世界的地圖、向使用者提供關於真實世界周圍環境的背景資訊、和/或執行各種其它功能。
在此所述的人工實境系統亦可包含一或多個輸入及/或輸出音訊換能器。輸出音訊換能器可包含音圈揚聲器、帶式揚聲器、靜電揚聲器、壓電揚聲器、骨傳導換能器、軟骨傳導換能器、耳屏振動換能器、及/或任何其它適當類型或形式的音訊換能器。類似地，輸入音訊換能器可包含電容式麥克風、動圈式麥克風、帶狀麥克風、及/或任何其它類型或形式的輸入換能器。在某些實施例中，單一換能器可被使用於音訊輸入及音訊輸出兩者。
在某些實施例中，在此所述的人工實境系統亦可包含觸感(亦即，觸覺)回授系統，其可被納入到頭飾、手套、連體衣、手持式控制器、環境的裝置(例如，椅子、地板墊、等等)、及/或任何其它類型的裝置或系統中。觸覺回授系統可以提供各種類型的皮膚回授，其包含振動、力、牽引力、紋理、及/或溫度。觸覺回授系統亦可以提供各種類型的動覺回授，例如是運動及順應性。觸覺回授可以利用馬達、壓電致動器、流體系統、及/或各種其它類型的回授機構來實施。觸覺回授系統可以獨立於其它人工實境裝置、在其它人工實境裝置之內、及/或結合其它人工實境裝置來實施。
藉由提供觸覺感覺、可聽見的內容、及/或視覺的內容，人工實境系統可以產生整個虛擬體驗或是強化使用者在各種背景和環境中的真實世界體驗。譬如，人工實境系統可以在特定環境內協助或擴展使用者的感知、記憶或認知。某些系統可以強化使用者在真實世界中與其他人的互動、或是可以致能在虛擬世界中與其他人的更多的沉浸式互動。人工實境系統亦可被使用於教育目的(例如，用於學校、醫院、政府組織、軍事組織、商業企業等的教學或訓練)、娛樂目的(例如，用於進行電玩遊戲、聽音樂、觀看視訊內容、等等)、及/或用於可接達目的(例如，作為助聽器、視覺輔助設備、等等)。在此揭露的實施例可以在這些背景及環境中的一或多個中及/或在其它背景及環境中致能或強化使用者的人工實境體驗。
在某些實施例中，一計算系統的一或多個物件(例如，和感測器相關的資料及/或活動資訊)可以是和一或多個隱私設定相關的。這些物件可被儲存在任何適當的計算系統上、或者是和應用程式相關的，例如一社交網絡系統、一客戶端系統、一第三方的系統、一消息傳遞應用程式、一相片分享應用程式、一生物識別資料採集應用程式、一人工實境的應用程式、及/或任何其它適當的計算系統或應用程式。用於一物件的隱私設定(或是“存取設定”)可以用任何適當的方式來儲存；例如是和所述物件相關聯、在一授權伺服器上用一索引、用其它適當的方式、或是用其之適當的組合。用於一物件的一隱私設定可以指明所述物件(或是和所述物件相關的特定資訊)在一應用程式(例如一人工實境的應用程式)之內是如何可被存取、儲存、或以其它方式使用(例如，觀看、共享、修改、複製、執行、顯現、或是識別)。當用於一物件的隱私設定容許一特定的使用者或其它實體存取該物件時，所述物件可被描述為相關該使用者或其它實體“可見的”。舉例而言，一人工實境的應用程式的一使用者可以指明用於一使用者簡檔頁的隱私設定，其指明一組可以利用在所述使用者簡檔頁上的所述人工實境的應用程式資訊的使用者，因此排除其他使用者來利用該資訊。作為另一例子的是，一人工實境的應用程式可以儲存隱私策略/準則。所述隱私策略/準則可以指明何種使用者的資訊可以是可供哪些實體及/或哪些程序存取的(例如，內部的研究、廣告演算法、機器學習演算法)，因此確保只有某些所述使用者的資訊可供某些實體或程序存取。在某些實施例中，用於一物件的隱私設定可以指明一“阻止名單”的使用者或其它實體，其不應該被容許利用和所述物件相關的某些資訊。在某些情形中，所述阻止名單可包含第三方的實體。所述阻止名單可以指明一物件是一或多個使用者或實體看不見的。
和一物件相關的隱私設定可以指明任何適當細微度的容許的存取或是拒絕的存取。舉例而言，存取或是拒絕的存取可以針對於特定的使用者(例如，只有我、我的室友、我的上司)、在一特定的分離度之內的使用者(例如，朋友、朋友的朋友)、使用者群組(例如，遊戲俱樂部、我的家人)、使用者網絡(例如，特定雇主的員工、特定大學的學生或校友)、所有的使用者(“大眾”)、沒有使用者(“私人”)、第三方的系統的使用者、特定的應用程式(例如，第三方的應用程式、外部的網站)、其它適當的實體、或是其之任何適當的組合來加以指明。在某些實施例中，和一使用者相關的相同類型的不同物件可以具有不同的隱私設定。此外，一或多個預設的隱私設定可以針對於一特定的物件類型的每一個物件來加以設定。
來自在此所述的實施例的任一個的特點都可以根據在此所述的一般原理來彼此組合地利用。這些及其它實施例、特點及優點在閱讀以下的詳細說明結合所附的圖式及請求項之際將會更完全瞭解。
以下將會參考圖3至圖8B來提供用於在一人工實境裝置的一顯示器元件之內的一位置擺置一虛擬的元件之電腦實施的方法的詳細說明，所述位置是根據經由所述顯示器元件可見的一或多個觸發元件(例如，物體及/或區域)的一位置而被判斷出的。
圖3是一種用於虛擬的小工具擺置之範例的電腦實施的方法300的流程圖。在圖3中所示的步驟可以藉由任何適當的電腦可執行碼及/或計算系統來加以執行，其包含在圖4中描繪的系統。在一例子中，在圖3中所示的步驟的每一個都可以代表一演算法，其結構包含多個子步驟且/或藉由多個子步驟來加以表示，其例子將會在以下更加詳細地提供。在某些例子中，所述步驟可以藉由一計算裝置來加以執行。此計算裝置可以代表一人工實境裝置，例如是在圖4中描繪的人工實境裝置410。人工實境裝置410大致是代表任意類型或形式的被設計以提供人工實境體驗給使用者的系統，例如是先前相關圖1至圖2所述的系統中的一或多個。額外或是替代地，所述計算裝置可以通訊地耦接至一人工實境裝置(例如，一計算裝置和人工實境裝置410有線或無線的通訊)。相關圖3所述的步驟的每一個可以在一客戶端裝置上執行，且/或可以在和一客戶端裝置通訊的一伺服器上執行。
如同在圖3中所繪，在步驟302，在此所述的系統中的一或多個可以識別在藉由一人工實境裝置的一顯示器元件呈現的一視野之內的一觸發元件。例如，如同在圖4中所繪的，一識別模組402可以識別在藉由一使用者412的一人工實境裝置410的一顯示器元件408呈現的一視野406之內的一觸發元件404。
觸發元件404大致是代表在視野406之內的任意類型或形式的元件(例如，物體或區域)，其可被人工實境裝置410偵測到，並且經由顯示器元件408顯示的(例如，透過其看到的)。觸發元件404可以代表一真實世界的元件(例如，在其中人工實境裝置410代表一擴增實境裝置的實施例中)及/或一虛擬的元件(例如，在其中人工實境裝置410代表一擴增實境裝置及/或一虛擬實境裝置的實施例中)。舉一特定的例子，觸發元件404可代表一可閱讀的表面區域。例如，觸發元件404可代表書、廣告牌、電腦螢幕(如同在圖5A至圖5B中所繪)、麥片盒、地圖、等等。舉另一特定的例子，觸發元件404可代表一靜止的物體。例如，觸發元件404可代表爐子、椅子、手錶、梳子、三明治、建築物、橋樑、等等。圖6是描繪一特定的例子，其中觸發元件404是代表在一爐子旁邊的一流理台。額外或是替代地，觸發元件可代表一移動的物體(例如，如同在圖8A至圖8B中所繪的手臂、汽車、等等)。在某些例子中，觸發元件404可代表在視野406之內的一空間的區域。例如，如同在圖7B中所繪，觸發元件404可代表在視野406之內的一中央區域。在此種例子中，所述觸發區域可以用各種方式來定義(例如，在視野406之內的任何定義的空間的區域)。舉一特定的例子，視野406可被配置為九個正方形的格子，並且中央區域可被定義為對應於在所述格子的中心垂直堆疊的三個正方形的區域。
在某些例子中，觸發元件404可代表先前人工標明為一觸發元件的元件。在這些例子中，在步驟302之前，觸發元件404可以是已經人工標明為一觸發元件，並且識別模組402可以是已經被程式化來識別當在人工實境裝置410的視野406之內偵測到的所述人工標明的觸發元件。舉一特定的例子，在使用者412的一廚房之內的一特定的爐子及/或廚房流理台(如同在圖6中所繪)可能已經被人工指定(例如，經由來自使用者412的使用者輸入)為一觸發元件，並且當所述爐子及/或廚房流理台出現在視野406之內時，識別模組402可以響應於其人工的指定為一觸發元件來識別所述爐子及/或廚房流理台。
在額外或替代的例子中，觸發元件404可代表被分類為一指定類型的元件之元件。在這些例子中，識別模組402可以已經被程式化來識別被分類為所述指定類型的元件，並且由於此程式化而可以識別觸發元件404。舉一特定的例子，識別模組402可以已經被程式化來識別被分類為計算螢幕的元件，並且可以響應於觸發元件404已經被分類為計算螢幕來識別觸發元件404。
在某些例子中，觸發元件404可代表提供一指定功能的元件。在這些例子中，識別模組402可以已經被程式化以識別提供所述指定功能的元件，並且由於此程式化而可以識別觸發元件404。舉一特定的例子，觸發元件404可代表帶有文字的紙張，並且識別模組402可以已經被程式化以識別出現在視野406之內的可閱讀的元件(例如，字母、字詞、等等)。類似地，觸發元件404可代表包含一指定的特點的元件。在這些例子中，識別模組402可以已經被程式化以識別包含所述指定的特點的元件，並且由於此程式化而可以已經識別觸發元件404。舉一特定的例子，觸發元件404可代表一爐子，並且識別模組402可以已經被程式化以識別在視野406之內是靜止的(例如，並未移動的)物體。
在某些實施例中，識別模組402可以響應於偵測到一觸發活動(例如，響應於判斷一觸發活動是正藉由人工實境裝置410的使用者412所執行)來識別觸發元件404。在某些此種例子中，識別模組402可以結合一政策來運作，以響應於判斷某一觸發活動正被執行而偵測到某些觸發元件。舉一特定的例子，識別模組402可被配置以響應於判斷使用者412正在走路、跳舞、跑步、及/或駕車而偵測到某一類型的觸發元件。在一個此種例子中，所述觸發元件可代表(1)一或多個物體被判斷是所述觸發活動的一潛在的障礙(例如，一箱子被定位為在使用者412正在移動的方向上的障礙)、及/或(2)視野406的一指定的區域(例如，一例如是在圖7B中被描繪為觸發元件404的區域的中央區域)。轉到作為一元件響應於一觸發活動而變成一觸發元件的一特定例子的圖7A至圖7B，在圖7A中，其中使用者412是坐著的，視野406的中央區域不可以被認定為觸發元件。然而，當使用者412開始走路時(如所繪在圖7B中)，視野406的中央區域可被認定為一觸發元件。
在識別模組402識別觸發元件404(例如，根據一政策以明確地識別觸發元件404及/或一政策以識別具有和觸發元件404相關的一特點及/或功能的元件)之前，一標記模組可能已經偵測到且分類觸發元件404。所述標記模組可以利用各種技術來偵測及分類例如是觸發元件404的元件。在某些實施例中，所述標記模組可以藉由將視野406的一數位影像之內的每一個像素關聯到一類別標籤(例如，樹、小孩、使用者412的鑰匙、等等)來分割所述數位影像。在某些例子中，所述標記模組可以依賴人工輸入的標籤。額外或是替代地，所述標記模組可以依賴深度學習的網路。在一個此種例子中，所述標記模組可包含一編碼器網路、一解碼器網路。所述編碼器網路可以代表一預先訓練的分類網路。所述解碼器網路可以語義上投影所述編碼器網路所學習的特點至視野406的像素空間，而至例如是觸發元件404的元件。在此例子中，所述解碼器網路可以利用各種方法來分類元件(例如，基於區域的方法、全卷積網路(FCN)方法、等等)。在某些例子中，藉由所述標記模組所分類的元件接著可被使用作為輸入至識別模組402，其可被配置以如上所述地識別某些特定的元件及/或某些類型的元件。
回到圖3，在步驟304，在此所述的系統中的一或多個可以判斷所述觸發元件在視野之內的位置。例如，如同在圖4中所繪的，一判斷模組414可以判斷觸發元件404在視野406之內的位置(亦即，第一位置416)(例如，在視野406的一數位影像之內的一像素或是像素組的座標)。接著，在步驟306，在此所述的系統中的一或多個可以根據所述觸發元件的位置來選擇在所述視野之內的用於一虛擬的小工具的位置。例如，如同在圖4中所繪的，一選擇模組418可以根據觸發元件404的位置(亦即，第一位置416)來選擇在視野406之內的用於一虛擬的小工具422的一位置(例如，一像素或是像素組的座標)(亦即，一第二位置420)。
虛擬的小工具422大致代表由人工實境裝置410所提供的任意類型或形式的具有一或多個虛擬的構件的應用程式。在某些例子中，虛擬的小工具422可以包含可經由人工實境裝置410的顯示器元件408顯示的虛擬的內容(例如，資訊)。在這些例子中，虛擬的小工具422可包含在顯示器元件408之內所呈現的一圖形、一影像、及/或文字及/或藉由其來加以表示(例如，重疊在正被使用者412透過顯示器元件408觀察到的真實世界的物體之上)。在某些例子中，虛擬的小工具422可以提供功能。額外或是替代地，虛擬的小工具422可以藉由使用者412來加以操縱。在這些例子中，虛擬的小工具422可以經由各種使用者輸入來加以操縱(例如，人工實境裝置410的實體的點擊及/或點選、姿勢為基礎的輸入、視線及/或眨眼的輸入、等等)。虛擬的小工具422的特定的例子可包含但不限於日曆小工具、天氣小工具、時鐘小工具、桌面小工具、電子郵件小工具、食譜小工具、社群媒體小工具、股市小工具、新聞小工具、虛擬的計算螢幕小工具、虛擬的計時器小工具、虛擬的文字、可閱讀的表面小工具、等等。
在某些例子中，在觸發元件404的識別之前，虛擬的小工具422可以是在使用中(例如，在內容是經由顯示器元件408顯示下開啟的)。在這些例子中，虛擬的小工具422的擺置可以響應於觸發元件404的識別而改變(亦即，至第二位置420)。轉到圖7A至圖7B以作為一特定的例子，使用者412可能是正在從一虛擬的股市小工具觀看股市資訊，其可以在使用者412坐著時，經由顯示器元件408而被顯示在視野406的一中央區域之內(如同在圖7A中所繪)。接著，使用者412可以開始走路。響應於判斷使用者412正在走路(亦即，響應於偵測到一觸發事件)，識別模組402可以識別在視野406之內的一中央區域(例如，觸發元件404)，並且可以將所述股市資訊移動到一在所述中央區域之外的區域(例如，當所述使用者正在走路時，根據虛擬的內容不妨礙所述使用者的走路路徑的一政策)。
在選擇用於虛擬的小工具422的位置之前(及/或作為其之部分)，選擇模組418可以選擇虛擬的小工具422以用於呈現在顯示器元件408之內(例如，在其中虛擬的小工具422在觸發元件404的識別之前並未在使用的例子中)。選擇模組418可以響應於各種觸發來選擇虛擬的小工具422以用於呈現。在某些例子中，選擇模組418可以響應於識別(例如，偵測到)觸發元件404來選擇虛擬的小工具422以用於呈現。在一個此種例子中，選擇模組418可以結合一政策以響應於識別對應於觸發元件404的一種類型的物件(例如，具有對應於觸發元件404的一特點及/或功能的物件)來呈現虛擬的小工具422、及/或結合一政策以響應於特定地識別觸發元件404來呈現虛擬的小工具422來運作。
舉一特定的例子，選擇模組418可以根據任何時候在視野406之內偵測到一爐子時選擇一虛擬的計時器以用於呈現的一政策，響應於識別一爐子來選擇所述虛擬的計時器小工具(例如，如同在圖6中所繪)以用於呈現。舉另一特定的例子，選擇模組418可以根據任何時候在視野406之內偵測到使用者412的辦公桌時選擇一記事本小工具以用於呈現的一政策，來響應於識別使用者412的辦公桌以選擇所述記事本小工具。
在某些例子中，一政策可以有一額外的觸發標準以用於選擇虛擬的小工具422以用於呈現(例如，除了觸發元件404的識別之外)。回到在所述辦公桌上的記事本小工具的例子，任何時候在視野406之內偵測到使用者412的辦公桌時選擇所述記事本小工具以用於呈現的所述政策可以指明只有在某些時間之間(例如，只有在營業時間之間)才選擇所述記事本以用於呈現。在額外或替代實施例中，選擇模組418可以響應於識別使用者412的一環境(例如，使用者412的廚房、使用者412的辦公室、汽車、戶外、大峽谷、等等)及/或正由使用者412所執行的一活動(例如，閱讀、烹飪、跑步、駕車、等等)，來選擇虛擬的小工具422以用於呈現。舉一特定的例子，選擇模組418可以響應於判斷使用者412正在準備咖啡，來選擇一虛擬的計時器小工具以用於在視野406中呈現在一咖啡機之上。舉另一特定的例子，選擇模組418可以響應於判斷使用者412已經打開冰箱(例如，尋找食材)及/或在爐子處(例如，如同在圖6中所繪)，來選擇在一食譜中(例如，來自一食譜小工具)的一虛擬的食材表列以用於呈現。舉另一特定的例子，選擇模組418可以響應於判斷使用者412正坐在一辦公桌前，來選擇一日曆小工具以用於呈現在所述辦公桌的頂端上。舉另一特定的例子，選擇模組418可以響應於判斷使用者412已經進到使用者412的衣櫥，來選擇一虛擬的天氣小工具。舉另一特定的例子，選擇模組418可以響應於判斷使用者412正在跑步，來選擇一虛擬的心臟監視小工具。
在某些實施例中，選擇模組418可以響應於接收使用者輸入以選擇虛擬的小工具422，來選擇虛擬的小工具422以用於呈現。在某些此種實施例中，所述使用者輸入可以直接請求虛擬的小工具422的選擇。例如，所述使用者輸入可以經由點擊、點選、姿勢、及/或眨眼及/或注視輸入，來選擇和虛擬的小工具422相關的一圖像(例如，如同在圖8A中所繪，從在顯示器元件408之內顯示的一選集的圖像)。在其它例子中，所述使用者輸入可以間接請求虛擬的小工具422的選擇。例如，所述使用者輸入可代表一口語的詢問及/或命令，對於其的響應是包含虛擬的小工具422的選擇。舉一特定的例子，虛擬的小工具422可代表一食譜小工具，並且選擇模組418可以響應於從使用者412接收一說出“我之前看的食譜的食材是什麼？”的口語的命令，來選擇虛擬的小工具422。
選擇模組418可以用各種方式來選擇用於虛擬的小工具422的位置(亦即，第二位置420)。在某些例子中，選擇模組418可以針對於第二位置420選擇一位置是相隔第一位置416(亦即，觸發元件404的位置)一指定的距離。舉一特定的例子，在其中觸發元件404代表一可閱讀的表面的例子中(例如，如同在圖5A及5B中所繪)，選擇模組418可以選擇一位置是相隔所述可閱讀的表面一指定的距離，使得虛擬的小工具422並不防礙在顯示器元件408之內的所述可閱讀的表面的觀看。額外或是替代地，選擇模組418可以針對於第二位置420選擇一位置是在第一位置416的一指定的方向。例如(例如在其中觸發元件404代表一例如是桌子的靜止的物體的例子中)，選擇模組418可以選擇位置是(1)高於觸發元件404的位置，並且(2)相隔觸發元件404一指定的距離，使得虛擬的小工具422看起來像是靠在視野406之內的觸發元件404的頂端上。轉到圖6作為一特定的例子，觸發元件404可以代表一爐子及/或一爐子旁邊的一工作台面(例如，其是在使用者412的廚房之內偵測到的)，虛擬的小工具422可以代表一虛擬的廚房計時器，並且選擇模組418可被配置以選擇用於所述虛擬的廚房計時器的位置，其給予外觀是所述虛擬的廚房計時器靠在所述爐子及/或所述工作台面上。
舉另一特定的例子，在其中虛擬的小工具422是代表一物體被判斷為一觸發活動的一潛在的障礙的例子中(例如，走路、跳舞、跑步、駕車、等等)，選擇模組418可被配置以選擇用於虛擬的小工具422的位置，其是在視野406之內相隔一區域(例如，一中央區域)一預設的距離及/或方向。例如，選擇模組418可被配置以選擇用於虛擬的小工具422的位置，其是相隔一指定的中央區域一預設的距離及/或方向(例如，以免妨礙例如走路、跳舞、跑步、駕車、等等的觸發活動及/或使其不安全的)。在其中觸發元件404代表一靜態物體及/或一靜態區域的例子中，所述被判斷用於虛擬的小工具422的位置亦可以是靜態的。在其中觸發元件404代表一漫遊的物體及/或區域的例子中，所述被判斷用於虛擬的小工具422的位置可以是動態的(例如，虛擬的小工具422相對觸發元件404的關係的位置可以是固定的，使得虛擬的小工具422的絕對的位置是隨著觸發元件404移動而移動，但是虛擬的小工具422相對於觸發元件404的位置並不移動)，即如同將會相關步驟308來論述的。
回到圖3，在步驟308，在此所述的系統中的一或多個可以經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具(例如，在所選的位置將所述虛擬的小工具卡入定位)。例如，如同在圖4中所繪的，一呈現模組424可以經由顯示器元件408在所選的位置(亦即，第二位置420)呈現虛擬的小工具422。在某些例子中，識別模組402可以偵測觸發元件404在視野406之內的位置上的改變。此改變可能是因為觸發元件404已經移動、或是因為使用者412已經移動(因而移位視野406)而發生的。在這些例子中，呈現模組424可以改變虛擬的小工具422的位置(亦即，第二位置420)，使得(1)虛擬的小工具422在視野406之內的位置改變，但是(2)虛擬的小工具422相對於觸發元件404的位置維持相同的。
除了自動地選擇用於虛擬的小工具422的位置之外，所揭露的系統及方法在某些例子中可以致能經由使用者輸入的虛擬的小工具422的人工的定位。在一例子中，一夾住姿勢可以致能抓起虛擬的小工具422並且在一新的位置放下虛擬的小工具422(亦即，“拖放的定位”)。在另一例子中，對於一按鈕的觸碰輸入可以觸發虛擬的小工具422以在一使用者在空間中移動時跟隨著所述使用者(亦即，“跟隨的定位”)。在此例子中，虛擬的小工具422可以響應於人工實境裝置410接收所述觸碰輸入而變成基於顯示參考的。此使用者跟隨可以響應於額外的觸碰輸入至一按鈕及/或使用者拖動輸入而終止。在另一例子中，一使用者姿勢(例如，一使用者在一頭戴式裝置的前攝影機展示他或她的左手掌)可以觸發所述顯示器的一主選單。在此例子中，使用者點擊輸入在所述主選單之內顯示的和虛擬的小工具422相關的一圖像可以觸發虛擬的小工具422不被顯示、或是被顯示在一非主動的位置(例如，至所述螢幕的側邊、至一使用者的手的一指定的側邊、等等)。
在某些例子中，所揭露的系統及方法可以致能使用者412能夠將虛擬的小工具加入一用於虛擬的小工具428的使用者策劃的數位容器426。在這些例子中，呈現模組424可以至少部分響應於判斷虛擬的小工具422已經被加入使用者策劃的數位容器426，來呈現虛擬的小工具422。在某些此種例子中，數位容器426的虛擬的小工具428(例如，一虛擬的小工具的一圖像)可被呈現在視野406之內的一指定的區域中(例如，一非中央的指定的區域)。例如，數位容器426的虛擬的小工具428可被顯示在視野406的一指定的角落中。在某些實施例中，用於內含在數位容器426之內的每一個小工具的一圖像(例如，一細節層次低的圖像)可以在視野406之內被定位在使用者412的某一身體部分之上，例如是使用者412的一前臂或是一手腕之上(例如，就像是內含在一手腕包及/或前臂包中)，即如同在圖8A中所繪。(在此例子中，如同在圖8B中所示，一圖像可以響應於使用者選擇而在數位容器之內被展開以顯示一對應的虛擬的小工具的完整內容及/或完整功能，並且藉由使用者輸入，例如是使用者輸入到如同在圖8B中所繪的一最小化元件800而收合起來)。
在其中虛擬的小工具被儲存在一數位容器內的實施例中，每次使用者412移動離開一目前的位置時，每一個小工具都可以自動地從其目前在視野406之內的位置被移除，並且可以用一圖像的形式來附接至所述數位容器(例如，被顯示在所述指定的角落中及/或在使用者412的指定的身體的部分之上)。額外或是替代地，使用者412可被致能以在離開一目前的位置之前(例如，在離開一房間之前)將小工具加入所述數位容器(例如，“收好一虛擬的手腕包”)。當使用者412到達新的位置時，小工具在某些例子中可以自動地被擺置於藉由在所述新的位置偵測到的物體、及/或偵測到的所述使用者的行為所觸發的位置中。額外或是替代地，使得小工具在所述數位容器中可以致能使用者214能夠輕易地從所述數位容器存取(例如，“拉動”)一相關的虛擬的小工具以在所述新的位置觀看。
在某些例子中，並不是顯示內含在數位容器426中的每一個虛擬的小工具的一圖像(例如，在一指定的角落中、及/或在使用者412的指定的身體部分之上)，所揭露的系統及方法可以自動地選擇一指定的子集合的虛擬的小工具(例如，三個虛擬的小工具)，以針對其而在所述數位容器顯示器中包含一圖像。在這些例子中，所揭露的系統及方法可以根據在所述使用者的位置偵測到的物體及/或根據偵測到的所述使用者的行為，來選擇在所述顯示器中要包含哪些虛擬的小工具(例如，在所述指定的角落中及/或在所述身體部分上)。
如上所述，所揭露的系統及方法是提供用於人工實境顯示器的介面，其可以在人們在空間中移動時適應環境變化。此與被配置以停留在一固定的位置直到被使用者手動地移動或重新實例化為止的人工實境顯示器形成鮮明對比。適應性顯示器是藉由從使用者移開使用者介面轉換的負擔至所述裝置來改善人工實境計算裝置。在某些例子中，所揭露的適應性顯示器可以在不同層次的自動化及/或可控制性下加以配置(例如，省力手動的、半自動的、及/或全自動的)，此致能自動化及可控制性的平衡。在某些例子中，不完美的情境意識可以藉由在一訓練階段期間引入具有不同成本的預測誤差以校正其來加以模擬。
一人工實境裝置(例如，擴增實境眼鏡)是致能使用者能夠在數位擴增下和其日常的實體世界互動。然而，隨著使用者全天實行不同的工作，所述使用者的資訊需要隨時隨地改變。並不是主要或唯一地依賴使用者的努力以找出及開啟具有在一給定的時間所需的資訊的應用程式，所揭露的系統及方法可以根據一或多個情境觸發來預測使用者在一給定的時間所需的資訊，並且顯現對應的功能。利用人工實境系統的預測以及自動化功能，本申請案是提供機制以隨著人們在空間中移動，而在空間上通過人工實境使用者介面。此外，所揭露的系統及方法可以(根據情境觸發)完全或部分地自動化人工實境元件在人工實境顯示器之內的擺置。
範例實施例
實例1：一種電腦實施的方法可包含(1)識別在藉由一人工實境裝置的一顯示器元件呈現的一視野之內的一觸發元件、判斷所述觸發元件在所述視野之內的一位置、根據所述觸發元件的位置來選擇在所述視野之內用於一虛擬的小工具的一位置、經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
實例2：如實例1之電腦實施的方法，其中選擇用於所述虛擬的小工具的所述位置是包含選擇相隔所述觸發元件的一指定的距離的一位置。
實例3：如實例1至2之電腦實施的方法，其中選擇用於所述虛擬的小工具的所述位置是包含選擇相對於所述觸發元件的一指定的方向的一位置。
實例4：如實例1至3之電腦實施的方法，其中所述方法進一步包含(1)偵測在所述觸發元件在所述視野之內的位置上的一改變、以及(2)改變所述虛擬的小工具的位置，使得(i)所述虛擬的小工具在所述視野之內的位置改變，但是(ii)所述虛擬的小工具相對於所述觸發元件的位置維持相同的。
實例5：如實例1至4之電腦實施的方法，其中識別所述觸發元件是包含識別人工地標明為一觸發元件的一元件、提供一指定的功能的一元件、及/或包含一指定的特點的一元件。
實例6：如實例1至5之電腦實施的方法，其中(1)所述觸發元件包含及/或代表一可閱讀的表面，並且(2)選擇在所述顯示器元件之內的用於所述虛擬的小工具的所述位置是包含選擇相隔所述可閱讀的表面的一指定的距離的一位置，使得所述虛擬的小工具並不阻礙在所述顯示器元件之內的所述可閱讀的表面的觀看。
實例7：如實例6之電腦實施的方法，其中所述可閱讀的表面包含及/或代表一電腦螢幕。
實例8：如實例7之電腦實施的方法，其中(1)所述觸發元件包含及/或代表一靜止的物體，並且(2)選擇在所述視野之內的用於所述虛擬的小工具的所述位置是包含選擇一位置，其是(i)高於所述觸發元件的位置，並且(ii)相隔所述觸發元件的一指定的距離，使得所述虛擬的小工具在藉由所述顯示器元件呈現的所述視野之內看起來像是靠在所述觸發元件的頂端上。
實例9：如實例8之電腦實施的方法，其中(1)所述虛擬的小工具包含及/或代表一虛擬的廚房計時器，並且(2)所述觸發元件包含及/或代表一爐子。
實例10：如實例1至9之電腦實施的方法，其中識別所述觸發元件是包含響應於判斷一觸發活動正藉由所述人工實境裝置的一使用者執行來識別所述觸發元件。
實例11：如實例10之電腦實施的方法，其中(1)所述觸發活動包含及/或代表走路、跳舞、跑步、或是駕車中的至少一個，(2)所述觸發元件包含及/或代表(i)一或多個被判斷為所述觸發活動的一潛在的障礙的物體、及/或(ii)所述視野的一指定的中央區域，並且(3)選擇用於所述虛擬的小工具的所述位置是包含(i)選擇一位置是相隔所述一或多個物體一預設的距離或是一預設的方向中的至少一個、及/或(ii)選擇一位置是相隔所述指定的中央區域一預設的距離或是一預設的方向中的至少一個。
實例12：如實例1至11之電腦實施的方法，其中選擇在所述視野之內的所述位置是包含響應於識別所述觸發元件、所述人工實境裝置的一使用者的一環境、及/或一活動正藉由所述人工實境裝置的所述使用者執行，以選擇所述虛擬的小工具以用於經由所述顯示器元件來呈現。
實例13：如實例12之電腦實施的方法，其中選擇在所述視野之內的所述位置是包含響應於識別所述觸發元件來選擇所述虛擬的小工具以用於呈現所述虛擬的小工具，其包含經由所述顯示器元件以根據(1)響應於識別對應於所述觸發元件的一種類型的物體來呈現所述虛擬的小工具的一政策、及/或(2)響應於識別所述觸發元件來呈現所述虛擬的小工具的一政策來呈現。
實例14：如實例1至13之電腦實施的方法，其中所述電腦實施的方法進一步包含在識別所述觸發元件之前，將所述虛擬的小工具加入用於虛擬的小工具的一使用者策劃的數位容器，其中呈現所述虛擬的小工具包含響應於判斷所述虛擬的小工具已經被加入所述使用者策劃的數位容器來呈現所述虛擬的小工具。
實例15：一種用於實施上述的方法之系統可包含至少一物理處理器以及包含電腦可執行的指令的物理記憶體，當所述指令藉由所述物理處理器執行時，其使得所述物理處理器(1)識別在藉由一人工實境裝置的一顯示器元件呈現的一視野之內的一觸發元件、(2)判斷所述觸發元件在所述視野之內的一位置、(3)根據所述觸發元件的位置來選擇在所述視野之內用於一虛擬的小工具的一位置、以及(4)經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
實例16：如實例15之系統，其中選擇用於所述虛擬的小工具的所述位置是包含選擇相對於所述觸發元件的一指定的方向的一位置。
實例17：如實例15至16之系統，其中選擇用於所述虛擬的小工具的所述位置是包含選擇相對於所述觸發元件的一指定的方向的一位置。
實例18：如實例15至17之系統，其中(1)所述觸發元件包含及/或代表一可閱讀的表面，並且(2)選擇在所述顯示器元件之內的用於所述虛擬的小工具的所述位置是包含及/或代表選擇相隔所述可閱讀的表面的一指定的距離的一位置，使得所述虛擬的小工具並不阻礙在所述顯示器元件之內的所述可閱讀的表面的觀看。
實例19：如實例15至18之系統，其中(1)所述觸發元件包含及/或代表一靜止的物體，並且(2)選擇在所述視野之內的用於所述虛擬的小工具的所述位置包含選擇一位置，其是(i)高於所述觸發元件的位置，並且(ii)相隔所述觸發元件的一指定的距離，使得所述虛擬的小工具在藉由所述顯示器元件呈現的所述視野之內看起來像是靠在所述觸發元件的頂端上。
實例20：一種非暫態的電腦可讀取媒體可包含一或多個電腦可讀取指令，當所述指令藉由一計算裝置的至少一處理器執行時，其使得所述計算裝置(1)識別在藉由一人工實境裝置的一顯示器元件呈現的一視野之內的一觸發元件、(2)判斷所述觸發元件在所述視野之內的一位置、(3)根據所述觸發元件的位置來選擇在所述視野之內用於一虛擬的小工具的一位置、以及(4)經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
如同在以上詳述的，在此敘述及/或描繪的計算裝置及系統是廣泛地代表任意類型或形式的能夠執行電腦可讀取指令之計算裝置或系統，例如是那些內含於在此所述的模組之內者。在其最基本的配置中，這些計算裝置分別可包含至少一記憶體裝置(例如，在圖4中的記憶體430)以及至少一物理處理器(例如，在圖4中的物理處理器432)。
在某些例子中，所述術語"記憶體裝置"一般是指任意類型或形式的揮發性或非揮發性儲存裝置或媒體，其能夠儲存資料及/或電腦可讀取指令。在一例子中，一記憶體裝置可以儲存、載入及/或維持在此所述的模組中的一或多個。記憶體裝置的例子是包含但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、硬碟機(HDD)、固態硬碟(SSD)、光碟機、快取、其中的一或多個的變化或組合、或是任何其它適當的儲存記憶體。
在某些例子中，所述術語"物理處理器"一般是指任意類型或形式的硬體實施的處理單元，其能夠解譯及/或執行電腦可讀取指令。在一例子中，一物理處理器可以存取及/或修改在上述的記憶體裝置中儲存的一或多個模組。物理處理器的例子是包含但不限於微處理器、微控制器、中央處理單元(CPU)、實施軟核心處理器的現場可程式化的閘陣列(FPGA)、特殊應用積體電路(ASIC)、其中的一或多個的部分、其中的一或多個的變化或組合、或是任何其它適當的物理處理器。
儘管被描繪為個別的元件，在此敘述及/或描繪的模組可以代表單一模組或應用程式的部分。此外，在某些實施例中，這些模組中的一或多個可以代表一或多個軟體應用程式，當藉由一計算裝置執行時，其可以使得所述計算裝置執行一或多個工作。例如，在此敘述及/或描繪的模組中的一或多個可以代表被儲存並且配置以於在此敘述及/或描繪的計算裝置或系統中的一或多個上執行的模組。這些模組中的一或多個亦可以代表被配置以執行一或多個工作的一或多個特殊用途的電腦的全部或部分。
此外，在此所述的模組中的一或多個可以從一形式至另一形式地轉換資料、物理裝置及/或物理裝置的表示。例如，在此闡述的模組中的一或多個可以接收待被轉換的視覺的輸入、轉換所述視覺的輸入成為所述視覺的輸入的一數位表示、以及使用所述轉換的結果來識別在一數位顯示器之內用於一虛擬的小工具的一位置。額外或是替代地，在此闡述的模組中的一或多個可以藉由在所述計算裝置上執行、在所述計算裝置上儲存資料、及/或以其它方式和所述計算裝置互動，來從一形式至另一形式地轉換處理器、揮發性記憶體、非揮發性記憶體、及/或一物理計算裝置的任何其它部分。
在某些實施例中，所述術語"電腦可讀取媒體"一般是指任何形式的裝置、載波、或是媒體，其能夠儲存或載有電腦可讀取指令。電腦可讀取媒體的例子是包含但不限於發送類型的媒體(例如載波)、以及非暫態類型的媒體(例如磁性儲存媒體(例如，硬碟機、碟帶機、以及軟碟片))、光學儲存媒體(例如，光碟(CD)、數位視頻光碟(DVD)、以及藍光光碟)、電子儲存媒體(例如，固態硬碟及快閃媒體)、以及其它分散系統。
在此敘述及/或描繪的程序參數以及步驟的順序是舉例給出的而已，並且可以根據需要而被改變。例如，儘管在此描繪及/或敘述的步驟可以用一特定的順序而被展示或論述，但是這些步驟並不一定需要用所描繪或論述的順序來執行。在此敘述及/或描繪的各種範例的方法亦可以省略在此敘述或描繪的步驟中的一或多個、或是包含除了那些揭露的以外的額外步驟。
先前的說明已經被提供以致能其他熟習此項技術者能夠最佳的利用在此揭露的範例實施例的各種特點。此範例的說明並不欲為窮舉的、或是被限制為任何所揭露的精確形式。許多修改及變化是可能的，而不脫離本揭露內容的精神及範疇。在此揭露的實施例應該在所有方面都被視為舉例說明的，而非限制性的。在判斷本揭露內容的範疇上應該參考到任何被附加至此的請求項及其等同物。
除非另有指出，否則如同在所述說明書及/或請求項所用的術語"連接至"以及"耦接至"(及其衍生詞)將被解釋為允許直接以及間接的(亦即，經由其它元件或構件)連接。此外，如同在所述說明書及/或請求項所用的術語"一"或是"一個"將被解釋為表示"至少一個"。最後，為了便於使用，如同在所述說明書及/或請求項所用的術語"包含"以及"具有"(及其衍生詞)是和所述字詞"包括"可互換的並且具有相同的意義。
100:擴增實境系統 102:眼部穿戴裝置 105:圍頸帶 110:框架 115(A):左顯示裝置 115(B):右顯示裝置 120、120(A)至120(J):聲學換能器 125:控制器 130:有線的連線 135:電源 140:感測器 200:虛擬實境系統 202:前剛性主體 204:條帶 206(A)、206(B):輸出音訊換能器 300:電腦實施的方法 302:步驟 304:步驟 306:步驟 308:步驟 400:系統 402:識別模組 404:觸發元件 406:視野 408:顯示器元件 410:人工實境裝置 412:使用者 414:判斷模組 416:第一位置 418:選擇模組 420:第二位置 422:虛擬的小工具 424:呈現模組 426:使用者策劃的數位容器 428:虛擬的小工具 430:記憶體 432:物理處理器 800:最小化元件
所附圖式是描繪一些範例實施例並且是說明書的一部分。這些圖式是和以下的說明一起證明及解說本揭露內容的各種原理。
[圖1]是可以關連此揭露內容的實施例而被使用的範例的擴增實境眼鏡的圖示。
[圖2]是可以關連此揭露內容的實施例而被使用的一範例的虛擬實境的頭戴式裝置的圖示。
[圖3]是一種用於在一人工實境顯示器之內的數位小工具擺置之範例的方法的流程圖。
[圖4]是一種用於在一人工實境顯示器之內的數位小工具擺置之範例的系統的圖示。
[圖5A]至[圖5B]是一擴增實境的環境的圖示，其中數位小工具被擺置在所述環境之內。
[圖6]是一額外的擴增實境的環境的圖示，其中數位小工具被擺置在所述環境之內。
[圖7A]至[圖7B]是一額外的擴增實境的環境的圖示，其中數位小工具被擺置在所述環境之內。
[圖8A]至[圖8B]是一擴增實境的環境的圖示，其中數位小工具圖像被擺置在所述環境之內。
在整個所述圖式，相同的元件符號及說明是指出類似、但不一定是相同的元件。儘管在此所述的範例實施例容易有各種的修改以及替代的形式，但是特定實施例已經在圖式中舉例展示並且將會在此詳細地描述。然而，在此所述的範例實施例並不欲受限於所揭露的特定形式。而是，本揭露內容涵蓋所有落入所附請求項的範疇內的修改、等同物及替換物。
300:電腦實施的方法
302:步驟
304:步驟
306:步驟
308:步驟

Claims (20)

  1. 一種電腦實施的方法，其包括： 識別在由人工實境裝置的顯示器元件呈現的視野之內的觸發元件； 判斷所述觸發元件在所述視野之內的位置； 根據所述觸發元件的位置來選擇在所述視野之內用於虛擬的小工具的位置；以及 經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
  2. 如請求項1之電腦實施的方法，其中選擇用於所述虛擬的小工具的位置包括選擇相隔所述觸發元件的指定的距離的位置。
  3. 如請求項1之電腦實施的方法，其中選擇用於所述虛擬的小工具的位置包括選擇相對於所述觸發元件的指定的方向的位置。
  4. 如請求項1之電腦實施的方法，其進一步包括： 偵測在所述觸發元件在所述視野之內的位置上的改變；以及 改變所述虛擬的小工具的位置，使得(1)所述虛擬的小工具在所述視野之內的位置改變，但是(2)所述虛擬的小工具相對於所述觸發元件的位置維持相同。
  5. 如請求項1之電腦實施的方法，其中識別所述觸發元件包括識別以下的至少一個： 人工地標明為所述觸發元件的元件； 提供指定的功能的元件；或是 包含指定的特點的元件。
  6. 如請求項1之電腦實施的方法，其中： 所述觸發元件包括可閱讀的表面；以及 選擇在所述顯示器元件之內的用於所述虛擬的小工具的位置包括選擇相隔所述可閱讀的表面的指定的距離的位置，使得所述虛擬的小工具並不阻礙在所述顯示器元件之內的所述可閱讀的表面的觀看。
  7. 如請求項6之電腦實施的方法，其中所述可閱讀的表面包括電腦螢幕。
  8. 如請求項1之電腦實施的方法，其中： 所述觸發元件包括靜止的物體；以及 選擇在所述視野之內的用於所述虛擬的小工具的位置包括選擇一位置，其(1)高於所述觸發元件的位置並且(2)相隔所述觸發元件的指定的距離，使得所述虛擬的小工具在由所述顯示器元件呈現的所述視野之內看起來像是靠在所述觸發元件的頂端上。
  9. 如請求項8之電腦實施的方法，其中(1)所述虛擬的小工具包括虛擬的廚房計時器，並且(2)所述觸發元件包括爐子。
  10. 如請求項1之電腦實施的方法，其中識別所述觸發元件包括響應於判斷觸發活動正由所述人工實境裝置的使用者執行來識別所述觸發元件。
  11. 如請求項10之電腦實施的方法，其中： 所述觸發活動包括走路、跳舞、跑步、或是駕車中的至少一個； 所述觸發元件包括(1)被判斷為所述觸發活動的潛在的障礙的一或多個物體、或是(2)所述視野的指定的中央區域中之至少一者；以及 選擇用於所述虛擬的小工具的位置包括以下的至少一個：(1)選擇位置是相隔所述一或多個物體預設的距離或是預設的方向中之至少一者、或是(2)選擇位置是相隔所述指定的中央區域預設的距離或是預設的方向中之至少一者。
  12. 如請求項1之電腦實施的方法，其中選擇在所述視野之內的用於所述虛擬的小工具的位置包括響應於識別所述觸發元件、所述人工實境裝置的使用者的環境、或是活動正由所述人工實境裝置的所述使用者執行中之至少一者，以選擇所述虛擬的小工具以用於經由所述顯示器元件來呈現。
  13. 如請求項12之電腦實施的方法，其中選擇所述虛擬的小工具以用於經由所述顯示器元件來呈現包括根據以下的至少一個來選擇所述虛擬的小工具： 響應於識別對應於所述觸發元件的一種類型的物體來呈現所述虛擬的小工具的政策；或是 響應於識別所述觸發元件來呈現所述虛擬的小工具的政策。
  14. 如請求項1之電腦實施的方法，其進一步包括在識別所述觸發元件之前，將所述虛擬的小工具加入用於虛擬的小工具的使用者策劃的數位容器，其中呈現所述虛擬的小工具包括響應於判斷所述虛擬的小工具已經被加入所述使用者策劃的數位容器來呈現所述虛擬的小工具。
  15. 一種系統，其包括： 至少一物理處理器；以及 物理記憶體，其包括電腦可執行指令，當所述電腦可執行指令由所述物理處理器執行時，使得所述物理處理器： 識別在由人工實境裝置的顯示器元件呈現的視野之內的觸發元件； 判斷所述觸發元件在所述視野之內的位置； 根據所述觸發元件的位置來選擇在所述視野之內用於虛擬的小工具的位置；以及 經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
  16. 如請求項15之系統，其中選擇用於所述虛擬的小工具的位置包括選擇相隔所述觸發元件的指定的距離的位置。
  17. 如請求項15之系統，其中選擇用於所述虛擬的小工具的位置包括選擇相對於所述觸發元件的指定的方向的位置。
  18. 如請求項15之系統，其中： 所述觸發元件包括可閱讀的表面；以及 選擇在所述顯示器元件之內的用於所述虛擬的小工具的位置包括選擇相隔所述可閱讀的表面的指定的距離的位置，使得所述虛擬的小工具並不阻礙在所述顯示器元件之內的所述可閱讀的表面的觀看。
  19. 如請求項15之系統，其中： 所述觸發元件包括靜止的物體；以及 選擇在所述視野之內的用於所述虛擬的小工具的位置包括選擇一位置，其(1)高於所述觸發元件的位置，並且(2)相隔所述觸發元件的指定的距離，使得所述虛擬的小工具在由所述顯示器元件呈現的所述視野之內看起來像是靠在所述觸發元件的頂端上。
  20. 一種非暫態的電腦可讀取媒體，其包括一或多個電腦可讀取指令，當所述一或多個電腦可讀取指令藉由計算裝置的至少一處理器執行時，其使得所述計算裝置： 識別在由人工實境裝置的顯示器元件呈現的視野之內的觸發元件； 判斷所述觸發元件在所述視野之內的位置； 根據所述觸發元件的位置來選擇在所述視野之內用於虛擬的小工具的位置；以及 經由所述顯示器元件以在所選的位置呈現所述虛擬的小工具。
TW111128995A 2021-08-11 2022-08-02 人工實境顯示器內的動態小工具擺置 TW202311814A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163231940P 2021-08-11 2021-08-11
US63/231,940 2021-08-11
US17/747,767 US20230046155A1 (en) 2021-08-11 2022-05-18 Dynamic widget placement within an artificial reality display
US17/747,767 2022-05-18

Publications (1)

Publication Number Publication Date
TW202311814A true TW202311814A (zh) 2023-03-16

Family

ID=85177957

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111128995A TW202311814A (zh) 2021-08-11 2022-08-02 人工實境顯示器內的動態小工具擺置

Country Status (3)

Country Link
US (1) US20230046155A1 (zh)
CN (1) CN117813572A (zh)
TW (1) TW202311814A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230410437A1 (en) * 2022-06-15 2023-12-21 Sven Kratz Ar system for providing interactive experiences in smart spaces

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment

Also Published As

Publication number Publication date
CN117813572A (zh) 2024-04-02
US20230046155A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US11055056B1 (en) Split system for artificial reality
US10909405B1 (en) Virtual interest segmentation
US10831267B1 (en) Systems and methods for virtually tagging objects viewed by friends and influencers
KR20210091739A (ko) 인공 현실 인터페이스들에 대한 현실-세계 객체들을 추적하는 모드들 사이를 전환하기 위한 시스템들 및 방법들
US11150800B1 (en) Pinch-based input systems and methods
US20210081047A1 (en) Head-Mounted Display With Haptic Output
US11638870B2 (en) Systems and methods for low-latency initialization of streaming applications
CN117795461A (zh) 用于电子设备的对象放置
TW202311814A (zh) 人工實境顯示器內的動態小工具擺置
US10983591B1 (en) Eye rank
WO2023192254A1 (en) Attention-based content visualization for an extended reality environment
US11659043B1 (en) Systems and methods for predictively downloading volumetric data
US20230053497A1 (en) Systems and methods for performing eye-tracking
WO2023014622A1 (en) Systems and methods for creating sharable media albums
US10852820B1 (en) Gaze-based virtual content control
WO2022066459A1 (en) Synchronization in a multiuser experience
WO2023018827A1 (en) Dynamic widget placement within an artificial reality display
US20240078768A1 (en) System and method for learning and recognizing object-centered routines
US20240053817A1 (en) User interface mechanisms for prediction error recovery
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video
US20240069939A1 (en) Refining context aware policies in extended reality systems
US20220405361A1 (en) Systems and methods for correcting data to match user identity
US20240071014A1 (en) Predicting context aware policies based on shared or similar interactions
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20230316671A1 (en) Attention-based content visualization for an extended reality environment