TW202206978A - 用於擴展現實的隱私控制介面 - Google Patents

用於擴展現實的隱私控制介面 Download PDF

Info

Publication number
TW202206978A
TW202206978A TW110124004A TW110124004A TW202206978A TW 202206978 A TW202206978 A TW 202206978A TW 110124004 A TW110124004 A TW 110124004A TW 110124004 A TW110124004 A TW 110124004A TW 202206978 A TW202206978 A TW 202206978A
Authority
TW
Taiwan
Prior art keywords
privacy
control interface
virtual
user
physical environment
Prior art date
Application number
TW110124004A
Other languages
English (en)
Inventor
威斯利詹姆士 侯蘭德
羅米許 錢德拉塞卡
丹尼爾詹姆士 蓋斯特
賽巴斯汀 莫尼爾
畢簡 佛魯坦普爾
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202206978A publication Critical patent/TW202206978A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供了用於產生用於擴展現實（XR）體驗的隱私控制介面的系統、方法和非暫時性媒體。示例性方法可以包括以下步驟：決定XR設備在與XR設備相關聯的實體環境的映射場景內的姿態；偵測實體環境中的隱私地區以及隱私地區相對於XR設備的姿態的位置，隱私地區包括被估計在XR設備的使用者的視野（FOV）內的和在實體環境中的人員、實體環境中的記錄設備及/或實體環境中的物件的FOV之外的區域；基於XR設備的姿態和隱私地區的位置，將虛擬隱私控制介面映射到隱私地區；及在隱私地區內渲染虛擬隱私控制介面。

Description

用於擴展現實的隱私控制介面
本案大體而言係關於在擴展現實和其他應用中產生和註冊隱私控制介面。
擴展現實技術可以用於向使用者呈現虛擬內容，及/或可以將來自實體世界的真實環境與虛擬環境相結合，以向使用者提供擴展現實體驗。術語「擴展現實（extended reality）」可以包括虛擬實境（virtual reality）、增強現實（augmented reality）、混合現實（mixed reality）等。該等形式的擴展現實中的每一者允許使用者體驗沉浸式虛擬環境或內容或與其互動。例如，擴展現實體驗可以允許使用者與使用虛擬內容增強或增強的真實或實體環境進行互動。
可以實施擴展現實技術來增強在諸如娛樂、醫療保健、零售、教育、社交媒體等等的各種環境中的使用者體驗。然而，在許多設置中，揭示某些擴展現實內容或與某些擴展現實介面的互動可能是不受期望的。在一個實例中，使用者可能不希望以可能允許其他使用者查看或推斷特定使用者與認證介面的互動或者相關聯的認證資訊的方式，來渲染諸如密碼提示之類的認證介面。
揭示用於為擴展現實體驗提供隱私控制介面的系統、方法和電腦可讀取媒體。根據至少一個實例，提供了一種用於為擴展現實體驗產生隱私控制介面的方法。該方法可以包括以下步驟：決定擴展現實設備在與擴展現實設備相關聯的實體環境的映射場景內的姿態；偵測該實體環境中的隱私地區以及該隱私地區相對於該擴展現實設備的姿態的位置，該隱私地區包括被估計在該擴展現實設備的使用者的視野（FOV）內的和在以下中的至少一者的相應FOV之外的區域：實體環境中的人員、實體環境中的記錄設備和實體環境中實現從實體環境之外的查看存取的物件；基於該擴展現實設備的姿態和偵測到的該隱私地區而將虛擬隱私控制介面映射到該隱私地區，該虛擬隱私控制介面包括一或多個輸入介面元素；及在該映射場景內的隱私地區內渲染該虛擬隱私控制介面。
根據至少一個實例，提供了一種用於為擴展現實體驗提供隱私控制介面的非暫時性電腦可讀取媒體。該非暫時性電腦可讀取媒體可以包括電腦可讀取指令，該等電腦可讀取指令在由一或多個處理器執行時使該一或多個處理器：決定擴展現實設備在與該擴展現實設備相關聯的實體環境的映射場景內的姿態；偵測該實體環境中的隱私地區以及該隱私地區相對於該擴展現實設備的姿態的位置，該隱私地區包括被估計在該擴展現實設備的使用者的FOV內和在以下中的至少一者的相應FOV之外的區域：實體環境中的人員、實體環境中的記錄設備和實體環境中實現從實體環境之外的查看存取的物件；基於該擴展現實設備的姿態和偵測到的該隱私地區而將虛擬隱私控制介面映射到該隱私地區，該虛擬隱私控制介面包括一或多個輸入介面元素；及在該映射場景內的隱私地區內渲染該虛擬隱私控制介面。
根據至少一個實例，提供了一種用於為擴展現實體驗提供隱私控制介面的裝置。該裝置可以包括至少一個記憶體和一或多個處理器，該一或多個處理器在電路系統中實施並且被配置為：決定裝置在與該裝置相關聯的實體環境的映射場景內的姿態；偵測該實體環境中的隱私地區以及該隱私地區相對於該裝置的姿態的位置，該隱私地區包括被估計在該裝置的使用者的FOV內的和在以下中的至少一者的相應FOV之外的區域：實體環境中的人員、實體環境中的記錄設備和實體環境中實現從實體環境之外的查看存取的物件；基於該裝置的姿態和偵測到的該隱私地區而將虛擬隱私控制介面映射到該隱私地區，該虛擬隱私控制介面包括一或多個輸入介面元素；及在該映射場景內的隱私地區內渲染該虛擬隱私控制介面。
根據至少一個實例，提供了另一種用於為擴展現實體驗提供隱私控制介面的裝置。該裝置可以包括：用於決定裝置在與該裝置相關聯的實體環境的映射場景內的姿態的構件；用於偵測該實體環境中的隱私地區以及該隱私地區相對於該裝置的姿態的位置的構件，該隱私地區包括被估計在該裝置的使用者的FOV內的和在以下中的至少一者的相應FOV之外的區域：實體環境中的人員、實體環境中的記錄設備和實體環境中實現從實體環境之外的查看存取的物件；用於基於該裝置的姿態和該隱私地區的位置而將虛擬隱私控制介面映射到該隱私地區的構件，該虛擬隱私控制介面包括一或多個輸入介面元素；及用於在該映射場景內的隱私地區內渲染該虛擬隱私控制介面的構件。
在一些態樣中，上文描述的方法、非暫時性電腦可讀取媒體和裝置可以包括：經由以下各項決定該區域在該人員、該記錄設備及/或該物件中的至少一者的相應FOV之外：偵測該實體環境中的一或多個物件；及決定該人員、該記錄設備和該物件中的至少一者的相應FOV被該一或多個物件遮擋。
在一些實例中，偵測該隱私地區可以包括：計算與在擷取該映射場景的圖像中偵測到的第一面部相關聯的人臉位置資料，其中該第一面部對應於該人員；基於該人臉位置資料來計算該人員的FOV；及基於該人員的FOV和該隱私地區的位置來決定該隱私地區被位於該隱私地區與該人員之間的一或多個物件遮擋而在該人員的視線之外。
在一些實例中，偵測該隱私地區亦可以包括：計算與在擷取該映射場景的圖像中偵測到的第二面部相關聯的人臉位置資料，其中該第二面部對應於該使用者；基於與該第二面部相關聯的人臉位置資料來計算該使用者的FOV；及基於該隱私地區的位置來決定該隱私地區在該使用者的FOV內。
在一些實例中，將該虛擬隱私控制介面映射到該隱私地區並在該隱私地區內渲染該虛擬隱私控制介面可以包括：決定該隱私地區的第一大小及/或該隱私地區的第一方向中的至少一者；基於該隱私地區的第一大小及/或該隱私地區的第一方向中的至少一者來決定該虛擬隱私控制介面的第二大小及/或該虛擬隱私控制介面的第二方向中的至少一者，其中該虛擬隱私控制介面的第二大小匹配或適配於該隱私地區的第一大小內，並且其中該虛擬隱私控制介面的第二方向至少部分地與該隱私地區的第一方向對準；根據該第二大小及/或該第二方向中的至少一者產生該虛擬隱私控制介面；及將該虛擬隱私控制介面與該隱私地區對準。
在一些實例中，該實體環境中實現從實體環境之外的查看存取的物件可以包括窗戶、玻璃門及/或敞開的門。
在一些實例中，該隱私地區可以包括與該使用者相關聯的身體部位的表面，並且其中偵測該隱私地區可以包括決定該身體部位的表面面向該使用者並背離該實體環境中的人員、該實體環境中的記錄設備及/或該實體環境中的物件中的至少一者。在一些情況下，該身體部位可以包括手，並且該身體部位的表面可以包括手的手掌，並且偵測該隱私地區可以包括：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定該生物特徵資訊與該先前註冊的生物特徵資訊匹配。
在一些態樣中，上文描述的方法、非暫時性電腦可讀取媒體和裝置可以包括：辨識手的手掌以渲染第二虛擬隱私控制介面；及在手的手掌上渲染該第二虛擬隱私控制介面之前：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定該生物特徵資訊是否與該先前註冊的生物特徵資訊匹配。
在一些態樣中，上文描述的方法、非暫時性電腦可讀取媒體和裝置可以包括：決定該生物特徵資訊與該先前註冊的生物特徵資訊不匹配；及回應於決定該生物特徵資訊與該先前註冊的生物特徵資訊不匹配而決定不在手的手掌上渲染該第二虛擬隱私控制介面。
在一些態樣中，偵測該隱私地區可以包括：偵測該實體環境中的一或多個物件；基於該實體環境中的一或多個物件偵測該實體環境中的一或多個遮擋物；及經由決定該一或多個遮擋物阻止該人員、記錄設備及/或該物件對該隱私地區的可見性來偵測該隱私地區。
在一些實例中，偵測該實體環境中的一或多個遮擋物可以包括追蹤該實體環境內的光線路徑。
在一些情況下，該記錄設備可以包括相機，並且該虛擬隱私控制介面可以包括增強現實介面。在一些實例中，上文描述的每個裝置可以是行動設備。在其他實例中，上文描述的每個裝置可以包括擴展現實設備。
在一些態樣中，上文描述的裝置可以包括以下設備或者是以下設備的一部分：相機、行動設備（例如，行動電話或所謂的「智慧手機」或其他行動設備）、可穿戴設備、擴展現實設備（例如、虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、個人電腦、膝上型電腦、伺服器電腦或其他設備。在一些態樣中，該裝置包括用於擷取一或多個圖像的一或多個相機。在一些態樣中，該裝置亦包括用於顯示一或多個圖像、通知及/或其他可顯示資料的顯示器。在一些態樣中，上文描述的裝置可以包括一或多個感測器。
本發明內容既非意欲辨識所主張保護的標的的關鍵或本質特徵，亦非意欲單獨用於決定所主張保護的標的的範疇。應經由參考本專利的完整說明書的適當部分、任何或全部附圖以及每條請求項來理解標的。
經由參考以下說明書、申請專利範圍和附圖，前述內容連同其他特徵和實施例將變得更加明顯。
下文提供本案的某些態樣和實施例。該等態樣和實施例中的一些可以被獨立地應用並且其中的一些可以被組合應用，此情形對於熟習此項技術者而言是顯而易見的。在以下描述中，出於解釋的目的，闡述了具體細節以便提供對本案的實施例的透徹理解。然而，顯而易見的是，可以在沒有該等具體細節的情況下實踐各種實施例。附圖和描述不意欲是限制性的。
以下描述僅提供示例性實施例，而不意圖限制本案的範疇、適用性或配置。相反，對示例性實施例的以下描述將為熟習此項技術者提供用於實施示例性實施例的可行描述。應當理解，在不脫離所附請求項中闡述的本案的精神和範疇的情況下，可以對元件的功能和佈置作出各種改變。
諸如頭戴式顯示器（HMD）和智慧眼鏡之類的擴展現實設備可以追蹤使用者的手及/或指尖，以允許使用者使用其手及/或指尖來控制在擴展現實（XR）環境（諸如虛擬實境（VR）環境、增強現實（AR）環境、混合現實（MR）環境及/或其他XR環境）內渲染的介面。此外，使用者的手或指尖在XR環境中與控制介面的互動可能被環境中的其他使用者看到。然而，通常不希望揭示與控制介面的此類互動及/或允許此類互動對其他使用者潛在可見。例如，若參與多使用者AR體驗的使用者使用在多使用者AR體驗期間渲染的控制介面來輸入隱私資訊，則多使用者AR體驗中的其他使用者將能夠看到控制介面以及使用者與控制介面的互動。因此，多使用者AR體驗中的其他使用者可能能夠經由使用者與控制介面的互動來確認使用者所提供的任何資訊。結果，使用者可能會無意中將此類資訊暴露給其他使用者，在一些情況下，此類資訊可能包括隱私、機密或個人資訊。
在一些情況下，即使其他使用者無法看到使用者在XR體驗期間正在與之互動的控制介面或介面元素，使用者的手或指尖互動仍可能被其他人解譯，在此種情況下，與互動相關聯的輸入（和對應資訊）可能會被其他使用者推斷出。例如，若使用者在其他使用者周圍參與AR體驗，則其他使用者可能能夠看到使用者的手及/或指尖與控制介面的互動。此外，使用者的手及/或指尖互動可能揭示使用者正在虛擬鍵盤上進行空中鍵入（air typing）或正在與一些其他虛擬介面互動。基於使用者的手及/或指尖移動或使用者的手及/或指尖移動的模式，其他使用者可能能夠推斷出使用者正在與之互動的虛擬介面的類型並解譯由使用者提供的輸入。因此，該等輸入可能會揭示使用者的資訊，在許多情況下，該資訊可能涉及隱私或機密資訊。
另外，若使用者與虛擬介面的互動在記錄設備（諸如相機）的視野（FOV）內，則使用者的互動可能會無意中被記錄設備記錄。隨後，具有對該記錄的存取的另一個使用者可以觀看該記錄並根據該記錄來解譯使用者的互動和相關聯的資訊。該記錄甚至可以允許其他使用者更容易及/或更準確地解譯使用者的互動和相關聯的資訊。此外，在一些情況下，可以使用電腦來處理該記錄並根據記錄的視訊辨識使用者的互動和相關聯的資訊，從而使使用者資訊的隱私性面臨甚至更大的風險。
在一些情況下，可以使用人工智慧（AI）解譯器或系統來處理記錄的視訊並辨識由使用者經由虛擬介面提供的資訊。AI解譯器或系統可以非常準確地潛在辨識由使用者經由虛擬介面提供的資訊。因此，當使用者參與XR體驗時，即使其他使用者沒有參與XR體驗或無法看到虛擬介面，為了避免將輸入和相關聯的資訊暴露給其他使用者，使用者亦可能希望保護與在XR環境中渲染的虛擬介面互動的隱私。
在一個說明性實例中，使用者與在XR體驗期間渲染的虛擬介面（諸如虛擬鍵盤）進行的用以輸入密碼的互動可能潛在地被其他使用者解譯，此舉可能允許此類使用者辨識或推斷由使用者輸入的密碼。如前文提及，即使其他使用者沒有參與相同的XR體驗或無法看到虛擬介面，其他使用者亦可能能夠推斷出由使用者輸入的密碼。為了說明，在使用虛擬鍵盤的鍵入XR設置中，使用者的鍵入動作可以指示與虛擬鍵盤的互動。鍵入動作可以允許其他使用者推斷關鍵位置和鍵入的資料，諸如鍵入的密碼。此類鍵入資料（諸如密碼資訊）的暴露可能會給使用者帶來嚴重的安全性和隱私問題。
在另一個實例中，使用者在虛擬課堂調查或測驗中與虛擬投票按鈕的互動可以被其他使用者解譯，此舉可能允許其他使用者辨識或推斷由使用者提交的投票並損害使用者投票及/或課堂調查或測驗的真實性。例如，參加相同虛擬課堂調查或測驗的其他使用者可能能夠看到使用者用來與虛擬按鈕互動的虛擬介面。因此，若其他使用者看到使用者與虛擬按鈕的互動，則其他使用者可能能夠辨識使用者對課堂調查或測驗的回答。即使其他使用者沒有參加虛擬課堂調查或測驗或以其他方式能夠看到虛擬投票按鈕，使用者仍然可能能夠經由觀察多個問題來推斷由使用者選擇的輸入按鈕的位置和意思。經由推斷輸入按鈕的位置和意思，其他使用者可以推測出該使用者在虛擬課堂調查或測驗中提交的投票。
類似地，使用者在多使用者AR遊戲體驗（諸如多使用者AR桌面遊戲）中與虛擬遊戲控制項的互動可以被其他使用者解譯。例如，多使用者AR遊戲體驗中的使用者可以看到與其周圍的實體世界混合的（例如，在實體物件或區域上渲染的）虛擬遊戲內容，並因此可以看到提供給使用者的虛擬遊戲控制項以及使用者與虛擬遊戲控制項的互動。因此，其他使用者可能能夠辨識或推斷出使用者經由虛擬遊戲控制項的輸入。此外，在一些情況下，即使使用者無法看到相同的虛擬遊戲控制項，其他使用者亦可能能夠經由觀察使用者在整個遊戲中的互動來推斷由使用者選擇的輸入按鈕的位置和意思。此舉可以允許遊戲中的其他使用者推測出遊戲中的使用者輸入和相關聯資訊。然而，在很多情況下，諸如在競技遊戲場景中，使用者不希望多使用者AR遊戲中的其他使用者掌握使用者經由虛擬遊戲控制項的輸入，因為此舉可能使使用者在與其他使用者的爭用中處於劣勢。
本案描述了用於為XR體驗產生隱私控制介面的系統、方法和電腦可讀取媒體。在一些實例中，本文揭示的方法可以向使用者的實體環境中的其他使用者、設備及/或物件隱藏作為XR環境的一部分而被呈現給使用者的虛擬控制介面（亦稱為「虛擬隱私控制介面」），並且可以隱藏或混淆使用者與虛擬控制介面的互動，以保護使用者的互動和資料的隱私性免受附近的使用者及/或記錄設備的影響。虛擬控制介面在本文中亦可以被稱為虛擬介面。在一些實例中，虛擬控制介面可以在使用者的實體環境（例如，現實世界環境）的隱私地區內被渲染。如本文所使用，控制介面（例如，隱私控制介面、虛擬控制介面、虛擬隱私控制介面等）可以包括具有輸入欄位及/或輸入介面元素的渲染介面，但亦可以包括沒有輸入欄位及/或輸入介面元素的渲染介面，諸如具有靜態或僅顯示內容的介面。
隱私地區可以是，例如但不限於，使用者的實體環境（例如，現實世界）中的、被估計在其他使用者或記錄設備（例如，相機、麥克風）的視野之外及/或向其他使用者或錄音設備進行遮擋的區域或位置。隱私地區可以用於在XR體驗期間為使用者渲染虛擬控制介面，以防止非預期使用者和設備看到或解譯使用者與虛擬控制介面的互動及/或推斷由使用者在此類虛擬控制介面中輸入的資料。在一些實例中，在隱私地區上渲染虛擬控制介面可以包括以如下方式在XR設備上渲染或顯示虛擬控制介面：對於經由/從XR設備查看虛擬控制介面的使用者而言，就像虛擬控制介面被呈現、投影或位於隱私地區上一樣。例如，在隱私地區上渲染虛擬控制介面可以包括在隱私地區上渲染虛擬控制介面的虛擬覆加（overlay）。在其他實例中，在隱私地區上渲染虛擬控制介面可以包括將虛擬控制介面投影在實體環境中與隱私地區對應的區域或位置上。此外，由於虛擬控制介面在使用XR設備的使用者看來被渲染在隱私地區上（或投影在隱私地區上），因此使用者可以與虛擬控制介面互動，就像虛擬控制介面實際上在實體環境中的隱私地區上一樣。因為隱私地區對於實體環境中的其他使用者及/或記錄設備是不可見的，所以其他使用者及/或記錄設備將無法看到使用者與虛擬控制介面的互動或推斷與此類互動相關聯的輸入資料。
例如，在上文的虛擬鍵盤實例中，虛擬鍵盤可以在使用者所處的實體環境中的隱私位置（例如，現實世界環境中的物件、現實世界環境中的表面、現實世界環境中的平面等）內渲染，以防止實體環境中的其他使用者推斷關鍵位置或鍵入的資料。使用者可以經由XR設備（例如，頭戴式顯示器、AR眼鏡等）看到隱私位置和虛擬鍵盤，但是當虛擬鍵盤在隱私位置中被渲染時，其他使用者或設備將無法看到使用者與虛擬鍵盤的互動。因此，其他使用者將無法看到使用者與虛擬鍵盤的互動以致於無法潛在地推斷由使用者經由虛擬鍵盤輸入的資訊，即使該等其他使用者亦使用XR設備並與使用者參與相同的XR體驗。
在上文的虛擬課堂調查或測驗實例中，可以在實體環境中的隱私位置內渲染虛擬按鈕以防止實體環境中的其他使用者推斷此類虛擬按鈕的位置和意思並由此推斷使用者輸入。類似地，使用者可以經由XR設備看到隱私位置和虛擬按鈕兩者，但是當虛擬按鈕在隱私位置中被渲染時，其他使用者或設備將無法看到使用者與虛擬按鈕的互動。在上文的多使用者AR遊戲實例中，可以在實體環境中的隱私位置內渲染AR遊戲中的虛擬按鈕以防止實體環境中的其他使用者推斷虛擬按鈕的位置和意思並由此推斷使用者輸入。同樣，使用者可以經由XR設備看到隱私位置和虛擬按鈕兩者，但是當虛擬按鈕在隱私位置中被渲染時，其他使用者或設備將無法看到使用者與虛擬按鈕的互動。
術語「隱私位置」和「隱私地區」在本文中可互換使用，並且可以包括實體環境中的表面、實體環境中的物件、實體環境中的平面、實體環境中的區域、與實體環境相關聯的配置、實體環境中的遮擋物、實體環境中的地區等，該隱私位置和隱私地區在使用者的視野（FOV）內但在實體環境中的其他使用者或記錄設備的FOV之外，及/或其他使用者或記錄設備可能無法經由實體環境中的物件（諸如窗戶或門）看到該隱私位置和隱私地區。因此，當隱私控制介面在使用者的實體環境上的隱私位置中被渲染時，使用者可以與隱私控制介面互動而不將互動和相關聯的資訊暴露給實體環境中的使用者、設備及/或物件。
在一些實例中，使用者的XR設備可以辨識實體環境中相對於使用者在實體環境中的位置的前表面或平面，並決定該表面或平面是否在其他使用者或記錄設備的視野之外，或者該表面或平面是否向其他使用者或記錄設備進行遮擋。若該表面或平面在其他使用者或記錄設備的視野之外或向其進行遮擋，則可以選擇該表面或平面作為隱私位置。隨後，XR設備可以在該隱私位置上渲染任何虛擬控制介面，以防止實體環境中的其他使用者或記錄設備看到使用者與此類虛擬控制介面的互動及/或推斷與此類互動相關聯的意思和資訊。使用者可以經由XR設備看到在隱私位置上渲染的虛擬控制介面，此舉允許使用者可以看到由XR渲染的虛擬內容以及使用者的實體環境。然而，實體環境中的其他使用者無法看到隱私位置，並因此無法看到或解譯使用者與虛擬控制介面的互動，即使此類使用者經由相應的XR設備參與相同的XR體驗亦是如此。
例如，使用者的XR設備可以偵測實體環境中位於使用者前方（或使用者的FOV內）的書本、剪貼板、使用者的手、行動電話或任何其他物件，並且可以決定面向使用者（或使用者的FOV內）的書本、剪貼板、手、行動電話或其他物件的表面在實體環境中的其他使用者及/或記錄設備的視線之外或者（例如，經由一或多個物件）向其他使用者及/或記錄設備進行遮擋。隨後，XR設備可以渲染任何虛擬控制介面，使得當從XR設備查看時，該虛擬控制介面對於使用者而言位於書本、剪貼板、手、行動電話或其他物件的該表面上。由於虛擬控制介面對於使用XR設備的使用者而言被渲染在書本、剪貼板、手、行動電話或其他物件的表面上，因此使用者將與虛擬控制介面互動，就好像虛擬控制介面實際上在書本、剪貼板、手、行動電話或實體環境中的其他物件的表面上一樣。因為書本、剪貼板、手、行動電話或其他物件的表面對於實體環境中的其他使用者及/或記錄設備是不可見的，所以其他使用者及/或記錄設備將無法看到使用者與虛擬控制介面的互動或推斷與此類互動相關聯的輸入資料。因此，經由在書本、剪貼板、手、行動電話或其他物件上渲染虛擬介面，XR設備可以保護使用者的互動和資料。
在一些情況下，XR設備可以偵測人臉（例如，與XR設備相關聯的使用者及/或其他使用者的面部），並使用人臉辨識資料（例如，指示一或多個使用者的存在及/或位置的資料）及/或遮擋資料（例如，指示區域或位置經由一或多個物件向其他使用者或設備進行遮擋或以其他方式遮擋的資料）來偵測向實體環境中的其他使用者和設備（除與XR設備關聯的使用者外）進行遮擋（或在其他使用者和設備的視線之外）的任何隱私位置（例如，隱私表面、區域、位置、平面等）。人臉辨識資料可以是由其他設備自行報告的、由與XR設備相關聯的使用者提供的、由XR設備使用面部辨識技術（例如，神經網路、面部辨識演算法等）偵測的，及/或由與XR設備通訊的伺服器使用XR設備所提供的資訊以及使用面部辨識技術偵測到的。在一些情況下，可以使用光線追蹤或（一或多個）其他機制來計算遮擋資料。隨後，XR設備可以在實體環境中的隱私位置內渲染任何虛擬控制介面。
在一些實例中，XR設備可以對虛擬控制介面進行大小調整（例如，縮放）、重新定向及/或重新配置，使得虛擬控制介面適配於隱私位置內並且可以與隱私位置對準以維持虛擬控制介面隱藏或向其他使用者及/或記錄設備進行遮擋。例如，若隱私位置是面向與XR設備相關聯的使用者的書本表面並且在環境中的其他使用者或記錄設備的FOV之外，則XR設備可以對虛擬控制介面進行大小調整、重新定向及/或重新配置，因此虛擬控制介面可以在書本表面內被渲染並在書本表面的邊界內對準。在一些情況下，XR設備亦可以為虛擬控制介面選擇最佳地對準或適配於隱私位置的形狀及/或配置。
在一些情況下，XR設備可以基於例如但不限於以下條件來決定是否在隱私位置中渲染虛擬控制介面：使用者偏好、系統偏好（例如，XR設備偏好）、應用偏好（例如，XR應用偏好）、應用及/或內容條款、法律或法規、最佳實踐、安全性規範、與虛擬控制介面及/或相關聯的資料相關聯的潛在安全性影響或風險、與虛擬控制介面相關聯的資訊類型、虛擬控制介面的類型、隱私級別等。例如，使用者可以指定何者應用程式、控制項及/或資料類型應當是隱私的。XR設備隨後可以在隱私位置內渲染與此類應用程式、控制項及/或資料類型相關聯的虛擬控制介面。
將在以下揭示中如下描述本技術。該論述首先描述用於為XR體驗提供隱私介面控制的示例性系統和技術，如圖1至圖9所示。接著將描述用於為XR體驗提供隱私介面控制的示例性方法，如圖10所示。該論述以對示例性計算設備架構進行描述而結束，該計算設備架構包括適用於執行XR功能性並為XR體驗提供隱私介面控制的示例性硬體元件，如圖11所示。本案現在轉向圖1。
圖1是圖示根據本案的一些態樣的示例性擴展現實系統100的圖式。擴展現實系統100可以運行（或執行）XR應用程式並實施XR操作。在一些實例中，擴展現實系統100可以執行追蹤和定位、映射擴展現實系統100周圍的實體世界及/或環境（例如，場景），以及在螢幕、顯示器及/或可見平面/區域上定位及/或渲染虛擬內容以作為XR體驗的一部分。例如，擴展現實系統100可以產生擴展現實系統100周圍的實體世界中的場景的映射圖（例如，三維（3D）映射圖）、追蹤擴展現實系統100相對於該場景（例如，相對於場景的3D映射圖）的姿態（例如，位置）、在該場景的映射圖的（一或多個）特定位置上定位及/或錨定虛擬內容，並在顯示器/螢幕上渲染虛擬內容，使得虛擬內容看起來位於場景中與場景的映射圖上虛擬內容所位於的及/或被錨定的特定位置相對應的位置處。
在該說明性實例中，擴展現實系統100包括一或多個圖像感測器102、加速度計104、陀螺儀106、儲存裝置108、計算元件110、XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124和渲染引擎126。應當注意，圖1中所示的元件102-126是出於說明和解釋目的而提供的非限制性實例，並且其他實例可以包括比圖1中所示的彼等元件更多、更少或不同的元件。例如，在一些情況下，擴展現實系統100可以包括在圖1中未圖示的一或多個其他感測器（例如，一或多個慣性量測單元（IMU）、雷達、光偵測和測距（LIDAR）感測器、音訊感測器等）、一或多個顯示設備、一或多個其他處理引擎、一或多個其他硬體元件及/或一或多個其他軟體及/或硬體元件。在下文關於圖11進一步描述了可以由擴展現實系統100實施的示例性架構和示例性硬體元件。
此外，出於簡單起見和解釋目的，一或多個圖像感測器102在本文中將被稱為圖像感測器102（例如，以單數形式）。然而，一般技術者將認識到擴展現實系統100可以包括單個圖像感測器或多個圖像感測器。而且，以單數或複數形式對擴展現實系統100的任何元件（例如，102-126）的引用不應被解釋為將由擴展現實系統100實現的此類元件的數量限制為一個或多於一個。例如，以單數形式對加速度計104的引用不應被解釋為將由擴展現實系統100實現的加速度計的數量限制為一個。一般技術者將認識到，對於圖1中所示的元件102-126中的任一者，擴展現實系統100可以僅包括此類元件中的一者或此類元件中的多於一者。
擴展現實系統100可以是單個計算設備或多個計算設備的一部分或由其實現。在一些實例中，擴展現實系統100可以是電子設備（或多個電子設備）的一部分，諸如相機系統（例如，數位相機、IP相機、視訊相機、安全性相機等）、電話系統（例如，智慧手機、蜂巢式電話、會議系統等）、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、智慧電視、顯示設備、遊戲機、視訊串流設備、IoT（物聯網路）設備、智慧可穿戴設備（例如，頭戴式顯示器（HMD）、智慧眼鏡等）或任何其他合適的電子設備。
在一些實施方案中，一或多個圖像感測器102、加速度計104、陀螺儀106、儲存裝置108、計算元件110、XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124和渲染引擎126可以是同一計算設備的一部分。例如，在一些情況下，一或多個圖像感測器102、加速度計104、陀螺儀106、儲存裝置108、計算元件110、XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124和渲染引擎126可以整合到智慧手機、筆記型電腦、平板電腦、智慧可穿戴設備、遊戲系統及/或任何其他計算設備中。然而，在一些實施方案中，一或多個圖像感測器102、加速度計104、陀螺儀106、儲存裝置108、計算元件110、XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124和渲染引擎126可以是兩個或更多個獨立計算設備的一部分。例如，在一些情況下，元件102-126中的一些可以是一個計算設備的一部分或由其實現，而其餘元件可以是一或多個其他計算設備的一部分或由其實現。
圖像感測器102可以包括任何圖像及/或視訊感測器或擷取設備，諸如數位相機感測器、視訊相機感測器、智慧手機相機感測器、在諸如電視或電腦之類的電子裝置上的圖像/視訊擷取設備、相機等。在一些情況下，圖像感測器102可以是相機或諸如XR設備（例如，HMD、智慧眼鏡等）、數位相機、智慧手機、智慧電視、遊戲系統等的計算設備的一部分。在一些實例中，圖像感測器102可以是多相機組成的一部分，諸如雙相機組成。圖像感測器102可以擷取圖像及/或視訊內容（例如，原始圖像及/或視訊資料），隨後可以由如本文描述的計算元件110、XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124及/或渲染引擎126處理該圖像及/或視訊內容。
在一些實例中，圖像感測器102可以擷取圖像資料並基於圖像資料產生訊框及/或將圖像資料或訊框提供給XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124及/或渲染引擎126以便處理。訊框可以包括視訊序列的視訊訊框或靜止圖像。訊框可以包括表示場景的圖元陣列。例如，訊框可以是每個圖元具有紅色、綠色和藍色分量的紅-綠-藍（RGB）訊框；每個圖元具有一個亮度分量和兩個色度（顏色）分量（色度-紅色和色度-藍色）的亮度、色度-紅色、色度-藍色（YCbCr）訊框；或任何其他合適類型的彩色或單色圖片。
加速度計104可以經由擴展現實系統100偵測加速度並基於偵測到的加速度產生加速度量測值。陀螺儀106可以偵測和量測擴展現實系統100的方向和角速度。例如，陀螺儀106可以用於量測擴展現實系統100的俯仰（pitch）、滾轉（roll）和偏航（yaw）。在一些實例中，圖像感測器102及/或XR引擎120可以使用由加速度計104和陀螺儀106獲得的量測值來計算擴展現實系統100的姿態。如前文提及，在其他實例中，擴展現實系統100亦可以包括其他感測器，諸如磁力計、機器視覺感測器、智慧場景感測器、語音辨識感測器、碰撞感測器、震動感測器、位置感測器、傾斜感測器等。
儲存裝置108可以是用於儲存資料的（一或多個）任何儲存設備。此外，儲存裝置108可以儲存來自擴展現實系統100的任何元件的資料。例如，儲存裝置108可以儲存來自圖像感測器102的資料（例如圖像或視訊資料）、來自加速度計104的資料（例如，量測值）、來自陀螺儀106的資料（例如，量測值）、來自計算元件110的資料（例如，處理參數、偏好、虛擬內容、渲染內容、場景映射圖、追蹤和定位資料、物件偵測資料、隱私資料、XR應用資料、面部辨識資料、遮擋資料等）、來自XR引擎120的資料、來自隱私控制介面管理引擎122的資料、來自圖像處理引擎124的資料及/或來自渲染引擎126的資料（例如，輸出訊框）。在一些實例中，儲存裝置108可以包括用於儲存供計算元件110處理的訊框的緩衝器。
一或多個計算元件110可以包括中央處理單元（CPU）112、圖形處理單元（GPU）114、數位信號處理器（DSP）116及/或圖像信號處理器（ISP）118。計算元件110可以執行各種操作，諸如圖像增強、電腦視覺、圖形渲染、擴展現實（例如，追蹤、定位、姿態估計、映射、內容錨定、內容渲染等）、圖像/視訊處理、感測器處理、辨識（例如，文字辨識、面部辨識、物件辨識、特徵辨識、追蹤或模式辨識、場景辨識、遮擋偵測等）、機器學習、濾波以及本文描述的各種操作中的任何操作。在該實例中，計算元件110實施XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124和渲染引擎126。在其他實例中，計算元件110亦可以實施一或多個其他處理引擎。
XR引擎120、隱私控制介面管理引擎122、圖像處理引擎124和渲染引擎126（以及任何圖像處理引擎）的操作可以由任何計算元件110來實施。在一個說明性實例中，渲染引擎126的操作可以由GPU 114實施，而XR引擎120、隱私控制介面管理引擎122和圖像處理引擎124的操作可以由CPU 112、DSP 116及/或ISP 118實施。在一些情況下，計算元件110可以包括其他電子電路或硬體、電腦軟體、韌體或其任何組合，以執行本文描述的各種操作中的任一者。
在一些實例中，XR引擎120可以基於來自圖像感測器102、加速度計104、陀螺儀106及/或擴展現實系統100上的一或多個感測器（諸如一或多個IMU、雷達等）的資料來執行XR操作。在一些實例中，XR引擎120可以執行追蹤、定位、姿態估計、映射、內容錨定操作及/或任何其他XR操作/功能性。
隱私控制介面管理引擎122可以執行各種操作以決定（和管理）在XR體驗期間渲染包括隱私控制介面的控制介面的方式、位置及/或時間。XR體驗可以包括使用擴展現實系統100向使用者呈現XR內容（例如，虛擬實境內容、增強現實內容、混合現實內容等）。在一些實例中，XR內容和體驗可以由擴展現實系統100經由提供特定XR體驗的XR應用程式提供，該特定XR體驗諸如例如XR遊戲體驗、XR課堂體驗、XR購物體驗、XR娛樂體驗、XR活動（例如，操作、故障排除活動等）等等。在XR體驗期間，使用者可以使用擴展現實系統100查看虛擬內容及/或與虛擬內容互動。在一些情況下，使用者可以查看虛擬內容及/或與虛擬內容互動，同時亦能夠查看使用者周圍的實體環境及/或與該實體環境互動，從而允許使用者在實體環境與和實體環境混合或整合的虛擬內容之間獲得沉浸式體驗。
隱私控制介面可以包括顯示虛擬資料及/或接收輸入資料的任何虛擬介面（諸如用於隱私及/或受保護資料的虛擬輸入或輸出介面），該虛擬資料或輸入資料被決定為是隱私的及/或應當被保護以防止非預期使用者及/或設備的查看存取。可以基於例如但不限於使用者偏好、系統偏好、應用偏好、應用及/或內容條款、法律或法規、最佳實踐、安全性規範、潛在安全性影響等而將此類資料定義為或決定為是隱私的及/或受保護的。此類隱私及/或受保護資料的非限制性實例可以包括個人使用者資料、密碼、個人辨識碼（pin）、醫療資訊、財務資訊、認證資訊、多使用者遊戲中的玩家資訊、安全性資訊、受密碼保護的資料、受存取控制列表（ACL）及/或許可權保護的資料、使用者帳戶資料、特權或機密資料等。
在一些實例中，隱私控制介面管理引擎122可以使用來自圖像感測器102、加速度計104、陀螺儀106及/或任何其他感測器的資料來偵測場景中的物件（例如，窗戶、門、牆壁、桌子、書本、設備、椅子等）、辨識場景中的面部，偵測場景中的監控設備（例如，相機、麥克風等），及/或場景的任何其他狀況及/或特性。在一些實例中，隱私控制介面管理引擎122亦可以使用來自其他設備或應用程式的資料，諸如來自其他使用者設備的自行報告的資料及/或由擴展現實系統100的使用者提供的資料。隱私控制介面管理引擎122可以使用此類資料來辨識場景中的遮擋物，該等遮擋物可以用於以保護隱私控制介面防止其他使用者、監視設備等的查看存取及/或否則可能損害隱私控制介面和相關聯的資料的隱私的方式，來為與擴展現實系統100相關聯的使用者渲染/顯示隱私控制介面。遮擋物可以包括，例如但不限於，場景中可見的或在與擴展現實系統100相關聯的使用者的視野（FOV）內但場景中的其他使用者及/或監視設備不可見或不在場景中的其他使用者及/或監視設備的FOV內及/或無法經由場景中的某些物件（諸如窗戶或門）查看的區域、表面、平面、物件及/或地區。
當隱私控制介面管理引擎122辨識出一或多個遮擋物時，隱私控制介面管理引擎122可以與XR引擎120及/或渲染引擎126協調以在一或多個遮擋物上（例如，在表面、平面、地區、區域、位置、相對接近位置等上）渲染隱私控制介面，以防止來自其他使用者、設備等的對此類隱私控制介面的查看存取。在一些實例中，隱私控制介面管理引擎122可以計算及/或決定隱私控制介面在一或多個遮擋物上的配置及/或呈現。例如，隱私控制介面管理引擎122可以決定隱私控制介面的大小、方向、位置、介面設計或方案及/或任何其他配置。為了說明，隱私控制介面管理引擎122可以決定隱私控制介面的配置，該配置允許隱私控制介面適配於一或多個遮擋物的區域內及/或維持相對於場景中的一或多個遮擋物及/或其他物件或使用者的某個位置、方向等。
在一些情況下，隱私控制介面管理引擎122可以偵測觸發遮擋偵測、隱私控制介面呈現、隱私控制介面修改或配置等的狀況及/或事件。例如，隱私控制介面管理引擎122可以偵測：何時應當將某些類型的資料及/或介面呈現為隱私控制介面或在隱私控制介面內呈現（例如，基於偏好、規則、內容類型、場景特性、場景中的物件、場景中的使用者等）、何時應當從呈現中移除隱私控制介面、何時應當將隱私控制介面從一個位置移動到另一個位置、何時應當將隱私控制介面保持鎖定在某個位置或遮擋物內、何時應當重新配置（例如，縮放、重新定向、改變或重新設計等）隱私控制介面以維持隱私性或安全性保護等。
圖像處理引擎124可以執行一或多個圖像處理操作。在一些實例中，圖像處理引擎124可以基於來自圖像感測器102的資料來執行圖像處理操作。在一些情況下，圖像處理引擎124可以執行圖像處理操作，諸如例如濾波、去馬賽克、縮放、顏色校正、顏色轉換、分割、降雜濾波、空間濾波、偽影校正等。渲染引擎126可以獲得由計算元件110、圖像感測器102、XR引擎120及/或圖像處理引擎124產生及/或處理的圖像資料，並且渲染視訊及/或圖像訊框以在顯示設備上呈現。
儘管擴展現實系統100被示為包括某些元件，但是一般技術者將理解擴展現實系統100可以包括比圖1中所示的元件更多或更少的元件。例如，在一些情況下，擴展現實系統100亦可以包括一或多個記憶體設備（例如，RAM、ROM、快取記憶體等）、一或多個聯網介面（例如，有線及/或無線通訊介面等）、一或多個顯示設備及/或圖1中未圖示的其他硬體或處理設備。可以用擴展現實系統100實施的計算設備和硬體元件的說明性實例在下文關於圖11進行描述。
圖2是圖示由使用者200穿戴的擴展現實系統220的實例的圖式。擴展現實系統220可以包括與圖1所示的以及上文描述的擴展現實系統100相同的元件中的一些或所有元件，並且可以與擴展現實系統100執行相同的功能中的一些或全部功能。儘管擴展現實系統220在圖2中被示為AR眼鏡，但是擴展現實系統220可以包括任何合適類型的XR設備，諸如HMD或其他XR設備。擴展現實系統220被描述為光學透視（optical see-through）AR設備，其允許使用者200在穿戴擴展現實系統220的同時查看現實世界。例如，使用者200可以在距離使用者200一定距離的平面204上查看現實世界環境中的物件202。擴展現實系統220具有圖像感測器218和顯示器210（例如，玻璃、螢幕、鏡頭或其他顯示器），其允許使用者200看到現實世界環境並且亦允許在其上顯示AR內容。圖像感測器218可以與圖1所示的圖像感測器102類似或相同。儘管圖2中圖示一個圖像感測器218和一個顯示器210，但是在一些實施方式中，擴展現實系統220可以包括多個相機及/或多個顯示器（例如，用於右眼的顯示器和用於左眼的顯示器）。AR內容（例如，圖像、視訊、圖形、虛擬或AR物件，或其他AR內容）可以被投影或以其他方式顯示在顯示器210上。在一個實例中，AR內容可以包括物件202的增強版本。在另一個實例中，AR內容可以包括與物件202相關或與現實世界環境中的一或多個其他物件相關的附加AR內容。
如圖2所示，擴展現實系統220可以包括計算元件216和記憶體212，或者可以與計算元件216和記憶體212進行有線或無線通訊。計算元件216和記憶體212可以儲存和執行用於執行本文描述的技術的指令。在其中擴展現實系統220與記憶體212和計算元件216（有線或無線）通訊的實施方式中，容納記憶體212和計算元件216的設備可以是計算設備，諸如桌上型電腦、筆記型電腦、行動電話、平板電腦、遊戲機或其他合適的設備。擴展現實系統220亦包括輸入設備214或與輸入設備214（有線或無線）通訊。輸入設備214可以包括任何合適的輸入設備，諸如觸控式螢幕、筆或其他指標設備、鍵盤、滑鼠、按鈕或按鍵、用於接收語音命令的麥克風、用於接收手勢命令的手勢輸入設備、其任何組合，及/或其他輸入設備。在一些情況下，圖像感測器218可以擷取可以被處理以解譯手勢命令的圖像。
圖像感測器218可以擷取彩色圖像（例如，具有紅-綠-藍（RGB）顏色分量的圖像、具有亮度（Y）和色度（C）顏色分量的圖像，諸如YCbCr圖像，或其他彩色圖像）及/或灰階圖像。如上文提及，在一些情況下，擴展現實系統220可以包括多個相機，例如雙前置相機及/或一或多個前置相機和一或多個後置相機，其亦可以結合各種感測器。在一些情況下，圖像感測器218（及/或擴展現實系統220的其他相機）可以擷取靜止圖像及/或包括多個視訊訊框（或圖像）的視訊。在一些情況下，由圖像感測器218（及/或其他相機）接收的圖像資料可以是原始未壓縮格式，並且該圖像資料可以在被進一步處理及/或儲存在記憶體212之前被壓縮及/或以其他方式處理（例如，經由圖像信號處理器（ISP）或擴展現實系統220的其他處理器）。在一些情況下，圖像壓縮可以由計算元件216使用無損或失真壓縮技術（例如，任何合適的視訊或圖像壓縮技術）來執行。
在一些情況下，圖像感測器218（及/或擴展現實系統220的其他相機）可以被配置為亦擷取深度資訊。例如，在一些實施方案中，圖像感測器218（及/或其他相機）可以包括RGB深度（RGB-D）相機。在一些情況下，擴展現實系統220可以包括一或多個深度感測器（未圖示），其與圖像感測器218（及/或其他相機）分開並且可以擷取深度資訊。例如，此類深度感測器可以獨立於圖像感測器218獲得深度資訊。在一些實例中，深度感測器可以與圖像感測器218實體地安裝在相同的一般位置中，但是可以與圖像感測器218以不同頻率或畫面播放速率操作。在一些實例中，深度感測器可以採用光源的形式，該光源可以將結構化或紋理化光圖案投影到場景中的一或多個物件上，該光圖案可以包括一或多個窄頻光。隨後可以經由利用由物件表面形狀引起的投影圖案的幾何變形來獲得深度資訊。在一個實例中，深度資訊可以從立體感測器（諸如紅外結構光投影儀與註冊到相機（例如，RGB相機）的紅外相機的組合）獲得。
在一些實施方案中，擴展現實系統220包括一或多個感測器。一或多個感測器可以包括一或多個加速度計（例如，104）、一或多個陀螺儀（例如，106）及/或其他感測器。一或多個感測器可以向計算元件216提供速度、方向及/或其他位置相關資訊。在一些情況下，一或多個感測器可以包括至少一個慣性量測單元（IMU）。IMU是使用一或多個加速度計、一或多個陀螺儀及/或一或多個磁力計的組合來量測擴展現實系統220的特定力、角速率及/或方向的電子設備。在一些實例中，一或多個感測器可以輸出與由圖像感測器218（及/或擴展現實系統220的其他相機）擷取的圖像的擷取相關聯的量測資訊及/或使用擴展現實系統220的一或多個深度感測器獲得的深度資訊。
計算元件216可以使用一或多個感測器（例如，一或多個IMU）的輸出來決定擴展現實系統220的姿態（亦稱為頭部姿態）及/或圖像感測器218（或擴展現實系統100的其他相機）的姿態。在一些情況下，擴展現實系統220的姿態和圖像感測器218（或其他相機）的姿態可以是相同的。圖像感測器218的姿態是指圖像感測器218相對於參考系（例如，相對於物件202）的位置和方向。在一些實施方式中，可以針對6自由度（6DOF）決定相機姿態，該6自由度涉及三個平移分量（例如，其可以由相對於諸如圖像平面之類的參考系的X（水平）、Y（豎直）和Z（深度）座標提供）和三個角度分量（例如，相對於同一參考系的滾轉、俯仰和偏航）。
在一些態樣中，計算元件216可以使用視覺追蹤解決方案基於由圖像感測器218（及/或擴展現實系統220的其他相機）擷取的圖像來決定及/或追蹤圖像感測器218及/或擴展現實系統220的姿態。在一些實例中，計算元件216可以使用基於電腦視覺的追蹤、基於模型的追蹤及/或同時定位和映射（SLAM）技術來執行追蹤。例如，計算元件216可以執行SLAM或者可以與SLAM引擎（未圖示）（有線或無線）通訊。SLAM是指建立環境映射圖（例如，由擴展現實系統220建模的環境映射圖）同時追蹤相機（例如，圖像感測器218）及/或擴展現實系統220相對於該映射圖的姿態的一類技術。該映射圖可以稱為SLAM映射圖，並且可以是三維（3D）的。SLAM技術可以使用由圖像感測器218（及/或擴展現實系統220的其他相機）擷取的彩色或灰階圖像資料來執行，並且可以用於產生圖像感測器218及/或擴展現實系統220的6DOF姿態量測的估計值。被配置為執行6DOF追蹤的此類SLAM技術可以稱為6DOF SLAM。在一些情況下，一或多個感測器的輸出可以用於估計、校正及/或以其他方式調整所估計的姿態。
在一些情況下，6DOF SLAM（例如，6DOF追蹤）可以將從來自圖像感測器218（及/或其他相機）的某些輸入圖像觀察到的特徵與SLAM映射圖相關聯。6DOF SLAM可以使用來自輸入圖像的特徵點關聯來針對輸入圖像決定圖像感測器218及/或擴展現實系統220的姿態（位置和方向）。亦可以執行6DOF映射來更新SLAM映射圖。在一些情況下，使用6DOF SLAM維護的SLAM映射圖可以包含從兩個或更多個圖像三角量測的3D特徵點。例如，可以從輸入圖像或視訊串流中選擇關鍵訊框來表示觀察到的場景。對於每個關鍵訊框，可以決定與圖像相關聯的相應6DOF相機姿態。可以經由將來自3D SLAM映射圖的特徵投影到圖像或視訊訊框中並根據驗證的2D-3D對應關係更新相機姿態來決定圖像感測器218及/或擴展現實系統220的姿態。
在一個說明性實例中，計算元件216可以從每個輸入圖像或從每個關鍵訊框中提取特徵點。本文使用的特徵點（亦稱為註冊點）是圖像的獨特或可辨識部分，諸如手的一部分、桌子的邊緣等等。從擷取的圖像中提取的特徵可以表示沿三維空間的不同特徵點（例如，X、Y和Z軸上的座標），並且每個特徵點皆可以具有關聯的特徵位置。關鍵訊框中的特徵點與先前擷取的輸入圖像或關鍵訊框的特徵點匹配（相同或對應）或不匹配。特徵偵測可以用於偵測特徵點。特徵偵測可以包括用於檢查圖像的一或多個圖元以決定特徵是否存在於特定圖元處的圖像處理操作。特徵偵測可以用於處理整個擷取的圖像或圖像的某些部分。對於每個圖像或關鍵訊框，一旦偵測到特徵，就可以提取特徵周圍的局部圖像塊（image patch）。可以使用任何合適的技術提取特徵，該技術諸如尺度不變特徵變換（SIFT）（其定位特徵並產生其描述）、快速穩健性特徵（SURF）、梯度位置-方向長條圖（GLOH）、正規化互相關（NCC）或其他合適的技術。
在一些實例中，AR（或虛擬）物件可以被註冊或錨定到在場景中偵測到的特徵點（例如，相對於該等特徵點定位）。例如，使用者200可以觀看使用者200所站立的街道對面的餐廳。回應於辨識出餐廳和與餐廳相關聯的AR內容，計算元件216可以產生提供與餐廳相關的資訊的AR物件。計算元件216亦可以從圖像中包括餐廳標誌的一部分偵測特徵點，並且可以將AR物件註冊到該標誌的特徵點，使得AR物件相對於該標誌被顯示（例如，在標誌上方顯示，使得使用者200能夠容易將該AR物件辨識為與該餐廳有關）。
擴展現實系統220可以產生並顯示各種AR物件以供使用者200查看。例如，擴展現實系統220可以產生並顯示虛擬介面（諸如虛擬鍵盤），作為使用者200根據需要輸入文字及/或其他字元的AR物件。虛擬介面可以被註冊到現實世界中的一或多個實體物件。然而，在許多情況下，可能缺乏具有出於註冊目的可以用作參考的顯著特徵的現實世界物件。例如，若使用者盯著一塊空白的白板，則該白板可能沒有可供虛擬鍵盤註冊的顯著特徵。室外環境甚至可能提供更少的可以用於註冊虛擬介面的獨特點，此情形是例如基於現實世界中缺乏點、現實世界中的獨特物件比使用者在室內時更遠、現實世界中存在許多移動點、點在遠處等等。
然而，在一些情況下，擴展現實系統220可以利用使用者200的手來註冊虛擬介面。例如，使用者200的一隻或多隻手和手指可以用作虛擬介面的現實世界註冊點（例如，以將虛擬介面錨定在空間中）。經由將虛擬介面註冊到手和手指，減少了在室外操作的挑戰。
在一些情況下，擴展現實系統220亦可以追蹤使用者200的手及/或手指以允許使用者200控制AR環境中的虛擬介面。例如，擴展現實系統220可以追蹤使用者200的手及/或指尖的姿態及/或移動以辨識或解釋使用者與虛擬介面的互動。使用者互動可以包括例如但不限於移動虛擬介面、對虛擬介面進行大小調整、選擇虛擬介面中的輸入介面元素、經由虛擬介面提供輸入等。
在一些實例中，圖像感測器218可以擷取與使用者200相關聯的場景的圖像，擴展現實系統220可以使用該等圖像來偵測場景中的物件和人/面部。例如，圖像感測器218可以擷取場景中的人/面部及/或任何物件的圖像，該等物件諸如其他設備（例如，記錄設備、顯示器等）、窗戶、門、桌子、書桌、椅子、牆壁等。擴展現實系統220可以使用圖像來辨識由圖像擷取的面部及/或物件並估計此類面部及/或物件的相對位置。為了說明，擴展現實系統220可以執行面部辨識以偵測場景中的任何面部並且可以使用由圖像感測器218擷取的圖像來估計面部在場景內的位置。作為另一個實例，擴展現實系統220可以分析來自圖像感測器218的圖像以偵測任何擷取設備（例如，相機、麥克風等）或指示擷取設備存在的標誌，並且估計擷取設備（或標誌）的位置。
擴展現實系統220亦可以使用圖像來偵測在使用者200的FOV內的任何遮擋物，該等遮擋物可以被定位使得在此類遮擋物的表面上或在此類遮擋物的地區內渲染的任何資訊對其他偵測到的使用者或擷取設備是不可見的，或在其FOV之外。例如，擴展現實系統220可以偵測到使用者200的手的手掌在使用者200前方並面向使用者，因此在使用者200的FOV內。擴展現實系統220亦可以決定使用者200的手的手掌在場景中偵測到的其他使用者及/或擷取設備的FOV之外，並因此決定使用者200的手的手掌的表面向此類使用者及/或擷取設備進行遮擋。當擴展現實系統220向使用者200呈現擴展現實系統220決定其應當是隱私的及/或被保護以免其他使用者及/或擷取設備可見的任何AR內容（諸如本文描述的隱私控制介面）時，擴展現實系統220可以在使用者200的手的手掌上渲染此類AR內容以保護此類AR內容的隱私性並防止其他使用者及/或擷取設備能夠看到AR內容及/或使用者200與該AR內容的互動。
圖3是圖示手300的示例性界標點的圖式，該等界標點可以用於追蹤手300的位置以及手300與虛擬介面（諸如本文描述的隱私控制介面）的互動。圖3所示的界標點對應於手300的不同部位，包括手300的手掌上的界標點335、手300的拇指330上的界標點、手300的食指332上的界標點、手300的中指334上的界標點、手300的無名指336上的界標點和手300的小指338上的界標點。手部300的手掌可以在三個平移方向（例如，相對於諸如圖像平面之類的平面在X、Y和Z方向上量測）和三個旋轉方向（例如，相對於平面以偏航、俯仰和滾轉量測）上移動，因此提供了可以用於註冊及/或追蹤的六個自由度（6DOF）。手掌的6DOF移動在圖3中被示為正方形，如圖例340所指示。
手300的手指的不同關節允許不同程度的移動，如圖例340所示。如圖3中的菱形（例如，菱形333）所示，每個手指的根部（對應於近節指骨與掌骨之間的掌指關節（MCP））具有與屈曲和伸展以及外展和內收相對應的兩個自由度（2DOF）。如圖3中的圓形（例如，圓形331）所示，每個手指的上關節（對應於遠、中、近指骨之間的掌指關節）中的每一者具有與屈曲和伸展相對應的一個自由度（2DOF）。結果，手300提供26個自由度（26DOF），從該等自由度追蹤手300和手300與由擴展現實系統100渲染的虛擬介面的互動。
擴展現實系統100可以使用手300上的界標點中的一者或多者來追蹤手300（例如，追蹤手300的姿態及/或移動）並追蹤與由擴展現實系統100渲染的虛擬介面的互動。如上文提及，由於偵測到手300上的一或多個界標點，因此可以建立界標（以及相應的手和手指）在相對於擴展現實系統100的相對實體位置中的姿態。例如，可以在圖像中偵測手300手掌上的界標點（例如，界標點335），並且可以決定界標點相對於擴展現實系統100的圖像感測器102的位置。由擴展現實系統100渲染的虛擬介面的點（例如，中心點，諸如質心或其他中心點）及/或由手300選擇的或手300已與之互動的虛擬介面上的介面元素可以被解釋為相對於針對手300的手掌上的界標點決定的位置的、擴展現實系統100的顯示器210上的位置（或顯示器210上的渲染）。在一些實例中，手300已與之互動的虛擬介面的一部分的點可以相對於手300上的一或多個界標點的位置進行註冊。
在一些實例中，擴展現實系統100亦可以將虛擬介面及/或手300註冊到（在一或多個圖像中偵測到的）現實世界中的點及/或使用者的其他部位。例如，在一些實施方式中，除了決定手300相對於擴展現實系統100及/或虛擬介面的實體姿態之外，擴展現實系統100亦可以決定其他界標的位置，其他界標諸如牆壁上的獨特點（稱為關鍵點）、物件的一或多個角、地板上的特徵、人臉上的點、附近設備上的點等等。在一些情況下，擴展現實系統100可以將虛擬介面放置在相對於在環境中偵測到的關鍵點的特定位置內，該等關鍵點例如可以對應於在環境中偵測到的物件及/或人。
在一些實例中，可以使用例如來自圖像感測器102的圖像資料及/或來自諸如加速度計104、陀螺儀106之類的一或多個感測器及/或一或多個其他感測器（例如，一或多個磁力計、一或多個慣性量測單元（IMU）等）的量測值來決定擴展現實系統100（及/或使用者200的頭部）的姿態。頭部姿態可以用於決定虛擬介面、手300及/或環境中的物件及/或人的位置。
在一些實例中，虛擬介面可以維持在渲染位置處。當虛擬介面在所決定的位置處渲染時，使用者隨後可以虛擬地與虛擬介面互動。例如，虛擬介面可以維持在渲染位置處，並且使用者可以經由虛擬介面虛擬輸入文字。在一些情況下，當使用者與虛擬介面互動時，虛擬介面可以保持固定。在一些情況下，虛擬介面可以維持在所決定的位置處，直到擴展現實系統100偵測到重新註冊事件。若虛擬介面是隱私控制介面，則在擴展現實系統100偵測到指示虛擬介面現在可能在另一個使用者或風險物件的FOV內的事件的情況下，擴展現實系統100可以移動、移除或重新配置虛擬介面，該風險物件可以包括可以記錄虛擬介面（及/或相關聯的互動）的或者使使用者能夠從或經由風險物件看到虛擬介面的任何物件，諸如記錄設備、窗戶、玻璃、門等。例如，擴展現實系統100可以將虛擬介面移動到擴展現實系統100決定其在另一使用者或風險物件的FOV之外的不同位置。若擴展現實系統100決定沒有其他位置（或無法辨識出其他位置）在使用者200的FOV內但在另一使用者或風險物件的FOV之外，則擴展現實系統100可以僅僅移除虛擬介面，通知使用者虛擬介面不再是隱私的，及/或提示使用者選擇是否將虛擬介面保持在當前渲染的位置、將虛擬介面移動到不同位置、移除虛擬介面，或執行另一種動作。
圖4是圖示用於為XR體驗產生隱私控制介面的示例性系統流程400的圖式。可以產生隱私控制介面以允許使用者與控制介面互動，同時防止其他使用者和記錄設備看到控制介面或使用者與控制介面的互動，並解譯此類互動以確認此類互動的含義和與此類互動相關聯的資料。
在該實例中，設備追蹤器420可以接收來自加速度計104和陀螺儀106的量測值402以及來自圖像感測器102的圖像資料404。在一些實例中，量測402可以包括來自加速度計104的運動量測值和來自陀螺儀106的方向量測值。例如，量測402可以包括來自加速度計104的一或多個平移向量（例如，向上/向下、向左/向右、向前/向後）和來自陀螺儀106的一或多個旋轉向量（例如，俯仰、偏航、滾轉）。此外，圖像資料404可以包括由圖像感測器102擷取的一或多個圖像或訊框。一或多個圖像或訊框可以擷取與擴展現實系統100相關聯的場景及/或場景的一或多個部分（例如，一或多個區域、物件、人等）。
設備追蹤器420可以是由擴展現實系統100實現的追蹤元件。在一些實例中，設備追蹤器420可以是擴展現實系統100上的XR引擎120的一部分或由其實現。在其他實例中，設備追蹤器420可以與XR引擎120分離並且由擴展現實系統100上的計算元件110中的一者或多者來實現。
設備追蹤器420可以使用量測值402和圖像資料404來追蹤擴展現實系統100的姿態（例如，6DOF姿態）。例如，設備追蹤器420可以將來自圖像資料404的視覺資料與來自量測值402的慣性資料融合以決定擴展現實系統100相對於實體世界（例如，場景）的位置和運動以及實體世界的映射圖。在一些實例中，當追蹤擴展現實系統100的姿態時，設備追蹤器420可以產生場景（例如，現實世界）的三維（3D）映射圖及/或產生場景的3D映射圖的更新。3D映射圖更新可以包括，例如但不限於，與場景及/或場景的3D映射圖相關聯的新的或更新的特徵及/或界標點、辨識或更新擴展現實系統100在場景和場景的3D映射圖內的位置的定位更新等。3D映射圖可以提供現實/實體世界中的場景的數位表示。在一些實例中，3D映射圖可以將基於位置的物件及/或內容錨定到現實世界座標及/或物件。擴展現實系統100可以使用映射場景（例如，由3D映射圖表示及/或與其相關聯的實體世界中的場景）來將實體世界與虛擬世界合併及/或將虛擬內容或物件與實體環境合併。
設備追蹤器420可以將根據量測值402和圖像資料404產生的追蹤資料406提供給手追蹤器422、XR應用程式424和隱私控制介面管理引擎122。追蹤資料406可以包括擴展現實系統100的姿態和由設備追蹤器420計算的映射圖資料。如前文描述，映射圖資料可以包括場景的3D映射圖及/或場景的3D映射圖的映射圖更新。
手追蹤器422可以是由擴展現實系統100實現的用以追蹤與擴展現實系統100相關聯的使用者（例如，圖2的使用者200）的手（例如，圖3的手300）及/或使用者的手的指尖的元件，如前文所解釋。出於簡單和解釋目的，手追蹤器422在本文中將被描述為用於追蹤手的元件。然而，應當注意，在其他實例中，手追蹤器422可以追蹤其他物件及/或身體部位。例如，如前文提及，手追蹤器422可以追蹤手上的手指或指尖，作為追蹤手本身的補充或替代。
在一些實例中，設備追蹤器420可以是擴展現實系統100上的XR引擎120的一部分或由其實現。在其他實例中，設備追蹤器420可以與XR引擎120分離並且由擴展現實系統100上的計算元件110中的一者或多者來實現。
手追蹤器422亦可以從圖像感測器102接收圖像資料404。手追蹤器422可以使用圖像資料404和追蹤資料406來追蹤手姿態408（例如，手及/或手指/指尖的姿態）。在一些實例中，手追蹤器422可以如先前關於圖3所描述的一般決定手姿態408。手追蹤器422隨後可以向XR應用程式424提供手姿態408。在一些實例中，XR應用程式424可以是擴展現實系統100上被設計及/或配置為提供特定XR體驗的應用程式，諸如例如AR遊戲體驗、AR課堂體驗及/或任何其他XR體驗。XR應用程式424可以是XR引擎120的一部分或由其實施，或者可以與XR引擎120分離。
隱私控制介面管理引擎122可以使用圖像資料404和追蹤資料406來決定渲染隱私控制介面以作為XR體驗的一部分的時間、方式及/或位置。隱私控制介面可以是虛擬控制介面，該虛擬控制介面被設計及/或配置為向以下使用者及/或記錄設備隱藏控制介面、控制介面之間的互動及/或與控制介面相關聯的資料輸入/輸出：場景中未被授權查看此類資訊的任何使用者及/或記錄設備，及/或場景中除與擴展現實系統100相關聯的預期使用者之外的所有使用者及/或記錄設備。
在一些實例中，隱私控制介面管理引擎122可以決定是否應當將虛擬控制介面渲染為隱私控制介面，以便向場景中的使用者及/或記錄設備隱藏虛擬控制介面和相關聯的互動/資料。隱私控制介面管理引擎122可以基於一或多個因素來決定是否將虛擬控制介面渲染為隱私控制介面，該一或多個因素諸如例如使用者偏好、系統偏好、應用偏好、虛擬控制介面的介面類型（例如，密碼提示、pin鍵盤、醫療表格、考試或測驗問題、投票調查、銀行介面、隱私表格、競技遊戲控制介面等）、與虛擬介面相關聯的資料輸入/輸出的類型（例如，醫療資料、財務資料、認證身份碼、機密資料、個人或隱私資料、受保護資料、安全性資訊、敏感性資料等）、與虛擬介面及/或相關聯的資料相關聯的安全性資訊或存取級別、與虛擬介面相關聯的應用程式的類型（例如，銀行、醫療、安全性、遊戲等）、與擴展現實系統100相關聯的當前環境（例如，公共區域、監視區域、高犯罪率區域、人口稠密區域、附近有使用者或設備的區域等）及/或任何其他因素。
在一些情況下，隱私控制介面管理引擎122可以辨識場景中可以渲染隱私控制介面的隱私地區。隱私地區可以包括場景中在與擴展現實系統100相關聯的使用者的FOV內但在場景中的其他使用者及/或任何已知或潛在的記錄設備的FOV之外的地區、區域、位置、物件、表面及/或平面。換言之，隱私地區可以是場景中使用者可以看到但場景中的其他使用者及/或記錄設備無法看到的某個地方。在一些情況下，若場景中的遮擋物可以防止（例如，阻止）其他使用者及/或記錄設備看到隱私地區，則可以決定隱私地區在其他使用者及/或記錄設備的FOV之外。
例如，桌子上的一疊書本可以阻止場景中的其他使用者及/或記錄設備看到在該疊書本的特定側（例如，相對於其他使用者及/或記錄設備的相對側）上的桌子上的區域。若桌子的該區域沒有向與擴展現實系統100相關聯的使用者進行遮擋（例如，其在使用者的FOV內），則折疊書本可以被視為一遮擋物並且桌子的該區域可以被視為隱私地區，該隱私地區可以用於為使用者渲染隱私控制介面，而不會將隱私控制介面及/或相關聯的互動/資料暴露給場景中的其他使用者及/或記錄設備。
在一些實例中，為了辨識場景中的隱私地區，隱私控制介面管理引擎122可以使用圖像資料404來辨識場景中的任何物件和面部以及其在場景中相對於擴展現實系統100的相關聯位置。物件可以包括風險物件。風險物件可以包括具有記錄功能的任何設備，諸如相機，或允許其他使用者看到隱私地區的任何設備，諸如窗戶、敞開的門或玻璃門等。在一些情況下，隱私控制介面管理引擎122可以使用關於場景中的物件及/或面部以及其在場景內的相關聯的位置的資訊來決定場景中是否有任何地區、區域、位置、物件、表面及/或平面可以被選擇為在其他使用者及/或風險物件的FOV之外但在與擴展現實系統100相關聯的使用者的FOV內的隱私地區。例如，隱私控制介面管理引擎122可以決定場景中是否有任何區域或平面在將會防止其他使用者及/或風險物件看到該區域或平面的相對位置、角度、距離等內。
在一些情況下，隱私控制介面管理引擎122可以基於來自使用者及/或其他設備的輸入來辨識場景中的任何物件和面部（及其相關聯的位置）。例如，使用者可以輸入關於場景中的任何使用者和物件的資訊，包括例如對此類使用者和物件的描述、對此類使用者和物件的位置的描述、對可能的遮擋物及/或隱私地區的指示等。作為另一個實例，可以從場景中的其他設備自行報告此類資訊。若此類設備是可信的，則隱私控制介面管理引擎122在辨識物件、面部和相關聯位置時可以依賴此類資訊。
在一些情況下，隱私控制介面管理引擎122可以執行遮擋計算以決定是否有任何遮擋物將會防止場景中的其他使用者及/或風險物件看到場景中的特定地區、區域、位置、物件、表面及/或平面。例如，隱私控制介面管理引擎122可以決定在映射場景（例如，由3D映射圖表示及/或與其相關聯的實體世界中的場景）中是否有任何地區向除了與擴展現實系統100相關聯的使用者以外的所有物件進行遮擋。在一些實例中，隱私控制介面管理引擎122可以使用光線追蹤來發現場景中向其他使用者及/或風險物件進行遮擋的遮擋物及/或地區。在其他實例中，隱私控制介面管理引擎122可以分析圖像資料404以決定場景中是否有任何遮擋物可能防止其他使用者及/或風險物件看到場景中的特定地區。遮擋物可以包括相對場景中的其他使用者及/或危險物件的FOV的任何物件或障礙物。此外，遮擋物可以用於辨識可以用於為使用者渲染隱私控制介面的隱私地區。
在一些實例中，隱私控制介面管理引擎122可以推斷或假設場景中的表面是隱私地區，若該表面在特定角度內面向與擴展現實系統100相關聯的使用者。例如，隱私控制介面管理引擎122可以辨識場景中在可程式設計角度內面向使用者的平面，並且推斷或假設此類平面是隱私的。可程式設計角度可以是例如與使用者面部的角度或方向在閾值差或距離（例如，角度）內的角度。例如，若使用者面部處於90度角，則可程式設計角度可以是90度角或與90度相距x度以內的角度。在一些情況下，隱私控制介面管理引擎122可以在映射場景上使用平面分割（例如，經由隨機取樣一致性（RANSAC）、霍夫變換、神經網路等）以找到在可程式設計角度內面向使用者的平面。在一些實例中，隱私控制介面管理引擎122可以分析偵測到的物件、面部及/或遮擋物，如前文描述，以確認平面確實是隱私的。
在一些情況下，當隱私控制介面管理引擎122辨識出隱私地區時，隱私控制介面管理引擎122亦可以決定隱私地區的配置（例如，大小、形狀、角度、距離等）及/或隱私控制介面的配置（例如，大小、形狀、角度、設計、方案等）以在隱私地區上或隱私地區內適配及/或對準隱私控制介面。例如，隱私控制介面管理引擎122可以決定隱私地區的大小和形狀，並選擇隱私控制介面的大小、形狀及/或設計，以確保隱私控制介面適配於隱私地區並且可以與隱私地區對準。
接下來，隱私控制介面管理引擎122可以向XR應用程式424提供隱私控制介面資料410。隱私控制介面資料410可以包括對XR應用程式424可以用來渲染隱私控制介面的隱私地區的指示。在一些實例中，隱私控制介面資料410可以包括對隱私地區的位置和配置（例如，形狀、大小、角度等）的指示。在一些實例中，隱私控制介面資料410亦可以包括隱私地區的配置資訊。配置資訊可以包括例如大小、形狀、設計、介面類型或方案、佈局、對準及/或XR應用程式424可以用來在隱私地區上渲染、適配、對準及/或鎖定的隱私控制介面的任何其他特性。
如前文所解釋，XR應用程式424亦可以接收來自設備追蹤器420的追蹤資料406和來自手追蹤器422的手姿態408。XR應用程式424可以使用追蹤資料406和手姿態408連同隱私控制介面資料410以在隱私地區上調整隱私控制介面的大小、定位、對準和渲染該隱私地區。在隱私地區上渲染隱私控制介面可以包括在隱私地區上提供隱私控制介面的虛擬/數位覆加及/或渲染/顯示隱私控制介面，以在從/經由擴展現實系統100查看隱私控制介面的使用者看來就好像隱私控制介面位於、呈現在或投影在隱私地區上一樣。在一些情況下，XR應用程式424可以使用追蹤資料406、手姿態408和隱私控制介面資料410來將隱私控制介面映射到場景的3D映射圖上的隱私地區。此外，在一些情況下，XR應用程式424可以使用追蹤資料406、手姿態408和隱私控制介面資料410來映射及/或解釋使用者（例如，經由手）與隱私控制介面的互動及/或以其他方式允許隱私控制介面與使用者互動。
XR應用程式424可以向顯示器210提供輸出412，該輸出可以向使用者呈現隱私控制介面。輸出412可以包括在隱私地區內對隱私控制介面的渲染。例如，輸出412可以包括在隱私地區上的隱私控制介面的虛擬/數位覆加（例如，渲染在、出現在、錨定到、鎖定到隱私地區上等）。在一些情況下，輸出412可以包括渲染/顯示隱私控制介面，以在從/經由擴展現實系統100查看隱私控制介面的使用者看來就好像隱私控制介面位於、呈現在或投影在隱私地區上一樣。在一些情況下，輸出412可以包括與隱私控制介面及/或由XR應用程式424提供的XR內容相關聯的其他資訊。
圖5是圖示用於為XR體驗產生隱私控制介面的示例性過程500的流程圖。本文概述的操作是出於說明目的而提供的非限制性實例，並且可以以其任何組合實施，包括排除、添加或修改某些操作或步驟的組合。此外，出於簡單起見和解釋目的，參考如圖1所示的擴展現實系統100來描述操作，該擴展現實系統被配置為實踐過程500的操作。
在方塊502處，擴展現實系統100可以首先偵測隱私條件。隱私條件可以是被配置為觸發隱私控制介面的渲染的任何事件及/或條件。例如，隱私條件可以是觸發擴展現實系統100以隱私模式（例如，在隱私地區上）呈現虛擬介面以防止其他使用者或設備具有對虛擬介面、使用者與虛擬介面的互動及/或與虛擬介面相關聯的資料的可見存取的任何事件及/或條件。
在一些實例中，可以基於一或多個因素來定義隱私條件。例如，隱私條件可以由以下各項來定義或基於以下各項：使用者偏好、系統偏好（例如，來自擴展現實系統100的偏好）、應用偏好（例如，來自XR應用程式424的偏好）、應用及/或內容項、法律或法規、最佳實踐、安全性規範、潛在安全性影響、XR應用程式的類型、關於環境中的條件的規則（例如，環境是否可供公眾存取、環境中是否有其他使用者或設備、是否為人口稠密區域、是否有任何隱私預期等）、與XR應用程式及/或虛擬介面相關聯的資料類型（例如，個人使用者資料、認證資料（密碼、pin、代碼等）、醫療資訊、財務資訊、多使用者遊戲中的玩家資訊、安全性資訊、受密碼保護資料、受存取控制列表（ACL）及/或許可權保護的資料、使用者帳戶資料、特權或機密資料等）。
在方塊504處，擴展現實系統100可以決定是否已經偵測到隱私地區。擴展現實系統100可以偵測隱私地區，如先前關於圖4所解釋的。此外，隱私地區可以是僅對與擴展現實系統100相關聯的使用者可見（例如，對其他使用者或記錄設備不可見）的位置、區域、地區、平面、物件及/或表面，擴展現實系統100可以使用其來渲染隱私控制介面。在一些情況下，擴展現實系統100可以對某些預定的使用者、設備及/或物件進行例外處理，使得擴展現實系統100可以將一地區視為隱私地區，即使該地區對於此類使用者、設備及/或物件可見。例如，在多遊戲場景中，若與擴展現實系統100相關聯的使用者正在場景中包括另一使用者的團隊中玩遊戲，則可以允許該另一使用者看到隱私控制介面。因此，當辨識隱私地區時，擴展現實系統100可以忽略其他使用者可以看到該隱私地區的事實，並且仍然選擇該地區作為用於渲染隱私控制介面的隱私地區。
若在方塊504擴展現實系統100偵測到隱私地區，則在方塊508處，擴展現實系統100可以在隱私地區上渲染隱私控制介面。在一些情況下，若擴展現實系統100偵測到多個隱私地區，則擴展現實系統100可以選擇特定的隱私地區及/或優先化隱私地區。擴展現實系統100可以基於一或多個因素來選擇/優先化隱私地區。例如，擴展現實系統100可以基於以下各項來選擇/優先化隱私地區：使用者偏好、與隱私地區相關聯的特性（例如，形狀、大小、角度、位置、相對距離、相對於使用者及/或其他使用者/設備的FOV的位置、與隱私地區相關聯的移動（或缺乏移動）等）、隱私地區在其他使用者及/或風險物件的FOV之外的置信度水平、隱私地區的類型（例如，使用者的身體部位、物件上的表面、在一定角度內面向使用者的平面等）、阻止其他使用者及/或風險物件的可見性的遮擋物的數量及/或類型（例如，較大的物件或具有較大阻止能力的物件可以被賦予更高的優先順序/權重）、用於辨識隱私地區的資料類型（例如，來自其他設備的自報告資料、由使用者報告的資料、物件偵測資料、平面分割資料、圖像資料、遮擋資料、生物特徵資料等）、遮擋計算置信度水平等。
在一些情況下，在隱私地區上渲染隱私控制介面之前，在方塊506處，擴展現實系統100可以任選地決定是否存在任何的隱私控制介面偏好集。隱私控制介面偏好可以包括，例如但不限於，關於隱私控制介面的配置的偏好（例如，形狀、大小、設計、方案、佈局、渲染高度、深度等）、關於虛擬介面是否應當被渲染為隱私控制介面的偏好、時序偏好、渲染偏好、關於是否將隱私控制介面鎖定在隱私地區上或允許隱私控制介面在某個時間段或事件之後被解除/移除的偏好、關於當偵測到相對於隱私控制介面或周圍環境（例如，隱私地區、場景中的物件、場景中的使用者、遮擋物、使用者等）的移動時如何管理隱私控制介面的偏好、隱私級別、隱私地區選擇及/或優先化的偏好（例如，若偵測到多個隱私地區）及/或任何其他偏好。
若擴展現實系統100辨識出任何的隱私控制介面偏好，則在方塊510處，擴展現實系統100可以選擇此類隱私控制介面偏好並在方塊508處使用此類偏好在隱私地區上渲染隱私控制介面。
返回到方塊504，若擴展現實系統100沒有偵測到隱私地區，則在方塊512處，擴展現實系統100可以決定是否在公共可見區域中渲染控制介面。公共可見區域可以包括其他使用者及/或風險物件（諸如記錄設備、窗戶、玻璃門等）可見的任何區域或地區。在一些情況下，擴展現實系統100可以提示使用者選擇是否在公共可見區域中渲染控制介面。在其他情況下，擴展現實系統100可以基於預定義規則及/或關於在未找到隱私地區時如何進行的偏好來決定是否在公共可見區域中渲染控制介面。預定義規則及/或偏好可以包括例如使用者偏好、基於與控制介面相關聯的資料及/或應用程式的類型的規則、安全性級別、與場景相關聯的一或多個條件（例如，對隱私的預期、場景中的使用者及/或設備的數量、與場景相關聯的區域的類型等）、一或多個風險因素、渲染控制介面的緊迫性及/或延遲渲染控制介面的靈活性，及/或任何其他規則或偏好。
在方塊514處，若擴展現實系統100決定在公共可見區域中渲染控制介面，則擴展現實系統100可以繼續在場景內的特定地區中渲染控制介面，即使該地區對於其他使用者及/或風險物件是潛在可見的。或者，若擴展現實系統100決定不在公共可見區域中渲染控制介面，則在方塊516處，擴展現實系統100可以跳過渲染控制介面。擴展現實系統100可以完全跳過渲染控制介面或者可以在特定的時間段延遲渲染或延遲渲染直到特定事件發生。例如，擴展現實系統100可以延遲渲染控制介面，直到擴展現實系統100從使用者接收到渲染控制介面的請求或者直到經過一定量的時間。
在一些情況下，當經過一定量的時間時，擴展現實系統100可以返回到方塊504以決定擴展現實系統100是否可以偵測到隱私地區。在一些實例中，在某個時間段之後，擴展現實系統100亦可以或替代地詢問使用者是否在公共可見區域中渲染控制介面及/或繼續嘗試尋找用於渲染控制介面的隱私地區。
圖6A圖示示例性隱私控制介面渲染600。此處，擴展現實系統100已偵測到對與擴展現實系統100相關聯的使用者200可見但另外對其他使用者及/或風險物件（例如，記錄設備、窗戶、玻璃門等）不可見的隱私地區602。在該實例中，隱私地區602是使用者200使用使用者的手300握持的筆記本上的表面。筆記本的表面面向使用者200並且背離敞開的門606A和場景608中的另一個使用者606B。因此，筆記本的表面（例如，隱私地區602）從敞開的門606A不可見或不在其他使用者606B的FOV內。
場景608可以是使用者200和擴展現實系統100周圍的（例如，現實/實體世界中的）實體環境、設置及/或周圍環境。例如，場景608可以是使用者200和擴展現實系統100所處（及/或使用者200和擴展現實系統100周圍/圍繞使用者200和擴展現實系統100）的辦公室、房間、大廳、車庫、街道、田野、走道、電梯及/或現實/實體世界中的任何其他實體空間。
在一些實例中，擴展現實系統100可以驗證隱私地區602對其他使用者及/或使用者200後面的風險物件不可見。例如，擴展現實系統100可以使用後置圖像感測器及/或使用者身體模型來決定隱私地區602對使用者200後面的其他使用者及/或風險物件是否可見。
由於擴展現實系統100在場景608中偵測到隱私地區602，因此擴展現實系統100可以在隱私地區602上渲染隱私控制介面604。在該實例中，隱私控制介面604是虛擬鍵盤。使用者200可以使用虛擬鍵盤來向與虛擬鍵盤相關聯的XR體驗的XR應用程式（例如，424）提供輸入。隱私控制介面604可以保持鎖定在隱私地區602上或者可以以下情況被移除：一旦使用者200已完成使用隱私控制介面604、XR應用程式不再需要隱私控制介面604、隱私控制介面604已超時、使用者200移動筆記本（例如，隱私地區602），或者另一個使用者移動並且隱私地區602變得對該使用者可見。
圖6B圖示另一個示例性隱私控制介面渲染610。在該實例中，擴展現實系統100已經使用使用者200的手300的手掌的表面作為用於渲染隱私控制介面614的隱私地區612。使用者200的手300的手掌面向使用者200並且背離敞開的門606A和場景608中的另一使用者606B。因此，使用者200的手300的手掌對於使用者200是可見的，但是對敞開的門606A或其他使用者606B是不可見的。
在一些實例中，在將使用者的手的手掌（或任何其他身體部位）用作隱私地區之前，擴展現實系統100可以使用生物特徵資料來確認手掌是使用者的手掌。例如，擴展現實系統100可以決定手掌生物特徵是否被辨識（例如，同與使用者相關聯的先前註冊的生物特徵匹配）。若手掌生物特徵被辨識/驗證，則擴展現實系統100可以在手掌上渲染隱私控制介面614。否則，擴展現實系統100可以選擇不在手掌上渲染隱私控制介面614。此舉可以提供附加的安全性措施以確保隱私控制介面不會渲染在其他使用者的手或身體部位上。
該實例中的隱私控制介面614包括選項按鈕。因此，圖6B中的隱私控制介面614不同於圖6A中的隱私控制介面604。隱私控制介面614可以由於一或多個原因而不同。例如，隱私控制介面614可以因為請求/預期的資料/輸入的類型不同而不同。為了說明，若使用者需要輸入文字，則渲染的隱私控制介面可以是鍵盤。另一態樣，若使用者不需要輸入文字，而是需要選擇一個選項，則渲染的隱私控制介面可以是如圖6B所示的選項按鈕介面。
作為另一個實例，隱私控制介面614可以因為諸如隱私地區的大小（例如，較小的隱私地區可以觸發較小的介面或更好地適配於較小的區域內的不同介面設計/方案）、隱私地區的形狀、使用者偏好等之類的渲染要求而不同。
圖6C圖示另一個示例性隱私控制介面渲染620。在該實例中，隱私地區622是書桌626上的平坦表面。隱私地區622在使用者200的FOV內。然而，書桌626上的遮擋物624阻止從敞開的門606A對隱私地區622的可見性。遮擋物624亦阻止其他使用者606B對隱私地區622的可見性。因此，隱私地區622對使用者200可見，但從門606A或對其他使用者606B是不可見的。
該實例中的遮擋物624是筆記本，其立在書桌626上並且遮擋書桌626上與隱私地區622相對應的平坦表面。此外，擴展現實系統100已經在隱私地區622上渲染隱私控制介面604，因為隱私地區622被書桌626上的筆記本（例如，遮擋物624）向敞開的門606A和其他使用者606B進行遮擋。使用者200可以與渲染在隱私區域隱私地區622上的隱私控制介面604互動，而不會將此類互動及/或相關聯的資料暴露給其他使用者606B或暴露給可能在敞開的門606A之外的任何使用者或記錄設備。
圖6D圖示另一個示例性隱私控制介面渲染630。在該實例中，隱私地區632在書桌626的平坦表面上，但是被使用者200的手300和手臂638遮擋。隱私地區632面向使用者200並且遮擋物（例如，手300和手臂638）不阻止使用者看到隱私地區632。然而，使用者200的手300和手臂638阻止從敞開的門606A或其他使用者606B對隱私地區632的可見性。因此，隱私地區632在使用者200的FOV內但在敞開的門606A或使用者606B的FOV之外。
該實例中的隱私控制介面包括操縱桿636和按鈕634。操縱桿636和按鈕634被渲染在隱私地區632上。由於隱私地區632是平坦的水平表面，因此與隱私地區是如圖6A至圖6B所示的豎直表面的情況相反，操縱桿636和按鈕634在被渲染在隱私地區632上時可以更容易地被使用。因此，擴展現實系統100可以選擇或優先化操縱桿636和按鈕634作為在該示例性渲染630中使用的介面設計/方案。然而，在隱私地區是如圖6A至圖6B所示的豎直表面的其他實例中，擴展現實系統100可以替代地選擇或優先化可以在豎直表面上更容易使用的不同介面設計/方案，諸如例如虛擬鍵盤或選項按鈕。
圖7圖示用於請求來自使用者200的渲染偏好並基於從使用者200接收的偏好渲染隱私控制介面的示例性渲染流程700。在流程700的第一視圖702中，當擴展現實系統100需要渲染擴展現實系統100決定其應當是隱私的控制介面時，擴展現實系統100可以向使用者200渲染提示704，從而要求使用者200提供用以在其上渲染控制介面的隱私控制地區的位置。
在一些情況下，提示704可以包括或表示用於隱私控制介面的預留位置框。在一些實例中，預留位置框（例如，提示704）可以是世界鎖定的或頭部鎖定的。回應於提示704，使用者200可以提供隱私地區及/或將提示704（例如，預留位置框）移動到使用者200希望在其上渲染隱私控制介面的隱私地區。例如，使用者200可以根據使用者200希望渲染隱私控制介面的方式在隱私地區上框出提示704。
在流程700的第二視圖710中，使用者200已經提供隱私地區706並且將提示704移動到隱私地區706上。擴展現實系統100隨後可以決定使用者200已經選擇了要在隱私地區706上渲染隱私控制介面，如第二視圖710中所示。
在流程700的第三視圖712中，擴展現實系統100可以在隱私地區706上以與使用者200在隱私地區706上放置或框出提示704的方式一致地渲染隱私控制介面714。在一些實例中，由擴展現實系統100渲染的隱私控制介面714可以被世界鎖定到隱私地區706。在一些情況下，隱私控制介面714可以在隱私地區706移動的任何時候與隱私地區706一起移動。在其他情況下，若隱私地區706移動或被移除，擴展現實系統100可以移除隱私控制介面714。在其他情況下，為了維持隱私控制介面714的一致放置，擴展現實系統100可以在隱私地區706移動/被移除時繼續在其當前位置處渲染隱私控制介面714，而不管隱私問題（例如，即使如此做將導致隱私控制介面714從敞開的門606A或對其他使用者606B可見）。
圖8圖示渲染呈現800中的示例性安全性指示符。此處，隱私控制介面806在場景802中的隱私地區804上渲染。隱私地區804是書桌上被物件808遮擋的平坦表面。在該實例中，物件808是筆記本。然而，提供遮擋的物件可以是能夠阻止看到隱私地區804的任何其他物件，諸如例如剪貼板、電話、手、書本、監視器、椅子、燈等。
由於物件808阻止對隱私地區804的可見性，因此擴展現實系統100可以決定隱私控制介面806是隱私的（例如，向其他使用者或風險物件進行遮擋、在其他使用者或風險物件的FOV之外等）。因此，擴展現實系統100可以渲染安全性指示符810，其向使用者指示隱私控制介面當前是隱私的。
若遮擋隱私控制介面806的物件808被移除並且隱私控制介面806暴露於其他使用者或風險物件或對其可見，則擴展現實系統100可以決定正在渲染的隱私控制介面806不再是隱私的。擴展現實系統100隨後可以渲染安全性指示符812，向使用者指示隱私控制介面806不再是隱私的。使用者可以請求移除或維持隱私控制介面806。若使用者請求移除隱私控制介面806，則擴展現實系統100可以相應地停止渲染隱私控制介面806。另一態樣，若使用者請求將隱私控制介面806保持在渲染位置處，則擴展現實系統100可以繼續渲染隱私控制介面806，即使隱私控制介面806不再是隱私的。
圖9圖示了用於在使用者身體上渲染隱私控制介面之前驗證生物特徵資訊的示例性方案900。作為安全性措施，擴展現實系統100可以在於使用者身體上渲染隱私控制介面之前驗證生物特徵資訊，以確保隱私控制介面不被渲染在另一個使用者的身體上。
在第一視圖902中，使用者已經舉起手300，其手掌904面向擴展現實系統100。擴展現實系統100可以擷取手掌904的一或多個圖像並分析該一或多個圖像以辨識手掌904上的特徵906。擴展現實系統100可以使用手掌904上的特徵906來辨識手掌904。擴展現實系統100亦可以使用手掌904上的特徵906作為手掌生物特徵來驗證手掌904是屬於使用者的還是另一個使用者的手掌。
在一些實例中，擴展現實系統100可以實施神經網路以辨識手掌904上的特徵906並將手掌904辨識為屬於使用者。擴展現實系統100可以經由將可以用作手掌生物特徵的特徵906與和該使用者的手掌相關聯的先前註冊的生物特徵資料進行匹配來將手掌904辨識為屬於該使用者。若擴展現實系統100決定手掌904的生物特徵（例如，特徵906）與和該使用者手掌相關聯的先前註冊的生物特徵相匹配，則擴展現實系統100可以將手掌904辨識為使用者的手掌（如操作908所示）。另一態樣，若擴展現實系統100決定手掌904的生物特徵與和使用者手掌相關聯的先前註冊的生物特徵不匹配，則擴展現實系統100可以決定手掌904未被辨識（例如,未被驗證為使用者的手掌）（如操作914所示）。
在視圖910中，在將手掌904辨識為屬於使用者之後，擴展現實系統100可以在手掌904上渲染隱私控制介面912。或者，在視圖916中，若擴展現實系統100未辨識手掌904，則擴展現實系統100可以不在手掌904上渲染隱私控制介面，因為如此做可能將隱私控制介面和相關聯的資料暴露給另一使用者。
在揭示示例性系統、元件和概念之後，本案現在轉向用於為XR體驗產生隱私控制介面的示例性方法1000，如圖10所示。本文概述的步驟是出於說明目的而提供的非限制性實例，並且可以以其任何組合實施，包括排除、添加或修改某些步驟的組合。
在方塊1002處，方法1000可以包括以下步驟：決定擴展現實設備（例如，100、220）在與擴展現實設備相關聯的實體環境的映射場景內的姿態。在一些實例中，擴展現實設備的姿態可以基於由一或多個圖像感測器（例如，102、118）獲得的場景（在實體/現實世界/環境中）的一或多個圖像以及來自一或多個其他感測器的量測值來計算。在一些情況下，一或多個其他感測器可以包括加速度計（例如，104）和陀螺儀（例如，106）。此外，量測值可以包括旋轉向量（例如，偏航、俯仰、滾轉）和運動向量（例如，向上/向下、向左/向右、向前/向後）。
在方塊1004處，方法1000可以包括以下步驟：偵測實體環境（及/或由3D映射圖映射的實體世界/環境中的場景）中的隱私地區（例如，602、612、622、632）和隱私地區相對於擴展現實設備的姿態的位置。在一些實例中，隱私地區可以包括被估計在擴展現實設備的使用者（例如，200）的FOV內並在實體環境（及/或映射場景）中的人員、實體環境（及/或映射場景）中的記錄設備（例如，相機）及/或實體環境（及/或映射場景）中實現從實體環境之外的查看存取的物件的相應FOV之外的區域。在一些情況下，該物件可以包括，例如但不限於，窗戶、玻璃門、敞開的門及/或可以允許其他使用者具有從該物件的查看存取的任何物件。
在一些實例中，偵測隱私地區可以包括：計算與對應於人員的第一面部相關聯的人臉位置資料；基於人臉位置資料來計算人員的FOV；及基於人員的FOV和隱私地區的位置來決定隱私地區被位於隱私地區與人員之間的一或多個物件遮擋而在人員的視線之外。在一些情況下，可以基於擷取映射場景和第一面部的圖像來偵測第一面部。此外，在一些情況下，可以使用為人臉辨識及/或位置估計配置的神經網路來計算人臉位置資料。
在一些態樣中，偵測隱私地區亦可以包括：計算與對應於使用者的第二面部相關聯的人臉位置資料；基於與第二面部相關聯的人臉位置資料來計算使用者的FOV；及基於隱私地區的位置來決定隱私地區在使用者的FOV內。在一些實例中，可以基於擷取映射場景（及/或實體環境）的圖像來偵測第二面部。例如，圖像亦可以擷取第二面部並且可以被分析以偵測圖像內的第二面部。
在一些實例中，隱私地區可以包括與使用者相關聯的身體部位的表面，並且偵測隱私地區可以包括決定身體部位的表面正在面向使用者並背離實體環境中的人員、實體環境中的記錄設備及/或實體環境中的物件。在一些情況下，身體部位可以包括手，並且身體部位的表面可以包括手的手掌。在一些實例中，偵測隱私地區可以包括基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，該先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊與先前註冊的生物特徵資訊相匹配。
在一些情況下，偵測隱私地區可以包括偵測實體環境中（及/或映射場景內）的一或多個物件；基於實體環境中（及/或映射場景內）的一或多個物件偵測實體環境中（及/或映射場景內）的一或多個遮擋物；及經由決定一或多個遮擋物阻止人員、記錄設備及/或物件對隱私地區的可見性來偵測隱私地區。在一些實例中，偵測實體環境中（及/或映射場景內）的一或多個遮擋物可以包括追蹤實體環境內的光線路徑（例如，光線追蹤）。
在方塊1006處，方法1000可以包括以下步驟：基於擴展現實設備的姿態和偵測到隱私地區，將虛擬隱私控制介面（例如，604、614、634、636）映射到隱私地區。在一些實例中，虛擬隱私控制介面可以被映射到映射場景及/或實體環境內的隱私地區的位置。在一些情況下，虛擬隱私控制介面可以包括一或多個輸入介面元素。在一些實例中，虛擬隱私控制介面可以包括虛擬鍵盤、虛擬pin鍵盤、虛擬操縱桿、虛擬控制器、虛擬按鈕及/或虛擬輸入欄位。虛擬隱私控制介面可以代表被渲染為就好像位於及/或看起來位於實體場景/環境中的隱私地區/位置中（例如，在使用者的FOV內但在其他人及/或風險物件的FOV之外）、隱藏在其他人及/或風險物件的FOV之外及/或被遮擋/遮蔽在其他人及/或風險物件的FOV之外的虛擬介面。
在方塊1008處，方法1000可以包括以下步驟：在映射場景內的隱私地區內渲染虛擬隱私控制介面。在隱私地區內渲染隱私控制介面可以包括在隱私地區上或隱私地區內渲染隱私控制介面的虛擬/數位覆加及/或渲染隱私控制介面，以在從/經由擴展現實系統（例如，100、220）查看隱私控制介面的使用者看來就好像位於、呈現在或投影在隱私地區上一樣。
在一些情況下，在隱私地區內渲染虛擬隱私控制介面可以包括調整虛擬隱私控制介面的大小及/或對準虛擬隱私控制介面以適配於隱私地區內並與隱私地區對準。在一些情況下，虛擬隱私控制介面可以是增強現實介面，並且增強現實介面可以經由增強現實應用程式渲染。
在一些態樣中，方法1000可以包括以下步驟：決定該區域在人員、記錄設備及/或物件的相應FOV之外。在一些實例中，方法1000可以經由偵測實體環境中的一或多個物件並決定人員、記錄設備及/或物件的相應FOV被一或多個物件遮擋來決定該區域在人員、記錄設備及/或物件的相應FOV之外。
在一些態樣中，將虛擬隱私控制介面映射到隱私地區並在隱私地區內渲染虛擬隱私控制介面可以包括：決定隱私地區的第一大小及/或隱私地區的第一方向；基於隱私地區的第一大小及/或隱私地區的第一方向，決定虛擬隱私控制介面的第二大小及/或虛擬隱私控制介面的第二方向；根據第二大小及/或第二方向產生虛擬隱私控制介面；及將虛擬控制介面與隱私地區對準。在一些實例中，虛擬隱私控制介面的第二大小可以匹配或適配於隱私地區的第一大小內，並且虛擬控制介面的第二方向可以至少部分地與隱私地區的第一方向對準。
在一些態樣中，方法1000可以包括以下步驟：辨識手的手掌以渲染第二虛擬隱私控制介面；及在手的手掌上渲第二虛擬隱私控制介面之前，基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，該先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊是否與先前註冊的生物特徵資訊匹配。
在一些實例中，方法1000亦可以包括以下步驟：決定生物特徵資訊與先前註冊的生物特徵資訊不匹配；及回應於決定生物特徵資訊與先前註冊的生物特徵資訊不匹配而決定不在手的手掌上渲染第二虛擬隱私控制介面。
在一些實例中，方法1000可以由一或多個計算設備或裝置來執行。在一個說明性實例中，方法1000可以由圖1所示的擴展現實系統100及/或具有圖11中所示的計算設備架構1100的一或多個計算設備來執行。在一些情況下，此類計算設備或裝置可以包括處理器、微處理器、微電腦或被配置為執行方法1000的步驟的設備的其他元件。在一些實例中，此類計算設備或裝置可以包括被配置為擷取圖像資料的一或多個感測器。例如，計算設備可以包括智慧型電話、頭戴式顯示器、行動設備或其他合適的設備。在一些實例中，此類計算設備或裝置可以包括被配置為擷取一或多個圖像或視訊的相機。在一些情況下，此類計算設備可以包括用於顯示圖像的顯示器。在一些實例中，一或多個感測器及/或相機與計算設備分離，在此種情況下，計算設備接收感測到的資料。此類計算設備亦可以包括被配置為傳送資料的網路介面。
計算設備的元件可以在電路系統中實施。例如，該等元件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實施，該等電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、圖形處理單元（GPU）、數位信號處理器（DSP）、中央處理單元（CPU）及/或其他合適的電子電路）；及/或可以包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實施，以執行本文描述的各種操作。計算設備亦可以包括顯示器（作為輸出設備的實例或作為輸出設備的補充）、被配置為通訊及/或接收資料的網路介面、其任何組合及/或（一或多個）其他元件。網路介面可以被配置為通訊及/或接收基於網際網路協定（IP）的資料或其他類型的資料。
方法1000被圖示為邏輯流程圖，其操作表示可以在硬體、電腦指令或其組合中實施的操作序列。在電腦指令的上下文中，該等操作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該等電腦可執行指令在由一或多個處理器執行時執行所敘述的操作。通常，電腦可執行指令包括執行特定功能或實施特定資料類型的常式、程式、物件、元件、資料結構等。描述操作的順序不意欲被解釋為限制，並且可以以任何順序及/或並行地組合任意數量的所描述的操作來實施該等過程。
另外，方法1000可以在被配置有可執行指令的一或多個電腦系統的控制下執行，並且方法1000可以被實施為在一或多個處理器上共同執行、經由硬體執行或其組合的代碼（例如，可執行指令、一或多個電腦程式，或一或多個應用程式）。如上文提及，該代碼可以例如以包括複數個可由一或多個處理器執行的指令的電腦程式的形式而被儲存在電腦可讀取或機器可讀取儲存媒體上。電腦可讀取或機器可讀取儲存媒體可以是非暫時性的。
圖11圖示可以實施本文描述的各種技術的示例性計算設備的示例性計算設備架構1100。例如，計算設備架構1100可以實施圖1所示的擴展現實系統100及/或圖2所示的擴展現實系統220的至少一些部分。計算設備架構1100的元件被圖示為使用諸如匯流排之類的連接1105彼此電通訊。示例性計算設備架構1100包括處理單元（CPU或處理器）1110和計算設備連接1105，該計算設備連接將包括諸如唯讀記憶體（ROM）1120和隨機存取記憶體（RAM）1125之類的計算設備記憶體1115的各種計算設備元件耦合到處理器1110。
計算設備架構1100可以包括高速記憶體的快取記憶體，該快取記憶體與處理器1110的一部分直接連接、緊密接近或被整合為處理器1110的一部分。計算設備架構1100可以將資料從記憶體1115及/或儲存設備1130複製到快取記憶體1112以供處理器1110快速存取。如此，快取記憶體可以提供效能提升，從而避免處理器1110在等待資料時延遲。該等和其他模組可以控制或被配置為控制處理器1110以執行各種動作。亦可以使用其他計算設備記憶體1115。記憶體1115可以包括具有不同效能特性的多種不同類型的記憶體。處理器1110可以包括任何通用處理器和儲存在儲存設備1130中並且被配置為控制處理器1110的硬體服務或軟體服務，以及其中將軟體指令併入處理器設計中的專用處理器。處理器1110可以是獨立的系統，其包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或不對稱的。
為了使得使用者能夠與計算設備架構1100互動，輸入設備1145可以表示任何數量的輸入機制，諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等等。輸出設備1135亦可以是熟習此項技術者已知的多種輸出機制中的一或多個，諸如顯示器、投影儀、電視、揚聲器設備。在一些情況下，多模態計算設備可以使得使用者能夠提供多種類型的輸入以與計算設備架構1100進行通訊。通訊介面1140通常可以支配和管理使用者輸入和計算設備輸出。對於在任何特定硬體佈置上進行操作沒有限制，並且因此，此處的基本特徵在被開發時可以輕鬆替換為改良的硬體或韌體佈置。
儲存設備1130是非揮發性記憶體並且可以是硬碟或可以儲存電腦可存取的資料的其他類型的電腦可讀取媒體，諸如磁帶、快閃記憶卡、固態記憶體設備、數位通用磁碟、盒式磁帶、隨機存取記憶體（RAM）1125、唯讀記憶體（ROM）1120及其混合。儲存設備1130可以包括用於控制處理器1110的軟體、代碼、韌體等。可以預期其他硬體或軟體模組。儲存設備1130可以連接到計算設備連接1105。在一個態樣中，執行特定功能的硬體模組可以包括儲存在電腦可讀取媒體中的軟體元件與必要的硬體元件（諸如處理器1110、連接1105、輸出設備1135等等）的結合以執行功能。
術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存設備、光儲存設備以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括可以在其中儲存資料並且不包括無線地或經由有線連接傳播的載波及/或暫時性電子信號的非暫時性媒體。非暫時性媒體的實例可以包括但不限於磁碟或磁帶、諸如壓縮光碟（CD）或數位通用磁碟（DVD）之類的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可以在其上儲存有代碼及/或機器可執行指令，代碼及/或機器可執行指令可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、類別，或者指令、資料結構或程式語句的任何組合。程式碼片段可以經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容而耦合到另一個程式碼片段或硬體電路。資訊、引數、參數、資料等可以經由任何合適的手段來傳遞、轉發或傳輸，該等手段包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等。
在一些實施例中，電腦可讀取儲存設備、媒體和記憶體可以包括包含位元串流等的有線或無線信號。然而，在提及時，非暫時性電腦可讀取儲存媒體明確排除諸如能量、載波信號、電磁波和信號本身之類的媒體。
在以上描述中提供了具體細節以提供對本文提供的實施例和實例的透徹理解。然而，一般技術者將理解，可以在沒有該等具體細節的情況下實踐該等實施例。為了解釋清楚，在一些情況下，本技術可以被呈現為包括各個功能方塊，該等功能方塊包括以軟體或硬體與軟體的組合體現的方法中的設備、設備元件、步驟或常式。可以使用除了圖中所示及/或本文描述的彼等之外的附加元件。例如，電路、系統、網路、過程和其他元件可以以方塊圖形式圖示為元件，以免在不必要的細節中混淆實施例。在其他情況下，可以在沒有不必要的細節的情況下圖示公知電路、過程、演算法、結構和技術以免混淆實施例。
上文可以將各個實施例描述為過程或方法，該過程或方法被圖示為流程圖、流程示意圖、資料流程圖、結構圖或方塊圖。儘管流程圖可以將操作描述為順序的過程，但是許多操作可並行或同時執行。另外，可以重新佈置操作順序。過程在其操作完成時終止，但是可能具有圖中未包括的附加步驟。過程可以對應方法、函數、程序、子常式、副程式等。當過程對應於函數時，其終止可以對應於函數返回到調用函數或主函數。
可以使用儲存在電腦可讀取媒體中或可從電腦可讀取媒體中獲得的電腦可執行指令來實施根據上述實例的過程和方法。此類指令可以包括例如導致或以其他方式配置通用電腦、專用電腦或處理設備以執行特定功能或功能組的指令和資料。可以經由網路存取所使用的電腦資源的部分。電腦可執行指令可以是例如二進位檔案、中間格式指令（諸如組合語言）、韌體、原始程式碼。可以用於儲存指令、所使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟、光碟、快閃記憶體、設置有非揮發性記憶體的USB設備、聯網儲存設備等等。
實施根據該等揭示內容的過程和方法的設備可以包括硬體、軟體、韌體、中間軟體、微代碼、硬體描述語言或其任何組合，並且可以採用多種形式因素中的任何一種。當以軟體、韌體、中間軟體或微代碼實施時，用於執行必要任務（例如，電腦程式產品）的程式碼或程式碼片段可以儲存在電腦可讀取或機器可讀取媒體中。處理器可以執行必要的任務。外觀尺寸的典型實例包括膝上型電腦、智慧手機、行動電話、平板設備或其他小外觀尺寸的個人電腦、個人數位助理、機架式設備、獨立設備等等。本文描述的功能亦可以體現在周邊設備或擴展卡中。經由進一步的實例，此種功能性亦可以在於單個設備中執行的不同晶片或不同過程之間的電路板上實施。
指令、用於傳達此類指令的媒體、用於執行該等指令的計算資源以及用於支援此類計算資源的其他結構是用於提供本案中描述的功能的示例性構件。
在前面的描述中，參考本案的具體實施例描述了本案的各態樣，但是熟習此項技術者將認識到本案不限於此。因此，儘管本文已經詳細描述了本案的說明性實施例，但是應當理解，可以其他方式不同地實施和採用創造性概念，並且所附請求項意欲被解釋為包括除了受先前技術的限制的變形之外的此種變型。可以單獨或聯合使用上述申請案的各種特徵和態樣。此外，在不脫離本說明書的更廣泛的精神和範疇的情況下，可以在超出本文描述的彼等環境和應用的任何數量的環境和應用中使用實施例。因此，說明書和附圖被認為是說明性的而不是限制性的。出於說明目的，按特定順序描述了方法。應當理解，在替代實施例中，可以以與所描述的順序不同的順序來執行該等方法。
一般技術者將理解，在不脫離本說明書的範疇的情況下，本文使用的小於（「＜」）和大於（「＞」）符號或術語分別可以被替換為小於或等於（「≦」）和大於或等於（「≧」）符號。
在元件被描述為「被配置為」執行某些操作的情況下，此類配置可以例如經由設計電子電路或其他硬體來執行操作、經由對可程式設計電子電路（例如，微處理器，或其他合適的電子電路）進行程式設計以執行操作或其任何組合來實現。
短語「耦合到」是指直接或間接地實體連接到另一個元件的任何元件，及/或與另一個元件直接或間接通訊（例如，經由有線或無線連接及/或其他合適的通訊介面連接到另一元件）的任何元件。
敘述集合中的「至少一者」及/或集合中的「一或多個」的請求項語言或其他語言指示該集合的一個成員或該集合的多個成員（以任何組合）滿足請求項。例如，敘述「A和B中的至少一者」或「A或B中的至少一者」的請求項語言表示A、B或A和B。在另一個實例中，敘述「A、B和C中的至少一者」或「A、B或C中的至少一者」的請求項語言表示A、B、C，或A和B，或A和C，或B和C，或A和B和C。集合中的「至少一者」及/或集合中的「一者或多者」不將該集合限制為該集合中列出的專案。例如，敘述「A和B中的至少一者」或「A或B中的至少一者」的請求項語言可以表示A、B或A和B，並且可以另外包括未在A和B的集合中列出的專案。
結合本文揭示的實例描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的此種可互換性，上文已經對各種說明性元件、方塊、模組、電路和步驟在其功能態樣進行了整體描述。將此種功能性實施為硬體還是軟體取決於施加於整體系統的特定應用和設計約束。熟習此項技術者可以針對每個特定應用以不同方式實施所描述的功能性，但是此種實施決策不應被解釋為導致脫離本案的範疇。
本文描述的技術亦可以在電子硬體、電腦軟體、韌體或其任何組合中實施。此類技術可以在多種設備中的任一種中實施，該等設備諸如通用電腦、無線通訊設備手持機或具有多種用途的積體電路元件，該多種用途包括在無線通訊設備手持機和其他設備中的應用。被描述為模組或元件的任何特徵可以一起在整合邏輯裝置中實施，或者作為離散但可交互操作的邏輯裝置分開實施。若以軟體實施，則該等技術可以至少部分地經由包括程式碼的電腦可讀取資料儲存媒體來實施，該程式碼包括在被執行時執行上述方法、演算法及/或操作中的一者或多者的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，該電腦程式產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM），諸如同步動態隨機存取記憶體（SDRAM）、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁性或光學資料儲存媒體等。另外或替代地，該等技術可以至少部分地由電腦可讀取通訊媒體（諸如傳播信號或波）來實現，該電腦可讀取通訊媒體以指令或資料結構的形式攜帶或傳送程式碼，並且可以由電腦來存取、讀取及/或執行。
程式碼可以由處理器執行，該處理器可以包括一或多個處理器，諸如一或多個數位信號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效的整合或離散邏輯電路系統。此類處理器可以被配置為執行本案中描述的任何技術。通用處理器可以是微處理器；但是替代地，處理器可以是任何習知處理器、控制器、微控制器或狀態機。處理器亦可以被實施為計算設備的組合，例如，DSP與微處理器的組合、複數個微處理器、一或多個微處理器結合DSP核或者任何其他此種配置。因此，如本文所使用的術語「處理器」可以代表任何前述結構、前述結構的任何組合，或適用於實施本文描述的技術的任何其他結構或裝置。
本案的說明性實例包括：
實例1：一種可在擴展現實設備上操作的方法，該方法包括以下步驟：決定擴展現實設備在與擴展現實設備相關聯的實體環境的映射場景內的姿態；偵測實體環境中的隱私地區以及隱私地區相對於擴展現實設備的姿態的位置，隱私地區包括被估計在擴展現實設備的使用者的視野（FOV）內的和在以下中的至少一者的相應FOV之外的區域：實體環境中的人員、實體環境中的記錄設備和實體環境中實現從實體環境之外的查看存取的物件；基於擴展現實設備的姿態和偵測到隱私地區而將虛擬隱私控制介面映射到隱私地區，虛擬隱私控制介面包括一或多個輸入介面元素；及在映射場景內的隱私地區內渲染虛擬隱私控制介面。
實例2：根據實例1之方法，其亦包括以下步驟：經由以下各項決定區域在實體環境中的人員、記錄設備和物件中的至少一者的相應FOV之外：偵測實體環境中的一或多個物件；及決定人員、記錄設備和物件中的至少一者的相應FOV被一或多個物件遮擋。
實例3：根據實例1或2中任一項之方法，其中偵測隱私地區包括：計算與在擷取映射場景的圖像中偵測到的第一面部相關聯的人臉位置資料，其中第一面部對應於人員；基於人臉位置資料來計算人員的FOV；及基於人員的FOV和隱私地區的位置來決定隱私地區被位於隱私地區與人員之間的一或多個物件遮擋在人員的視線之外。
實例4：根據實例1至3中任一項之方法，其中偵測隱私地區亦包括：計算與在擷取映射場景的圖像中偵測到的第二面部相關聯的人臉位置資料，其中第二面部對應於使用者；基於與第二面部相關聯的人臉位置資料來計算使用者的FOV；及基於隱私地區的位置來決定隱私地區在使用者的FOV內。
實例5：根據實例1至4中任一項之方法，其中將虛擬隱私控制介面映射到隱私地區並在隱私地區內渲染虛擬隱私控制介面包括：決定隱私地區的第一大小和隱私地區的第一方向中的至少一者；基於隱私地區的第一大小和隱私地區的第一方向中的至少一者來決定虛擬隱私控制介面的第二大小和虛擬隱私控制介面的第二方向中的至少一者，其中虛擬隱私控制介面的第二大小匹配或適配於隱私地區的第一大小內，並且其中虛擬隱私控制介面的第二方向至少部分地與隱私地區的第一方向對準；根據第二大小和第二方向中的至少一者產生虛擬隱私控制介面；及將虛擬隱私控制介面與隱私地區對準。
實例6：根據實例1至5中任一項之方法，其中實體環境中實現從實體環境之外的查看存取的物件包括窗戶、玻璃門和敞開的門中的至少一者。
實例7：根據實例1至6中任一項之方法，其中隱私地區包括與使用者相關聯的身體部位的表面，並且其中偵測隱私地區包括：決定身體部位的表面面向使用者並背離實體環境中的人員、實體環境中的記錄設備以及實體環境中的物件中的至少一者。
實例8：根據實例7之方法，其中身體部位包括手，並且身體部位的表面包括手的手掌，其中偵測隱私地區包括：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊與先前註冊的生物特徵資訊匹配。
實例9：根據實例1至8中任一項之方法，亦包括以下步驟：辨識手的手掌以渲染第二虛擬隱私控制介面；及在手的手掌上渲染第二虛擬隱私控制介面之前：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊是否與先前註冊的生物特徵資訊匹配。
實例10：根據實例9之方法，亦包括以下步驟：決定生物特徵資訊與先前註冊的生物特徵資訊不匹配；及回應於決定生物特徵資訊與先前註冊的生物特徵資訊不匹配而決定不在手的手掌上渲染第二虛擬隱私控制介面。
實例11：根據實例1至10中任一項之方法，其中偵測隱私地區包括：偵測實體環境中的一或多個物件；基於實體環境中的一或多個物件偵測實體環境中的一或多個遮擋物；及經由決定一或多個遮擋物阻止人員、記錄設備或物件對隱私地區的可見性來偵測隱私地區。
實例12：根據實例11之方法，其中偵測實體環境中的一或多個遮擋物包括追蹤實體環境內的光線路徑。
實例13：根據實例1至12中任一項之方法，其中記錄設備包括相機，並且其中虛擬隱私控制介面包括增強現實介面。
實例14：一種裝置，包括：至少一個記憶體；及一或多個處理器，其在電路系統中實施並且被配置為：決定裝置在與裝置相關聯的實體環境的映射場景內的姿態；偵測實體環境中的隱私地區以及隱私地區相對於裝置的姿態的位置，隱私地區包括被估計在裝置的使用者的視野（FOV）內的和在以下中的至少一者的相應FOV之外的區域：實體環境中的人員、實體環境中的記錄設備和實體環境中實現從實體環境之外的查看存取的物件；基於裝置的姿態和偵測到隱私地區而將虛擬隱私控制介面映射到隱私地區，虛擬隱私控制介面包括一或多個輸入介面元素；及在映射場景中的隱私地區內渲染虛擬隱私控制介面。
實例15：根據實例14之裝置，一或多個處理器被配置為經由以下各項決定區域在實體環境中的人員、記錄設備和物件中的至少一者的相應FOV之外：偵測實體環境中的一或多個物件；及決定人員、記錄設備和物件中的至少一者的相應FOV被一或多個物件遮擋。
實例16：根據實例14或15中任一項之裝置，其中偵測隱私地區包括：計算與在擷取映射場景的圖像中偵測到的第一面部相關聯的人臉位置資料，其中第一面部對應於人員；基於人臉位置資料來計算人員的FOV；及基於人員的FOV和隱私地區的位置來決定隱私地區被位於隱私地區與人員之間的一或多個物件被遮擋在人員的視線之外。
實例17：根據實例14至16中任一項之裝置，其中偵測隱私地區亦包括：計算與在擷取映射場景的圖像中偵測到的第二面部相關聯的人臉位置資料，其中第二面部對應於使用者；基於與第二面部相關聯的人臉位置資料來計算使用者的該FOV；及基於隱私地區的位置來決定隱私地區在使用者的該FOV內。
實例18：根據實例14至17中任一項之裝置，其中將虛擬隱私控制介面映射到隱私地區並在隱私地區內渲染虛擬隱私控制介面包括：決定隱私地區的第一大小和隱私地區的第一方向中的至少一者；基於隱私地區的第一大小和隱私地區的第一方向中的至少一者來決定虛擬隱私控制介面的第二大小和虛擬隱私控制介面的第二方向中的至少一者，其中虛擬隱私控制介面的第二大小匹配或適配於隱私地區的第一大小內，並且其中虛擬隱私控制介面的第二方向至少部分地與隱私地區的第一方向對準；根據第二大小和第二方向中的至少一者產生虛擬隱私控制介面；及將虛擬隱私控制介面與隱私地區對準。
實例19：根據實例14至18中任一項之裝置，其中實體環境中實現從實體環境之外的查看存取的物件包括窗戶、玻璃門和敞開的門中的至少一者。
實例20：根據實例14至19中任一項之裝置，其中隱私地區包括與使用者相關聯的身體部位的表面，並且其中偵測隱私地區包括：決定身體部位的表面面向使用者並背離實體環境中的人員、實體環境中的記錄設備或實體環境中的該物件中的至少一者。
實例21：根據實例20之裝置，其中身體部位包括手，並且身體部位的表面包括手的手掌，其中偵測隱私地區包括：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊與先前註冊的生物特徵資訊相匹配。
實例22：根據實例14至21中任一項之裝置，其中一或多個處理器被配置為：辨識手的手掌以渲染第二虛擬隱私控制介面；及在手的手掌上渲染第二虛擬隱私控制介面之前：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊是否與先前註冊的生物特徵資訊匹配。
實例23：根據實例22之裝置，其中一或多個處理器被配置為：決定生物特徵資訊與先前註冊的生物特徵資訊不匹配；及回應於決定生物特徵資訊與先前註冊的生物特徵資訊不匹配而決定不在手的手掌上渲染第二虛擬隱私控制介面。
實例24：根據實例14至23中任一項之裝置，其中偵測隱私地區包括：偵測實體環境中的一或多個物件；基於實體環境中的一或多個物件偵測實體環境中的一或多個遮擋物；及經由決定一或多個遮擋物阻止人員、記錄設備或物件對隱私地區的可見性來偵測隱私地區。
實例25：根據實例24之裝置，其中偵測該實體環境中的一或多個遮擋物包括追蹤該實體環境內的光線路徑。
實例26：根據實例14至25中任一項之裝置，其中記錄設備包括相機，並且其中虛擬隱私控制介面包括增強現實介面。
實例27：根據實例14至26中任一項之裝置，其中裝置是行動設備。
實例28：根據實例14至27中任一項之裝置，其中裝置包括擴展現實設備。
實例29：至少一種非暫時性電腦可讀取儲存媒體，其上儲存有指令，指令在由一或多個處理器執行時使一或多個處理器：決定擴展現實設備在與擴展現實設備相關聯的實體環境的映射場景內的姿態；偵測實體環境中的隱私地區以及隱私地區相對於擴展現實設備的姿態的位置，隱私地區包括被估計在擴展現實設備的使用者的視野（FOV）內的和在以下中的至少一者的相應FOV之外的區域：實體環境中的人員、實體環境中的記錄設備和實體環境中實現從實體環境之外的查看存取的物件；基於擴展現實設備的姿態和偵測到隱私地區而將虛擬隱私控制介面映射到隱私地區，虛擬隱私控制介面包括一或多個輸入介面元素；及在映射場景內的隱私地區內渲染虛擬隱私控制介面。
實例30：根據實例29之至少一種非暫時性電腦可讀取儲存媒體，其包括：經由以下各項決定區域在實體環境中的人員、記錄設備和物件中的至少一者的相應FOV之外：偵測實體環境中的一或多個物件；及決定人員、記錄設備和物件中的至少一者的相應FOV被一或多個物件遮擋。
實例31：根據實例29或30中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中偵測隱私地區包括：計算與在擷取映射場景的圖像中偵測到的第一面部相關聯的人臉位置資料，其中第一面部對應於人員；基於人臉位置資料來計算人員的FOV；及基於人員的FOV和隱私地區的位置來決定隱私地區被位於隱私地區與人員之間的一或多個物件遮擋在人員的視線之外。
實例32：根據實例29至31中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中偵測隱私地區亦包括：計算與在擷取映射場景的圖像中偵測到的第二面部相關聯的人臉位置資料，其中第二面部對應於使用者；基於與第二面部相關聯的人臉位置資料來計算使用者的FOV；及基於隱私地區的位置來決定隱私地區在使用者的FOV內。
實例33：根據實例29至32中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中將虛擬隱私控制介面映射到隱私地區並在隱私地區內渲染虛擬隱私控制介面包括：決定隱私地區的第一大小和隱私地區的第一方向中的至少一者；基於隱私地區的第一大小和隱私地區的第一方向中的至少一者來決定虛擬隱私控制介面的第二大小和虛擬隱私控制介面的第二方向中的至少一者，其中虛擬隱私控制介面的第二大小匹配或適配於隱私地區的第一大小內，並且其中虛擬隱私控制介面的第二方向至少部分地與隱私地區的第一方向對準；根據第二大小和第二方向中的至少一者產生虛擬隱私控制介面；及將虛擬隱私控制介面與隱私地區對準。
實例34：根據實例29至33中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中實體環境中實現從實體環境之外的查看存取的物件包括窗戶、玻璃門和敞開的門中的至少一者。
實例35：根據實例29至34中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中隱私地區包括與使用者相關聯的身體部位的表面，並且其中偵測隱私地區包括：決定身體部位的表面面向使用者並背離實體環境中的人員、實體環境中的記錄設備或實體環境中的物件中的至少一者。
實例36：根據實例35之至少一種非暫時性電腦可讀取儲存媒體，其中身體部位包括手，並且身體部位的表面包括手的手掌，其中偵測隱私地區包括：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊與先前註冊的生物特徵資訊相匹配。
實例37：根據實例29至36之至少一種非暫時性電腦可讀取儲存媒體，亦包括在由一或多個處理器執行時使一或多個處理器進行以下各項的指令：辨識手的手掌以渲染第二虛擬隱私控制介面；及在手的手掌上渲染第二虛擬隱私控制介面之前：基於手的手掌的一或多個圖像來偵測與手的手掌相關聯的生物特徵資訊；將生物特徵資訊與先前註冊的生物特徵資訊進行比較，先前註冊的生物特徵資訊與關聯於使用者的先前註冊的手掌相關聯；及決定生物特徵資訊是否與先前註冊的生物特徵資訊匹配。
實例38：根據實例37之至少一種非暫時性電腦可讀取儲存媒體，其亦包括在由一或多個處理器執行時使一或多個處理器進行以下各項的指令：決定生物特徵資訊與先前註冊的生物特徵資訊不匹配；及回應於決定生物特徵資訊與先前註冊的生物特徵資訊不匹配而決定不在手的手掌上渲染第二虛擬隱私控制介面。
實例39：根據實例29至38中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中偵測隱私地區包括：偵測實體環境中的一或多個物件；基於實體環境中的一或多個物件偵測實體環境中的一或多個遮擋物；及經由決定一或多個遮擋物阻止人員、記錄設備或物件對隱私地區的可見性來偵測隱私地區。
實例40：根據實例29至39中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中偵測實體環境中的一或多個遮擋物包括追蹤實體環境內的光線路徑。
實例41：根據實例29至40中任一項之至少一種非暫時性電腦可讀取儲存媒體，其中記錄設備包括相機，並且其中虛擬隱私控制介面包括增強現實介面。
實例42：一種裝置，其包括用於執行根據實例1至13中任一項之方法的構件。
100:擴展現實系統 102:圖像感測器 104:加速度計 106:陀螺儀 108:儲存裝置 110:計算元件 112:中央處理單元（CPU） 114:圖形處理單元（GPU） 116:數位信號處理器（DSP） 118:圖像信號處理器（ISP） 120:XR引擎 122:隱私控制介面管理引擎 124:圖像處理引擎 126:渲染引擎 200:使用者 202:物件 204:平面 210:顯示器 212:記憶體 214:輸入設備 216:計算元件 218:圖像感測器 220:擴展現實系統 300:手 330:拇指 331:圓形 332:食指 333:菱形 334:中指 335:界標點 336:無名指 338:小指 340:圖例 400:系統流程 402:量測值 404:圖像資料 406:追蹤資料 408:手姿態 410:隱私控制介面資料 412:輸出 420:設備追蹤器 422:手追蹤器 424:XR應用程式 500:過程 502:方塊 504:方塊 506:方塊 508:方塊 510:方塊 512:方塊 514:方塊 516:方塊 600:隱私控制介面渲染 602:隱私地區 604:隱私控制介面 606A:敞開的門 606B:其他使用者 608:場景 610:隱私控制介面渲染 612:隱私地區 614:隱私控制介面 620:隱私控制介面渲染 622:隱私地區 624:遮擋物 626:書桌 630:隱私控制介面渲染 632:隱私地區 634:按鈕 636:操縱桿 638:手臂 700:流程 702:第一視圖 704:提示 706:隱私地區 710:第二視圖 712:第三視圖 714:隱私控制介面 800:渲染呈現 802:場景 804:隱私地區 806:隱私控制介面 808:物件 810:安全性指示符 812:安全性指示符 900:方案 902:第一視圖 904:手掌 906:特徵 908:操作 910:視圖 912:隱私控制介面 914:操作 916:視圖 1000:方法 1002:方塊 1004:方塊 1006:方塊 1008:方塊 1100:計算設備架構 1105:連接 1110:處理單元 1112:快取記憶體 1115:計算設備記憶體 1120:唯讀記憶體（ROM） 1125:隨機存取記憶體（RAM） 1130:儲存設備 1135:輸出設備 1140:通訊介面 1145:輸入設備
為了描述可以獲得本案的各種優點和特徵的方式，將經由參考本案的特定實施例來對上文描述的原理進行更具體的描述，該等特定實施例在附圖中圖示。將理解該等附圖僅圖示了本案的示例性實施例並且不被認為限制其範疇，經由使用附圖以附加特性和細節來描述和解釋本文中的原理，其中：
圖1是圖示根據本案的一些實例的示例性擴展現實系統的簡化方塊圖；
圖2是圖示根據本案的一些實例的由使用者穿戴的擴展現實系統的實例的圖式；
圖3是圖示根據本案的一些實例的手的示例性界標點的圖式，該等界標點可以用於追蹤手的位置以及手與虛擬介面的互動；
圖4是圖示根據本案的一些實例的用於為擴展現實體驗產生隱私控制介面的示例性系統流程的圖式；
圖5是圖示根據本案的一些實例的用於為擴展現實體驗產生隱私控制介面的示例性過程的流程圖；
圖6A至圖6D是圖示根據本案的一些實例的隱私控制介面渲染的實例的圖式；
圖7是圖示根據本案的一些實例的用於請求來自使用者的渲染偏好並基於從使用者接收的偏好來渲染隱私控制介面的示例性渲染流程的圖式；
圖8是圖示根據本案的一些實例的渲染呈現中的安全性指示符的實例的圖式；
圖9是圖示根據本案的一些實例的用於在於使用者身體上渲染隱私控制介面之前驗證生物特徵資訊的示例性方案的圖式；
圖10是圖示根據本案的一些實例的用於為擴展現實體驗產生隱私控制介面的示例性方法的流程圖；及
圖11圖示根據本案的一些實例的示例性計算設備架構。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
102:圖像感測器
104:加速度計
106:陀螺儀
120:XR引擎
122:隱私控制介面管理引擎
126:渲染引擎
400:系統流程
402:量測值
404:圖像資料
406:追蹤資料
408:手姿態
410:隱私控制介面資料
412:輸出
420:設備追蹤器
422:手追蹤器
424:XR應用程式

Claims (30)

  1. 一種可在一擴展現實設備上操作的方法，該方法包括以下步驟： 決定該擴展現實設備在與該擴展現實設備相關聯的一實體環境的一映射場景內的一姿態； 偵測該映射場景中的一隱私地區以及該隱私地區相對於該擴展現實設備的該姿態的一位置，該隱私地區包括被估計在該擴展現實設備的一使用者的一視野（FOV）內的和在以下中的至少一者的一相應FOV之外的一區域：該實體環境中的一人員、該實體環境中的一記錄設備和該實體環境中實現從該實體環境之外的查看存取的一物件； 基於該擴展現實設備的該姿態和偵測到的該隱私地區，將一虛擬隱私控制介面映射到該隱私地區；及 在該映射場景中的該隱私地區內渲染該虛擬隱私控制介面。
  2. 根據請求項1之方法，其亦包括以下步驟：經由以下各項決定該區域在該實體環境中的該人員、該記錄設備和該物件中的該至少一者的該相應FOV之外： 偵測該實體環境中的一或多個物件；及 決定該人員、該記錄設備和該物件中的該至少一者的該相應FOV被該一或多個物件遮擋。
  3. 根據請求項1之方法，其中偵測該隱私地區之步驟包括以下步驟： 計算與在擷取該映射場景的一圖像中偵測到的一第一面部相關聯的人臉位置資料，其中該第一面部對應於該人員； 基於該人臉位置資料來計算該人員的一FOV；及 基於該人員的該FOV和該隱私地區的該位置來決定該隱私地區被位於該隱私地區與該人員之間的一或多個物件遮擋在該人員的一視線之外。
  4. 根據請求項3之方法，其中偵測該隱私地區之步驟亦包括以下步驟： 計算與在擷取該映射場景的該圖像中偵測到的一第二面部相關聯的人臉位置資料，其中該第二面部對應於該使用者； 基於與該第二面部相關聯的該人臉位置資料來計算該使用者的該FOV；及 基於該隱私地區的該位置來決定該隱私地區在該使用者的該FOV內。
  5. 根據請求項1之方法，其中將該虛擬隱私控制介面映射到該隱私地區並在該隱私地區內渲染該虛擬隱私控制介面之步驟包括以下步驟： 決定該隱私地區的一第一大小和該隱私地區的一第一方向中的至少一者； 基於該隱私地區的該第一大小和該隱私地區的該第一方向中的該至少一者來決定該虛擬隱私控制介面的一第二大小和該虛擬隱私控制介面的一第二方向中的至少一者，其中該虛擬隱私控制介面的該第二大小匹配或適配於該隱私地區的該第一大小內，並且其中該虛擬隱私控制介面的該第二方向至少部分地與該隱私地區的該第一方向對準； 根據該第二大小和該第二方向中的該至少一者產生該虛擬隱私控制介面；及 將該虛擬隱私控制介面與該隱私地區對準。
  6. 根據請求項1之方法，其中該實體環境中實現從該實體環境之外的查看存取的該物件包括一窗戶、一玻璃門和一敞開的門中的至少一者。
  7. 根據請求項1之方法，其中該隱私地區包括與該使用者相關聯的一身體部位的一表面，並且其中偵測該隱私地區之步驟包括以下步驟：決定該身體部位的該表面正在面向該使用者並背離該實體環境中的該人員、該實體環境中的該記錄設備以及該實體環境中實現該查看存取的該物件中的該至少一者。
  8. 根據請求項7之方法，其中該身體部位包括一手，並且該身體部位的該表面包括該手的一手掌，其中偵測該隱私地區之步驟包括以下步驟： 基於該手的該手掌的一或多個圖像來偵測與該手的該手掌相關聯的生物特徵資訊； 將該生物特徵資訊與先前註冊的生物特徵資訊進行比較，該先前註冊的生物特徵資訊與關聯於該使用者的一先前註冊的手掌相關聯；及 決定該生物特徵資訊與該先前註冊的生物特徵資訊相匹配。
  9. 根據請求項1之方法，亦包括以下步驟： 辨識一手的一手掌以渲染一第二虛擬隱私控制介面；及 在該手的該手掌上渲染該第二虛擬隱私控制介面之前： 基於該手的該手掌的一或多個圖像來偵測與該手的該手掌相關聯的生物特徵資訊； 將該生物特徵資訊與先前註冊的生物特徵資訊進行比較，該先前註冊的生物特徵資訊與關聯於該使用者的一先前註冊的手掌相關聯；及 決定該生物特徵資訊是否與該先前註冊的生物特徵資訊匹配。
  10. 根據請求項9之方法，其亦包括以下步驟： 決定該生物特徵資訊與該先前註冊的生物特徵資訊不匹配；及 回應於決定該生物特徵資訊與該先前註冊的生物特徵資訊不匹配，決定不在該手的該手掌上渲染該第二虛擬隱私控制介面。
  11. 根據請求項1之方法，其中偵測該隱私地區之步驟包括以下步驟： 偵測該映射場景中的一或多個物件； 基於該映射場景中的該一或多個物件來偵測該映射場景中的一或多個遮擋物；及 經由決定該一或多個遮擋物阻止該人員、該記錄設備或該實體環境中實現該查看存取的該物件對該隱私地區的一可見性來偵測該隱私地區。
  12. 根據請求項11之方法，其中偵測該一或多個遮擋物之步驟包括以下步驟：追蹤該實體環境內的一光線路徑。
  13. 根據請求項1之方法，其中該記錄設備包括一相機，並且其中該虛擬隱私控制介面包括一增強現實介面。
  14. 一種裝置，包括： 至少一個記憶體；及 一或多個處理器，其在電路系統中實施並且被配置為： 決定該裝置在與該裝置相關聯的一實體環境的一映射場景內的一姿態； 偵測該映射場景中的一隱私地區以及該隱私地區相對於該裝置的該姿態的一位置，該隱私地區包括被估計在該裝置的一使用者的一視野（FOV）內的和在以下中的至少一者的一相應FOV之外的一區域：該實體環境中的一人員、該實體環境中的一記錄設備和該實體環境中實現從該實體環境之外的查看存取的一物件； 基於該裝置的該姿態和偵測到的該隱私地區，將一虛擬隱私控制介面映射到該隱私地區，該虛擬隱私控制介面包括一或多個輸入介面元素；及 在該映射場景中的該隱私地區內渲染該虛擬隱私控制介面。
  15. 根據請求項14之裝置，該一或多個處理器被配置為經由以下各項決定該區域在該實體環境中的該人員、該記錄設備和該物件中的該至少一者的該相應FOV之外： 偵測該實體環境中的一或多個物件；及 決定該人員、該記錄設備和該物件中的該至少一者的該相應FOV被該一或多個物件遮擋。
  16. 根據請求項14之裝置，其中偵測該隱私地區包括： 計算與在擷取該映射場景的一圖像中偵測到的一第一面部相關聯的人臉位置資料，其中該第一面部對應於該人員； 基於該人臉位置資料來計算該人員的一FOV；及 基於該人員的該FOV和該隱私地區的該位置來決定該隱私地區被位於該隱私地區與該人員之間的一或多個物件遮擋在該人員的一視線之外。
  17. 根據請求項16之裝置，其中偵測該隱私地區亦包括： 計算與在擷取該映射場景的該圖像中偵測到的一第二面部相關聯的人臉位置資料，其中該第二面部對應於該使用者； 基於與該第二面部相關聯的該人臉位置資料來計算該使用者的該FOV；及 基於該隱私地區的該位置來決定該隱私地區在該使用者的該FOV內。
  18. 根據請求項14之裝置，其中將該虛擬隱私控制介面映射到該隱私地區並在該隱私地區內渲染該虛擬隱私控制介面包括： 決定該隱私地區的一第一大小和該隱私地區的一第一方向中的至少一者； 基於該隱私地區的該第一大小和該隱私地區的該第一方向中的該至少一者來決定該虛擬隱私控制介面的一第二大小和該虛擬隱私控制介面的一第二方向中的至少一者，其中該虛擬隱私控制介面的該第二大小匹配或適配於該隱私地區的該第一大小內，並且其中該虛擬隱私控制介面的該第二方向至少部分地與該隱私地區的該第一方向對準； 根據該第二大小和該第二方向中的該至少一者產生該虛擬隱私控制介面；及 將該虛擬隱私控制介面與該隱私地區對準。
  19. 根據請求項14之裝置，其中該實體環境中實現從該實體環境之外的查看存取的該物件包括一窗戶、一玻璃門和一敞開的門中的至少一者。
  20. 根據請求項14之裝置，其中該隱私地區包括與該使用者相關聯的一身體部位的一表面，並且其中偵測該隱私地區包括：決定該身體部位的該表面正在面向該使用者並背離該實體環境中的該人員、該實體環境中的該記錄設備以及該實體環境中實現該查看存取的該物件中的該至少一者。
  21. 根據請求項20之裝置，其中該身體部位包括一手，並且該身體部位的該表面包括該手的一手掌，其中偵測該隱私地區包括： 基於該手的該手掌的一或多個圖像來偵測與該手的該手掌相關聯的生物特徵資訊； 將該生物特徵資訊與先前註冊的生物特徵資訊進行比較，該先前註冊的生物特徵資訊與關聯於該使用者的一先前註冊的手掌相關聯；及 決定該生物特徵資訊與該先前註冊的生物特徵資訊相匹配。
  22. 根據請求項14之裝置，其中該一或多個處理器被配置為： 辨識一手的一手掌以渲染一第二虛擬隱私控制介面；及 在該手的該手掌上渲染該第二虛擬隱私控制介面之前： 基於該手的該手掌的一或多個圖像來偵測與該手的該手掌相關聯的生物特徵資訊； 將該生物特徵資訊與先前註冊的生物特徵資訊進行比較，該先前註冊的生物特徵資訊與關聯於該使用者的一先前註冊的手掌相關聯；及 決定該生物特徵資訊是否與該先前註冊的生物特徵資訊匹配。
  23. 根據請求項22之裝置，其中該一或多個處理器被配置為： 決定該生物特徵資訊與該先前註冊的生物特徵資訊不匹配；及 回應於決定該生物特徵資訊與該先前註冊的生物特徵資訊不匹配，決定不在該手的該手掌上渲染該第二虛擬隱私控制介面。
  24. 根據請求項14之裝置，其中偵測該隱私地區包括： 偵測該實體環境中的一或多個物件； 基於該實體環境中的該一或多個物件來偵測該實體環境中的一或多個遮擋物；及 經由決定該一或多個遮擋物阻止該人員、該記錄設備或該物件對該隱私地區的一可見性來偵測該隱私地區。
  25. 根據請求項24之裝置，其中偵測該實體環境中的該一或多個遮擋物包括追蹤該實體環境內的一光線路徑。
  26. 根據請求項14之裝置，其中該記錄設備包括一相機，並且其中該虛擬隱私控制介面包括一增強現實介面。
  27. 根據請求項14之裝置，其中該裝置是一行動設備。
  28. 根據請求項14之裝置，其中該裝置包括一擴展現實設備。
  29. 至少一種非暫時性電腦可讀取儲存媒體，其上儲存有指令，該等指令在由一或多個處理器執行時使該一或多個處理器： 決定一擴展現實設備在與該擴展現實設備相關聯的一實體環境的一映射場景內的一姿態； 偵測該映射場景中的一隱私地區以及該隱私地區相對於該擴展現實設備的該姿態的一位置，該隱私地區包括被估計在該擴展現實設備的一使用者的一視野（FOV）內的和在以下中的至少一者的一相應FOV之外的一區域：該實體環境中的一人員、該實體環境中的一記錄設備和該實體環境中實現從該實體環境之外的查看存取的一物件； 基於該擴展現實設備的該姿態和偵測到的該隱私地區，將一虛擬隱私控制介面映射到該隱私地區，該虛擬隱私控制介面包括一或多個輸入介面元素；及 在該映射場景中的該隱私地區內渲染該虛擬隱私控制介面。
  30. 根據請求項29之至少一種非暫時性電腦可讀取儲存媒體，其中經由以下各項決定該區域在該人員、該記錄設備和該物件中的該至少一者的該相應FOV之外： 偵測該實體環境中的一或多個物件；及 決定該人員、該記錄設備和該物件中的該至少一者的該相應FOV被該一或多個物件遮擋。
TW110124004A 2020-07-28 2021-06-30 用於擴展現實的隱私控制介面 TW202206978A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/941,346 US11106328B1 (en) 2020-07-28 2020-07-28 Private control interfaces for extended reality
US16/941,346 2020-07-28

Publications (1)

Publication Number Publication Date
TW202206978A true TW202206978A (zh) 2022-02-16

Family

ID=77051190

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110124004A TW202206978A (zh) 2020-07-28 2021-06-30 用於擴展現實的隱私控制介面

Country Status (7)

Country Link
US (2) US11106328B1 (zh)
EP (1) EP4189460A1 (zh)
KR (1) KR20230044401A (zh)
CN (1) CN116134405A (zh)
BR (1) BR112023000548A2 (zh)
TW (1) TW202206978A (zh)
WO (1) WO2022026112A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106328B1 (en) * 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
US11886625B1 (en) * 2020-12-21 2024-01-30 Apple Inc. Method and device for spatially designating private content
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11775077B2 (en) * 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US12079442B2 (en) 2022-09-30 2024-09-03 Sightful Computers Ltd Presenting extended reality content in different physical environments

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US9586147B2 (en) * 2010-06-23 2017-03-07 Microsoft Technology Licensing, Llc Coordinating device interaction to enhance user experience
US8539560B2 (en) * 2010-06-24 2013-09-17 International Business Machines Corporation Content protection using automatically selectable display surfaces
US9275254B2 (en) * 2011-03-22 2016-03-01 Fmr Llc Augmented reality system for public and private seminars
US9573053B2 (en) * 2011-09-30 2017-02-21 Bally Gaming, Inc. Augmented reality for table games
CN104583921A (zh) * 2012-08-27 2015-04-29 西铁城控股株式会社 信息输入装置
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US8973149B2 (en) * 2013-01-14 2015-03-03 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
US20150062158A1 (en) * 2013-08-28 2015-03-05 Qualcomm Incorporated Integration of head mounted displays with public display devices
US9728009B2 (en) * 2014-04-29 2017-08-08 Alcatel Lucent Augmented reality based management of a representation of a smart environment
US9794542B2 (en) * 2014-07-03 2017-10-17 Microsoft Technology Licensing, Llc. Secure wearable computer interface
US9727741B2 (en) * 2014-11-11 2017-08-08 International Business Machines Corporation Confidential content display in flexible display devices
US20160180594A1 (en) * 2014-12-22 2016-06-23 Hand Held Products, Inc. Augmented display and user input device
US10572005B2 (en) * 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
US10866631B2 (en) * 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
US10607230B2 (en) * 2016-12-02 2020-03-31 Bank Of America Corporation Augmented reality dynamic authentication for electronic transactions
US10606343B2 (en) * 2017-04-01 2020-03-31 Intel Corporation Keyboard for virtual reality
US10776475B2 (en) * 2017-11-13 2020-09-15 International Business Machines Corporation Secure password input in electronic devices
US11204648B2 (en) * 2018-06-12 2021-12-21 Mastercard International Incorporated Handshake to establish agreement between two parties in virtual reality
US20200066046A1 (en) * 2018-08-24 2020-02-27 Facebook, Inc. Sharing and Presentation of Content Within Augmented-Reality Environments
US10902678B2 (en) * 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11353964B2 (en) * 2018-11-14 2022-06-07 Samsung Electronics Co., Ltd. Wearable device for displaying con lent, and method thereof
US10991292B2 (en) * 2019-01-15 2021-04-27 The Regents Of The University Of Michigan System and method for protecting sensitive on-screen information
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US11756081B2 (en) * 2020-06-12 2023-09-12 International Business Machines Corporation Rendering privacy aware advertisements in mixed reality space
US11106328B1 (en) * 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
US11482041B2 (en) * 2020-10-21 2022-10-25 Adobe Inc. Identity obfuscation in images utilizing synthesized faces
US20220224955A1 (en) * 2021-01-11 2022-07-14 Arris Enterprises Llc Method and apparatus for firewalling images at a network endpoint

Also Published As

Publication number Publication date
CN116134405A (zh) 2023-05-16
US11586336B2 (en) 2023-02-21
US20220035508A1 (en) 2022-02-03
KR20230044401A (ko) 2023-04-04
WO2022026112A1 (en) 2022-02-03
US11106328B1 (en) 2021-08-31
BR112023000548A2 (pt) 2023-02-07
EP4189460A1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
US11586336B2 (en) Private control interfaces for extended reality
US11625091B2 (en) Obfuscated control interfaces for extended reality
US11481931B2 (en) Virtual private space for extended reality
CN108780356B (zh) 控制或渲染共存虚拟环境的方法及相关存储介质
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
TW202119199A (zh) 虛擬鍵盤
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
TW202219704A (zh) 擴展現實系統的使用者介面佈局和輸入的動態配置
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US20210405363A1 (en) Augmented reality experiences using social distancing
EP4035006A1 (en) Artificial reality system with inter-processor communication (ipc)
US11719931B2 (en) Augmented reality gaming using virtual eyewear beams
Chen et al. A case study of security and privacy threats from augmented reality (ar)
WO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11250124B2 (en) Artificial reality system having hardware mutex with process authentication
EP3582068A1 (en) Information processing device, information processing method, and program
US20240070243A1 (en) Authenticating a selective collaborative object
WO2018186004A1 (ja) 電子機器及びその制御方法