TW202326075A - 人工實境裝置頭載組穿和脫偵測 - Google Patents

Abstract

本發明之態樣係針對一種用於一人工實境裝置頭戴組之多感測器穿/脫偵測系統。該多感測器穿/脫偵測系統可使用一近接感測器、一慣性量測單元（IMU）及一眼動追蹤/人臉追蹤（ET/FT）單元之一組合來進行此等判定。然而，當該ET/FT系統及近接感測器系統兩者在作用中時，其可具有系統共存問題。因此，可同時僅使用此等系統中之一者。該多感測器穿/脫偵測系統可藉由使用來自該近接感測器及該IMU之輸入來更準確地識別穿戴事件。該多感測器穿/脫偵測系統亦可藉由使用來自該IMU及A）當該ET/FT系統停用時之該近接感測器、或B）當該ET/FT系統啟用時之該ET/FT系統中之任一者之輸入，來更準確地識別脫下事件。

Description

人工實境裝置頭載組穿和脫偵測

本發明係關於偵測何時穿戴（穿）或脫下（脫）人工實境裝置頭戴組的裝置及程序。

優先權

本發明主張於2021年12月22日申請之美國非臨時專利申請案第17/559,429號之權益，該申請案以引用之方式併入本文中。

人工實境裝置穿/脫偵測可直接影響電池壽命及使用者體驗。在一些現有系統中，穿/脫偵測係使用近接感測器、電容感測器或機械開關中之一者來執行。然而，此等系統中的各者歸因於廣泛範圍的使用者及環境條件（諸如，適眼距範圍、鼻子高度、膚色、使用者是否戴眼鏡、髮型、IPD干擾、光線阻擋干擾、環境照明、汗液或環境濕度、裝置的快速移動等）而易於出現誤判為穿及誤判為脫。雖然有可能使用穿/脫偵測系統之組合，但此等系統可能彼此干擾，從而使出現的問題比其解決的更多。

在一態樣中，本案揭露一種用於基於來自多個偵測系統的輸入而判定何時一人工實境裝置頭戴組已被穿戴或被脫下的方法，該方法包含：自該人工實境裝置頭戴組處於一脫下狀態，判定以下兩者：一當前近接讀數集合是否超過一近接穿戴臨限值；及一當前IMU讀數集合是否超過一IMU穿戴臨限值；及作為回應，將該人工實境裝置頭戴組改變為處於一穿戴狀態；及自該人工實境裝置頭戴組處於該穿戴狀態，當一眼動追蹤/人臉追蹤（ET/FT）系統在作用中時：判定A）一當前ET/FT讀數集合是否指示在內一丟失眼動或人臉追蹤持續一臨限時間量、及B）一當前IMU讀數集合是否低於一IMU脫下臨限值；及回應於A）或B）係真，將該人工實境裝置頭戴組改變為處於該脫下狀態；及當一ET/FT系統不在作用中時：判定C）一當前近接讀數集合是否低於一近接脫下臨限值、及D）一當前IMU讀數集合是否低於一IMU脫下臨限值；及回應於C）或D）係真，將該人工實境裝置頭戴組改變為處於該脫下狀態。

在另一態樣中，本案揭露一種儲存指令之電腦可讀取儲存媒體，該些指令在由一計算系統執行時，使得該計算系統執行用於基於來自多個偵測系統的輸入而判定何時一人工實境裝置頭戴組已被穿戴或被脫下的一程序，該程序包含：當一眼動追蹤/人臉追蹤（ET/FT）系統在作用中時：判定A）一當前ET/FT讀數集合是否指示一丟失眼動或人臉追蹤持續一臨限時間量、及B）一當前IMU讀數集合是否低於一IMU脫下臨限值；及回應於A）或B）係真，將該人工實境裝置頭戴組改變為處於一脫下狀態；及當一ET/FT系統不在作用中時：判定C）一當前近接讀數集合是否低於一近接脫下臨限值、及D）一當前IMU讀數集合是否低於一IMU脫下臨限值；及回應於C）或D）係真，將該人工實境裝置頭戴組改變為處於該脫下狀態。

在又一態樣中，本案揭露一種用於基於來自多個偵測系統的輸入而判定何時一人工實境裝置頭戴組已被穿戴或被脫下的計算系統，該計算系統包含：一或多個處理器；及一或多個記憶體，其儲存指令，該些指令在由該一或多個處理器執行時使得該計算系統執行一程序，該程序包含：當一眼動追蹤/人臉追蹤（ET/FT）系統在作用中時：判定一當前ET/FT讀數集合是否指示一丟失眼動或人臉追蹤持續一臨限時間量、或一當前IMU讀數集合是否低於一IMU脫下臨限值；及作為回應，將該人工實境裝置頭戴組改變為處於脫下狀態；及當一ET/FT系統不在作用中時：判定一當前近接讀數集合是否低於一近接脫下臨限值、或一當前IMU讀數集合是否低於一IMU脫下臨限值；及作為回應，將該人工實境裝置頭戴組改變為處於該脫下狀態。

本發明之態樣係針對一種多感測器穿/脫偵測系統，該多感測器穿/脫偵測系統基於來自多個偵測系統的輸入，而判定何時人工實境裝置頭戴組已被穿戴或被脫下。多感測器穿/脫偵測系統可使用近接（「prox.」）感測器、慣性量測單元（inertial measurement unit；IMU）及眼動追蹤/人臉追蹤（eye tracking/face tracking；ET/FT）單元之組合來進行此等判定。然而，ET/FT感測器及近接感測器兩者有時在同一頻率範圍及空間區域中工作，此可能導致系統共存問題（自近接感測器至ET/FT相機、及自供ET/FT單元使用之照明裝置至近接感測器兩者）。因此，當ET/FT系統及近接感測器系統兩者皆在起作用時，此可引起誤判為穿及/或誤判為脫之穿/脫偵測。

舉例而言，當穿戴人工實境裝置頭戴組時，多感測器穿/脫偵測系統可在感測器太不敏感之情況下具有偽陰性，從而使得人工實境裝置頭戴組無法初始化其顯示器及停用的其他系統；且多感測器穿/脫偵測系統可在感測器過於敏感之情況下具有偽陽性，從而使得人工實境裝置頭戴組在裝置未實際穿戴時接通，由不必要地初始化顯示器及其他系統而浪費電池且引起耗損。此外，當脫下人工實境裝置頭戴組時，多感測器穿/脫偵測系統可在感測器過於不敏感之情況下具有偽陰性，從而使得人工實境裝置頭戴組無法關閉其顯示器或其他系統，浪費電池且引起不必要的耗損；且多感測器穿/脫偵測系統可在感測器過於敏感之情況下具有偽陽性，從而使得人工實境裝置頭戴組在使用者仍需要顯示器及其他系統時不恰當地關閉其顯示器及其他系統。

藉由使用來自近接感測器及IMU的輸入，多感測器穿/脫偵測系統可更準確地識別穿戴事件，且設定對應的已穿戴狀態變數。此等系統使用低功率且彼此不干擾，且因此理想地用於穿戴偵測。此外，因為在未穿戴人工實境裝置頭戴組時不需要ET/FT系統，所以可停用ET/FT系統以免干擾近接感測器。藉由將來自近接感測器及IMU的輸入之各者與臨限值比較，多感測器穿/脫偵測系統可使用來自近接感測器及IMU的輸入，且當兩者均超過臨限值時，識別穿戴事件。舉例而言，若近接感測器在離其30 mm內識別到物件持續超過1秒、且IMU獲取的力或角速度讀數超過指定臨限值，則可識別到穿戴事件。

多感測器穿/脫偵測系統亦可藉由使用來自IMU之輸入，及使用A）在ET/FT系統停用時之近接感測器、或B）在ET/FT系統啟用時之ET/FT系統之輸入，來更準確地識別脫下事件，且設定對應的已脫下狀態變數。因此，在較低功率近接偵測系統不受干擾時，多感測器穿/脫偵測系統使用較低功率近接偵測系統，且在較高功率ET/FT系統無論如原因已啟用（停用可能干擾ET/FT系統之近接感測器）時，多感測器穿/脫偵測系統使用較高功率ET/FT系統。若A）近接感測器讀數不符合臨限值持續至少一秒、或B）IMU讀數不符合臨限值持續至少2分鐘，則多感測器穿/脫偵測系統可藉由識別脫下事件而使用來自近接感測器及IMU之輸入。若A）ET/FT系統在至少一秒內丟失眼動/人臉偵測、或B）IMU讀數不符合臨限值持續至少2分鐘，則多感測器穿/脫偵測系統可藉由識別脫下事件，而使用來自ET/FT系統及IMU之輸入。

所揭示技術之具體實例可包括人工實境系統或可與人工實境系統一起實施。人工實境或額外實境（extra reality；XR）係在向使用者呈現之前已按某種方式調整之實境形式，其可包括例如虛擬實境（virtual reality；VR）、擴增實境（augmented reality；AR）、混合實境（mixed reality；MR）、混雜實境或其某一組合及/或其衍生物。人工實境內容可包括完全產生之內容，或與所擷取內容（例如，真實世界相片）組合的所產生內容。人工實境內容可包括視訊、音訊、觸覺回饋或其某一組合，其中之任一者可在單一通道中或在多個通道中呈現（諸如，對觀看者產生三維效應之立體視訊）。另外，在一些具體實例中，人工實境可與例如用以在人工實境中創造內容，及/或用於人工實境中（例如，在人工實境中執行活動）之應用程式、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上，包括連接至主機電腦系統之頭戴式顯示器（head-mounted display；HMD）、獨立式HMD、行動裝置或計算系統、「洞穴式」環境或其他投影系統，或能夠將人工實境內容提供至一或多個觀看者之任何其他硬體平台。

如本文中所使用，「虛擬實境」或「VR」係指使用者之視覺輸入由計算系統控制之沉浸式體驗。「擴增實境」或「AR」係指使用者在真實世界之影像已傳遞經過計算系統之後而觀看該些影像的系統。舉例而言，背面具有相機之平板電腦可擷取真實世界之影像，且隨後在平板電腦的與相機的相對側上的螢幕上顯示影像。平板電腦可在影像傳遞經過系統時處理及調整或「擴增」該些影像，諸如藉由添加虛擬物件。「混合實境」或「MR」係指其中進入使用者眼睛之光，部分地由計算系統產生且部分地構成自真實世界中之物件反射之光的系統。舉例而言，MR頭戴組可經成形為具有透通顯示器之一對眼鏡，其允許來自真實世界之光穿過一波導，該波導同時發射自MR頭戴組中之投影儀的光，從而允許MR頭戴組呈現與使用者可看到之真實物件互混的虛擬物件。如本文中所使用，「人工實境」、「額外實境」或「XR」係指VR、AR、MR或其任何組合或混雜中之任一者。

下文參考諸圖更詳細地論述若干實施。圖1係繪示所揭示技術之一些實施可在上面操作的裝置之概述的方塊圖。該些裝置可包含計算系統100之硬體組件，該些硬體組件可根據多個偵測系統偵測何時已穿戴（穿）或脫下（脫）人工實境裝置頭戴組。在各種實施中，計算系統100可包括經由有線或無線通道通信以分配處理及共用輸入資料之單個計算裝置103或多個計算裝置（例如，計算裝置101、計算裝置102及計算裝置103）。在一些實施中，計算系統100可包括能夠為使用者提供電腦產生或擴增的體驗而無需外部處理或感測器之獨立式頭戴組。在其他實施中，計算系統100可包括多個計算裝置，諸如頭戴組及核心處理組件（諸如控制台、行動裝置或伺服器系統），其中對頭戴組執行一些處理操作且將其他處理操作卸載至核心處理組件。下文關於圖2A及圖2B描述實例頭戴組。在一些實施中，位置及環境資料可僅由併入於頭戴組裝置中之感測器來搜集，而在其他實施中，非頭戴組計算裝置中之一或多者可包括可追蹤環境或位置資料之感測器組件。

計算系統100可包括一或多個處理器110（例如，中央處理單元（central processing unit；CPU）、圖形處理單元（graphical processing unit；GPU）、全像處理單元（holographic processing unit；HPU）等）。處理器110可為一裝置中或跨越多個裝置分佈（例如跨越計算裝置101至103中之兩者或更多者分佈）的單個處理單元或多個處理單元。

計算系統100可包括將輸入提供至處理器110從而通知其動作之一或多個輸入裝置120。動作可由硬體控制器調解，該硬體控制器解譯自輸入裝置接收之信號，且使用通信協定將資訊傳達至處理器110。各輸入裝置120可包括例如滑鼠、鍵盤、觸控螢幕、觸控板、可穿戴式輸入裝置（例如觸覺手套、手鐲、戒指、耳環、項鍊、腕錶等）、相機（或其他基於光之輸入裝置，例如紅外線感測器）、麥克風或其他使用者輸入裝置。

處理器110可例如藉由使用內部或外部匯流排（諸如PCI匯流排、SCSI匯流排或無線連接）耦接至其他硬體裝置。處理器110可與用於裝置（諸如用於顯示器130）之硬體控制器通信。顯示器130可用於顯示文字及圖形。在一些實施中，諸如當輸入裝置係觸控螢幕或配備有眼睛方向監測系統時，顯示器130包括輸入裝置作為顯示器之部分。在一些實施中，顯示器與輸入裝置分離。顯示裝置之實例係：LCD顯示螢幕、LED顯示螢幕、投影、全像或擴增實境顯示器（諸如抬頭顯示裝置或頭戴式裝置）等。其他I/O裝置140亦可耦接至處理器，諸如網路晶片或卡、視訊晶片或卡、音訊晶片或卡、USB、火線或其他外部裝置、相機、印表機、揚聲器、CD-ROM光碟機、DVD光碟機、磁碟機等。

在一些實施中，來自I/O裝置140（諸如相機、深度感測器、IMU感測器、GPS單元、光達或其他飛行時間感測器等）之輸入，可由計算系統100使用以識別及繪製使用者之實體環境，同時追蹤彼環境內之使用者之位置。此即時定位與地圖建構（simultaneous localization and mapping；SLAM）系統可產生區域（其可為房間、建築物、室外空間等）之地圖（例如拓樸、網格等），及/或獲得先前由計算系統100或已繪製該區域之另一計算系統產生的地圖。基於諸如GPS資料、匹配所識別物件及結構與經繪製物件及結構、監測加速度及其他位置變化等因素，SLAM系統可追蹤區域內之使用者。

計算系統100可包括通信裝置，其能夠與其他本端計算裝置或網路節點無線或有線地通信。通信裝置可使用例如TCP/IP協定經由網路與另一裝置或伺服器通信。計算系統100可利用通信裝置以跨越多個網路裝置分散操作。

處理器110可存取記憶體150，該記憶體150可包含於計算系統100之計算裝置中之一者上，或可跨越計算系統100之多個計算裝置或其他外部裝置分佈。記憶體包括用於揮發性或非揮發性儲存器之一或多個硬體裝置，且可包括唯讀記憶體及可寫記憶體兩者。舉例而言，記憶體可包括隨機存取記憶體（random access memory；RAM）、各種快取記憶體、CPU暫存器、唯讀記憶體（read-only memory；ROM）及可寫非揮發性記憶體（諸如快閃記憶體、硬碟、軟碟、CD、DVD、磁性儲存裝置、磁帶機等）中之一或多者。記憶體並非自基礎硬體脫離之傳播信號；記憶體因此係非暫時性的。記憶體150可包括儲存程式及軟體之程式記憶體160，該些程式及軟體諸如作業系統162、多感測器穿/脫偵測系統164及其他應用程式166。記憶體150亦可包括資料記憶體170，其可包括IMU讀數、近接感測器讀數、ET/FT讀數、用於穿及脫偵測之讀數臨限值、ET/FT狀態識別符、穿/脫狀態識別符、組態資料、設定、使用者選項或偏好等，以上各者可提供至程式記憶體160或計算系統100之任何元件。

一些實施可與大量其他計算系統環境或組態一起操作。可適合與技術一起使用之計算系統、環境及/或組態之實例，包括但不限於XR頭戴組、個人電腦、伺服器電腦、手持型或膝上型電腦裝置、蜂巢式電話、可穿戴式電子器件、遊戲控制台、平板電腦裝置、多處理器系統、基於微處理器之系統、機上盒、可程式化消費型電子裝置、網路PC、小型電腦、大型電腦、包括以上系統或裝置中之任一者的分散式計算環境或類似者。

圖2A係根據一些具體實例的虛擬實境頭戴式顯示器（HMD）200的線圖。HMD 200包括前剛體205及帶210。前剛體205包括電子顯示器245之一或多個電子顯示元件、慣性量測單元（IMU）215、一或多個位置感測器220、定位器225及一或多個計算單元230。位置感測器220、IMU 215及計算單元230可在HMD 200內部，且對於使用者可能並不可見。在各種實施中，IMU 215、位置感測器220及定位器225可以三自由度（three degrees of freedom；3DoF）或六自由度（six degrees of freedom；6DoF），追蹤HMD 200在真實世界及人工實境環境中之移動及位置。舉例而言，定位器225可發射在HMD 200周圍之真實物件上產生光點的紅外光束。作為另一實例，IMU 215可包括例如一或多個加速度計、陀螺儀、磁力計、其他非基於相機之位置、力或定向感測器，或其組合。與HMD 200整合的一或多個相機（圖中未示）可偵測光點。HMD 200中之計算單元230可使用偵測到的光點，以外推HMD 200之位置及移動以及識別圍繞HMD 200之真實物件的形狀及位置。

電子顯示器245可與前剛體205整合，且可如由計算單元230規定將影像光提供至使用者。在各種具體實例中，電子顯示器245可為單個電子顯示器或多個電子顯示器（例如用於各使用者眼睛的顯示器）。電子顯示器245之實例包括：液晶顯示器（liquid crystal display；LCD）、有機發光二極體（organic light-emitting diode；OLED）顯示器、主動矩陣有機發光二極體顯示器（active-matrix organic light-emitting diode；AMOLED）、包括一或多個量子點發光二極體（quantum dot light-emitting diode；QOLED）子像素之顯示器、投影儀單元（例如，微型LED、雷射等）、某一其他顯示器或其某一組合。

在一些實施中，HMD 200可耦接至核心處理組件，諸如個人電腦（personal computer；PC）（圖中未示）及/或一或多個外部感測器（圖中未示）。外部感測器可監測PC可使用之HMD 200（例如經由自HMD 200發射之光），結合來自IMU 215及位置感測器220之輸出，以判定HMD 200之位置及移動。

圖2B係包括混合實境HMD 252及核心處理組件254的混合實境HMD系統250的線圖。混合實境HMD 252及核心處理組件254可經由如由鏈路256所指示之無線連接（例如，60 GHz鏈路）通信。在其他實施中，混合實境系統250僅包括頭戴組，而無外部計算裝置，或包括混合實境HMD 252與核心處理組件254之間的其他有線或無線連接。混合實境HMD 252包括透通顯示器258及框架260。框架260可容納各種電子組件（圖中未示），諸如光投影儀（例如雷射、LED等）、相機、眼動追蹤感測器、MEMS組件、網路連接組件等。

投影儀可例如經由光學元件耦接至透通顯示器258，以向使用者顯示媒體。光學元件可包括一或多個波導總成、反射器、透鏡、反射鏡、準直器、光柵等，以用於將光自投影儀導引至使用者之眼睛。影像資料可經由鏈路256自核心處理組件254傳輸至HMD 252。HMD 252中之控制器可將影像資料轉換成來自投影儀之光脈衝，該些光脈衝可作為輸出光經由光學元件傳輸至使用者之眼睛。輸出光可與穿過顯示器258之光混合，從而允許輸出光呈現如同存在於真實世界中一般之虛擬物件。

類似於HMD 200，HMD系統250亦可包括運動及位置追蹤單元、相機、光源等，其允許HMD系統250例如以3DoF或6DoF追蹤自身、追蹤使用者之部分（例如手、腳、頭部或其他身體部位）、在HMD 252移動時把虛擬物件映射成看起來靜止，且使虛擬物件對手勢及其它真實世界物件作出反應。

圖2C繪示控制器270，在一些實施中，使用者可用一隻或兩隻手握持該些控制器，以與由HMD 200及/或HMD 250呈現之人工實境環境互動。控制器270可直接或經由外部裝置（例如核心處理組件254）與HMD通信。控制器可具有其自身的IMU單元、位置感測器及/或可發射其他光點。HMD 200或250、外部感測器或控制器中之感測器可追蹤此等控制器光點，以判定控制器位置及/或定向（例如，以3DoF或6DoF追蹤控制器）。HMD 200中之計算單元230或核心處理組件254可結合IMU及位置輸出而使用此追蹤，以監測使用者之手部位置及運動。控制器亦可包括各種按鈕（例如按鈕272A至272F）及/或操縱桿（例如操縱桿274A至274B），使用者可致動該些按鈕及/或操縱桿以提供輸入且與物件互動。

圖2D係繪示可用於本發明技術之一些實施中之人工實境裝置頭戴組280之第二視圖的線圖。在一些實施中，人工實境裝置頭戴組280與虛擬實境HMD 200或混合實境HMD系統250相同或共用組件。人工實境裝置頭戴組280可包括透鏡282A及282B。人工實境裝置頭戴組280可包括近接感測器284，該近接感測器284可發射諸如紅外光之光束，且偵測光束如何自目標反彈以獲得至彼目標之距離。人工實境裝置頭戴組280可包括眼動追蹤/人臉追蹤（ET/FT）系統，該眼動追蹤/人臉追蹤系統包括ET/FT相機286A至286E。在一些實施中，此等ET/FT相機可以72 Hz或90 Hz運行。一或多個光源可照亮透鏡282前方之使用者的一隻或兩隻眼睛，且ET/FT相機可擷取此光之反射以判定眼睛位置（例如，基於使用者角膜周圍之一組反射），從而模型化使用者眼睛且判定凝視方向。ET/FT相機286亦可擷取使用者的臉之部分以偵測例如面部表情。

在各種實施中，HMD 200、250或人工實境裝置頭戴組亦可包括額外子系統（諸如音訊系統、各種網路組件等）以監測使用者互動及意圖之指示。舉例而言，在一些實施中，代替控制器或除控制器之外，包括於HMD 200、HMD 250或人工實境裝置頭戴組280中或來自外部相機的一或多個相機，亦可監測使用者手部之位置及姿勢以判定手勢及其他手部及身體運動。

圖3係繪示所揭示技術之一些實施可在其中操作的環境300之概述的方塊圖。環境300可包括一或多個用戶端計算裝置305A至305D，該些用戶端計算裝置之實例可包括計算系統100。在一些實施中，用戶端計算裝置中之一些（例如用戶端計算裝置305B）可為HMD 200或HMD系統250。用戶端計算裝置305可使用經由網路330至一或多個遠端電腦（諸如伺服器計算裝置）之邏輯連接在網路化環境中操作。

在一些實施中，伺服器310可為邊緣伺服器，其經由其他伺服器（諸如伺服器320A至320C）接收用戶端請求且協調彼等請求之履行。伺服器計算裝置310及320可包含計算系統，諸如計算系統100。儘管各伺服器計算裝置310及320邏輯地顯示為單個伺服器，但伺服器計算裝置可各自為涵蓋位於相同或地理上不同的實體位置處之多個計算裝置的分散式計算環境。

用戶端計算裝置305及伺服器計算裝置310及320可各自充當至其他伺服器/用戶端裝置之伺服器或用戶端。伺服器310可連接至資料庫（database）315。伺服器320A至320C可各自連接至對應的資料庫325A至325C。如上文所論述，各伺服器310或320可對應於一組伺服器，且此等伺服器中之各者可共用資料庫或可具有其自身的資料庫。儘管資料庫315及325以邏輯方式顯示為單個單元，但資料庫315及325可各自為涵蓋多個計算裝置之分散式計算環境，可位於其對應的伺服器內，或可位於相同或地理上不同的實體位置處。

網路330可為區域網路（local area network；LAN）、廣域網路（wide area network；WAN）、網狀網路、混合網路或其他有線或無線網路。網路330可為網際網路或某一其他公用或專用網路。用戶端計算裝置305可經由網路介面（諸如藉由有線或無線通信）連接至網路330。雖然伺服器310與伺服器320之間的連接經展示為單獨的連接，但此等連接可為任何種類之本端、廣域、有線或無線網路，包括網路330或單獨的公用或專用網路。

圖4係繪示在一些實施中可用於使用所揭示技術之系統中的組件400之方塊圖。組件400可包括於計算系統100之一個裝置中或可跨越計算系統100之多個裝置分佈。組件400包括硬體410、調解器420及專用組件430。如上文所論述，實施所揭示技術之系統可使用各種硬體，其包括處理單元412、工作記憶體414、輸入及輸出裝置416（例如相機、顯示器、IMU單元、網路連接等）及儲存記憶體418。在各種實施中，儲存記憶體418可為以下各者中之一或多者：本端裝置、至遠端儲存裝置之介面，或其組合。舉例而言，儲存記憶體418可為可經由系統匯流排存取的一或多個硬碟機或快閃磁碟機，或可為雲端儲存提供器（諸如在儲存器315或325中），或可經由一或多個通信網路存取的其他網路儲存器。在各種實施中，組件400可實施於諸如用戶端計算裝置305之用戶端計算裝置中或實施於諸如伺服器計算裝置310或320之伺服器計算裝置上。

調解器420可包括在硬體410與專用組件430之間調解資源的組件。舉例而言，調解器420可包括作業系統、服務、驅動程式、基本輸入輸出系統（basic input output system；BIOS）、控制器電路或其他硬體或軟體系統。

專用組件430可包括軟體或硬體，其經組態以執行基於來自多個偵測系統之輸入而判定何時人工實境裝置頭戴組已被穿戴或脫下之操作。專用組件430可包括近接感測系統434、IMU系統436、ET/FT系統438、穿/脫狀態追蹤系統440，以及可用於提供使用者介面、傳送資料及控制專用組件（諸如介面432）之組件及API。在一些實施中，組件400可在跨越多個計算裝置分佈之計算系統中，或可為至執行專用組件430中之一或多者的基於伺服器之應用程式的介面。儘管描繪為單獨的組件，但專用組件430可為功能之邏輯或其他非實體區分，及/或可為一或多個應用程式之子模組或程式碼區塊。

近接感測系統434可與I/O 416之近接感測器互動以得到近接感測器讀數，且可將此等讀數與近接穿戴臨限值或近接脫下臨限值（其可為相同或不同的臨限值）進行比較，且將比較結果報告給穿/脫狀態追蹤系統440。近接感測系統434亦可在ET/FT系統438指示I/O 416之ET/FT裝置被啟用時而停用I/O 416之近接感測器，且在ET/FT系統438指示I/O 416之ET/FT裝置被停用時而啟用I/O 416之近接感測器。下文關於圖5之區塊502及510提供關於追蹤與臨限值相比的近接感測讀數及關於控制近接感測器狀態之額外細節。

IMU系統436可與I/O 416之IMU系統互動以獲得IMU讀數，且可將此等讀數與IMU穿戴臨限值或IMU脫下臨限值（其可為相同或不同的臨限值）比較，並將比較結果報告給穿/脫狀態追蹤系統440。下文關於圖5之區塊502、508及510提供關於追蹤與臨限值相比的IMU讀數之額外細節。

ET/FT系統438可與I/O 416之ET/FT裝置互動以獲取ET/FT狀態讀數，且可將此等讀數處於給定狀態（偵測到眼睛、未偵測到眼睛、偵測到人臉、未偵測到人臉）的時長與ET/FT計時脫下臨限值比較，且將比較結果報告給穿/脫狀態追蹤系統440。例如回應於此等系統經指示為由當前應用程式使用，ET/FT系統438亦可停用及啟用I/O 416之ET/FT裝置。下文關於圖5之區塊506及508提供關於追蹤與計時臨限值相比的ET/FT狀態讀數及控制ET/FT裝置之額外細節。

穿/脫狀態追蹤系統440可追蹤，人工實境裝置頭戴組係由使用者穿戴（亦即，處於穿戴狀態中）、抑或不由使用者穿戴（亦即，處於脫下狀態中）。

當處於脫下狀態時，穿/脫狀態追蹤系統440可自近接感測系統434獲得近接臨限值比較，且可自IMU系統436獲得IMU與穿戴臨限值比較，且若兩個比較評估為真，則可將穿/脫狀態設定成穿戴狀態。

當在穿戴狀態中、且ET/FT系統438指示啟用ET/FT裝置時，穿/脫狀態追蹤系統440可自ET/FT系統438獲得ET/FT計時比較、且可自IMU系統436獲得IMU與脫下臨限值比較，並且若任一比較評估為真，則可將穿/脫狀態設定成脫下狀態。

當在穿戴狀態中、且ET/FT系統438指示停用ET/FT裝置時，穿/脫狀態追蹤系統440可自近接感測系統434獲得近接臨限值比較、且可自IMU系統436獲得IMU與脫下臨限值比較，並且若任一比較評估為真，則可將穿/脫狀態設定成脫下狀態。

所屬技術領域中具有通常知識者應瞭解，上文所描述之圖1至圖4中及下文所論述之流程圖中之各者中所繪示之組件可以多種方式改變。舉例而言，可重新配置邏輯之次序，可並行地執行子步驟，可省略所說明之邏輯，可包括其他邏輯等。在一些實施中，上文所描述之組件中之一或多者可執行下文所描述之程序中之一或多者。

圖5係繪示用於本發明技術之一些實施中以用於根據IMU感測器、近接感測器及眼動追蹤/人臉追蹤系統中之兩者之組合、設定人工實境裝置頭戴組（「頭戴組」）穿或脫狀態的程序500之流程圖。程序500可藉由人工實境裝置執行，例如人工實境裝置之作業系統的子程序。在一些實施中，當頭戴組處於脫下狀態時，程序500可在區塊502處開始。在其他實施中，當頭戴組處於穿戴狀態時，程序500可替代地在區塊506處開始。

在區塊502處，程序500可判定來自近接感測器之當前讀數集合是否超過近接穿戴臨限值，及來自IMU之當前讀數集合是否超過IMU穿戴臨限值。當來自近接感測器的讀數指示在近接感測器之30 mm內物件（亦即使用者的面部）存在持續至少一秒時，則該些讀數可超過近接穿戴臨限值。當量測到超過臨限力或超過角速度之移動時，來自IMU之讀數可超過IMU穿戴臨限值。若來自近接感測器之當前讀數集合超過近接穿戴臨限值、且來自IMU之當前讀數集合超過IMU穿戴臨限值，則程序500可繼續至區塊504；否則，程序500可保持在區塊502處。

在區塊504處，程序500可將人工實境裝置頭戴組設定為穿戴狀態。此可包括例如將定義於人工實境裝置頭戴組之作業系統中的環境變數，設定為對應於頭戴組處於穿戴狀態的值。

在區塊506處，程序500可判定ET/FT系統是否在作用中。此可藉由檢查ET/FT系統之硬體（經由作業系統或其他控制系統中之狀態指示器）是否發射光及/或捕捉光來實現，或藉由檢查在人工實境裝置上執行之任何當前應用程式是否使用ET/FT系統、且因此已啟用該ET/FT系統來實現。若ET/FT系統在作用中，則程序500可進行至區塊508；否則，程序500可進行至區塊510。

在區塊508處，程序500可判定ET/FT系統是否未識別到人臉或眼睛持續臨限時間量（例如1秒），或來自IMU之所有讀數是否均低於IMU脫下臨限值持續一定時間量（例如2分鐘）。若兩者均不為真，則程序500可返回至區塊506。若任一者為真，則程序500可進行至區塊512。

在區塊510處，程序500可判定來自近接感測器之當前讀數集合是否低於近接脫下臨限值（例如在30 mm內未量測到物件）持續臨限時間量（例如1秒）、或來自IMU之所有讀數是否均低於IMU脫下臨限值持續一定時間量（例如2分鐘）。若兩者均不為真，則程序500可返回至區塊506。若任一者為真，則程序500可進行至區塊512。

在區塊512處，程序500可將人工實境裝置頭戴組設定為脫下狀態。此可包括例如將定義於人工實境裝置頭戴組之作業系統中的環境變數，設定為對應於頭戴組處於脫下狀態的值。程序500可在頭戴組通電時重複，返回至區塊502。

本說明書中對「實施」（例如，「一些實施」、「各種實施」、「一個實施」、「一實施」等）之提及意謂結合該實施描述之特定特徵、結構或特性，包括於本發明之至少一個實施中。本說明書中之各處出現的此等片語未必皆指代同一實施，亦並非與其他實施相互排斥之單獨或替代實施。此外，描述各種特徵，該些特徵可藉由一些實施而非藉由其他實施來展現。類似地，描述可為一些實施但並非其他實施之要求的各種要求。

如本文中所使用，超過臨限值意謂比較下之項目的值高於指定的另一值、比較下之項目在具有最大值之某一指定數目個項目當中，或比較下之項目具有處於指定頂部百分比值內之值。如本文中所使用，低於臨限值意謂比較下之項目的值低於指定的另一值、比較下之項目在具有最小值之某一指定數目個項目當中，或比較下之項目具有處於指定底部百分比值內之值。如本文中所使用，在臨限值內意謂比較下之項目之值在兩個指定其他值之間，比較下之項目在中等指定數目個項目當中，或比較下之項目具有在中等指定百分比範圍內之值。當並未另外界定時，諸如高或不重要之相對術語可理解為指派值及判定彼值如何與已建立臨限值比較。舉例而言，片語「選擇快速連接」可理解為意謂選擇具有對應於超過臨限值之連接速度所指派之值的連接。

如本文中所使用，詞語「或」指一組項目之任何可能排列。舉例而言，片語「A、B或C」係指A、B、C中之至少一者或其任何組合，諸如以下各者中之任一者：A；B；C；A及B；A及C；B及C；A、B及C；或多個任一項目，諸如A及A；B、B及C；A、A、B、C及C；等等。

儘管已用特定於結構特徵及/或方法動作之語言描述標的物，但應理解，所附申請專利範圍中所定義之標的物未必限於上文所描述之特定特徵或動作。儘管本文中已出於說明之目的描述特定具體實例及實施，但可在不脫離具體實例及實施之範圍的情況下進行各種修改。上文所描述之特定特徵及動作經揭示為實施以下申請專利範圍之實例形式。因此，除隨附申請專利範圍外，具體實例及實施不受限制。

上文提及之任何專利、專利申請案及其他參考文獻均以引用之方式併入本文中。在必要時，可修改態樣以採用上文所描述之各種參考之系統、功能及概念，從而提供其他實施。若以引用的方式併入之文件中之陳述或標的物與本申請案之陳述或標的物衝突，則應控制本申請案。

100:計算系統 101:計算裝置 102:計算裝置 103:計算裝置 110:處理器 120:輸入裝置 130:顯示器 140:I/O裝置 150:記憶體 160:程式記憶體 162:作業系統 164:多感測器穿/脫偵測系統 166:其他應用程式 170:資料記憶體 200:頭戴式顯示器 205:前剛體 210:帶 215:慣性量測單元 220:位置感測器 225:定位器 230:計算單元 245:電子顯示器 250:混合實境HMD系統 252:混合實境HMD 254:核心處理組件 256:鏈路 258:透通顯示器 260:框架 270:控制器 272A:按鈕 272B:按鈕 272C:按鈕 272D:按鈕 272E:按鈕 272F:按鈕 274A:操縱桿 274B:操縱桿 280:人工實境裝置頭戴組 282A:透鏡 282B:透鏡 284:近接感測器 286A:ET/FT相機 286B:ET/FT相機 286C:ET/FT相機 286D:ET/FT相機 286E:ET/FT相機 300:環境 305A:用戶端計算裝置 305B:用戶端計算裝置 305C:用戶端計算裝置 305D:用戶端計算裝置 310:伺服器 315:資料庫 320A:伺服器 320B:伺服器 320C:伺服器 325A:資料庫 325B:資料庫 325C:資料庫 330:網路 400:組件 410:硬體 412:處理單元 414:工作記憶體 416:輸入及輸出裝置 418:儲存記憶體 420:調解器 430:專用組件 432:介面 434:近接感測系統 436:IMU系統 438:ET/FT系統 440:穿/脫狀態追蹤系統 500:程序 502:區塊 504:區塊 506:區塊 508:區塊 510:區塊 512:區塊

[圖1]係繪示本發明技術之一些實施可在上面操作的裝置之概述的方塊圖。

[圖2A]係繪示可用於本發明技術之一些實施中的虛擬實境頭戴組之第一視圖的線圖。

[圖2B]係繪示可用於本發明技術之一些實施中之混合實境頭戴組的線圖。

[圖2C]係繪示控制器之線圖，在一些實施中，使用者可用一隻或兩隻手握持該些控制器以與人工實境環境互動。

[圖2D]係繪示可用於本發明技術之一些實施中的虛擬實境頭戴組之第二視圖的線圖。

[圖3]係繪示本發明技術之一些實施可在其中操作的環境之概述的方塊圖。

[圖4]係繪示在一些實施中可用於使用所揭示技術之系統中的組件之方塊圖。

[圖5]係繪示用於本發明技術之一些實施中以用於根據IMU感測器、近接感測器及眼動追蹤/人臉追蹤相機中之兩者之組合、設定人工實境裝置頭戴組穿或脫狀態的程序之流程圖。

此處介紹之技術可藉由參考以下實施方式結合隨附圖式更好地理解，其中相同參考編號指示相同或功能上類似之元件。

500:程序

502:區塊

504:區塊

506:區塊

508:區塊

510:區塊

512:區塊

Claims (20)

1. 一種用於基於來自多個偵測系統的輸入而判定何時一人工實境裝置頭戴組已被穿戴或被脫下的方法，該方法包含： 自該人工實境裝置頭戴組處於一脫下狀態， 判定以下兩者： 一當前近接讀數集合是否超過一近接穿戴臨限值；及 一當前IMU讀數集合是否超過一IMU穿戴臨限值；及 作為回應，將該人工實境裝置頭戴組改變為處於一穿戴狀態；及 自該人工實境裝置頭戴組處於該穿戴狀態， 當一眼動追蹤/人臉追蹤（ET/FT）系統在作用中時： 判定A）一當前ET/FT讀數集合是否指示在內一丟失眼動或人臉追蹤持續一臨限時間量、及B）一當前IMU讀數集合是否低於一IMU脫下臨限值；及 回應於A）或B）係真，將該人工實境裝置頭戴組改變為處於該脫下狀態；及 當一ET/FT系統不在作用中時： 判定C）一當前近接讀數集合是否低於一近接脫下臨限值、及D）一當前IMU讀數集合是否低於一IMU脫下臨限值；及 回應於C）或D）係真，將該人工實境裝置頭戴組改變為處於該脫下狀態。
2. 如請求項1之方法，其中： 該判定該當前近接讀數集合是否超過該近接穿戴臨限值包括，判定是否在一近接感測器之30 mm內偵測到一物件持續至少一秒；及 該判定該當前近接讀數集合是否低於該近接脫下臨限值包括，判定是否在該近接感測器之30 mm內未偵測到物件持續至少一秒。
3. 如請求項1之方法，其中： 該判定該當前近接讀數集合是否超過該近接穿戴臨限值包括，判定是否在一近接感測器之一臨限距離內偵測到一物件持續至少一臨限時間量；及 該判定該當前近接讀數集合是否低於該近接脫下臨限值包括，判定是否在該近接感測器之該臨限距離內未偵測到物件持續至少該臨限時間量。
4. 如請求項1之方法，其中該判定該當前IMU讀數集合是否低於該IMU脫下臨限值包括，判定藉由該IMU量測的一力或角速度是否低於一臨限力或角速度持續至少一臨限時間。
5. 如請求項1之方法，其中該判定該當前IMU讀數集合是否低於該IMU脫下臨限值包括，判定藉由該IMU量測的一力或角速度是否低於一臨限力或角速度持續至少兩分鐘。
6. 如請求項1之方法，其進一步包含藉由判定該人工實境裝置上之任何作用中的應用程式是否經組態以啟用該ET/FT系統，而判定該ET/FT系統是否在作用中。
7. 如請求項1之方法，其中用於判定該當前ET/FT讀數集合是否指示該丟失眼動或人臉追蹤的該臨限時間量係一秒。
8. 一種儲存指令之電腦可讀取儲存媒體，該些指令在由一計算系統執行時，使得該計算系統執行用於基於來自多個偵測系統的輸入而判定何時一人工實境裝置頭戴組已被穿戴或被脫下的一程序，該程序包含： 當一眼動追蹤/人臉追蹤（ET/FT）系統在作用中時： 判定A）一當前ET/FT讀數集合是否指示一丟失眼動或人臉追蹤持續一臨限時間量、及B）一當前IMU讀數集合是否低於一IMU脫下臨限值；及 回應於A）或B）係真，將該人工實境裝置頭戴組改變為處於一脫下狀態；及 當一ET/FT系統不在作用中時： 判定C）一當前近接讀數集合是否低於一近接脫下臨限值、及D）一當前IMU讀數集合是否低於一IMU脫下臨限值；及 回應於C）或D）係真，將該人工實境裝置頭戴組改變為處於該脫下狀態。
9. 如請求項8之電腦可讀取儲存媒體，其中該程序進一步包含： 判定以下兩者： 一當前近接讀數集合是否超過一近接穿戴臨限值；及 一當前IMU讀數集合是否超過一IMU穿戴臨限值；及 作為回應，將該人工實境裝置頭戴組改變為處於一穿戴狀態。
10. 如請求項9之電腦可讀取儲存媒體，其中： 該判定該當前近接讀數集合是否超過該近接穿戴臨限值包括，判定是否在一近接感測器之一臨限距離內偵測到一物件持續至少一臨限時間量；及 該判定該當前近接讀數集合是否低於該近接脫下臨限值包括，判定是否在該近接感測器之該臨限距離內未偵測到物件持續至少該臨限時間量。
11. 如請求項8之電腦可讀取儲存媒體，其中該判定該當前IMU讀數集合是否低於該IMU脫下臨限值包括，判定藉由該IMU量測的一力或角速度是否低於一臨限力或角速度持續至少一臨限時間。
12. 如請求項8之電腦可讀取儲存媒體，其中該判定該當前IMU讀數集合是否低於該IMU脫下臨限值包括，判定藉由該IMU量測的一力或角速度是否低於一臨限力或角速度持續至少兩分鐘。
13. 如請求項8之電腦可讀取儲存媒體，其中該程序進一步包含藉由判定該人工實境裝置上之任何作用中的應用程式是否經組態以啟用該ET/FT系統，而判定該ET/FT系統何時在作用中。
14. 如請求項8之電腦可讀取儲存媒體，其中用於判定該當前ET/FT讀數集合是否指示該丟失眼動或人臉追蹤的該臨限時間量係在二分之一秒至三秒之範圍內。
15. 一種用於基於來自多個偵測系統的輸入而判定何時一人工實境裝置頭戴組已被穿戴或被脫下的計算系統，該計算系統包含： 一或多個處理器；及 一或多個記憶體，其儲存指令，該些指令在由該一或多個處理器執行時使得該計算系統執行一程序，該程序包含： 當一眼動追蹤/人臉追蹤（ET/FT）系統在作用中時： 判定一當前ET/FT讀數集合是否指示一丟失眼動或人臉追蹤持續一臨限時間量、或一當前IMU讀數集合是否低於一IMU脫下臨限值；及 作為回應，將該人工實境裝置頭戴組改變為處於脫下狀態；及 當一ET/FT系統不在作用中時： 判定一當前近接讀數集合是否低於一近接脫下臨限值、或一當前IMU讀數集合是否低於一IMU脫下臨限值；及 作為回應，將該人工實境裝置頭戴組改變為處於該脫下狀態。
16. 如請求項15之計算系統，其中該程序進一步包含： 判定以下兩者： 一當前近接讀數集合是否超過一近接穿戴臨限值；及 一當前IMU讀數集合是否超過一IMU穿戴臨限值；及 作為回應，將該人工實境裝置頭戴組改變為處於一穿戴狀態。
17. 如請求項15之計算系統，其中： 該判定該當前近接讀數集合是否低於該近接脫下臨限值包括，判定是否在該近接感測器之臨限距離內未偵測到物件持續至少該臨限時間量。
18. 如請求項15之計算系統，其中該判定該當前IMU讀數集合是否低於該IMU脫下臨限值包括，判定藉由該IMU量測的一力或角速度是否低於一臨限力或角速度持續至少一臨限時間。
19. 如請求項15之計算系統，其中該程序進一步包含藉由判定該人工實境裝置上之任何作用中的應用程式是否經組態以啟用該ET/FT系統，而判定該ET/FT系統何時在作用中。
20. 如請求項15之計算系統，其中用於判定該當前ET/FT讀數集合是否指示該丟失眼動或人臉追蹤的該臨限時間量係至少一秒。