TW202310618A - 在穿戴裝置中使用嵌入式電極之眼睛追蹤 - Google Patents

Abstract

本發明描述一種穿戴裝置總成，其使用在一使用者之頭部上產生的生物電位信號來判定該使用者之眼睛追蹤資訊。眼睛追蹤系統使用在耦接至一使用者之頭部的一裝置上安裝的電極來監測在該使用者之頭部上產生之生物電位信號。該系統使用一機器學習模型基於該等所監測之生物電位信號來判定該使用者之眼睛追蹤資訊。該系統部分地基於該所判定之眼睛追蹤資訊執行至少一個動作。

Description

在穿戴裝置中使用嵌入式電極之眼睛追蹤

本發明大體上係關於一種頭戴裝置中之眼睛追蹤系統，且特定言之係關於使用自該頭戴裝置中之嵌入式電極衍生之生物電位信號增強眼睛追蹤。

頭戴裝置常常包括諸如眼睛追蹤感測器等特徵，以向頭戴裝置之使用者提供增強之視覺或音訊內容體驗。典型地，眼睛追蹤由基於攝影機之眼睛追蹤感測器執行，該等感測器藉由捕獲不同凝視位置之角膜反射來追蹤眼球移動。因此，當在某些情況下難以捕獲角膜反射時，習知系統可能無法以期望準確度位準執行眼睛追蹤。舉例而言，當眼睛被遮擋或當環境光之位準較低時，可能存在來自角膜反射之不良資訊。此外，當眼睛追蹤系統之功率位準較低時，使用基於攝影機之眼睛追蹤感測器可能並不可行。此等問題可能導致由基於攝影機之眼睛追蹤感測器執行的眼睛追蹤之效能位準降低。

本文描述了一種眼睛追蹤系統，該系統監測來自複數個電極之電生理信號，以判定與使用者之眼動相關聯之資訊。該系統可為視情況包括來自一或多個眼睛追蹤攝影機之資訊的混雜系統。眼睛追蹤系統為頭戴式系統（例如，頭戴裝置及/或耳內裝置）之部分，其可提供穿戴頭戴式系統之使用者之眼睛追蹤資訊。眼睛追蹤系統可使用包括複數個眼電描記術（electrooculography；EOG）電極之電極總成來量測電生理信號（亦被稱為生物電位信號）。眼睛追蹤系統使用經訓練機器學習模型基於經量測之生物電位信號來判定眼睛追蹤資訊。在一些具體實例中，來自眼睛追蹤系統之資訊可用於識別凝視資訊及執行動作，諸如選擇性地強調自頭戴式系統中之特定聲響感測器接收之聲響內容、調整頭戴式系統中之顯示器處之虛擬內容之顯示、推斷到達方向（direction of arrival；DOA）估計及朝向彼方向引導波束成形演算法以便在彼方向上選擇性地增強音訊捕獲，等等。

在本文中所描述之具體實例中，該系統監測自在耦接至使用者頭部的裝置上安裝的複數個電極接收之生物電位信號。該系統使用經訓練機器學習模型基於所監測之生物電位信號來判定該使用者之眼睛追蹤資訊。該系統部分地基於所判定之眼睛追蹤資訊執行至少一個動作。

在一些具體實例中，描述了一種穿戴裝置總成。該穿戴裝置總成包括頭戴裝置。該頭戴裝置包括顯示總成、音訊系統及眼睛追蹤系統。該眼睛追蹤系統經組態以自複數個電極接收生物電位信號，該複數個電極經組態以監測在使用者之頭部內回應於使用者之眼動而產生的生物電位信號。該眼睛追蹤系統亦使用經訓練機器學習模型基於所監測之生物電位信號來判定該使用者之眼睛追蹤資訊。顯示總成及音訊系統中之至少一者經組態以部分地基於所判定之眼睛追蹤資訊執行至少一個動作。

本發明大體上係關於判定眼睛追蹤資訊，且特定言之係關於使用EOG電極在使用者頭部產生之生物電位信號的監測及使用。所監測之生物電位信號可視情況與自頭戴裝置中之眼睛追蹤感測器接收的眼睛追蹤資訊組合。

眼睛追蹤係指偵測使用者凝視方向之過程，其可偵測眼睛在三維（3-dimensional；3D）空間中之角位向。另外，眼睛追蹤可偵測眼睛之部位（例如，眼睛中心之部位）、眼睛之扭轉（亦即，圍繞瞳孔軸線之眼睛轉動）、眼睛之形狀、眼睛之當前焦距、瞳孔之擴張或眼睛狀態之其他特徵。一種用於眼睛追蹤之習知技術捕獲使用者之視訊影像，且使用機器視覺演算法識別使用者瞳孔之位向。然而，此技術消耗實質性計算資源，且容易被睫毛及眼瞼遮擋眼睛。此外，此方法受虹膜與瞳孔之間的對比度影響，該對比度可針對不同使用者而不同。因此，基於視訊之瞳孔追蹤可能無法準確追蹤具有暗虹膜之使用者的眼睛。在虛擬實境頭戴裝置中捕獲使用者之視訊影像以判定使用者凝視之方向有額外缺點。舉例而言，可自其判定使用者瞳孔之位向的用於捕獲影像之攝影機類型典型地相對昂貴或較大。另外，基於攝影機之（例如，基於成像之）眼睛追蹤技術以攝影機之圖框速率速度捕獲資訊。在大多數情況下，攝影機之圖框速率相對慢速（＜60 Hz）。此相對慢速之捕獲速率可能在捕獲快速眼動（例如，跳視移動）時造成一些約束。此等技術亦可能對攝影機與使用者眼睛之接近度施加約束，從而對用於眼睛追蹤之裝置施加約束。然而，當在虛擬實境環境中執行眼睛追蹤時，使用較小且相對接近使用者眼睛之偵測元件進行眼睛追蹤可為較佳的。另外，基於視訊之眼睛追蹤不能在使用者眼睛閉上時（例如，當使用者眨眼時）追蹤使用者眼睛之位向。

本文描述了一種眼睛追蹤系統，該系統監測來自複數個EOG電極之生物電位信號，以判定與使用者之眼動相關聯之資訊。該系統可為視情況包括來自一或多個眼睛追蹤攝影機之資訊的混雜系統。在此混雜系統中，組合來自基於攝影機之眼睛追蹤系統之資訊與來自基於生物電位之眼睛追蹤系統之資訊，以實現多模態混雜眼睛追蹤系統。多模態混雜眼睛追蹤系統可改良在諸如眼瞼覆蓋眼球之情況下的拐角情況的追蹤。眼睛追蹤系統為頭戴式系統（例如，頭戴裝置及/或耳內裝置）之部分，其可提供穿戴頭戴式系統之使用者之眼睛追蹤資訊。眼睛追蹤系統可使用包括複數個EOG電極之電極總成來量測生物電位信號。在一些具體實例中，電極總成可嵌入於頭戴式系統中。舉例而言，電極總成可為頭戴裝置及/或一或多個耳內裝置中之一者或兩者的一部分。在一些具體實例中，眼睛追蹤系統可將自電極總成接收的眼睛追蹤資訊與自頭戴裝置上之眼睛追蹤攝影機接收的資訊組合在一起。眼睛追蹤系統使用經訓練機器學習模型基於經量測之生物電位信號來判定眼睛追蹤資訊。在一些具體實例中，來自眼睛追蹤系統之資訊可執行選擇性動作，諸如選擇性地強調自頭戴式系統中之特定聲響感測器接收之聲響內容、調整頭戴式系統中之顯示器處之虛擬內容之顯示，等等。

雖然習知地可使用一或多個眼睛追蹤攝影機來判定與使用者之眼動相關聯的資訊，但替代地使用頭戴式系統內具有複數個EOG電極之電極總成並監測在複數個EOG電極處產生之生物電位信號具有優勢。一個優勢為電極總成之功率要求遠低於眼睛追蹤攝影機之功率要求。因此，在頭戴式系統可能經歷低功率的情況下，電極總成可繼續監測由於使用者之眼動而產生的生物電位信號，而任何眼睛追蹤攝影機可能由於低功率情況而提供不良資訊。另一優勢為由電極總成監測之生物電位信號不受諸如可能在眨眼期間發生之遮擋效應的影響。相比之下，眼睛追蹤攝影機可能在眨眼期間獲得不正確的眼睛追蹤資訊。此外，由EOG電極監測之生物電位信號以比由眼睛追蹤攝影機用於追蹤眼動之取樣頻率更高之取樣頻率獲得。由於此較高取樣頻率，相比僅自眼睛追蹤攝影機接收之資訊，自電極總成接收之眼睛追蹤資訊可產生更為不間斷的眼睛追蹤。

本發明之具體實例可包括一人工實境系統，或可與該人工實境系統一起實施。人工實境係在呈現給使用者之前已以某一方式調整之實境形式，其可包括例如虛擬實境（virtual reality；VR）、擴增實境（augmented reality；AR）、混合實境（mixed reality；MR）、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生之內容或與捕獲之(例如，真實世界)內容組合的所產生內容。人工實境內容可包括視訊、音訊、觸覺反饋或其某一組合，其中之任一者可在單一通道中或在多個通道中（諸如，對檢視者產生三維效應之立體視訊）呈現。另外，在一些具體實例中，人工實境亦可與用於在人工實境中產生內容及/或以其他方式用於人工實境中之應用、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上，包括連接至主電腦系統之穿戴裝置（例如，頭戴裝置）、獨立穿戴裝置（例如，頭戴裝置）、行動裝置或計算系統，或能夠向一或多個檢視者提供人工實境內容之任何其他硬體平台。

圖1A為根據一或多個具體實例之實施為眼用佩戴裝置之頭戴裝置100的透視圖。在一些具體實例中，眼用佩戴裝置係近眼顯示器（near eye display；NED）。在一些具體實例中，頭戴裝置100可為用戶端裝置。大體而言，頭戴裝置100可穿戴於使用者之面部上，使得使用顯示總成及/或音訊系統呈現內容（例如，媒體內容）。然而，亦可使用頭戴裝置100，使得媒體內容以不同方式呈現給使用者。藉由頭戴裝置100呈現之媒體內容之實例包括一或多個影像、視訊、音訊或其某一組合。頭戴裝置100包括框架，且可包括：包括一或多個顯示元件120之顯示總成、深度攝影機總成（depth camera assembly；DCA）、音訊系統及位置感測器190，以及其他組件。雖然圖1A在頭戴裝置100上之實例部位中說明頭戴裝置100之組件，但組件可位於頭戴裝置100上別處、與頭戴裝置100配對之周邊裝置上或其某一組合。類似地，頭戴裝置100上可存在比圖1A中所展示組件更多或更少的組件。

框架110固持頭戴裝置100之其他組件。框架110包括固持一或多個顯示元件120之前部部件及附接至使用者頭部之末端零件（例如，鏡腿）。框架110之前部部分橋接使用者鼻子的頂部。末端零件之長度可為可調整的（例如，可調整的鏡腿長度）以適合不同使用者。末端零件亦可包括捲曲在使用者耳朵後方之部分（例如，鏡腿尖端、耳承）。

一或多個顯示元件120向穿戴頭戴裝置100之使用者提供光。如所說明，對於使用者每隻眼睛，頭戴裝置包括一顯示元件120。在一些具體實例中，顯示元件120產生提供至頭戴裝置100之眼框之影像光。眼眶為在穿戴頭戴裝置100時使用者之眼睛所佔據的空間中之部位。舉例而言，顯示元件120可為波導顯示器。波導顯示器包括光源（例如，二維源、一或多個線源、一或多個點源等）及一或多個波導。來自光源之光經內耦合至一或多個波導中，該一或多個波導以在頭戴裝置100之眼眶中存在瞳孔複製的方式輸出光。可使用一或多個繞射光柵來完成來自一或多個波導之光的內耦合及/或外耦合。在一些具體實例中，波導顯示器包括掃描元件（例如，波導、鏡面等），該掃描元件在來自光源之光內耦合至一或多個波導中時掃描該光。應注意，在一些具體實例中，顯示元件120中之一者或兩者為不透明且並不透射來自頭戴裝置100周圍之局部區域的光。局部區域為環繞頭戴裝置100之區域。舉例而言，局部區域可為穿戴頭戴裝置100之使用者在內部，或穿戴頭戴裝置100之使用者可在外部之空間，且局部區域為外部區域。在此內容背景中，頭戴裝置100產生VR內容。替代地，在一些具體實例中，顯示元件120中之一者或兩者為至少部分透明的，使得來自局部區域之光可與來自一或多個顯示元件之光組合以產生AR及/或MR內容。

在一些具體實例中，顯示元件120不產生影像光，且替代地為將來自局部區域之光透射至眼框之透鏡。舉例而言，顯示元件120中之一者或兩者可為不具有校正之透鏡（非處方）或處方透鏡（例如，單視覺、雙焦及三焦或漸進）以有助於校正使用者視力中之缺陷。在一些具體實例中，顯示元件120可經偏振及/或染色以保護使用者之眼睛免受太陽影響。

在一些具體實例中，顯示元件120可包括額外光學件區塊（圖中未示）。光學件區塊可包括將光自顯示元件120引導至眼眶之一或多個光學元件（例如，透鏡、菲涅爾透鏡等）。光學件區塊可例如校正影像內容中之一些或所有中的像差，放大影像中之一些或所有，或其某一組合。

在一些具體實例中，顯示元件120可自眼睛追蹤系統（圖中未示）接收眼睛追蹤資訊。所接收之眼睛追蹤資訊可包括對一或多個眼部事件之發生之判定。顯示元件120可基於與所判定之一或多個眼部事件相關聯之資訊來調整呈現給使用者之視覺內容的顯示。

DCA判定環繞頭戴裝置100之局部區域之一部分的深度資訊。DCA包括一或多個成像裝置130及DCA控制器（圖1A中未示），且亦可包括照明器140。在一些具體實例中，照明器140用光照明局部區域之一部分。光可為例如紅外（infrared；IR）、用於飛行時間之IR快閃等中之結構化光（例如，點圖案、條等）。在一些具體實例中，一或多個成像裝置130捕獲局部區域之包括來自照明器140之光的部分的影像。如所說明，圖1A展示單個照明器140及兩個成像裝置130。在替代具體實例中，不存在照明器140及至少兩個成像裝置130。

DCA控制器使用所捕獲影像及一或多種深度判定技術來計算局部區域之部分的深度資訊。深度判定技術可為例如直接飛行時間（time-of-flight；ToF）深度感測、間接ToF深度感測、結構化光、被動立體聲分析、主動立體聲分析（使用由來自照明器140之光添加至場景之紋理）、用以判定場景之深度的一些其他技術，或其某一組合。

DCA可包括判定眼睛追蹤資訊之眼睛追蹤單元。眼睛追蹤資訊可包含關於一隻或兩隻眼睛（在其各別眼眶內）之位置及位向之資訊。在一些具體實例中，眼睛追蹤單元可包括一或多個眼睛追蹤攝影機（圖中未示），其偵測來自頭戴裝置100之使用者之眼睛的不同凝視位置處的角膜反射。眼睛追蹤單元基於由一或多個攝影機捕獲之一隻或兩隻眼睛之影像來估計一隻或兩隻眼睛之角位向。在一些具體實例中，眼睛追蹤單元亦可包括一或多個照明器，其用照明圖案（例如，結構化光、閃爍等）照明一隻或兩隻眼睛。眼睛追蹤單元可使用所捕獲之影像中之照明圖案來判定眼睛追蹤資訊。頭戴裝置100可提示使用者選擇加入以允許眼睛追蹤單元之操作。舉例而言，藉由在頭戴裝置100中選擇，可偵測、儲存使用者之任何影像或使用者之眼睛追蹤資訊。

在一些具體實例中，眼睛追蹤單元包括形成電極總成之複數個電極185。電極185監測在使用者頭部內回應於諸如眼動、眼跳、眨眼等眼部事件之發生而產生的生物電位信號。電極185耦接及/或附接至頭戴式系統之不同部分，且與使用者頭部上的皮膚直接接觸。電極185為向頭戴裝置100中之其他系統提供眼睛追蹤資訊之眼睛追蹤系統的部分。如圖所示，電極185位於框架上、鼻樑處以及框架之末端零件處，但在其他具體實例中，電極185可位於頭戴式系統之其他部分及耳內裝置之部分、助聽器之部分、可聽裝置之部分或其某一組合上。

音訊系統提供音訊內容。音訊系統包括換能器陣列、感測器陣列及音訊控制器150。然而，在其他具體實例中，音訊系統可包括不同及/或額外組件。類似地，在一些情況下，參考音訊系統之組件所描述之功能性可以與在此處所描述之方式不同的方式分佈於組件中。舉例而言，控制器之功能中之一些或全部可由遠端伺服器執行。

換能器陣列向使用者呈現音訊內容。換能器陣列包括複數個換能器。換能器可為揚聲器160或組織換能器170（例如，骨傳導換能器或軟骨傳導換能器）。儘管揚聲器160展示於框架110外部，但揚聲器160可圍封於框架110中。在一些具體實例中，代替每一耳朵之個別揚聲器，頭戴裝置100包括揚聲器陣列，該揚聲器陣列包含整合至框架110中之多個揚聲器以改良所呈現音訊內容之定向性。組織換能器170耦接至使用者之頭部且直接振動使用者之組織（例如，骨或軟骨）以產生音訊信號。換能器之數目及/或部位可不同於圖1A中所展示之數目及/或部位。

感測器陣列偵測頭戴裝置100之局部區域內之聲音。感測器陣列包括複數個聲響感測器180。聲響感測器180捕獲自局部區域（例如，空間）中之一或多個聲源發出之聲音。每一聲響感測器經組態以偵測聲音且將經偵測聲音轉換成電子格式（類比或數位）。聲響感測器180可為聲波感測器、麥克風、聲音換能器或適合於偵測聲音之類似感測器。

在一些具體實例中，一或多個聲響感測器180可置放於每一耳朵之耳道中（例如，充當雙耳麥克風）。在一些具體實例中，聲響感測器180可置放於頭戴裝置100之外部表面上、置放於頭戴裝置100之內部表面上、與頭戴裝置100（例如，一些其他裝置之部分）分離或其某一組合。聲響感測器180之數目及/或部位可不同於圖1A中所展示之數目及/或部位。舉例而言，可增加聲響偵測位置之數目以增加所收集之音訊資訊量及資訊之靈敏度及/或準確度。聲響偵測位置可經定向以使得麥克風能夠在環繞穿戴頭戴裝置100之使用者的廣泛範圍之方向上偵測聲音。

音訊控制器150處理來自感測器陣列之描述由感測器陣列偵測到之聲音的資訊。音訊控制器150可包含處理器及電腦可讀儲存媒體。音訊控制器150可經組態以產生到達方向（direction of arrival；DOA）估計、產生聲傳遞函數（例如，陣列傳遞函數及/或頭部相關傳遞函數）、追蹤聲源之位置、在聲源之方向上形成光束、將聲源分類、產生揚聲器160之濾音器或其某一組合。

在本文中所描述之一些具體實例中，音訊控制器150可自眼睛追蹤系統接收眼睛追蹤資訊。音訊控制器150可基於來自眼睛追蹤系統之眼睛追蹤資訊執行一或多個動作。在一些具體實例中，音訊控制器150可使用眼睛追蹤資訊來選擇性地強調/取消強調自聲響感測器180接收之聲響內容。

位置感測器190回應於頭戴裝置100之移動而產生一或多個量測信號。位置感測器190可位於頭戴裝置100之框架110的部分上。位置感測器190可包括慣性量測單元（inertial measurement unit；IMU）。位置感測器190之實例包括：一或多個加速度計、一或多個陀螺儀、一或多個磁力計、偵測移動之另一合適類型的感測器、用於IMU之錯誤校正的一種類型的感測器，或其某一組合。位置感測器190可位於IMU外部、IMU內部，或其某一組合。

在一些具體實例中，頭戴裝置100可提供用於頭戴裝置100之位置的即時定位與地圖建構（simultaneous localization and mapping；SLAM）及局部區域之模型的更新。舉例而言，頭戴裝置100可包括產生彩色影像資料之被動攝影機總成（passive camera assembly；PCA）。PCA可包括捕獲局部區域中之一些或全部的影像之一或多個RGB攝影機。在一些具體實例中，DCA之成像裝置130中之一些或全部亦可充當PCA。藉由PCA捕獲之影像及藉由DCA判定之深度資訊可用於判定局部區域之參數，產生局部區域之模型，更新局部區域之模型，或其某一組合。此外，位置感測器190追蹤頭戴裝置100在房間內之位置（例如，部位及姿勢）。關於頭戴裝置100之組件的額外細節在下文結合圖7論述。

圖1B為根據一或多個具體實例之實施為HMD之頭戴裝置105的透視圖。在一些具體實例中，頭戴裝置105為用戶端裝置。在描述AR系統及/或MR系統的具體實例中，HMD之前側之部分在可見頻帶（約380 nm至750 nm）中至少部分透明，且HMD之在HMD之前側與使用者之眼睛之間的部分至少部分透明（例如，部分透明的電子顯示器）。HMD包括前部剛體115及帶175。頭戴裝置105包括上文參考圖1A所描述之許多相同組件，但經修改以與HMD外觀尺寸整合。舉例而言，HMD包括顯示總成、DCA、音訊系統及位置感測器190。圖1B展示照明器140、複數個揚聲器160、複數個成像裝置130、複數個聲響感測器180、電極總成之複數個電極185，及位置感測器190。揚聲器160可為換能器陣列（圖中未示）之部分，該換能器陣列亦包括組織換能器（例如，骨傳導換能器或軟骨傳導換能器）。揚聲器160展示為位於各種部位，諸如耦接至帶175（如圖所示）、耦接至前部剛體115，或可經組態以插入使用者之耳道內。電極總成之電極可位於HMD之各種部分處，使得它們與使用者之皮膚直接接觸。

圖2為根據一或多個具體實例之待與眼睛追蹤系統結合使用之耳內裝置210的剖面圖200。根據一或多個具體實例，耳內裝置210可為包括頭戴裝置（諸如圖1A或圖1B之頭戴裝置100之具體實例）之穿戴裝置總成之組件。剖面圖200描繪了外耳220及耳道230，用於提供內容背景。儘管圖2說明了用於左耳之具體實例，但在其他具體實例中，其亦可用於右耳或雙耳。在存在用於左耳及右耳之個別的耳內裝置之具體實例中，該等耳內裝置可連接（例如，藉由電纜），或者它們可為個別獨立裝置（其可與彼此及/或一些其他裝置無線通訊）。

耳內裝置210之具體實例包括作為音訊系統之換能器陣列之部分的換能器240、麥克風250、電力單元260、複數個EOG電極270、數位信號處理器（digital signal processor；DSP）280及收發器290。在替代組態中，耳內裝置210中可包括不同及/或額外組件，諸如接收器或收發器及耳內裝置控制器。另外，在一些具體實例中，結合圖2中所展示之一或多個組件描述之功能性可以與結合圖2所描述之方式不同的方式分佈於組件之中。

在一些具體實例中，耳內裝置210經組態以完全位於使用者之耳道230內。耳內裝置210置放於耳道230內，使得其置放可如圖2中所描繪的完全遮擋耳道230之一部分，或其可部分地遮擋該部分。耳內裝置210經組態以位於耳道230中，使得耳內裝置之一側，亦即外側，面向外耳220，而耳內裝置210之另一末端，亦即內側，面向內耳部分，亦即朝向耳鼓膜280。因此，耳內裝置210位於耳道260中，使得耳內裝置210之內側比耳內裝置210之外側更靠近耳鼓膜280。在一些具體實例中，耳內裝置210可具有基於自使用者群體導出之深度掃描耳道幾何資料的預成形體，以確保更好地適合使用者。

耳內裝置210包括換能器240，其轉換自音訊系統接收之指令以向使用者提供音訊內容。換能器240可為高頻寬音訊換能器。

麥克風250可包括內部麥克風及外部麥克風。內部麥克風偵測耳道中之氣載聲壓波。內部麥克風可位於耳內裝置210之內側附近，使得其面向內耳部分，朝向耳鼓膜280。在一些具體實例中，將藉由內部麥克風偵測到之氣載聲壓波轉換成電信號，然後提供給音訊系統，以便隨後在向使用者提供音訊內容時用於音訊反饋及調諧。外部麥克風偵測外耳部分中之氣載聲壓波。外部麥克風位於耳內裝置210裝置之外側附近，使得其面向使用者之外耳220。在一些具體實例中，將藉由外部麥克風偵測到之氣載聲壓波轉換成電信號，然後提供給音訊系統，以便隨後在向使用者提供音訊內容時用於調諧目的及/或用於聽懂目的。在本文中所描述之具體實例中，麥克風250使用微機電系統（micro-electro-mechanical system；MEMs）技術，且可為雙耳麥克風、振動感測器、壓電加速度計、電容式加速度計或其某一組合中之任何一者。

電力單元260向耳內裝置210提供電力，用於啟動換能器240、麥克風250、DSP 270及需要電力之其他組件。在一些具體實例中，電力單元260可包括電池。在一些具體實例中，電池可為可再充電電池。

EOG電極270監測在使用者眼動期間在使用者頭部表面上產生之生物電位信號。雖然圖2說明了兩個電極，但在其他具體實例中，可存在更多電極位於耳內裝置210內。在一些具體實例中，電極270在空間上分佈於耳內裝置210之外表面上。在一些具體實例中，電極位於耳內裝置中，使得其觸碰使用者耳道及耳甲碗區域處之皮膚表面。電極可為複數個氯化銀電極、鈦基板上之複數個氧化銥電極，或複數個鍍金電極。在一些具體實例中，複數個電極可為軟、平坦、可伸縮且可摺疊的，以便於在耳內裝置210之外表面上定位及使用。使用嵌入式電極270且使用類比前端（analog front end；AFE）單元收集與眼睛活動相對應之生物電位（亦即EOG）。

電極270量測在使用者頭部內回應於眼部事件（諸如使用者之眼動）而產生的生物電位信號。將藉由AFE捕獲之經量測之生物電位信號提供給DSP 280。電極270可使用無線通訊或將電極270連接至DSP 280之耳內裝置210內的某些通訊電路（圖中未示）與DSP 280通訊。

DSP 280可自電極270接收所監測之生物電位信號以用於進一步信號處理。可無線地或藉由將電極270連接至DSP 280之耳內裝置210內的通訊電路自電極接收所監測之信號。在一些具體實例中，DSP 280可處理自電極接收之信號，包括對信號進行濾波。DSP 280可包括類比至數位轉換器（analog to digital converter；ADC）及數位至類比轉換器（digital to analog converter；DAC）。DSP 280可包括擴增器以擴增自電極接收之生物電位信號。DSP 280可包括濾波器，諸如帶通濾波器及/或低通或高通濾波器及陷波濾波器，以自所接收之信號去除雜訊。可使用陷波濾波器在60 Hz下且亦使用陷波濾波器在其子諧波（30 Hz、20 Hz、15 Hz等）及諧波（120 Hz、180 Hz、240 Hz）頻率下去除電力線干擾（Power Line Interference；PLI）雜訊。隨後，DSP 280可將經處理信號提供至收發器290，以傳輸至頭戴裝置中之眼睛追蹤系統。信號可由DSP 280使用無線通訊或藉由將DSP 280連接至收發器290之通訊電路（圖中未示）提供至收發器290。

收發器290將自耳內裝置210接收之經監測及視情況經處理之信號傳送至位於頭戴裝置上的眼睛追蹤系統。在一些具體實例中，收發器單元290可包括天線、藍芽單元及其他收發器組件。

圖3為根據一或多個具體實例之相對於使用者之眼睛310的近眼顯示器（諸如圖1A之頭戴裝置100）的橫截面/側視圖300。儘管圖3說明了用於一隻眼睛之具體實例，但在其他具體實例中，其亦可及/或替換地用於使用者之另一隻眼睛。近眼顯示器之橫截面300包括框架110、顯示元件120、電極320及視情況包括之眼睛追蹤攝影機322。框架110、顯示元件120及電極320是關於圖1A所描述之框架110、顯示元件120及電極185之具體實例。在一些具體實例中，眼睛追蹤攝影機322可視情況包括於近眼顯示器300中，作為眼睛追蹤系統（圖中未示）之額外組件。

眼睛310包括角膜330、虹膜340、瞳孔350、鞏膜360、晶狀體370、中央凹380及視網膜390。角膜330是覆蓋眼睛之虹膜340及瞳孔350之曲面。角膜330在電磁波譜之可見頻帶（~380 nm至750 nm）及近紅外區（至多大約1,400奈米）為基本上透明的。鞏膜360為眼睛310之相對不透明（通常可見之白色）之外部部分，其通常被稱為「眼白」。晶狀體370是用以將光聚焦於眼睛310後部之視網膜390處的透明結構。虹膜340為與瞳孔350同心之薄、有色、圓形隔膜。虹膜340為眼睛之有色部分，其收縮以改變瞳孔350之大小，瞳孔為光藉由其進入眼睛310之圓形孔。中央凹380為視網膜390上之凹口。中央凹380對應於使用者之最高視力區域。

圖3中描繪了眼睛之瞳孔軸線385及中心凹軸線395。瞳孔軸線385及中央凹軸線395隨著眼睛310之移動而變化。在圖3中，眼睛310被描繪為具有水平瞳孔軸線385。因此，圖3中之中心凹軸線395指向水平面下方約6°。圖3亦描繪了攝影機之軸線324。圖3描繪了其中眼睛追蹤攝影機322並不在瞳孔軸線385或中央凹軸線395上之具體實例。攝影機322可在眼睛310之視野之外。

眼睛310之移動導致不同凝視位置處角膜反射之對應移動。此等移動由眼睛追蹤攝影機322捕獲。所捕獲之移動由眼睛追蹤攝影機322作為眼動報告給眼睛追蹤系統（圖中未示）。然而，使用諸如攝影機322之眼睛追蹤攝影機存在一些缺點。其中一些缺點包括較高功率要求、諸如眨眼期間之遮擋效應及低取樣頻率。藉由使用電極320可克服此等缺點。

EOG電極320置放於框架110上，使得其與使用者頭部之皮膚接觸。此等電極320監測眼睛310之角膜330與視網膜之間的電壓電位差（亦即，生物電位信號）。隨著眼睛310移動，角膜330與視網膜390之間的電壓電位差之向量相對於EOG電極320改變。因此，電極320處之所監測信號改變，且因此可用於判定眼動。例如，在睜眼期間，電極320處之所監測信號中的急劇偏轉可由眨眼引起。

在一些具體實例中，電極320可位於框架110之末端零件上，使得其與使用者頭部靠近鏡腿之皮膚接觸。在一些具體實例中，電極320亦可位於框架上其中框架橋接使用者之鼻子處，其中電極320可在使用者之鼻樑處與皮膚接觸。在一些具體實例中，電極320可在眼睛310上方及下方置放於框架110上，使得其可與眼睛310上方之前額區及眼睛310下方之臉頰區上之皮膚接觸。此電極置放可促進使用者判定垂直眼動。隨著電極320之間的間距增加，經量測之信號可能不易受雜訊相關變化影響。因此，使電極320儘可能在空間上分佈於框架110中，同時仍然能夠與使用者頭部之皮膚接觸係有益的。將來自EOG電極320之所監測讀數報告至眼睛追蹤系統。

圖4A為根據一或多個具體實例之穿戴裝置總成400的方塊圖。穿戴裝置總成400包括頭戴裝置410及耳內裝置總成420。耳內裝置總成420包括一個耳內裝置或兩個耳內裝置（亦即，每一耳朵一個）。圖1A中所描繪之頭戴裝置100或圖1B中所描繪之頭戴裝置105可為頭戴裝置410之具體實例。圖2中所描繪之耳內裝置210可為耳內裝置430之具體實例，穿戴裝置總成400之一些具體實例可包括耳內裝置430，而穿戴裝置總成400之其他具體實例可不包括耳內裝置430。

頭戴裝置410可包括顯示總成412、光學件區塊414、音訊系統416及眼睛追蹤系統418。頭戴裝置410之一些具體實例可具有與本文中所描述之組件不同的組件。類似地，在一些情況下，功能可以與此處描述之方式不同的方式分佈於組件中。

顯示總成412根據自控制台（圖中未示）接收之指令而向使用者顯示內容。顯示總成412使用一或多個顯示元件來顯示內容。圖1A及圖3中所描述之顯示元件120可為顯示總成412中之顯示元件的具體實例。顯示元件可為電子顯示器。在各種具體實例中，顯示總成412包含單個顯示元件或多個顯示元件（例如，使用者的每隻眼睛一顯示器）。應注意，在一些具體實例中，顯示元件亦可包括光學件區塊414之功能性中之一些或全部。

在一些具體實例中，顯示總成412可自眼睛追蹤系統418接收關於眼部事件（例如，眼部注視）之發生之眼睛追蹤資訊。顯示總成412可使用接收到之眼睛追蹤資訊為使用者修改所顯示之視覺內容。舉例而言，眼睛追蹤系統可基於所監測之生物電位信號及眼睛追蹤攝影機資訊判定使用者之眼睛凝視固定在特定方向上。關於特定方向上之眼部注視之此資訊可使得顯示總成412修改在所顯示內容之特定區中呈現給使用者的視覺內容。除眼部注視之外偵測到之其他眼部事件可包括眼部跳視、眨眼、眼部移動方向及眼部移動速度。在一些具體實例中，顯示總成412可使用關於眼部移動速度之資訊以基於所預測之眼動修改顯示。

光學件區塊414可放大自電子顯示器接收到之影像光，校正與影像光相關聯之光學誤差，及向頭戴裝置410之一個或兩個眼框（圖中未示）呈現經校正影像光。在各種具體實例中，光學件區塊414包括一或多個光學元件，或不同光學元件之組合。藉由光學件區塊414放大及聚焦影像光允許電子顯示器與較大顯示器相比在實體上更小、重量更少且消耗更少功率。另外，放大可增加由電子顯示器呈現之內容之視場。

在一些具體實例中，光學件區塊414可自眼睛追蹤系統418接收關於眼部事件（例如，眼部注視）之發生之眼睛追蹤資訊。光學件區塊414可使用接收到之眼睛追蹤資訊為使用者修改所顯示之視覺內容。舉例而言，眼睛追蹤系統418可基於所監測之生物電位信號及眼睛追蹤攝影機資訊判定使用者之眼睛凝視固定在特定方向上。關於特定方向上之眼部注視之此資訊可使光學件區塊414修改影像呈現，使得在特定影像平面處呈現影像。用於呈現影像之所選影像平面為判定眼睛當前聚焦所在的影像平面。除眼部注視之外偵測到之其他眼部事件可包括眼部跳視、眨眼、眼部移動方向及眼部移動速度。在一些具體實例中，光學件區塊414可使用關於眼部移動速度之資訊以基於所預測之眼動修改顯示。

音訊系統416為使用者產生並呈現音訊內容。圖1A或圖1B之音訊系統可為音訊系統416之具體實例。音訊系統416可藉由換能器陣列（圖中未示）及/或耳內裝置總成420向使用者呈現音訊內容。在音訊系統416之一些具體實例中，所產生之音訊內容經空間化。經空間化音訊內容為似乎來源於特定方向及/或目標區（例如，局部區域中之物件及/或虛擬物件）之音訊內容。在一些具體實例中，音訊系統416可組合來自不同聲響感測器之資訊，以強調與局部區域之特定區相關聯之聲音，同時取消強調來自該區外部之聲音。在一些具體實例中，音訊系統416自眼睛追蹤系統418接收眼睛追蹤資訊，並使用此資訊來選擇性地強調及取消強調來自各種源之聲音。舉例而言，眼睛追蹤系統418可判定使用者之眼睛凝視固定在特定方向上。在一些具體實例中，音訊系統416可選擇性地強調與局部區域之特定區相關聯之聲響內容，且基於眼睛凝視資訊選擇性地取消強調來自特定區外部之聲響內容。

眼睛追蹤系統418追蹤穿戴裝置總成400之使用者之眼動。在一些具體實例中，眼睛追蹤系統418自位於頭戴裝置上之複數個EOG電極（例如，圖1A、圖1B及圖3中之電極185）接收關於所監測之生物電位信號的資訊。在一些具體實例中，眼睛追蹤系統418自位於視情況選用的耳內裝置總成420內之複數個EOG電極（例如，圖2中之電極270）接收關於所監測之生物電位信號的資訊。在一些具體實例中，眼睛追蹤系統418可組合自位於頭戴裝置上之電極（例如，電極185）及位於包括在耳內裝置中之電極（例如，電極270）接收的資訊。在一些具體實例中，除了諸如本文中所描述之複數個電極之外，眼睛追蹤系統418可包括一或多個眼睛追蹤攝影機（例如，眼睛追蹤攝影機322）。在此等具體實例中，眼睛追蹤系統418可組合自所監測之生物電位信號判定之眼睛追蹤資訊與自眼睛追蹤攝影機接收之眼睛追蹤資訊。

眼睛追蹤系統418可基於所追蹤之眼動來判定使用者之眼睛展現眼部事件之發生，諸如眼部跳視、眼部注視、眨眼及特定方向上及/或特定速度之眼部移動。眼睛追蹤系統418可向顯示總成412及/或光學件區塊414及音訊系統416提供關於此等所判定之眼部事件的資訊。在一些具體實例中，眼睛追蹤系統418可向頭戴裝置之其他組件提供關於此等所判定之眼部事件的資訊。

穿戴裝置總成400可視情況包括具有一或多個耳內裝置之耳內裝置總成420。耳內裝置可為圖2中所描繪之耳內裝置210之具體實例。耳內裝置包括複數個電極（例如，電極270），此等電極在空間上分佈於耳內裝置之外表面上且與使用者耳朵之耳道表面及耳甲碗區表面接觸。由耳內裝置總成420中之電極接收之所監測之生物電位信號可被發送至眼睛追蹤系統418。

圖4B為根據一或多個具體實例之音訊系統430的方塊圖。圖4A中所描繪之音訊系統416可為音訊系統480之具體實例。音訊系統430為使用者產生一或多個聲傳遞函數。音訊系統430接著可使用一或多個聲傳遞函數為使用者產生音訊內容。在圖4B之具體實例中，音訊系統430包括換能器陣列432、感測器陣列434及音訊控制器440。音訊系統430之一些具體實例可具有與本文中所描述之組件不同的組件。類似地，在一些情況下，功能可以與此處描述之方式不同的方式分佈於組件中。

換能器陣列432經組態以呈現音訊內容。換能器陣列432包括複數個換能器。換能器為提供音訊內容之裝置。換能器可為例如揚聲器（例如揚聲器160）、組織換能器（例如組織換能器170）、提供音訊內容之某一其他裝置，或其某一組合。組織換能器可經組態以充當骨傳導換能器或軟骨傳導換能器。換能器陣列432可經由空氣傳導（例如，經由一或多個揚聲器）、經由骨傳導（經由一或多個骨傳導換能器）、經由軟骨傳導音訊系統（經由一或多個軟骨傳導換能器）或其某一組合呈現音訊內容。在一些具體實例中，換能器陣列432可包括一或多個換能器以覆蓋頻率範圍之不同部分。舉例而言，壓電換能器可用於覆蓋頻率範圍之第一部分，且移動線圈換能器可用於覆蓋頻率範圍之第二部分。

骨傳導換能器藉由振動使用者頭部中之骨/組織來產生聲壓波。骨傳導換能器可耦接至頭戴裝置之一部分，且可經組態以在耦接至使用者之頭骨之一部分的耳廓後方。骨傳導換能器自音訊控制器330接收振動指令，且基於所接收指令振動使用者頭骨之一部分。來自骨傳導換能器之振動產生組織承載聲壓波，該組織承載聲壓波朝向使用者之耳蝸傳播，從而繞過耳鼓膜。

軟骨傳導換能器藉由振動使用者之耳朵之耳軟骨的一或多個部分來產生聲壓波。軟骨傳導換能器可耦接至頭戴裝置之一部分，且可經組態以耦接至耳朵之耳軟骨的一或多個部分。舉例而言，軟骨傳導換能器可耦接至使用者之耳朵之耳廓的背面。軟骨傳導換能器可位於沿著外耳周圍之耳軟骨的任何地方（例如，耳廓、耳屏、耳軟骨之一些其他部分或其某一組合）。振動耳軟骨之一或多個部分可產生：耳道外部之氣載聲壓波；組織產生的聲壓波，其致使耳道之一些部分振動，藉此在耳道內產生氣載聲壓波；或其某一組合。所產生氣載聲壓波沿耳道朝向耳鼓膜傳播。

在一些具體實例中，音訊內容經空間化。經空間化音訊內容為似乎來源於特定方向及/或目標區（例如，局部區域中之物件及/或虛擬物件）之音訊內容。舉例而言，經空間化音訊內容可使得其呈現聲音源自來自音訊系統430之使用者之房間內的虛擬演唱者。換能器陣列432可耦接至穿戴裝置（例如，圖4A中之頭戴裝置410）。在替代具體實例中，換能器陣列432可為與穿戴裝置分離（例如，耦接至外部控制台）之複數個揚聲器。

感測器陣列320偵測環繞感測器陣列434之局部區域內的聲音。感測器陣列434可包括複數個聲響感測器，該複數個聲響感測器各自偵測聲波之氣壓變化且將偵測到的聲音轉換為電子格式（類比或數位）。複數個聲響感測器可定位於頭戴裝置（例如，頭戴裝置410）、使用者（例如，使用者之耳道中）、頸帶或其某一組合上。聲響感測器可為例如麥克風、振動感測器、加速度計或其任何組合。在一些具體實例中，感測器陣列434經組態以使用複數個聲響感測器中之至少一些監測藉由換能器陣列310產生之音訊內容。增加感測器之數目可改良描述藉由換能器陣列432產生之聲場及/或來自局部區域之聲音的資訊（例如方向性）之準確度。

音訊控制器440控制音訊系統300之操作。在圖3之具體實例中，音訊控制器440包括資料儲存器445、DOA估計模組450、傳遞函數模組455、追蹤模組460、波束成形模組465及濾音器模組470。在一些具體實例中，音訊控制器440可位於頭戴裝置內部。音訊控制器440之一些具體實例可具有與本文中所描述之組件不同的組件。類似地，功能可以與此處所描述之方式不同的方式分佈於組件中。舉例而言，控制器之一些功能可在頭戴裝置外部執行。使用者可選擇允許音訊控制器440將藉由頭戴裝置捕獲之資料傳輸至頭戴裝置外部之系統，且使用者可選擇控制對任何此類資料之存取的隱私設定。

資料儲存器445儲存供音訊系統430使用之資料。資料儲存器445中之資料可包括記錄在音訊系統430之局部區域中的聲音、音訊內容、頭部相關傳遞函數（head-related transfer function；HRTF）、一或多個感測器之傳遞函數、一或多個聲響感測器之陣列傳遞函數（array transfer function；ATF）、聲源部位、局部區域之虛擬模型、到達方向估計、濾音器，及與音訊系統430使用相關之其他資料，或其任何組合。資料儲存器445中之資料亦可包括自伺服器（例如，圖6中之映射伺服器625）接收之供音訊系統使用的資料。在一些具體實例中，資料儲存器445可儲存描述局部區域之聲特性之聲參數。所儲存之聲參數可包括例如混響時間、混響位準、室內脈衝回應等。

DOA估計模組450經組態以部分地基於來自感測器陣列434之資訊而定位局部區域中之聲源。定位為判定聲源相對於音訊系統430之使用者位於何處之過程。DOA估計模組450執行DOA分析以定位局部區域內之一或多個聲源。DOA分析可包括分析感測器陣列434處之每一聲音的強度、頻譜及/或到達時間以判定聲音所源自之方向。在一些情況下，DOA分析可包括用於分析音訊系統430所位於的周圍的聲環境之任何合適的演算法。

舉例而言，DOA分析可經設計以自感測器陣列434接收輸入信號，且將數位信號處理演算法應用於輸入信號以估計到達方向。此等演算法可包括例如延遲及求和演算法，其中對輸入信號進行取樣，且對經取樣信號之所得經加權及延遲版本一起求平均以判定DOA。亦可實施最小均方（least mean squared；LMS）演算法以產生自適應濾波器。此自適應濾波器可接著用於識別例如信號強度之差或到達時間之差。此等差可接著用於估計DOA。在另一具體實例中，可藉由將輸入信號轉換為頻域且在時頻（time-frequency；TF）域內選擇特定區間來處理而判定DOA。每一選定TF區間可經處理以判定彼區間是否包括具有直接路徑音訊信號之音訊頻譜的一部分。可接著分析具有直接路徑信號之一部分的彼等區間以識別感測器陣列434接收直接路徑音訊信號之角度。經判定角度可接著用於識別用於所接收輸入信號之DOA。上文未列之其他演算法亦可單獨或與以上演算法組合使用以判定DOA。在一些具體實例中，DOA估計模組450亦可判定相對於音訊系統430在局部區域內之絕對位置的DOA。可自外部系統（例如，頭戴裝置之某一其他組件、人工實境控制台、音訊伺服器、位置感測器（例如，位置感測器190）等）接收感測器陣列434之位置。外部系統可產生局部區域之虛擬模型，在該虛擬模型中映射音訊系統300之局部區域及位置。所接收之位置資訊可包括音訊系統300中之一些或全部（例如，感測器陣列434）之部位及/或位向。DOA估計模組450可基於所接收之位置資訊更新所估計之DOA。

傳遞函數模組455經組態以產生一或多個聲傳遞函數。一般而言，傳遞函數為得出每一可能輸入值之對應輸出值的數學函數。基於經偵測聲音之參數，傳遞函數模組455產生與音訊系統相關聯之一或多個聲傳遞函數。聲傳遞函數可為陣列傳遞函數（ATF）、頭部相關傳遞函數（HRTF）、其他類型之聲傳遞函數，或其某一組合。ATF界定麥克風如何自空間中之點接收聲音的特徵。

ATF包括數個傳遞函數，其界定聲源與藉由感測器陣列434中之聲響感測器所接收之對應聲音之間的關係的特徵。因此，對於聲源，針對感測器陣列434中之聲響感測器中之每一者存在對應傳遞函數。且共同地，轉移函數之集合被稱為ATF。因此，對於每一聲源，存在對應ATF。應注意，聲源可為例如在局部區域、使用者或換能器陣列432之一或多個換能器中產生聲音之某人或某物。歸因於在聲音行進至個人之耳朵時影響聲音之個人的解剖結構（例如，耳朵形狀、肩部等），用於相對於感測器陣列434之特定聲源位置之ATF在使用者之間可不同。因此，針對音訊系統430之每一使用者，使感測器陣列434之ATF個性化。

在一些具體實例中，傳遞函數模組455判定用於音訊系統430之使用者之一或多個HRTF。HRTF界定耳如何自空間中之點接收聲音的特徵。歸因於在聲音行進至個人之耳朵時影響聲音之個人的解剖結構（例如，耳朵形狀、肩部等），用於相對於個人之特定源位置之HRTF對於個人之每一耳朵係唯一的（且對於個人係唯一的）。在一些具體實例中，傳遞函數模組455可使用校準過程判定使用者之HRTF。在一些具體實例中，傳遞函數模組455可將關於使用者之資訊提供至遠端系統。使用者可調整隱私設定以允許或防止傳遞函數模組455將關於使用者之資訊提供至任何遠端系統。遠端系統判定使用例如機器學習為使用者定製之HRTF之集合，且將經定製之HRTF之集合提供至音訊系統430。

追蹤模組460經組態以追蹤一或多個聲源之部位。追蹤模組460可比較當前DOA估計且將其與先前DOA估計之所儲存歷史進行比較。在一些具體實例中，音訊系統430可在週期性排程上重新計算DOA估計，諸如每秒一次或每毫秒一次。追蹤模組可將當前DOA估計與先前DOA估計進行比較，且回應於聲源之DOA估計之改變，追蹤模組460可判定聲源已移動。在一些具體實例中，追蹤模組460可基於自頭戴裝置或某一其他外部源所接收之視覺資訊而偵測部位之變化。追蹤模組460可隨著時間推移追蹤一或多個聲源之移動。追蹤模組460可在每一時間點處儲存數個聲源之值及每一聲源之部位。回應於聲源之數目或部位之值的變化，追蹤模組460可判定聲源移動。追蹤模組460可計算定位變化之估計。定位變化可用作用於移動之變化之每一判定的信賴位準。

波束成形模組465經組態以處理一或多個ATF以選擇性地強調來自某一區域內之聲源的聲音，同時取消強調來自其他區域之聲音。在分析由感測器陣列434偵測到之聲音時，波束成形模組465可組合來自不同聲響感測器之資訊，以強調與局部區域之特定區相關聯的聲音，同時取消強調來自該區外部之聲音。波束成形模組465可基於例如來自DOA估計模組450及追蹤模組460之不同DOA估計而將與來自特定聲源之聲音相關聯的音訊信號與局部區域中之其他聲源分離。波束成形模組465可因此選擇性地分析局部區域中之離散聲源。在一些具體實例中，波束成形模組465可增強來自聲源之信號。舉例而言，波束成形模組465可應用消除某些頻率以上、以下或之間的信號之濾音器。信號增強用以相對於藉由感測器陣列434偵測之其他聲音增強與給定標識聲源相關聯的聲音。

在一些具體實例中，波束成形模組465可自眼睛追蹤系統（例如，圖4A中之眼睛追蹤系統418）接收眼睛追蹤資訊，並使用此資訊來選擇性地強調及取消強調來自各種源之聲音。舉例而言，眼睛追蹤系統可判定使用者之眼睛凝視固定在特定方向上。在一些具體實例中，波束成形模組465可基於眼睛凝視資訊選擇性地強調與局部區域之特定區相關聯之聲響內容，及選擇性地取消強調來自特定區外部之聲響內容。波束成形模組465可組合來自感測器陣列434中之一或多個聲響感測器之資訊，以執行聲響內容之選擇性強調及取消強調。

濾音器模組470判定換能器陣列432之濾音器。在一些具體實例中，濾音器使音訊內容經空間化，使得音訊內容似乎源自目標區。濾音器模組470可使用HRTF及/或聲參數來產生濾音器。聲參數描述局部區域之聲特性。聲參數可包括例如混響時間、混響位準、室內脈衝回應等。在一些具體實例中，濾音器模組470計算聲參數中之一或多者。在一些具體實例中，濾音器模組470可基於經計算之聲參數產生空間信號增強濾波器以提供至換能器陣列432。

圖4C為根據一或多個具體實例之眼睛追蹤系統480的方塊圖。眼睛追蹤系統480為圖4A中所描繪之眼睛追蹤系統418之具體實例。眼睛追蹤系統480可包括感測器總成482、眼睛追蹤資訊判定模組484及資料儲存器486。眼睛追蹤系統480之一些具體實例可具有與本文中所描述之組件不同的組件。類似地，在一些情況下，功能可以與此處描述之方式不同的方式分佈於組件中。

感測器總成482包括複數個感測器，此等感測器偵測與諸如圖4A中所描繪之穿戴裝置總成400之使用者的眼動相關之資訊。感測器總成482中之複數個感測器可包括複數個EOG電極，其監測在使用者頭部產生之生物電位信號。感測器總成482亦可包括一或多個眼睛追蹤攝影機，其偵測並追蹤使用者眼睛中不同凝視位置處之角膜反射。

感測器總成482中之複數個電極監測使用者頭部內回應於諸如眼動、眼跳、眨眼等眼部事件之發生而產生的生物電位信號。如關於圖3中所描繪之使用者眼睛所描述，此等電極監測眼睛之角膜與視網膜之間的電壓電位差（亦即生物電位信號）。隨著眼睛移動，角膜與視網膜之間的電壓電位差之向量相對於電極改變。因此，電極處之所監測信號改變，且因此可用於進一步判定眼動。經量測之信號由感測器總成482發送至眼睛追蹤控制器模組484，用於判定眼睛追蹤資訊。

電極耦接及/或附接至穿戴裝置總成之不同部分，且與使用者之皮膚直接接觸。在一些具體實例中，感測器總成482中之複數個電極可單獨位於頭戴裝置上、單獨位於一或多個耳內裝置上，或位於頭戴裝置及一或多個耳內裝置兩者上。

在一些具體實例中，電極可位於頭戴裝置上。圖1A、圖1B及圖3中之電極185為感測器總成482中之電極之具體實例。如圖1A、圖1B及圖3中所說明，複數個電極可在空間上分佈於框架上、鼻樑處以及框架之末端零件處。在一些具體實例中，複數個電極包括安裝於頭戴裝置之框架前部上之接地電極。在一些具體實例中，電極可在空間上分佈於頭戴裝置之其他部分上，包括例如頭戴裝置之框架之部分、框架之鏡腿、框架之橋接部、頭戴裝置之帶、與鼻子接觸之部分、與前額接觸之部分或頭戴裝置之某一其他部分或其某一組合。隨著電極之間的間距增加，經量測之信號可能不易受雜訊相關變化影響。因此，使電極儘可能在空間上分佈於框架上，同時仍然能夠與使用者頭部之皮膚接觸係有益的。在一些具體實例中，感測器總成482中之複數個電極包括安裝於頭戴裝置上以與使用者眼睛上方之前額區接觸之電極，及安裝於頭戴裝置上以與使用者眼睛下方之臉頰區接觸之電極。頭戴裝置上電極之此組態有助於判定上下眼動（亦即，與使用者之左右眼動正交之眼動）。

在一些具體實例中，感測器總成482中之複數個電極可位於耳內裝置之部分、助聽器之部分、可聽裝置之部分或其某一組合處。圖2中之電極270為位於耳內裝置中之感測器總成482中之電極的具體實例。在此等具體實例中，複數個電極包括在空間上分佈於耳內裝置之外表面上的電極。此外，複數個電極包括位於耳內裝置之外表面上且觸碰使用者之耳道區及耳甲碗區的電極。

感測器總成482中之複數個電極之具體實例為EOG電極，其包括複數個氯化銀電極、鈦基板上之複數個氧化銥電極，或複數個鍍金電極。在一些具體實例中，複數個電極可為軟、平坦且可摺疊的，以便於在頭戴裝置或耳內裝置上定位及使用。

在一些具體實例中，感測器總成482亦可包括一或多個眼睛追蹤攝影機。圖3中之眼睛追蹤攝影機320可為感測器總成482中之眼睛追蹤攝影機之具體實例。一或多個眼睛追蹤攝影機基於偵測不同凝視位置處之角膜反射來追蹤眼動。在一些具體實例中，眼睛追蹤攝影機可為紅外攝影機（亦即，經設計以紅外頻率捕獲影像之攝影機）。在一些具體實例中，眼睛追蹤攝影機可為具有數位影像感測器之近紅外攝影機。眼睛追蹤攝影機可包括CCD或CMOS數位影像感測器及光學元件。光學元件可為一或多個透鏡、高通、低通或帶通濾波器、偏振器、孔徑光闌、隔膜、適用於處理IR光之某一其他光學元件或其某一組合。光學元件輸出光，該光由CCD或CMOS數位感測器捕獲並轉換為數位信號。

在一些具體實例中，感測器總成亦可包括信號處理單元，其用於在將自複數個電極接收之所監測之生物電位信號提供至眼睛追蹤資訊判定模組484之前處理該等信號。信號處理單元可處理自電極接收之信號，該處理包括使用帶通濾波器及陷波濾波器對信號進行濾波，以自所接收之信號中去除雜訊。濾波器可經調諧以執行濾波，使得信號中之信號雜音比高於預定目標臨限值。在一些具體實例中，該單元可擴增自電極接收之生物電位信號。

眼睛追蹤資訊判定模組484使用機器學習模型基於所監測之生物電位信號來判定使用者之眼睛追蹤資訊。所判定之眼睛追蹤資訊可包括眼部事件之發生及識別，諸如眼部注視、眼部跳視、眨眼、特定方向上及/或特定速度之眼部移動。

眼睛追蹤資訊判定模組484自感測器總成482接收所監測之生物電位資訊。由複數個電極監測之生物電位信號以比由眼睛追蹤攝影機用於追蹤眼動之取樣頻率更高之取樣頻率獲得。因此，在感測器總成482中同時存在電極及眼睛追蹤攝影機之具體實例中，在相同監測時間段內，自電極接收到之眼睛追蹤相關資訊比自眼睛追蹤攝影機接收到之眼睛追蹤相關資訊更多。因此，自複數個電極獲得之資訊可用於補償自眼睛追蹤攝影機接收到之眼睛追蹤資訊中的丟失資訊，且藉此產生改良之眼睛追蹤資訊。因此，在任何給定時間段內，來自電極之眼睛追蹤資訊提供了比來自眼睛追蹤攝影機之眼睛追蹤資訊更多（亦即，更精細之解析度）的眼睛追蹤資訊，以用於在彼時間段期間判定眼動資訊。因此，在感測器總成482中同時存在電極及眼睛追蹤攝影機之一些具體實例中，在監測來自複數個電極之生物電位信號的同時，眼睛追蹤資訊判定模組484亦自安裝於裝置上之一或多個眼睛追蹤感測器接收關於使用者眼動之資訊。眼睛追蹤資訊判定模組484基於所監測之生物電位信號組合來自眼睛追蹤攝影機的關於使用者之眼動之資訊與所判定之眼睛追蹤資訊以產生改良之眼睛追蹤資訊。類似地，在某些情況下，自眼睛追蹤攝影機獲得之資訊之品質較低，諸如眼瞼遮擋、環境黑、功率可用性低等。在此等情況下，眼睛追蹤資訊判定模組484基於所監測之生物電位信號組合來自眼睛追蹤攝影機的關於使用者之眼動之資訊與所判定之眼睛追蹤資訊以產生改良之眼睛追蹤資訊。

眼睛追蹤資訊判定模組484自感測器總成482接收所監測之生物電位資訊。然而，感測器總成482中使用之EOG電極可能由於電極與電極所接觸之皮膚區之間建立的電位而展現信號漂移。可藉由使用來自眼睛追蹤攝影機之資訊來校正自感測器總成482接收之生物電位信號資訊中可能存在的信號漂移。因此，在感測器總成482中同時存在電極及眼睛追蹤攝影機之一些具體實例中，在監測來自複數個電極之生物電位信號的同時，眼睛追蹤資訊判定模組484自眼睛追蹤攝影機接收關於使用者眼動之資訊，並將關於使用者眼動之資訊與基於所監測之生物電位信號的所判定之眼睛追蹤資訊進行比較。基於該比較，眼睛追蹤資訊判定模組484判定來自複數個電極之所監測之生物電位信號展現信號漂移，並使用一或多個信號濾波器（例如，使用高通濾波器）校正所監測之生物電位信號中之所判定的信號漂移。

眼睛追蹤資訊判定模組484可使用經訓練機器學習模型基於所監測之生物電位信號來判定使用者之眼睛追蹤資訊。在一些具體實例中，機器學習模型可由模組484自資料儲存器486獲得。在一些具體實例中，基於眼部事件與所監測之生物電位信號之間的所儲存映射，眼睛追蹤資訊判定模組484可使用經訓練機器學習模型來判定諸如眼部跳視、眨眼、眼部注視、特定方向上及/或特定速度之眼部移動等眼部事件的發生。在一些具體實例中，模型映射亦可向眼睛追蹤資訊判定模組484提供預測度量，諸如眼部事件發生之相關聯幾率。相關聯幾率可基於對所監測之生物電位信號之信號雜音比的估計。

在一些具體實例中，眼睛追蹤資訊判定模組484可週期性地自映射伺服器請求模型。回應於該請求，模組484可經由網路自映射伺服器接收可能經更新之模型，且將該模型儲存在資料儲存器486中。在一些具體實例中，模組484可經由網路週期性地自映射伺服器接收經更新之模型而不必請求映射伺服器。

可將來自眼睛追蹤資訊判定模組484之所判定之眼睛追蹤資訊提供至頭戴裝置之各種組件，在該等組件處，可使用該所判定之眼睛追蹤資訊執行此等組件之動作。頭戴裝置之此等組件之實例包括顯示總成（例如，圖4A中之顯示總成412）、光學件區塊（例如，在圖4A中之光學件區塊414）及音訊系統（例如圖4A中之音訊系統416）。由顯示總成及光學件區塊執行之動作可包括基於與所判定之一或多個眼部事件相關聯的資訊來調整呈現給使用者之視覺內容之顯示。由音訊系統執行之動作可包括使用眼睛追蹤資訊來選擇性地強調/取消強調在聲響感測器處接收的聲響內容。舉例而言，使用者可能位於擁擠環境中，其中存在不同競爭講話者及其他聲響內容。使用者可能希望聽到並關注來自他們所看的特定方向/部位之聲響內容。並非來自彼特定部位/方向之聲響內容需要被衰減。音訊系統使用所判定之眼睛追蹤資訊（亦即，使用者將注意力指向之處），且使用此資訊操控音訊系統之輸出，以增強特定注意力方向上之聲響內容拾取。

資料儲存器486儲存供眼睛追蹤系統480使用之資料。在一些具體實例中，資料儲存器486中之資料包括由映射伺服器（例如，圖6中之映射伺服器625）產生及提供之模型資訊。在一些具體實例中，模型資訊可與自伺服器接收之經訓練的機器學習模型相關聯。模型資訊提供由感測器總成482中之複數個電極產生的所監測之生物電位信號與眼睛追蹤資訊參數值之間的映射。在一些具體實例中，模型資訊可呈一或多個查找表形式，該查找表將生物電位信號映射至特定眼部事件，諸如眼部跳視、眨眼、特定方向上及/或速度的眼部移動、眼部注視等。在一些具體實例中，查找表可自經訓練機器學習模型產生。在一些具體實例中，資料儲存器488可儲存預定臨限值，諸如經量測之生物電位信號的目標信號雜音比等。

圖5為根據一或多個具體實例之用於使用眼睛追蹤資訊之流程圖。圖5中所展示之過程可藉由穿戴裝置總成執行。在其他具體實例中，其他實體可執行圖5中之步驟中之一些或全部。具體實例可包括不同及/或額外步驟，或以不同次序執行該等步驟。

穿戴裝置總成監測510（例如，藉由眼睛追蹤系統）自在耦接至使用者頭部的裝置上安裝的複數個電極接收之生物電位信號。自可在空間上分佈於耳內裝置之外表面上（例如，使得其接觸使用者耳道區或耳甲碗區）、在空間上分佈於頭戴裝置上（例如，諸如在頭戴裝置之框架上，其中其在鏡腿區、鼻樑區及/或使用者眼睛上方及下方之區中與使用者之頭部接觸）或者其某一組合之電極監測生物電位信號。

穿戴裝置總成使用經訓練機器學習模型基於所監測之生物電位信號來判定520使用者之眼睛追蹤資訊。模型可為各種生物電位信號值到對應一或多個眼睛追蹤資訊參數值之映射。映射可儲存為一或多個查找表。穿戴裝置總成可藉由自所儲存之查找表中擷取眼睛追蹤資訊參數值來判定所監測之生物電位信號的眼睛追蹤資訊參數值。在一些具體實例中，模型可為在遠端部位訓練之機器學習模型。經訓練機器學習模型可儲存在映射伺服器處，且所儲存之一或多個查找表自經訓練機器學習模型產生並儲存在映射伺服器處，穿戴裝置總成可自該映射伺服器擷取該經訓練機器學習模型。

穿戴裝置總成部分地基於所判定之眼睛追蹤資訊執行530至少一個動作。在一些具體實例中，由穿戴裝置總成執行530之動作可包括基於與所判定之一或多個眼部事件相關聯之資訊來調整呈現給使用者的視覺內容之顯示，使用眼睛追蹤資訊來選擇性地強調/取消強調在聲響感測器處接收之聲響內容，或其某一組合。

圖6為根據一或多個具體實例之包括頭戴裝置605之系統600。在一些具體實例中，頭戴裝置605可為圖1A之頭戴裝置100或圖1B之頭戴裝置105。在一些具體實例中，頭戴裝置605可為用戶端裝置。系統600可在人工實境環境（例如，虛擬實境環境、擴增實境環境、混合實境環境或其某一組合）中操作。圖6所展示之系統600包括頭戴裝置605、可包括一或多個耳內裝置之視情況選用的耳內裝置總成690、耦接至控制台615之輸入/輸出（input/output；I/O）介面610、網路620及映射伺服器625。雖然圖6展示包括一個頭戴裝置605及一個I/O介面610之實例系統600，但在其他具體實例中，系統600中可包括任何數目個此等組件。舉例而言，可存在各自具有相關聯I/O介面610之多個頭戴裝置，其中每一頭戴裝置及I/O介面610與控制台615通訊。在替代組態中，在系統600中可包括不同及/或額外組件。另外，在一些具體實例中，結合圖6中所展示之一或多個組件描述之功能性可以與結合圖6所描述之方式不同的方式分佈於組件之中。舉例而言，控制台615之功能性中之一些或全部可由頭戴裝置605提供。

頭戴裝置605包括顯示總成630、光學件區塊635、一或多個位置感測器640、DCA 645、音訊系統650及眼睛追蹤系統680。頭戴裝置605之一些具體實例具有與結合圖6所描述之組件不同的組件。另外，在其他具體實例中，藉由結合圖6所描述之各種組件提供之功能性可以不同方式分佈於頭戴裝置605之組件中，或在遠離頭戴裝置605之單獨總成中捕獲。

顯示總成630根據自控制台615所接收之資料向使用者顯示內容。顯示總成630使用一或多個顯示元件（例如，顯示元件120）顯示內容。顯示元件可為例如電子顯示器。在各種具體實例中，顯示總成630包含單個顯示元件或多個顯示元件（例如，使用者的每隻眼睛一顯示器）。電子顯示器之實例包括：液晶顯示器（liquid crystal display；LCD）、有機發光二極體（organic light emitting diode；OLED）顯示器、主動矩陣有機發光二極體顯示器（active-matrix organic light-emitting diode；AMOLED）、波導顯示器、某一其他顯示器或其某一組合。應注意，在一些具體實例中，顯示元件120亦可包括光學件區塊635之功能性中之一些或全部。

光學件區塊635可放大自電子顯示器接收之影像光，校正與影像光相關聯之光學誤差，及向頭戴裝置605之一個或兩個眼框呈現經校正影像光。在各種具體實例中，光學件區塊635包括一或多個光學元件。包括於光學件區塊635中之實例光學元件包括：孔徑、菲涅爾透鏡、凸透鏡、凹透鏡、濾波器、反射表面或影響影像光之任何其他合適的光學元件。此外，光學件區塊635可包括不同光學元件之組合。在一些具體實例中，光學件區塊635中之光學元件中之一或多者可具有一或多個塗層，諸如部分反射或抗反射塗層。

藉由光學件區塊635放大及聚焦影像光允許電子顯示器與較大顯示器相比在實體上更小、重量更少且消耗更少功率。另外，放大可增加由電子顯示器呈現之內容之視場。舉例而言，所顯示內容之視場使得所顯示內容使用幾乎所有（例如，約110度對角線）且在一些情況下所有使用者之視場來呈現。另外，在一些具體實例中，可藉由添加或移除光學元件來調整放大量。

在一些具體實例中，光學件區塊635可經設計以校正一或多種類型之光學誤差。光學誤差之實例包括桶形或枕形畸變、縱向色像差或橫向色像差。其他類型之光學誤差可進一步包括球面像差、色像差或由於透鏡場曲率、像散或任何其他類型之光學誤差引起之誤差。在一些具體實例中，提供至電子顯示器用於顯示之內容為預畸變的，且光學件區塊635在其接收來自電子顯示器的基於內容而產生之影像光時校正畸變。

位置感測器640為產生指示頭戴裝置605之位置之資料的電子裝置。位置感測器640回應於頭戴裝置605之移動而產生一或多個量測信號。位置感測器190為位置感測器640之具體實例。位置感測器640之實例包括：一或多個IMU、一或多個加速度計、一或多個陀螺儀、一或多個磁力計、偵測移動之另一合適類型的感測器，或其某一組合。位置感測器640可包括用於量測平移移動(前/後、上/下、左/右)之多個加速度計及用於量測旋轉移動(例如，縱搖、偏航、橫搖)之多個陀螺儀。在一些具體實例中，IMU對量測信號進行快速取樣，且自經取樣資料計算頭戴裝置605之所估計位置。舉例而言，IMU整合隨時間推移自加速度計接收之量測信號以估計速度向量，且隨時間推移整合速度向量以判定頭戴裝置605上之參考點之所估計位置。參考點為可用於描述頭戴裝置605之位置之點。雖然參考點可大體上經定義為空間中之點，然而，實際上參考點經定義為頭戴裝置605內之點。

DCA 645產生局部區域之一部分之深度資訊。DCA包括一或多個成像裝置及DCA控制器。DCA 645亦可包括一個照明器。上文關於圖1A描述DCA 645之操作及結構。

音訊系統650將音訊內容提供至頭戴裝置605之使用者。音訊系統650與關於圖4B所描述之音訊系統430實質上相同。音訊系統650可包括具有一或多個聲響感測器之感測器陣列、包括一或多個換能器之換能器陣列及音訊控制器。在本文中所描述之一些具體實例中，音訊系統650可自眼睛追蹤系統680接收眼睛追蹤資訊。音訊系統650可基於來自眼睛追蹤系統680之眼睛追蹤資訊執行一或多個動作。在一些具體實例，音訊系統650可使用眼睛追蹤資訊來選擇性地強調/取消強調聲響內容。

眼睛追蹤系統680追蹤頭戴裝置605之使用者之眼動。眼睛追蹤系統680可包括具有複數個EOG電極之電極總成、一或多個眼睛追蹤攝影機或其某一組合。在一些具體實例中，眼睛追蹤系統680自位於頭戴裝置上之複數個EOG電極、耳內裝置總成690或其某一組合接收關於所監測之生物電位信號的資訊。在一些具體實例中，眼睛追蹤系統680自亦可為頭戴裝置之部分之一或多個眼睛追蹤感測器（例如，圖3中所描繪之眼睛追蹤攝影機）獲得額外資訊。眼睛追蹤系統680使用經訓練機器學習模型基於所監測之眼睛追蹤資訊來判定眼睛追蹤資訊。眼睛追蹤系統680結合顯示總成630、光學件區塊635及音訊系統650基於所判定之眼睛追蹤資訊執行動作。

耳內裝置總成690可具有一或多個耳內裝置，其經組態以完全位於頭戴裝置使用者之耳道內。耳內裝置包括換能器，該換能器將自音訊系統接收之音訊指令轉換為耳道中之聲壓振動，從而向使用者提供音訊內容。耳內裝置可視情況由使用者穿戴，且實質上類似於圖2中所描述之耳內裝置210。耳內裝置可包括EOG電極，當穿戴時，EOG電極與使用者之耳道及耳甲區接觸。此等電極量測在使用者頭部內回應於眼部事件（諸如使用者之眼動）而產生的生物電位信號。耳內裝置可將所監測之信號傳輸至眼睛追蹤系統680。

I/O介面610為允許使用者發送動作請求且接收來自控制台615之回應的裝置。動作請求為執行特定動作之請求。舉例而言，動作請求可為開始或結束捕獲影像或視訊資料之指令，或執行應用程式內之特定動作之指令。I/O介面610可包括一或多個輸入裝置。實例輸入裝置包括：鍵盤、滑鼠、遊戲控制器、或用於接收動作請求且將動作請求傳達至控制台615之任何其他合適的裝置。將由I/O介面610接收之動作請求傳達至控制台615，該控制台執行對應於動作請求之動作。在一些具體實例中，I/O介面610包括捕獲校準資料之IMU，該校準資料指示I/O介面610相對於I/O介面610之初始位置的估計位置。在一些具體實例中，I/O介面610可根據自控制台615接收之指令而向使用者提供觸覺反饋。舉例而言，當接收到動作請求時提供觸覺反饋，或控制台615將指令傳達至I/O介面610，從而使得I/O介面610在控制台615執行動作時產生觸覺反饋。

控制台615將內容提供至頭戴裝置605以用於根據自以下中之一或多者所接收之資訊處理：DCA 645、頭戴裝置605及I/O介面610。在圖6中所展示之具體實例中，控制台615包括應用程式儲存器655、追蹤模組660及引擎665。控制台615之一些具體實例具有與結合圖6所描述之模組或組件不同的模組或組件。類似地，下文進一步描述之功能可與結合圖6所描述之方式不同之方式分佈於控制台615之組件之中。在一些具體實例中，本文中關於控制台615所論述之功能性可實施於頭戴裝置605或遠端系統中。

應用程式儲存器655儲存一或多個應用程式以供控制台615執行。應用程式為在由處理器執行時產生用於向使用者呈現之內容的一組指令。由應用程式產生之內容可回應於經由頭戴裝置605或I/O介面610之移動自使用者所接收的輸入。應用程式之實例包括：遊戲應用程式、會議應用程式、視訊回放應用程式或其他合適之應用程式。

追蹤模組660使用來自DCA 645、一或多個位置感測器640或其某一組合之資訊追蹤頭戴裝置605或I/O介面610之移動。舉例而言，追蹤模組660基於來自頭戴裝置605之資訊而判定頭戴裝置605之參考點在局部區域之映射中之位置。追蹤模組660亦可判定物件或虛擬物件之位置。另外，在一些具體實例中，追蹤模組660可使用指示頭戴裝置605距位置感測器640之位置之資料的部分以及局部區域距DCA 645之表示來預測頭戴裝置605之未來部位。追蹤模組660將頭戴裝置605或I/O介面610之所估計或所預測未來位置提供至引擎665。

引擎665執行應用程式且自追蹤模組660接收頭戴裝置605之位置資訊、加速度資訊、速度資訊、所預測未來位置或其某一組合。基於所接收資訊，引擎665判定提供至頭戴裝置605以供呈現給使用者之內容。舉例而言，若所接收之資訊指示使用者已向左看，則引擎665為頭戴裝置605產生內容，該內容反映使用者在虛擬局部區域中或在利用額外內容擴增局部區域之局部區域中的移動。另外，引擎665執行回應於自I/O介面610所接收之動作請求而對控制台615執行之應用程式內的動作，且向使用者提供執行動作之反饋。所提供反饋可為經由頭戴裝置605之視覺或聽覺反饋或經由I/O介面610之觸覺反饋。

網路620將頭戴裝置605及/或控制台615耦接至映射伺服器625。網路620可包括使用無線及/或有線通訊系統兩者之局部區域及/或廣域網路之任何組合。舉例而言，網路620可包括網際網路，以及行動電話網路。在一個具體實例中，網路620使用標準通訊技術及/或協定。因此，網路620可包括使用諸如乙太網、802.11、微波存取全球互通（worldwide interoperability for microwave access；WiMAX）、2G/3G/4G行動通訊協定、數位用戶線（digital subscriber line；DSL）、非同步傳輸模式（asynchronous transfer mode；ATM）、無線頻寬、快速PCT進階切換等之技術的鏈路。類似地，網路620上所使用之網路連接協定可包括多協定標記切換（multiprotocol label switching；MPLS）、傳送控制協定/網際網路協定(transmission control protocol/Internet protocol；TCP/IP)、使用者資料報協定（User Datagram Protocol；UDP）、超文字傳送協定（hypertext transport protocol；HTTP）、簡單郵件傳送協定（simple mail transfer protocol；SMTP）、檔案傳送協定（file transfer protocol；FTP）等。經由網路620交換之資料可使用包括呈二進位形式（例如，攜帶型網路圖形（Portable Network Graphics；PNG））之影像資料、超文本標記語言（hypertext markup language；HTML）、可延伸標示語言（extensible markup language；XML）等技術及/或格式來表示。另外，鏈路中之全部或一些可使用習知加密技術加密，諸如安全插座層（secure sockets layer；SSL）、傳送層安全（transport layer security；TLS）、虛擬專用網路（virtual private network；VPN）、網際網路協定安全（Internet Protocol security；IPsec）等。

映射伺服器625可儲存模型，該模型建立了所監測之生物電位信號與眼睛追蹤資訊參數值之間的映射。模型可為機器學習模型、查找表等。在本文描述之一些具體實例中，映射伺服器625可藉由映射系統產生、更新、維護或其某一組合與模型相關聯之資料。

映射系統可包括向測試使用者群體中之測試使用者呈現具有受控移動之視覺內容的構件，其中測試使用者穿戴耦接至測試使用者頭部之測試裝置。映射系統可包括自安裝於測試裝置上之眼睛追蹤攝影機接收關於測試使用者回應於所呈現之視覺內容之眼動的資訊的構件。映射系統可包括與關於測試使用者之眼動之資訊同時地自安裝於測試裝置上之複數個電極接收關於生物電位信號之資訊的構件。此外，映射系統經組態以使得在安裝於測試裝置上之複數個電極中，至少一些電極與使用者裝置上之該複數個電極（例如，圖1A中之頭戴裝置100、圖1B中之頭戴裝置105、圖2中之耳內裝置210）具有相同組態。映射系統可儲存關於測試使用者群體之眼動及生物電位信號的同時接收之資訊。

在一些具體實例中，映射系統可使用自測試使用者群體獲得之資訊來訓練機器學習及/或深度學習模型，諸如回歸模型、強化模型、神經網路、編碼器/解碼器模型諸如自動編碼器等，以建立所監測之生物電位信號與眼睛追蹤移動參數值之間的相關性。

映射系統可在映射伺服器625上產生、更新及維護模型。在一些具體實例中，可將模型維護為映射所監測之生物電位信號與眼睛追蹤移動參數值之函數。在一些具體實例中，可將模型維護為映射所監測之生物電位信號及眼睛追蹤移動參數值之查找表。映射伺服器625可在自眼睛追蹤系統420接收到請求時經由網路620將模型發送至眼睛追蹤系統420。在一些具體實例中，映射伺服器625可週期性地將經更新之模型推送至眼睛追蹤系統420。

映射伺服器625可包括儲存描述複數個空間之虛擬模型之資料庫，其中虛擬模型中之一個部位對應於頭戴裝置605之局部區域之當前組態。映射伺服器625經由網路620自頭戴裝置605接收描述局部區域之至少一部分的資訊及/或局部區域之部位資訊。使用者可調整隱私設置以允許或防止頭戴裝置605將資訊傳輸至映射伺服器625。映射伺服器625基於所接收之資訊及/或部位資訊而判定虛擬模型中與頭戴裝置605之局部區域相關聯之部位。映射伺服器625部分地基於虛擬模型中之所判定部位及與所判定部位相關聯的任何聲參數而判定（例如，擷取）與局部區域相關聯的一或多個聲參數。映射伺服器625可將局部區域之部位及與局部區域相關聯之聲參數之任何值傳輸至頭戴裝置605。

系統600之一或多個組件可含有儲存使用者資料元件之一或多個隱私設定之隱私模組。使用者資料元件描述使用者或頭戴裝置605。舉例而言，使用者資料元件可描述使用者之身體特性、由使用者執行之動作、頭戴裝置605之使用者之部位、頭戴裝置605之部位、使用者之HRTF等。使用者資料元件之隱私設定（或「存取設定」）可以任何合適方式儲存，諸如與使用者資料元件相關聯、在授權伺服器上之索引中、以另一合適方式，或以其任何合適組合進行儲存。

使用者資料元件之隱私設定指定使用者資料元件（或與使用者資料元件相關聯之特定資訊）可如何存取、儲存或以其他方式使用（例如，觀看、共用、修改、複製、執行、表面處理或識別）。在一些具體實例中，使用者資料元件之隱私設定可指定可不存取與使用者資料元件相關聯之某些資訊的實體之「禁用清單」。與使用者資料元件相關聯之隱私設定可指定經准許存取或拒絕存取之任何合適粒度。舉例而言，一些實體可具有查看特定使用者資料元件存在之權限，一些實體可具有查看特定使用者資料元件之內容之權限，且一些實體可具有修改特定使用者資料元件之權限。隱私設定可允許使用者允許其他實體存取或儲存使用者資料元件持續有限時間段。

隱私設定可允許使用者指定使用者資料元件可自其存取之一或多個地理部位。對使用者資料元件之存取或拒絕存取可取決於嘗試存取使用者資料元件之實體的地理部位。舉例而言，使用者可允許存取使用者資料元件且指定使用者資料元件僅在使用者處於特定部位時可由實體存取。若使用者離開特定部位，則使用者資料元件可不再可由實體存取。作為另一實例，使用者可指定使用者資料元件僅可由與使用者相距臨限距離內的實體存取，諸如與使用者在同一局部區域內之頭戴裝置之另一使用者。若使用者隨後改變部位，則存取使用者資料之實體可失去存取，而實體之新群組可在其出現於使用者之臨限距離內時獲得存取。

系統600可包括用於加強隱私設定之一或多個授權/隱私伺服器。若授權伺服器基於與使用者資料元件相關聯之隱私設定而判定實體經授權以存取使用者資料元件，則來自用於特定使用者資料元件之實體之請求可識別與請求相關聯之實體，且可僅將使用者資料元件發送至實體。若請求實體未經授權以存取使用者資料元件，則授權伺服器可防止所請求使用者資料元件經擷取或可防止所請求使用者資料元件經發送至實體。儘管本發明以特定方式描述強制執行隱私設定，但本發明涵蓋以任何合適方式強制執行隱私設定。 額外之組態資訊

已出於說明之目的呈現具體實例之前述描述；其並不意欲為詳盡的或將本專利權利限制於所揭示之精確形式。熟習相關技術者可瞭解，可考慮上述發明進行諸多修改及變化。

本說明書之一些部分按關於資訊之運算之演算法及符號表示來描述具體實例。熟習資料處理技術者常用此等演算法描述及表示來將其工作之實質有效地傳達給其他熟習此項技術者。雖然在功能上、計算上或邏輯上描述此等操作，但該等操作應理解為由電腦程式或等效電路、微碼或類似者來實施。此外，在不失一般性的情況下，將此等操作配置稱為模組，有時亦證明為方便的。所描述操作及其相關聯模組可以軟體、韌體、硬體或其任何組合實施。

本文中所描述之步驟、操作或製程中之任一者可藉由一或多個硬體或軟體模組，單獨或與其他裝置組合來執行或實施。在一個具體實例中，軟體模組藉由電腦程式產品實施，該電腦程式產品包含含有電腦程式碼之電腦可讀媒體，該電腦程式碼可藉由電腦處理器執行以執行所描述之任何或所有步驟、操作或過程。

具體實例亦可與用於執行本文中之操作之設備相關。此設備可以被特殊構造用於所需目的，及/或其可包含由儲存在電腦中之電腦程序選擇性地激活或重新組態之通用計算裝置。此類電腦程式可儲存於非暫時性有形電腦可讀儲存媒體中或適合於儲存電子指令之任何類型之媒體中，該等媒體可耦接至電腦系統匯流排。此外，在本說明書中提及之任何計算系統可包括單一處理器，或可為使用多個處理器設計以用於提高計算能力的架構。

具體實例亦可與由本文中所描述之計算過程產生的產品相關。此類產品可包含由計算過程產生之資訊，其中資訊儲存在非暫時性有形電腦可讀儲存媒體上，並且可包括本文中所描述之電腦程式產品或其他資料組合之任何具體實例。

最後，用於本說明書中之語言已主要出於可讀性及指導性目的而經選擇，且其可能尚未經選擇以描繪或限制專利權利。因此，希望本專利權利之範圍不受此詳細描述限制，而實際上由關於基於此處之應用頒予的任何申請專利範圍限制。因此，具體實例之揭示內容意欲為例示性的但不限制在以下申請專利範圍中闡述的專利權利之範圍。

100:頭戴裝置 105:頭戴裝置 110:框架 115:前部剛體 120:顯示元件 130:成像裝置 140:照明器 150:音訊控制器 160:揚聲器 170:組織換能器 175:帶 180:聲響感測器 185:電極 190:位置感測器 195:電極 200:剖面圖 210:耳內裝置 220:外耳 230:耳道 240:換能器 250:麥克風 260:電力單元 270:電極 280:DSP 280:耳鼓膜 290:收發器 300:近眼顯示器之橫截面 310:眼睛 320:電極 322:眼睛追蹤攝影機 324:攝影機之軸線 330:角膜 340:虹膜 350:瞳孔 360:鞏膜 370:晶狀體 380:中央凹 385:瞳孔軸線 390:視網膜 395:中央凹軸線 400:穿戴裝置總成 410:頭戴裝置 412:顯示總成 414:光學件區塊 416:音訊系統 418:眼睛追蹤系統 420:耳內裝置總成 430:音訊系統 432:換能器陣列 434:感測器陣列 440:音訊控制器 445:資料儲存器 450:DOA估計模組 455:傳遞函數模組 460:追蹤模組 465:波束成形模組 470:濾音器模組 480:眼睛追蹤系統 482:感測器總成 484:眼睛追蹤資訊判定模組 486:資料儲存器 510:步驟 520:步驟 530:步驟 600:系統 605:頭戴裝置 610:I/O介面 615:控制台 620:網路 625:映射伺服器 630:顯示總成 635:光學件區塊 640:位置感測器 645:深度攝影機總成（DCA） 650:音訊系統 655:應用程式儲存器 660:追蹤模組 665:引擎 680:眼睛追蹤系統 690:耳內裝置總成

[圖1A]為根據一或多個具體實例之實施為眼用佩戴裝置之頭戴裝置的透視圖。

[圖1B]為根據一或多個具體實例之實施為頭戴式顯示器之頭戴裝置的透視圖。

[圖2]為根據一或多個具體實例之耳內裝置之一部分的剖面圖。

[圖3]為根據一或多個具體實例之具有相對於使用者之眼睛顯示之電極的頭戴裝置的橫截面/側視圖。

[圖4A]為根據一或多個具體實例之具有視情況選用的耳內裝置之穿戴裝置總成的方塊圖。

[圖4B]為根據一或多個具體實例之音訊系統的方塊圖。

[圖4C]為根據一或多個具體實例之眼睛追蹤系統的方塊圖。

[圖5]為說明根據一或多個具體實例之用於自所監測之生物電位信號判定及使用眼睛追蹤資訊之過程的流程圖。

[圖6]為根據一或多個具體實例之系統環境之方塊圖，該系統環境包括具有眼睛追蹤系統、視情況選用的耳內裝置總成及控制台之頭戴裝置。

諸圖僅出於說明之目的描繪各種具體實例。所屬技術領域中具有通常知識者將自以下論述容易認識到可在不脫離本文所描述之原理之情況下採用本文所說明之結構及方法之替代具體實例。

400:穿戴裝置總成

410:頭戴裝置

412:顯示總成

414:光學件區塊

416:音訊系統

418:眼睛追蹤系統

420:耳內裝置總成

Claims (20)

1. 一種方法，其包含： 監測來自在耦接至一使用者之頭部的一裝置上安裝的複數個電極之生物電位信號； 使用一機器學習模型基於該等所監測之生物電位信號判定該使用者之眼睛追蹤資訊；及 部分地基於該所判定之眼睛追蹤資訊執行至少一個動作。
2. 如請求項1之方法，其中該至少一個動作包含部分地基於該所判定之眼睛追蹤資訊選擇性地強調自一或多個聲響感測器接收之聲響內容以產生增強之音訊內容。
3. 如請求項2之方法，其中選擇性地強調聲響內容包含組合來自該一或多個聲響感測器之資訊以強調與一局部區域之一特定區相關聯之聲響內容，同時取消強調來自該特定區外部之聲響內容，該局部區域之該特定區係基於該所判定之眼睛追蹤資訊。
4. 如請求項1之方法，其中執行該至少一個動作包含： 基於該所判定之眼睛追蹤資訊判定一或多個眼部事件之一發生，其中該一或多個眼部事件包含以下各者中之至少一者：眼部注視、眼部跳視、眼部移動速度、眼部移動方向及眨眼；及 向該裝置上之一顯示系統提供與該所判定之一或多個眼部事件相關聯之資訊，其中該顯示系統基於與該所判定之一或多個眼部事件相關聯之該資訊來調整呈現給該使用者之視覺內容的顯示。
5. 如請求項1之方法，其進一步包含： 在監測來自該複數個電極之該等生物電位信號的同時，自安裝於該裝置上之一或多個眼睛追蹤攝影機接收關於該使用者之眼動之資訊；及 基於該等所監測之生物電位信號組合關於該使用者之眼動之該資訊與該所判定之眼睛追蹤資訊，以產生改良之眼睛追蹤資訊。
6. 如請求項5之方法，其中基於該等所監測之生物電位信號組合關於該使用者之眼動之該資訊與該所判定之眼睛追蹤資訊以產生該改良之眼睛追蹤資訊包含： 以一第一取樣頻率自安裝於該裝置上之該一或多個眼睛追蹤攝影機接收關於該使用者之眼動之該資訊； 以一第二取樣頻率監測來自該複數個電極之該等生物電位信號，其中該第二取樣頻率大於該第一取樣頻率；及 使用來自該等所監測之生物電位信號之資訊補償所接收的關於該使用者之眼動之該資訊中的缺失資訊。
7. 如請求項1之方法，其進一步包含： 在監測來自該複數個電極之該等生物電位信號的同時，自安裝於該裝置上之一或多個眼睛追蹤攝影機接收關於該使用者之眼動之資訊； 基於該等所監測之生物電位信號將關於該使用者之眼動之該資訊與該所判定之眼睛追蹤資訊進行比較； 基於該比較，判定來自該複數個電極之該等所監測之生物電位信號展現信號漂移；及 使用一或多個信號濾波器校正該等所監測之生物電位信號中之該所判定之信號漂移。
8. 如請求項1之方法，其中該機器學習模型係預先產生的，該產生包含： 對於複數個測試使用者中之每一者： 向穿戴一測試裝置之一測試使用者呈現具有受控移動之視覺內容，該測試裝置耦接至該測試使用者之頭部； 自安裝於該測試裝置上之眼睛追蹤攝影機接收關於該測試使用者回應於該所呈現之視覺內容之眼動的資訊； 在接收關於該測試使用者之眼動之該資訊的同時，自安裝於該測試裝置上之複數個電極接收關於生物電位信號之資訊，該複數個電極具有與該裝置上之該複數個電極處於一相同組態的至少一些電極；及 儲存關於該等眼動及該等生物電位信號的該同時接收之資訊；及 基於所儲存之關於該等眼動及該等生物電位信號的該同時接收之資訊來訓練該機器學習模型。
9. 一種穿戴裝置總成，其包含： 一頭戴裝置，其包含： 一顯示總成； 一音訊系統；及 一眼睛追蹤系統，其經組態以： 自複數個電極接收生物電位信號，該複數個電極經組態以監測在一使用者之頭部內回應於該使用者之眼動而產生的生物電位信號， 使用一經訓練機器學習模型基於該等所監測之生物電位信號判定該使用者之眼睛追蹤資訊；且 其中該顯示總成或該音訊系統中之至少一者經組態以部分地基於該所判定之眼睛追蹤資訊執行至少一個動作。
10. 如請求項9之穿戴裝置總成，其中該複數個電極中之電極為包含以下各者中之至少一者的軟、平坦且可摺疊的電極： 複數個氯化銀電極； 在一鈦基板上之複數個氧化銥電極；及 複數個鍍金電極。
11. 如請求項9之穿戴裝置總成，其中該複數個電極經進一步組態以： 包括在空間上分佈於該頭戴裝置之一框架之末端零件上的電極；及 包括安裝於該頭戴裝置之該框架之一前部上的一接地電極。
12. 如請求項11之穿戴裝置總成，其中當該等電極在空間上分佈於該頭戴裝置之該框架之該等末端零件上時，該等所監測之生物電位信號之一信號雜音比高於一預定目標臨限值。
13. 如請求項9之穿戴裝置總成，其中該複數個電極包括安裝於該頭戴裝置上且經定位以與該使用者之一眼睛上方之一前額區接觸之電極，及安裝於該頭戴裝置上且經定位以與該眼睛下方之一臉頰區接觸之電極。
14. 如請求項9之穿戴裝置總成，其進一步包含一耳內裝置總成，該耳內裝置總成包含一或多個耳內裝置。
15. 如請求項14之穿戴裝置總成，其中該複數個電極經進一步組態以： 包括在空間上分佈於一耳內裝置之一外表面上的電極；且 包括位於該耳內裝置之該外表面上且觸碰該使用者之一耳道區及一耳甲碗區之電極。
16. 如請求項9之穿戴裝置總成，其中該眼睛追蹤系統經進一步組態以執行該至少一個動作包含： 基於該所判定之眼睛追蹤資訊判定一或多個眼部事件之一發生，其中該一或多個眼部事件包含以下各者中之至少一者：眼部跳視、眼部注視、眨眼，及以一特定速度在一特定方向上之眼部移動；及 將與該所判定之一或多個眼部事件相關聯之眼睛追蹤資訊提供至以下各者中之至少一者：該顯示總成、該頭戴裝置之一光學件區塊及該音訊系統。
17. 如請求項16之穿戴裝置總成，其中該顯示系統及該光學件區塊中之至少一者經進一步組態以基於所提供之與來自該控制器之該所判定之一或多個眼部事件相關聯的該資訊來調整呈現給該使用者之視覺內容的一顯示。
18. 如請求項16之穿戴裝置總成，其中該音訊系統經進一步組態以選擇性地強調聲響內容以產生增強之音訊內容，該選擇性地強調包含強調與一局部區域之一特定區相關聯之聲響內容，同時取消強調來自該特定區外部之聲響內容，該局部區域之該特定區係基於該所判定之眼睛追蹤資訊。
19. 如請求項9之穿戴裝置總成，其進一步包含： 在自該複數個電極接收該等生物電位信號之同時，自安裝於該頭戴裝置上之一或多個眼睛追蹤攝影機接收關於眼動之資訊；及 基於該等所監測之生物電位信號組合關於該使用者之眼動之該資訊與該所判定之眼睛追蹤資訊，以產生改良之眼睛追蹤資訊。
20. 如請求項9之穿戴裝置總成，其進一步包含： 在自該複數個電極接收該等生物電位信號的同時，自安裝於該頭戴裝置上之一或多個眼睛追蹤攝影機接收關於該使用者之眼動之資訊； 基於該等所監測之生物電位信號將關於該使用者之眼動之該資訊與該所判定之眼睛追蹤資訊進行比較； 基於該比較，判定來自該複數個電極之該等所監測之生物電位信號包括信號漂移；及 使用一或多個信號濾波器校正該等所監測之生物電位信號中之該所判定之信號漂移。

Images