TW201508552A - 透過深度相機的眼動追蹤 - Google Patents

Abstract

揭示有關於根據使用者之眼之時差測距深度影像資料追蹤使用者之眼的實施例。舉例而言，一個揭示的實施例提供眼動追蹤系統，眼動追蹤系統包括光源、感測子系統及邏輯子系統，感測子系統經配置以藉由具有未受拘束的基準線距離的深度感測器來取得使用者之眼之二維影像及使用者之眼之深度資料，邏輯子系統經配置以控制光源發射光，控制感測子系統以當點亮光源時獲得使用者之眼之二維影像，控制感測子系統以獲得使用者之眼之深度資料，從二維影像決定使用者之眼之注視方向，根據注視方向及深度資料來決定注視方向與顯示器交會處在顯示器上的定位，及輸出該定位。

Description

透過深度相機的眼動追蹤

本發明有關於透過深度相機的眼動追蹤。

即時眼動追蹤可用以估算使用者之注視(gaze)方向且將使用者之注視方向映射至顯示裝置上的座標。舉例而言，使用者之注視方向與顯示器交會處的顯示器上的定位(location)可用作為與在顯示器上所顯示的使用者介面物件互動之機制。可使用各種眼動追蹤之方法。舉例而言，在某些方式中，來自一個或更多個光源的舉例而言在紅外線範圍或任何其他適合的頻率中的光可被導向至使用者之眼，且相機可用以捕捉使用者之眼之影像資料。在影像資料中可偵測到在使用者之眼上的光之反射之定位及眼之瞳孔之位置，用以決定使用者之注視之方向。注視方向資訊可與有關於從使用者之眼到顯示器的距離的資訊一起用以決定使用者之眼注視方向與顯示器交會處的顯示器上的定位。

揭示有關於利用使用者之眼之時差測距深度影像資料的眼動追蹤的實施例。舉例而言，一個揭示的實施例提供 眼動追蹤系統，眼動追蹤系統包括光源、感測子系統及邏輯子系統，感測子系統經配置以取得使用者之眼之二維影像及使用者之眼之深度資料，邏輯子系統經配置以控制光源發射光，控制感測子系統以當從光源發射光時獲得使用者之眼之二維影像，控制感測子系統以獲得使用者之眼之深度資料，從二維影像決定使用者之眼之注視方向，根據注視方向及自深度資料取得的使用者之眼之深度來決定使用者之注視與顯示器交會處在顯示器上的定位，及輸出該定位。

提供本發明內容來以簡化的形式介紹概念之選擇，該等概念進一步描述於以下的實施方式中。本發明內容並非意圖辨識所請求的申請標的之關鍵特徵或必要特徵，亦並非意圖用以限制所請求的申請標的之範疇。再者，所請求的申請標的並不限於解決本揭示案之任一部分中注意到的任何或全部缺點的實施方式。

104‧‧‧使用者

106‧‧‧頭

108‧‧‧第一眼

110‧‧‧第一瞳孔

112‧‧‧第一眼注視方向

114‧‧‧第二眼

116‧‧‧第二瞳孔

118‧‧‧第二眼注視方向

120‧‧‧顯示裝置

122‧‧‧第一焦點位置

124‧‧‧第二焦點位置

204‧‧‧第一使用者介面物件

206‧‧‧第一使用者介面物件

208‧‧‧第二使用者介面物件

302‧‧‧環境

304‧‧‧可穿戴式計算裝置

306‧‧‧物件

404‧‧‧電腦螢幕

406‧‧‧第一相機

408‧‧‧第二相機

410‧‧‧光源

412‧‧‧基準線距離

414‧‧‧光

500‧‧‧眼動追蹤模組

502‧‧‧主體

504‧‧‧時差測距深度相機

506‧‧‧感測子系統

510‧‧‧光源

512‧‧‧影像感測器

514‧‧‧二維相機

518‧‧‧光源

520‧‧‧邏輯子系統

522‧‧‧儲存子系統

604‧‧‧發射光

606‧‧‧反射

608‧‧‧從眼反射的光

609‧‧‧光脈衝

700‧‧‧方法

702‧‧‧步驟

704‧‧‧步驟

706‧‧‧步驟

708‧‧‧步驟

710‧‧‧步驟

712‧‧‧步驟

714‧‧‧步驟

716‧‧‧步驟

718‧‧‧步驟

800‧‧‧計算系統

802‧‧‧邏輯子系統

804‧‧‧儲存子系統

806‧‧‧輸出子系統

808‧‧‧輸入子系統

810‧‧‧通訊子系統

第1A圖至第4圖圖示眼動追蹤方案實例。

第5圖圖示根據本揭示案眼動追蹤模組之實施例。

第6圖繪示根據本揭示案之實施例基於時差測距深度影像資料的眼動追蹤之實例。

第7圖圖示基於時差測距深度影像資料用於追蹤使用者之眼的方法之實施例。

第8圖示意地圖示計算系統之實施例。

如上所述，根據使用者之注視與顯示裝置交會處的 估算位置，眼動追蹤可用以將使用者之注視映射至顯示裝置上所顯示的使用者介面。使用者之注視方向與顯示裝置交會處的定位因此可作為對於使用者介面的使用者輸入機制。第1A圖及第2A圖與第1B圖及第2B圖示意地描繪方案實例(分別從頂視圖及前視面)，其中使用者104注視於顯示裝置120上的不同定位。顯示裝置120可示意地代表任何適合的顯示裝置，包含但不限於，電腦螢幕、行動裝置、電視、平板電腦、近眼顯示器(near-eye display)及可穿戴式電腦(wearable computer)。如第1A圖所示，使用者104包含頭106、具有第一瞳孔110的第一眼108及具有第二瞳孔116的第二眼114。第一眼注視方向112指示第一眼108正在注視的方向，且第二眼注視方向118指示第二眼114正在注視的方向。

第1A圖及第2A圖圖示第一眼注視方向112及第二眼注視方向118聚集於顯示裝置120上的第一焦點位置122處。第2A圖還圖示由第一眼注視方向112及第二眼注視方向118於第一焦點位置122處所交會的第一使用者介面物件206。再者，第1B圖及第2B圖圖示由於從朝向顯示裝置120之左側的方向至朝向顯示裝置120之右側的方向眼114及眼108之旋轉，第一眼注視方向112及第二眼注視方向118聚集於第二焦點位置124處。第2B圖還圖示由第一眼注視方向112及第二眼注視方向118於第二焦點位置124處所交會的第二使用者介面物件208。因此，藉由追蹤使用者之注視，根據使用者之注視與顯示裝置交會處的定位，可產生位置(position)訊號作為使用者介面輸入，藉此允許使用者至少部分地透過 注視來與第一使用者介面物件204及第二使用者介面物件208互動。

可以各種方式實行眼動追蹤。舉例而言，如上所述，來自經校準光源的閃光從使用者之眼反射，連同偵測到的或估算的使用者之眼之瞳孔定位，可用以決定使用者之注視之方向。然後可估算或偵測從使用者之眼到顯示裝置的距離，用以決定使用者之注視方向與顯示器交會處的顯示器上的定位。作為一個實例，可使用立體相機以決定從使用者之眼至顯示器的距離，立體相機對於顯示器具有固定的或否則為已知的關係。然而，如下所述，立體相機可施加幾何限制條件而使得在某些環境中立體相機的使用為困難的。

可於各種不同硬體環境中使用眼動追蹤。舉例而言，第3圖圖示使用者104穿戴著可穿戴式計算裝置304，描繪為頭戴式擴增實境顯示裝置(head-mounted augmented reality display device)，且注視於環境302中的物件306。在此實例中，裝置304可包括整合的眼動追蹤系統，以追蹤使用者之注視及偵測與在裝置304上所顯示的虛擬物件的互動，以及與透過可穿戴式計算裝置304可見的背景中的真實世界物件的互動。第4圖描繪眼動追蹤硬體環境之另一個實例，其中眼動追蹤用以偵測使用者正注視的在電腦螢幕404上的定位。

在這些及/或其他硬體設定中，眼動追蹤系統之精確性與穩定性可取決於獲得眼與相機平面之距離之精確估算。經由使用立體相機對而藉由計算機視覺演算法來估算三維眼 動位置，當前眼動追蹤系統可解決此問題。第4圖繪示立體相機配置為包含第一相機406及第二相機408，第一相機406及第二相機408由基準線距離412所分隔。第4圖還繪示光源410，光源410可點亮以發射光414用於從眼114反射。可採用使用者之眼之影像(無論由立體相機影像感測器或其他一個或更多個影像感測器所獲得)以決定相對於眼之瞳孔116從眼114的反射之定位，以決定眼114之注視方向。此外，來自第一相機406及第二相機408的眼之影像可用以估算眼114與顯示器402之距離，使得使用者之注視與顯示器交會處的定位可被決定。

然而，介於第一相機406與第二相機408之間的基準線距離412可能受幾何上拘束為大於臨限值距離(舉例而言，大於10cm)，用於精確決定(三角測量法)使用者之眼114與顯示器402之間的距離。此舉可能限制減小如此眼動追蹤單元之尺寸的能力，且可能為難以與某些硬體配置使用，例如頭戴式顯示器或其他緊密(compact)顯示裝置。

決定使用者之眼與顯示器之間的距離的其他方式可仰賴於單一相機系統且利用眼距離之弱估算。然而，該等方式可能造成實際注視定位與螢幕座標之間不穩定的映射。

因此，本文揭示有關於在眼動追蹤系統中深度感測器之使用的實施例，深度感測器具有不受拘束的基準線距離(亦即，相對於立體相機配置，沒有基準線距離最小值)，以取得有關於使用者之眼之定位與位置的資訊。該深度感測器之一個實例為時差測距(time-of-flight)深度相機。時差測距深度 相機利用光源及一或更多個影像感測器，光源經配置以發射光之脈衝，影像感測器經配置為關閉快門，以捕捉一系列的時間連續影像框定時的(timed)相對於對應的光脈衝。在深度相機中影像感測器之各畫素處的深度，亦即，來自光源的光由物件所反射而從物件行進至影像感測器之該畫素的有效距離，可根據在各連續影像中的光強度來決定，此係由於在不同深度處的物件所反射的光是在不同的連續影像框中被捕捉。

由於時差測距深度相機可從單一定位獲得影像資料，而非如使用立體影像感測器對從兩個定位獲得影像資料，利用時差測距深度相機的眼動追蹤系統可不具有如使用立體相機配置所見的最小值基準線維度限制條件。此舉可允許眼動追蹤系統更容易被利用於例如頭戴式顯示器、智慧型手機、平板電腦及其他小型裝置的硬體配置中，其中可能無法提供用於立體相機眼動追蹤系統的足夠的空間。具有未受拘束的基準線距離的深度感測器之其他實例可包含但不限於LIDAR(光偵測及測距(Light Detection and Ranging))及基於聲傳播的方法。

第5圖圖示眼動追蹤模組500實例，眼動追蹤模組500利用時差測距深度相機用以眼動追蹤。描繪的眼動追蹤模組500可包含主體502，主體502含有或者是支撐以下所述的全部的部件，藉此形成模組化系統。由於使用時差測距深度相機504，相較於可相比的立體相機眼動追蹤系統，主體502之尺寸可大幅減小。在某些實例中，眼動追蹤模組500可與 顯示裝置整合，舉例而言，例如，行動計算裝置或可穿戴式計算裝置。在該等實例中，眼動追蹤模組500及/或眼動追蹤模組500之部件可由顯示裝置主體所支撐。在其他實例中，眼動追蹤模組可位於計算裝置的外部及/或位於顯示裝置的外部，其中眼動追蹤模組提供輸入至計算裝置且眼動追蹤模組提供位置訊號給顯示裝置。在該等實例中，主體502可封入及/或支撐眼動追蹤系統之部件，以形成可被容易地安裝進入其他裝置中的模組化部件，及/或用作為獨立的裝置。

眼動追蹤模組500包含感測子系統506，感測子系統506經配置以取得使用者之眼之二維影像及還取得使用者之眼之深度資料。舉例而言，感測子系統506可包含時差測距深度相機504，其中時差測距深度相機504包含光源510及一個或更多個影像感測器512。如上所述，光源510可經配置以發射光之脈衝，且該一個或更多個影像感測器可經配置為關閉快門，以捕捉一系列的時間連續影像框定時的相對於對應的光脈衝。各畫素處的深度，亦即，來自光源的光由物件所反射而從物件行進至影像感測器之該畫素的有效距離，可根據在各連續影像中的光強度來決定，此係由於在不同深度處的物件所反射的光是在不同的連續影像框中被捕捉。應理解，不是時差測距深度相機504，或是除了時差測距深度相機504之外，具有不受拘束的基準線距離的任何其他深度感測器可用於其他實施例中。

在某些實例中，除了深度資料之外，包含於深度相機504中的一個或更多個影像感測器512還可用以獲得二維 影像資料(亦即，強度資料作為影像感測器之視野中水平及垂直位置之函數，而非深度)，以決定反射之定位及使用者之瞳孔。舉例而言，對於深度測量的全部的連續影像可被相加，以決定於各畫素處的整體光強度。在其他實施例中，可利用一個或更多個分離的影像感測器，以偵測使用者之瞳孔之影像及從使用者之眼光源光之反射，如由一個或更多個二維相機514所示。

在某些實施例中，可伴隨著時差測距深度相機來使用單一二維相機514。在其他實施例中，除了時差測距深度相機之外，感測子系統506可利用多於一個的二維相機。舉例而言，感測子系統506可利用第一二維相機以取得相對較寬的視野影像，以幫助定位使用者之雙眼之位置。此舉可幫助尋找及追蹤使用者之眼窩，使得含有使用者之雙眼的使用者之區域可被辨識。此外，第二二維相機可用以捕捉導向於使用者之眼之經辨識的區域處較窄視野之更高解析度影像，以獲得眼動追蹤資料。藉由以此方式粗略地辨識眼定位，對於瞳孔及角膜圖案偵測作分析的空間區域在較高解析度影像中可被減低，由於當分析較高解析度影像資料時從較低解析度影像資料所決定的非眼區域可被忽略。

在某些實施例中，深度相機可操作於紅外線範圍中且另外的相機514可操作於可見光範圍中。舉例而言，眼動追蹤模組可由深度相機及可見光範圍高解析度相機(舉例而言，在平板上的前置鏡頭相機)所組成。

在某些實施例中，眼動追蹤模組500還可包含光源 518，以提供不同於來自深度相機504之光源510的用於產生角膜反射的光。任何適合的光源可用作為光源518。舉例而言，光源518可包括相對於使用者向前注視之光軸設置於任何適合位置處的一個或更多個紅外發光二極體(LED)。可使用任何適合的光源之組合，且可以任何適合的時間模式(temporal pattern)來點亮光源。在其他實施例中，時差測距深度相機504之光源510可經配置以使用作為用以從使用者之眼反射光的光源。將理解，為了舉例之目的而描述這些實施例，且這些實施例並非意圖以任何方式作限制。

眼動追蹤模組500進一步包含邏輯子系統520及儲存子系統522，儲存子系統522包括儲存於儲存子系統522上的指令，該等指令可由邏輯子系統執行以實行各種工作，包含但不限於，有關於眼動追蹤及有關於利用眼動追蹤的使用者介面互動的工作。以下描述關於計算系統硬體的更多細節。

第6圖圖示經由眼動追蹤模組500根據時差測距深度影像資料的眼動追蹤之示意描繪。如所描繪的，深度相機504、二維相機514及光源518為整合的模組之部分，但可採用任何其他適合的形式。在某些實例中，眼動追蹤模組500可與顯示裝置120整合，顯示裝置120例如行動裝置，平板電腦、電視機或頭戴式顯示裝置。在其他實例中，眼動追蹤模組500可在顯示裝置120之外部。

第6圖還圖示決定注視方向118與顯示裝置120交會處的定位之實例。一個或更多個光源518，舉例而言，設置 於軸上或離軸的紅外LED可被點亮，使得來自該一個或更多個光源的發射光604產生在使用者之眼114上的反射。該一個或更多個光源還可用以產生在使用者之眼114中的明亮瞳孔響應，使得瞳孔可被定位，其中用語「明亮瞳孔響應」指稱來自光源510或光源518從使用者之眼之眼底(內部表面)所反射的光之偵測(舉例而言，攝影學中的「紅眼」現象)。在其他實例中，可在不使用明亮瞳孔響應的情況下定位瞳孔。此外，在某些實例中，可使用不同類型的照射、光學元件及/或相機以協助辨別在明亮瞳孔響應頂上(on top of)的反射。舉例而言，從光源所發射的光之不同波長可用以使光源反射響應及明亮瞳孔響應最佳化。

為了決定使用者之眼114之旋轉，各反射提供參考，瞳孔藉由該參考作比較，以決定眼旋轉之方向。因此，二維相機514可獲得當自使用者之眼反射606時反射之二維影像資料。從該二維影像資料可決定使用者之眼114之瞳孔116之定位及光反射定位。然後從瞳孔之定位及反射之定位可決定注視方向118。

此外，經由從眼反射的光608，該反射光來自由深度相機光源所發射的光脈衝609，深度相機504可獲得時差測距深度影像。然後深度影像可用以偵測使用者之眼與顯示器之距離。相關於顯示器120，深度相機504之角度或設置可為固定的或者為已知的(舉例而言，經由校準程序)。因此，二維影像資料及深度資料可用以決定且輸出注視方向與顯示器交會處的定位。

第7圖圖示描繪用於實行利用時差測距深度影像資料的眼動追蹤之方法700之示例實施例的流程圖。將理解，方法700可以任何適合的方式來實施。舉例而言，方法700可代表由眼動追蹤模組所實行的連續的操作，且在某些實例中，方法700之一個或更多個步驟可藉由眼動追蹤模組之不同部件以並行(in parallel)來實行。方法700可任選地包含，於步驟702，經由影像資料決定使用者之眼之定位，舉例而言，經由圖形識別或其他適合的一個或更多個方法。舉例而言，寬視野的相機可用以導引出窄視野的相機以得到眼區域之更多細節的影像。

於步驟704處，方法700包含點亮光源以發射來自該光源的光。可使用任何適合的光源。舉例而言，光源可包括設置於軸上或離軸的一個或更多個紅外發光二極體(LED)。可使用軸上光源及離軸光源之任何適合的組合，且可以任何適合的時間模式來點亮光源。此外，在某些實例中，光源可包括併入時差測距深度相機中的光源。將理解，為了舉例目的而描述這些實施例，且這些實施例並非意圖以任何方式作限制。

方法700進一步包含，於步驟706，當從光源發射光時獲得眼之影像。舉例而言，經由專用二維相機可取得眼之二維影像，或對於深度測量的全部的依序關閉快門的影像各處的時差測距深度資料可被相加。此外，於步驟708，方法700包含獲得眼之時差測距影像，舉例而言，經由時差測距深度相機，或者是經由具有不受拘束的基準線距離的適合的深 度感測器來獲得眼之深度資料。

於步驟710處，方法700包含從二維資料偵測眼之瞳孔之定位。任何適合的光學及/或影像處理方法可用以偵測眼之瞳孔之定位。舉例而言，在某些實施例中，可產生明亮瞳孔效應以幫助偵測眼之瞳孔之位置。在其他實施例中，在不使用明亮瞳孔效應的情況下可定位瞳孔。於步驟712，方法700進一步包含從二維影像資料偵測從眼的一個或更多個反射之定位。將理解，各種技術可用以區分來自眼動追蹤光源的反射與來自環境光源的反射。舉例而言，當全部的光源被關閉時，可獲得僅環境光(ambient-only)影像，且可從當光源打開時的影像減掉(subtracted)僅環境光影像，以從影像移除環境反射。

方法700進一步包含，於步驟714，從瞳孔之定位及來自光源在使用者之眼上的反射之定位以決定眼之注視方向。一個反射或多個反射提供可與瞳孔作比較的一個或更多個參考，用以決定眼正在注視的方向。

於步驟716處，方法700包含決定眼與顯示器之距離。舉例而言，眼之時差測距影像資料可用以決定眼與深度相機中的影像感測器的距離。然後眼與影像感測器的距離可用以決定沿著眼之注視方向至顯示器的距離。從此資訊，於步驟718，方法700包含決定且輸出注視方向與顯示器交會處的在顯示器上的定位。

因此，該等揭示的實施例可允許在不使用立體相機的情況下穩定的且精確的眼動追蹤系統，且因此不使用可在 立體相機系統中所發現的大的基準值最小值限制條件。此舉可允許可併入任何適合的裝置中的緊密模組化眼動追蹤系統之生產。

第8圖示意地圖示計算系統800之非限制實施例，計算系統800可制定上述之一個或更多個方法及程序。眼動追蹤模組500及顯示裝置120可為計算系統800之非限制實例。以簡化的形式來圖示計算系統800。應理解，在不脫離本揭示案之範疇的情況下可使用幾乎任何電腦結構。在不同的實施例中，計算系統800可採用顯示裝置、可穿戴式計算裝置(舉例而言，頭戴式顯示裝置)、主機電腦(mainframe computer)、伺服器電腦、桌上型電腦、膝上型電腦、平板電腦、家庭娛樂電腦、網路計算裝置、遊戲裝置、行動計算裝置、行動通訊裝置(舉例而言，智慧型手機)、模組化眼動追蹤裝置等等之形式。

計算系統800包含邏輯子系統802及儲存子系統804。計算系統800可任選地包含輸出子系統806、輸入子系統808、通訊子系統810及/或其他未圖示於第8圖中的部件。

邏輯子系統802包含經配置以執行指令的一個或更多個實體裝置。舉例而言，邏輯子系統可經配置以執行指令，該等指令為一個或更多個應用程式、服務、程式、常用程式、程式庫、物件、部件、資料結構或其他邏輯構造之部分。可實施該等指令以實行工作、實施資料類型、轉換一個或更多個部件之狀態或者為達成所需的結果。

邏輯子系統可包含經配置以執行軟體指令的一個或 更多個處理器。此外或者替代地，邏輯子系統可包含經配置以執行硬體指令或韌體指令的一個或更多個硬體或韌體邏輯機器。邏輯子系統之處理器可為單核心或多核心，且在處理器上執行的程式可經配置用以依序、並行或分佈式處理。在某些實例中，邏輯子系統可包括圖形處理單元(GPU)。邏輯子系統可任選地包含在兩個或多於兩個裝置之間分佈的個別部件，該等部件可位於遠端處及/或經配置用以協調處理。邏輯子系統之態樣可為虛擬化且可由以雲端計算配置所配置的遠端可存取、網路連接的計算裝置來執行。

儲存子系統804包含經配置以保持資料及/或可由邏輯子系統所執行的指令的一個或更多個實體裝置，以實施本文所述的方法及程序。當實施該等方法及程序時，儲存子系統804之狀態可經轉換一一舉例而言，以保持不同的資料。

儲存子系統804可包含可移除的電腦可讀取媒體及/或內建電腦可讀取媒體裝置。儲存子系統804可包含光學記憶體裝置(舉例而言，CD、DVD、HD-DVD、藍光光碟等等)、半導體記憶體裝置(舉例而言，RAM、EPROM、EEPROM等等)及/或磁性記憶體裝置(舉例而言，硬式磁碟機、軟式磁碟機、磁帶機、MRAM等等)諸如此類。儲存子系統804可包含揮發性裝置、非揮發性裝置、動態裝置、靜態裝置、讀取/寫入裝置、唯讀裝置、隨機存取裝置、順序存取裝置、位置可定址裝置、檔案可定址裝置及/或內容可定址裝置。

將理解，儲存子系統804包含一個或更多個實體裝置且排除傳播訊號本身。然而，在某些實施例中，相對於被 儲存於包括電腦可讀取儲存媒體的儲存裝置中，本文所述的指令之態樣可藉由純訊號(舉例而言，電磁訊號、光學訊號等等)經由通訊媒體來傳播。此外，有關本揭示案的資料及/或其他形式的資訊可由純訊號來傳播。

在某些實施例中，邏輯子系統802之態樣及儲存子系統804之態樣可整合在一起進入一個或更多個硬體邏輯部件中，經由硬體邏輯部件本文所述的功能可被制定。該等硬體邏輯部件可包含，舉例而言，場可程式化閘陣列(FPGA)、程式與特殊應用積體電路(PASIC/ASIC)、程式與特殊應用標準產品(PSSP/ASSP)、系統晶片(SOC)系統及複雜可程式化邏輯裝置(CPLD)。

當包含輸出子系統806時，輸出子系統806可用以呈現由儲存子系統804所保持的資料之表示。此視覺表示可採用圖形化使用者介面(GUI)之形式。由於本文所述的方法及程序改變由儲存子系統所保持的資料，且因此轉換儲存子系統之狀態，輸出子系統806之狀態可同樣地被轉換以視覺上表示位於下方的資料的改變。輸出子系統806可包含利用幾乎任何類型的技術的一個或更多個顯示裝置。該等顯示裝置可與邏輯子系統802及/或儲存子系統804在共享的外殼中結合，或該等顯示裝置可為周邊顯示裝置。

當包含輸入子系統808時，輸入子系統808可包括一個或更多個使用者輸入裝置或可與一個或更多個使用者輸入裝置介接，使用者輸入裝置例如鍵盤、滑鼠、觸控螢幕或遊戲控制器。在某些實施例中，輸入子系統可包括選定的自 然使用者輸入(NUI)部件或可與選定的自然使用者輸入部件介接。該等部件可為整合的或周邊的，且輸入動作之傳導及/或處理可在板上處理或離開板處理。NUI部件實例可包含用於演說及/或語音識別的麥克風；用於機器視覺及/或手勢識別的紅外、色彩、立體及/或深度相機；用於移動偵測及/或目標識別的頭部追蹤器、眼動追蹤器、加速度計及/或陀螺儀；以及用於評估腦部活動的電場感測部件。

當包含通訊子系統810時，通訊子系統810可經配置以將計算系統800與一個或更多個其他計算裝置通訊上耦合。通訊子系統810可包含與一個或更多個不同通訊協定相容的有線通訊裝置及/或無線通訊裝置。作為非限制的實例，通訊子系統可經配置用於經由無線電話網路或有線網路或無線局域網路或廣域網路之通訊。在某些實施例中，通訊子系統可允許計算系統800經由網路例如網際網路來發送訊息至其他裝置及/或從其他裝置接收訊息。

應理解，本文所述的配置及/或方式在本質上為示例性的，且此些特定實施例或實例並非視為限制意思，因為眾多的變型為可能的。本文描述的特定慣例或方法可代表任何數量的處理策略之一者或更多者。因此，繪示及/或描述的各種步驟可以繪示及/或描述的順序來實行，可以其他順序來實行，以並行實行，或被省略。同樣地，可改變上述程序之順序。

本揭示案之標的包含所有新穎且非顯而易見的各種程序、系統及配置之組合與次組合，以及本文揭示的其他特 徵、功能、步驟及/或性質，還有上述之任何及所有均等物。

104‧‧‧使用者

106‧‧‧頭

108‧‧‧第一眼

110‧‧‧第一瞳孔

112‧‧‧第一眼注視方向

114‧‧‧第二眼

116‧‧‧第二瞳孔

118‧‧‧第二眼注視方向

120‧‧‧顯示裝置

122‧‧‧第一焦點位置

Claims (20)

1. 一種眼動追蹤系統，包括：一光源；一影像感測子系統，該影像感測子系統經配置以取得一使用者之眼之一二維影像及含有該使用者之眼的一區域之時差測距深度影像資料；一邏輯子系統，該邏輯子系統經配置以控制該光源發射光，控制該影像感測子系統以當經由該光源發射光時獲得該使用者之眼之一二維影像；控制該影像感測子系統以獲得該使用者之眼之一時差測距深度影像；從該二維影像決定該使用者之眼之一注視方向；根據該注視方向決定該注視方向與顯示器交會處的一定位；及輸出該定位。
2. 如請求項1所述之系統，其中該影像感測子系統包括一時差測距深度相機及一二維影像感測器。
3. 如請求項1所述之系統，其中該影像感測子系統包括一時差測距深度相機，及其中指令為可執行以從由該時差測距深度相機所獲得的影像資料來偵測該使用者之眼之一瞳孔之一定位，以決定該使用者之眼之該注視方向。
4. 如請求項1所述之系統，其中該系統進一步包括該顯示器。
5. 如請求項1所述之系統，其中該影像感測子系統包括一時差測距深度相機及該光源包括該時差測距深度相機之一光源。
6. 如請求項1所述之系統，其中指令為可執行以從該時差測距深度影像來偵測沿著該注視方向該使用者之眼與該顯示器之一距離，以決定該注視方向與該顯示器交會處在該顯示器上的該定位。
7. 如請求項1所述之系統，其中該二維影像為一第一二維影像，且其中指令為可進一步執行以：控制該影像感測子系統以獲得一第二二維影像，該第二二維影像比起該第一二維影像具有一較寬的視野，及在從該第一二維影像決定該使用者之眼之該注視方向之前，經由該第二二維影像決定該使用者之眼之一定位。
8. 如請求項7所述之系統，其中該影像感測子系統包括一時差測距深度相機、一較高解析度二維影像感測器及一較低解析度二維影像感測器，且其中經由該較低解析度二維影像感測器獲得該第二二維影像，且經由該較高解析度二維影像 感測器獲得該第一二維影像。
9. 一種眼動追蹤模組，包括：一時差測距相機；一光源；一邏輯子系統；及一儲存子系統，該儲存子系統包括儲存於該儲存子系統上由該邏輯子系統可執行的指令以點亮該光源；獲得影像資料，該影像資料包含當點亮該光源時一使用者之眼之一影像以及該使用者之眼之一時空測距深度影像；從該影像資料偵測該使用者之眼之一瞳孔之一定位及該使用者之眼中的一反射之一定位；從該瞳孔之該定位及該反射之該定位決定該使用者之眼之一注視方向；及基於該注視方向及該時空測距深度影像，輸出該注視方向與一顯示器交會處在該顯示器上的一定位。
10. 如請求項9所述之模組，其中經由由該時差測距影像感測器所獲得的影像資料來偵測該瞳孔之該定位。
11. 如請求項9所述之模組，進一步包括一二維影像感測器，且其中經由由該二維影像感測器所獲得的影像資料來偵測該 瞳孔之該定位。
12. 如請求項9所述之模組，其中該模組耦合至一顯示器。
13. 如請求項9所述之模組，其中該等指令為可進一步執行以獲得該使用者之一影像及在決定該使用者之眼之該注視方向之前經由該使用者之該影像決定含有該使用者之眼的一使用者之一區域之一定位。
14. 如請求項9所述之模組，其中該主體包括一行動計算裝置之一主體。
15. 如請求項9所述之模組，其中該主體包括一可穿戴式計算裝置之一主體。
16. 一種用於在一行動計算裝置上追蹤一使用者之一眼相對於一顯示器上所顯示的一使用者介面的方法，該方法包括以下步驟：點亮一光源；獲得影像資料，該影像資料包含當點亮該光源時該眼之一影像；經由具有一未受拘束的基準線距離的一深度感測器來獲得該眼之深度資料；從該影像資料決定該眼之一瞳孔之一定位及來自該光源 在該眼上的光之一反射之一定位；從該瞳孔之該定位及該反射之該定位決定該眼之一注視方向；從該深度資料偵測沿著該注視方向該眼睛與該顯示器的一距離；及輸出該注視方向與該顯示器交會處的一定位。
17. 如請求項16所述之方法，其中該深度感測器包括一時差測距深度相機，且其中經由來自該時差測距深度相機的影像資料來偵測該瞳孔之該定位及該反射之該定位。
18. 如請求項16所述之方法，其中該光源包括在一時差測距深度相機中的一光源。
19. 如請求項16所述之方法，進一步包括在決定該眼之該注視方向之前經由該影像資料決定該眼之一定位。
20. 如請求項16所述之方法，其中該影像資料為從一時差測距深度相機所獲得。