TW201535155A

TW201535155A - 藉由凝視偵測進行遠端裝置控制

Info

Publication number: TW201535155A
Application number: TW104100974A
Authority: TW
Inventors: Weerapan Wilairat; Vaibhav Thukral; Ibrahim Eden; David Nister
Original assignee: Microsoft Corp
Priority date: 2014-03-12
Filing date: 2015-01-12
Publication date: 2015-09-16
Also published as: RU2016136371A; RU2016136371A3; MX2016011540A; WO2015138271A1; CN106104650A; CA2939532A1; EP3117417B1; KR20160135242A; US20150261293A1; AU2015229755A1; JP2017513093A; EP3117417A1

Abstract

所揭露的實施例係關於基於凝視的遠端裝置控制。例如，所揭露的一個實施例提供一計算裝置上的一方法，該方法包括以下步驟：偵測一使用者的一凝視方向；偵測來自該使用者的一指示，該指示係用以控制位於該凝視方向中的一遠端可控制裝置；及調適一控制器裝置的一使用者介面，以允許使用者控制該遠端可控制裝置。

Description

藉由凝視偵測進行遠端裝置控制

此發明係關於透過凝視偵測來進行遠端裝置控制。

隨著科技進步，人類每天使用越來越多的電子裝置。例如，一個人可能頻繁地與智慧型手機、視訊遊戲機、家用娛樂系統及許多其他電子裝置互動。為了從這些裝置得到最大的好處，使用者必須主動地控制它們。然而，控制許多裝置可能需要使用者從一個裝置移動到另一個裝置，以在各裝置上導航不同的使用者介面，或需要使用者在手上保持若干遠端控制傳送器。

係提供此發明內容以使用簡化的形式來介紹一系列概念，該等概念係於實施方式中進一步描述於下。此發明內容係不意欲識別申請標的之關鍵特徵或必要特徵，亦不意欲用以限制申請標的之範圍。此外，申請標的係不限於解決在此揭露之任何部分中所指出之任何或所有缺點之實施。

10‧‧‧示例環境

12‧‧‧家用娛樂系統

14‧‧‧使用者

16‧‧‧顯示器

18‧‧‧喇叭

20‧‧‧電腦系統

22‧‧‧音視訊(AV)接收器

24‧‧‧有線電視盒

26‧‧‧房間照明系統

28‧‧‧恆溫器

30‧‧‧行動計算裝置

32‧‧‧通用遠端控制傳送器

34‧‧‧環境成像系統

36‧‧‧NUI系統

38‧‧‧視覺系統

40‧‧‧聽覺系統

42‧‧‧作業系統

44‧‧‧應用程式

46‧‧‧深度攝影機

48‧‧‧彩色攝影機

50‧‧‧言語辨識引擎

52‧‧‧姿勢辨識引擎

54‧‧‧臉部辨識引擎

56‧‧‧凝視偵測引擎

58‧‧‧環境測繪引擎

60‧‧‧硬體介面

62‧‧‧可穿戴式立體顯示系統

64‧‧‧框架

66‧‧‧鼻樑

68‧‧‧顯示視窗

68R‧‧‧右顯示視窗

68L‧‧‧左顯示視窗

70‧‧‧微控制器

72‧‧‧光學系統

72R‧‧‧右光學系統

72L‧‧‧左光學系統

74‧‧‧背光

76‧‧‧液晶顯示器(LCD)矩陣

78‧‧‧右或左眼

80‧‧‧眼燈

82‧‧‧鏡面反射

84‧‧‧角膜

86‧‧‧攝影機

88‧‧‧瞳孔中心

90‧‧‧瞳孔輪廓

92‧‧‧凝視向量

94‧‧‧垂直瞳孔擴展器

96‧‧‧透鏡

98‧‧‧示例方法

100‧‧‧步驟

102‧‧‧步驟

104‧‧‧步驟

106‧‧‧步驟

108‧‧‧步驟

110‧‧‧步驟

112‧‧‧座標系統

114‧‧‧步驟

116‧‧‧步驟

118‧‧‧步驟

120‧‧‧邏輯機器

122‧‧‧指令儲存機器

124‧‧‧通訊系統

圖1圖示示例環境的態樣，在該示例環境中，使用者可依據此揭露的實施例來遠端控制電子裝置。

圖2係高層級示意圖，依據此揭露的實施例圖示電腦系統及互聯系統的態樣。

圖3圖示依據此揭露之實施例的可穿戴式顯示系統的態樣。

依據此揭露的實施例，圖4圖示圖3之可穿戴式顯示系統之右邊或左邊之光學系統的態樣。

圖5繪示一示例方法，該方法用以依據此揭露的實施例，允許使用者遠端控制電子裝置。

圖6繪示依據此揭露的實施例，透過凝視或手勢來導航遠端可控制裝置的使用者介面。

本文中所揭露的實施例可允許使用者遠端以直覺的方式控制許多電子裝置。在一個方法中，使用者僅藉由凝視要控制的裝置來選擇該裝置。當系統決定使用者的意圖是控制某些裝置時，該系統顯示特定於該裝置的使用者介面，或要不就調適現有的使用者介面來允許控制該裝置。使用者的輸入接著通過該使用者介面而被接收，且適當的控制訊號係經傳送以使控制作用。

圖1以個人住宅之客廳或家庭房的形式圖示示例環境10的態樣。然而，本文中所描述的系統及方法亦可應用於其他環境中，例如零售及服務環境。圖1的環境的特徵是用於娛樂使用者14的家用娛樂系統12。在圖1中，使用者14係圖示於站立位置中；在其他情境中，使用者可能是坐下的或躺下的。

家用娛樂系統12包括大尺寸顯示器16及喇叭18，該等大尺寸顯示器16及喇叭18兩者係可操作地耦合至電腦系統20。此外，家用娛樂系統包括音視訊(AV)接收器22及有線電視盒24。將了解的是，係藉由示例的方式來提供所繪示的家用娛樂系統，且所揭露的實施例可同任何其他合適的裝置配置來利用。在某些配置中，例如，顯示器16可由合併於硬體中的近眼(near-eye)顯示器或由使用者所配戴的眼鏡(eyewear)所替換。

繼續於圖1中，環境10包括家用娛樂系統12的那些電子裝置以外的各種電子裝置，使用者14可控制該等各種電子裝置。作為示例，這樣的裝置包括房間照明系統26及恆溫器28。所繪示的環境亦包括行動計算裝置30，例如智慧型手機、平板電腦...等等。

環境10亦可包括一或更多個電子裝置，該等電子裝置係經配置以控制該環境中的其他電子裝置。在圖1中，例如，使用者14係圖示為握持通用遠端控制傳送器32。通用遠端控制傳送器可經配置以向環境中的遠端可控制裝置傳送適當的控制訊號(紅外的、無線電、藍芽...等等)，除了其他物以外，該等遠端可控制裝置例如是顯示器16、AV接收器22、有線電視盒24、房間照明系統26、恆溫器28、智慧型手機30及/或計算裝置20。在某些實施例中，亦可將其他裝置(例如行動計算裝置30)用作控制器裝置。

如上所述，本文中所揭露的實施例允許使用者14藉由僅凝視要控制的電子裝置來選擇該裝置。對此，電腦系統20包括資料，該資料定義該等遠端可控制電子裝置是位在環境10中的何處。在某些實施例中，可通過環境成像系統來獲取此資料的至少一部分。在其他實施例中，此資料可由使用者輸入所獲取，如以下所述。進一步地，電腦系統20可包括資料，該資料用於調適控制器裝置的使用者介面以允許使用者透過控制器裝置方便地控制遠端可控制裝置。在所描繪的實施例中，係回應於偵測到使用者凝視有線電視盒，而顯示用於有線電視盒24的使用者介面。在其他示例中，計算裝置可調適遠端控制器32、智慧型手機30或其他合適控制器裝置的使用者介面，該合適的控制器裝置係可用以控制不同的遠端可控制裝置。

在某些實施例中，環境成像系統可包括深度攝影機或彩色攝影機。該環境成像系統例如可共享視覺系統38的影像捕捉元件部分，及/或可包括環境中的其他影像捕捉裝置(未圖示)。在某些實施例中，環境成像系統可被握持在使用者的手中且行經該環境以使該等遠端可控制裝置成像。又在其他實施例中，環境成像系統可併入由使用者所配戴的眼鏡或頭飾。位置追蹤元件部分可允許由環境成像系統所捕捉的影像資料被測繪至真實世界的座標。通過影像資料的下游分析，各種遠端可控制裝置的位置可被建立及儲存於維持於電腦系統20中的地圖上。該地圖可由凝視追蹤元件部分所存取，以決定使用者是否正在凝視任何的遠端可控制裝置。雖然有由環境成像步驟所給予的好處，在某些實施例中可忽略此特徵，且可使用替代性方法來建立環境內之遠端可控制裝置的位置。

繼續，電腦系統20的本性在此揭露的不同實施例中可能不同。在某些實施例中，電腦系統可為視訊遊戲系統及/或經配置以播放音樂及/或視訊的多媒體系統。在其他實施例中，電腦系統可為用於網際網路瀏覽及生產力應用程式的一般用途電腦系統。電腦系統20可經配置以供任何或所有的上述用途及/或任何其他合適的用途，而不脫離此揭露的範圍。

電腦系統20係經配置以接受來自一或更多個使用者之各種形式的使用者輸入。如此，使用者輸入裝置(例如鍵盤、滑鼠、觸控螢幕、遊戲台或搖桿控制器(未圖示於繪圖中))可以可操作地耦合至電腦系統且用於直接輸入資料。電腦系統20亦經配置以自一或更多個使用者接受所謂的自然使用者輸入(NUI)。為了調解NUI，NUI系統36係被包括於電腦系統中。NUI系統係經配置以捕捉NUI的各種態樣，且向電腦系統提供相對應的可行動輸入。對此，NUI系統自周邊感應性元件接收低層級輸入，該等周邊感應性元件除其他物(例如經配置以使環境成像的其他攝影機)外可包括視覺系統38及聽覺系統40。

聽覺系統40可包括一或更多個麥克風，該等麥克風係用以拾取來自環境10中之使用者14及來自其他來源的聲音及其他音訊輸入--例如響鈴的電話、串流音訊，且聽覺系統40可包括一或更多個麥克風。在某些示例中，聽覺系統40可包括方向性麥克風陣列。視覺系統38係經配置以透過由該視覺系統所獲取之影像資料來偵測輸入(例如使用者姿勢、眼睛位置及其他身體姿勢及/或姿態資訊)。在所繪示的實施例中，視覺系統及聽覺系統共享通用的外殼；在其他實施例中，它們可為單獨元件。又在其他的實施例中，視覺、聽覺及NUI系統可整合於電腦系統內。電腦系統及其周邊感應性元件可透過有線通訊連結(如繪圖中所示)或以任何其他合適的方式來耦合。

圖2係高層級示意圖，圖示示例實施例中之電腦系統20及周邊系統的態樣。所繪示的電腦系統包括作業系統(OS)42，該作業系統42可以軟體及/或韌體來樣例化。電腦系統亦包括一或更多個應用程式44，例如視訊遊戲應用程式、數位媒體播放器、網際網路瀏覽器、相片編輯器、文字處理器及/或試算表應用程式，舉例而言。任何的或所有的電腦系統20、視覺系統38、聽覺系統40及環境成像系統34(例如視覺系統38外部的攝影機，該攝影機例如從不同的角度使環境成像)可依所需包括合適的資料儲存器、指令儲存器及邏輯硬體，以支持它們相對的功能。

在圖2的實施例中，視覺系統38包括一或更多個深度攝影機46及一或更多個彩色攝影機48。各深度攝影機可經配置以獲取使用者14及環境10之深度圖之以時間解析的序列。如本文中所使用的，用詞「深度圖」指的是註記(register)至經成像之場景之相對應區域(X_i、Y_i)的像素陣列，其中深度值Z_i對於各像素而言指示相對應區域的深度。「深度」可定義為平行於深度攝影機之光學軸的座標，該座標隨著距深度攝影機的距離增加而增加。操作性地，深度攝影機可經配置以獲取二維影像資料，深度圖係自該二維影像資料透過下游處理來獲得。

一般而言，深度攝影機46的本性在此揭露的各種實施例中可能不同。在一個實施例中，來自深度攝影機中之兩個、立體導向之成像陣列的亮度或色彩資料可被共同註記且用以建構深度圖。在其他實施例中，深度攝影機可經配置以將結構化紅外(IR)照明圖案投射至主體上，該結構化紅外照明圖案包括許多離散特徵--例如線或點。深度攝影機中的成像陣列可經配置以使從主體反射回來的結構化照明成像。基於經成像主體之各種區域中之相鄰特徵之間的間隔，主體的深度圖可被建構。又在其他實施例中，深度攝影機可朝向主體投射脈衝紅外照明。深度攝影機中的一對成像陣列可經配置以偵測從主體反射回來的脈衝照明。陣列兩者可包括與脈衝照明同步的電子快門，但對於該等陣列的整合時間可能不同，使得基於該兩個陣列之相對應構件中所接收的相對光量，脈衝照明之以像素解析的飛行時間(從照明源到主體且接著到該等陣列)是可辨別的。

各彩色攝影機48可以複數個通道(例如紅、綠、藍...等等)使來自所觀察場景的可見光成像，該等通道將所成像的光測繪至像素陣列。替代性地，可使用單色攝影機，該單色攝影機以灰階使光成像。暴露於攝影機中之所有像素的色彩或亮度值共同構成數位彩色影像。在某些實施例中，彩色攝影機的像素可被註記至深度攝影機的那些像素。以此方式，對於所觀察場景的各部分，色彩及深度資訊兩者可被存取。

NUI系統36處理來自視覺系統38、聽覺系統40及環境成像系統34的低層級輸入(也就是訊號)，以向電腦系統20提供可行動的、高層級的輸入。例如，NUI系統可對於來自聽覺系統40的音訊訊號執行聲音或語音辨識。語音辨識可產生電腦系統中要接收之相對應之基於文字的或其他高層級的命令。在圖2中所示的實施例，NUI系統包括言語辨識引擎50、姿勢辨識引擎52、臉部辨識引擎54、凝視偵測引擎56及環境測繪引擎58。

言語辨識引擎50係經配置以處理來自聽覺系統40的音訊資料，以辨識使用者言語中的某些字詞或句子，且向電腦系統20的OS 42或應用程式44產生相對應的可行動輸入。姿勢辨識引擎52係經配置以至少處理來自視覺系統38的深度資料，以識別深度資料中的一或更多個人類主體，計算所識別主體的各種骨骼特徵，且自該等骨骼特徵收集各種姿態性或姿勢性資訊，該資訊係供給至該等OS或應用程式。臉部辨識引擎52係經配置以處理來自視覺系統的影像資料，以分析當前使用者的臉部特徵。臉部特徵的分析可允許當前使用者被識別(例如被匹配至儲存於電腦系統中的使用者概述)。臉部辨識引擎54亦可允許實施權限，使得可基於身份來發給使用者不同層級的控制。作為更特定的示例，使用者可選擇不允許該使用者的小孩控制恆溫器或其他家用系統控制，且可使用臉部辨識及/或其他識別方法來強化此政策。將了解的是，可以任何其他合適的方式來實施這樣的權限。

環境測繪引擎58係經配置以集合環境10的地圖，該地圖包括該環境內之各種遠端可控制電子裝置的位置。環境測繪引擎可經配置以接收任何合適形式的輸入來定義這樣的位置，該輸入包括直接的使用者輸入。在一個示例中，使用者可僅凝視要控制之裝置的方向，且接著識別位於該處的該裝置。使用者可例如藉由呼叫裝置的識別(例如可向使用者顯示經偵測之裝置及它們相關聯之識別的清單)、藉由透過鍵盤、鍵板、遊戲控制器或其他輸入裝置輸入識別、或以任何其他合適的方式來識別該裝置。以此方式，各遠端可控制裝置係與該等遠端可控制裝置的位置相關聯。進一步地，在此程序期間，例如藉由輸入要遠端控制之裝置的密碼或執行任何其他合適的配對程序，與計算裝置配對遠端可控制裝置的步驟可被完成。位置及配對資訊可儲存於電腦系統的非依電性記憶體中，且以後用以決定哪個遠端可控制裝置是使用者想要控制的，及亦用以通訊連接至要控制的裝置。在另一實施例中，環境測繪引擎可自環境成像系統34接收輸入。據此，環境測繪引擎可經配置以基於各種電子裝置的影像特性(例如尺寸、形狀、顏色)、基於合適識別標記(例如條碼或標誌)或以任何其他合適的方式，來辨識該等電子裝置。

在其他實施例中，環境測繪引擎可以可操作性地耦合複數個訊號(例如無線電或其他合適波長)接收器。訊號接收器可經配置以自傳送信標接收識別訊號，該等傳送信標係附接至環境10中的遠端可控制電子裝置。使用空間性地分佈於環境內的接收器，環境測繪引擎可經配置以三角測量各遠端可控制電子裝置的位置，且藉此產生該地圖。

繼續於圖2中，凝視偵測引擎56係經配置以處理來自視覺系統38的資料、識別使用者頭部的方向及/或定位使用者的一或更多個眼部特徵。這樣的眼部特徵可包括瞳孔中心、瞳孔輪廓、虹膜中心、虹膜輪廓及/或來自已知光源的一或更多個鏡面反射(其可被稱為來自「反光(glint)源」的「反光」)，該等一或更多個鏡面反射係反射離開使用者眼睛的角膜。基於頭部方向或眼部特徵的位置，凝視偵測引擎可估計使用者的凝視向量及偵測使用者凝視的方向。進一步地，凝視偵測引擎可經配置以存取由環境測繪引擎58所維護之遠端可控制電子裝置的地圖。以此方式，使用者的凝視向量可被繪製於地圖上，以在任何時候決定使用者所凝視的遠端可控制裝置(若有的話)。

於圖2中，電腦系統20係可操作地耦合至硬體介面60，這提供了環境中各種遠端可控制裝置的控制。對此，硬體介面轉導了自電腦系統發送的控制命令，且向遠端可控制裝置輸出相對應的控制訊號，其中自該電腦系統發送該等控制命令的步驟係依據該電腦系統中所接收到的使用者輸入來進行。在某些實施例中，硬體介面可包括相對應於控制訊號之類型的一或更多個訊號傳送器(例如，紅外線、無線電...等等)，該等遠端可控制裝置係經配置以接收該控制訊號。在其他實施例中，硬體介面可透過電線控制至少某些遠端可控制裝置。又在其他實施例中，硬體介面可經配置以與周邊控制器裝置通訊及控制該周邊控制器裝置，該周邊控制器裝置例如為通用遠端控制傳送器32。在此情況中，硬體介面可轉導來自電腦的控制輸出，該控制輸出切換傳送器當前所配對的遠端可控制裝置。

以上繪圖及描述不應以限制的意義來解讀，對於許多其他實施例而言也是同樣考慮。在某些實施例中，上述的顯示器或感應性元件部分可併入由使用者所配戴的眼鏡或頭飾。據此，圖3圖示可穿戴式立體顯示系統62的態樣。所繪示的顯示系統類似一般的眼鏡。該顯示系統同鼻樑66包括契合於耳朵的框架64，該鼻樑66要放置在配戴者的臉上。顯示系統亦包括右顯示視窗68R及左顯示視窗68L。在某些實施例中，右及左顯示視窗68從配戴者的角度是整個或部分透明的，以給予配戴者他或她周圍環境的清楚景像。

在某些實施例中，顯示影像係自電腦系統20即時傳送至顯示系統62。顯示系統62的微控制器70係可操作地耦合至右及左光學系統72R及72L。在所繪示的實施例中，連同右及左光學系統，微控制器係隱藏在顯示系統框架內。微控制器可包括合適的輸入/輸出(IO)元件部分，以允許該微控制器自電腦系統20接收顯示影像。當顯示系統62運作時，微控制器70向右光學系統72R發送適當的控制訊號，該等控制訊號使得右光學系統在右顯示視窗68R中形成右顯示影像。同樣地，微控制器向左光學系統72L發送適當的控制訊號，該等控制訊號使得左光學系統在左顯示視窗68L中形成左顯示影像。

圖4圖示一個非限制性實施例中之右或左光學系統72及相關聯之顯示視窗68的態樣。光學系統包括背光74及液晶顯示器(LCD)矩陣76。背光可包括發光二極體(LED)的集體(例如白LED或紅、綠及藍LED的分佈)。背光可經安置來引導其發光通過LCD矩陣，基於來自微控制器70的控制訊號，這形成了顯示影像。LCD矩陣可包括許多、個別可定址的像素，該等像素係佈置於矩形網格或其他幾何形狀上。在某些實施例中，傳送紅光的像素可並列於傳送綠及藍光之像素的矩陣中，以便LCD矩陣形成彩色影像。在一個實施例中，LCD矩陣可為矽上液晶(LCOS)矩陣。在其他實施例中，可使用數位微鏡陣列來代替LCD矩陣，或反而可使用主動LED矩陣。又在其他實施例中，掃描光束科技可用以形成右及左顯示影像。

繼續於圖4中，光學系統72亦包括眼睛追蹤元件部分，該眼睛追蹤元件部分係經配置以感應顯示系統62之配戴者之右或左眼78的瞳孔位置及/或虹膜位置。在圖4的實施例中，眼睛追蹤元件部分採取一成像系統的形式，該成像系統使來自眼燈80且反射離開配戴者眼睛的光成像。眼燈可包括經配置以照明眼睛的紅外或近紅外LED。在一個實施例中，眼燈可提供相對窄角的照明，以在眼睛的角膜84上產生鏡面反射82。成像系統包括至少一個攝影機86，該攝影機86係經配置以使眼燈之發射波長範圍中的光成像。此攝影機可經佈置且要不就經配置，以捕捉來自眼燈的光，該光係自眼睛反射。來自攝影機的顯像資料係傳達至微控制器70中的或電腦系統20中的相關聯邏輯。在該處，影像資料可經處理以解析例如為瞳孔中心88、瞳孔輪廓90及/或來自角膜之一或更多個鏡面反光82的特徵。附加性地或替代性地，可解析虹膜中心或虹膜輪廓。影像資料中之如此特徵的位置可用作模組(例如多項式模組)中的輸入參數，該模組將特徵位置關聯於眼睛的凝視向量92。

在某些情況中，來自LCD矩陣76的顯示影像可能不適用於由顯示系統62的配戴者來進行直接檢視。特定而言，顯示影像可自配戴者的眼睛偏移、可具有不想要的聚散度及/或非常小的出射瞳。鑒於這些議題，來自LCD矩陣的顯示影像可在到配戴者眼睛的途中經進一步調節。在圖4的實施例中，來自LCD矩陣76的顯示影像係通過透鏡96接收進垂直瞳孔擴展器94。垂直瞳孔擴展器將顯示影像降低進配戴者的視野，且在這樣做時以「垂直」方向擴展顯示影像的出射瞳。自垂直瞳孔擴展器94，顯示影像係接收進水平瞳孔擴展器，該水平瞳孔擴展器可耦合進顯示視窗68或實施為顯示視窗68。在其他實施例中，水平瞳孔擴展器可與顯示視窗不同。以任一方式，水平瞳孔擴展器以「水平」的方向擴展顯示影像的出射瞳。藉由通過水平及垂直瞳孔擴展器，顯示影像係呈現於實質覆蓋眼睛的區域上。

上述的配置允許用於進行基於凝視之遠端裝置的控制的各種方法。藉由示例的方式，現持續參照以上配置來描述某些這樣的方法。然而，將了解的是，於此所述的方法(及其他在此揭露之範圍內的方法)也可由不同配置所允許。

圖5繪示示例方法98，該示例方法98用於基於凝視來控制一或更多個遠端可控制裝置。於方法98的100處，一或更多個遠端可控制裝置的位置係測繪於電腦系統20的資料儲存媒體中。在一個實施例中，遠端可控制裝置的位置可透過直接使用者輸入來測繪。換言之，使用者可輸入一或更多個裝置的座標，或藉由一次一個地凝視各裝置，同時識別使用者所凝視的該裝置，來將該裝置與其位置相關聯。在某些實施例中，與該裝置所進行的通訊性配對亦可執行為此程序的部分。在其他實施例中，可基於通過環境成像系統所獲取的影像資料及自影像資料識別遠端可控制裝置，來測繪遠端可控制裝置的位置。又在其他實施例中，係基於感應性元件部分中所接收的訊號來測繪遠端可控制裝置的位置，該感應性元件部分係可操作地耦合至電腦系統。該等訊號可源自位於遠端可控制電子裝置上的傳送器。

於102處，係偵測電腦系統之使用者的凝視方向。可藉由從指向使用者之視覺系統的一或更多個攝影機獲取該使用者的頭部、臉部及/或眼睛影像，來偵測凝視方向。在一個實施例中，影像可定義使用者臉部的大致方向。在其他實施例中，影像可進一步定義使用者的某些眼部特徵，例如瞳孔中心、瞳孔輪廓或來自使用者角膜的鏡面反光。接著在凝視偵測引擎56中分析頭部、臉部及/或眼睛影像，以計算使用者的凝視向量。在包括顯示器16的實施例中，用於選擇遠端可控制物件的凝視可能指向該顯示器之可視邊界外面的位置。

於104處，係決定，當前凝視方向與遠端可控制裝置中之一者的位置重合，該等遠端可控制裝置的位置已被測繪。可例如藉由在相同座標系統上繪製使用者的凝視向量，來作出這樣的決定，該等遠端可控制裝置的位置係測繪於該座標系統上。

於106處，使用者的臉部可以可選地由臉部辨識引擎54來辨識。在某些實施例及使用情境中，如以下所更詳細描述的，取決於存取系統的特定使用者，可不同地進行遠端裝置控制。可據此使用臉部辨識以識別使用者，且藉此通知下游處理。

於108處，係偵測來自使用者而用以控制凝視方向中所佈置之遠端可控制裝置的指示。在一個實施例中，控制遠端可控制裝置的意圖可僅藉由使用者凝視中的靜止來指示。換言之，使用者可以一閥值時間段(例如兩秒、五秒...等等)凝視裝置，以指示控制裝置的意圖。

又在其他的實施例中，控制遠端可控制裝置的意圖係藉由旁帶指示的方式來示意。一個適用於此用途的旁帶指示是使用者的言語，該言語可透過聽覺系統40來接收且在言語辨識引擎50中辨識。例如，使用者可說出「開啟」以開啟他所凝視的裝置。其他合適的旁帶指示可包括來自使用者的手或身體姿勢，該姿勢在視覺系統38中被接收且由姿勢辨識引擎52所解譯。在一個示例中，使用者可舉起手，同時看著遠端可控制裝置以指示他想要該裝置被開啟。

於110處，為了允許使用者控制位於使用者凝視方向中的遠端可控制裝置，控制器裝置的使用者介面係經調適。在此揭露的不同實施例中，使用者介面之調適步驟的本性可採取不同形式。如上所述，各種控制器裝置係相容於此方法。在某些實施例中，控制器裝置可為可操作地耦合至顯示器(例如電視、電腦監視器、專用顯示器...等等)的娛樂或遊戲系統。在該情況中，經調適的使用者介面可包括呈現於該顯示器上之經選擇之遠端可控制裝置的使用者介面。在經調適的使用者介面是呈現於顯示器上的實施例中，亦允許導航該顯示器。合適的導航模式包括(但不限於)藉由言語來導航、藉由手勢來導航及藉由凝視方向來導航。在使用者介面是基於使用者之凝視方向來導航的實施例中，使用者的凝視可指向顯示器上的位置。

圖6繪示一使用情境，在該使用情境中，使用者14正在基於凝視方向或手勢導航呈現於顯示器16上的UI。基於來自視覺系統38(或(例如頭戴式顯示器上的)其他合適的凝視偵測系統)的影像資料，凝視偵測引擎56可經配置以計算相對應於使用者所凝視之點的顯示螢幕座標(X,Y)。同樣地，姿勢偵測引擎52可經配置以基於相對於座標系統112之使用者手的位置來計算類似座標，該座標系統112係固定於該使用者的身體。以此方式，使用者能夠在各種UI構件中導航，其中係提供該等UI構件以供控制遠端可控制裝置。

在其他實施例中，控制器裝置可為手持式裝置，例如通用遠端控制器。於此，調適控制器裝置之使用者介面的動作可包括改變該裝置之按鈕或其他控制的效果，且在某些實施例中，可包括改變按鈕或其他控制的外表。在其他實施例中，調適使用者介面以供遠端控制裝置的控制可包括視覺調適以外的調適。又在其他實施例中，使用者介面可為非視覺性的。這樣的使用者介面可全部或部分地依賴自然使用者輸入(例如語音或姿勢)，該自然使用者輸入如本文中以上所述地是通過視覺及/或聽覺系統來接收。

現在回到圖5，在某些使用情境中，取決於正在存取系統的特定使用者，可不同地控制裝置。例如，可能可接受小孩能夠控制遊戲系統或有線電視盒，但不可接受該小孩能夠調整恆溫器。並且，對於特定的裝置而言，某些使用者可能偏好與較簡單的使用者介面互動，而其他使用者可能需要該裝置更完整的控制。據此，調適控制器裝置的使用者介面的詳細方式，在110處，可取決於使用者的身份(由106處的臉部辨識來揭示)及/或其他合適的生物識別方法(例如語音辨識)。例如，當使用者的臉部被辨識為小孩的臉時，對於某些裝置而言系統可抑制UI的呈現或可呈現簡化的UI。

於114處，來自使用者的輸入係接收於控制器裝置上。在控制器裝置是可調適之手持式裝置(例如通用遠端控制器)的實施例中，使用者輸入可透過由使用者所致動的按鈕或其他控制來接收。如上所述，依據所要控制的特定裝置，於110處，可調適如此的控制的效果或外表。例如，提供於各遠端控制按鈕上的個別可控制螢幕可經控制以顯示該按鈕的當前功能。在其他非限制性的實施例中，可以手或身體姿勢的形式或以凝視的形式來接收使用者輸入。例如，於110處，可調適使用者介面，以呈現顯示器之UI構件的集合。於此，顯示器範圍內之使用者的凝視方向可用以啟動適當的UI構件來調用所需的動作。於116處，基於所接收的輸入，一訊號係傳送至經選擇的遠端可控制裝置，該訊號具有控制該遠端可控制裝置的效果。

在某些情境中，回應於相同的觸發，可同時控制二或更多個遠端可控制裝置。一個示例情境是當使用者正在串流電影且被電話響鈴中斷時，該電話在使用者環境的某處中但不在他的人身上。此事件可提示使用者以響鈴電話的方向凝視，使用者以響鈴電話的方向凝視的該步驟將該電話選擇為要控制的第一裝置。若使用者舉起他的手或說出字詞「接聽」，系統可允許以各種方式來遠端控制該電話，例如將該電話連接至房間音響、在顯示器上呈現UI以允許靜音、掛斷...等等。進一步地，於118處，系統亦可自動暫停串流電影，執行第二遠端可控制裝置(例如DVR或有線電視盒)的控制。在此示例中，暫停電影的動作可藉由在顯示器上同時呈現第二使用者介面來完成。第二使用者介面例如可提供停止或恢復串流視訊的選項。

如自以上描述而為明顯地，本文中所描述的方法及程序可被捆挷至一或更多個計算機的電腦系統。這樣的方法及程序可被實施為電腦應用程式或服務、應用編程介面(API)、程序庫及/或其他電腦程式產品。

以簡化形式所圖示於圖2中的是電腦系統20的非限制性示例，該電腦系統20係用以支援本文中所描述的方法及程序。電腦系統包括邏輯機器120及指令儲存機器122。電腦系統亦包括顯示器16、通訊系統124及未圖示於圖2中的各種元件。

各邏輯機器120包括經配置以執行指令的一或更多個實體裝置。例如，邏輯機器可經配置以執行指令，該等指令係一或更多個應用程式、服務、程式、常式、程序庫、物件、元件、資料結構或其他邏輯構造的部分。這樣的指令可經實施以執行任務、實施資料類型、轉換一或更多個元件的狀態、達成技術效果或要不就達到所需的結果。

各邏輯機器120可包括經配置以執行軟體指令的一或更多個處理器。附加地或替代性地，邏輯機器可包括經配置以執行硬體或韌體指令的一或更多個硬體或韌體邏輯機器。邏輯機器的處理器可為單核心或多核心，且於其上所執行的指令可經配置以供順序的、平行的及/或分佈的處理。邏輯機器的個別元件可以可選地分佈於二或更多個單獨裝置中，該等裝置可位於遠端及/或經配置以供協同處理。邏輯機器的態樣可藉由遠端可存取的、聯網的計算裝置來虛擬化及執行，該等計算裝置係以雲端計算配置來配置。

各指令儲存機器122包括經配置以保持指令的一或更多個實體裝置，該等指令可由相關聯之邏輯機器120所執行以實施本文中所描述的方法及程序。當這樣的方法及程序被實施時，指令儲存機器的狀態可被轉換(例如用以保持不同資料)。指令儲存機器可包括可移除式及/或內建裝置；該等裝置除其他物外可包括光學記憶體(例如CD、DVD、HD-DVD、藍光光碟...等等)、半導體記憶體(例如RAM、EPROM、EEPROM...等等)及/或磁式記憶體(例如硬碟驅動器、軟碟驅動器、磁帶驅動器、MRAM...等等)。指令儲存機器可包括依電性、非依電性、動態、靜態、讀取/寫入、唯讀、隨機存取、順序存取、位置可定址、檔案可定址及/或內容可定址裝置。

將理解的是，各指令儲存機器122包括一或更多個實體裝置。然而，本文中所描述之指令的態樣可替代性地由通訊媒體(例如電磁訊號、光學訊號...等等)所傳播，該等通訊媒體在有限期間內非由實體裝置所保持。

邏輯機器(或多個)及指令儲存機器(或多個)的態樣可一起整合成一或更多個硬體邏輯元件。這樣的硬體邏輯元件可包括場效可編程閘極陣列(FPGA)、程式特定及應用程式特定的集成電路(PASIC/ASIC)，程式特定及應用程式特定的標準產品(PSSP/ASSP)、晶片上系統(SOC)及複合可編程邏輯裝置(CPLD)，舉例而言。

用詞「模組」、「程式」及「引擎」可用以描述經實施以執行特定功能之電腦系統的態樣。在某些情況中，模組、程式或引擎可由邏輯機器所樣例化，該邏輯機器執行由指令儲存機器所保持的指令。將了解的是，不同模組、程式及/或引擎可自相同的應用程式、服務、代碼、方塊、物件、程序庫、常式、API、功能...等等來樣例化。同樣地，相同的模組、程式及/或引擎可由不同應用程式、服務、代碼、方塊、物件、常式、API、功能...等等所樣例化。用詞「模組」、「程式」及「引擎」可包括個別的或群組的可執行檔案、資料檔案、程序庫、驅動器、腳本、資料庫記錄...等等。

通訊系統124可經配置以可通訊地將電腦系統耦合至一或更多個其他機器。通訊系統可包括與一或更多個不同的通訊協定相容的有線及/或無線通訊裝置。作為非限制性示例，通訊系統可經配置以供透過無線電話網路、或有線或無線區域或廣域網路來進行通訊。在某些實施例中，通訊系統可允許計算機器透過網路(例如網際網路)向及/或自其他裝置發送及/或接收信息。

將了解的是，本文中所描述的配置及/或方法本質上係示例性的，且這些特定實施例或示例要不以限制性的意義來考慮，因為許多變化是可能的。本文中所描述的特定常式或方法可代表任何數量之處理策略中的一或更多者。如此，可以所繪示的及/或所描述的順序、以其他順序、平行地來執行或忽略所繪示及/或描述的各種動作。同樣地，上述程序的順序可被改變。

本揭露的申請標的包括所有新穎的及非顯而易見的各種程序、系統及配置的組合及子組合、及本文中所揭露的其他特徵、功能、動作及/或屬性、以及其之任何及所有等效物。