TW201544996A - 用於一或更多使用者的凝視追蹤 - Google Patents

用於一或更多使用者的凝視追蹤 Download PDF

Info

Publication number
TW201544996A
TW201544996A TW104112929A TW104112929A TW201544996A TW 201544996 A TW201544996 A TW 201544996A TW 104112929 A TW104112929 A TW 104112929A TW 104112929 A TW104112929 A TW 104112929A TW 201544996 A TW201544996 A TW 201544996A
Authority
TW
Taiwan
Prior art keywords
eye
user
camera
time
gaze tracking
Prior art date
Application number
TW104112929A
Other languages
English (en)
Inventor
Vaibhav Thukral
Ibrahim Eden
Shivkumar Swaminathan
David Nister
Morgan Venable
Original Assignee
Microsoft Technology Licensing Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing Llc filed Critical Microsoft Technology Licensing Llc
Publication of TW201544996A publication Critical patent/TW201544996A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

提供用於一或更多個使用者的凝視追蹤的一或更多個技術及/或系統。使用者追蹤部件(例如,深度相機(depth camera)或相對低解析度相機)可用於取得使用者的使用者追蹤資料。評估使用者追蹤資料,以識別使用者的空間位置。可依據具有對應於使用者的空間位置的視錐的眼拍攝相機,從眼拍攝相機配置中選擇眼拍攝相機(如相對高解析度相機)。可調用眼拍攝相機,以取得使用者的眼區域的圖像。將眼拍攝相機配置中的其他眼拍攝相機保持在斷電狀態,以降低功率及/或頻寬消耗。凝視追蹤資訊可依據眼區域的圖像而產生,並可用於執行任務。

Description

用於一或更多使用者的凝視追蹤
本發明係關於用於一或更多使用者的凝視追蹤。
許多使用者使用計算裝置執行任務。在實例中,使用者可使用行動裝置從當前位置映射方向到遊樂園。在另一實例中,使用者可使用平板裝置閱讀書籍。各種類型的輸入(如觸控手勢、滑鼠輸入、鍵盤輸入、語音命令、動作控制等)可用於執行任務。舉例而言,物件偵測部件可經配置以視覺偵測使用者的身體移動作為輸入,以用於執行任務及/或命令。
本發明內容係提供以下面【實施方式】中進一步描述之簡化形式介紹概念之選擇。本發明內容並不意欲識別所主張之標的物之關鍵特徵或必要特徵,亦非意欲限制所主張之標的物之範圍。
在其他方面,本文提供用於凝視追蹤的一或更多個系統及/或技術。凝視追蹤部件可相關聯於使用者追蹤部件與眼拍攝相機配置。使用者可採取肯定動作,以提供選入 (opt-in)同意,以允許凝視追蹤部件執行使用者及/或其他使用者的凝視追蹤。使用者追蹤部件可包含深度相機、被動感測器、主動感測器、紅外裝置、時差測距(time of flight)裝置、相機、或任何其他類型的追蹤裝置。眼拍攝相機配置可包含複數個眼拍攝相機(如相對高解析度相機,包含窄視場鏡片)。在實例中,眼拍攝相機係根據固定視錐配置而配置,而非由於移動部及/或相關聯控制可能降低耐用性及/或增加眼拍攝相機配置的成本的搖晃(pan)/傾斜(tilt)或其他移動配置。在實例中,當不主動使用凝視追蹤時,凝視追蹤部件保持眼拍攝相機在斷電狀態(如低功率狀態或關閉狀態)(如在可由眼拍攝相機偵測到使用者時可開啟眼拍攝相機,並在不可由眼拍攝相機偵測到使用者(如由於使用者移動遠離眼拍攝相機)時可關閉眼拍攝相機),這可減少功率消耗及/或頻寬消耗。
在凝視追蹤的實例中,凝視追蹤部件可利用使用者追蹤部件,以取得使用者的使用者追蹤資料。凝視追蹤部件可評估使用者追蹤資料,以識別使用者的空間位置。可依據具有對應於空間位置的視錐的眼拍攝相機,從眼拍攝相機配置中選擇眼拍攝相機。可調用眼拍攝相機,以取得使用者的眼區域圖像。在實例中,具有不對應於空間位置的視錐的眼拍攝相機可斷電或保持在斷電狀態。凝視追蹤部件可依據眼區域圖像產生使用者的凝視追蹤資訊。可依據凝視追蹤資訊執行各種任務(例如,可執行電視遊戲命令、可促進與使用者介面互動、可打開檔案、可執行應用程式、可播放歌曲、 可播放電影、及/或可執行各種其他計算命令)。在實例中,凝視追蹤部件可經配置以同時追踪由使用者追蹤部件偵測到的多個使用者的凝視追蹤資訊。
為實現前述與相關目的,以下描述與隨附圖式闡述一些說明性態樣與實現。這些係指示可採用一或更多個態樣的各種方法之一小部分。當結合隨附圖式考慮時,本發明之其他態樣、優點與新穎特徵將由於下列詳細描述而變得顯而易見。
100‧‧‧方法
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
112‧‧‧步驟
114‧‧‧步驟
200‧‧‧實例
201‧‧‧凝視追蹤系統
202‧‧‧第一眼拍攝相機
204‧‧‧第二眼拍攝相機
206‧‧‧第三眼拍攝相機
208‧‧‧第四眼拍攝相機
210‧‧‧第五眼拍攝相機
212‧‧‧使用者追蹤部件
214‧‧‧凝視追蹤部件
216‧‧‧第一視錐
218‧‧‧第二視錐
220‧‧‧第三視錐
222‧‧‧第四視錐
224‧‧‧第五視錐
230‧‧‧實例
232‧‧‧第一使用者
234‧‧‧開啟
240‧‧‧實例
242‧‧‧斷電
244‧‧‧開啟
250‧‧‧實例
252‧‧‧開啟
260‧‧‧實例
262‧‧‧第二使用者
270‧‧‧實例
272‧‧‧斷電
274‧‧‧斷電
278‧‧‧開啟
280‧‧‧斷電
300‧‧‧實例
302‧‧‧凝視追蹤資訊
304‧‧‧凝視追蹤部件
306‧‧‧移動化身向上及向右電視遊戲指令
308‧‧‧冒險電視遊戲
310‧‧‧化身
312‧‧‧向上及向右移動
320‧‧‧實例
322‧‧‧第二凝視追蹤資訊
324‧‧‧移動化身向下電視遊戲命令
326‧‧‧向下移動
400‧‧‧實施
402‧‧‧方法
404‧‧‧電腦指令組
406‧‧‧電腦可讀取資料
408‧‧‧電腦可讀取媒體
500‧‧‧系統
512‧‧‧計算裝置
514‧‧‧虛線
516‧‧‧處理單元
518‧‧‧記憶體
520‧‧‧儲存
522‧‧‧輸出裝置
524‧‧‧輸入裝置
526‧‧‧通訊連接
528‧‧‧網路
530‧‧‧計算裝置
第1圖係為圖示凝視追蹤的示例性方法的流程圖。
第2A圖係為圖示用於凝視追蹤的示例性系統的部件方塊圖。
第2B圖係為圖示用於凝視追蹤的示例性系統的部件方塊圖,其中凝視追蹤部件利用使用者追蹤部件,以取得第一使用者的第一使用者追蹤資料。
第2C圖係為圖示用於凝視追蹤的示例性系統的部件方塊圖,其中凝視追蹤部件利用一或更多個眼拍攝相機,以用於凝視追蹤。
第2D圖係為圖示用於凝視追蹤的示例性系統的部件方塊圖,其中凝視追蹤部件利用一或更多個眼拍攝相機,以用於凝視追蹤。
第2E圖係為圖示用於凝視追蹤的示例性系統的部件方塊圖,其中凝視追蹤部件選擇性利用一或更多個眼拍攝相機,以用於多個使用者的凝視追蹤。
第2F圖係為圖示用於凝視追蹤的示例性系統的部件方塊圖,其中凝視追蹤部件選擇性利用一或更多個眼拍攝相機,以用於多個使用者的凝視追蹤。
第3A圖係為依據第一使用者的凝視追蹤資訊執行第一任務的實例的圖示。
第3B圖係為依據第一使用者的凝視追蹤資訊執行第二任務的實例的圖示。
第4圖係為示例性電腦可讀取媒體之圖示,其中可包含經配置以體現本文所提供之一或更多者的處理器可執行指令。
第5圖圖示示例性計算環境,其中可實現本文所提供之一或更多者。
所要求保護之標的現在將參考附圖以描述,其中類似的元件符號通常用於指稱相同元件。在以下描述中,為了解釋之目的,闡述許多特定細節以提供對要求保護之標的之理解。然而,顯而易見的,所要求保護之標的可在沒有這些特定細節的情況下實施。在其他情況下,結構與裝置係以方塊圖形式圖示,以便於描述所要求保護之標的。
本文提供用於凝視追蹤的一或更多個技術及/或系統。使用者追蹤部件可用於取得一或更多個使用者的使用者追蹤資料(例如,使用者提供凝視追蹤的選入同意)。當使用者經識別為在對應於眼拍攝照相機的視錐的空間位置中時,可調用眼拍攝相機,以取得使用者的眼區域圖像。眼區域圖 像可用於產生凝視追蹤資訊,凝視追蹤資訊可用於執行各種任務,如打開檔案、執行應用程式、控制電視遊戲、及/或與使用者介面互動。當不主動追蹤使用者時,眼拍攝相機可保持在斷電狀態(如關閉),這可減少功率及/或頻寬消耗。在實例中,可同時產生及/或追蹤多個使用者的凝視追蹤資訊(例如,第一使用者可使用眼睛命令控制電視遊戲的第一化身,而第二使用者可同時使用眼睛命令控制電視遊戲中的第二化身)。
凝視追蹤的實施例係由第1圖的示例性方法100所圖示。在102中,該方法開始。使用者追蹤部件可經配置以追蹤一或更多個使用者的空間位置。在實例中,使用者追蹤組件可包括深度相機、被動感測器、主動感測器、紅外裝置、時差測距裝置、相機、及/或任何其他追蹤裝置。眼拍攝相機配置可包含複數個眼拍攝相機,經配置以藉由拍攝使用者的眼睛描繪的圖像,以取得凝視追蹤資訊。在實例中,眼拍攝相機可具有大於使用者追蹤部件的像素解析度的像素解析度(例如,相對低解析度相機可用於追蹤使用者的空間位置,而相對高解析度相機可用於追蹤使用者的眼睛,如能夠跨過使用者的眼睛拍攝約150或更多像素的解析度(例如,在x或水平方向跨過眼睛160像素))。在實例中,眼拍攝相機配置的眼拍攝相機可根據固定視錐配置(例如,眼拍攝相機可具有固定視場及/或可具有缺少用於搖晃/傾斜相機的移動部的固定非搖晃非傾斜配置)而配置,其可減輕由搖晃/傾斜或其他可移動配置產生的成本及/或可靠性問題。在眼拍攝相機 的實例中,眼拍攝相機包含瞳孔照明結構(例如,環繞眼拍攝相機的亮瞳孔環),經配置以調用眼睛中的瞳孔回應,其可由眼拍攝相機使用凝視追蹤而偵測。在眼拍攝相機的另一實例中,LED暗瞳孔結構可開啟,以建立閃爍角膜反射,其可由眼拍攝相機使用凝視追蹤而偵測。在實例中,二或更多個眼拍攝相機可經配置以拍攝重疊視錐中之圖像,其可減輕圖像中之失真或圖像失真(例如,其在圖像邊緣可能更明顯)。在實例中,至少二個眼拍攝相機經配置以在不同深度拍攝圖像,第一眼拍攝相機可經配置以在具有第一深度的第一視錐中拍攝圖像,而第二眼拍攝相機可經配置以在具有第二深度的第二視錐中拍攝圖像,第二深度不同於第一深度。
眼拍攝相機可選擇性用於同時追蹤一或更多個使用者的凝視追蹤資訊。在實例中,當不用於凝視追蹤時,眼拍攝相機可保持在斷電狀態(例如,當使用者在眼拍攝相機的視錐中時,眼拍攝相機可開啟,以用於凝視追蹤,並當使用者離開視錐時,眼拍攝相機可斷電),其可減輕功率及/或頻寬消耗。
在104中,使用者追蹤部件可用於取得第一使用者在第一時間T1的第一使用者追蹤資料(例如,使用者可能坐在使用者追蹤部件所在的客廳的沙發上)。在106中,可評估第一使用者追蹤資料,以識別第一使用者在第一時間T1的第一空間位置(例如,客廳的沙發的空間位置)。在108中,可依據具有對應於第一空間位置的第一視錐的第一眼拍攝相機,選擇眼拍攝相機配置中的第一眼拍攝相機(例如,第一 眼拍攝相機可位於朝向使用者所坐的沙發,並因此能夠拍攝第一使用者的眼睛的圖像)。在110中,可調用第一眼拍攝相機,以取得第一使用者在第一時間T1或附近的第一眼區域圖像(例如,跨過第一使用者的至少一個眼睛約150或更多像素)。在實例中,若第一眼拍攝相機係在斷電狀態,則第一眼睛拍攝相機可開啟,並指示以拍攝可描繪第一使用者的眼睛的圖像。
在112中,可依據第一眼區域圖像(例如,第一眼區域圖像可包含複數個圖像,以指示第一使用者的瞳孔/眼移動),產生第一使用者的第一凝視追蹤資訊(例如,對應於第一時間T1)。可依據第一凝視追蹤資訊執行任務。舉例而言,第一凝視追蹤資訊可指示使用者看向左,其可映射到可執行命令,以執行任務(例如,看向左凝視輸入可映射到開車電視遊戲的車轉向左輸入;看向左凝視輸入可映射到音樂播放應用程式的播放歌曲輸入;看向左凝視輸入可映射到打字介面的退後輸入等)。應理解,可執行各種任務(例如,依據從凝視追蹤資訊中導出的類比及/或數位命令以控制電視遊戲),而僅提供一些實例。
在凝視追蹤的實例中,當使用者位於重疊視錐台中時,可依據具有對應於第一空間位置的第二視錐的第二眼拍攝相機,從眼拍攝相機配置中選擇第二眼拍攝相機(例如,使用者可以坐在對應於第一眼拍攝相機的第一視錐與第二眼拍攝相機的第二視錐之間的重疊的沙發的一部分上)。可調用第二眼拍攝相機,以取得第一使用者在第一時間T1或附近的 第二眼區域圖像。可組合第一眼區域圖像與第二眼區域圖像(例如,使用圖像拼接功能;測量組合功能、及/或任何其他技術),以產生第一凝視追蹤資訊。
隨著第一使用者環繞客廳移動(如在使用者追蹤部件的可偵測範圍中),可執行第一使用者的凝視追蹤。在實例中,使用者追蹤部件可取得指示第一使用者在第二時間T2位於第二空間位置(例如,第一使用者可能已經在客廳從沙發走到桌子)的第一使用者追蹤資料。可依據具有對應於第二空間位置的第三視錐的第三眼拍攝相機,從眼拍攝相機配置中選擇第三眼拍攝相機(例如,使用者可能走進與第三相機206相關聯的第三視錐220,如第2A圖所示)。若第一眼拍攝相機的第一視錐不對應於第二空間位置,則第一眼拍攝相機在第二時間T2或附近轉換至斷電狀態。可調用第三眼拍攝相機,以取得第一使用者在第二時間T2或附近的第三眼區域圖像處。可依據第三眼區域圖像,產生第一使用者在第二時間T2或附近的第三凝視追蹤資訊。以此方式,眼拍攝相機可選擇性開啟,以用於取得第一使用者的眼區域圖像,並可在不使用時選擇性斷電(例如,當第一使用者不在眼拍攝相機的視錐中時,眼拍攝相機可斷電)。
在實例中,可評估第一使用者的空間位置資料,以預測第一使用者的潛在新空間位置。舉例而言,先前空間位置資料可指示第一使用者在第一視錐中,但走向第二視錐(例如,因此將假設在特定時間/持續時間中進入第二視錐)。因此,(例如,稍微)在依據空間位置資料預期/預測第一使用者 進入第二視錐之前,第二眼拍攝相機可喚醒為拍攝準備狀態,以用於取得眼區域圖像。以此方式,可減輕與取得多個眼拍攝相機之間的凝視追蹤資訊相關聯的延遲。
凝視追蹤資訊可同時追蹤多個使用者。在實例中,使用者追蹤部件可用於取得第二使用者在第一時間T1的第二使用者追蹤資料。可評估第二使用者追蹤資料,以識別第二使用者在第一時間T1的空間位置。可依據具有對應於第二使用者在第一時間T1的空間位置的視錐的眼拍攝相機,從眼拍攝相機配置中選擇眼拍攝相機。可調用眼拍攝相機,以取得第二使用者在第一時間T1或附近的眼區域圖像。可依據第二使用者在第一時刻T1的眼區域圖像,產生第二使用者的凝視追蹤資訊。以此方式,可同時執行多個使用者的凝視追蹤,其可允許多個使用者執行任務(例如,第一使用者可控制電視遊戲的第一化身,而第二使用者可控制電視遊戲的第二化身)。在114中,該方法結束。
第2A-2F圖圖示用於凝視追蹤系統201的實例。第2A圖圖示凝視追蹤部件214的實例200。凝視追蹤部件214可經配置以利用使用者追蹤部件212追蹤一或更多個使用者的空間位置。凝視追蹤部件214可選擇性調用眼拍攝相機配置的眼拍攝相機,以取得使用者在不同時間的眼區域圖像,以用於凝視追蹤。在實例中,眼拍攝相機配置包含一或更多個眼拍攝相機,如經配置以從第一視錐216取得圖像的第一眼拍攝相機202、經配置以從第二視錐218中取得圖像的第二眼拍攝相機204、經配置以從第三視錐220中取得圖像的第三 眼拍攝相機206、經配置以從第四視錐222中取得圖像的第四眼拍攝相機208、經配置以從第五視錐224中取得圖像的第五眼拍攝相機210、及/或其他眼拍攝相機(例如,相對高解析度相機,如約40MP或更大的相機,包含具有水平查看約20度至約40度(例如,水平查看約22度)與垂直查看約10度至約30度(例如,垂直查看約17度)的窄視場鏡片)。在實例中,可重疊一或更多個視錐,其可減輕由眼拍攝相機取得的圖像邊緣周圍的透鏡失真。在不使用時(例如,當從使用者追蹤部件212取得的使用者追蹤資料指示使用者不在眼拍攝相機的視錐中時),眼拍攝相機可轉換至斷電狀態,其可降低功率及/或頻寬消耗。
第2B圖圖示凝視追蹤部件214的實例230,利用使用者追蹤部件212以取得第一使用者232在第一時間T1的第一使用者追蹤資料。凝視追蹤部件214可評估第一使用者追蹤資料,以識別第一使用者232在第一時間T1的第一空間位置。因為第一空間位置對應於第一眼拍攝相機202的第一視錐216,凝視追蹤部件214可開啟234第一眼拍攝相機202,並可調用第一眼拍攝相機202,以取得第一使用者232在第一時間T1或附近的第一眼區域圖像(例如,第一眼拍攝相機202可拍攝圖像,圖像包含跨過第一使用者232的至少一個眼睛約150或更多像素)。可依據第一眼區域圖像,產生第一使用者232在第一時間T1的第一凝視追蹤資訊。可依據第一凝視追蹤資訊,執行一或更多個任務(例如,第一使用者232可以眨左眼以播放歌曲)。
第2C圖圖示選擇性使用用於凝視追蹤的一或更多個眼拍攝相機的凝視追蹤部件214的實例240。凝視追蹤部件214可確定使用者追蹤部件212取得指示第一使用者232在第二時間T2位於第二空間位置的第一使用者追蹤資料。因為第二空間位置對應於第二眼拍攝相機204的第二視錐218,凝視追蹤部件214可開啟244第二眼拍攝相機204,並可調用第二眼拍攝相機204,以取得第一使用者232在第二時間T2或附近的第二眼區域圖像。可依據第二眼區域圖像,產生第一使用者232在第二時間T2的第一使用者232的第一凝視追蹤資訊。可依據第一凝視追蹤資訊執行一或更多個任務(例如,第一使用者232可眨右眼以停止播放歌曲)。因為第一使用者232在第二時間T2的第二空間位置不對應於第一眼拍攝相機202的第一視錐216,凝視追蹤部件214可將第一眼拍攝相機202斷電242到斷電狀態。
第2D圖圖示選擇性使用用於凝視追蹤的一或更多個眼拍攝相機的凝視追蹤部件214的實例250。凝視追蹤部件214可確定使用者追蹤部件212取得指示第一使用者232在第三時間T3位於第三空間位置的第一使用者追蹤資料。因為第三空間位置對應於第二眼拍攝相機204的第二視錐218與第三眼拍攝相機206的第三視錐220(例如,第一使用者232在第三時間T3的第三空間位置可對應於第二視錐218與第三視錐220之間的重疊),凝視追蹤部件214可開啟252第三眼拍攝相機206,並可調用第三眼拍攝相機206,以取得第一使用者232在第三時間T3或附近的第三眼區域圖像。在實例 中,凝視追蹤部件214可組合(如拼接)由第二眼拍攝相機204取得的第二眼區域圖像與由第三眼拍攝相機206取得的第三眼區域圖像,以產生使用者在第三時間T3的凝視追蹤資訊。可依據凝視追蹤資訊執行一或更多個任務(例如,第一使用者232可向右看,以跳到播放下一首歌曲)。
第2E圖圖示選擇性使用用於多個使用者的凝視追蹤的一或更多個眼拍攝相機的凝視追蹤部件214的實例260。在實例中,可調用第二眼拍攝相機204與第三眼拍攝相機206,以依據第一使用者232位於第二個視錐218與第三視錐220之間的重疊區域之間的空間,拍攝第一使用者232在第四時間T4的凝視追蹤資訊。凝視追蹤部件214可利用使用者追蹤部件212取得第二使用者262在第四時間T4的第二使用者追蹤資料。凝視追蹤部件214可評估第二使用者追蹤資料,以識別第二使用者262在第四時間T4的空間位置。因為空間位置對應於第五眼拍攝相機210的第五視錐224,凝視追蹤部件214可開啟262第五眼拍攝相機210,並可調用第五眼拍攝相機210,以取得第二使用者262在第四時間T4或附近的眼區域圖像。可產生第二使用者262在第四時間T4的凝視追蹤資訊。可依據第一使用者232在第四時間T4的凝視追蹤資訊代表第一使用者232執行一或更多個任務,及/或可依據第二使用者262在第四時間T4的凝視追蹤資訊代表第二使用者262執行一或更多個任務。
第2F圖圖示選擇性使用用於多個使用者的凝視追蹤的一或更多個眼拍攝相機的凝視追蹤部件214的實例 270。在實例中,使用者追蹤部件212可取得指示第一使用者232在第五時間T5位於第四空間位置中的第一使用者追蹤資料,並可取得指示第二使用者262在第五時間T5位於第五空間位置的第二使用者追蹤資料。因為第四空間位置與第五空間位置對應於第四眼拍攝相機208的第四視錐222,凝視追蹤部件214可開啟278第四眼拍攝相機208,並可調用第四眼拍攝相機208,以取得第一使用者232在第五時間T5或附近的眼區域圖像以及第二使用者262在第五時間T5或附近的眼區域圖像。依據第二視錐218、第三視錐220、及第五視錐224不對應於第四空間位置及/或第五空間位置,凝視追蹤部件可斷電272第二眼拍攝相機204,斷電274第三眼拍攝相機206,及斷電280第五眼拍攝相機210。可依據由第四眼拍攝相機208拍攝的第一使用者232與第二使用者262的眼區域圖像,產生第一使用者232在第五時間T5與第二使用者262在第五時間T5的凝視追蹤資訊。可依據第一使用者232在第五時間T5的凝視追蹤資訊代表第一使用者232執行一或更多個任務,及/或可依據第二使用者262在第五時間T5的凝視追蹤資訊代表第二使用者262執行一或更多個任務。
第3A圖圖示依據第一使用者在第一時間T1的凝視追蹤資訊302執行第一任務(如電視遊戲命令)的實例300。依據由一或更多個眼拍攝相機取得的第一使用者的眼區域圖像,凝視追蹤部件304可產生凝視追蹤資訊302。舉例而言,依據使用者追蹤部件指示第一使用者在第一時間T1的第一空間位置係在第一眼拍攝相機的第一視錐中,凝視追蹤部件304 可調用第一眼拍攝相機,以取得第一使用者在第一時間T1的第一眼區域圖像(例如,第一使用者可能向上及向右看)。凝視追蹤部件304可確定向上及向右看凝視輸入映射到冒險電視遊戲308的移動化身向上及向右電視遊戲指令306。因此,化身310可向上及向右移動312。
第3B圖圖示依據第一使用者在第二時間T2的第二凝視追蹤資訊302執行第二任務(如電視遊戲命令)的實例320。依據由一或更多個眼拍攝相機取得的第一使用者的第二眼區域圖像,凝視追蹤部件304可產生第二凝視追蹤資訊322。舉例而言,依據使用者追蹤部件指示第一使用者在第二時間T2的的第二空間位置係在第二眼拍攝相機的第二視錐中,凝視追蹤部件304可調用第二眼拍攝相機,以取得第一使用者在第二時間T2的第二眼區域圖像(例如,第一使用者可能往下看)。凝視追蹤部件304可確定向下看凝視輸入映射到冒險電視遊戲308的移動化身向下電視遊戲命令324。因此,化身310可向下移動326。
還有另一實施例涉及包含處理器可執行指令之電腦可讀取媒體,包含處理器可執行指令經配置以實施本文描述之一或更多個技術。以這些方式設計之電腦可讀取媒體或電腦可讀取裝置之示例性實施例係圖示於第4圖,其中實施400包含其上編碼電腦可讀取資料406之電腦可讀取媒體408,如CD-R、DVD-R、快閃驅動器、硬碟驅動器等。此電腦可讀取資料406(如包含零或一中之至少一者的二進制資料)亦包含電腦指令組404,電腦指令組404經配置以根據本文所述原則 之一或更多者操作。在一些實施例中,處理器可執行電腦指令404經配置以執行方法402,例如,第1圖的示例性方法100之至少一些者。在一些實施例中,處理器可執行指令404經配置以實施系統,例如,第2A-2F圖的示例性系統201的至少一些者。許多這樣的電腦可讀取媒體係藉由該領域具有通常知識者所設計,而經配置以根據本文所呈現之技術操作。
儘管實施例已經以特定結構特徵及/或方法邏輯動作之語言進行描述,但應理解,在所附專利申請範圍中定義之標的不限於特定特徵或動作。反之,特定特徵與動作係揭示以作為實現專利申請範圍的至少一些者的示例性形式。
如本申請中所使用之術語「部件」、「模組」、「系統」、「介面」及/或類似者通常意欲表示電腦相關之實體,或硬體、硬體與軟體之組合、軟體或執行中之軟體。舉例而言,部件可以,但不限於,處理器上運行之處理、處理器、物件、可執行文件、執行線程、程式及/或電腦。藉由說明之方式,控制器上運行之應用程式與控制器皆可以是部件。一或更多個部件可駐留在處理及/或執行線程中,而部件可位於一個電腦及/或分佈於二或更多個電腦間。
此外,所要求保護之標的可實施為使用標準程式化及/或工程技術以產生軟體、韌體、硬體或其任何組合以控制電腦實施所揭示標的之方法、設備或製造製品。如本文所使用之術語「製造製品」意欲在涵蓋可從任何電腦可讀取裝置、載體或媒體存取之電腦程式。當然,在不悖離所要求保護之標的之範圍或精神,可對此配置進行許多修改。
第5圖與下面的討論係提供實施本文所闡述一或更多個規定之實施例之適合計算環境的一般簡要描述。第5圖之操作環境僅為適合操作環境之一個例子,並不意欲建議任何對操作環境之使用或功能之範圍之限制。示例性計算裝置包括但不限於個人電腦、伺服器電腦、手持式或膝上型裝置、行動式裝置(如行動式電話、個人數位助理(PDA)、媒體播放器及類似物)、多處理器系統、消費電子產品、小型電腦、大型電腦、包括任何以上系統或裝置之分佈式計算環境,及類似物。
儘管並非必要,實施例係以藉由一或更多個計算裝置執行之「電腦可讀取指令」之一般上下文所描述。電腦可讀取指令可經由電腦可讀取媒體(下面討論)進行分佈。電腦可讀取指令可實施為程式模組,如功能、物件、應用程式介面(API)、資料結構及類似物,而實行特定任務或實施特定抽象資料類型。通常電腦可讀取指令之功能可隨著需求而組合或分佈於各種環境中。
第5圖圖示系統500之例子,系統500包含經配置以實施本文所提供之一或更多個實施例之計算裝置512。在一個配置中,計算裝置512包含至少一個處理單元516與記憶體518。根據計算裝置之確切配置與類型,記憶體518可為揮發性(例如,RAM)、非揮發性(例如,ROM、快閃記憶體等)、或兩者之一些組合。此配置係藉由虛線514圖示於第5圖中。
在其他實施例中,裝置512可包括附加特徵及/或功 能。舉例而言,裝置512亦可包括附加儲存(例如,可移除及/或不可移除),包括但不限於,磁儲存、光儲存及類似物。這樣的附加儲存係藉由儲存520圖示於第5圖中。在一個實施例中,實施本文所提供之一或更多個實施例之電腦可讀取指令可在儲存520中。儲存520亦可儲存其他電腦可讀取指令以實施操作系統、應用程式及類似物。舉例而言,電腦可讀取指令可以加載於記憶體518中,以用於藉由處理單元516執行。
如本文所使用之術語「電腦可讀取媒體」包括電腦儲存媒體。電腦儲存媒體包括用於以任何方法或技術實施儲存資訊(如電腦可讀取指令或其他資料)之揮發性及非揮發性、可移除及不可移除媒體。記憶體518與儲存520係為電腦儲存媒體的例子。電腦儲存媒體包括但不限於RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能磁碟(DVD)或其他光學儲存、磁帶盒、磁帶、磁碟儲存或其他磁儲存裝置,或可用於儲存所需資訊並可由裝置512存取之任何其他媒體。然而,電腦儲存媒體不包括傳播訊號。反之,電腦儲存媒體排除傳播訊號。任何這樣的電腦儲存媒體可為裝置512之部分。
裝置512亦可包括通訊連接526,以允許裝置512與其他裝置通訊。通訊連接526可包括但不限於數據機、網路介面卡(NIC)、整合網路介面、射頻發射器/接收器、紅外線埠、USB連接,或用於將計算裝置512連接至其他計算裝置之其他介面。通訊連接526可包括有線連接或無線連接。 通訊連接526可發射及/或接收通訊媒體。
術語「電腦可讀取媒體」可包括通訊媒體。通訊媒體通常包含「調製資料訊號」中之電腦可讀取指令或其他資料,例如載波或其他傳輸機制,並包括任何資訊傳遞媒體。術語「調製資料訊號」可包括具有其特性以這樣的方式設置或改變而在訊號中編碼資訊之一或更多者。
裝置512可包括輸入裝置524,如鍵盤、滑鼠、筆、語音輸入裝置、觸控輸入裝置、紅外線相機、視訊輸入裝置及/或任何其他輸入裝置。輸出裝置522(如一或更多個顯示器、喇叭、印表機及/或任何其他輸出裝置)亦可包括於裝置512中。輸入裝置524與輸出裝置522可經由有線連接、無線連接或其任意組合連接至裝置512。在一個實施例中,輸入裝置或來自另一計算裝置之輸出裝置可用作輸入裝置524,或計算裝置512之輸出裝置522。
計算裝置512之部件可藉由各種互連(如匯流排)連接。這樣的互連可包括週邊組件互連(PCI),如PCI Express、通用串列匯流排(USB)、火線(IEEE 1394)、光學匯流排結構及類似物。在另一實施例中,計算裝置512之部件可藉由網路互連。舉例而言,記憶體518可藉由網路互連之位於不同實體位置之多個實體記憶體單元組成。
該領域具有通常知識者將理解用於儲存電腦可讀取指令之儲存裝置可分佈在網路上。舉例而言,可經由網路528存取之計算裝置530可儲存電腦可讀取指令以實施本文所提供之一或更多個實施例。計算裝置512可存取計算裝置530, 並下載用於執行之電腦可讀取指令之部分或全部。或者,計算裝置512可根據需要下載電腦可讀取指令之片段,或者一些指令可在計算裝置512執行,而一些在計算裝置530執行。
本文提供實施例之各種操作。在一個實施例中,所描述之操作之一或更多者可組成儲存於一或更多個電腦可讀取媒體上之電腦可讀取指令,若藉由計算裝置執行時將造成計算裝置實行所描述之操作。所述之一些或全部操作之順序不應解釋為暗示這些操作一定為順序相關。瞭解此敘述益處之該領域具有通常知識者將理解替換順序。此外,將理解並非所有操作都必須存在於本文所提供之每一實施例。此外,應理解,在一些實施例中,並非所有的操作皆為必要。
此外,除非另有規定,「第一」、「第二」及/或類似者並不意欲暗示時間態樣、空間態樣、順序等。反之,這些術語僅用作特徵、元件、產品等之標識符、名稱等。舉例而言,第一物件與第二物件通常對應於物件A與物件B,或二個不同或二個等同物件或相同物件。
此外,「示例性」在本文中係用於表示為例子、實例,圖示等,而不一定為優點。如本文所用之「或」意欲表示包含性之「或」而非排他性之「或」。此外,除非另有指明或明確從上下文可指向單數形式,本申請案所使用之「一」與「一個」通常解釋為表示「一或更多個」。另外,與A與B及/或類似物之至少一者通常表示A或B及/或A與B兩者。此外,「包括」、「具有」、「與」及/或其變形之情況係用於實施方式或專利申請範圍中,這些術語意欲包含類似於術 語「包含」之方式。
另外,儘管本揭示已示出並相對於一或更多個實施描述,該領域具有通常知識者可依據對此說明書與隨附圖式之閱讀及理解而做出等效替換及修改。本揭示包括所有這些修改與替換,並僅由隨附申請專利範圍而限定。特別是對於由上述部件(例如,元件、資源等)實行之各種功能,用於描述這些部件之術語意欲對應(除非另有說明)實行所述部件之特定功能之任何部件(例如,功能上等效),即使結構不等同於所揭示之結構。此外,儘管本揭示之特定特徵可能已揭示數個實施中之單一者,隨著可能為任何給定或特定應用之期望及優點,這樣的特徵可以與其他實施之一或更多個其他特徵相結合。
100‧‧‧方法
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
112‧‧‧步驟
114‧‧‧步驟

Claims (20)

  1. 一種用於凝視追蹤的系統,包含:一凝視追蹤部件,經配置以:利用一使用者追蹤部件取得一第一使用者在一第一時間T1的第一使用者追蹤資料;評估該第一使用者追蹤資料,以識別該第一使用者在該第一時間T1的一第一空間位置;依據具有對應於該第一空間位置的一第一視錐的一第一眼拍攝相機,從一眼拍攝相機配置中選擇該第一眼拍攝相機,該眼拍攝相機配置包含具有一固定視錐配置的複數個眼拍攝相機;調用該第一眼拍攝相機,以取得該第一使用者在該第一時間T1的第一眼區域圖像;以及依據該第一眼區域圖像,產生該第一使用者在該第一時間T1的第一凝視追蹤資訊。
  2. 如請求項1所述之系統,該凝視追蹤部件經配置以:依據該第一凝視追蹤資訊,執行一任務。
  3. 如請求項1所述之系統,該凝視追蹤部件經配置以:預測該第一使用者的一潛在新空間位置;以及回應於該潛在新空間位置對應於眼拍攝相機的一第二視錐,該第二眼拍攝相機可喚醒為一拍攝準備狀態,以用於取得眼區域圖像。
  4. 如請求項1所述之系統,該凝視追蹤部件經配置以:依據具有不對應於該第一空間位置的視錐的一或更多個眼拍攝相機,保持該眼拍攝相機配置中之該一或更多個眼拍攝相機在該第一時間T1為一斷電狀態。
  5. 如請求項1所述之系統,該凝視追蹤部件經配置以:回應於該第一使用者追蹤資料指示該第一使用者在一第二時間T2位於該第一視錐不對應的一第二空間位置,在該第二時間T2將該第一眼拍攝相機轉換至一斷電狀態。
  6. 如請求項1所述之系統,該凝視追蹤部件經配置以:依據具有對應於該第一空間位置的一第二視錐的一第二眼拍攝相機,從該眼拍攝相機配置中選擇該第二眼拍攝相機;調用該第二眼拍攝相機,以取得該第一使用者在該第一時間T1的第二眼區域圖像;以及結合該第一眼區域圖像與該第二眼區域圖像,以產生該第一凝視追蹤資訊。
  7. 如請求項1所述之系統,該凝視追蹤部件經配置以:回應於該第一使用者追蹤資料指示該第一使用者在一第二時間T2位於一第二空間位置中:依據具有對應於該第二空間位置的一第二視錐的一第二眼拍攝相機,從該眼拍攝相機配置中選擇該第二眼拍 攝相機;依據該第一視錐不對應於該第二空間位置,在第二時間T2將該第一眼拍攝相機轉換至一斷電狀態;調用該第二眼拍攝相機,以取得該第一使用者在該第二時間T2的第二眼區域圖像;以及依據該第二眼區域圖像,產生該第一使用者在該第二時間T2的第二凝視追蹤資訊。
  8. 如請求項1所述之系統,該凝視追蹤部件經配置以:利用該使用者追蹤部件取得一第二使用者在該第一時間T1的第二使用者追蹤資料;評估該第二使用者追蹤資料,以識別該第二使用者在該第一時間T1的一第二空間位置;依據具有對應於該第二空間位置的一第二視錐的一第二眼拍攝相機,從該眼拍攝相機配置中選擇該第二眼拍攝相機;調用該第二眼拍攝相機,以取得該第二使用者在該第一時間T1的第二眼區域圖像;以及依據該第二眼區域圖像,產生該第二使用者在該第一時間T1的第二凝視追蹤資訊。
  9. 如請求項8所述之系統,該凝視追蹤部件經配置以:同時追蹤該第一使用者的該第一凝視追蹤資訊與該第二使用者的該第二凝視追蹤資訊。
  10. 如請求項1所述之系統,其中第一眼拍攝相機具有一第一解析度,該第一解析度大於該使用者追蹤部件的一第二解析度。
  11. 如請求項1所述之系統,該凝視追蹤部件經配置以:選擇性使用該眼拍攝相機配置中的眼拍攝相機,以同時追蹤一或更多個使用者的凝視追蹤資訊。
  12. 如請求項1所述之系統,該凝視追蹤部件經配置以:開啟該第一眼拍攝相機的一瞳孔照明結構,以調用該第一眼拍攝相機,以取得該第一眼區域圖像。
  13. 如請求項1所述之系統,該凝視追蹤部件經配置以:開啟一LED暗瞳孔結構;以及調用該第一眼拍攝相機,以拍攝由該LED暗瞳孔結構導致的閃爍角膜反射資料,以取得該第一眼區域圖像。
  14. 如請求項1所述之系統,該使用者追蹤部件包含下列至少一者:一深度相機、一被動感測器、一主動感測器、一紅外裝置、一時差測距(time of flight)裝置、或一相機。
  15. 如請求項1所述之系統,其中該眼拍攝相機配置中的該等眼拍攝相機中之至少一者具有一水平查看約20度至約40 度與一垂直查看約10度至約30度的視錐。
  16. 一種用於凝視追蹤的方法,包含以下步驟:利用一使用者追蹤部件取得一第一使用者在一第一時間T1的第一使用者追蹤資料;評估該第一使用者追蹤資料,以識別該第一使用者在該第一時間T1的一第一空間位置;依據具有對應於該第一空間位置的一第一視錐的一第一眼拍攝相機,從一眼拍攝相機配置中選擇該第一眼拍攝相機,該眼拍攝相機配置包含具有一固定視錐配置的複數個眼拍攝相機;調用該第一眼拍攝相機,以取得該第一使用者在該第一時間T1的第一眼區域圖像;以及依據該第一眼區域圖像,產生該第一使用者在該第一時間T1的第一凝視追蹤資訊。
  17. 如請求項16所述之方法,包含以下步驟:依據具有不對應於該第一空間位置的視錐的一或更多個眼拍攝相機,保持該眼拍攝相機配置中之該一或更多個眼拍攝相機在該第一時間T1為一斷電狀態。
  18. 如請求項16所述之方法,包含以下步驟:回應於該第一使用者追蹤資料指示該第一使用者在一第二時間T2位於一第二空間位置中: 依據具有對應於該第二空間位置的一第二視錐的一第二眼拍攝相機,從該眼拍攝相機配置中選擇該第二眼拍攝相機;依據該第一視錐不對應於該第二空間位置,在第二時間T2將該第一眼拍攝相機轉換至一斷電狀態;調用該第二眼拍攝相機,以取得該第一使用者在該第二時間T2的第二眼區域圖像;以及依據該第二眼區域圖像,產生該第一使用者在該第二時間T2的第二凝視追蹤資訊。
  19. 如請求項16所述之方法,包含以下步驟:利用該使用者追蹤部件取得一第二使用者在該第一時間T1的第二使用者追蹤資料;評估該第二使用者追蹤資料,以識別該第二使用者在該第一時間T1的一第二空間位置;依據具有對應於該第二空間位置的一第二視錐的一第二眼拍攝相機,從該眼拍攝相機配置中選擇該第二眼拍攝相機;調用該第二眼拍攝相機,以取得該第二使用者在該第一時間T1的第二眼區域圖像;以及依據該第二眼區域圖像,產生該第二使用者在該第一時間T1的第二凝視追蹤資訊。
  20. 一種包含指令的電腦可讀取媒體,當執行該等指令時,實行用於同時追蹤多個使用者的凝視追蹤資訊的方法,包含 以下步驟:追蹤一第一使用者,包含以下步驟:利用一使用者追蹤部件取得一第一使用者在一第一時間T1的第一使用者追蹤資料;評估該第一使用者追蹤資料,以識別該第一使用者在該第一時間T1的一第一空間位置;依據具有對應於該第一空間位置的一第一視錐的一第一眼拍攝相機,從一眼拍攝相機配置中選擇該第一眼拍攝相機,該眼拍攝相機配置包含具有一固定視錐配置的複數個眼拍攝相機;調用該第一眼拍攝相機,以取得該第一使用者在該第一時間T1的第一眼區域圖像;以及依據該第一眼區域圖像,產生該第一使用者在該第一時間T1的第一凝視追蹤資訊;以及當追蹤該第一使用者時,同時追蹤一第二使用者,包含以下步驟:利用該使用者追蹤部件取得一第二使用者在該第一時間T1的第二使用者追蹤資料;評估該第二使用者追蹤資料,以識別該第二使用者在該第一時間T1的一第二空間位置;依據具有對應於該第二空間位置的一第二視錐的一第二眼拍攝相機,從該眼拍攝相機配置中選擇該第二眼拍攝相機;調用該第二眼拍攝相機,以取得該第二使用者在該第 一時間T1的第二眼區域圖像;以及依據該第二眼區域圖像,產生該第二使用者在該第一時間T1的第二凝視追蹤資訊。
TW104112929A 2014-05-30 2015-04-22 用於一或更多使用者的凝視追蹤 TW201544996A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/291,254 US20150346814A1 (en) 2014-05-30 2014-05-30 Gaze tracking for one or more users

Publications (1)

Publication Number Publication Date
TW201544996A true TW201544996A (zh) 2015-12-01

Family

ID=53373617

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104112929A TW201544996A (zh) 2014-05-30 2015-04-22 用於一或更多使用者的凝視追蹤

Country Status (5)

Country Link
US (1) US20150346814A1 (zh)
EP (1) EP3149559A1 (zh)
CN (1) CN106662916A (zh)
TW (1) TW201544996A (zh)
WO (1) WO2015183766A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI730227B (zh) * 2017-04-20 2021-06-11 大陸商上海耕岩智能科技有限公司 一種眼球追蹤操作的方法和裝置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170064209A1 (en) * 2015-08-26 2017-03-02 David Cohen Wearable point of regard zoom camera
US10397546B2 (en) 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
US9799161B2 (en) * 2015-12-11 2017-10-24 Igt Canada Solutions Ulc Enhanced electronic gaming machine with gaze-aware 3D avatar
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US11153465B2 (en) * 2017-06-21 2021-10-19 Dell Products L.P. System and method of processing video of a tileable wall
US10585277B2 (en) * 2017-08-31 2020-03-10 Tobii Ab Systems and methods for tracking a gaze of a user across a multi-display arrangement
JP7223303B2 (ja) * 2019-03-14 2023-02-16 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2020209491A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
CN110171427B (zh) * 2019-05-30 2020-10-27 北京七鑫易维信息技术有限公司 视线追踪的方法、装置及系统
FR3099837A1 (fr) * 2019-08-09 2021-02-12 Orange Etablissement d’une communication par analyse des mouvements oculaires
US11382713B2 (en) * 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US20230308505A1 (en) * 2022-03-22 2023-09-28 Microsoft Technology Licensing, Llc Multi-device gaze tracking

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155719C (en) * 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
GB2378339A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Predictive control of multiple image capture devices.
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US7878910B2 (en) * 2005-09-13 2011-02-01 Igt Gaming machine with scanning 3-D display system
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US8462949B2 (en) * 2007-11-29 2013-06-11 Oculis Labs, Inc. Method and apparatus for secure display of visual content
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
EP2236074B1 (en) * 2009-04-01 2021-05-26 Tobii AB Visual display with illuminators for gaze tracking
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US20130201344A1 (en) * 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
CN103999032B (zh) * 2011-12-12 2018-01-26 英特尔公司 显示元素中所包括的感兴趣的区域的兴趣度分数
EP2699022A1 (en) * 2012-08-16 2014-02-19 Alcatel Lucent Method for provisioning a person with information associated with an event
US20140058241A1 (en) * 2012-08-22 2014-02-27 Ross Apparies Method and Apparatus for Assessing Neurocognitive Status

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI730227B (zh) * 2017-04-20 2021-06-11 大陸商上海耕岩智能科技有限公司 一種眼球追蹤操作的方法和裝置

Also Published As

Publication number Publication date
WO2015183766A1 (en) 2015-12-03
EP3149559A1 (en) 2017-04-05
US20150346814A1 (en) 2015-12-03
CN106662916A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
TW201544996A (zh) 用於一或更多使用者的凝視追蹤
KR102449872B1 (ko) 촬영 디바이스 및 그 제어 방법
AU2014275189B2 (en) Manipulation of virtual object in augmented reality via thought
EP3005682B1 (en) Manipulation of virtual object in augmented reality via intent
CN106134176B (zh) 用于多焦点成像的系统和方法
US20140145935A1 (en) Systems and methods of eye tracking control on mobile device
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
ES2943093T3 (es) Método y dispositivo electrónico para grabar video
JP2017518664A (ja) モバイルコンピューティングデバイスの配置及び定位を容易にするマウント
JP6127839B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107613283B (zh) 视频中的基于对象或区域的聚焦控制
WO2019109778A1 (zh) 游戏对局结果的展示方法、装置及终端
US20150227197A1 (en) Information processing apparatus, information processing method, and program
CN107409131B (zh) 用于无缝数据流送体验的技术
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
US10818057B2 (en) Spherical content editing method and electronic device supporting same
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
CN111045511A (zh) 基于手势的操控方法及终端设备
CN109618192B (zh) 播放视频的方法、装置、系统和存储介质
WO2022089152A1 (zh) 确定选中目标的方法、装置、设备及存储介质
KR20160106653A (ko) 조정된 스피치 및 제스처 입력
CN113269877B (zh) 获取房间布局平面图的方法和电子设备
JP2011186636A (ja) 情報処理装置および方法、並びにプログラム
WO2019211936A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CA2935233A1 (en) Universal capture