TWI622901B - 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體 - Google Patents

使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI622901B
TWI622901B TW104112090A TW104112090A TWI622901B TW I622901 B TWI622901 B TW I622901B TW 104112090 A TW104112090 A TW 104112090A TW 104112090 A TW104112090 A TW 104112090A TW I622901 B TWI622901 B TW I622901B
Authority
TW
Taiwan
Prior art keywords
user
media
reference frame
gaze
image
Prior art date
Application number
TW104112090A
Other languages
English (en)
Other versions
TW201543275A (zh
Inventor
哈羅德Ｓ 馬可
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201543275A publication Critical patent/TW201543275A/zh
Application granted granted Critical
Publication of TWI622901B publication Critical patent/TWI622901B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文範例係針對使用媒體中參考圖框之目光檢測器。其中一範例包括於一顯示器上呈現的媒體圖框之間以一第一頻率插入參考圖框、分析該等參考圖框之反射影像、以及基於來自一使用者之參考圖框的反射而決定由一使用者檢視之一媒體部分。

Description

使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
本發明係有關於使用媒體中參考圖框之目光檢測器。
發明背景
許多實例中，使用者使用由其手部、手指、等等控制之輸入裝置(例如，一滑鼠、一鍵盤、一軌跡球、一觸控螢幕、等等)來控制電子裝置(例如，電腦、平板電腦、膝上型電腦、行動電話、等等)。某些範例中，眼睛追蹤系統可用來控制電子裝置。該類範例中，該電子裝置可包括或使用決定該使用者之一目光方向的一目光檢測系統。
依據本發明之一實施例，係特地提出一種裝置，包含有：一用來將參考圖框插入媒體之參考圖框管理器，該參考圖框以一第一頻率呈現在該媒體之媒體圖框間；一用來識別一鏡頭擷取之影像的影像管理器，該等影像包含來自一使用者之參考圖框的反射；以及一目光分析器，其基於該等反射影像而決定該使用者檢視之一媒體部分。
100‧‧‧目光檢測系統
110‧‧‧目光檢測器
120、1020‧‧‧演示裝置
130、1030‧‧‧媒體裝置
140、240‧‧‧鏡頭
200‧‧‧平板電腦
201、1000‧‧‧使用者
220‧‧‧觸控螢幕顯示器
250、400A、400B、1140‧‧‧參考圖框
310‧‧‧參考圖框管理器
320‧‧‧影像管理器
330、1230‧‧‧目光分析器
340、850‧‧‧通訊匯流排
410、630、640、910、1010、1120、 1130‧‧‧照明點、參考圖框
420‧‧‧背景
510‧‧‧媒體分析器
520‧‧‧參考圖框產生器
530‧‧‧顯示控制器
610‧‧‧第一媒體圖框
620‧‧‧第二媒體圖框
710‧‧‧鏡頭介面
720‧‧‧影像濾光器
730‧‧‧影像編輯器
810‧‧‧影像分析器
820‧‧‧目光方向計算器
830‧‧‧媒體比較器
840‧‧‧條件分析器
900‧‧‧眼睛
920‧‧‧瞳孔
930‧‧‧虹膜
1002、1004、1006‧‧‧圖框
1008‧‧‧物件
1050‧‧‧特別位置
1100‧‧‧頭部、使用者
1110‧‧‧流漿箱
1200、1300‧‧‧程式
1210、1220、1230、1310、1320、1330、1340、1350、1360、1370‧‧‧方塊
1400‧‧‧處理器平台
1412‧‧‧處理器
1413‧‧‧局部記憶體
1414‧‧‧依電性記憶體
1416‧‧‧非依電性記憶體
1418‧‧‧匯流排
1420‧‧‧介面電路
1422‧‧‧輸入裝置
1424‧‧‧輸出裝置
1426‧‧‧網路
1428‧‧‧大量儲存裝置
1432‧‧‧編碼指令
T1、T2、T3‧‧‧時間
圖1為一包括根據本揭示內容之教示建構的一示範目光檢測器之一目光檢測系統的示意圖。
圖2繪示根據本揭示內容之教示，將資訊提供至可由圖1之目光檢測器執行的一示範目光檢測器，以決定一目光方向及/或由一使用者檢視之一媒體部分之三個事件。
圖3為一可用來執行圖1之目光檢測器的一示範目光檢測器之方塊圖。
圖4A至4B繪示可由圖1及/或3之目光檢測器使用的示範參考圖框。
圖5為一可由圖1及/或3之目光檢測器執行的示範參考圖框管理器之方塊圖。
圖6A至6B繪示可為由圖1及/或3之目光檢測器使用的候選參考圖框之媒體圖框的範例。
圖7為一可由圖1及/或3之目光檢測器執行的一示範影像管理器之方塊圖。
圖8為一可由圖1及/或3之目光檢測器執行的一示範目光分析器之方塊圖。
圖9A至9C繪示可由圖1及/或3之目光檢測器分析的一使用者眼睛之示範影像。
圖10繪示一使用者檢視可由圖1及/或3之目光檢測器使用的三個示範顯示器圖框。
圖11A至11C繪示可由圖1及/或3之目光檢測器使用的示範使用者頭部位置與對應參考圖框。
圖12為一表示可實施來執行圖1及/或3之目光檢 測器及/或圖5、7、及/或8之目光檢測器的元件之示範機器可讀指令的流程圖。
圖13為另一表示可實施來執行圖1及/或3之目光 檢測器、及/或圖5、7、及/或8之目光檢測器的示範機器可讀指令之流程圖。
圖14為一能夠執行圖12及/或13之指令以實施圖1 及/或3之目光檢測器110、及/或圖5、7、及/或8之目光檢測器元件的一處理器平台之方塊圖。
較佳實施例之詳細說明
示範眼睛追蹤系統及/或目光檢測系統可在相對一鏡頭之已知位置、亦可在一固定、已知位置(例如一頭部安裝裝置上及/或一裝置之一遠端系統上)提供固定的照明點(例如，紅外線發光二極體(LED))。該類範例中，一鏡頭影像可檢測一使用者眼睛中之該等照明點的一反射、以及基於該等照明點及/或鏡頭的已知位置之計算來決定該目光方向。
本文揭示之範例中，一目光檢測器可提供透過一演示裝置上呈現之參考圖框來將針對照明點之動態使用賦能。因此，本文揭示之範例允許根據本揭示內容之教示建構的一目光檢測器來基於一環境及/或一使用者之頭部位置調整照明點以決定該使用者之一目光方向。本文揭示之範例包含使用一演示裝置，其將媒體呈現至插入該演示裝置 上呈現之媒體的圖框間之參考圖框上的目前照明點。
一種示範裝置包括一參考圖框管理器、一影像管 理器、以及一目光分析器來決定一目光方向及/或一使用者檢視之媒體部分。本文揭示之範例中，該參考圖框管理器以介於該媒體之媒體圖框間之一頻率將參考圖框插入媒體，而該影像管理器識別一鏡頭擷取之影像，其包括來自一使用者之該等參考圖框的反射。此外，本文揭示之範例中，該目光分析器基於該等反射之影像來決定一目光方向及/或該使用者檢視之媒體部分。
本文揭示之範例中，一目光檢測器分析一目光檢 測器之一環境的條件並調整該目光檢測器及/或該目光檢測器使用之參考圖框的設定，來決定一使用者之一目光方向及/或一使用者檢視之媒體部分。本文揭示之範例中，一目光檢測器比較一使用者檢視之一參考圖框的位置以及一媒體圖框之一對應位置來決定該使用者檢視之對應位置的一物件。某些該類範例中，該媒體圖框呈現在一演示裝置上之前或之後，該參考圖框立刻呈現在該演示裝置上。
如本文使用，一目光方向為一使用者查看或似乎 查看的一角度及/或方向。例如，若一使用者查看地上之一物件，則該目光方向可為從該使用者眼睛(或頭部)至該物件之一方向。如本文使用，媒體可為一演示裝置上顯示之任何內容及/或影像。媒體之範例可包括、但不侷限於一電子裝置顯示器、一電影、一電視節目、等等。例如，該媒體可為一使用者可檢視及/或接取之一電腦及/或平版電腦的一 顯示器。如本文使用，一媒體之圖框或媒體圖框為可包括影像、圖像、文字、視訊圖框、影像圖框、等等之媒體的一顯示圖框。例如，以一60赫茲頻率呈現之媒體每秒可呈現60個媒體圖框。
圖1為一可用來決定一使用者之一目光方向及/或 該使用者檢視之媒體部分的一示範目光檢測系統100之示意圖。圖1之目光檢測系統100包括一目光檢測器110、一演示裝置120、一媒體裝置130、以及一鏡頭140。圖1之繪示範例中，該目光檢測器110、該演示裝置120、該媒體裝置130、及/或該鏡頭140可一起放置於一單一裝置(例如，一膝上型電腦、一平板電腦、一智慧型手機、一桌上型電腦)上、及/或可放置於彼此分開的裝置上。根據本揭示內容之教示，該目光檢測器110與該演示裝置120、該媒體裝置130、及/或該鏡頭140通訊以決定一使用者目光方向。
圖1之演示裝置120可為任何類型的顯示器裝置 (例如，一發光二極體(LED)、一有機發光二極體(OLED)、一液晶顯示器(LCD)、一陰極射線管顯示器(CRT)、一觸控螢幕、一觸覺輸出裝置、等等)。例如，該演示裝置120可為一平板電腦之一觸控螢幕或一桌上型電腦之一監視器。如本文揭示，該演示裝置120呈現來自該媒體裝置130之媒體以及來自該目光檢測器110之參考圖框。某些範例中，來自該媒體裝置130之媒體經由該目光檢測器110提供至該演示裝置120。如下文進一步揭示，該目光檢測器110於來自該媒體裝置130之媒體圖框間插入(例如，交錯)該等參考圖 框。
圖1之繪示範例中，該媒體裝置130可為任何類型 的媒體裝置130，諸如一膝上型電腦、一平板電腦、一桌上型電腦、一轉頻器、一數位視訊紀錄器(DVR)、一遊戲主控台、一DVD播放器、一藍光TM播放器、等等。某些範例中，該媒體裝置130為一電腦、平板電腦、智慧型手機、等等之一圖形驅動器。額外或替代地，該媒體裝置130可從一媒體供應器(例如，一纜線供應器、一衛星供應器)及/或一通訊網路(例如，網際網路)來接收媒體。因此，該媒體裝置130產生、接收、及/或提供該演示裝置120上之顯示器媒體。該目光檢測器110通訊上可同時與該媒體裝置130以及該演示裝置120耦合及/或依序與該演示裝置120以及該媒體裝置130耦合。因此，該目光檢測器110可接取該媒體裝置130來於媒體圖框間插入參考圖框，使得該演示裝置120顯示該等媒體圖框及/或參考圖框。
圖1之該目光檢測系統100的鏡頭140可為任何類 型的鏡頭(例如，單發、視訊、網路攝影機、等等)。例如該鏡頭140可為一膝上型電腦、平板電腦、智慧型手機、等等的一鏡頭。如本文該目光檢測器110使用，圖1之示範鏡頭140可擷取一使用者的影像。該鏡頭140可將該使用者的影像提供至該目光檢測器110以決定一目光方向及/或該使用者檢視之媒體部分。如下文進一步揭示，該鏡頭140可擷取來自該使用者(例如，來自該使用者之眼睛、來自該使用者之眼鏡、等等)之參考圖框的反射之影像。
因此，如本文揭示，圖1之繪示範例的目光檢測 器110使用該演示裝置120、該媒體裝置130、及/或該鏡頭140來決定一使用者之一目光方向及/或決定該使用者檢視、該媒體裝置130提供之一媒體部分。
圖2繪示一可使用該目光檢測器110以及根據本揭 示內容之教示分析的一示範事件序列之示範環境。圖2之繪示範例中，可用來執行圖1之該目光檢測系統100的一平板電腦200由一使用者201檢視。圖2之繪示範例中，該平板電腦包括一觸控螢幕顯示器220(其可用來執行圖1之演示裝置120)以及一鏡頭240(其可用來執行圖1之鏡頭140)。再者，該平板電腦200包括一目光檢測器110(例如，以軟體，諸如一應用程式、可執行程式、等等的型式)，其可用來執行圖1之該目光檢測器110、以及成為該觸控螢幕顯示器220上之一顯示器的一媒體裝置(例如，該平板電腦200之一圖形驅動器及/或媒體播放器)。
圖2之範例中，以數字箭頭識別之三個事件將資 訊提供至該目光檢測器110以決定一目光方向及/或該使用者201檢視之一媒體部分。事件1中，該使用者201正檢視該觸控螢幕220。圖2之繪示範例中，該觸控螢幕220正顯示一參考圖框250。事件1之前，根據本揭示內容之教示的該目光檢測器110將該參考圖框250插入該演示裝置120上呈現之媒體。事件2中，該參考圖框250包括從該演示裝置120朝該使用者201(例如，朝該使用者眼睛)投射之照明點。事件3中，該參考圖框250從該觸控螢幕的反射可反射出該使用者 201(例如，該使用者眼睛)並由該鏡頭240擷取。圖2之鏡頭240之後可將該擷取影像提供至該目光檢測器110作分析。 該背景上，本揭示內容之教示可使該目光檢測器110來決定一目光方向及/或一使用者檢視之一媒體部分。
圖3為一可用來執行圖1及/或2之該目光檢測器 110的一示範目光檢測器110之方塊圖。根據本揭示內容之教示，圖3之目光檢測器110決定一使用者之一目光方向及/或一使用者檢視之一媒體部分。圖3之繪示範例中，該目光檢測器110包括一參考圖框管理器310、一影像管理器320、以及一目光分析器330。圖3中，一通訊匯流排340可促進該參考圖框管理器310、該影像管理器320、以及該目光分析器330間之通訊。
圖3之該示範參考圖框管理器310可管理圖1之該 演示裝置120上顯示的參考圖框。如本文使用，參考圖框為用於目光方向分析之顯示圖框。示範參考圖框400A與400B繪示於圖4A與圖4B。圖4A與圖4B之繪示範例中的參考圖框400A、400B包括一背景420上之照明點410。該等繪示範例中，該參考圖框400A包括4個照明點410而參考圖框400B包括9個照明點。該等示範照明點410可為任何外型、大小、及/或色彩(包括紅外線光)。該參考圖框管理器310可建立及/或將參考圖框插入從該媒體裝置130接收之媒體。某些範例中，如下文揭示，該參考圖框管理器310可調整參考圖框之設定。如本文使用，參考圖框(例如，圖4A與圖4B之參考圖框400A、400B)使用一演示裝置(例如，該演示裝置120)之實 體特性來經由該演示裝置120之機構(例如，LED、LCD、等等)呈現照明點。因此，例如，一演示裝置之LED可藉由從一參考圖框呈現對應的紅色照明點來形成紅外線照明點。
額外或替代地，如下文揭示，圖3之參考圖框管 理器310可識別該媒體中用來作為參考圖框之候選參考圖框。於是，該目光檢測器110使用該參考圖框管理器來分析該演示裝置120上顯示之媒體。此外，該參考圖框管理器310管理及/或控制該(等)參考圖框之照明點以提供該目光檢測器110更精確的檢測功能及/或分析。該參考管理器310之一示範實施態樣將結合圖5於下文中更進一步詳細說明。
圖3之繪示範例中的影像管理器320管理往返圖1 之鏡頭140的通訊及/或資料。該示範影像管理器320從該鏡頭130接收影像及/或將控制指令送至該鏡頭140。圖3之影像管理器320分析接收的影像(例如，執行影像處理)以檢測參考圖框及/或該等影像中之參考圖框的反射。某些範例中，該影像管理器320可接收一影像串流(例如，紀錄的視訊)。 該類範例中，該影像管理器320可濾除包括來自一使用者之一參考圖框的反射之影像。例如，該影像管理器320可忽略不包括一參考圖框的反射之影像以及保持包括一使用者眼睛或一使用者眼鏡中之一參考圖框的反射之影像。某些範例中，該影像管理器320可分析基於參考圖框插入媒體之一頻率接收的影像。某些範例中，該影像管理器320可編輯(例如，剪裁、變焦、增強、等等)來建立供該目光分析器330分析之更多詳細、實質、及/或清晰的影像。例如，該影像管 理器320可從該鏡頭140擷取之一影像來剪裁一使用者眼睛的一增強影像，以(至少針對目光檢測)提供該目光分析器330該擷取影像之一最實質部分。
某些範例中，圖3之影像管理器320可指示該鏡頭 140調整影像受擷取之一頻率。例如，該影像管理器320可指示該鏡頭以參考圖框由該參考圖框管理器310插入媒體之一相同頻率來擷取影像。該類範例中，參考圖框由該演示裝置120呈現時以及該鏡頭140用來擷取一使用者之影像時，該影像管理器320與該參考圖框管理器310可協調來同步，使得一使用者眼睛及/或眼鏡之影像包括該等參考圖框之一反射。因此，該影像管理器320作為一影像處理器及/或該鏡頭140之一介面。圖3之影像管理器320的一示範實施態樣將結合圖7於下文進一步說明。
圖3之示範目光分析器330從該參考圖框管理器 310及/或該影像管理器320來分析資料，以決定一使用者之一目光方向。如本文揭示，該目光分析器330分析該演示裝置120呈現之參考圖框。該目光分析器330從該參考圖框管理器310來接收該等參考圖框及/或該等參考圖框之資訊(例如，(多個)照明點型樣、(多個)照明點色彩、(多個)照明點大小、(多個)照明點位置、等等)。圖3之目光分析器330從該影像管理器320接收圖1之鏡頭140擷取的影像。如本文揭示，該目光分析器330比較從該參考圖框管理器310接收之(多個)參考圖框(及/或資訊)以及從該影像管理器320接收之影像，以決定一目光方向及/或一使用者檢視之一媒體部 分。圖3之目光分析器330的一示範實施態樣將結合圖8於下文進一步說明。
執行圖1之目光檢測器110的一示範方法繪示於圖 3的情況下，圖3中繪示之元件、程序及/或裝置的至少其中之一可以任何其他方式來組合、分開、重新安排、省略、消除及/或執行。此外，圖3之該參考圖框管理器310、該影像管理器320、該目光分析器330、及/或，更一般的，該示範目光檢測器110可由硬體、軟體、韌體及/或硬體、軟體及/或韌體之任何組合來執行。因此，例如，該參考圖框管理器310、該影像管理器320、該目光分析器330、及/或，更一般的，該目光檢測器110之任何一個可由(多個)類比或數位電路、(多個)邏輯電路、(多個)可規劃處理器、(多個)特定應用積體電路(ASIC)、(多個)可規劃邏輯裝置(PLD)及/或(多個)場可規劃邏輯裝置(FPLD)的至少其中之一來執行。讀取本專利之裝置或系統請求項的任何一個來涵蓋一純軟體及/或韌體實施態樣時，該參考圖框管理器310、該影像管理器320、及/或該目光分析器330的至少其中之一在此明確界定來包括一有形電腦可讀儲存裝置或儲存碟片，諸如一記憶體、一多樣化數位光碟(DVD)、一光碟(CD)、一藍光碟片、等等以儲存該軟體及/或韌體。此外，圖3之示範目光檢測器110可包括除了圖3中繪示的之外、或替代圖3中繪示的元件、程序及/或裝置的至少其中之一，及/或可包括超過一個該等繪示元件、程序及裝置的任何一個或全部。
圖5為一可用來執行圖3之參考圖框管理器310的 一示範參考圖框管理器310之方塊圖。圖5之參考圖框管理器310管理該演示裝置120呈現、並與來自該媒體裝置130之媒體一起及/或媒體中之參考圖框。圖5之繪示範例中，該參考圖框管理器310包括一媒體分析器510、一參考圖框產生器520、以及一顯示控制器530。圖5之繪示範例中，來自該媒體裝置130之媒體由該媒體分析器510接收並轉送至該顯示控制器530。圖5之顯示控制器530從該參考圖框產生器520接收該媒體及/或參考圖框，並將作為顯示資料之該媒體及/或參考圖框提供至該演示裝置120。如本文使用，顯示資料及/或顯示圖框參照為包括成為及/或由一演示裝置(例如，該演示裝置120)呈現之媒體圖框及/或參考圖框的資料及/或圖框。
圖5之媒體分析器510分析從該媒體裝置130擷取 及/或接收之媒體。該媒體分析器510分析該媒體以識別該媒體之特性。例如，該媒體分析器510可決定該媒體之一頻率(例如，每秒之圖框量)。該類資訊可用來決定相對媒體圖框可為參考圖框之顯示圖框的一比率或百分比。某些範例中，該媒體分析器510將該決定資訊提供至該目光分析器330作目光檢測分析。某些範例中，該參考圖框管理器310可尋找以參考圖框無法由人來檢測的一方式來將參考圖框插入媒體。該類範例中，若該參考圖框管理器310將參考圖框太過頻繁地插入該演示裝置120呈現之媒體(例如，該顯示資料)，則適合檢視該媒體之一使用者能力會受負面影響。例如，將參考圖框太過頻繁地插入顯示資料可使一使用者能夠檢測 該演示裝置120上之參考圖框顯示，於是中斷該媒體之播放及/或清晰度。因此，使用該媒體之決定頻率(例如，每秒之圖框量)，該參考圖框管理器310可尋找以一使用者無法理解該參考圖框呈現的一頻率來插入參考圖框。
某些範例中，圖5之媒體分析器510可分析該媒體 及/或媒體圖框以識別固有呈現在該媒體及/或媒體圖框中之照明點。例如，圖6A與6B分別地繪示示範的第一與第二媒體圖框610與620。圖6A之繪示範例中的第一媒體圖框610包括含有一明月之一夜空的一影像。該類範例中，該媒體分析器510可將該明月識別為一照明點630。圖6B之繪示範例中的第二媒體圖框620包括一車量之頭燈的一影像。該類範例中，該媒體分析器510可將該頭燈識別為照明點640。該媒體分析器510識別候選照明點及/或該目光檢測器110組配來使用來自媒體圖框之照明點的範例中，如本文揭示，該參考圖框管理器310可將該等候選照明點630、640的位置(例如，x、y座標)傳達至該目光分析器330作影像方析及/或決定一使用者之一目光方向。因此，如本文使用，固有呈現在媒體圖框中之照明點在本文可參照為參考圖框之照明點。於是，如本文揭示，該媒體分析器510可分析接收媒體的每一圖框，並使該參考圖框管理器310及/或目光檢測器110可動態管理用來決定一目光方向及/或一使用者檢視之媒體部分的參考圖框。
圖5之繪示範例中，該參考圖框產生器520建立該 演示裝置120呈現、從一使用者(例如，從一使用者眼睛、眼鏡、等等)反射、該鏡頭140擷取、及/或該目光分析器330分 析之參考圖框。該參考圖框產生器520產生參考圖框(例如，圖4A與圖4B之分別參考圖框400A、400B)並將該產生的參考圖框提供至該顯示控制器530。該參考圖框產生器520基於一照明點型樣、一照明點大小、一照明點色彩、一背景類型、一背景色彩、等等、基於一使用者的設定及/或來自該目光分析器330之指令來產生該參考圖框。某些範例中，該目光分析器330決定參考圖框之一調整可增強目光檢測時，該參考圖框產生器520持續等待來自該目光分析器330之指令以調整該等參考圖框之設定(例如，該等照明點型樣、照明點大小、照明點色彩等等)，此將結合圖8之目光分析器330於下文中更進一步詳細揭示。因此，圖5之參考圖框產生器520產生該演示裝置120呈現之參考圖框以決定一使用者之一目光方向及/或該使用者檢視之媒體部分。
圖5之示範顯示控制器530從接收的媒體圖框及/ 或參考圖框來產生顯示資料。該顯示控制器530將顯示資料及/或顯示圖框提供至供應該顯示資料及/或顯示圖框之演示裝置120。因此，該顯示控制器530將參考圖框插入媒體。某些範例中，該顯示控制器530藉由替換至少一個媒體圖框來插入一參考圖框。某些範例中，該顯示控制器530於該媒體之兩個媒體圖框間將該參考圖框插入。該顯示控制器530根據使用者指令及/或從該目光分析器330接收之指令來插入該等參考圖框及/或輸出顯示資料。例如，該目光分析器330，基於該媒體分析器510決定之媒體的頻率，可指示該顯示控制器530來增加或降低將參考圖框插入該顯示資料之一頻 率。
因此，圖5之參考圖框管理器310管理該目光檢測 器110用於目光檢測之參考圖框。圖5之參考圖框管理器310經由該通訊匯流排340來提供參考圖框資訊、媒體資訊、及/或圖框。
執行圖3之參考圖框管理器310的一示範方法繪示 於圖5，圖5繪示之該等元件、程序及/或裝置的至少其中之一可以任何其他方式來組合、分開、重新安排、省略、消除及/或執行。此外，圖5之該媒體分析器510、該參考圖框產生器520、該顯示控制器530、及/或，更一般的，該示範參考圖框管理器310可以硬體、軟體、韌體及/或硬體、軟體及/或韌體的任何組合來執行。因此，例如，該媒體分析器510、該參考圖框產生器520、該顯示控制器530、及/或，更一般的，該示範參考圖框管理器310可以(多個)類比或數位電路、(多個)邏輯電路、(多個)可規畫處理器、(多個)特殊應用積體電路(ASIC)、(多個)可規畫邏輯裝置(PLD)及/或(多個)場可規畫邏輯裝置(FPLD)的至少其中之一來執行。讀取本專利之裝置或系統請求項的任何一個來涵蓋一純軟體及/或韌體實施態樣時，該媒體分析器510、該參考圖框產生器520、及/或該顯示控制器530的至少其中之一在此明確界定來包括一有形電腦可讀儲存裝置或儲存碟片，諸如一記憶體、一多樣化數位光碟(DVD)、一光碟(CD)、一藍光碟片、等等以儲存該軟體及/或韌體。此外，圖5之示範參考圖框管理器310可包括除了圖5中繪示的之外、或替代圖5中繪示的至少其中 之一元件、程序及/或裝置，及/或可包括超過一個該等繪示元件、程序及裝置的任何一個或全部。
圖7為一可用來執行圖3之影像管理器320的一示 範影像管理器320之方塊圖。圖7之影像管理器320管理該鏡頭140擷取之影像及/或促進與該鏡頭140之通訊。圖5之繪示範例中，該影像管理器320包括一鏡頭介面710、一影像濾光器720、以及一影像編輯器730。圖7之繪示範例中，來自該鏡頭之影像由該鏡頭介面710接收。圖7之繪示範例中，該鏡頭介面710將該等影像轉送至該影像濾光器720，其將濾光的影像轉送至該影像編輯器730。
圖7之示範鏡頭介面710可將指令提供至該鏡頭 140(及/或該鏡頭140之一控制器)以擷取一使用者之影像。例如，用以響應經由該通訊匯流排340來從該目光分析器330接收指令，該鏡頭介面710可指示該鏡頭140以一指定頻率(例如，與該參考圖框管理器310將參考圖框插入媒體(或顯示資料)的相同頻率或比其更快的頻率)來擷取影像。某些範例中，該鏡頭介面710可指示該鏡頭140來串流擷取影像(例如，紀錄及/或提供視訊)。某些範例中，該鏡頭介面710可將更多詳細的擷取指令提供至該鏡頭140。例如，該鏡頭介面710可指示該鏡頭140使用動作檢測及/或臉部辨識來擷取聚焦及/或集中在一使用者或一使用者臉部及/或眼睛之影像。某些範例中，該鏡頭介面710可將該鏡頭140擷取之所有影像提供至該目光分析器330以分析一使用者環境之條件，其將結合圖8於下文中更進一步詳細說明。
圖7之繪示範例的影像濾光器720分析影像以識別 可由該目光分析器330針對目光檢測來分析的影像。因此，該影像濾光器720從包括從該使用者(例如，從該使用者眼睛及/或眼鏡)反射之參考圖框的鏡頭140來識別影像。因此，該影像濾光器720可接收濾光指令來識別來自該參考圖框管理器310及/或目光分析器330之特別照明點及/或參考圖框特性。某些範例中，時間同步資訊可包括在濾光指令中，該等指令指出該影像濾光器720可基於該等參考圖框何時插入該媒體來開始及/或結束濾光影像以識別該等參考圖框的一時間週期。基於該等接收指令，從該鏡頭140接收之影像中，該影像濾光器720可識別從一使用者反射之對應影像。例如，該影像濾光器720決定一特別照明點及/或照明點型樣於從一使用者眼睛之反射中識別。圖7之影像濾光器720可刪除、移動、及/或忽略不包括一參考圖框之反射影像。某些範例中，該影像濾光器720將包括參考圖框之反射影像轉送至該影像編輯器730。額外或替代地，該影像濾光器720可將包括參考圖框之反射影像經由該通訊匯流排340提供至該目光分析器330。
圖7之繪示範例中，該影像編輯器730可從該影像 濾光器720來精製影像。某些範例中，該影像編輯器730可接收該鏡頭140擷取及/或該鏡頭介面710接收之所有影像。該示範影像編輯器730可剪裁、放大、增強等等影像來作分析。 例如，該影像編輯器730可執行影像處理以識別目光檢測(例如，一使用者之眼睛及/或臉部)所專注之影像部分。該影像 編輯器730之後從該鏡頭140擷取之影像的剪裁部分產生新的影像。該類新影像可由該影像編輯器730來放大、增強(例如，聚焦)、等等。於是，該影像編輯器730可將放大影像提供至該目光分析器330，以便分析從一使用者反射該等參考圖框及/或照明點時增加精確性。
執行圖3之影像管理器320的一示範方法繪示於圖 7的情況下，圖7中繪示之元件、程序及/或裝置的至少其中之一可以任何其他方式來組合、分開、重新安排、省略、消除及/或執行。此外，圖7之該鏡頭介面710、該影像濾光器720、以及該影像編輯器730、及/或，更一般的，該示範影像管理器320可以硬體、軟體、韌體及/或硬體、軟體及/或韌體的任何組合來執行。因此，例如，該鏡頭介面710、該影像濾光器720、以及該影像編輯器730、及/或，更一般的，該示範影像管理器320之任何一個可以(多個)類比或數位電路、(多個)邏輯電路、(多個)可規畫處理器、(多個)特殊應用積體電路(ASIC)、(多個)可規畫邏輯裝置(PLD)及/或(多個)場可規畫邏輯裝置(FPLD)的至少其中之一來執行。讀取本專利之裝置或系統請求項的任何一個來涵蓋一純軟體及/或韌體實施態樣時，該鏡頭介面710、該影像濾光器720、及/或該影像編輯器730的至少其中之一在此明確界定來包括一有形電腦可讀儲存裝置或儲存碟片，諸如一記憶體、一多樣化數位光碟(DVD)、一光碟(CD)、一藍光碟片、等等以儲存該軟體及/或韌體。此外，圖7之該示範影像管理器320可包括除了圖7中繪示的之外、或替代圖7中繪示的至少其中之一元件、程 序及/或裝置，及/或可包括超過一個該等繪示元件、程序及裝置的任何一個或全部。
圖8為一可用來執行圖3之目光分析器330的一示 範目光分析器330之方塊圖。圖8之目光分析器330使用來自圖3及/或5之參考圖框管理器310、及/或圖3及/或7之影像管理器320的資訊來決定一使用者之一目光方向及/或一使用者檢視之一媒體部分。圖8之繪示範例中，該目光分析器330包括一影像分析器810、一目光方向計算器820、一媒體比較器830、以及一條件分析器840。圖8中，一通訊匯流排850促進該影像分析器810、該目光方向計算器820、該媒體比較器830、以及該條件分析器840間之通訊。
圖8之影像分析器810分析由該鏡頭140擷取及/或 從該影像管理器320接收之影像。該影像分析器810分析影像以識別照明點、參考點、及/或使用者特性。例如，該影像分析器810可識別相對一使用者瞳孔及/或虹膜之(多個)照明點。現參照圖9A至圖9C，該影像分析器810執行由該鏡頭140擷取之影像中識別的一使用者眼睛900之一聚焦分析。圖9A中，該影像分析器810識別一使用者之一眼睛900中的兩個照明點910、該使用者之一瞳孔920、以及一虹膜930之反射。 圖9B中，該影像分析器810識別該使用者之四個照明點910、一使用者之一瞳孔920、以及一虹膜930之反射。圖9C中，該影像分析器810識別一使用者之八個照明點910、兩個瞳孔920、以及兩個虹膜930之反射。圖9A至圖9C之繪示範例中，照明點910對應該使用者之眼睛900檢視的一演示裝置(例 如，該演示裝置120)呈現之一參考圖框的照明點。該影像分析器810亦可(例如，基於該鏡頭之設定、來自該影像管理器320之編輯、等等來)識別及/或決定來自該等影像之標度資訊。該影像分析器810之後可將該等影像中的識別專注點之座標及/或其他影像資訊提供至該目光方向計算器820。某些範例中，該影像分析器810及/或目光分析器330可將指令提供至該鏡頭140以增加光學及/或數位變焦之一準位。
某些範例中，圖8之影像分析器810識別一使用者 及/或該目光檢測系統100之一環境的條件。例如，該影像分析器810可從該鏡頭140及/或該影像管理器320接收一串流影像(例如，視訊)並識別該環境之特性。例如，該影像分析器810可識別影像中之(多個)對比(例如，反射照明點與一使用者眼睛之間、該影像之識別物件之間、等等)。該類範例將結合該條件分析器840於下文中進一步說明。
圖8之繪示範例中的目光方向計算器820分析該影 像分析器810於該等影像中識別之專注點來計算一使用者之一目光方向。某些範例中，該目光方向計算器820識別對應該影像分析器810分析之一影像且由該演示裝置120呈現的一參考圖框。因此，該類範例中，該目光方向計算器820可比較該演示裝置120呈現的參考圖框以及該分析影像中來自該使用者之參考圖框的反射以決定該目光方向。例如，該目光方向計算器820可識別該參考圖框中之一照明點型樣與一使用者眼睛反射之對應照明點的位置來決定該使用者之目光方向。此外，該目光方向計算器820使用一使用者之特徵 或參考點(例如，該使用者的眼睛及/或眼鏡)，來決定一目光方向。例如，該目光方向計算器820可識別一使用者之至少一參考點(例如，一使用者瞳孔、一使用者虹膜、等等)來基於相對該(等多個)參考點之反射照明點位置而計算該目光方向。某些範例中，該目光方向計算器820可考量一使用者之一眼睛及/或眼鏡的曲率。該目光方向計算器可使用各種不同的數學公式，來使用從本文揭示之反射影像決定的變數(例如，照明點間、參考點間、等等之距離)以計算該目光方向及/或演示裝置之一位置。
參照圖4A與圖9B為範例，假設該演示裝置120顯 示該參考圖框400A，而該鏡頭140擷取圖9B之眼睛900、包括該參考圖框400A之一反射影像。該類範例中，圖4A之該等照明點410對應圖9B之該等照明點910。於是，該目光方向計算器820可基於相對該眼睛910之瞳孔及/或虹膜930的照明點910之位置來決定圖9B之眼睛900以低於以及該鏡頭140左方的一角度注視。該示範目光方向計算器820可將目光方向資訊提供至該媒體比較器830以決定該使用者檢視之一媒體部分。某些範例中，該目光方向計算器820可基於該等分析影像中之反射照明點位置來計算該演示裝置120之一對應位置。例如，該目光方向計算器820可基於相對該眼睛900之瞳孔920及/或虹膜930的照明點910之位置，而將圖9之該等照明點910的位置轉譯為該參考圖框400A上之一位置。因此，該目光方向計算器820可基於該等照明點910、該瞳孔920及/或該虹膜930的位置來計算數學公式。
圖8之繪示範例的媒體比較器830決定一使用者檢 視之一媒體部分。該媒體比較器830比較從該目光方向計算器820接收之目光方向資訊以及一參考圖框之前與之後呈現的媒體圖框以便計算該目光方向。例如，從該目光方向計算器820之計算，該目光分析器330可決定該使用者檢視之一參考圖框的位置。該媒體比較器830之後可比較該計算裝置與該參考圖框之前與之後呈現的一媒體圖框之一對應位置以便決定該檢視之媒體部分。
針對該媒體比較器830執行之一示範分析，圖10繪 示一使用者1000的一範例，其檢視一媒體裝置1030(例如，一平板電腦)之一演示裝置1020上的三個連續顯示的圖框1002、1004、1006。該媒體裝置1030可包括及/或與一目光檢測器110通訊。圖10之範例中，該第一圖框1002於時間T1呈現，該第二圖框1004於時間T2呈現，而該第三圖框1006於時間T3呈現，使得時間上T1在T2之前而T2在T3之前。圖10之繪示範例中，該第一圖框1002為包含一物件1008(例如，一個人的一影像)之一媒體圖框，而該第三圖框1006為包含該物件1008之一媒體圖框。然而，該第二圖框1004為包括照明點1010之一參考圖框。圖10中，該目光檢測器110之媒體比較器830基於該使用者眼中反射之參考圖框的一影像之分析來決定該使用者1000正檢視該物件1008，該分析指出該使用者1000正檢視該演示裝置1020之一特別位置1050。因此，因為該使用者檢視該參考圖框(雖然該使用者1000可能還不知他/她檢視該參考圖框)時，該物件1008呈現在該使用者檢視之演 示裝置1020的一相同位置，故該媒體比較器830可決定該使用者正檢視該物件1008。
某些範例中，圖8之媒體比較器830可在該對應位 置(例如，圖10之位置1050)來識別物件(例如，圖像、文字、影像、超連結、按鈕、標籤、等等)。該類範例中，該目光分析器330及/或目光檢測器110可將資訊提供至與該目光檢測器110相關聯之一處理器(例如，圖14之處理器1412)來作為一裝置之控制。某些範例中，該類識別物件可用來控制該目光檢測系統100及/或與該目光檢測系統100相關聯之一裝置(例如，一電腦、一平板電腦、一智慧型手機、等等)。例如，該目光分析器330可(例如，基於該使用者檢視該物件之一時間長度、基於檢視該物件時有若干閃爍、等等來)決定一使用者已選擇一物件。
圖8之條件分析器840監視該目光檢測器110及/或 一使用者之一環境的條件。該示範條件分析器840可將回饋提供至該參考圖框管理器310及/或影像管理器320以調整對應的設定來決定一使用者之一目光方向及/或該使用者檢視之一媒體部分。
某些範例中，圖8之條件分析器840監視一使用者 之一頭部位置。如本文使用，一使用者之一頭部位置參照為相對該演示裝置120及/或該鏡頭140之一流漿箱中該使用者頭部的位置。如本文使用，一流漿箱為相對一演示裝置(例如，該演示裝置120)之一檢視空間，其可由一相機(例如，該相機140)來擷取。例如，該條件分析器840可基於從該影像管 理器320及/或該鏡頭140接收及/或擷取之影像來執行動作檢測及/或臉部辨識。
圖11A至11C繪示該條件分析器840執行之一示範 分析以及基於來自該條件分析器840之回饋而由該參考管理器310產生之對應參考圖框。圖11A中，一使用者頭部1100位於一流漿箱1110之中心。因此，圖11A中，該參考圖框管理器310，基於來自該條件分析器840及/或目光分析器330之指令，來產生與插入包括中心照明點1130之一第一參考圖框1120。圖11B中，該使用者頭部移至該流漿箱1110左側。因此，圖11B中，該參考圖框管理器310，基於來自該條件分析器840及/或目光分析器330之指令指出該頭部位置之一對應移位，來產生及/或插入包括移至該參考圖框1130右側之照明點的一第二參考圖框1130。圖11B中，因為由於該使用者1100與該鏡頭140之相對透視圖，使得該參考圖框右側位在與該頭部位置相同的實體側，故該等照明點移至該參考圖框1130右側。圖11C中，該使用者頭部移至該流漿箱1110右側。因此，圖11C中，該參考圖框管理器310，基於來自該條件分析器840及/或目光分析器330之指令指出該頭部位置之一對應移位，來產生及/或插入包括朝該參考圖框1140左側移位之照明點的一第三參考圖框1140。
某些範例中，圖8之條件分析器840監視該目光檢 測器110及/或一使用者之環境的周遭光線。例如，該條件分析器可識別物件間之對比(或其不足)以便從該影像管理器320及/或該鏡頭140來決定亮光或暗光呈現在影像中。基於該 決定的光線，該條件分析器840可指示該參考圖框管理器310來調整產生及/或插入的參考圖框之設定。例如，該條件分析器840及/或目光分析器330可決定該參考圖框管理器310應產生及插入具有不同色彩的照明點、不同大小的照明點、及/或一不同的照明點型樣之參考圖框。
於是，圖8之條件分析器840可使該目光檢測器能 夠動態適應照明點位置、色彩、及/或型樣來考量一使用者及/或該目光檢測器110之一環境的條件。某些範例中，每一參考圖框於該目光檢測器110之一使用者的反射中識別後，該條件分析器840可基於該環境之分析條件來決定設定是否需針對隨後的參考圖框來調整。某些範例中，該條件分析器840持續監視從該影像管理器320及/或該鏡頭140串流之影像以分析該環境之條件。
執行圖3之目光分析器330的一示範方法繪示於圖 8的情況下，圖8中繪示之元件、程序及/或裝置的至少其中之一可以任何其他方式來組合、分開、重新安排、省略、消除及/或執行。此外，圖8之該影像分析器810、該目光方向計算器820、以及該媒體比較器830、及/或，更一般的，該目光分析器330可以硬體、軟體、韌體及/或硬體、軟體及/或韌體的任何組合來執行。因此，例如，該影像分析器810、該目光方向計算器820、以及該媒體比較器830、該條件分析器840、及/或，更一般的，該示範目光分析器330之任何一個可以(多個)類比或數位電路、(多個)邏輯電路、(多個)可規畫處理器、(多個)特殊應用積體電路(ASIC)、(多個)可規畫邏輯裝 置(PLD)及/或(多個)場可規畫邏輯裝置(FPLD)的至少其中之一來執行。讀取本專利之裝置或系統請求項的任何一個來涵蓋一純軟體及/或韌體實施態樣時，該影像分析器810、該目光方向計算器820、該媒體比較器830、及/或該條件分析器840的至少其中之一在此明確界定來包括一有形電腦可讀儲存裝置或儲存碟片，諸如一記憶體、一多樣化數位光碟(DVD)、一光碟(CD)、一藍光碟片、等等以儲存該軟體及/或韌體。此外，圖8之該目光分析器330可包括除了圖8中繪示的之外、或替代圖8中繪示的至少其中之一元件、程序及/或裝置，及/或可包括超過一個該等繪示元件、程序及裝置的任何一個或全部。
因此，結合圖1、3、5、7、及/或8揭示之該目光 檢測器110可決定一使用者之一目光方向及/或一使用者檢視之一媒體部分。某些範例中，該目光檢測器110可用來控制與該目光檢測器110相關聯及/或與其通訊上耦合之一裝置(例如，一電腦、一平板電腦、一智慧型手機、等等)。
表示可執行圖3之目光檢測器110及/或圖5、7、 及/或8之目光檢測器110的示範機器可讀指令之流程圖顯示於圖12及/或13。該等範例中，該等機器可讀指令包含由一處理器，諸如該示範處理器平台1400中顯示之處理器1412執行的程式，其將結合圖14於下文中說明。該程式可以儲存在一有形的電腦可讀儲存媒體，諸如一CD-ROM、一軟碟、一硬碟、一多樣化數位光碟(DVD)、一藍光碟片、或與該處理器1412相關聯之一記憶體中的軟體來具體化，但該整個程式及 /或其一部分可替代地由非該處理器1412之一裝置來執行、及/或以韌體或專屬硬體來具體化。另外，雖然該示範程式係參照圖12及/或13繪示之流程圖來說明，但亦可替代地使用執行圖3之示範目光檢測器110及/或圖5、7、及/或8之目光檢測器110的元件之許多其他方法。例如，該等方塊之執行順序可被改變、及/或某些該等說明的方塊可被改變、消除、或組合。
圖12之一程式1200從啟動圖1及/或3之目光檢測 器110來開始(例如，用以響應來自一使用者之指令、用以響應起動、用以響應將與該目光檢測器110相關聯及/或包括該目光檢測器110之一裝置開機、等等)。該程式1200受執行來檢測一使用者之一目光方向及/或決定該使用者檢視之一媒體部分。
圖12之繪示範例的方塊1210中，圖3及/或5之示範 參考圖框管理器310將一參考圖框插入在一顯示器呈現之媒體圖框間。方塊1210之參考圖框呈現在該等媒體圖框間之一演示裝置(例如，該演示裝置120)上。如本文揭示，該等參考圖框之影像從一使用者反射，而方塊1220中，該目光分析器330分析該等參考圖框之反射影像。
圖12之方塊1230中，該目光分析器1230基於該等 參考圖框之反射來決定一使用者檢視之一媒體部分。如本文揭示，該目光分析器1230可基於一使用者之一計算目光方向及/或比較該目光方向與圖12之參考圖框方塊1210前及/或後呈現的媒體圖框來決定該媒體部分。
某些範例中，圖12之程式1200可被疊代地執行來 實施圖1及/或3之目光檢測器110。例如，該程式1200之一第一疊代可包括方塊1210中，插入一第一參考圖框、方塊1220中，該第一參考圖框之一反射的一第一影像之分析、以及基於該第一影像方塊1230中之一第一決定。該類範例中，該程式1200之一第二疊代可包括方塊1210中，插入一第二參考圖框、方塊1220中，該第二參考圖框之一反射的一第二影像之分析、以及基於該第二影像方塊1230中之一第二決定。於是，該程式1200之疊代可用來持續監視一使用者之一目光方向及/或監視該使用者檢視之一媒體部分。
圖13之另一程式1300從啟動圖1及/或3之目光檢 測器110來開始。圖13之程式1300使該目光檢測器110能夠監視一環境並動態調整該目光檢測器110之設定。例如，該程式1300可根據該鏡頭140錄影/監視該目光檢測系統100之一環境以決定該目光檢測系統100之設定來執行，其可增加決定一使用者之一目光方向及/或決定一使用者檢視之一媒體部分的精確性。圖13之程式1300可在圖12之程式1200之前、之後、及/或同時執行。某些範例中，圖13之程式1300可在圖12之程式1200的疊代間執行。
方塊1310中，條件分析器840分析該目光檢測器 110之一環境。方塊1310之示範環境可經由該鏡頭140擷取之環境的一影像來分析。某些範例中，方塊1310之分析影像為從該影像管理器320接收並包括從一使用者反射之一參考圖框的一影像。某些範例中，方塊1310之分析影像可為由該鏡 頭140擷取及/或從該影像管理器320接收之一視訊流的一影像。例如，方塊1310中，該條件分析器840可決定一使用者之一頭部位置及/或該環境之照明條件。
方塊1330中，該條件分析器840基於該分析環境來 決定該目光檢測器110是否需調整。例如，方塊1330中，該條件分析器840可基於該環境之條件(例如，一頭部位置會妨礙精確的目光檢測、及/或光線條件會妨礙可識別該使用者眼睛中反射之照明點、等等)來決定一目光檢測無法完成。某些範例中，方塊1330中，該條件分析器840基於該等影像之對比及/或先前影像之分析來決定是否需完成調整。若該條件分析器840決定不需調整，則控制流程行進至方塊1360。方塊1320中，若該條件分析器840決定需要一調整，則該條件分析器840及/或該目光分析器330基於該分析環境來決定該目光檢測器110適當的調整(方塊1340)。該目光檢測器110完成的調整範例包括，但不侷限於，調整該參考圖框管理器310插入該媒體中且由該鏡頭140擷取之下一個參考圖框的設定(例如，照明點型樣、照明點位置、照明點色彩、照明點大小、背景色彩、等等)、調整該鏡頭140之鏡頭設定(例如，動作檢測、臉部辨識、調焦、聚焦、色彩影響、等等)、發信號至一使用者來調整設定。
方塊1350中，該參考圖框管理器310產生插入該媒 體中之下一個參考圖框。某些範例中，方塊1350中，該產生之下一個參考圖框基於方塊1340中決定的適當調整來受調整(例如，一不同的照明點型樣、不同的照明點位置、等等)。 某些範例中，該產生之下一個圖框實質上不會從該參考圖框管理器310產生之一先前參考圖框改變。如本文揭示，方塊1360中，該參考圖框管理器310將該下一參考圖框插入該媒體。
圖13之繪示範例中，該目光檢測器110決定其是否 針對動態調整而繼續監視。若該目光檢測器110針對動態調整而繼續監視，則控制流程返回方塊1310。方塊1370中，若該目光檢測器110(例如，基於使用者指令、該目光檢測器關機、等等)針對動態調整而不繼續監視，則該程式1300結束。
如上所述，圖12及/或13之示範程序可使用儲存在 一有形電腦可讀儲存媒體，諸如一硬碟機、一快閃記憶體、一唯讀記憶體(ROM)、一光碟(CD)、一多樣化數位光碟(DVD)、一快取記憶體、一隨機存取記憶體(RAM)及/或資料可儲存任何持續時間(例如，延長的時間週期、永久地、短暫情況、暫時地緩衝、及/或該資料之快取)之任何其他儲存裝置或儲存碟片中的編碼指令來執行。如本文使用，該術語有形電腦可讀儲存媒體係明確界定來包括任何類型的電腦可讀儲存裝置及/或儲存碟片、且排除傳播信號以及排除傳輸媒體。如本文使用，“有形電腦可讀儲存媒體”以及“有形機器可讀儲存媒體”係可互換地使用。此外或替代地，圖12及/或13之示範程序可使用儲存在一非暫態電腦及/或機器可讀媒體，諸如一硬碟機、一快閃記憶體、一唯讀記憶體、一光碟、一多樣化數位光碟、一快取記憶體、一隨機存取記憶體及/或資料可儲存任何持續時間(例如，延長的時間週期、永 久地、短暫情況、暫時地緩衝、及/或該資料之快取)之任何其他儲存裝置或儲存碟片中的編碼指令(例如，電腦及/或機器可讀指令)來執行。如本文使用，該術語非暫態電腦可讀媒體係明確界定來包括任何類型的電腦可讀儲存裝置及/或儲存碟片、且排除傳播信號以及排除傳輸媒體。如本文使用，該片語“至少”係用來作為一請求項之一前序中的過渡術語時，其以與該術語“包含”為開端式的相同方式為開端式。此外，如本文使用，使用“一”或“一個”可意味“至少一個”。
圖14為一能夠執行圖12及/或13之指令以實施圖1 及/或3之目光檢測器110、及/或圖5、7、及/或8之目光檢測器元件的一示範處理器平台1400之方塊圖。該處理器平台1400可為，例如，一伺服器、一個人電腦、一行動裝置(例如，一行動電話、一智慧型手機、諸如一iPADTM之一平板電腦)、一個人數位助理(PDA)、一網際網路設施、一DVD播放器、一CD播放器、一數位攝影機、一藍光播放器、一遊戲主控台、一個人攝影機、一轉頻器、或任何其他類型的計算裝置。
圖14之繪示範例中的處理器平台1400包括一處理 器1412。該繪示範例中之處理器1412為硬體。例如，該處理器1412可由來自任何所需系列或製造商之至少一個積體電路、邏輯電路、微處理器或控制器來實施。
該繪示範例之處理器1412包括一局部記憶體 1413(例如，一快取記憶體)。該繪示範例中之處理器1412經由一匯流排1418與包括一依電性記憶體1414與一非依電性 記憶體1416之一主要記憶體通訊。該依電性記憶體1414可由同步動態隨機存取記憶體(SDRAM)、動態隨機存取記憶體(DRAM)、RAMBUS動態隨機存取記憶體(RDRAM)及/或任何其他類型的隨機存取記憶體裝置來實施。該非依電性記憶體1416可由快閃記憶體及/或任何其他所需類型的記憶體裝置來實施。存取該主要記憶體1414、1416由一記憶體控制器來控制。
該繪示範例之處理器平台1400亦包括一介面電路 1420。該介面電路1420可由任何類型的介面標準，諸如一乙太網路介面、一通用串列匯流排(USB)、及/或一快速PCI介面來實施。
該繪示範例中，至少一個輸入裝置1422連接至該 介面電路1420。該(等)輸入裝置1422允許一使用者將資料與命令輸入至該處理器1422。該(等)輸入裝置可由，例如，一聲響感測器、一麥克風、一鏡頭(靜止或視訊)、一鍵盤、一按鈕、一滑鼠、一觸控螢幕、一軌跡墊、一軌跡球、一等位點及/或一語音辨識系統來實施。
至少一個輸出裝置1424亦連接至該繪示範例之介 面電路1420。該(等)輸出裝置1424可由，例如，顯示器裝置(例如，一發光二極體(LED)、一有機發光二極體(OLED)、一液晶顯示器、一陰極射線管顯示器(CRT)、一觸控螢幕、一觸覺輸出裝置、一發光二極體(LED)、一印表機及/或揚聲器)來實施。因此，該繪示範例之介面電路1420典型包括一圖形驅動卡、一圖形驅動晶片或一圖形驅動處理器。
該繪示範例之介面電路1420亦包括一通訊裝置， 諸如一發送器、一接收器、一收發器、一數據機及/或網路介面卡來促進經由一網路1426(例如，一乙太網路連接、一數位用戶線路(DSL)、一電話線、同軸纜線、一行動電話系統、等等)與外部機器(例如，任何類型的計算裝置)交換資料。
該繪示範例之處理器平台1400亦包括用以儲存軟 體及/或資料之至少一個大量儲存裝置1428。該類大量儲存裝置1428之範例包括軟碟機、硬碟磁片、光碟機、藍光磁碟機、RAID系統、以及多樣化數位光碟(DVD)機。
圖12及/或13之編碼指令1432可儲存在該大量儲 存裝置1428中、該依電性記憶體1414之局部記憶體1413中、該非依電性記憶體1416中、及/或諸如一CD或DVD之一可移動式有形電腦可讀儲存媒體中。
從上文中，應體認上述揭示方法、裝置、與製造 物件提供使用與媒體圖框交錯之參考圖框來決定一目光方向及/或一使用者檢視之一媒體部分的一目光檢測系統及/或目光檢測器。此外，本文揭示之範例提供了動態調整用來基於如本文揭示之一環境條件及/或一使用者位置來決定一使用者之一目光方向的照明點。於是，本文揭示之目光檢測器在使用呈現參考圖框以及一鏡頭擷取之參考圖框的反射影像之一演示裝置、而非使用固定的照明點(以及對應的固定照明點硬體)及/或頭部安裝照明點單元來識別一使用者之一目光方向上可達到增加精確性。
雖然某些示範方法、裝置、與製造物件已於本文 中說明，但本專利之涵蓋範圍的範疇並不局限於此。反而是，本專利涵蓋完全位在本專利之該等請求項的範疇中之所有方法、裝置、與製造物件。

Claims (15)

  1. 一種目光檢測裝置，包含有：一參考圖框管理器，其用來將參考圖框插入媒體，該等參考圖框以一第一頻率呈現在該媒體之媒體圖框之間，該等參考圖框照射一使用者；一影像管理器，其用來識別由一攝影機擷取之影像，該等影像包含該使用者受該等參考圖框照射之多個反影；以及一目光分析器，其基於包含該等反影之該等影像而判定正被該使用者檢視之一媒體部分。
  2. 如請求項1界定之裝置，其中該等反影係從該使用者之一眼睛或該使用者之眼鏡的其中至少一者反射。
  3. 如請求項1界定之裝置，其中該參考圖框包含至少一個照明點，該照明點包含與該參考圖框之主要色彩不同色彩的一外型。
  4. 如請求項3界定之裝置，其中該目光分析器更進一步執行下列步驟：識別該等參考圖框之該等反影的該等影像中的該至少一個照明點的一位置；以及將該位置相對於該使用者之一參考點進行比較，以判定該使用者之一目光方向。
  5. 如請求項1界定之裝置，其中該目光分析器藉由執行下列步驟來判定正被檢視之一媒體部分： 基於從該使用者反射之一第一參考圖框的一第一影像之一分析，來判定該使用者所檢視之該第一參考圖框的一位置；以及將該參考圖框所判定的該位置相對於包含被檢視之該媒體部分的一第一媒體圖框之一位置進行比較。
  6. 如請求項1界定之裝置，其中該攝影機以高於該第一頻率之一第二頻率來擷取該等影像。
  7. 如請求項1界定之裝置，其中該參考圖框管理器更進一步執行下列步驟：分析該媒體；以及識別該媒體中之多個媒體參考圖框，該等媒體參考圖框包含具有作為照明點之物件的影像之多個媒體圖框。
  8. 如請求項1界定之裝置，其中該目光檢測器更進一步分析該使用者之一環境的條件；且該參考圖框管理器係基於該環境之條件來調整該參考圖框中之照明點的設定。
  9. 如請求項8界定之裝置，其中該等照明點的設定包含該等照明點之一位置、該等照明點之一型樣、該等照明點之一大小、該等照明點之一外型、該等照明點之一色彩、以及該等照明點之一波長的其中至少一者。
  10. 如請求項8界定之裝置，其中該環境之該等條件包含該使用者之一位置、周圍光線條件、相關於顯示器之該使用者的一頭部位置之其中至少一者。
  11. 一種用於目光檢測的方法，包含有下列步驟： 在多個媒體圖框之間插入以一第一頻率呈現於一顯示器上的參考圖框，該等參考圖框照射一使用者；分析藉由該等參考圖框的使用者照射之多個反影的多個影像；以及基於藉由該等參考圖框的使用者照射之該等反影來判定正被該使用者檢視之該媒體之一部分。
  12. 如請求項11界定之方法，更進一步包含下列步驟：基於該等影像來判定一目光條件；以及在基於該目光條件來分析各個圖框後重覆調整該等參考圖框之一設定，以增加判定正被檢視的該媒體之該部分的一精確性。
  13. 如請求項11界定之方法，更進一步包含下列步驟：藉由判定該使用者檢視之參考圖框的一部分來識別該媒體之該部分，該參考圖框之一部分係位在對應一媒體圖框中之該媒體之該部分的一位置之該參考圖框的一位置。
  14. 一種非暫時性電腦可讀儲存媒體，其包含有指令，當該等指令受執行時可使一機器至少執行下列步驟：於該機器之一顯示器上呈現之媒體的第一與第二媒體圖框之間插入一參考圖框，該參考圖框照射一使用者且包含至少一照明點；分析從該機器之一攝影機接收的一影像，以在該使用者的眼睛中識別藉由該參考圖框的使用者照射的一反影；以及 基於在該反影中被識別出之該至少一照明點相對於該使用者眼睛的位置，來判定該使用者之一第一目光方向。
  15. 如請求項14之非暫時性電腦可讀儲存媒體，其中該等指令受執行時可進一步使該機器執行下列步驟：識別該使用者頭部的一位置；以及基於該使用者頭部的該位置調整該至少一照明點在該參考圖框中的位置。
TW104112090A 2014-04-29 2015-04-15 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體 TWI622901B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/US2014/035921 WO2015167471A1 (en) 2014-04-29 2014-04-29 Gaze detector using reference frames in media
??PCT/US14/35921 2014-04-29

Publications (2)

Publication Number Publication Date
TW201543275A TW201543275A (zh) 2015-11-16
TWI622901B true TWI622901B (zh) 2018-05-01

Family

ID=54359027

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104112090A TWI622901B (zh) 2014-04-29 2015-04-15 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體

Country Status (5)

Country Link
US (1) US9983668B2 (zh)
EP (1) EP3137968B1 (zh)
CN (1) CN106662911B (zh)
TW (1) TWI622901B (zh)
WO (1) WO2015167471A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201035813A (en) * 2009-03-27 2010-10-01 Utechzone Co Ltd Pupil tracking method and system, and correction method and correction module for pupil tracking
US20110182472A1 (en) * 2008-07-08 2011-07-28 Dan Witzner Hansen Eye gaze tracking
US8077915B2 (en) * 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
TW201314263A (zh) * 2011-09-26 2013-04-01 Microsoft Corp 整合眼睛追蹤及顯示系統
US20130107207A1 (en) * 2011-11-02 2013-05-02 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
TWI326865B (en) 2006-04-19 2010-07-01 Gigno Technology Co Ltd Control method of display apparatus
US7682026B2 (en) 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
US7682025B2 (en) 2007-02-04 2010-03-23 Miralex Systems Incorporated Gaze tracking using multiple images
US20090268045A1 (en) * 2007-08-02 2009-10-29 Sudipto Sur Apparatus and methods for configuration and optimization of image sensors for gaze tracking applications
CN101344919B (zh) * 2008-08-05 2012-08-22 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助系统
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
ES2880475T3 (es) 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
FR2952517B1 (fr) 2009-11-13 2012-07-20 Essilor Int Procede et dispositif de mesure automatique d'au moins une caracteristique de refraction des deux yeux d'un individu
US8570319B2 (en) 2010-01-19 2013-10-29 Disney Enterprises, Inc. Perceptually-based compensation of unintended light pollution of images for projection display systems
RU2565482C2 (ru) * 2010-03-22 2015-10-20 Конинклейке Филипс Электроникс Н.В. Система и способ для отслеживания точки взгляда наблюдателя
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
CN102749991B (zh) * 2012-04-12 2016-04-27 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103699238B (zh) * 2012-09-27 2016-09-21 益海芯电子技术江苏有限公司 光学运动感知方法
US20150155009A1 (en) * 2013-12-03 2015-06-04 Nokia Corporation Method and apparatus for media capture device position estimate- assisted splicing of media
CN103677270B (zh) * 2013-12-13 2016-08-17 电子科技大学 一种基于眼动跟踪的人机交互方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8077915B2 (en) * 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
US20110182472A1 (en) * 2008-07-08 2011-07-28 Dan Witzner Hansen Eye gaze tracking
TW201035813A (en) * 2009-03-27 2010-10-01 Utechzone Co Ltd Pupil tracking method and system, and correction method and correction module for pupil tracking
TW201314263A (zh) * 2011-09-26 2013-04-01 Microsoft Corp 整合眼睛追蹤及顯示系統
US20130107207A1 (en) * 2011-11-02 2013-05-02 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking

Also Published As

Publication number Publication date
EP3137968B1 (en) 2019-10-16
WO2015167471A1 (en) 2015-11-05
CN106662911B (zh) 2020-08-11
US9983668B2 (en) 2018-05-29
US20170039719A1 (en) 2017-02-09
CN106662911A (zh) 2017-05-10
EP3137968A4 (en) 2017-09-13
TW201543275A (zh) 2015-11-16
EP3137968A1 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
US11087538B2 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
US10536661B2 (en) Tracking object of interest in an omnidirectional video
US10776954B2 (en) Real-world anchor in a virtual-reality environment
CN105917292B (zh) 利用多个光源和传感器的眼睛注视检测
CN105706028B (zh) 投影型影像显示装置
US20130321390A1 (en) Augmented books in a mixed reality environment
US20130259312A1 (en) Eye Gaze Based Location Selection for Audio Visual Playback
US20150193111A1 (en) Providing Intent-Based Feedback Information On A Gesture Interface
CN103765374A (zh) 交互式屏幕观看
US20170060828A1 (en) Gesture based annotations
KR20140125183A (ko) 프로젝터 장착 안경 및 그 제어 방법
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US20190369807A1 (en) Information processing device, information processing method, and program
TWI622901B (zh) 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
US11483569B1 (en) Device with dynamic transcode throttling
US20240004197A1 (en) Dynamic sensor selection for visual inertial odometry systems
CN107667522A (zh) 调整活动图像的长度
TW201709022A (zh) 非接觸式控制系統及方法
US20160127708A1 (en) Method for recording and processing at least one video sequence comprising at least one video track and a sound track
US20240129617A1 (en) Image capture eyewear with context-based sending
US11902534B2 (en) Device with dynamic transcode throttling
US20230308770A1 (en) Methods, apparatuses and computer program products for utilizing gestures and eye tracking information to facilitate camera operations on artificial reality devices
KR20190027081A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
Fisunov et al. Head-mounted eye tracker based on android smartphone

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees