TW201932871A - 雙模式視線追蹤方法與系統 - Google Patents

雙模式視線追蹤方法與系統 Download PDF

Info

Publication number
TW201932871A
TW201932871A TW107102156A TW107102156A TW201932871A TW 201932871 A TW201932871 A TW 201932871A TW 107102156 A TW107102156 A TW 107102156A TW 107102156 A TW107102156 A TW 107102156A TW 201932871 A TW201932871 A TW 201932871A
Authority
TW
Taiwan
Prior art keywords
infrared
visible light
mode
tracking
dual
Prior art date
Application number
TW107102156A
Other languages
English (en)
Other versions
TWI647472B (zh
Inventor
簡韶逸
吳奕亨
邱柏榕
方亮
Original Assignee
國立臺灣大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學 filed Critical 國立臺灣大學
Priority to TW107102156A priority Critical patent/TWI647472B/zh
Priority to CN201810476058.1A priority patent/CN110069124B/zh
Priority to US16/162,219 priority patent/US10606352B2/en
Application granted granted Critical
Publication of TWI647472B publication Critical patent/TWI647472B/zh
Publication of TW201932871A publication Critical patent/TW201932871A/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種雙模式視線追蹤方法及系統，發射紅外線光束以執行紅外線追蹤，並同時進行可見光校正。當可見光所得到的注視位置與紅外線所得到的注視位置之間的第一誤差小於預設的第一臨界值，則關閉紅外線光束以執行可見光追蹤。進入可見光檢查期間，當可見光所得到的注視位置與紅外線所得到的注視位置之間的第二誤差小於預設的第二臨界值，則關閉紅外線光束而繼續執行可見光追蹤。

Description

雙模式視線追蹤方法與系統
本發明係有關一種視線追蹤，特別是關於一種雙模式視線追蹤系統與方法。
視線追蹤(eye tracking)是一種使用感測裝置以得到人眼注視位置(gaze position)的技術。視線追蹤裝置(又稱眼動儀)根據配置位置可分為遠距型(remote)與攜帶型(mobile)兩大類。遠距型的視線追蹤裝置距離人眼至少為數十公分以上，因此準確度較低。攜帶型的視線追蹤裝置設置於人眼附近，例如設置於眼鏡架上，可達成較高的準確度。然而進行追蹤時，視線追蹤裝置的電源須持續開啟，因此使用時間受到限制，例如僅能使用數小時。
視線追蹤裝置可適用於各種的應用場合。例如，使用視線追蹤裝置於醫療照護(healthcare)，可輔助偵測眨眼來改善預防乾眼症狀。使用視線追蹤裝置於車用安全，可對駕駛進行專注力分析以預防疲勞駕駛的情形發生。使用視線追蹤裝置於虛擬實境(VR)或擴增實境(AR)，可輔助收集資訊，使虛擬實境或擴增實境達到更好的效能。
一般視線追蹤裝置使用單一或數個近紅外線(near infrared)光源，擷取並分析紅外線影像以得到人眼的注視位置。然而，紅外線系統於室外陽光強烈時會發生誤判，降低準確度，因此較佳適用範圍為室內。
更重要的是，攜帶型視線追蹤裝置的紅外線光源距離人眼很近，若長期配戴將使人眼長時間受到紅外線的照射，產生紅外線對於人眼傷害之疑慮。因此，降低使用者配戴攜帶型視線追蹤裝置的意願。
因此亟需提出一種新穎的視線追蹤機制，用以降低功率消耗以延長使用時間，且能降低紅外線照射至人眼的總能量。
鑑於上述，本發明實施例的主要目的在於提出一種雙模式視線追蹤系統與方法，可切換於紅外線追蹤模式與可見光追蹤模式。本實施例的光源以自然光為主，紅外線為輔，因而可以有效降低功耗以延長使用時間，且能避免人眼長時間受到紅外線的照射，減低紅外線對於人眼傷害之疑慮。
根據本發明實施例，雙模式視線追蹤方法包含以下步驟。發射紅外線光束以執行紅外線追蹤而得到人眼的第一注視位置，並同時進行可見光校正以得到人眼的第二注視位置。決定第二注視位置相對於第一注視位置的第一誤差。當第一誤差小於預設的第一臨界值，則關閉紅外線光束以執行可見光追蹤。於可見光檢查期間，發射紅外線光束並決定可見光所感測得到的第二注視位置與紅外線所感測得到的第一注視位置之間的第二誤差。當第二誤差小於預設的第二臨界值，則關閉紅外線光束而繼續執行可見光追蹤。
根據本發明另一實施例，雙模式視線追蹤系統包含紅外線發光器、影像感測器及控制器。紅外線發光器用以發射紅外線光束至人眼。影像感測器接收輸入影像，並將其轉換為電子信號，其中輸入影像包含紅外線影像與可見光影像，且影像感測器可感測可見光範圍與紅外線範圍。控制器控制以開啟或關閉紅外線發光器。其中控制器控制影像感測器，使其根據可見光影像以產生相應的可見光電子信號，或根據紅外線影像以產生相應的紅外線電子信號，或同時產生兩者。
第一圖顯示本發明實施例之雙模式視線追蹤系統(dual mode eye tracking system)100的系統方塊圖，用以得到人眼的注視位置(gaze position)。在本實施例中，雙模式視線追蹤系統(以下簡稱追蹤系統)100可包含紅外線發光器(IR illuminator)11，用以發射紅外線光束111至人眼12。在一例子中，紅外線發光器11係由至少一個紅外線光源組成。第一圖所示的紅外線光束111僅為示意，並非代表實際的光路徑。本實施例之紅外線發光器11所發射的紅外線光束111為近紅外線(例如波長範圍0.75~1.4微米)，但也可以是紅外線(波長範圍0.7~1000微米)的其他部分。
本實施例之追蹤系統100可包含影像感測器13(例如相機)，其接收輸入影像131，並將其轉換為電子信號。根據本實施例的特徵之一，影像感測器13可感測可見光(VL)範圍(例如波長範圍0.4~0.7微米)及紅外線範圍(例如近紅外線)。換句話說，影像感測器13所接收的輸入影像131，可包含紅外線影像，其係由(紅外線發光器11發射的)紅外線光束111經人眼12反射或/且折射後而得到；或可見光影像，其係由周圍自然光經人眼12反射或/且折射後而得到。
第二圖例示第一圖之影像感測器13的光譜靈敏度(spectral sensitivity)，其涵蓋了可見光範圍(例如紅色光(R)、綠色光(G)、藍色光(B))與紅外線範圍(例如近紅外線)。在一例子中，影像感測器13可同時涵蓋感測可見光(例如紅色光、綠色光、藍色光)及紅外線。在另一實施例中，影像感測器13則是由可見光影像感測器與至少一個紅外線影像感測器所組成。
在本實施例中，追蹤系統100可包含控制器14，其控制紅外線發光器11，用以開啟或關閉紅外線發光器11。此外，控制器14還可控制影像感測器13，使其根據輸入影像131之可見光影像以產生相應的可見光電子信號，或輸入影像131之紅外線影像以產生相應的紅外線電子信號，或同時產生兩者。
本實施例之追蹤系統100還可包含處理器15(例如影像處理器)，接收影像感測器13所產生的電子信號，據以得到人眼12的注視位置。
本實施例之追蹤系統100可適用於遠距型(remote)應用，例如追蹤系統100與人眼相距0.5公尺。本實施例之追蹤系統100也可適用於攜帶型(mobile)或近距型應用，例如穿戴式電腦眼鏡(wearable computer glasses)，或稱為智慧型眼鏡(smart glasses)。第三圖例示智慧型眼鏡的立體圖。上述的控制器14及處理器15可設於鏡腿(leg)31上的盒32內，影像感測器13可設於盒32內或鏡框(frame)33上，而紅外線發光器11則可設於鏡框33上。在一例子中，在智慧型眼鏡的其中一個鏡片中(或附近)的感測器以感測可見光影像，在另一個鏡片中(或附近)的感測器以感測紅外線影像。
第四圖顯示本發明實施例之雙模式視線追蹤方法400的流程圖。本實施例之雙模式視線追蹤方法(以下簡稱追蹤方法)400可適用於遠距型應用，也可適用於攜帶型應用，例如智慧型眼鏡。以下將配合第一圖所示的追蹤系統100詳細說明本實施例之追蹤方法400的執行細節。
於步驟41，進行紅外線校正(IR calibration)模式。控制器14開啟紅外線發光器11，用以發射紅外線光束111至人眼12。此外，控制器14控制影像感測器13使其感測輸入影像131之紅外線影像，以產生相應的紅外線電子信號。所產生的紅外線電子信號經處理器15的處理後，可得到人眼12的注視位置。在一紅外線校正例子中，如第三圖所例示的智慧型眼鏡，其顯示(靜止或動態的)預設圖樣(pattern)讓使用者觀看，再比較(處理器15所處理的)注視位置是否與預設圖樣的位置相符合。如果經比較後兩者之差值超出預設的容許範圍，則追蹤系統100可進行自動或手動的調整，直到兩者之差值落入預設的容許範圍。根據上述，於紅外線校正模式(步驟41)期間，紅外線發光器11為開啟，且影像感測器13僅感測輸入影像131之紅外線影像，以產生相應的紅外線電子信號。
當紅外線校正完成，接著，進入步驟42的紅外線追蹤模式，使用紅外線發光器11發射紅外線光束111至人眼12，且使用影像感測器13以感測輸入影像131之紅外線影像，因而產生相應的紅外線電子信號。該紅外線電子信號經處理器15的處理後，可得到人眼12的第一注視位置。
根據本實施例的另一特徵，於紅外線追蹤模式期間，控制器14同時也控制影像感測器13使其感測輸入影像131之可見光影像，以產生相應的可見光電子信號。所產生的可見光電子信號經處理器15的處理後，可得到人眼12的第二注視位置。一般來說，於初始狀況下，感測紅外線影像所得到之第一注視位置較感測可見光影像所得到之第二注視位置來得準確。然而，經過一段時間後，第二注視位置經校正會逐漸變得準確。在本實施例中，處理器15處理可見光電子信號時，透過影像處理的方式，抽取眼睛影像的特徵，配合紅外線校正模式(步驟41)期間所得到的輔助資料，進行線性嵌入運算，可以直接從眼睛影像推測出人眼的注視位置。
於步驟43，以第一注視位置為基準，計算第二注視位置相對於第一注視位置的(第一)誤差(例如第一注視位置與第二注視位置之間的距離，其值為正數)。如果(第一)誤差並未小於預設的第一臨界值(表示可見光學習尚未達成目標)，則回到紅外線追蹤模式(步驟42)，繼續可見光學習。當(第一)誤差小於預設的第一臨界值(表示第二注視位置已趨近於第一注視位置)，則進入步驟44，亦即可見光追蹤模式。換句話說，於紅外線追蹤模式(步驟42)期間，除了進行紅外線的視線追蹤，也同時進行可見光的校正(或學習)。如前所述，感測可見光影像所得到之第二注視位置會藉由學習而逐漸變得準確。
當第二注視位置變得足夠準確時(亦即誤差小於預設的第一臨界值)，則進入可見光追蹤模式(步驟44)。於可見光追蹤模式期間，控制器14會關閉紅外線發光器11，不再發射紅外線光束111。取而代之的是，周圍自然光經人眼12反射或/且折射後而得到可見光影像，作為輸入影像131而饋至影像感測器13，以產生相應的可見光電子信號。所產生的可見光電子信號經處理器15的處理後，可得到人眼12的第二注視位置。藉此，由於紅外線發光器11於可見光追蹤模式期間是關閉的，所使用的是自然光，不須額外的光源，因此可以大量降低功率的消耗，也同時可以避免過熱問題。因為攜帶型追蹤裝置(例如智慧型眼鏡)的電源極為有限，因此功耗的降低有助於延長攜帶型追蹤裝置的使用時間。此外，於可見光追蹤模式期間未發射紅外線光束111，可避免人眼長時間受到紅外線的照射，減低紅外線對於人眼傷害之疑慮。
為了避免可見光追蹤模式(步驟44)期間，感測可見光影像所得到之第二注視位置發生漂離而變得不準確，因此當符合預設條件(步驟45)時，會進入步驟46(亦即可見光檢查期間)，以檢查第二注視位置是否發生漂離而變得不準確。在本實施例中，步驟45係決定是否已達預設時間間隔(例如10秒)，可使用計時器進行計時。如果計時器尚未達預設計時，則繼續可見光追蹤模式(步驟44)；當計時器已達預設計時，則進入步驟46。在另一例子中，步驟 45是根據環境感測的結果來決定是否進入步驟46(亦即可見光檢查期間)。在又一例子中，步驟45是以機器學習方式由可見光得到的結果來決定是否進入步驟46(亦即可見光檢查期間)。
於可見光檢查期間(步驟46)，控制器14會開啟紅外線發光器11一段預設期間以發射紅外線光束111至人眼12，且使用影像感測器13以感測輸入影像131之紅外線影像，因而產生相應的紅外線電子信號。該紅外線電子信號經處理器15的處理後，可得到人眼12的第一注視位置。步驟46類似於步驟42，都是開啟紅外線發光器11，並同時感測輸入影像131之紅外線影像與可見光影像。不同的是，步驟46是用以檢查第二注視位置是否維持準確，因此期間很短暫；然而步驟42則是進行可見光的校正(或學習)，因此期間較長。
接著，於步驟47，以第一注視位置為基準，計算第二注視位置相對於第一注視位置的(第二)誤差。如果(第二)誤差小於預設的第二臨界值(表示第二注視位置仍維持準確)，則回到可見光追蹤模式(步驟44)。當(第二)誤差未小於預設的第二臨界值(表示第二注視位置已漂離而變得不準確)，則回到步驟42，亦即紅外線追蹤模式，重新進行可見光學習(或校正)。
在本說明書中，前述第一臨界值與第二臨界值為正值，兩者可為相同或相異。在本實施例中，第一臨界值小於第二臨界值。第五圖顯示紅外線(IR)追蹤模式與可見光(VL)追蹤模式相對於誤差的變化曲線。如圖所示，紅外線(IR)追蹤模式與可見光(VL)追蹤模式的切換具有遲滯現象(hysteresis)，亦即具有記憶效應(memory effect)，因而可以避免快速(rapid)且反覆(repetitive)的切換。
根據上述，本實施例提出一種雙模式視線追蹤系統與方法，於初始階段的紅外線校正模式(步驟41)與紅外線追蹤模式(步驟42)會開啟紅外線發光器11。一旦可見光學習完成(步驟42)，即可關閉紅外線發光器11。因此，紅外線發光器11於絕大部分的時間都是關閉的。換句話說，本實施例所提出的是以自然光為主，紅外線為輔的視線追蹤系統或方法。藉此，本實施例可以大量降低功耗，且可降低紅外線照射至人眼的總能量，減低紅外線對於人眼傷害之疑慮。本實施例特別適用於光線充足的場合，因為在此場合當中，絕大部分時間都是處於可見光追蹤模式(步驟44)，因此能夠維持更久的使用時間。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100‧‧‧雙模式視線追蹤系統
11‧‧‧紅外線發光器
111‧‧‧紅外線光束
12‧‧‧人眼
13‧‧‧影像感測器
131‧‧‧輸入影像
14‧‧‧控制器
15‧‧‧處理器
31‧‧‧鏡腿
32‧‧‧盒
33‧‧‧鏡框
400‧‧‧雙模式視線追蹤方法
41‧‧‧紅外線校正模式
42‧‧‧紅外線追蹤模式(可見光校正)
43‧‧‧第一誤差是否小於第一臨界值
44‧‧‧可見光追蹤模式
45‧‧‧是否已達預設時間間隔
46‧‧‧可見光檢查期間
47‧‧‧第二誤差是否小於第二臨界值
R‧‧‧紅色光
G‧‧‧綠色光
B‧‧‧藍色光
IR‧‧‧紅外線
VL‧‧‧可見光
第一圖顯示本發明實施例之雙模式視線追蹤系統的系統方塊圖。 第二圖例示第一圖之影像感測器的光譜靈敏度。 第三圖例示智慧型眼鏡的立體圖。 第四圖顯示本發明實施例之雙模式視線追蹤方法的流程圖。 第五圖顯示紅外線(IR)追蹤模式與可見光(VL)追蹤模式相對於誤差的變化曲線。

Claims (22)

  1. 一種雙模式視線追蹤方法，包含: 發射紅外線光束以執行紅外線追蹤而得到人眼的第一注視位置，並同時進行可見光校正以得到人眼的第二注視位置； 決定該第二注視位置相對於該第一注視位置的第一誤差； 當該第一誤差小於預設的第一臨界值，則關閉紅外線光束以執行可見光追蹤； 進入可見光檢查期間，發射紅外線光束並決定可見光所感測得到的第二注視位置與紅外線所感測得到的第一注視位置之間的第二誤差；及 當該第二誤差小於預設的第二臨界值，則關閉紅外線光束而繼續執行可見光追蹤。
  2. 根據申請專利範圍第1項所述之雙模式視線追蹤方法，其中當該第一誤差未小於該第一臨界值，則繼續執行紅外線追蹤。
  3. 根據申請專利範圍第1項所述之雙模式視線追蹤方法，其中當該第二誤差未小於該第二臨界值，則回復以執行紅外線追蹤。
  4. 根據申請專利範圍第1項所述之雙模式視線追蹤方法，其中該第一臨界值小於該第二臨界值。
  5. 根據申請專利範圍第1項所述之雙模式視線追蹤方法，於執行該紅外線追蹤步驟之前，更包含一步驟以進行紅外線校正。
  6. 根據申請專利範圍第5項所述之雙模式視線追蹤方法，其中該紅外線校正步驟包含： 發射含有預設圖樣的紅外線光束至人眼； 比較注視位置是否與該預設圖樣的位置相符合；及 如果比較後的差值超出預設的容許範圍，則進行調整直到差值落入該預設的容許範圍。
  7. 根據申請專利範圍第5項所述之雙模式視線追蹤方法，其中該可見光校正步驟包含： 執行影像處理以抽取眼睛影像的特徵；及 將該特徵配合該紅外線校正步驟所得到的輔助資料，進行線性嵌入運算以推測出人眼的注視位置。
  8. 根據申請專利範圍第1項所述之雙模式視線追蹤方法，其中該可見光檢查期間小於該紅外線追蹤的期間。
  9. 根據申請專利範圍第1項所述之雙模式視線追蹤方法，其中該紅外線追蹤的期間小於該可見光追蹤的期間。
  10. 根據申請專利範圍第1項所述之雙模式視線追蹤方法，於該可見光檢查期間之前，更包含一步驟以決定是否符合預設條件，當符合該預設條件，則進入該可見光檢查期間，否則繼續執行可見光追蹤。
  11. 根據申請專利範圍第10項所述之雙模式視線追蹤方法，其中該預設條件為預設時間間隔、環境感測的結果或以機器學習方式由可見光得到的結果。
  12. 一種雙模式視線追蹤系統，包含： 一紅外線發光器，用以發射紅外線光束至人眼； 一影像感測器，其接收輸入影像，並將其轉換為電子信號，其中該輸入影像包含紅外線影像與可見光影像，且該影像感測器可感測可見光範圍與紅外線範圍；及 一控制器，其控制以開啟或關閉該紅外線發光器； 其中該控制器控制該影像感測器，使其根據該可見光影像以產生相應的可見光電子信號，或根據該紅外線影像以產生相應的紅外線電子信號，或同時產生兩者。
  13. 根據申請專利範圍第12項所述之雙模式視線追蹤系統，更包含一處理器，接收該影像感測器所產生的電子信號，據以得到人眼的注視位置。
  14. 根據申請專利範圍第13項所述之雙模式視線追蹤系統，更包含一穿戴式電腦眼鏡，其上設有該紅外線發光器、該影像感測器、該控制器及該處理器。
  15. 根據申請專利範圍第14項所述之雙模式視線追蹤系統，其中透過該穿戴式電腦眼鏡的其中一個鏡片中之感測器以感測可見光影像，並透過另一個鏡片中之感測器以感測紅外線影像。
  16. 根據申請專利範圍第12項所述之雙模式視線追蹤系統，其可切換於紅外線追蹤模式與可見光追蹤模式。
  17. 根據申請專利範圍第16項所述之雙模式視線追蹤系統，其中於該紅外線追蹤模式時，該控制器開啟該紅外線發光器，並控制該影像感測器以感測該紅外線影像，因而產生相應的紅外線電子信號，且該控制器控制該影像感測器以感測該可見光影像，因而產生相應的可見光電子信號。
  18. 根據申請專利範圍第16項所述之雙模式視線追蹤系統，其中於該可見光追蹤模式時，該控制器關閉該紅外線發光器，並控制該影像感測器以感測可見光影像，因而產生相應的可見光電子信號。
  19. 根據申請專利範圍第16項所述之雙模式視線追蹤系統，其中該紅外線追蹤模式的期間小於該可見光追蹤模式的期間。
  20. 根據申請專利範圍第12項所述之雙模式視線追蹤系統 ，其中該紅外線發光器包含至少一個紅外線光源。
  21. 根據申請專利範圍第12項所述之雙模式視線追蹤系統 ，其中該影像感測器同時涵蓋感測可見光及紅外線。
  22. 根據申請專利範圍第12項所述之雙模式視線追蹤系統 ，其中該影像感測器包含一可見光影像感測器與至少一個紅外線影像感測器。
TW107102156A 2018-01-22 2018-01-22 雙模式視線追蹤方法與系統 TWI647472B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107102156A TWI647472B (zh) 2018-01-22 2018-01-22 雙模式視線追蹤方法與系統
CN201810476058.1A CN110069124B (zh) 2018-01-22 2018-05-17 双模式视线追踪方法与系统
US16/162,219 US10606352B2 (en) 2018-01-22 2018-10-16 Dual mode eye tracking method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107102156A TWI647472B (zh) 2018-01-22 2018-01-22 雙模式視線追蹤方法與系統

Publications (2)

Publication Number Publication Date
TWI647472B TWI647472B (zh) 2019-01-11
TW201932871A true TW201932871A (zh) 2019-08-16

Family

ID=65804156

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102156A TWI647472B (zh) 2018-01-22 2018-01-22 雙模式視線追蹤方法與系統

Country Status (3)

Country Link
US (1) US10606352B2 (zh)
CN (1) CN110069124B (zh)
TW (1) TWI647472B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458122B (zh) * 2019-08-15 2022-04-22 京东方科技集团股份有限公司 一种视线标校方法、显示装置的播放方法和视线标校系统
CN110908511B (zh) * 2019-11-08 2022-03-15 Oppo广东移动通信有限公司 触发重新校正的方法及相关装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0602545L (en) * 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
JP5383550B2 (ja) * 2010-02-24 2014-01-08 京セラ株式会社 燃料電池モジュール
EP2549914B1 (en) * 2010-03-22 2019-06-05 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
CN102510480B (zh) * 2011-11-04 2014-02-05 大连海事大学 驾驶员视线自动校准和跟踪系统
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
JP5467303B1 (ja) * 2012-07-31 2014-04-09 独立行政法人科学技術振興機構 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
TWI561210B (en) * 2013-01-08 2016-12-11 Altek Biotechnology Corp Image capturing apparatus and capturing method
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
JP2018504733A (ja) * 2014-10-21 2018-02-15 フィリップス ライティング ホールディング ビー ヴィ 発光分布のハンズフリー設定のためのシステム、方法、及びコンピュータプログラム
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking
CN106125919B (zh) * 2016-06-20 2019-04-26 联想(北京)有限公司 一种状态控制方法及电子设备

Also Published As

Publication number Publication date
US20190227622A1 (en) 2019-07-25
CN110069124B (zh) 2022-02-18
US10606352B2 (en) 2020-03-31
TWI647472B (zh) 2019-01-11
CN110069124A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
US11567570B2 (en) Relative position based eye-tracking system
US7430365B2 (en) Safe eye detection
US10002293B2 (en) Image collection with increased accuracy
US8066375B2 (en) Eye tracker having an extended span of operating distances
US9720087B2 (en) Method and device for determining an orientation of an object
TWI647472B (zh) 雙模式視線追蹤方法與系統
WO2019174436A1 (zh) 控制方法、控制装置、深度相机和电子装置
CN110622237B (zh) 用于控制移动设备的显示参数的方法和计算机程序产品
US11226404B2 (en) Method for operating a laser distance measurement device
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
EP2487895A2 (en) Thermal imaging device with head position sensing
TW201331792A (zh) 感光模組以及光源之驅動電流的校正方法
KR101628543B1 (ko) 시선추적장치 및 그의 추적정확도 측정방법
TW202022432A (zh) 適應性視線追蹤的校正方法
US20240012239A1 (en) Method for operating smart glasses including a virtual retinal display, processing unit, and smart glasses
US11156831B2 (en) Eye-tracking system and method for pupil detection, associated systems and computer programs
KR20120127560A (ko) 눈 검출 시스템 및 그 동작 방법
US20230421908A1 (en) Eye Tracking System
US20230125838A1 (en) Electronic apparatus and control method for electronic apparatus
WO2022243953A1 (en) Apparatus, method and computer program for measuring a space and / or an alignment and / or an angle of misalignment between a first surface and a second surface