TWI543745B - 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法 - Google Patents

用於以逆反射進行瞳孔追蹤的光學陣列系統及方法 Download PDF

Info

Publication number
TWI543745B
TWI543745B TW103118691A TW103118691A TWI543745B TW I543745 B TWI543745 B TW I543745B TW 103118691 A TW103118691 A TW 103118691A TW 103118691 A TW103118691 A TW 103118691A TW I543745 B TWI543745 B TW I543745B
Authority
TW
Taiwan
Prior art keywords
emitting diode
light emitting
pupil
image sensor
eyeglass frame
Prior art date
Application number
TW103118691A
Other languages
English (en)
Other versions
TW201511732A (zh
Inventor
軍 高
萊蒙德 奧爾蒂斯
朱莉 富凱
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Publication of TW201511732A publication Critical patent/TW201511732A/zh
Application granted granted Critical
Publication of TWI543745B publication Critical patent/TWI543745B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Description

用於以逆反射進行瞳孔追蹤的光學陣列系統及方法
本發明係關於一種逆反射陣列，尤指一種包含用以進行瞳孔追蹤之具備高速感應之影像感測器的逆反射陣列。
逆反射(retro reflectivity)為人眼的一種特性，其為當光源射入眼睛時，一主要的入射光會反向於其入射路徑被反射到光源處，此特性造成所熟知的相片上的紅眼效應(red-eye effect)。一光軸(optical axis)可被想像是影像感測器中央與人眼之瞳孔中央之間的一直線，為了使人眼逆反射可被影像感測器(imager)偵測到，照射人眼的光源應儘可能被設置為鄰近於影像感測器(此即為同軸(on-axis)光源)，才可使影像感測器接收到瞳孔反射光源的光，並看起來為一亮點(bright spot)。若光源以偏離光軸的方式而自影像感測器附近被移遠(此即為離軸(off-axis)光源)，則影像感測器將無法接收到來自瞳孔的逆反射，因此瞳孔在成像上會是黑色。
藉由上述紅眼效應，可偵測到人眼的存在以及其位置。請參考第1圖，第1圖為習知技術用以進行瞳孔偵測的系統100之示意圖。如第1圖所示，人眼50位於影像感測器30的對面，發光二極體(light emitting diode,LED)陣列13、15被分別設置於影像感測器30的兩側。發光二極體陣列15包含一同軸(on-axis)發光二極體2及一離軸(off-axis)發光二極體7，且發光二極體陣列13包含一同軸發光二極體4及一離軸發光二極體9。如前所 述，同軸發光二極體2、4係設置於鄰近於影像感測器30的位置，而離軸發光二極體7、9則是設置遠離於影像感測器30的位置。透過校正(calibration)流程可用以決定同軸光照角度以及離軸光照角度，例如透過使用影像感測器30偵測來自瞳孔的反射光是否超過一臨界值(threshold)，可對同軸光照角度進行校正，而透過使用影像感測器30是否偵測到完全為黑色的瞳孔影像，則可對離軸光照角度進行校正。
美國專利第7280678號揭示了類似的應用。類似於第1圖之逆反射陣列被可用來偵測正在開車的駕駛是否睡著，其原理是基於駕駛應該直視前方道路，因此其注視角度可視為固定的。針對肩膀以上出現的偶然閉眼(occasional glance)現象，可設定一臨界值來判斷駕駛只是在眨眼或是駕駛已經睡著了。例如未偵測到瞳孔超過該臨界值時，即可判定為駕駛已經睡著了，並可據以啟動一警報器或類似的警告系統。
上述技術受限於習知感應器及相關處理器的速度，可擷取(capture)到的圖框(image frame)框數會低於每秒60張，在此速度下雖然可偵測到駕駛是不是清醒的(alert)，但若物體在快速移動的情況下，則必須使用特製的光學濾波器來同時(simultaneously)蒐集同軸影像及離軸影像。雖然上述的差別影像(differenced image)概念可成功地偵測到瞳孔，但本發明著重於開發一種基於影像(image-based)的替代方法，其透過影像感測器偵測目光方向來追蹤瞳孔，由於影像感測器的畫面更新率(frame rate)極快，故本發明不需要用到前述的特製光學濾波器。
如上所述，本發明的目的之一在於提供一種使用逆反射來進行瞳孔追蹤的光學陣列。
本發明之一實施例提供了一種用於以逆反射進行瞳孔追蹤的光學陣列系統。該光學陣列系統包含一發光二極體陣列、至少一影像感測器及一處理器。該發光二極體陣列包含至少一同軸發光二極體及至少一離軸發光二極體，用以照明位在一主動區中之一使用者之瞳孔。該至少一影像感測器係用以擷取被該發光二極體陣列光照後之瞳孔的影像，以產生複數個擷取影像。該處理器係耦接於該影像感測器，用以接收該複數個擷取影像並對該複數個擷取影像作演算法處理以分離出瞳孔資訊，並據以判斷該主動區內的瞳孔存在及位置。
本發明之另一實施例提供了一種使用逆反射來進行瞳孔追蹤的方法。該方法包含：使用至少一同軸發光二極體及至少一離軸發光二極體照明位在一主動區中之一使用者之瞳孔；提供至少一影像感測器，以擷取被該發光二極體陣列光照後之瞳孔的影像，以產生複數個擷取影像；及接收該複數個擷取影像並對該複數個擷取影像作演算法處理以分離出瞳孔資訊，並據以判斷在該主動區內的瞳孔存在及位置。
本發明提供一種透過人眼目光的方向進行瞳孔追蹤的光學陣列，其包含至少一高速且低解析度影像感測器，因此相較於習知利用逆反射技術的光學系統，可更快速地擷取影像。此外，對於不同的擷取影像作臨界值的設置，可將背景雜訊濾除。本發明另可透過人性化操作介面裝置來實現。
2、4‧‧‧同軸發光二極體
7、9‧‧‧離軸發光二極體
13、15‧‧‧發光二極體陣列
30‧‧‧影像感測器
50‧‧‧人眼
100‧‧‧系統
200、300‧‧‧光學陣列
208、308、315、317‧‧‧發光二極體內環
215、217、316、309、318‧‧‧發光二極體外環
220、320‧‧‧中央面板
240、340‧‧‧右側平板
250、365、350、345、450‧‧‧影像感測器
260、360‧‧‧左側面板
280、375、380、355‧‧‧處理器
400‧‧‧眼鏡
401‧‧‧左眼鏡框
402‧‧‧右眼鏡框
403、404‧‧‧連接臂
405‧‧‧鼻樑架
408‧‧‧內發光二極體
413、415、417、419‧‧‧外發光二極體
420‧‧‧光學陣列
430‧‧‧影像感測器
第1圖為使用一光源來根據影像感測器與人眼之間的一同軸光照角度及以一離軸角度將光線射入人眼的示意圖。
第2A圖為本發明光學陣列之第一實施例的俯視圖。
第2B圖為第2A圖之光學陣列的正視圖。
第3A圖為本發明光學陣列之第二實施例的俯視圖。
第3B圖為第3A圖之光學陣列的正視圖。
第4A圖為根據本發明之一實施例的相關應用之示意圖。
第4B圖為第4A圖之光學陣列的示意圖。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」為一開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。
本發明提供一種可高速偵測瞳孔存在及瞳孔位置的光學陣列，因此可用來進行瞳孔追蹤，以及可在某些特定情況下進行目光追蹤(gaze tracking)。此外，本發明系統之一範例揭示了一種人性化操作介面裝置(human interface device,HID)。
本發明所提供的光學陣列的主要概念在於以高速、低解析度的滑鼠導航感應器(mouse navigation sensor)來擷取瞳孔影像。相對於習知逆反射技術所使用的影像感測器，本發明搭配滑鼠導航感應器的影像感測器可在高畫面更新率(high frame rate)下擷取及處理影像，並據以偵測瞳孔的存在、位置及移動。由於影像感測器可確認瞳孔的多個不同位置，故可決定出追蹤演算法並據以在一特定區域(又稱之為主動區(active area))進行瞳孔追蹤。
請參考第2A圖及第2B圖，第2A圖為本發明第一實施例之光學陣列200的俯視圖，第2B圖為第2A圖所示之光學陣列200的正視圖。如第2A圖及第2B圖所示，光學陣列200為由左側面板(panel)260、中央面板220及右側平板240所組成的三面(three-sided)光學陣列。高速且低解析度的影像感測器250係設置於中央面板220的中間位置。此外，設置於影像感測器250的USB連接器(未圖示)可將一USB訊號提供至處理器280中的一高速影像資料擷取應用程式(high-speed image data acquisition application)，而處理器280中的高速影像資料擷取應用程式可處理擷取影像以進行瞳孔追蹤及目光偵測。在第2A圖中，左側面板260及右側面板240分別與中央面板220之間的角度皆為148度，然而這僅是一個實施方式，實際上，本發明並不加以限定左側面板260、中央面板220及右側平板240彼此之間的角度。
設置在光學陣列200上的發光二極體之排列可形成一發光環，用以進行同軸及離軸的照射，如第2B圖所示，一發光二極體內環208係由環繞影像感測器250的6顆發光二極體組成，但請注意，圖示的排列僅為一種舉例，並不用以限定本發明之範疇。此外，左側面板260及右側面板240亦各自設置6顆發光二極體，其中3顆發光二極體係設置於其靠近中央面板220處而形成一發光二極體外環215，另外3顆發光二極體係設置在其最外緣而形成另一發光二極體外環217。發光二極體可被設置在光學陣列200的面板的任何位置以提供更多元化的組合，如第2A圖與第2B圖的排列方式僅為其中一種排列方式。
接下來將詳細描述影像是如何被擷取及處理。首先，光學陣列200需要先校正以決定正確的同軸光照角度及離軸光照角度，並修正使用者相對 於光學陣列200的高度及距離。在影像感測器鏡頭的參數中(其對於“主動區”的設定係十分重要)，主動區係使用標準化人體尺寸(standardized body dimension)來定義，以便透過人體坐姿平均高度及兩瞳孔間的平均距離來分別設定y軸及x軸。影像感測器250亦需要能夠偵測到較小頻率的變化，其係定義為使用者頭部移動的速度。此外，發光二極體內環208及發光二極體外環215、217的光照強度(illumination level)也可被校正。簡言之，主動區係設定為一種可供影像感測器250偵測瞳孔存在及位置的區域。
影像感測器250會擷取影像並進行降低取樣(down-sample)，其中在降低取樣後每個圖框的時間間隔可為5毫秒或者更短。藉由同軸及離軸光照影像之間的差異即可分離出(isolate)瞳孔資訊，且差異影像可藉由一追蹤演算法來估測。在得到瞳孔資訊以後，處理器280可快速地判斷使用者是否是清醒的。由於滑鼠導航感應器(mouse navigation sensor)的高速特性，影像感測器250可快速地相對於使用者眼睛的動作產生反饋(feedback)。為了能夠近一步移除環境雜訊，可將一畫素臨界值(threshold)應用至該些差異影像。畫素臨界值可用以濾除環境雜訊，而使影像只呈現所需的瞳孔相關資訊。
一種常見的判斷目光方向的方法為將瞳孔位置與眼睛表面反射光線的位置做比較。當一使用者的目光可持續地被追蹤時，光學陣列系統可用作為一人性化操作介面裝置(human interface device,HID)。然而，若是將上述的低解析度且高速的影像感測器設置為太過遠離使用者，則無法蒐集到較為精準的資訊(fine scale information)。
請參考第3A圖及第3B圖。第3A圖為本發明第二實施例之光學陣列300的俯視圖。第3B圖為第3A圖所示之光學陣列300的正視圖。如第 3A圖及第3B圖所示，光學陣列300為由左側面板360、中央面板320及右側平板340所組成的一個三面光學陣列。在此實施例中，左側面板360、中央面板320及右側平板340皆設置了一台具有高速及低解析度的影像感測器。具有高速及低解析度的影像感測器365係設置於左側面板360的中間位置、具有高速及低解析度的影像感測器350係設置於中央面板320的中間位置，且具有高速及低解析度的影像感測器345係設置於右側面板340的中間位置。此外，影像感測器365、350、345各自具有USB連接器(未圖示)以將來自影像感測器365、350、345的USB訊號分別提供至處理器375、380、355中的高速影像資料擷取應用程式。處理器375、380、355的高速影像資料擷取應用程式可處理擷取影像以進行瞳孔追蹤及目光偵測。
如第3B圖所示，影像感測器375、380、355的周圍皆具有複數顆發光二極體組成的發光二極體環，例如，影像感測器365係被發光二極體內環315及發光二極體外環316環繞，影像感測器350係被發光二極體內環308及發光二極體外環309環繞，且影像感測器345係被發光二極體內環317及發光二極體外環318環繞。請注意，左側面板360左右兩側僅繪示了數顆發光二極體，可視為整個發光二極體外環316的部份區段，實際的發光二極體外環316可包含更多顆發光二極體，並彼此串成一個圓形，亦即包圍發光二極體內環315的“外環”，且發光二極體外環309、318亦然，於此便不再贅述。在第二實施例中，影像感測器365、350、345係快速依序地被啟動。透過三台影像感測器所擷取的影像差異並以演算法做處理，可得到瞳孔形狀及亮度，用以大致上判斷出目光的方向。若眼睛的目光方向係朝向影像感測器365、350、345其中一台時，瞳孔會呈現近似圓形的亮光。若眼睛的目光方向係稍微偏離一影像感測器時，瞳孔會呈現較暗且較不近似圓形的亮光。若眼睛的目光方向與該影像感測器的角度過大時，瞳孔將完全不會呈現反光。另外，發光二極體內環308及發光二極體外環316、309、318的位置可根據 校正流程來決定。
請參考第4A圖及第4B圖，其為根據本發明概念之一種實現，僅藉由瞳孔位置來獲得目光方向資訊。於本實施例中，影像感測器必須設置為相當鄰近於瞳孔，因此僅由瞳孔位置便可指示出目光方向。如第4A圖及第4B圖所示，本發明光學陣列系統係設置為一副眼鏡400，其包含一左眼鏡框401、一右眼鏡框402、連接臂403及404，以及一鼻樑架405。左眼鏡框401用以安裝一左眼鏡片，右眼鏡框402用以安裝一右眼鏡片，連接臂403及連接臂404分別用以連接左眼鏡框401之最外緣及右眼鏡框402之最外緣，且鼻樑架405用以連接左眼鏡框401之最內緣及右眼鏡框402之最內緣。左眼鏡框401的上方中間處以及右眼鏡框402的上方中間處各設置有影像感測器430。
眼鏡400設置有二光學陣列420，內環發光二極體408係設置為鄰近於影像感測器450，而外發光二極體413、415係設置在鏡框的兩側。在此實施例中，內發光二極體408可為環狀發光二極體之一部分。如第4B圖所示，左側的光學陣列420係由影像感測器450及其兩側的內發光二極體408，以及外發光二極體413及415、417及419所組成，藉由內發光二極體408提供同軸照明以及藉由外發光二極體413及415、417及419提供離軸照明。請注意，第4B圖中繪示的光學陣列420僅為對應使用者左眼向外看的光學陣列，亦即第4A圖中右側的光學陣列420，由於熟知技藝者可無疑義地由第4B圖推得對應右眼的光學陣列，故於此便不贅述。相較於第2圖的光學陣列200，在第4B圖的光學陣列420的影像感測器450對應瞳孔的設置下，對使用者來說可能會更為方便。請注意，因為每一位使用者的瞳孔會有差異，影像感測器450仍可能需要被校正。
本實施例可藉由設定臨界畫素值，使得只有瞳孔及表面反射資訊會保留在處理後的影像，且本實施例可使用前述的高速且低解析度的影像感測器來實現。透過校正及對資料進行相關處理，可進一步提昇效能。雖然本實施例在使用上可能會受到眼部動作及頭部速度的限制，但由於取樣率以及畫素感應器的靈敏度為可調整，因而仍可符合實際使用需求。當然，基於眼睛健康的考量，參數的設定上仍需受到一些限制。
綜上所述，本發明提供透過人眼目光的方向進行瞳孔追蹤的一光學陣列，其包含至少一高速且低解析度影像感測器，因此相較於習知利用逆反射技術的光學系統可更快速地擷取影像。此外，對於不同的擷取影像作臨界值的設置，可將背景雜訊濾除。本發明另可透過人性化操作介面裝置來實現(例如眼鏡)。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
200‧‧‧光學陣列
208‧‧‧發光二極體內環
215、217‧‧‧發光二極體外環
220‧‧‧中央面板
240‧‧‧右側平板
250‧‧‧影像感測器
260‧‧‧左側面板
280‧‧‧處理器

Claims (15)

  1. 一種用於以逆反射進行瞳孔追蹤的光學陣列系統，包含：一發光二極體(light emitting diode,LED)陣列，包含至少一同軸(on-axis)發光二極體及至少一離軸(off-axis)發光二極體，用以照明位在一主動區(active region)中之一使用者之瞳孔；至少一影像感測器，擷取被該發光二極體陣列光照後之瞳孔的影像，以產生複數個擷取影像，其中該至少一影像感測器包含至少一滑鼠導航感應器(mouse navigation sensor)，且該至少一影像感測器係為高畫面更新率以及低解析度之影像感測器；以及一處理器，耦接於該影像感測器，用以接收該複數個擷取影像並對該複數個擷取影像作演算法處理以分離(isolate)出瞳孔資訊，並據以判斷在該主動區內的瞳孔存在及位置。
  2. 如申請專利範圍第1項所述之光學陣列系統，其中該發光二極體陣列係設置在一三面(three-sided)系統。
  3. 如申請專利範圍第2項所述之光學陣列系統，其另包含由複數個發光二極體組成之一發光二極體內環(inner ring)、一第一發光二極體外環(outer ring)及一第二發光二極體外環，該發光二極體內環係設置於該三面系統之一中央面板(panel)上，該第一發光二極體外環之部份發光二極體係分別設置於該三面系統之一左側面板之內緣及一右側面板之內緣上，且該第二發光二極體外環之部份發光二極體係分別設置於該左側面板之外緣及該右側面板之外緣上。
  4. 如申請專利範圍第3項所述之光學陣列系統，其中該發光二極體內環、該第一發光二極體外環及該第二發光二極體外環之位置係根據一校正 流程決定。
  5. 如申請專利範圍第2項所述之光學陣列系統，其中該三面系統之一左側面板、一中央面板及一右側面板中每一面板上皆設置有一影像感測器與由複數發光二極體組成之一發光二極體內環及一發光二極體外環。
  6. 如申請專利範圍第1項所述之光學陣列系統，其中該瞳孔資訊係藉由一同軸光照影像及一離軸光照影像之間的差別以及一畫素臨界值被分離出來。
  7. 如申請專利範圍第1項所述之光學陣列系統，其中該主動區之一y軸係根據人體坐姿的平均高度而定義，且一x軸係根據人體兩瞳孔間距的平均距離而定義。
  8. 如申請專利範圍第1項所述之光學陣列系統，其中該光學陣列系統為一副眼鏡，其包含：一左眼鏡框，用以安裝一左眼鏡片；一右眼鏡框，用以安裝一右眼鏡片；二連接臂，分別連接該左眼鏡框之最外緣及該右眼鏡框之最外緣；以及一鼻樑架，連接該左眼鏡框之最內緣及該右眼鏡框之最內緣；其中一第一影像感測器係設置在該左眼鏡框的上方中間處，一第二影像感測器係設置在該右眼鏡框的上方中間處，複數離軸發光二極體係設置在該左眼鏡框之最外緣及最內緣，以及設置在該右眼鏡框之最外緣及最內緣，且複數同軸發光二極體係設置在該第一影像感測器及該第二影像感測器的周圍。
  9. 一種使用逆反射來進行瞳孔追蹤的方法，包含：使用至少一同軸發光二極體及至少一離軸發光二極體照明位在一主動區中之一使用者之瞳孔；提供至少一影像感測器，以擷取被一發光二極體陣列光照後之瞳孔的影像，以產生複數個擷取影像，其中該至少一影像感測器包含至少一滑鼠導航感應器(mouse navigation sensor)，且該至少一影像感測器係為高畫面更新率以及低解析度之影像感測器；以及接收該複數個擷取影像並對該複數個擷取影像作演算法處理以分離出瞳孔資訊，並據以判斷該主動區內的瞳孔存在及位置。
  10. 如申請專利範圍第9項所述之方法，其中照明該使用者之瞳孔的步驟包含：透過將由複數個發光二極體組成之一發光二極體內環設置於一三面系統之一中央面板上、將由複數個發光二極體組成之一第一發光二極體外環設置於該三面系統之一左側面板之內緣及一右側面板之內緣上，以及將由複數個發光二極體組成之一第二發光二極體外環分別設置於該三面系統之該左側面板之外緣及該右側面板之外緣上，來照明該使用者之瞳孔。
  11. 如申請專利範圍第10項所述之方法，另包含：根據一校正流程決定該發光二極體內環、該第一發光二極體外環及該第二發光二極體外環之位置。
  12. 如申請專利範圍第10項所述之方法，另包含：於該三面系統之一左側面板、一中央面板及一右側面板中每一面板上設置一影像感測器與由複數發光二極體組成之一發光二極體內環及 一發光二極體外環。
  13. 如申請專利範圍第9項所述之方法，其中分離該瞳孔資訊的步驟包含：比較一同軸光照影像及一離軸光照影像以產生一差異影像；及應用一畫素臨界值至該差異影像。
  14. 如申請專利範圍第9項所述之方法，其中照明位在該主動區中之該使用者之瞳孔的步驟包含：根據人體坐姿的平均高度來定義該主動區之一y軸；及根據人體兩瞳孔間距的平均距離來定義該主動區之一x軸。
  15. 如申請專利範圍第9項所述之方法，另包含：提供一副眼鏡，其包含：一左眼鏡框，用以安裝一左眼鏡片；一右眼鏡框，用以安裝一右眼鏡片；二連接臂，連接該左眼鏡框之最外緣及該右眼鏡框之最外緣；以及一鼻樑架，連接該左眼鏡框之最內緣及該右眼鏡框之最內緣；設置一第一影像感測器於該左眼鏡框的上方中間處；設置一第二影像感測器於該右眼鏡框的上方中間處；設置複數離軸發光二極體係於該左眼鏡框及該右眼鏡框之最外緣以及該左眼鏡框及該右眼鏡框之最內緣；及設置複數同軸發光二極體於該第一影像感測器及該第二影像感測器的周圍。
TW103118691A 2013-09-17 2014-05-28 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法 TWI543745B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/028,542 US9420950B2 (en) 2013-09-17 2013-09-17 Retro-reflectivity array for enabling pupil tracking

Publications (2)

Publication Number Publication Date
TW201511732A TW201511732A (zh) 2015-04-01
TWI543745B true TWI543745B (zh) 2016-08-01

Family

ID=52667487

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103118691A TWI543745B (zh) 2013-09-17 2014-05-28 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法

Country Status (3)

Country Link
US (1) US9420950B2 (zh)
CN (1) CN104434022B (zh)
TW (1) TWI543745B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
US20190208018A1 (en) * 2018-01-02 2019-07-04 Scanalytics, Inc. System and method for smart building control using multidimensional presence sensor arrays
US10895757B2 (en) 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
DE102018214637A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges
CN109344489B (zh) * 2018-09-25 2020-10-09 江南大学 一种基于皮革表面缺陷检测的led自由曲面阵列设计方法
US11644897B2 (en) * 2019-04-01 2023-05-09 Evolution Optiks Limited User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same
CN113933999B (zh) * 2021-10-22 2023-09-19 小派科技（上海）有限责任公司 眼球追踪光学装置、光学系统、显示装置和显示系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054907A (en) 1989-12-22 1991-10-08 Phoenix Laser Systems, Inc. Ophthalmic diagnostic apparatus and method
CN2438423Y (zh) 2000-08-22 2001-07-11 贺际明 主观人眼象差测量装置
JP2003087514A (ja) * 2000-11-15 2003-03-20 Nippon Sheet Glass Co Ltd 画像読取り装置、その光源およびシェーディング補正装置
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP5172148B2 (ja) 2003-11-19 2013-03-27 ヴィジョン・シーアールシー・リミテッド 相対像面湾曲および周辺軸外焦点の位置を変える方法および装置
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
JP5045212B2 (ja) 2007-04-25 2012-10-10 株式会社デンソー 顔画像撮像装置
CN101566727B (zh) 2008-04-22 2010-12-22 深圳市莫廷影像技术有限公司 眼科探头成像系统
FR2970576B1 (fr) 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
US9104268B2 (en) 2011-02-03 2015-08-11 Avago Technologies General Ip (Singapore) Pte. Ltd. Compact optical finger navigation system with illumination via redirection surface holes
WO2012112901A2 (en) * 2011-02-17 2012-08-23 Pediavision Holdings, Llc Photorefraction ocular screening device and methods
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system

Also Published As

Publication number Publication date
US9420950B2 (en) 2016-08-23
CN104434022B (zh) 2016-10-26
US20150077313A1 (en) 2015-03-19
TW201511732A (zh) 2015-04-01
CN104434022A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
TWI543745B (zh) 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法
US10126815B2 (en) Systems, devices, and methods for proximity-based eye tracking
US20230293007A1 (en) Method of identifying iris
US8398239B2 (en) Wearable eye tracking system
JP5258168B2 (ja) 眼球検出システム
TWI505260B (zh) 頭戴式人眼追蹤系統
US11543883B2 (en) Event camera system for pupil detection and eye tracking
KR101619651B1 (ko) 운전자 감시장치 및 그의 조명제어방법
US11243607B2 (en) Method and system for glint/reflection identification
US20210038073A1 (en) Eye tracking apparatus and image capture module thereof
US20200187774A1 (en) Method and system for controlling illuminators
WO2018164104A1 (ja) 眼部画像処理装置
US10288879B1 (en) Method and system for glint/reflection identification
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
WO2019185136A1 (en) Method and system for controlling illuminators
EP3801196B1 (en) Method and system for glint/reflection identification
JP6687195B2 (ja) 眼部画像処理装置
KR200392762Y1 (ko) 근적외선 영상 기반 졸음 감지 장치
JP2007111315A (ja) ２種類の光源を用いる瞳孔検出方法および装置
WO2019167381A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240098360A1 (en) Object tracking system using a differential camera
KR101419676B1 (ko) 인식 성능이 개선된 객체 인식 장치
KR20240093875A (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템