TW201901528A - 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體 - Google Patents

眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體 Download PDF

Info

Publication number
TW201901528A
TW201901528A TW107117417A TW107117417A TW201901528A TW 201901528 A TW201901528 A TW 201901528A TW 107117417 A TW107117417 A TW 107117417A TW 107117417 A TW107117417 A TW 107117417A TW 201901528 A TW201901528 A TW 201901528A
Authority
TW
Taiwan
Prior art keywords
eye
processing circuit
interest
pupil
eyeball model
Prior art date
Application number
TW107117417A
Other languages
English (en)
Inventor
林詠真
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201901528A publication Critical patent/TW201901528A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種眼球追蹤方法包含：由一處理電路，取得一眼球模型；由一攝影裝置，捕捉一眼睛的一影像；由處理電路，偵測眼睛的影像中的一瞳孔感興趣區域；由處理電路，基於眼球模型，計算影像中的一估計瞳孔區域；以及由處理電路，量測估計瞳孔區域以及瞳孔感興趣區域之間的一相似值以對眼球模型進行優化。

Description

眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
本揭示內容係關於一種電子裝置及一種眼球追蹤方法，且特別係關於用於頭戴式顯示裝置(Head Mount Display，HMD)中的電子裝置及眼球追蹤方法。
近來，眼球追蹤方法被廣泛使用在各種應用當中。舉例來說，於虛擬實境(Virtual Reality，VR)或擴增實境(Augmented Reality，AR)的應用當中，眼球追蹤方法被用在VR或AR系統中追蹤使用者的凝視方向以提供VR或AR環境中相應的反應及/或控制。
本揭示內容的一態樣為一種眼球追蹤方法。眼球追蹤方法包含：由一處理電路，取得一眼球模型；由一攝影裝置，捕捉一眼睛的一影像；由處理電路，偵測眼睛的影像中的一瞳孔感興趣區域；由處理電路，基於眼球模型，計算影像中 的一估計瞳孔區域；以及由處理電路，量測估計瞳孔區域以及瞳孔感興趣區域之間的一相似值以對眼球模型進行優化。
在部分實施例中，眼球追蹤方法更包含：由處理電路，分析瞳孔感興趣區域，以取得瞳孔感興趣區域之一凝視向量；由處理電路，根據凝視向量，基於優化後的眼球模型計算眼睛的一視點；以及由處理電路，基於優化後的眼球模型計算而得的視點追蹤眼睛的運動。
在部分實施例中，優化後的眼球模型包含用以代表眼睛的視點與瞳孔感興趣區域之凝視向量之間關係的一矩陣。
在部分實施例中，凝視向量包含代表瞳孔感興趣區域之形狀的一長軸與一短軸。
在部分實施例中，眼球追蹤方法更包含：由處理電路，依序量測複數個估計瞳孔區域與複數個瞳孔感興趣區域之間的複數個誤差值；以及由處理電路，根據誤差值對眼球模型進行優化，以最小化一代價函數。
在部分實施例中，取得眼球模型包含：由攝影裝置，捕捉眼睛的複數個校正影像，其中校正影像分別代表複數個校正視角；由處理電路，分別偵測校正影像中的複數個校正瞳孔感興趣區域；由處理電路，分析校正瞳孔感興趣區域，以相應取得複數個校正向量；以及根據校正向量以及相應於校正向量的校正視角取得眼球模型。
在部分實施例中，眼球追蹤方法更包含：由一顯示裝置，依序於複數幀畫面中顯示複數個校正凝視點，其中校 正凝視點分別對應於校正視角；以及由攝影裝置，依序於幀畫面中捕捉眼睛的校正影像。
本揭示內容的另一態樣為一種電子裝置。電子裝置包含攝影裝置、處理電路、記憶體以及一或多程式。處理電路電性連接於攝影裝置。記憶體電性連接處理電路。一或多程式儲存於記憶體中，並用以被處理電路所執行，一或多程式包括以下指令：取得一眼球模型；控制攝影裝置捕捉一眼睛的一影像；偵測眼睛的影像中的一瞳孔感興趣區域；基於眼球模型，計算影像中的一估計瞳孔區域；以及量測估計瞳孔區域以及瞳孔感興趣區域之間的一相似值以對眼球模型進行優化。
在部分實施例中，一或多程式更包括以下指令：依序量測複數個估計瞳孔區域與複數個瞳孔感興趣區域之間的複數個誤差值；以及根據誤差值對眼球模型進行優化，以最小化一代價函數。
本揭示內容的另一態樣為一種非暫態電腦可讀取記錄媒體，用以儲存包含複數指令的一或多個電腦程式，當執行指令時，將致使一處理電路執行複數操作包含：取得一眼球模型；控制一攝影裝置捕捉一眼睛的一影像；偵測眼睛的影像中的一瞳孔感興趣區域；基於眼球模型，計算影像中的一估計瞳孔區域；以及量測估計瞳孔區域以及瞳孔感興趣區域之間的一相似值以對眼球模型進行優化。
綜上所述，透過上述各個實施例的操作，便可實作具有頭部校正的眼球追蹤方法以實現VR、AR、MR應用中的眼球追蹤器，並增進眼球追蹤的準確度，為使用者穿戴頭戴 式裝置與VR、AR、MR環境中的物件互動時帶來更流暢的使用者體驗。
100‧‧‧電子裝置
110‧‧‧處理電路
120‧‧‧記憶體
130‧‧‧攝影裝置
142、144、146‧‧‧紅外光發光二極體元件
150‧‧‧顯示裝置
200‧‧‧眼睛
300‧‧‧眼睛
900‧‧‧眼球追蹤方法
P1‧‧‧軟體程式
S1~S6、S11~S14、S31~S36、S51~S53、S301~S302‧‧‧操作
VD1、VD2、VD3‧‧‧視角
CP1~CP9‧‧‧校正凝視點
E1、E2‧‧‧橢圓
E1a、E2a‧‧‧長軸
E1b、E2b‧‧‧短軸
VP‧‧‧視點
r‧‧‧徑向座標
α‧‧‧角座標
PL‧‧‧成相平面
IMG‧‧‧影像
Ri‧‧‧瞳孔感興趣區域
Re‧‧‧估計瞳孔區域
第1圖為根據本揭示內容部分實施例所繪示的電子裝置的方塊示意圖。
第2圖為根據本揭示內容部分實施例所繪示的眼球追蹤方法的流程圖。
第3圖為根據本揭示內容部分實施例所繪示的操作的細部流程圖。
第4A圖以及第4B圖為根據本揭示內容部分實施例所繪示的電子裝置的操作示意圖。
第5A圖以及第5B圖為根據本揭示內容部分實施例所繪示的電子裝置的操作示意圖。
第6圖為根據本揭示內容部分實施例所繪示的操作的細部流程圖。
第7A圖係根據本揭示內容部分實施例所繪示的操作的細部流程圖。
第7B圖為根據本揭示內容部分實施例所繪示的電子裝置的操作示意圖。
第8圖為根據本揭示內容其他部分實施例所繪示的眼球追蹤方法的流程圖。
第9圖為根據本揭示內容部分實施例所繪示的電子裝置的操作示意圖。
以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容之實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。下述說明中相同元件將以相同之符號標示來進行說明以便於理解。
請參考第1圖。第1圖為根據本揭示內容部分實施例所繪示的電子裝置100的方塊示意圖。電子裝置100可用以執行眼球追蹤以偵測使用者的凝視方向。具體來說，在部分實施例中，電子裝置100可應用於一虛擬實境(Virtual Reality，VR)/混合實境(Mixed Reality，MR)/擴增實境(Augmented Reality，AR)系統當中。舉例來說，電子裝置100可由獨立頭戴式顯示器(Head Mounted Device，HMD)或是VIVE頭戴式顯示器實現。具體來說，獨立頭戴式顯示器可處理包含方位、旋轉之位置資料處理、圖像處理或其他資料運算等。
如第1圖所示，電子裝置100包含處理電路110、記憶體120、攝影裝置(Camera)130、紅外光發光二極體元件142、144、146，以及顯示裝置150。一或多個軟體程式P1儲存於記憶體120中並用以被處理電路110執行，以執行眼球追蹤方法。
在結構上，處理電路110電性連接於攝影裝置130。在部分實施例中，處理電路110例如可用一或多處理器，例如中央處理器(central processor)及/或微處理器(microprocessor)等處理器實現，但不以此為限。在部分實施例中，記憶體120可包括一或多個記憶體裝置，其中每一記憶體裝置或多個記憶體裝置之集合包括電腦可讀取記錄媒體。電腦可讀取記錄媒體可包括唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫、或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
在結構上，記憶體120電性連接於處理電路110。攝影裝置130用以捕捉使用者的眼睛的一或多個影像，使得處理電路110可分析影像以執行眼球追蹤。在部分實施例中，攝影裝置130可由紅外光攝影機實現。一或多個紅外光發光二極體元件(IR LED unit)142、144、146可電性連接於處理電路110並用以提供一或多束紅外光束，其中眼睛的影像係透過紅外光攝影機利用一或多紅外光束捕捉。值得注意的是，在第1圖中所繪示的實施例僅為示例，並非用以限制本揭示內容。換言之，紅外光發光二極體元件142、144、146的數量、位置、及/或設置方式在各個不同實施例中皆可根據實際需求進行調整。顯示裝置150電性連接於處理電路110，使得顯示裝置150所顯示的視訊或音訊內容可透過處理電路110進行控制。
請參考第2圖。為了更佳地理解本揭示內容，電子裝置100的詳細操作將搭配第2圖中所示實施例進行說明。第 2圖為根據本揭示內容部分實施例所繪示的眼球追蹤方法900的流程圖。值得注意的是，眼球追蹤方法900可應用於相同或相似於第1圖中所示結構之電子裝置100。為使敘述簡單，以下將根據本揭示內容部分實施例，以第1圖中的實施例為例進行對眼球追蹤方法900的說明，然而本揭示內容不以第1圖中的實施例之應用為限。
如第2圖所示，眼球追蹤方法900包含操作S1、S2、S3、S4、S5以及操作S6。在操作S1中，處理電路110用以取得眼球模型。
請一併參考第3圖。第3圖為根據本揭示內容部分實施例所繪示的操作S1的細部流程圖。
如第3圖所示，在部分實施例中，操作S1包含操作S11、S12、S13以及操作S14。在操作S11中，處理電路110用以控制攝影裝置130捕捉眼睛的複數個校正影像。
請參考第4A圖以及第4B圖。第4A圖以及第4B圖為根據本揭示內容部分實施例所繪示的電子裝置100的操作示意圖。
如第4A圖與第4B圖所示，具體而言，在操作S11中，處理電路110可用以控制顯示裝置150依序於複數幀畫面中顯示複數個校正凝視點CP1~CP9。校正凝視點CP1~CP9分別對應於複數個校正視角。
舉例來說，在第4A圖所繪示的第一幀畫面中，顯示裝置150顯示相應的校正凝視點CP1，其對應於校正視角VD1。在第4B圖所繪示的次一幀畫面中，顯示裝置150顯示相 應的校正凝視點CP2，其對應於校正視角VD2，以此類推。
如此一來，處理電路110便可用以控制攝影裝置130依序於各個幀畫面中捕捉眼睛的複數個校正影像。
接著，在操作S12中，處理電路在操作110用以分別偵測校正影像中的複數個校正瞳孔感興趣區域(Region of Interest，ROI)。
具體來說，處理電路110可對校正影像進行特徵擷取(feature extraction)以找出相應的校正瞳孔感興趣區域。舉例來說，可進行影像過濾(image filtering)以調整或增強眼睛的影像以強調瞳孔特徵及/或移除其他特徵，並降低或濾除影像中的雜訊。當影像中有兩個以上的候選目標時，亦可藉由適當的影像過濾方法濾除錯誤目標。
在部分實施例中，哈爾特徵(Haar-like feature)可用來計算影像中的特徵。接著，可應用平均移動演算法(mean shift algorithm)進行圖像分割並相應判斷眼睛影像中瞳孔的瞳孔中心以及瞳孔輪廓。在其他部分實施例中，與電腦視覺相關的機器學習/深度學習方法可應用以辨認並判斷眼睛影像中瞳孔的瞳孔中心以及瞳孔輪廓。舉例來說，可應用卷積神經網路(Convolutional Neural Network，CNN)，但本揭示內容並不以此為限。
換言之，在操作S12中，處理電路110可用以判斷眼睛的影像中的瞳孔中心，並判斷眼睛的影像中的瞳孔輪廓。接著，處理電路110可根據瞳孔中心與瞳孔輪廓匹配一橢圓至瞳孔以取得校正瞳孔感興趣區域。
接著，在操作S13中，處理電路用以分析校正瞳孔感興趣區域，以相應取得複數個校正向量。
請參考第5A圖以及第5B圖。第5A圖以及第5B圖為根據本揭示內容部分實施例所繪示的電子裝置100的操作示意圖。如第5A圖以及第5B圖所示，校正瞳孔感興趣區域分別被匹配至具有不同中心座標，不同旋轉角度及/或不同長軸E1a、E2a與短軸E1b、E2b之橢圓E1、E2。換言之，當使用者看向不同校正視角時，不同橢圓E1、E2匹配作為校正瞳孔感興趣區域。如此一來，便可計算並取得橢圓E1、E2之長軸E1a、E2a與短軸E1b、E2b的參數作為校正向量。在一實施例中，校正向量可由橢圓E1、E2之長軸E1a、E2a與短軸E1b、E2b所形成的表面之法向量實現。
藉此，當取得校正向量後，便可執行操作S14。在操作S14中，處理電路110用以根據校正向量以及相應於校正向量的校正視角取得眼球模型。舉例來說，眼球模型可包含用以代表眼睛的視點與瞳孔感興趣區域之凝視向量之間關係的矩陣。具體來說，在部分實施例中，可取得一個多項式代表橢圓參數(如：長軸與短軸)與代表眼睛的凝視方向之相應的凝視點的極座標之間的關係。眼球模型可包含上述多項式的相伴矩陣(companion matrix)以表示其關係。
如此一來，在操作S1取得眼球模型後，便可在後續的操作S2~S6中執行眼球追蹤，以搭配使用者穿戴頭戴式裝置時與顯示裝置150中的顯示內容進行各種互動。由於在操作S1中對眼球模型的進行了校正以配合一或多個使用者特定 的瞳孔形狀，眼球追蹤的準確度得以提升。
在操作S2中，處理電路110用以控制攝影裝置130捕捉眼睛的影像。接著，在操作S3中，處理電路110用以偵測眼睛的影像中的瞳孔感興趣區域。偵測瞳孔感興趣區域的操作與操作S1中偵測校正瞳孔感興趣區域的操作相似。請參考第6圖。第6圖為根據本揭示內容部分實施例所繪示的操作S3的細部流程圖。
如第6圖所示，在操作S31中，處理電路110判斷是否存在先前的瞳孔感興趣區域。當存在先前的瞳孔感興趣區域時，表示目標已被追蹤，便相應執行操作S33。若不存在先前的瞳孔感興趣區域時，表示追失目標或是處於初始狀態，並執行操作S32以進行特徵擷取，於特徵擷取中，可應用哈爾特徵串接(haar like cascade)或卷積神經網路演算法。
接著，在操作S33與S34中，可對感興趣區域的中心進行平均移動追蹤(mean shift tracking)，並進行平均移動圖像分割以尋找瞳孔中心以及瞳孔輪廓。接著，於操作S35中，根據瞳孔中心以及瞳孔輪廓匹配相應的橢圓。最後，在操作S36中執行並確認驗證程序後，便可取得瞳孔感興趣區域。本技術領域具通常知識者可理解第6圖中所繪示的詳細操作，故不再於此贅述。
接著，在操作S4中，處理電路110用以分析瞳孔感興趣區域以取得瞳孔感興趣區域之凝視向量。
在部分實施例中，凝視向量包含代表瞳孔感興趣區域之形狀的長軸與短軸。如先前於第5A圖與第5B圖之討 論，瞳孔感興趣區域，與校正瞳孔感興趣區域一般，可為相應的一橢圓，其中橢圓的長軸與短軸可用以辨認視角。
接著，在操作S5，處理電路110用以根據凝視向量，基於眼球模型計算眼睛的視點。請參考第7A圖。第7A圖係根據本揭示內容部分實施例所繪示的操作S5的細部流程圖。
如第7A圖所示，在操作S51中，處理電路110用以基於眼球模型，根據長軸的角度計算視點的角座標。在操作S52中，處理電路110用以基於眼球模型，根據長軸與短軸的比值計算視點的徑向座標。最後，在操作S53中，由處理電路110根據角座標以及徑向座標，取得眼睛的視點。
請相應參考第7B圖。第7B圖為根據本揭示內容部分實施例所繪示的電子裝置100的操作示意圖。如第7B圖所示，使用者以視角VD3凝視顯示裝置150之螢幕上的視點VP。當視點VP以極座標系統表示時，視點VP的角座標α對應到長軸的角度。此外，視點VP的徑向座標r對應到長軸與短軸的比值。舉例來說，當視點VP遠離中心時，橢圓的橢圓率(ellipticity)增加，並導致長軸與短軸之間的比值增大。換言之，當長軸與短軸的比值越大，徑向座標r越大。此外，當視點VP的角座標α變化時，橢圓的旋轉角度也相應變化，並導致長軸角度改變。如此一來，透過應用於操作S1當中取得的眼球模型，眼睛的視點VP以及視角VD3便可被計算並取得。
藉此，在操作S6中，處理電路110可基於利用眼球模型計算而得的視點，追蹤眼睛的運動，並實現眼球追蹤以跟蹤使用者的凝視角度，以適當的執行互動。舉例來說，處理 電路110可基於使用者的凝視角度，控制顯示裝置150所顯示的視訊及音訊內容，以提供更流暢的VR體驗及/或友善的使用者互動介面。
綜上所述，採用瞳孔中心-橢圓比值(Pupil Center-Ellipse Ratio，PCER)的眼球追蹤方法可由上述討論之各個實施例實現，使得眼球追蹤器可透過初始的一次性校正成功進行眼球追蹤的程序。
請參考第8圖。第8圖為根據本揭示內容其他部分實施例所繪示的眼球追蹤方法900的流程圖。於第8圖中，與第2圖之實施例有關的相似元件係以相同的參考標號表示以便於理解，且相似元件之具體原理已於先前段落中詳細說明，若非與第8圖之元件間具有協同運作關係而必要介紹者，於此不再贅述。
和第2圖所示實施例相比，在第8圖所示實施例中，眼球追蹤方法更包含操作S301以及S302以執行一頭部位置校正。相應於使用者的運動狀態，例如點頭或搖頭，頭戴式顯示器的相對位置及/或角度可能會發生位移。執行頭部位置校正可優化眼球模型以增進眼球追蹤的準確度。
在操作S301中，處理電路110用以基於眼球模型計算眼睛的影像中的估計瞳孔區域。接著，在操作S302中，處理電路110用以量測估計瞳孔區域以及瞳孔感興趣區域之間的相似值(similarity)以對眼球模型進行優化。如此一來，在後續的操作S5中，便可根據凝視向量，基於優化後的眼球模型計算眼睛的視點。在後續的操作S6中，便可基於優化後的眼球 模型計算而得的視點追蹤眼睛的運動。
請參考第9圖。第9圖為根據本揭示內容部分實施例所繪示的電子裝置100的操作示意圖。如第9圖所示，眼睛200代表由處理電路110取得之估計的三維眼球模型的位置。另一方面，眼睛300代表使用者即時的實際眼球位置。
如此一來，對於由攝影裝置130於成相平面PL上所捕捉的影像IMG，基於眼球模型計算而得的估計瞳孔區域Re與由影像分析所取得的瞳孔感興趣區域Ri並非完全重合。
藉此，透過於操作S302中比較估計瞳孔區域Re以及瞳孔感興趣區域Ri之間的相似值，便可評價眼球模型的準確度，當原始的眼球模型由於頭戴式裝置之位置及/或角度改變而無法適用時，眼球模型亦可相應進行優化。
具體來說，在操作S302中，處理電路110可用以依序於不同時間點量測複數個估計瞳孔區域Re與複數個瞳孔感興趣區域Ri之間的複數個誤差值。接著，處理電路110可根據誤差值對眼球模型進行優化，以最小化代價函數(cost function)。
舉例來說，在部分實施例中，代價函數可由下列各式表示：q e =ARTMp e q i =[u v w ρ] T
在上式中，A代表攝影裝置的內部參數矩陣，R代表旋轉矩陣，T代表位移矩陣，M代表折射矩陣。pe代表估計三維眼球模型中瞳孔輪廓上的一點。相應地，qe代表三維眼球模型中瞳孔輪廓上之預測的二維影像點(如：估計瞳孔區域Re的一影像點)。Qi代表瞳孔輪廓上之實際的二維影像點(如：瞳孔感興趣區域Ri的一影像點)。F(R，T)代表空間限制下之代價函數。在部分實施例中，空間限制下之代價函數表示眼球之適眼距(eye relief)及/或眼眶(eye box)的限制，但本揭示內容並不以此為限。
如此一來，便可應用各種機器學習方法以最小化估計瞳孔區域Re與瞳孔感興趣區域Ri之間誤差值的代價，以優化眼球模型。經優化過後的眼球模型，與眼球模型相似，包含用以代表眼睛的視點與瞳孔感興趣區域之凝視向量之間關係的矩陣。
在部分實施例中，於操作S301與S302的頭部校正程序中，頭部的移動和轉動亦可透過眼球模型以及所取得的影像相應估測。換言之，可判斷頭部的面朝方向。如此一來，在顯示平面的位置以及視軸已知的條件下，視點可計算為視軸與顯示平面的交點。藉此，使用者頭部的旋轉與移動便可在眼球追蹤的過程中納入考慮。
值得注意的是，上述頭部位置校正程序亦可應用在其他眼球追蹤方法當中，例如採用瞳孔中心-角膜反射(Pupil Center-Corneal Reflection，PCCR)的眼球追蹤方法當中，其眼球模型可由各種不同方式取得，並不限於第3圖 至第6圖之實施例中的操作S11-S14之方式。
透過上述各個實施例的操作，便可實作具有頭部校正的眼球追蹤方法以實現VR、AR、MR應用中的眼球追蹤器，並增進眼球追蹤的準確度，為使用者穿戴頭戴式裝置與VR、AR、MR環境中的物件互動時帶來更流暢的使用者體驗。
值得注意的是，上述實施例係經簡化以便較佳地理解本揭示內容。在部分實施例中，眼球追蹤方法900的上述操作可實作為一電腦程式。當電腦程式係被一電腦、一電子裝置，或第1圖中處理電路110所執行，此執行裝置執行眼球追蹤方法900。電腦程式可被儲存於一非暫態電腦可讀取記錄媒體，例如一唯讀記憶體、一快閃記憶體、一軟碟、一硬碟、一光碟、一快閃碟、一隨身碟、一磁帶、一可從網路讀取的資料庫，或任何本揭示內容所屬技術領域中具通常知識者所能想到具有相同功能的記錄媒體。
另外，應瞭解到，在所提及的眼球追蹤方法900的操作，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行。
再者，在本揭示內容的不同實施例中，眼球追蹤方法900中的此些操作亦可適應性地增加、置換、及/或省略。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，任何熟習此技藝者，在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (10)

  1. 一種眼球追蹤方法，包含：由一處理電路，取得一眼球模型；由一攝影裝置，捕捉一眼睛的一影像；由該處理電路，偵測該眼睛的該影像中的一瞳孔感興趣區域；由該處理電路，基於該眼球模型，計算該影像中的一估計瞳孔區域；以及由該處理電路，量測該估計瞳孔區域以及該瞳孔感興趣區域之間的一相似值以對該眼球模型進行優化。
  2. 如請求項1所述的眼球追蹤方法，更包含：由該處理電路，分析該瞳孔感興趣區域，以取得該瞳孔感興趣區域之一凝視向量；由該處理電路，根據該凝視向量，基於優化後的該眼球模型計算該眼睛的一視點；以及由該處理電路，基於優化後的該眼球模型計算而得的該視點追蹤該眼睛的運動。
  3. 如請求項2所述的眼球追蹤方法，其中優化後的該眼球模型包含用以代表該眼睛的該視點與該瞳孔感興趣區域之該凝視向量之間關係的一矩陣。
  4. 如請求項2所述的眼球追蹤方法，其中該凝視向量包含代表該瞳孔感興趣區域之形狀的一長軸與一短 軸。
  5. 如請求項1所述的眼球追蹤方法，更包含：由該處理電路，依序量測複數個估計瞳孔區域與複數個瞳孔感興趣區域之間的複數個誤差值；以及由該處理電路，根據該些誤差值對該眼球模型進行優化，以最小化一代價函數。
  6. 如請求項1所述的眼球追蹤方法，其中取得該眼球模型包含：由該攝影裝置，捕捉該眼睛的複數個校正影像，其中該些校正影像分別代表複數個校正視角；由該處理電路，分別偵測該些校正影像中的複數個校正瞳孔感興趣區域；由該處理電路，分析該些校正瞳孔感興趣區域，以相應取得複數個校正向量；以及根據該些校正向量以及相應於該些校正向量的該些校正視角取得該眼球模型。
  7. 如請求項6所述的眼球追蹤方法，更包含：由一顯示裝置，依序於複數幀畫面中顯示複數個校正凝視點，其中該些校正凝視點分別對應於該些校正視角；以及由該攝影裝置，依序於該些幀畫面中捕捉該眼睛的該些校正影像。
  8. 一種電子裝置，包含：一攝影裝置；一處理電路，電性連接於該攝影裝置；一記憶體，電性連接該處理電路；以及一或多程式，其中該一或多程式儲存於該記憶體中，並用以被該處理電路所執行，該一或多程式包括以下指令：取得一眼球模型；控制該攝影裝置捕捉一眼睛的一影像；偵測該眼睛的該影像中的一瞳孔感興趣區域；基於該眼球模型，計算該影像中的一估計瞳孔區域；以及量測該估計瞳孔區域以及該瞳孔感興趣區域之間的一相似值以對該眼球模型進行優化。
  9. 如請求項8所述的電子裝置，其中該一或多程式更包括以下指令：依序量測複數個估計瞳孔區域與複數個瞳孔感興趣區域之間的複數個誤差值；以及根據該些誤差值對該眼球模型進行優化，以最小化一代價函數。
  10. 一種非暫態電腦可讀取記錄媒體，用以儲存包含複數指令的一或多個電腦程式，當執行該些指令時，將致使一處理電路執行複數操作包含：取得一眼球模型； 控制一攝影裝置捕捉一眼睛的一影像；偵測該眼睛的該影像中的一瞳孔感興趣區域；基於該眼球模型，計算該影像中的一估計瞳孔區域；以及量測該估計瞳孔區域以及該瞳孔感興趣區域之間的一相似值以對該眼球模型進行優化。
TW107117417A 2017-05-22 2018-05-22 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體 TW201901528A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762509196P 2017-05-22 2017-05-22
US62/509,196 2017-05-22

Publications (1)

Publication Number Publication Date
TW201901528A true TW201901528A (zh) 2019-01-01

Family

ID=62235835

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107117417A TW201901528A (zh) 2017-05-22 2018-05-22 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
TW107117418A TW201901529A (zh) 2017-05-22 2018-05-22 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107117418A TW201901529A (zh) 2017-05-22 2018-05-22 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體

Country Status (4)

Country Link
US (2) US20180335839A1 (zh)
EP (2) EP3407255A1 (zh)
CN (2) CN108960045A (zh)
TW (2) TW201901528A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI711984B (zh) * 2019-03-08 2020-12-01 鴻海精密工業股份有限公司 深度學習加速方法及用戶終端

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061621A (ja) * 2016-10-11 2018-04-19 オプトス ピーエルシー 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
EP3486834A1 (en) * 2017-11-16 2019-05-22 Smart Eye AB Detection of a pose of an eye
TWI674518B (zh) 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置
TWI676821B (zh) * 2018-12-11 2019-11-11 國立臺灣大學 適應性視線追蹤的校正方法
TWI688254B (zh) * 2018-12-11 2020-03-11 宏碁股份有限公司 立體顯示裝置及其參數校正方法
CN109725728B (zh) * 2018-12-29 2022-02-08 三星电子（中国）研发中心 一种ar设备的显示修正方法和装置
CN109725726A (zh) * 2018-12-29 2019-05-07 上海掌门科技有限公司 一种查询方法和装置
CN109656373B (zh) * 2019-01-02 2020-11-10 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
CN111399633B (zh) 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法
TWI710250B (zh) * 2019-01-03 2020-11-11 見臻科技股份有限公司 針對眼球追蹤應用之校正方法
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
US10817595B2 (en) * 2019-02-14 2020-10-27 Nanning Fugui Precision Industrial Co., Ltd. Method of device unlocking and device utilizing the same
US11145844B2 (en) * 2019-02-27 2021-10-12 Int Tech Co., Ltd. Method for manufacturing electroluminescent device
CN110764613B (zh) * 2019-10-15 2023-07-18 北京航空航天大学青岛研究院 基于头戴式眼动模组的眼动追踪校准方法
CN112748797B (zh) * 2019-10-31 2022-08-09 Oppo广东移动通信有限公司 一种眼球追踪方法及相关设备
FI130748B1 (fi) 2020-02-21 2024-02-26 Seetrue Tech Oy Katseen seuranta
CN111510630B (zh) * 2020-04-24 2021-09-28 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
CN112381709B (zh) * 2020-11-13 2022-06-21 北京字节跳动网络技术有限公司 图像处理方法、模型训练方法、装置、设备和介质
CN114546102B (zh) * 2020-11-26 2024-02-27 幻蝎科技(武汉)有限公司 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4604190B2 (ja) * 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
US7773111B2 (en) * 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP4829141B2 (ja) * 2007-02-09 2011-12-07 株式会社東芝 視線検出装置及びその方法
TWI398796B (zh) 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
CN102125422A (zh) 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
CN103838378B (zh) * 2014-03-13 2017-05-31 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN106662917B (zh) * 2014-04-11 2020-06-12 脸谱科技有限责任公司 眼睛跟踪校准系统和方法
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
TWI577327B (zh) 2014-08-14 2017-04-11 由田新技股份有限公司 瞳孔定位方法與裝置及其電腦程式產品
CN104615978B (zh) * 2015-01-23 2017-09-22 清华大学 视线方向跟踪方法及装置
TWI617948B (zh) 2015-07-24 2018-03-11 由田新技股份有限公司 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體
CN105425967B (zh) * 2015-12-16 2018-08-28 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统
CN106339087B (zh) 2016-08-29 2019-01-29 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI711984B (zh) * 2019-03-08 2020-12-01 鴻海精密工業股份有限公司 深度學習加速方法及用戶終端

Also Published As

Publication number Publication date
EP3407255A1 (en) 2018-11-28
US20180335839A1 (en) 2018-11-22
TW201901529A (zh) 2019-01-01
CN108958473B (zh) 2020-08-07
CN108960045A (zh) 2018-12-07
CN108958473A (zh) 2018-12-07
US20180335840A1 (en) 2018-11-22
EP3410347A1 (en) 2018-12-05
US10572009B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
TW201901528A (zh) 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
TWI680743B (zh) 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
US11755106B1 (en) Glint-assisted gaze tracker
EP3123283B1 (en) Eye gaze tracking based upon adaptive homography mapping
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
KR102291461B1 (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
Sun et al. Real time gaze estimation with a consumer depth camera
Valenti et al. Combining head pose and eye location information for gaze estimation
US9898082B1 (en) Methods and apparatus for eye tracking
WO2015026645A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
Takemura et al. Estimation of a focused object using a corneal surface image for eye-based interaction
KR101788452B1 (ko) 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
CN114391117A (zh) 眼睛跟踪延迟增强
US11487358B1 (en) Display apparatuses and methods for calibration of gaze-tracking
Pires et al. Visible-spectrum gaze tracking for sports
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
Perra et al. Adaptive eye-camera calibration for head-worn devices
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
Sasaki et al. Screen corner detection using polarization camera for cross-ratio based gaze estimation
Du et al. A Swift Gaze Estimate Method Based On The Corneal Image System
Ferhat et al. Eye-tracking with webcam-based setups: Implementation of a real-time system and an analysis of factors affecting performance
TW202321775A (zh) 校正由頭戴式顯示器臉部相機捕捉之影像內檢測到之臉部特徵興趣點之原始座標之技術
Chu et al. A novel infrared gaze tracking system based on nonuniform interpolation