TWI617948B

TWI617948B - 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體

Info

Publication number: TWI617948B
Application number: TW104124164A
Authority: TW
Inventors: 鄒嘉駿; 林伯聰; 賴昀暘
Original assignee: 由田新技股份有限公司
Priority date: 2015-07-24
Filing date: 2015-07-24
Publication date: 2018-03-11
Also published as: CN106371566A; TW201704934A

Abstract

一種用於眼部追蹤的校正模組，其包含有一圖像生成器、一取像調整器、以及一運算器。該圖像生成器用於校正路徑上顯示一供使用者注視的游標動畫，該游標動畫上的游標係沿著該校正路徑移動。該取像調整器於該游標移動時，連續透過攝像裝置擷取該使用者的眼部影像，藉以記錄該使用者的複數個眼部注視方向。該運算器係經由該使用者的該複數個眼部注視方向組成一校正資訊座標序列，藉由該校正資訊座標序列，透過轉換方式於UI眼動數據表上建立複數個UI眼動分布範圍，並將該UI眼動數據表上的UI眼動分布範圍分別映射到顯示屏上的對應位置。

Description

用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體

本發明係有關於一種用於眼部追蹤的校正模組，尤指一種提供滑動式的影像動畫藉以對使用者注視方向進行校正的校正模組。

操控電腦的方式已經隨著電腦效能增進而漸漸有所改變，傳統上來說，使用滑鼠、鍵盤、繪圖筆來對電腦系統輸入訊號，雖然方便快速，但在特殊地情況下，比方說，漸凍人以及受傷之後導致之肢體不全，殘障，等等無法簡單快速操作滑鼠、鍵盤、繪圖板等等輸入工作的人來說，此類簡單的輸入方式已經無法滿足其對於電腦或相關電子周邊產品的順暢使用體驗。

基於上述，人眼追蹤(Eye tracking)技術已逐漸受到重視，並且漸漸地應用於相關輔助應用中。此種技術的主要內容即為利用相關偵測技術，如攝影機，錄影機，光學感應器等接收感應器來截取人眼睛資訊，並且將其對應於相關之顯示螢幕、操作介面等，供使用者單純利用眼睛轉動即可達到簡易與直覺地操作效果。

目前對於人眼追蹤技術來說，一般而言，可以簡單地區分為兩個大類，其一為接觸式人眼追蹤技術，其二為非接觸式人眼追蹤技術。其中，接觸式人眼追蹤技術包含如，配戴具有感應線圈之隱形眼鏡，或是在兩眼四周圍黏貼電極來提供相關眼動資訊；而非接觸式人眼追蹤技術又可分為需要使用者配戴特殊設備的頭戴式(Head-mount)及免頭戴式(Free-head)，又頭戴式人眼追蹤技術為了排除使用者頭部移動所造成的誤差，其利用攝影機擷取眼球影像之時，將攝影機與光源架設於使用者頭上；而免頭戴式人眼追蹤技術要克服的就是因為使用者頭部移動而造成之誤差。

承上，接觸式人眼追蹤技術畢竟需要額外的物件黏貼於人體上，此情形極容易造成明顯之異物感，而異物感對於使用者而言，具有極大的不適感，影響其操作期間之使用者體驗；另外，非接觸式頭戴式人眼追蹤技術雖然不需額外的物件黏貼於人體上，但仍需要配戴笨重之感應頭盔等相關偵測物件，令使用者頭部承載相當之重量單位，不論是長期使用或是短時間使用，基本上較無法令使用者感受良好，對於活動空間的需求也相對提高，實際使用上限制其實不少。

是故，雖然此技術在使用者頭部移動時，會造成誤差，但是改善了以上所述之黏貼物件以及乘載重量之許多使用者體驗，免頭戴式人眼追蹤技術即受到使用者以及開發者青睞，而對於其誤差之改善主要是利用影像分析為主軸，進而發展出各種不同之眼睛追蹤技術。先前有利用一預先建立的頭部的三維電腦模型，並尋找三維空間中定義為眼睛及眉毛的區域，將這些區域投射到二維影像空間，然後藉由分析二維影像空間的相素強度值找出眼球位置。此技術需事先建立使用者頭部的三維電腦模型且追蹤運算方法複雜，要配合強大運算功能的處理器始有辦法降低處理時間，成本十分昂貴。

再者，不論使用何種人眼追蹤方法，偵測眼球的移動一向是諸多開發者強調的重點之一，其精準度已經到達基本水準，而操作過程中導致較多困難之處是在於眼球的座標映射(MAPPING)至顯示螢幕上的座標的準確度，此個部分誤差偶而會相對較大，需要特別經過一些校正的手續，才可以使其準確地映射至螢幕座標。通常的做法是在使用者第一次使用時，讓使用者注視螢幕的四個角落，再將這四個點所偵測到的眼球座標資料作為校正點，將這些資料視為正確映射至顯示螢幕的點，其他的點即可用此四點套入內插法得到。

此方法雖然簡單易懂，但是由於校正時需要額外校正步驟，一但更換新的使用者，或是使用者的特徵有所變化，及需要重新校正，故此校正方法並非較佳之使用者體驗。

本發明之主要目的，在於提供一種具有較佳使用體驗的眼部追蹤校正方式。

為達到上述目的，本發明係提供一種用於眼部追蹤的校正模組，其包含有一圖像生成器、一取像調整器、以及一運算器。該圖像生成器用於校正路徑上顯示一供使用者注視的游標動畫，該游標動畫上的游標係沿著該校正路徑移動。該取像調整器於該游標移動時，連續透過攝像裝置擷取該使用者的眼部影像，藉以記錄該使用者的複數個眼部注視方向。該運算器係經由該使用者的該複數個眼部注視方向組成一校正資訊座標序列，藉由該校正資訊座標序列透過轉換函式於UI眼動數據表上建立複數個UI眼動分布範圍，並將該UI眼動數據表上的UI眼動分布範圍分別映射到顯示屏上的對應位置。

進一步地，該運算器係於該校正路徑上定義1~n校正點或校正區域，該取像調整器係於該顯示屏上的游標移動至該校正點或該校正區域時透過眼跡追蹤系統取得並記錄1~n眼部注視方向以組成該校正資訊座標序列。

進一步地，該UI眼動數據表係為角度-面積平面圖，該影像分析模組經由該使用者眼部影像擷取出一瞳孔及二反光點，該運算器係依據該瞳孔及該二反光點得到一落於該角度-面積平面圖上的原始座標，透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。

進一步地，該UI眼動數據表係為角度-距離平面圖，該影像分析模組經由該使用者眼部影像擷取出一瞳孔及一反光點，該運算器係依據該瞳孔及該反光點得到一落於該角度-距離平面圖的原始座標，透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。

進一步地，該校正路徑係為穿過該顯示屏兩側的直線。

進一步地，該游標動畫係為一滑動式游標圖形，該滑動式游標圖形包含有所述之游標，以及一供該游標於其上移動之路徑圖形。

本發明之另一目的，在於提供一種用於眼部追蹤的校正方法，其包含有以下步驟：(a)於校正路徑上顯示一供使用者注視的游標動畫，並使該游標動畫上的游標沿該校正路徑移動；(b)於該游標移動時，連續透過攝像裝置擷取該使用者的眼部影像，藉以記錄該使用者的眼部注視方向；(c)經由該使用者的該眼部注視方向組成一校正資訊座標序列，藉由該校正資訊座標序列，透過轉換函式於UI眼動數據表上建立複數個UI眼動分布範圍，並將該UI眼動數據表上的UI眼動分布範圍分別映射到顯示屏上的對應位置。

進一步地，該校正資訊座標序列係由以下步驟所取得：於該校正路徑上定義1~n校正點或校正區域；於該顯示屏上的游標移動至該校正點或該校正區域時分別記錄1~n眼部注視方向以組成該校正資訊座標序列。

進一步地，該使用者的眼部注視方向係由以下步驟取得：透過該影像分析模組經由該使用者的眼部影像擷取出一瞳孔及二反光點；於瞳孔中心定義一基準線以及該二反光點位置至該瞳孔中心的連線；藉由該瞳孔中心及該二反光點位置界定一面積，藉由該二連線與該基準線界定一夾角；依據該面積以及該夾角得到一落於角度-面積平面圖的原始座標；透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。

進一步地，該使用者的眼部注視方向係由以下步驟取得：透過該影像擷取模組經由該使用者的眼部影像擷取出一瞳孔及一反光點；於瞳孔中心定義一基準線以及該反光點至該瞳孔中心間之第一連線；藉由反光點位置及該瞳孔中心界定一距離，藉由該第一連線與該基準線界定一夾角；依據該距離以及該夾角得到一落於角度-距離平面圖的原始座標；透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。

進一步地，該瞳孔係藉由以下方式取得：調整該眼部影像的對比，而獲得一加強影像；對該加強影像進行去雜點處理，而獲得一去雜點影像；對該去雜點影像進行一邊緣銳利化處理，而獲得一銳化影像；對該銳化影像進行一二值化處理，而獲得一二值化影像；再次對該二值化影像進行該邊緣銳利化處理，而獲得該瞳孔的清楚影像。

進一步地，該校正路徑係為朝該顯示屏兩側延伸的直線。

進一步地，於步驟(c)中，該使用者的眼部影像係由以下步驟取得：(c1)藉由攝像裝置拍攝使用者的臉部，取得使用者的臉部影像；(c2)擷取出使用者臉部影像中的鼻孔影像，並定義二鼻孔位置；(c3)藉由該鼻孔位置依據臉部比例向上一段距離，定義一眼部搜尋框；(c4)對該眼部搜尋框進行影像處理，藉以取得該使用者的眼部影像。

本發明的更一目的在於提供一種電腦可讀取紀錄媒體，當電腦載入並執行後，係可完成以下之方法：(a)於校正路徑上顯示一供使用者注視的游標動畫，並使該游標動畫上的游標沿該校正路徑移動；(b)於該游標移動時，連續透過影像分析模組擷取該使用者的眼部影像，藉以記錄該使用者的眼部注視方向；(c) 經由該使用者的該眼部注視方向組成一校正資訊座標序列，藉由該校正資訊座標序列，透過轉換函式於UI眼動數據表上建立複數個UI眼動分布範圍，並將該UI眼動數據表上的UI眼動分布範圍分別映射到顯示屏上的對應位置。

進一步地，該校正路徑係為朝該顯示屏兩側延伸的直線。

是以，本發明係比起先前技術具有以下之優勢功效：

1.本發明可藉由滑動式游標圖形對眼動追蹤儀進行校正，其操作方式簡便易懂，更符合人體直覺操作的習慣。

2.本發明係可一次性對眼動追蹤儀進行校正，與傳統的校正方式相較而言，無須進行繁複的校正步驟。

100‧‧‧眼跡追蹤系統

10‧‧‧攝像裝置

111‧‧‧處理器

112‧‧‧儲存單元

20‧‧‧電腦主機

21‧‧‧影像分析模組

22‧‧‧圖像處理模組

23‧‧‧注視方向映射模組

24‧‧‧操作介面生成模組

25‧‧‧資料庫

30‧‧‧顯示屏

70‧‧‧校正模組

71‧‧‧圖像生成器

72‧‧‧取像調整器

73‧‧‧運算器

200‧‧‧眼動鎖

110‧‧‧電腦主機

113‧‧‧處理器

114‧‧‧儲存單元

101‧‧‧眼動追蹤機制

102‧‧‧密碼比對單元

103‧‧‧解鎖控制單元

104‧‧‧警示單元

40‧‧‧操作介面

41‧‧‧密碼鍵

42‧‧‧緊急求救鍵

43‧‧‧操作游標

44‧‧‧修正鍵

45‧‧‧輸入鍵

46‧‧‧密碼輸入視窗

50‧‧‧游標動畫

51‧‧‧游標

52‧‧‧路徑圖形

80‧‧‧眼動鎖具

81‧‧‧接目裝置

811‧‧‧外殼

812‧‧‧視窗

813‧‧‧攝像裝置

814‧‧‧照射燈具

816‧‧‧顯示屏

817‧‧‧反射鏡

82‧‧‧電腦主機

90‧‧‧眼動鎖

91‧‧‧攝像裝置

92‧‧‧顯示屏

93‧‧‧電腦主機

C1‧‧‧瞳孔中心位置

S1‧‧‧光斑位置

S2‧‧‧光斑位置

S3‧‧‧光斑位置

L1‧‧‧連線

L2‧‧‧基準線

θ1‧‧‧角度參數

θ2‧‧‧角度參數

θ3‧‧‧角度參數

T1‧‧‧校正資訊座標序列

T2‧‧‧分布範圍

N‧‧‧UI眼動分布範圍

S201~S208‧‧‧步驟

S301~S304‧‧‧步驟

圖1，係為眼跡追蹤系統的方塊示意圖。

圖2，係為眼控密碼操作介面的示意圖。

圖3，係為眼動鎖的方塊示意圖。

圖4，係為具有接目裝置的眼動鎖的操作示意圖。

圖5，係為接目裝置的剖面示意圖。

圖6，係為具有眼控螢幕的眼動鎖的操作示意圖。

圖7，係為遠距分析眼部影像的演算流程示意圖。

圖8，係為眼動鎖的演算流程示意圖。

圖9，係為眼部注視方向的擷取示意圖(一)。

圖10，係為眼部注視方向的擷取示意圖(二)。

圖11，係為滑動式校正游標的示意圖。

圖12，係為分布預測的轉換示意圖。

圖13，係為圖形扭正的示意圖。

圖14，係為UI眼動數據表的示意圖。

圖15，係為校正步驟的流程示意圖。

茲就本案之結構特徵暨操作方式，並配合圖式加以說明，謹述於後，俾提供審查參閱。

請參閱「圖1」，係眼跡追蹤系統的方塊示意圖，如圖所示：本發明係為一種用於眼部追蹤的校正模組70，所述的校正技術，係配合應用於眼跡追蹤系統100上，藉由於顯示屏30上顯示一滑動式游標圖形動畫，追蹤使用者的眼部注視方向並配合資料庫中25的校正樣本進行調校，進而完成眼部注視方向與顯示屏30像元矩陣間的校正。

所述之眼跡追蹤系統100係用以擷取使用者的眼部影像，並針對該眼部影像進行影像分析，藉以將使用者的視線轉換至相對於顯示屏30上的位置，透過使用者的注視方向操縱顯示屏30上的操作介面。該眼跡追蹤系統100主要包含有一拍攝使用者臉部的攝像裝置10、一供使用者注視操作的顯示屏30、以及一連接該攝像裝置10及該顯示屏30的電腦主機20。

所述之攝像裝置10及顯示屏30係配合電腦主機20操作，用以擷取使用者的臉部或眼部資訊，於本發明中該攝像裝置10可為一般的平面攝影機、或為可測量距離的主動式深度攝影機(Active-Depth Camera)、雙目攝影機(TwinCam)等，於本發明中不予以限制。該攝像裝置10係可搭配照射光源，藉以於使用者的虹膜上形成反光點，作為影像處理時可供參考的參考點。該顯示屏30係用以顯示操作介面，供使用者注視操作，該顯示屏30上係包含有由複數個像素元所組成的像元矩陣，經過映射處理後，游標將依使用者的注視方向移動至像元矩陣上的相對位置。

電腦主機20主要包含有處理器111，以及連接於該處理器111的儲存單元112。在本實施例中，處理器111以及儲存單元112可共同構成一電腦或處理器，例如是個人電腦、工作站、主機電腦或其他型式之電腦或處理器，在此並不限制其種類。

在本實施例中，處理器111可耦接於儲存單元112。處理器例如是中央處理器(Central Processing Unit；CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor；DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits；ASIC)、可程式化邏輯裝置(Programmable Logic Device；PLD)或其他類似裝置或這些裝置的組合。於本實施例中，處理器111係用以載入儲存單元112內的程式，藉以完成眼部追蹤以及眼部追蹤的校正方法。

本發明依其功能的不同，可分為不同的功能模組，該功能模組係分別儲存於該儲存單元112內並由處理器111掛載執行。該功能模組可分為影像分析模組21、圖像處理模組22、注視方向映射模組23、操作介面生成模組24、資料庫25、以及校正模組70。

該影像分析模組21係連接至該攝像裝置10，透過該攝像裝置10取得使用者的臉部或眼部影像。該影像分析模組21於取得攝像裝置10所拍攝的臉部影像或眼部影像時，係可針對該臉部或眼部影像進行灰階處理、二值化處理(Threshold)、銳化處理(Sharpening)、連通區域檢測(Blob Detection)、雜訊去除、上色等影像處理之程序，藉由上述的影像處理方式，可擷取出影像中的感興趣部位，進一步地可由所擷取到的感興趣部位擷取出影像中的參考數值，藉由該參考數值取得使用者的注視方向。

該圖像處理模組22係對應於該影像分析模組21，係可將影像分析模組21所取得的眼部注視方向的參數值(如角度、面積、距離等數值)，分別作為橫軸或縱軸的變量，標示於角度-面積、或角度-距離平面圖上，此時，將得到位於上述平面圖上的原始座標。

該注視方向映射模組23係對應於該圖像處理模組22，係可經由圖像處理模組22取得原始座標，並將該原始座標映射至顯示屏30上的像元矩陣上，藉以將游標移動至該像元矩陣上所對應的像素位置。

該操作介面生成模組24係用於在顯示屏30上顯示一操作介面40，所述之操作介面40如「圖2」所示(在此係舉眼動鎖的操作介面為例)，包含有密碼鍵41、緊急求救鍵42、修正鍵44、輸入鍵45、密碼輸入視窗46、及供使用者操作的操作游標43。該密碼鍵41係供使用者將相對應之數字密碼輸入至該密碼輸入視窗46，當使用者欲對操作介面上的數字進行輸入時，僅需將操作游標43停留至所欲點選的按鍵上一段時間，即可完成輸入。當使用者密碼輸入錯誤時，使用者可藉由該修正鍵44刪除輸入錯誤的密碼。於密碼輸入完成時，使用者可藉由該輸入鍵45完成密碼輸入。該緊急求救鍵42係供使用者遇到緊急情況時，藉由遠端連結至救援中心，以提供即時的救援。

請一併參閱「圖3」，本發明係可應用於一眼動鎖200上，該眼動鎖200的電腦主機110除包含有眼動追蹤系統100的各種功能外(在此將上述眼動追蹤儀的各種功能定義為眼動追蹤機制101)外，更包含有密碼比對單元102、對應於該密碼比對單元102的警示單元104、以及對應於該密碼比對單元102的解鎖控制單元103。使用者可藉由上述的操作介面進行密碼輸入，於輸入密碼正確時，將透過解鎖控制模組103傳遞一開啟訊號開啟鎖具，或是於密碼輸入錯誤時由警示單元104產生警示訊號。有關於眼動鎖的技術，以下係舉二較佳實施例說明之。

請參閱「圖4」及「圖5」，本發明可用於具備接目裝置81的眼動鎖具80上，所述的眼動鎖具80包含有具有警報器的電腦主機82、以及可供使用者拾取用以覆蓋於眼上的接目裝置81。所述的接目裝置81係包含有一外殼811、一設置於該外殼811 一側的視窗812、一設置於該視窗812周側以擷取使用者眼部影像的攝像裝置813、一或二設置於該視窗812周側的照射燈具814、一對應於該視窗812的顯示屏816、以及一設置於該視窗812及該顯示屏816之間的反射鏡817。該照射燈具814係用於使用者眼部上形成反光點，該反射鏡817係用以將顯示屏816的影像反射至使用者的眼部。該電腦主機82可安裝於門禁系統、車用電腦、保險箱或其他類此具備鎖具的裝置等，使用者可藉由該接目裝置80，操作顯示屏816上的操作游標，藉以輸入相對應之密碼及指令。

請參閱「圖6」，本發明之校正模組可用於具有眼控螢幕的眼動鎖90上，所述的眼動鎖90包含有顯示屏92、連接於該顯示屏90的電腦主機93、以及用以捕捉使用者臉部資訊的攝像裝置91。該電腦主機93同接目裝置80的電腦主機110一樣具備身分認證功能。如「圖7」所示，於其中一較佳實施態樣中，該眼控螢幕係可經由以下步驟透過使用者的臉部資訊擷取出使用者的眼部資訊：藉由攝像裝置91拍攝使用者的臉部，取得使用者的臉部影像(步驟S301)；擷取出使用者臉部影像中的鼻孔影像，並定義二鼻孔位置；(步驟S302)藉由該鼻孔位置依據統計上臉部五官比例，定義一眼部搜尋框；(步驟S303)對該眼部搜尋框進行影像處理，藉以取得該使用者的眼部影像。(步驟S304)

該電腦主機93可安裝於門禁系統、車用電腦、保險箱或其他類此具備鎖具的裝置等，使用者可遠距離操作顯示屏91上的游標，並透過該游標輸入相對應之密碼及指令。

請一併參閱「圖3」「圖4」、「圖5」及「圖8」係揭示上述眼動鎖的工作流程：於起始時，電腦主機82係處於待機狀態(步驟S201)，並藉由攝像裝置813判斷是否有使用者靠近或是否有眼睛停留在方框中(步驟S202)。於判定有使用者靠近或是判定有眼睛停留在方框中的情況時，透過攝像裝置813收集使用者的眼動資料(步驟S203)。接續，使用者係可藉由眼控方式輸入密碼(步驟S204)，於密碼輸入完成時，該密碼比對單元102係判定密碼是否正確(步驟S205)。當判定該密碼為正確時，係將一啟動訊息傳送至該解鎖控制單元103，並開啟門鎖(步驟S206)。當密碼輸入錯誤時或是輸入操作介面40上的求救鍵42時，係將錯誤訊息或警示訊息傳送至該警示單元，藉以發出警示訊號(步驟S207)。在此須注意的是，當操作的過程中使用者離開使用範圍時，該密碼鎖裝置將復歸至起始的待機狀態(步驟S208)。

有關於眼部注視方向的取得方式，請參閱「圖9」及「圖10」：請先參閱「圖9」，於其中一較佳實施態樣中，使用者的眼部注視方向係藉由以下方式取得：開始時，透過照射光源於使用者虹膜上形成一光斑S1，影像分析模組21定位使用者眼部的瞳孔中心位置C1以及反光點位置S1，依據該瞳孔中心位置C1以及光斑位置S1之間的連線L1得到一距離值L，另外，依據瞳孔中心位置C1設定一基準線L2，並計算該連線L1與該基準線L2之間的角度參數θ1。接續，藉由圖像處理模組22將該距離值L及該角度值標示於角度-距離平面圖上，藉以得到一原始座標，最後透過注視方向映射模組23，將該原始座標轉換為顯示屏30上的像元位置，藉以移動該操作游標43。

接續，請參閱「圖10」，於另一較佳實施態樣中，使用者的眼部注視方向係可藉由以下方式取得：首先，透過二不同方向的照射光源，於使用者的虹膜上映射二不同的光斑。接續，由影像分析模組21定位使用者眼部的瞳孔中心位置C1以及二反光點位置S2、S3，並依據該瞳孔中心位置定義一基準線K，並依據該瞳孔中心位置C1及該二反光點位置S2、S3計算得到一面積參數，並藉由該瞳孔中心位置與其中一反光點位置取得一連線，該連線與基準線K之間的角度值為θ2，藉由該瞳孔中心位置與另一反光點位置取得另一連線，該另一連線與基準線K之間的角度為θ3，取其中一角度值θ2或θ3或取二角度值θ2、θ3的平均可取得一角度參數。接續，藉由圖像處理模組22將該面積參數及該角度參數標示於角度-面積平面圖上，藉以得到一原始座標，最後透過注視方向映射模組23，將該原始座標轉換為顯示屏30上的像元位置，藉以移動該游標。

其中，該影像分析模組21係可透過以下方式取得瞳孔中心位置C1及反光點位置S1、S2、S3：調整該眼部影像的對比，而獲得一加強影像；對該加強影像進行去雜點處理，而獲得一去雜點影像；對該去雜點影像進行一邊緣銳利化處理，而獲得一銳化影像；對該銳化影像進行一二值化處理，而獲得一二值化影像；再次對該二值化影像進行該邊緣銳利化處理，而獲得該瞳孔的清楚影像。

有關於本發明之校正模組以下將輔以圖式進行更為詳盡的說明：請返回參閱「圖1」，本發明之校正模組70係透過一校正路徑連續擷取使用者的眼部注視方向，並藉由複數個眼部注視方向所構成校正資訊座標序列對注視方向映射模組進行校正，該校正模組70主要包含有一圖像生成器71、一取像調整器72、以及一運算器73。

該圖像生成器71係於校正路徑上顯示一供使用者注視的游標動畫50，該游標動畫50上的游標51係沿著該校正路徑52移動。所述之校正路徑52係對應於該顯示屏30的像元矩陣上，於校正程序中，該運算器73係於該校正路徑上定義1~n個校正點或校正區域，校正點或校正區域的數量可以決定眼跡追蹤系統100的精確度。

該取像調整器72於該游標51移動時，連續透過攝像裝置10擷取該使用者的眼部影像，藉以記錄該使用者的複數個眼部注視方向。具體而言，該取像調整器72係於該顯示屏30上的游標51移動至該校正點或該校正區域時透過眼跡追蹤系統100取得並記錄1~n眼部注視方向，以組成該校正資訊座標序列。所捕捉到的眼部注視方向可包含角度-面積、或角度-距離之數值，用以將該數值填入角度-面積、或角度-距離平面圖上(於本發明係揭示角度-距離的實施方式)，用以確認眼部注視方向的位置。

該運算器73係經由該使用者的該複數個眼部注視方向組成一校正資訊座標序列T1，藉由該校正資訊座標序列T1透過轉換函式於UI眼動數據表上建立複數個UI眼動分布範圍N，並將該UI眼動數據表上的UI眼動分布範圍N分別映射到顯示屏上的對應位置。於一較佳實施態樣中，該UI眼動數據表係為角度-面積平面圖，影像分析模組21經由該使用者眼部影像擷取出一瞳孔及二反光點，該運算器73係依據該瞳孔及該二反光點得到落於該角度-面積平面圖上的原始座標，透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。於另一較佳實施態樣中，該UI眼動數據表係為角度-距離平面圖，該影像分析模組經由該使用者眼部影像擷取出一瞳孔及一反光點，該運算器係依據該瞳孔及該反光點得到一落於該角度-距離平面圖的原始座標，透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。

詳細的演算法，請參閱「圖11」至「圖15」，於第一次使用時，必須先進行校正步驟，令使用者注視校正模組於顯示屏上所產生的校正動畫，進一步對該注視方向映射模組進行校正。

請先參閱「圖11」，於本實施態樣中，該校正路徑係為穿過該顯示屏兩側的直線。圖像生成器71係於該校正路徑上形成一滑動式游標動畫50，該滑動式游標動畫50包含有游標51、以及一供該游標於其上移動之路徑圖形52。接續，請一併參閱「圖12」、「圖13」、「圖14」及「圖15」，以下係以單一反光點的實施態樣進行描述，本實施態樣的校正程序如下：

步驟S21：首先，該操作介面生成模組於校正路徑上先顯示一供使用者注視的游標動畫50，該游標動畫50包含有游標 51及對應於校正路徑的路徑圖形52，並使該游標動畫50上的游標51沿該校正路徑移動；

步驟S22：於該游標51移動時，該取像調整器72係於該游標51移動至對應於該校正路徑上的複數個位置時分別指示該攝像裝置10擷取該使用者的眼部影像。具體方式為，該取像調整器72預先於該校正路徑上定義1~n校正點或校正區域，當游標沿該校正路徑移動至所定義的第n校正點或校正區域時，該取像調整器72係驅動該攝像裝置10記錄該使用者的眼部影像，並藉由該眼部影像紀錄第n校正點時瞳孔中心及反光點位置所界定的角度以及距離，並將該角度及距離所對應的點分別標註於角度-距離分布圖上，藉以組成一校正資訊座標序列T1。(於另一實施態樣中，可藉由該瞳孔中心位置及該二反光點位置界定一面積參數、以及一角度參數，並將點標註於角度-面積分布圖上。)

步驟S23：經由該使用者於校正路徑上的該眼部注視方向取得一校正資訊座標序列T1後，藉由該校正資訊座標序列T1，透過轉換方式於UI眼動數據表上建立複數個UI眼動分布範圍N，並將該UI眼動數據表上的UI眼動分布範圍N分別映射到顯示屏30上的對應位置。

有關於所述的轉換方式，具體如下：於建立完成校正資訊座標序列T1後，藉由內建於資料庫25內的模型，可藉由該校正資訊座標序列T1內的複數個取樣點進行分布預測(Predictive Distribution)，對應地產生整幅近似於矩形或扇形的分布範圍(如圖12所示)，所取得的矩形或扇形的分布範圍係藉由仿射轉換(Affine Transform)、透視轉換 (Perspective Transform)、座標變形(Coordinate Warping)、雙線性差值演算法(Bilinear Interpolation)、或雙三次插值演算法(Bicubic Interpolation)轉換成對應於UI眼動數據表上規則的矩形分布(如圖13所示)。於分布預測完成時，依據資料庫25中對應的模型，將可對應的產生至少圍繞對應於像元矩陣上UI圖像周側的取樣點，藉此可便於後續建立相對應的UI眼動分布範圍N。此時，透過UI眼動數據表上預先定義的複數個UI眼動分布範圍N，可直接定義UI圖像對應於UI眼動數據表上的對應範圍，藉由該UI眼動數據表即可藉由內插對應法對應的得到使用者注視方向所對應的UI圖像(如圖14所示)。

綜上所述，本發明可藉由滑動式游標圖形對眼動追蹤儀進行校正，其操作方式簡便易懂，更符合人體直覺操作的習慣。此外，本發明係可一次性對眼動追蹤儀進行校正，與傳統的校正方式相較而言，無須進行繁複的校正步驟。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims

一種用於眼部追蹤的校正模組，其包含有：一圖像生成器，其於校正路徑上顯示一供使用者注視的游標動畫，該游標動畫上的游標係沿著該校正路徑移動；一取像調整器，於該游標移動時，連續透過攝像裝置擷取該使用者的眼部影像，藉以記錄該使用者的複數個眼部注視方向；以及一運算器，係經由該使用者的該複數個眼部注視方向組成一校正資訊座標序列，藉由該校正資訊座標序列透過轉換函式於UI眼動數據表上建立複數個UI眼動分布範圍，並將該UI眼動數據表上的UI眼動分布範圍分別映射到顯示屏上的對應位置。
如申請專利範圍第1項所述之校正模組，其中，該運算器係於該校正路徑上定義1~n校正點或校正區域，該取像調整器係於該顯示屏上的游標移動至該校正點或該校正區域時透過眼跡追蹤系統取得並記錄1~n眼部注視方向以組成該校正資訊座標序列。
如申請專利範圍第2項所述之校正模組，其中，該UI眼動數據表係為角度-面積平面圖，該影像分析模組經由該使用者眼部影像擷取出一瞳孔及二反光點，該運算器係依據該瞳孔及該二反光點得到一落於該角度-面積平面圖上的原始座標，透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。
如申請專利範圍第2項所述之校正模組，其中，該UI眼動數據表係為角度-距離平面圖，該影像分析模組經由該使用者眼部影像擷取出一瞳孔及一反光點，該運算器係依據該瞳孔及該反光點得到一落於該角度-距離平面圖的原始座標，透過該原始座標判斷使用者注視方向所對應的UI眼動分布範圍。
如申請專利範圍第1項所述之校正模組，其中，該校正路徑係為穿過該顯示屏兩側的直線。
如申請專利範圍第1項至第5項其中一項所述之校正模組，其中，該游標動畫係為一滑動式游標圖形，該滑動式游標圖形包含有所述之游標，以及一供該游標於其上移動之路徑圖形。
一種用於眼部追蹤的校正方法，其包含有以下步驟：(a)於校正路徑上顯示一供使用者注視的游標動畫，並使該游標動畫上的游標沿該校正路徑移動；(b)於該游標移動時，連續透過攝像裝置擷取該使用者的眼部影像，藉以記錄該使用者的眼部注視方向；以及(c)經由該使用者的該眼部注視方向組成一校正資訊座標序列，藉由該校正資訊座標序列透過轉換函式於UI眼動數據表上建立複數個UI眼動分布範圍，並將該UI眼動數據表上的UI眼動分布範圍分別映射到顯示屏上的對應位置。