TWI515609B - 眼球定位方法及系統 - Google Patents

眼球定位方法及系統 Download PDF

Info

Publication number
TWI515609B
TWI515609B TW103146641A TW103146641A TWI515609B TW I515609 B TWI515609 B TW I515609B TW 103146641 A TW103146641 A TW 103146641A TW 103146641 A TW103146641 A TW 103146641A TW I515609 B TWI515609 B TW I515609B
Authority
TW
Taiwan
Prior art keywords
point
image
iris
center
vertical
Prior art date
Application number
TW103146641A
Other languages
English (en)
Other versions
TW201624200A (zh
Inventor
江知遠
繆紹綱
瑞奇 陳
陳映綱
Original Assignee
中原大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中原大學 filed Critical 中原大學
Priority to TW103146641A priority Critical patent/TWI515609B/zh
Application granted granted Critical
Publication of TWI515609B publication Critical patent/TWI515609B/zh
Publication of TW201624200A publication Critical patent/TW201624200A/zh

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

眼球定位方法及系統
本發明係關於一種眼球定位方法及系統,特別係關於一種藉由定位虹膜中心的方法,藉此而達到應用該眼球定位方法及系統在產業上的目的。
近年網路科技日新月異,新世代的年輕人已經把休閒娛樂從電視轉移到網路上,利用平板電腦或智慧型手機放鬆自己已經成為天天都在做的事情,而在網路上打廣告也因此成為主流之一。在各個論壇的周圍空間,我們都會看到許多廣告看板的出現,每隔一陣子就會有新的廣告輪流播放,在看YouTube時,也會有廣告先出現在點選的影片前面,利用平板電腦的APP(Application)線上看電影或各國連續劇時,在播放前也會出現廣告,除了觀看影片或論壇網站上的廣告外,一些免付費的APP有些也會有廣 告出現在邊邊角角,開發者利用這些廣告就可以有收入,就像傳統的廣告會刊登在報章雜誌上,報紙廠商或雜誌廠商就可以利用廣告來增加收入,這也是主要收入之一,科技的進步也使得想刊登廣告的店家可以在打廣告時不只有電視或報章雜可以選,也可以選擇網路平台,但要怎樣確定使用者有在注意這些廣告,這就可以利用本研究來讓各種平台的使用者回饋廠商這些數據進行效益分析。
在孩童學習的過程當中或許會出現一些障礙,像是比較難的字彙,會在這些字上面停留比較久的時間,或是在外語學習的過程當中遇到一些困難,可以利用本研究分析出學習者對於學習的困難處是在哪部分,而跟相同課程的同學有什麼不同的地方,透過落點位置進行凝視次數、凝視時間的比較進行分析,進而改善自身的學習情況,以達到更佳的學習效果。
人類在得到一些疾病的情況下是難以跟外界有效溝通,像是漸凍人患者,這些患者是腦部裡面中樞神經運動神經元退化,病人的表現是全身肌肉慢慢萎縮,包含無法言語,甚至呼吸功能也會全部退化,最後只能夠轉動眼睛,這些身心障礙者都是會比較不方便跟人互動,所以需要一些外在的輔助機制來進行幫助,在未來,如果有 廠商利用本研究配合相關設備,就可以幫助這些人進行對外溝通,更了解他們內心的想法或渴望,甚至可以幫助他們心理上的恢復,建立自信。此外,還有許多發展方向,像是行車安全分析,駕駛人在駕駛汽機車時是否有注意到巷口來車,換車道時是否有注意左邊或右邊後照鏡,是否會因為聽收音機或音樂而影響到視覺上的注意力,或許未來在考取駕照時也可以進行評分做參考,讓駕照確確實實的發給注意行車安全的駕駛,避免未來因車禍造成的傷害。
人眼是一項非常精密且複雜的器官,下面將簡單介紹一些以較常看到的結構組織,第一圖為眼睛構造圖。鞏膜(Sclera):就是一般稱為眼白的部分,為眼球最外面的一層,堅韌而不透明,他可保護眼球內部並維持眼球的形狀。虹膜(Iris):含有肌肉和色素,虹膜中心有一圓形開口,稱為瞳孔,瞳孔會因光線強弱而放大縮小,以便控制進入的光線。眼角膜(Cornea):眼角膜是眼睛前面透明的部分,會覆蓋虹膜、瞳孔及前房,正常是無色透明,可透過眼角膜看到虹膜的顏色。水晶體(Lens):水晶體介於虹膜之後玻璃體之前,位於瞳孔後面的扁平橢圓形透明形狀,具有細緻的囊袋,可以防止水房的水進入,厚薄可因韌帶的鬆緊而改變,以便調節屈光。角膜緣(Limbus):位於眼角膜和鞏膜的交界處,由於透明眼角膜逐漸崁入鞏膜內,所 以在眼球表面並沒有很明確的分界線,越年輕的人會越明顯,也沒有一定的寬度,越明顯的人也會比較具有吸引力。
視覺注視研究大致上可以分成接觸式系統和非接觸式系統,會跟人體有所接觸的歸類為接觸式系統,由於接觸到人體就會造成一些物理傷害或有較大的潛在性風險,所以比較不建議使用,而非接觸式的系統相對之下是比較安全,也被許多研究單位採納做視覺注視追蹤的相關研究。此外,舒適度上,非接觸式系統也比較能讓受測者感到舒服。以下進一步介紹國內外所研發出的各種系統。
眼電圖法(Electro-Oculography,EOG),眼電圖法是將受測者眼睛的上下左右皮膚貼上電極貼片,接收來自眼角膜與視網膜之間的電壓差,其原理把人類眼球視為一個圓形的電池,眼角膜中間為正極,視網膜為負極,在利用接收到的訊號差別來計算出眼球運動,以達到追蹤眼球運動的目的。第二圖為眼電圖法示意圖,總共要使用五個貼片,測量眼球水平移動的貼片貼在眼睛左右兩側,測量眼球垂直移動的貼片貼在其中一眼的上下兩邊,最後一個一片貼在額頭位置當作參考點,當眼球向右轉動時,電極間會有一個正的電壓差產生,向左轉動時電極間便會產生一個負的電壓差,以此電壓差的大小來判斷眼球上下 左右移動的角度。眼電圖法的優點在於價位不高,但缺點是因為人體的電阻會因為環境的變動而有所不同,像是角質的分泌會造成電壓不穩定。近年有Andreas Bulling等人利用此方法先抓取到三種眼部特徵,掃視、注視跟閉眼,再把重複的訊號歸類變成模型,分析五種辦公室裡常見的動作包含複製文章、閱讀文件、寫字、看影片、隨意閱覽以及什麼都不做,平均準確率為76.7%。
搜尋線圈法(Search Coil),搜尋線圈法是讓受測者配戴特殊設計的軟式鏡片。如第三圖(a)所示,主要是在兩片軟式鏡片中間加入感應線圈,並且事先在眼球四周圍加上固定磁場,當受測者眼球運動時會帶動鏡片,感應線圈會因磁通量變化而產生感應電動勢,感應電動勢之大小即代表眼球偏轉之角度,將訊號放大後即可記錄眼球運動狀況。優點為準確度高,所以在醫療和心理研究上會使用到,但搜尋線圈法的量測方式很容易受到受測者當時眼球狀況的影響,如眼球的分泌物等,也因為是侵入式的方法,所以並不適合長期配戴,而且軟式鏡片具有雙層架構,會影響使用者的視力,所以也很少用於臨床上。這種搜尋線圈鏡片分成2D跟3D的形式,2D的用9圈漆包線組成,用來測量水平跟垂直的數據,3D的有兩環,每環用8圈漆包線組成,除了用來測量水平和垂直外,還可以測量扭轉 的數據。
Purkinje影像追蹤法(Dual-Purkinje-image),Purkinje影像追蹤法(Dual-Purkinje-image)是利用當光線經過眼球組織時,由於眼睛各個組織折射率的不同,來產生光源的反射影像,這些光源的影像稱之為Purkinje-image,通常可以觀測到四組影像。其中第一種Purkinje-image是光源反射在角膜與眼球前空氣的表面,第四種Purkinje-image是反射於水晶體與眼球內部的表面,其他兩種Purkinje-image,由於反射量太小,通常忽略不計。此法便是檢測第一種及第四種Purkinje-image來偵測眼球運動情況。使用黑白攝影機擷取影像,光源為兩顆近紅外線LED燈往眼睛直接照射,擷取到如第三圖(b)的影像,利用圖像中Purkinje-image跟瞳孔中心位置的關係就可以推算出眼球視線的可能位置。
瞳位追蹤法(Pupil Tracking),若系統採用紅外線或是近紅外線之光源來照射眼部時,則因為瞳孔對紅外線的反射性低,而虹膜對紅外線的反射性較高,所以會造成影像中瞳孔與虹膜的亮度差異變大,而虹膜與眼白之間的亮度差異變小。此與一般白色光源不同的特點,可使我們較易取出瞳孔的輪廓外圍。這種利用檢測瞳孔位置來判斷視線方向之追蹤技術稱為瞳位追蹤(Pupil Tracking)。由於虹膜內圍(即瞳孔輪廓)較虹膜外圍來的清晰明確, 且較不易被眼皮遮蔽到,因此瞳位追蹤相較於異色邊界地帶追蹤有較高的解析度。但紅外線在長期照射下對眼睛及皮膚具有一定的傷害,對眼睛的主要傷害為白內障、視網膜和角膜灼傷,以及在低強度光源下熱輻射所產生的熱壓,若照射的曝光量大於一個臨界值,都將對眼球造成傷害。
紅外線眼動圖法(Infrared Oculography,IROG),此方法是將一排紅外線光源及紅外線接收器架設在鏡架上,以固定角度架設在虹膜四周,由於紅外線在黑色瞳孔處與虹膜處的反射效果比較低,所以大部分的光源會被吸收,而眼白的部分幾乎會將紅外線完全反射,所以可以利用紅外線光源在眼角膜邊緣的反射差異來做追蹤,紅外線接收器會將反射出來的紅外線光轉換成電流訊號,經差動放大上下左右信號之後便可藉由信號的大小來判斷眼球轉動的角度。這種技術的優點是便宜又方便使用,且不會受到外界光線強弱的影響,但缺點是近距離用紅外線對眼睛照射會使眼睛乾澀不舒服,且容易受到背景光的影響,長期使用會對眼睛組織有所傷害。
異色邊界地帶處理法(Limbus Tracking)此類系統主要是利用光源進入眼球後所反射出來的影像。若是採用背景光或是一般的白色光源,則可利用眼白與黑色眼珠之間的天然差異,來檢測出虹膜邊界,稱為異色邊界地 帶追蹤技術(Limbus Tracking)。使用此方法的優點是不需要受到紅外線光源照射眼睛避免光對眼睛造成的物理傷害,但缺點是不容易清楚取出虹膜外圍,且上下邊界容易被上下眼皮所遮蔽,因此範圍有其限制。使用的異色邊界地帶處理法需要先以人工方式點選六個虹膜邊界,讓系統知道邊界的參數後去取最大值當閥值,在這閥值以下的像素可能為虹膜或瞳孔,也在非虹膜部分取六點後讓最小的參數當閥值,在這閥值以上的值可能為眼白或皮膚部分,每個受測人員都需要點選,這會造成受測者的不便。搜尋瞳孔中心位置的方法為計算可能為虹膜跟瞳孔的像素座標的重心位置,但在虹膜跟瞳孔裡面有時會因為反光的關係造成重心座標計算時有些像素座標被列為非虹膜或瞳孔而沒被計算到,這樣也影響了重心最後的座標,所以作者也提到此重心未必為瞳孔中心位置,但作者相信離瞳孔中心相當接近。
另外也有許多眼睛追蹤的方法是使用霍夫圓偵測(Circular Hough Transform)去尋找眼睛裡的瞳孔位置,但此種方法大多有配合紅外線LED燈做使用,因為在紅外光線下的瞳孔會吸收大部份的紅外光線,虹膜跟眼白部分會反射較多的光線,造成瞳孔跟虹膜的交界處有很清楚的輪廓產生,故使用霍夫圓偵測會有不錯的效果。如果使用霍夫圓偵測去尋找異色邊界地帶會比較難找到正確的 虹膜,因為霍夫圓所偵測出的圓會取決於參數上的設定範圍,而每個人的虹膜大小都不一樣,所以在設定圓半徑的參數上要使用好幾個參數,這樣才不會因為受測者的不同就會偵測不到,但也因此造成影像中出現很多偵測出的圓,雖然找到可能的虹膜邊界,但在其他非虹膜邊界的地方系統也會誤判為圓。第四圖為使用霍夫圓偵測的結果,除了偵測到虹膜邊界外也偵測出其它明顯不代表虹膜圓的部分。
上述的方法分別有價格高昂、受測者有可能受到的物理傷害、另外儀器本身會有過於龐大的體積,或使用紅外線使眼睛感到乾澀不舒服的缺點,仍為當前業界亟思改善之產業上的需求。
此外,本發明所需的相關知識如,灰階化、空間濾波、二值化與三角形內心、外心及重心,有如下之簡易說明。
灰階化,較常用的影像色彩模型有以下幾種:RGB、YIQ、HSI、YUV及YCrCb。不同的色彩模型在不同的應用上會有不一樣的表現。在某些應用上通常會使用灰階影像(Gray Image)而非原本的RGB彩色影像來進行一些處理,因其可有效避免色彩變化的影響,並且在某程度上 降低資料量與處理時間。RGB彩色模型與YIQ彩色模型之間的轉換關係可用矩陣型態描述,如(1-1)式所示: 其中Y代表亮度(Luminance),I為彩色元素(Inphase),Q亦為彩色元素(Quadrature)。採用YIQ模型的好處是亮度Y以及與彩色元素相關的I與Q可被分離開。
空間濾波,在影像處理過程中,常常會用到一些空間濾波器來對影像進行影像濾波,而空間濾波器的最基本原理即是使用遮罩(mask)逐點對影像做處理。常使用的遮罩大小有3×3(如第五圖所示)、5×5或7×7,常見的空間濾波器則有增強濾波器以及平滑濾波器等。增強(sharpening)濾波器本質上是一個高通濾波器,它主要用來使影像的細節(detail)或邊緣(edge)更突顯,而達到影像增強的目的。常見的增強濾波器有三種:第一種是基本高通空間濾波器,它的做法是利用第六圖(a)之遮罩運算,並回傳運算結果至如第五圖中的P 5。此種濾波器的特性為,若遮罩中心點對應具有較大灰階度的像素值,則經此濾波後,此像素與旁邊像素之間的灰階度差異將被放大,反之,此遮罩對灰階度變化相當慢的平滑區域,其輸出將非常小。比較極端的狀況則是遮罩所涵蓋範圍內的灰階度都一樣時,則不管原來的灰階值有多大,其輸出將恆為零,意即此種遮罩有降低 整體影像平均值使影像整體變暗的缺點,且實際的輸出值會有負的可能,因此須做大小的調整。第二種是高頻加強濾波器,它的做法是利用圖第六圖(b)之遮罩運算(其中α為放大倍率),並回傳運算結果至P 5。此種濾波是先將原始影像乘上一個大於1的倍率再減去此影像經低通濾波後的結果。第三種則是差分(differential)型濾波器,它的做法是利用第七圖(a)與(b)之遮罩分別計算行與列之梯度分量。此種濾波器的主要用途是在影像分割中偵測物體邊緣,因為它可將影像物體之邊緣與其鄰近像素間的灰階度加以放大,達到突顯物體邊緣輪廓的影像增強效果。平滑濾波器本質上是一個低通濾波器,它主要目的在使影像模糊或降低高頻雜訊。對影像辨識的目的而言,使用平滑濾波器所造成的影像模糊可去除妨礙重要特徵擷取的小細節並使斷線相連。而對於脈衝型的高頻雜訊,平滑濾波器將可減輕此雜訊的效應。平滑濾波器主要有兩種:第一種是平均濾波器,它的做法是將遮罩內的像素值加總後平均,並回傳至P 5。其運算遮罩如第八圖所示,圖中顯示的是一個3×3的遮罩。一般而言,愈大的遮罩模糊效果愈強,相當於此濾波器的截止頻率愈來愈低,高頻部分被濾去愈多。第二種是中值濾波器,它的做法是將遮罩內所涵蓋的像素值由小到大排列,取出排列在中間的值回傳至P 5取代之。
二值化,在二值化中首先設定一個灰度值,凡 是影像本身灰度大於它的便令其為亮點(像素值255),而灰度值低於設定值的,便令其為暗點(像素值0),如此可得到一個二元的影像。如第九圖所示,取兩波峰間的波谷為門檻值(Threshold),T0,再針對灰階值大於此門檻值者二值化後令為255,小於或等於者則令為0。方程式(1-2)為二值化的公式定義: 其中Bb為二值化後的訊號,Ba為二值化前的訊號,T0為閥值,當Ba的值小於T0時,所有符合條件的Ba訊號就會視為0,當Ba的值大於等於T0時,所有符合條件的Ba訊號就會視為255,讓圖片變成只有黑白兩色。
三點測圓法,外心,所有的三角形也都有外接圓,其圓心則稱為外心。在三角形的每一邊做垂直平分線可以得到一個交匯點,這點就是外心,如第十圖,其中圓心到三頂點的距離都會等長且等於圓的半徑,外心座標為O(x,y),其中
鑒於上述之發明背景,為了符合產業上的需求,本發明提供一種眼球定位方法及系統以解決目前產業上所面臨的問題,同時提升眼球定位方法及系統之技術。
本發明是以一種眼動儀適合所有的情況,要依照特定的需求來設計要使用的眼動儀,所以此系統設定了一些固定的條件,像是光源的強度、螢幕擺放位置及攝影機擺放位置,此系統沒有使用到紅外線LED燈去強化虹膜跟眼白交界處的差異,所以在後面使用了一些眼球的對稱特性去彌補系統在抓取眼球的不足處。系統在一開始就直接設定好關注區域(ROI;regions of interest),這樣就不需要再用其他方法尋找眼睛部位後再設定成ROI,造成系統上的不穩定,接下來對擷取到的影像進行灰階化處理,簡化ROI處的影像資訊,在獲取灰階化的資訊後,再對此灰階影像進行濾波減少不必要的雜訊,最後利用影像分割門檻化(Thresholding)的方式濾除不必要的資訊,再利用三點成單獨一圓的特性在虹膜邊界中劃出圓,並判斷這三點所畫出的圓是否合理,如果不合理捨去不用。
根據本發明之一目的提供一種眼球定位系統,該眼球定位系統包含:一顯示幕,該顯示幕係為提供受測者觀看用;一攝影機,該攝影機係為具可調式支撐棒連結在支架上;與一運算處理裝置,該算處理裝置係為用以藉由該攝影機接收一收錄影像,然後進行一設定關注區 域,係為從該收錄影像中依設定區域擷取一右擷取影像與左擷取影像,進行一灰階化將該右擷取影像與該左擷取影像變成一右單純影像與一左單純影像,進行一濾波將該右單純影像與該左單純影像的雜訊去除變成一右濾波影像與一左濾波影像,進行一二值化將該右濾波影像與該左濾波影像變成一右二值影像與一左二值影像,進行一虹膜中心估測,藉由該右二值影像與該左二值影像中取三點,分別形成三角形的外接圓,並推估出一右虹膜中心與一左虹膜中心,進行一螢幕注視點估測,藉由該右虹膜中心與該左虹膜中心兩者至少其中之一推估出螢幕注視點位置。
根據上述本發明之另一樣態,其中上述之眼球定位系統包含:一支架,該支架係為用以穩定受測者頭部。
根據上述本發明之另一樣態,其中上述之顯示幕係為接收與顯示該運算處理裝置提供之訊息,並且攝影機的解析度係為1280x720像素。
根據本發明之一目的提供一種眼球定位方法,該眼球定位方法包含:進行一開啟視訊,藉以接收一收錄影像;進行一設定關注區域,係為從該收錄影像中依設定區域擷取一右擷取影像與一左擷取影像;進行一灰階化,將該右擷取影像與該左擷取影像轉變成一右單純影像與一左單純影像;進行一濾波,將該右單純影像與該左單純影像的雜訊去除變成一右濾波影像與一左濾波影像;進 行一二值化,將該右濾波影像與該左濾波影像變成一右二值影像與一左二值影像;與進行一虹膜中心估測,藉由該右二值影像與該左二值影像中取三點,分別形成三角形的外接圓,並推估出一右虹膜中心與一左虹膜中心。
根據上述本發明之另一樣態,其中上述之眼球定位方法包含:進行一螢幕注視點估測,藉由該右虹膜中心與該左虹膜中心兩者至少其中之一位置推估出螢幕注視點位置。
根據上述本發明之另一樣態,其中上述之開啟視訊中接收之收錄影像係為(2000~800)x(1500~300)像素的解析度,其中,一組實施範例係為1280x720像素,並且,收錄影像係為一固定臉部之範圍。
根據上述本發明之另一樣態,其中上述之設定關注區域係為從該收錄影像中,直接設定一右關注區域與一左關注區域之大小以及之間的位置,然後依該右關注區域與該左關注區域之大小以及之間的位置,擷取該右擷取影像與該左擷取影像,其中,設定右關注區域與左關注區域固定大小為(600~120)x(300~60)像素,再配合鏡頭距離人臉的距離,依照每個人的不同再對鏡頭做調整至抓取到角膜緣,這個大小剛好不會把眉毛包含在裡面,在外圍也不會把鬢角框到,兩個關注區域之間也有一定的距離可把鼻梁排除在關注區域外面,在設定的過程中頭部係為 固定住。
根據上述本發明之另一樣態,其中上述之關注區域係為240x120像素。
根據上述本發明之另一樣態,其中上述該右擷取影像與該左擷取影像變成該右單純影像與該左單純影像。在該收錄影像資訊為全彩影像,經由Y=R×0.299+G×0.587+B×0.114式轉換為灰階資訊,只剩下亮度的資訊,其中Y代表亮度,RGB分別代表紅、綠與藍的色度大小,其中,一組實施範例係為轉換過後的亮度的資訊是從全黑的0到全白的255。
根據上述本發明之另一樣態,其中上述之該右單純影像與該左單純影像的雜訊,藉由式去除變成該右濾波影像與該左濾波影像。
根據上述本發明之另一樣態,其中上述之該右濾波影像與該左濾波影像,係為藉由大於一二值化門檻值呈現出一黑點,小於該二值化門檻值呈現出一白點,分別轉化成該右二值影像與該左二值影像。
根據上述本發明之另一樣態,其中上述之二值 化門檻值係為20。
根據上述本發明之另一樣態,其中上述之右二值影像尋找虹膜中心的方法如下面步驟:步驟一,從該右二值影像找到黑點最多的且最靠鼻子的垂直線係為一右第一垂直線;步驟二,從該右第一垂直線出發往鼻子側找到第一條白點最多的垂直線係為一右第二垂直線;步驟三,由該右第二垂直線往右耳朵側找到第一個黑點為一右第一確定點;步驟四,在右二值影像中最低之黑點為一右最低點;步驟五,利用該右第一確定點和該右最低點連線的中間點找到水平線係為一右第一水平線;步驟六,由該右第一水平線和該右第一垂直線的交點沿該右第一水平線往鼻子側找,終點為該右第一水平線和該右第二垂直線的交點,線上的最後一個黑點即為一右第二確定點;步驟七,再由該右第一水平線往該右二值影像右耳朵側移動找第一條白點最多的垂直線係為一右第三垂直線;步驟八,從該右第三垂直線往右二值影像鼻子側找到第一個黑點即為一右第三確定點;步驟九,由該右第一確定點、該右第二確定點及該右第三確定點所構成的一右三角形外接圓,其圓心即為一右虹膜中心。
根據上述本發明之另一樣態,其中上述之左二值影像尋找虹膜中心的方法如下面步驟:步驟一,從該左二值影像找到黑點最多的且最靠鼻子的一左第一垂直線;步 驟二,從該左第一垂直線出發往鼻子側找到第一條白點最多的垂直線係為一左第二垂直線;步驟三,由該左第二垂直線往左耳朵側找到第一個黑點為一左第一確定點;步驟四,在該左二值影像中最低之黑點為一左最低點;步驟五,利用該左第一確定點和該左最低點連線的中間點找到水平線係為一左第一水平線;步驟六,由該左第一水平線和該右第一垂直線的交點沿該左第一水平線往鼻子側找,終點為該左第一水平線和該左第二垂直線的交點,線上的最後一個黑點即為一左第二確定點;步驟七,再由該左第一水平線往該左二值影像左耳朵側移動找到第一條白點最多的垂直線係為一左第三垂直線;步驟八,從該左第三垂直線往該左二值影像鼻子側找到該第一個黑點即為一左第三確定點;步驟九,由該左第一確定點、該左第二確定點及該左第三確定點所構成的一左三角形外接圓,其圓心即為一左虹膜中心。
根據上述本發明之另一樣態,其中上述之右三角形外接圓該與左三角形外接圓的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行設定關注區域。
根據上述本發明之另一樣態,其中上述之右三角形外接圓與該左三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,然後進行一螢幕注視點估測。
根據上述本發明之另一樣態,其中上述之右三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,並且該左三角形外接圓的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行一左映射補償;該左映射補償之步驟如下:步驟一,計算該右虹膜中心點的垂直方向位置與該右第一確定點的垂直方向位置之差值為一右垂直差距;步驟二,計算該右虹膜中心點的水平方向位置與該右第一確定點的水平方向位置之差值為一右水平差距;步驟三,以該左第一確定點的垂直方向位置為出發點移動該右垂直差距,再往左耳朵側移動該右水平差距即可得到一推估左虹膜中心。
根據上述本發明之另一樣態,其中上述之左三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,並且該右三角形外接圓的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行一右映射補償;該右映射補償之步驟如下:步驟一,計算該左虹膜中心點的垂直方向位置與該左第一確定點的垂直方向位置之差值為一左垂直差距;步驟二,計算該左虹膜中心點的水平方向位置與該左第一確定點的水平方向位置之差值為一左水平差距;步驟三,以該右第一確定點的垂直方向位置為出發點移動該左垂直差距,再往右耳朵側移動該左水平差距即可得到一推估右虹膜中心。
根據上述本發明之另一樣態,其中上述之螢幕注視點估測,藉由一種線性放大法,利用該右虹膜中心與該左虹膜中心至少其中之一位置推估出螢幕注視點位置。
根據上述本發明之另一樣態,其中上述之線性放大法,係為藉由預先量測出一虹膜中心觀看螢幕四邊之定點時,該虹膜中心之位置與該螢幕四邊之定點位置之關係,再藉此由其他該虹膜中心之位置,推估觀看螢幕中所在位置。
100‧‧‧眼球定位方法
110‧‧‧開啟視訊
120‧‧‧設定關注區域(ROI)
130‧‧‧灰階化
140‧‧‧濾波
150‧‧‧二值化
160‧‧‧虹膜中心估測
164L‧‧‧左映射補償
164R‧‧‧右映射補償
170‧‧‧螢幕注視點估測
210‧‧‧收錄影像
120R‧‧‧右關注區域
120L‧‧‧左關注區域
220R‧‧‧右擷取影像
220L‧‧‧左擷取影像
230R‧‧‧右單純影像
230L‧‧‧左單純影像
240R‧‧‧右濾波影像
240L‧‧‧左濾波影像
250R‧‧‧右二值影像
250L‧‧‧左二值影像
311R‧‧‧右第一垂直線
312R‧‧‧右第二垂直線
313R‧‧‧右第三垂直線
321R‧‧‧右第一水平線
331R‧‧‧右第一確定點
332R‧‧‧右第二確定點
333R‧‧‧右第三確定點
334R‧‧‧右虹膜中心
335R‧‧‧右三角形外接圓
336R‧‧‧推估右虹膜中心點
341R‧‧‧右最低點
311L‧‧‧左第一垂直線
312L‧‧‧左第二垂直線
313L‧‧‧左第三垂直線
321L‧‧‧左第一水平線
331L‧‧‧左第一確定點
332L‧‧‧左第二確定點
333L‧‧‧左第三確定點
334L‧‧‧左虹膜中心
335L‧‧‧左三角形外接圓
336L‧‧‧推估左虹膜中心點
341L‧‧‧左最低點
351R‧‧‧右垂直差距
352R‧‧‧右水平差距
351L‧‧‧左垂直差距
352L‧‧‧左水平差距
400‧‧‧眼球定位系統
405‧‧‧支架
407‧‧‧顯示幕
410‧‧‧攝影機
420‧‧‧運算處理裝置
第一圖係為角膜緣(Limbus)示意圖;第二圖係為眼電圖法裝置示意圖;第三圖(a)係為搜尋線圈法示意圖;第三圖(b)係為近紅外線LED燈反射後所呈現的影像;第四圖係為利用霍夫圓偵測進行虹膜邊界偵測的結果,(a)右眼(b)左眼;第五圖係為遮罩示意圖;第六圖係為增強濾波器之運算遮罩,(a)基本高通空間濾波之遮罩(b)高頻加強濾波器之遮罩;第七圖係為梯度分量之運算遮罩,(a)行方向,(b)列方向; 第八圖係為平均濾波器之運算遮罩;第九圖係為二值化概念圖;第十圖係為三角形的外接圓及外心;第十一圖係為本發明之一較佳實施方法之步驟流程圖;第十二圖係為本發明之一較佳實施方法,直接在擷取的影像中設定固定的ROI示意圖;第十三圖係為本發明之一較佳實施方法,所使用的濾波器,(a)右眼濾波器(b)左眼濾波器;第十四圖係為本發明之一較佳實施方法,使用濾波器的效果,(a)右眼的灰階影像(b)濾波後的影像;第十五圖係為本發明之一較佳實施方法,二值化的效果。(a)濾波後的影像(b)二值化後的影像;第十六圖係為本發明之一較佳實施方法,右二值影像尋找虹膜中心的方法的示意圖;第十七圖係為本發明之一較佳實施方法,由右二值影像尋找虹膜中心的方法所構成的右眼虹膜中心估測點的示意圖;第十八圖係為本發明之一較佳實施方法,左二值影像尋找虹膜中心的方法的示意圖;第十九圖係為本發明之一較佳實施方法,由左二值影像尋找虹膜中心的方法所構成的做眼虹膜中心估測點的示意圖; 第二十圖係為本發明之一較佳實施方法,左映射補償的方法的示意圖;第二十一圖係為本發明之一較佳實施方法,右映射補償的方法的示意圖;第二十二圖係為本發明之一較佳實施方法,邊界點圖的示意圖;與第二十三圖係為本發明之一較佳實施方法,測試擷取成功率的螢幕上五點圖的分佈位置的示意圖;與第二十四圖係為本發明之一較佳實施系統的示意圖。
第二十五圖係為本發明之一較佳實施系統的示意圖。
本發明在此所探討的是一種眼球定位方法及系統。為了能徹底地瞭解本發明,將在下列的描述中提出詳盡的原料、步驟和應用。顯然地,本發明的施行並未限定於該領域之技藝者所熟習的特殊細節。另一方面,眾所周知的原料或步驟並未描述於細節中,以避免造成本發明不必要之限制。本發明的範例會詳細描述如下,然而除了這些詳細描述之外,本發明還可以廣泛地施行在其他的範例中,且本發明的範圍不受限定,其以之後的專利範圍為準。
根據本發明之一較佳實施例,如第十一圖所示,本發明提供一眼球定位方法100,眼球定位方法100包含:進行一開啟視訊110,藉以接收一收錄影像210,然後進行一設定關注區域(ROI)120,係為從收錄影像210中依設定區域擷取一右擷取影像220R與左擷取影像220L,進行一灰階化130把右擷取影像220R與左擷取影像220L變成一右單純影像230R與一左單純影像230L,進行一濾波140把一右單純影像230R與一左單純影像230L的雜訊去除變成一右濾波影像240R與一左濾波影像240L,進行一二值化150把一右濾波影像240R與一左濾波影像240L變成一 右二值影像250R與一左二值影像250L。進行一虹膜中心估測160,藉由右二值影像250R與左二值影像250L中分別取三點,分別形成三角形的外接圓,並推估出一右虹膜中心334R與一左虹膜中心334L,進行一螢幕注視點估測170,藉由一右虹膜中心與一左虹膜中心兩者至少其中之一推估出螢幕注視點。
根據上述之實施例,其中,開啟視訊110中接收之收錄影像210係為(2000~800)x(1500~300)像素的解析度,其中,一組實施範例係為1280x720像素。並且,收錄影像210係為一固定臉部之範圍。
根據上述之實施例,其中,設定關注區域120係為從收錄影像210中,直接設定一右關注區域120R與一左關注區域120L之大小以及之間的位置,然後依右關注區域120R與左關注區域120L之大小以及之間的位置,擷取一右擷取影像220R與左擷取影像220L,其中,設定右關注區域120R與左關注區域120L固定大小為(600~120)x(300~60)像素,如第十二圖,再配合鏡頭距離人臉的距離,依照每個人的不同再對鏡頭做調整至抓取到角膜緣。這個大小剛好不會把眉毛包含在裡面,在外圍也不會把鬢角框到,兩個ROI之間也有一定的距離可把鼻梁排除在ROI外面。在設定的過程中因為頭部是固定住的,所以在只要把眼部區域放進ROI裡就可以確定只在眼睛固定的周圍區域 做處理。其中,一組實施範例係為240x120像素。
根據上述之實施例,其中,進行一灰階化130把右擷取影像220R與左擷取影像220L變成一右單純影像230R與左單純影像230L。在攝影機擷取的影像資訊為全彩影像,也就是由紅藍綠三種顏色所組成的影像,但為了減少運算時間跟運算量,本方法把彩色資訊經由(2-1)式轉換為灰階資訊,也就是只剩下亮度的資訊,其轉換過後的強度值是從全黑的0到全白的255。
Y=R×0.299+G×0.587+B×0.114 (2-1)
根據上述之實施例,其中,進行一濾波140把右單純影像230R與左單純影像230L的雜訊去除變成一右濾波影像240R與左濾波影像240L,如第十三圖所示,其中第十三圖(a)右眼濾波器(b)左眼濾波器。每個人的虹膜形狀都接近圓形,所以此濾波器適用於絕大部分的人。因為攝影機位置在雙眼中間靠近眉心的前方,所以濾波器設計用來去除皮膚及加強虹膜內側邊緣的完整性。濾波前的影像如第十四(a)圖,濾波完後的影像如第十四(b)圖,其中保留了虹膜內緣和部分的外緣資料。
根據上述之實施例,其中,進行一二值化150把右濾波影像240R與左濾波影像240L分別轉化成二維座標圖像一右二值影像250R與左二值影像250L,從濾波完後的圖中可以看到大部份的皮膚都被濾波器濾掉了,只剩下 虹膜部分,且中間有一些因為反光的關係造成影像破損,所以在本方法中使用二值化門檻值T0,大於二值化門檻值T0呈現出一黑點,小於於二值化門檻值T0呈現出一白點,其中,一組實施範例係為利用下面(2-2)式把所有不是純白色的像素凸顯成全黑,如第十五圖所示(a)濾波後的影像(b)二值化後的影像,其中,一組實施範例係為二值化門檻值20。
根據上述之實施例,其中,進行一虹膜中心估測170,藉由右二值影像250R與左二值影像250L中取三點,形成三角形的外接圓,推估出一虹膜中心。
根據上述之實施例,其中,如第十六圖與第十七圖所示所示,右二值影像250R尋找虹膜中心的方法如下面步驟:
步驟一,從右二值影像250R找到黑點最多的(黑點最多係為像素值總和最低)且最靠鼻子的一右第一垂直線311R。
步驟二,從右第一垂直線311R出發往鼻子側找到第一條白點最多的一右第二垂直線312R,其中,一組實施範例係為像素值全為255的一右第二垂直線312R。
步驟三,由右第二垂直線312R往耳朵側找到 第一個黑點為一右第一確定點331R。
步驟四,在右二值影像250R中最低之黑點為一右最低點341R。
步驟五,利用右第一確定點331R和右最低點341R連線的中間點找到水平線一右第一水平線321R。
步驟六,由右第一水平線321R和右第一垂直線311R的交點沿右第一水平線321R往鼻子側找,終點為右第一水平線321R和右第二垂直線312R的交點,線上的最後一個黑點即為一右第二確定點332R。
步驟七,再由右第一水平線321R往右二值影像250R耳朵側移動找到第一條白點最多的垂直線一右第三垂直線313R,其中,一組實施範例係為像素值全為255的垂直線一右第三垂直線313R。
步驟八,從右第三垂直線313R往右二值影像250R鼻子側找到第一個黑點即為一右第三確定點333R。
步驟九,由右第一確定點331R、右第二確定點332R及右第三確定點333R所構成的一右三角形外接圓335R,其圓心即為一右虹膜中心334R。
根據上述之實施例,其中,如第十八圖與第十九圖所示所示,左二值影像250L尋找虹膜中心的方法如下面步驟:
步驟一,從左二值影像250L找到全黑的(全黑係為像素值總和最低)且最靠鼻子的一左第一垂直線311L。
步驟二,從左第一垂直線311L出發往鼻子側找到第一條白點最多的一左第二垂直線312L,其中,一組實施範例係為像素值全為255的一左第二垂直線312L。
步驟三,由左第二垂直線312L往耳朵側找到第一個黑點為一左第一確定點331L。
步驟四,在左二值影像250L中最低之黑點為一左最低點341L。
步驟五,利用左第一確定點331L和左最低點341L連線的中間點找到水平線一左第一水平線321L。
步驟六,由左第一水平線321L和右第一垂直線311L的交點沿左第一水平線321L往鼻子側找,終點為左第一水平線321L和左第二垂直線312L的交點,線上的最後一個黑點即為一左第二確定點332L。
步驟七,再由左第一水平線321L往左二值影像250L耳朵側移動找到第一條白點最多的垂直線一左第三垂直線313L,其中,一組實施範例係為像素值全為255的垂直線一左第三垂直線313L。
步驟八,從左第三垂直線313L往左二值影像250L鼻子側找到第一個黑點即為一左第三確定點333L。
步驟九,由左第一確定點331L、左第二確定點332L及左第三確定點333L所構成的一左三角形外接圓335L,其圓心即為一左虹膜中心334L。
根據上述之實施例,其中,右三角形外接圓335R與左三角形外接圓335L的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行設定關注區域(ROI)120。
根據上述之實施例,其中,一組實施範例係為右三角形外接圓335R與左三角形外接圓335L的半徑大於關注區域之寬度240像素的三分之一,然後進行設定關注區域(ROI)120。
根據上述之實施例,其中,右三角形外接圓335R與左三角形外接圓335L的半徑小於關注區域之寬度(600~120)像素的三分之一,然後進行一螢幕注視點估測170。
根據上述之實施例,其中,一組實施範例係為右三角形外接圓335R與左三角形外接圓335L的半徑小於關注區域之寬度240像素的三分之一,然後進行一螢幕注視點估測170。
根據上述之實施例,其中,右三角形外接圓335R的半徑小於關注區域之寬度(600~120)像素的三分之一,並且左三角形外接圓335L的半徑大於關注區域之寬度 (600~120)像素的三分之一,然後進行一左映射補償164L。
根據上述之實施例,其中,一組實施範例係為右三角形外接圓335R的半徑小於關注區域之寬度240像素的三分之一,並且左三角形外接圓335L的半徑大於關注區域之寬度240像素的三分之一,然後進行一左映射補償164L。
根據上述之實施例,其中,左三角形外接圓335L的半徑小於關注區域之寬度(600~120)像素的三分之一,並且右三角形外接圓335R的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行一右映射補償164R。
根據上述之實施例,其中,一組實施範例係為左三角形外接圓335L的半徑小於關注區域之寬度240像素的三分之一,並且右三角形外接圓335R的半徑大於關注區域之寬度240像素的三分之一,然後進行一右映射補償164R。
根據上述之實施例,其中,如第二十圖,左映射補償164L之步驟如下:
步驟一,計算右虹膜中心點334R的垂直方向位置與右第一確定點331R的垂直方向位置之差值為一右垂直差距351R。
步驟二,計算右虹膜中心點334R的水平方向位置與右第一確定點331R的水平方向位置之差值為一右水 平差距352R。
步驟三,以左第一確定點331L的垂直方向位置為出發點移動該右垂直差距351R,再往左耳朵側移動該右水平差距352R即可得到一推估左虹膜中心點336L。
步驟四,以推估左虹膜中心點336L到左第一確定點331L的距離為半徑畫圓即可得到推估的左眼虹膜邊界。
根據上述之實施例,其中,如第二十一圖,右映射補償164R之步驟如下:
步驟一,計算左虹膜中心點334L的垂直方向位置與左第一確定點331L的垂直方向位置之差值為一左垂直差距351L。
步驟二,計算左虹膜中心點334L的水平方向位置與左第一確定點331L的水平方向位置之差值為一左水平差距352L。
步驟三,以右第一確定點331R的垂直方向位置為出發點移動該左垂直差距351L,再往右耳朵側移動該左水平差距352L即可得到一推估右虹膜中心點336R。
步驟四,以推估右虹膜中心點336R到右第一確定點331R的距離為半徑畫圓即可得到推估的右眼虹膜邊界。
根據上述之實施例,其中,進行一螢幕注視點 估測170,藉由一種線性放大法,利用虹膜中心之位置推估出螢幕注視點。
根據上述之實施例,其中上述之線性放大法,係為一藉由預先量測出一虹膜中心觀看螢幕四邊之定點時,該虹膜中心之位置與該螢幕四邊之定點之關係,再藉此由其他該虹膜中心之位置,推估觀看螢幕中所在位置。
根據上述之實施例,其中,上述之線性放大法係為在螢幕中顯示如第二十二圖所示的幾個注視取樣點,一組實施範例係為假定所考慮的螢幕大小為1280x720像素。在雙眼觀看最上邊界(8號位置)和最下邊界(2號位置)時,記錄虹膜中心座標分別為P p8(x p8 ,y p8)和P p2(x p2 ,y p2),並計算8號和2號y座標的虹膜中心像素差值,這邊稱為Δy;接著觀看最左邊界(4號位置)和最右邊界(6號位置)時,記錄虹膜中心座標分別為P p4(x p4 ,y p4)和P p6(x p6 ,y p6),並計算4號和6號x座標的虹膜中心像素差值,這邊稱為Δx;最後在觀看中間點時也記錄下虹膜中心座標P c (x c ,y c )。接著利用(2-3)式和(2-4)式計算換算比例,再以(2-5)和(2-6)式分別換算出眼睛視線落點P'(x',y')和對應的虹膜中心P(x,y)之間的x座標與y座標之間的關係。
其中R x 為水平方向的換算率,R y 為垂直方向的換算率。
根據上述之一組實施範例虹膜邊界偵測成功率如下分別說明。
根據本發明之另一較佳實施例,如第二十四圖所示,本發明提供一眼球定位系統400,眼球定位系統400包含:一支架405,該支架405係為穩定受測者頭部。一顯示幕407,該顯示幕407係為提供受測者觀看用。一攝影機410,該攝影機410係為具可調式支撐棒連結在支架405上。一運算處理裝置420,該算處理裝置420係為用以藉由該攝影機410接收一收錄影像210,然後進行一設定關注區域(ROI)120,係為從收錄影像210中依設定區域擷取一右擷取影像220R與左擷取影像220L,進行一灰階化130把右擷取影像220R與左擷取影像220L變成一右單純影像230R與一左單純影像230L,進行一濾波140把一右單純影像230R與一左單純影像230L的雜訊去除變成一右濾波影像240R與一左濾波影像240L,進行一二值化150把一右 濾波影像240R與一左濾波影像240L變成一右二值影像250R與一左二值影像250L。進行一虹膜中心估測170,藉由一右二值影像250R與一左二值影像250L中取三點,分別形成三角形的外接圓,並推估出一右虹膜中心334R與一左虹膜中心334L,進行一螢幕注視點估測170,藉由一右虹膜中心與一左虹膜中心兩者至少其中之一推估出螢幕注視點。
根據上述之一組實施範例,支架405利用放置在下巴位置的水平儀,調整支架405下方四個支撐腳的高低,就可讓支撐頭部的橫桿達到水平,如第二十五圖所示。在實驗前可以依照受測者覺得舒適的高度再配合椅子跟螢幕進行調整。
偵測成功的定義為兩眼都有虹膜邊界,包含一眼成功擷取另一眼用映射補償法去推估,也就是兩眼都有中心點的座標資訊。(2-7)式用來計算出成功率S 1
受測者為五人,在距離螢幕50公分處觀看螢幕上的五個點,每個人每秒抓取10幀,每點抓取10秒,5點總共會有500幀,實驗計算方式會排除受測者閉眼時的影像,所以有效的影像總數有可能小於500幀。在1280x720大小的螢幕上的五個點如第二十三圖所示,每個受測者在 各點的成功率呈現在表1中。實驗結果顯示,五位受測者中有兩位在有效的影像中的所有影像都有兩隻眼睛的數據,也就是100%的偵測成功率,包含擷取眼和映射補償眼。另外三位受測者中,扣除掉閉眼時的影像計算為無效的影像外,沒有數據的影像都發生在看左邊點跟右邊點時,但成功率都有在96%以上。此外,每位受測者注視各點的平均成功率也都在99%以上。若以每一點為單位來分析時,各點也都有97%以上的成功機率。以總體來計算,也就是以所有的有效影像來計算,成功率也都達到99.75%。偵測失敗的可能原因為閉眼過程中造成微量的殘影,且眼睛在擷取的影像中眼皮是張開比較多的情況,殘影經過前處理後虹膜呈現較多破損,造成偵測失敗。
雙眼皆擷取到的成功率,在實驗中會有三種結果產生,第一種為兩隻眼睛都各自成功擷取到虹膜邊界,這就是本段所要呈現的結果,第二種為一隻眼睛成功擷取,第二隻眼睛用映射補償的方式去推算出虹膜邊界在哪裡,第三種為都沒有擷取到任何一隻眼睛。實驗是用上一節所使用的五點圖,以(8)式計算成功擷取率,表2為五位受測者的測試結果。
可以看到五位受測者在不同位置上都有一些失敗的情況,總體來說失敗集中在注視左邊點和右邊點時,但最低也有87%的成功率,最高則為100%。每位受測者在五個點上的平均也都有96%以上的成功擷取率,每個點分別來看也有95%以上的成功率,總體來算也可達98.39%的成功擷取率。一隻眼睛失敗的可能原因為受測者雙眼未達到水平,造成其中一眼睫毛的陰影和眼睛內角或外角的雜訊連在一起造成不合理的情況導致偵測失敗。
出現映射補償眼的機率,這一節所要呈現的是一隻眼擷取成功,另一隻眼用映射補償的方式去推估虹膜邊界時的機率。受測者為五人,利用五點圖做實驗,機率P的計算方式如(2-9)式,結果呈現在表3中。
這一節為出現映射補償眼的機率,可以跟上面兩小節相互呼應。當一隻眼成功擷取,另一隻眼沒被擷取到時就會產生映射補償眼。數據顯示也都集中在左邊點和右邊點,最高機率13%發生在當4號受測者看下面的點時,這是因為該受測者的眼睫毛比較長,加上鏡頭擺放位置的關係,在往下看時上眼皮會自然往下移動,導致陰影的部分比較多而產生不合理的虹膜大小出現,所以就以映射補償的方式替代。每一位受測者產生映射補償眼的機率都在4%以下。以每個點來看,扣除掉4號和5號受測者後,最高和次高機率發生在左眼和右眼,這是因為攝影機擺放位置為眉心前方,當往左或往右看時一定會有一隻眼睛遠離攝影機,遠離攝影機的這隻眼睛就比較可能會產生映射補償作用,但以每一點來看最高的機率也都在4%以下,最後 以全部有效幀數來計算,得到有1.35%的機率會產生映射補償眼。
視線落點估測的準確性,視線落點的估測是利用雙眼ROI的座標資訊相加後除以二再以線性放大法映射到螢幕上,一樣是用五點圖去做實驗,並利用(2-12)式和(2-13)式計算映射點座標跟測試點座標的水平誤差和垂直誤差。表4為五位受測者觀看五個測試點的平均誤差,每一個測試點在受測者自行確定專心注視後紀錄10次觀看的座標,再以此10筆數據做計算。
其中H 6 為水平誤差,V 6 為垂直誤差。結果分別顯示於表4與表5 中。
表4顯示水平方向的誤差,其中可以發現左邊點和右邊點的誤差比較大,平均接近7%,而在上下點的誤差是4%左右,當眼睛看左或看右時x座標的變動是比較劇烈的,y座標比較不會變動,所以在計算水平誤差時會比較大。表5顯示垂直方向的誤差,可以發現大部分是上下點的誤差比較大,平均為4%到6%,而左右點是3%以內,當眼睛看上或下時y座標的變化比較劇烈,x座標比較不會改變,所以看上下點時垂直誤差會比較大。整體水平方向的平均誤差為4.5%,垂直方向平均誤差為3.5%。
接下來的視線落點是以單眼ROI的資訊做實驗,並分成左眼和右眼,分別以1280x720的長方形五點圖和720x720的正方形五點圖做對照,再分別計算出水平誤差和垂直誤差。結果分別顯示於表6到表13中。
表6和表7的實驗差別在於觀察的視窗是長方形或是正方形,皆以右眼的座標資訊做視線落點實驗並計算其水平誤差。其中可以發現在表6中觀看右邊點時誤差明顯變比較大,這是因為看右邊點時鏡頭離右眼的外緣是最遠的,造成在外緣變形比較多,映射到螢幕上的誤差也變比較大,而最小的誤差在看中間點時出現,這是因為在做線性放大法時需要以中間點當基礎點往四周去做計算,矯正時就有在中間點做紀錄,所以誤差較小。表7是以正方形五點圖做實驗,也是在看右邊點時的水平誤差比較大,但比起觀看長方形五點圖右邊點的誤差時也降低了一些,這是因為正方形的右邊點比起長方形的右邊點要來的 靠近左側,也就是攝影機在虹膜外緣所擷取到的資料會比較完整一些。最小的誤差也是出現在觀看中間點的時候,這也是因為校正時就有看中間點做校正,在實驗中觀看中間點的誤差就會比較小一些。
表8和表9的差別在於觀察的視窗是長方形的或正方形的,實驗皆以右眼資訊做視線落點偵測,計算其垂直誤差。在長方形五點圖中可以看到誤差值最大的落在上點和下點,正方形五點圖也有一樣的結果,這是因為在長方形跟正方形五點圖中這兩點是在同一個位置,跟寬是沒有關係的,而在左邊點和右邊點的垂直誤差可以觀察出長方形跟正方形五點圖有差不多的結果,這是因為在看左邊點跟右邊點時水平座標變動會比較大,垂直座標的變動比較微小,所以差距並不大。而誤差最小皆落在中間點,因為長方形跟正方形五點圖都要在中間點做校正,也會是落點誤差最小的點。
表10和表11是用左眼的座標資訊觀看長方形和正方形五點圖注視落點的水平誤差,在表10和表11誤差最大皆落在看左邊點時發生,但正方形五點圖又比長方形五點圖的誤差來的小1個百分點,有這些變化是因為正方形五點的的左邊點位置會比長方形五點圖的左邊點更靠近中間,在用右眼座標資訊做落點實驗時也有相同的推論。而有些誤差最小的落在觀看上點或下點,這是因為在觀看這兩點時水平方向的移動量不大所造成,但平均誤差最小的皆落在觀看中間點時。
表12和表13是注視落點在長方形五點圖和正方形五點圖的垂直誤差,可以觀察到兩個表的最大誤差出現在觀看上點跟下點時,這是因為這兩個點在兩種五點圖的位置是一樣的,且在觀看上點跟下點時的垂直座標移動比較劇烈,水平座標幾乎不太有變動,而在觀看左邊點跟右邊點的垂直誤差兩表的結果是差不多的,因為在觀看這兩點時變動比較劇烈的是水平座標,垂直座標變動較小, 最小誤差皆落在觀看中間點時發生。
表14為異色邊界法和三點測圓法的誤差比較表。異色邊界法需以手動的人工方式在異色邊界靠近虹膜 部分點選六個像素並取最大的像素值為參數,接著也是以人工方式在異色邊界靠近眼白的部分點選六個像素並取像素值最小的為參數,再以此兩個參數設為閥值去做異色邊界和眼白及虹膜的分水嶺,最後找出虹膜區域後取座標重心當作虹膜中心點,且每個受測者皆需要點選後產生屬於自己的參數。本發明所提出的三點測圓法完全以自動的方式即可偵測出角膜緣,對於不同受測者的虹膜進行偵測皆可使用三點測圓法。在論文[王俊雄,使用CCD影像之快速視向偵測系統及肢障人機介面應用,國立清華大學電機工程學系研究所碩士論文,1998]中以異色邊界法所得的實驗結果顯示平均水平誤差為19.1%,平均垂直誤差為18.3%,而三點測圓法所得的實驗結果顯示平均水平誤差為4.5%,平均垂直誤差為3.5%。在實驗方法上,異色邊界法和三點測圓法都是以攝影機直接擷取臉部影像,此外,異色邊界法是以身體倚靠椅背固定後進行實驗,而三點測圓法是使用架子固定住頭部後進行,最後也都使用線性放大法進行注視落點估測。但要注意兩者中所用實驗的影像並不相同,螢幕大小也不同,故結果僅供參考,不代表公平的實際差距。雖然如此,但大致可看出本文所提方法的優異表現。
表14.本文所提方法與另一方法所得平均誤差的比較。
綜上所述,本發明之眼球定位方法及系統,較目前市面上產品偵測率高,本發明改善了舊有眼球定位方法及系統之缺點,具有明顯之市場價值。顯然地,依照上面實施例中的描述,本發明可能有許多的修正與差異。因此需在其附加的權利請求項之範圍內加以理解,除上述詳細描述外,本發明還可以廣泛地在其他的實施例中施行。上述僅為本發明之較佳實施例而已,並非用以限定本發明之申請專利範圍;凡其它未脫離本發明所揭示之精神下所完成的等效改變或修飾,均應包含在下述申請專利範圍內。
100‧‧‧眼球定位方法
110‧‧‧開啟視訊
120‧‧‧設定關注區域
130‧‧‧灰階化
140‧‧‧濾波
150‧‧‧二值化
160‧‧‧虹膜中心估測
164L‧‧‧左映射補償
164R‧‧‧右映射補償
170‧‧‧螢幕注視點估測

Claims (20)

  1. 一種眼球定位系統,該眼球定位系統包含:一顯示幕,該顯示幕係為提供受測者觀看用;一攝影機,該攝影機係為具可調式支撐棒連結在支架上;與一運算處理裝置,該算處理裝置係為用以藉由該攝影機接收一收錄影像,然後進行一設定關注區域,係為從該收錄影像中依設定區域擷取一右擷取影像與左擷取影像,進行一灰階化將該右擷取影像與該左擷取影像變成一右單純影像與一左單純影像,進行一濾波將該右單純影像與該左單純影像的雜訊去除變成一右濾波影像與一左濾波影像,進行一二值化將該右濾波影像與該左濾波影像變成一右二值影像與一左二值影像,進行一虹膜中心估測,藉由該右二值影像與該左二值影像中取三點,分別形成三角形的外接圓,並推估出一右虹膜中心與一左虹膜中心,進行一螢幕注視點估測,藉由該右虹膜中心與該左虹膜中心兩者至少其中之一推估出螢幕注視點位置。
  2. 根據申請專利範圍第1項之眼球定位系統,其中上述之眼球定位系統包含:一支架,該支架係為用以穩定受測者頭部。
  3. 一種眼球定位方法,該眼球定位方法包含:進行一開啟視訊,藉以接收一收錄影像;進行一設定關注區域,係為從該收錄影像中依設定區域擷取一右擷取影像與一左擷取影像;進行一灰階化,將該右擷取影像與該左擷取影像轉變成一右單純影像與一左單純影像;進行一濾波,將該右單純影像與該左單純影像的雜訊去除變成一右濾波影像與一左濾波影像;進行一二值化,將該右濾波影像與該左濾波影像變成一右二值影像與一左二值影像;與進行一虹膜中心估測,藉由該右二值影像與該左二值影像中取三點,分別形成三角形的外接圓,並推估出一右虹膜中心與一左虹膜中心。
  4. 根據申請專利範圍第3項之眼球定位方法,其中上述眼球定位方法包含:進行一螢幕注視點估測,藉由該右虹膜中心與該左虹膜中心兩者至少其中之一位置推估出螢幕注視點位置。
  5. 根據申請專利範圍第3項之眼球定位方法,其中上述之開啟視訊中接收之收錄影像係為(2000~800)x(1500~300)像 素的解析度,其中,一組實施範例係為1280x720像素,並且,收錄影像係為一固定臉部之範圍。
  6. 根據申請專利範圍第3項之眼球定位方法,其中上述之設定關注區域係為從該收錄影像中,直接設定一右關注區域與一左關注區域之大小以及之間的位置,然後依該右關注區域與該左關注區域之大小以及之間的位置,擷取該右擷取影像與該左擷取影像,其中,設定右關注區域與左關注區域固定大小為(600~120)x(300~60)像素,再配合鏡頭距離人臉的距離,依照每個人的不同再對鏡頭做調整至抓取到角膜緣,這個大小剛好不會把眉毛包含在裡面,在外圍也不會把鬢角框到,兩個關注區域之間也有一定的距離可把鼻梁排除在關注區域外面,在設定的過程中頭部係為固定住。
  7. 根據申請專利範圍第3項之眼球定位方法,其中該右擷取影像與該左擷取影像變成該右單純影像與該左單純影像。 在該收錄影像資訊為全彩影像,經由Y=R×0.299+G×0.587+B×0.114式轉換為灰階資訊,只剩下亮度的資訊,其中Y代表亮度,RGB分別代表紅、綠與藍的色度大小,其中,一組實施範例係為轉換過後的 亮度的資訊是從全黑的0到全白的255。
  8. 根據申請專利範圍第3項之眼球定位方法,其中上述之該右單純影像與該左單純影像的雜訊,藉由式去除變成該右濾波影像與該左濾波影像。
  9. 根據申請專利範圍第3項之眼球定位方法,其中上述之該右濾波影像與該左濾波影像,係為藉由大於一二值化門檻值呈現出一黑點,小於該二值化門檻值呈現出一白點,分別轉化成該右二值影像與該左二值影像。
  10. 根據申請專利範圍第3項之眼球定位方法,其中上述之二值化門檻值係為20。
  11. 根據申請專利範圍第3項之眼球定位方法,其中上述之右二值影像尋找虹膜中心的方法如下面步驟:步驟一,從該右二值影像找到黑點最多的且最靠鼻子的垂直線係為一右第一垂直線;步驟二,從該右第一垂直線出發往鼻子側找到第一條白點最多的垂直線係為一右第二垂直線;步驟三,由該右 第二垂直線往右耳朵側找到第一個黑點為一右第一確定點;步驟四,在右二值影像中最低之黑點為一右最低點;步驟五,利用該右第一確定點和該右最低點連線的中間點找到水平線係為一右第一水平線;步驟六,由該右第一水平線和該右第一垂直線的交點沿該右第一水平線往鼻子側找,終點為該右第一水平線和該右第二垂直線的交點,線上的最後一個黑點即為一右第二確定點;步驟七,再由該右第一水平線往該右二值影像右耳朵側移動找到第一條白點最多的垂直線係為一右第三垂直線;步驟八,從該右第三垂直線往右二值影像鼻子側找到第一個黑點即為一右第三確定點;步驟九,由該右第一確定點、該右第二確定點及該右第三確定點所構成的一右三角形外接圓,其圓心即為一右虹膜中心。
  12. 根據申請專利範圍第3項之眼球定位方法,其中上述之左二值影像尋找虹膜中心的方法如下面步驟:步驟一,從該左二值影像找到黑點最多的且最靠鼻子的一左第一垂直線;步驟二,從該左第一垂直線出發往鼻子側找到第一條白點最多的垂直線係為一左第二垂直線;步驟三,由該左第二垂直線往左耳朵側找到第一個黑點為一左第一確定點;步驟四,在該左二值影像中最低之黑點為一左最低點;步驟五,利用該左第一確定點和該左最低點連線的中間點找到水平線係為一左第一水平線;步驟六,由該左第一水平線 和該右第一垂直線的交點沿該左第一水平線往鼻子側找,終點為該左第一水平線和該左第二垂直線的交點,線上的最後一個黑點即為一左第二確定點;步驟七,再由該左第一水平線往該左二值影像左耳朵側移動找到第一條白點最多的垂直線係為一左第三垂直線;步驟八,從該左第三垂直線往該左二值影像鼻子側找到該第一個黑點即為一左第三確定點;步驟九,由該左第一確定點、該左第二確定點及該左第三確定點所構成的一左三角形外接圓,其圓心即為一左虹膜中心。
  13. 根據申請專利範圍第3項之眼球定位方法,其中上述之右三角形外接圓該與左三角形外接圓的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行設定關注區域。
  14. 根據申請專利範圍第3項之眼球定位方法,其中上述之右三角形外接圓與該左三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,然後進行一螢幕注視點估測。
  15. 根據申請專利範圍第3項之眼球定位方法,其中上述之右三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,並且該左三角形外接圓的半徑大於關注區域 之寬度(600~120)像素的三分之一,然後進行一左映射補償;該左映射補償之步驟如下:步驟一,計算該右虹膜中心點的垂直方向位置與該右第一確定點的垂直方向位置之差值為一右垂直差距;步驟二,計算該右虹膜中心點的水平方向位置與該右第一確定點的水平方向位置之差值為一右水平差距;步驟三,以該左第一確定點的垂直方向位置為出發點移動該右垂直差距,再往左耳朵側移動該右水平差距即可得到一推估左虹膜中心。
  16. 根據申請專利範圍第3項之眼球定位方法,其中上述之左三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,並且該右三角形外接圓的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行一右映射補償;該右映射補償之步驟如下:步驟一,計算該左虹膜中心點的垂直方向位置與該左第一確定點的垂直方向位置之差值為一左垂直差距;步驟二,計算該左虹膜中心點的水平方向位置與該左第一確定點的水平方向位置之差值為一左水平差距;步驟三,以該右第一確定點的垂直方向位置為出發點移動該左垂直差距,再往右耳朵側移動該左水平差距即可得到一推估右虹膜中心。
  17. 根據申請專利範圍第3項之眼球定位方法,其中上述之右 三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,並且該左三角形外接圓的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行一左映射補償;該左映射補償之步驟如下:步驟一,計算該右虹膜中心點的垂直方向位置與該右第一確定點的垂直方向位置之差值為一右垂直差距;步驟二,計算該右虹膜中心點的水平方向位置與該右第一確定點的水平方向位置之差值為一右水平差距;步驟三,以該左第一確定點的垂直方向位置為出發點移動該右垂直差距,再往左耳朵側移動該右水平差距即可得到一推估左虹膜中心。
  18. 根據申請專利範圍第3項之眼球定位方法,其中上述之左三角形外接圓的半徑小於關注區域之寬度(600~120)像素的三分之一,並且該右三角形外接圓的半徑大於關注區域之寬度(600~120)像素的三分之一,然後進行一右映射補償;該右映射補償之步驟如下:步驟一,計算該左虹膜中心點的垂直方向位置與該左第一確定點的垂直方向位置之差值為一左垂直差距;步驟二,計算該左虹膜中心點的水平方向位置與該左第一確定點的水平方向位置之差值為一左水平差距;步驟三,以該右第一確定點的垂直方向位置為出發點移動該左垂直差距,再往右耳朵側移動該左水平差距即可得到一推估右虹膜中心。
  19. 根據申請專利範圍第3項之眼球定位方法,其中上述之螢幕注視點估測,藉由一種線性放大法,利用該右虹膜中心與該左虹膜中心至少其中之一位置推估出螢幕注視點位置。
  20. 根據申請專利範圍第3項之眼球定位方法,其中上述之線性放大法,係為藉由預先量測出一虹膜中心觀看螢幕四邊之定點時,該虹膜中心之位置與該螢幕四邊之定點位置之關係,再藉此由其他該虹膜中心之位置,推估觀看螢幕中所在位置。
TW103146641A 2014-12-31 2014-12-31 眼球定位方法及系統 TWI515609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW103146641A TWI515609B (zh) 2014-12-31 2014-12-31 眼球定位方法及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103146641A TWI515609B (zh) 2014-12-31 2014-12-31 眼球定位方法及系統

Publications (2)

Publication Number Publication Date
TWI515609B true TWI515609B (zh) 2016-01-01
TW201624200A TW201624200A (zh) 2016-07-01

Family

ID=55640287

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103146641A TWI515609B (zh) 2014-12-31 2014-12-31 眼球定位方法及系統

Country Status (1)

Country Link
TW (1) TWI515609B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630507B (zh) 2017-09-25 2018-07-21 仁寶電腦工業股份有限公司 目光偵測、辨識與控制方法
CN112906596A (zh) * 2021-03-03 2021-06-04 杭州电子科技大学 基于低分辨率光学摄像头的虹膜中心定位方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法

Also Published As

Publication number Publication date
TW201624200A (zh) 2016-07-01

Similar Documents

Publication Publication Date Title
CN106056092B (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
TWI515609B (zh) 眼球定位方法及系統
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
Hammoud Passive eye monitoring: Algorithms, applications and experiments
Noris et al. A wearable gaze tracking system for children in unconstrained environments
KR20200063173A (ko) 디지털 치료적 보정 안경
CN111933275B (zh) 一种基于眼动与面部表情的抑郁评估系统
Otero-Millan et al. Knowing what the brain is seeing in three dimensions: A novel, noninvasive, sensitive, accurate, and low-noise technique for measuring ocular torsion
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
CN109784337A (zh) 一种黄斑区识别方法、装置及计算机可读存储介质
de Almeida et al. Computational methodology for automatic detection of strabismus in digital images through Hirschberg test
US20230022921A1 (en) System and method for analyzing corneal lesion using anterior ocular segment image, and computer-readable recording medium
CN111494177A (zh) 一种兼顾双眼视觉发育的视力训练方法
Nair et al. RIT-Eyes: Rendering of near-eye images for eye-tracking applications
KR101850043B1 (ko) 멀티모덜 센싱 데이터 기반의 검안영상 분석 장치
CN109917908B (zh) 一种ar眼镜的图像获取方法及系统
Khan et al. A new 3D eyeball tracking system to enhance the usability of page scrolling
Illavarason et al. Performance evaluation of visual therapy method used for cerebral palsy rehabilitation
Wankhede et al. Optic disc detection using histogram based template matching
CN115670370A (zh) 一种去除眼底图像玻璃体混浊斑的视网膜成像方法和装置
CN105760848A (zh) 一种基于环形模板卷积的瞳孔定位方法
JP5829850B2 (ja) 瞳孔計測装置
CN108231165A (zh) 一种眼科疾病诊断的辅助系统
Canessa et al. The perspective geometry of the eye: toward image-based eye-tracking
CN113011286B (zh) 基于视频的深度神经网络回归模型的斜视判别方法及系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees