TWI694809B - 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置 - Google Patents

Abstract

本發明係提供可承受背景光的變化，亦可承受攝像機的位置偏移，可長時間穿戴，易於檢測出眼球移動方向等的運動的方法。

一種檢測眼球運動的方法，係在資訊處理裝置中，從該眼的區域檢測出該眼中的眼白區域，從眼白區域決定成為樣板的血管影像，檢測出與樣板血管影像匹配的第n個匹配血管影像，從與該第n個檢測位置的差來運算眼球的第n個移動量，從前述基準角度與前述第n個檢測角度的差來運算眼球的第n個旋轉角度。

Description

檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置

本發明係關於一種從藉由配置於眼睛附近的攝像裝置(camera)拍攝包含眼睛周邊之預定區域的圖像，檢測出眼球運動的方法，尤有關於一種從眼睛的圖像利用眼中的虹膜及/或瞳孔以外的特徵點而間接地檢測出瞳孔位置或視線方向等的方法。

近年來，一種在頭戴式顯示器(head mount display)或眼鏡型穿戴式裝置(wearable device)，設置用以知悉眼睛動作的裝置者已為大眾所知。例如，在谷歌眼鏡(Google Glass，註冊商標)中，已知藉由紅外線感測器(sensor)來偵測眼睛向上、眨眼或擠眼、及裝置的裝卸，並藉由設定以擠眼進行相片拍攝、或者以裝卸或向上方式而可使顯示器啟動。

此外，除了眨眼或擠眼的偵測之外，亦已知有一種從藉由攝像機拍攝眼睛區域的圖像，檢測出眼中 虹膜位置的方法。例如，由於在虹膜部分有濃淡的紋路(虹膜紋理：虹膜的濃淡圖案(pattern))，因此從眼球圖像中的虹膜部分，使用樣板匹配(template matching)等的既有技術，來檢測出眼中虹膜的位置。

再者，從連續的眼球圖像分別檢測出上述之虹膜位置的檢測，例如，將該各位置投影在2維或3維的座標上進行比較，或是取得各座標值的差，藉此即可檢測出眼球移動的方向或移動的速度。再者，追蹤該眼球的移動方向，或檢測出眼球移動的方向或速度的模式，將其與已知的正常模式進行比較而檢測出不同，藉此即可運用在發現身體的異常或不舒服及疾病等。例如，眼球以視線方向作為旋轉軸進行旋轉(眼球運動)的運動，通常是在頭部傾斜時要回到原本的狀態時產生。當此運動在頭部未傾斜時產生的情況下，會有暈車或影像暈眩的可能(例如參照非專利文獻1)。

此外，拍攝眼球圖像時，由於眼球的表面為曲面，因此從拍攝目的的中心部與周邊部的各表面至攝像機透鏡(lens)為止之光路的距離會不同，同時難以藉由攝像機對焦，而會有當眼球運動時即無法對焦的情形。作為解決該問題的一方法，雖有使用焦點深度深的鏡頭以包含眼球中心與周邊的整體同時對焦的方法，但為此之故，必須要有強烈的照明，而會對眼睛造成不良影響。因此，作為其他方法，乃有檢測出瞳孔的重心，且配合該瞳孔的重心而進行焦距(focus)控制，藉此即可在眼球即使移動時亦 得以進行對焦(例如參照專利文獻1)。

此外，在眼球運動或視線的垂直、水平成分之高精確度的測量中，有使用角膜反射影像(浦肯頁(Purkinje)影像)的方法，該角膜反射影像係運用了眼球與眼角膜之旋轉中心不同之點。

此外，本案發明的發明人等，為了解決上述之檢測出虹膜紋理時的問題(後述)，乃提出一種從基準狀態之眼白(露出鞏膜及結膜的部分)中特別限定虹膜附近之預定圖案的血管，且從該特別限定之血管端點的位置檢測出虹膜的外緣端部，藉此來測量眼球旋轉的方法(例如參照專利文獻2)。

[非專利文獻]

[非專利文獻1]橋本勉‧牧孝郎‧坂下祐輔‧西山潤平‧藤吉弘亘‧平田豐、「瞳孔直徑變化對於虹膜圖案伸縮的模型化與眼球運動測量的應用」、電子資訊通訊學會論文集、2010、Vol.J93-D,No.1,pp.39-46。

[專利文獻]

專利文獻1：日本特開平02-164335號公報

專利文獻2：國際公開WO2013/125707號手冊

然而，在非專利文獻1等所利用的虹膜紋理，濃淡的對比並不明確，而瞳孔直徑會因為觀看物及周邊(背景)之光量的變化而變化，且紋理的形狀或位置或濃淡亦會隨之變化，因此檢測時必須將背景光保持為一定，或藉由覆蓋眼睛周圍的護目鏡(goggle)等將背景光遮斷。

此外，在專利文獻1中，雖已例示一種針對眼球使用瞳孔的重心進行焦距控制，即使眼球運動亦可進行對焦的方法，但該瞳孔重心的資訊，僅使用在焦距控制。因此，在專利文獻1中，並未揭示如本案發明之將根據瞳孔重心的位置資訊，運用在眼球的移動方向、移動量、移動速度等的測量上。

此外，利用眼球角膜反射影像(浦肯頁影像)的方法，無法承受測量時頭部與攝像機的偏移，而必須藉由皮帶等將攝像機穩固地固定於頭部。此外，在利用此角膜反射影像(浦肯頁影像)的方法中，無法測量眼球的旋轉運動。

此外，在專利文獻2之測量眼球旋轉的方法中，係從眼白中特定血管之端點的位置檢測出虹膜的外緣端部，藉此而具有可解決如上所述之非專利文獻1、專利文獻1及利用浦肯頁影像之方法的問題(因為背景光而難以檢測出對比、無法測量移動方向等、必須將攝像機穩固地固定於頭部而難以長時間穿戴)的可能性。然而，由於檢測出虹膜的外緣端部，因此可使用之血管的所在區域係限定於虹膜附近。再者，會受到「該血管之至少一部分具有 在虹膜外周端部形成終端的部分」的限制。此外，在該限制中，由於必須鑑別出可判別為從上眼簾突出之直線狀的睫毛的具有複雜形狀(例如有很多彎折、或是呈現分歧等)且可盡量明確檢測出的「粗細大小」的血管，因此鑑別出血管的難易度高，而需費時進行處理。

此外，例如，眼睛上下寬度狹窄的人(眼睛細小的人)，其虹膜上部被上眼簾局部覆蓋的身體特徵、或者上眼簾的睫毛為黑色等之成為強烈對比的濃郁顏色，且伸長及/或粗至局部覆蓋在虹膜上部等的身體特徵，在檢測虹膜紋理時會有無法獲得理想結果的情形。一般而言，東亞一部分地區(一部分民族)的人，大多有上述的身體特徵，而具有該種身體特徵的被測量者，在測量虹膜時，必須要刻意睜大眼睛，或忍住眨眼。此外，專利文獻2的方法，也由於具有如上述身體特徵的人，用以鑑別在虹膜端部形成終端之血管的區域會變窄，因此會有無法獲得理想結果的情形。

因此，在以往檢測眼球運動的方法中，無法提供可滿足以下的方法：(1)即使背景光變化亦可檢測出對比，(2)無須將攝像機穩固地固定於頭部而可長時間穿戴，甚且，(3)即使眼睛上下寬度狹窄而眼睛細小時，或上眼簾的睫毛顏色濃郁且長而局部覆蓋在虹膜上部等時，也易於檢測出眼球之移動方向等的運動，再加上(4)容易鑑別出用以檢測出眼球移動的血管。

因此，本發明為了解決上述的問題，乃以 提供以下方法為目的：(1)可承受背景光的變化，(2)亦可承受攝像機的位置偏移，無須將攝像機穩固地固定於頭部故可長時間穿戴，(3)即使眼睛上下寬度狹窄的人或上眼簾的睫毛顏色濃郁且長而覆蓋在虹膜時，也易於檢測出眼球移動方向等的運動，(4)進而易於鑑定出用以檢測眼球移動的血管。

為了解決上述問題，本發明之檢測眼球運動的方法，係在資訊處理裝置中執行下列步驟：(a)輸入藉由配置於至少單眼之前面側的附近區域內，或藉由單向反射鏡(one-way mirror)等的併用而配置在光學性等效位置的攝像裝置所拍攝之包含該眼之週邊區域之預定區域的基準圖像的步驟；(b)從基準圖像至少檢測出該眼的內眼角與外眼角的步驟；(c)從基準圖像之內眼角與外眼角之間之該眼的區域，檢測出該眼中之眼白區域的步驟；(d)從眼白區域，抽出可識別之所有血管影像的步驟；(e)從所有血管影像中，決定要成為樣板之血管影像的步驟；(f)記錄眼白區域中之樣板血管影像之座標中的基準位置及水平基準之基準角度的步驟；(g)輸入藉由攝像裝置所拍攝之第n(n係為自1開始依序漸增1之1以上的整數)的血管影像檢測用圖像的步驟；(h)從第n個血管影像檢測用圖像，檢測出與樣板匹配的第n個匹配血管影像的步驟；(i)記錄眼白區域中之第n個匹配血管影像之座標中的第n個檢測位置及第n個檢測角度的步驟；(j)從座標中之基準位置及第n個檢測 位置的差來運算眼球的第n個移動量，且從基準角度與第n個檢測角度的差來運算眼球之第n個旋轉角度的步驟；(k)使n=n+1而執行上述(g)至(j)的步驟，從所輸入的第(n+1)個血管影像檢測用圖像檢測出第(n+1)個匹配血管影像，且進一步重複第(n+1)個移動量及第(n+1)個旋轉角度的運算處理的步驟。

此外，在上述方法中的各步驟，係藉由記憶於電腦等之資訊處理裝置的程式而由運算處理部所執行，此外，該程式係從記憶該程式的記憶媒體傳送至資訊處理裝置內部的處理作業用記憶部並記憶之後，藉由運算處理部執行。

較佳為，本發明之檢測眼球運動的方法之在檢測出眼睛的內眼角與外眼角的步驟(b)，及檢測出眼中之眼白區域的步驟(c)中，對於圖像中包含亮度的特徵向量的值實施二值化處理，且檢測出該二值化亮度值為臨限值以上的區域。

較佳為，本發明之檢測眼球運動的方法之在決定樣板血管影像的步驟(e)及檢測出第n個匹配血管影像的步驟(h)中，係對於樣板血管影像及各第n個血管影像檢測用圖像，執行至少一次收縮處理與至少一次膨脹處理。

較佳為，本發明之檢測眼球運動的方法之在檢測出第n個匹配血管影像的步驟(h)中，係執行相對於樣板使第n個匹配血管影像對應於垂直方向、水平方向、及/或旋轉方向的移動而匹配的處理。

較佳為，本發明之檢測眼球運動的方法之在從基準圖像檢測出眼白區域的步驟(c)中，係檢測出未包含在該眼中眼白區域中的虹膜區域及瞳孔的中心；在記錄樣板血管影像之座標中的基準位置及基準角度的步驟(f)中，亦記錄從虹膜區域至樣板血管影像為止之座標中之距離及通過瞳孔中心之與水平基準線形成的角度；在決定樣板血管影像的步驟(e)及檢測出第n個匹配血管影像的步驟(h)中，係選擇該眼中眼白區域中，存在於該虹膜區域之耳側附近而且在水平基準線的附近區域的血管影像，或存在於該水平基準線之下側區域而且在附近區域的血管影像，而進行決定或檢測。

較佳為，本發明之檢測眼球運動的方法之在決定樣板血管影像的步驟(e)及檢測出第n個匹配血管影像的步驟(h)中，係對於各圖像之眼中的眼白區域及各血管影像的各像素實施標籤化(labeling)處理，且選擇下列血管影像作為被決定或被檢測出的該血管影像：(1)在各血管影像中，運算以相同標籤(label)所連結之像素區域之長邊方向的連結數，且選擇該連結數為最大的血管影像；或(2)在各血管影像中，運算以相同標籤所連結之像素區域的周圍長度，且選擇該周圍長度為最長的血管影像；或(3)在具有正交之第1成分軸與第2成分軸之座標中的各血管影像中，分別求出顯示以相同標籤所連結之像素區域之相對於第1成分軸的位移寬度的第1主成分，及顯示以相同標籤所連結之像素區域之相對於第2成分軸之位移寬度的第2 主成分，且選擇第1主成分的位移寬度值與第2主成分的位移寬度值的總和成為最大的血管影像。

為了解決上述的問題，本發明之檢測眼球運動的裝置係具有資訊處理裝置，係具備(A)攝像裝置，係配置於至少單眼之前面側的附近區域內，或藉由單向反射鏡等的併用而配置在光學性等效位置的攝像裝置，以及(B)資訊處理裝置，該資訊處理裝置係至少執行下列步驟：(a)輸入從攝像裝置所輸入之包含該眼之週邊區域之預定區域的基準圖像的步驟；(b)從基準圖像至少檢測出該眼的內眼角與外眼角的步驟；(c)從基準圖像之內眼角與外眼角之間之該眼的區域，檢測出該眼中之眼白區域的步驟；(d)從眼白區域抽出可識別之所有血管影像的步驟；(e)從所有血管影像中，決定要成為樣板之血管影像的步驟；(f)記錄眼白區域中之樣板血管影像之座標中的基準位置及水平基準之基準角度的步驟；(g)輸入藉由攝像裝置所拍攝之第n(n係為自1開始依序漸增1之1以上的整數)的血管影像檢測用圖像的步驟；(h)從第n個血管影像檢測用圖像，檢測出與樣板匹配的第n個匹配血管影像的步驟；(i)記錄眼白區域中之第n個匹配血管影像之座標中的第n個檢測位置及第n個檢測角度的步驟；(j)從座標中之基準位置及第n個檢測位置的差來運算眼球的第n個移動量，且從基準角度與第n個檢測角度的差來運算眼球之第n個旋轉角度的步驟；(k)使n=n+1而執行上述(g)至(j)的步驟，從所輸入的第(n+1)個血管影像檢測用圖像檢測出第(n+1)個匹配血管影 像，且進一步重複第(n+1)個移動量及第(n+1)個旋轉角度的運算處理的步驟。

依據上述之本發明的方法，為了解決上述的問題，可提供一種(1)可承受背景光的變化，(2)亦可承受攝像機的位置偏移，無須將攝像機穩固地固定於頭部故可長時間穿戴，(3)即使眼睛上下寬度狹窄的人或上眼簾的睫毛顏色濃郁且長而覆蓋在虹膜時，也易於檢測出眼球移動方向等的運動，(4)進而易於鑑定出用以檢測眼球移動的血管的方法，因此可更高精確度地檢測出眼球位置或角度及運動。

另外，由於從上述之眼球位置或角度及運動亦可檢測出虹膜的位置，而在虹膜的中心具有瞳孔，因此關於被測量者所觀看者的方向(視線)，可更高精確度地檢測。

例如，視線停留在一定方向達預定以上的時間時，雖也會有所觀看者為未知時欲判別或理解為何的情形，但為已知者時，所觀看者為興趣高者、或嗜好上較喜歡者的機率會變高。

1‧‧‧資訊處理裝置

11‧‧‧內眼角/外眼角檢測部

12‧‧‧眼白區域檢測部

13‧‧‧血管圖像檢測部

14‧‧‧匹配圖像檢測部

15‧‧‧匹配圖像位置修正部

16‧‧‧圖像位置/角度比較部

17‧‧‧眼球移動量/旋轉角度運算部

18‧‧‧眼球移動量/旋轉角度記憶部

21‧‧‧虹膜/瞳孔中心檢測部

22‧‧‧水平基準線檢測部

23‧‧‧樣板圖像決定部

24‧‧‧樣板圖像記憶部

50‧‧‧眼白區域

51‧‧‧虹膜區域

52‧‧‧瞳孔中心

53‧‧‧睫毛

55‧‧‧檢測區域(匹配區域)

60‧‧‧血管

65‧‧‧水平基準線

66‧‧‧暈影

71‧‧‧各種設定值記憶部

81‧‧‧程式記憶部

91‧‧‧控制部

100‧‧‧攝像裝置(攝像機)

200‧‧‧顯示輸出裝置

300‧‧‧輸入裝置

第1圖係為顯示本發明之第一實施形態之檢測眼球運動的裝置之概略構成的方塊圖。

第2圖係為本發明之第一實施形態的動作流程圖。

第3圖(a)係為內眼角與外眼角之檢測方法之一例的流程圖，第3圖(b)係為內眼角與外眼角之矩形抽出之一例的圖。

第4圖(a)係為顯示眼睛眼白中血管的一例，第4圖(b)係為顯示所選擇之樣板血管圖之一例的圖。

第5圖(a)係為顯示因測量用輔助光或過強的背景光引起暈影(halation)之眼球圖像之一例的圖，第5圖(b)係為顯示周圍昏暗時所拍攝之眼球圖像之一例的圖，第5圖(c)係為顯示獲得了即使極弱的光也可充分辨識眼白之血管影像之濃淡對比的眼球圖像之一例的圖。

<第1實施形態>

首先說明本發明之第1實施形態之檢測眼球運動的裝置、檢測方法、及檢測程式。

[硬體構成]

第1圖係為第1實施形態之檢測眼球運動的裝置的硬體構成圖。

眼球運動檢測裝置的資訊處理裝置1係例如包括：屬於讀取程式而執行各種處理之運算單元的CPU(Central Processing Unit，中央處理單元)；讀取/寫入之處理速度快的作業用RAM(Random Access Memory，隨機存取記憶體)及儲存各種程式等的非揮發性記憶元件等的複數個記憶裝 置；及各種介面(interface)，其係可進行與攝像機等的攝像裝置100、顯示器(display)等的顯示輸出裝置200、鍵盤等的輸入裝置300等進行電信號及電力的傳送接收。此外，攝像裝置100、顯示輸出裝置200、及輸入裝置300亦可連接於資訊處理裝置的外部，亦可備置於資訊處理裝置的內部。此等各構成要素係透過匯流排(bus)或串列(serial)線路等而彼此連接。

CPU係例如由具有程式計數器(program counter)、指令解碼器(decoder)、各種運算器、LSU(Load Store Unit，載入儲存單元)、通用暫存器等的運算處理裝置所構成。程式或資料等係例如藉由驅動器(drive)裝置而從資訊處理裝置1之內部的輔助記憶裝置或連接於外部的記憶媒體讀入。記憶媒體係例如可為CD(Compact Disc，光碟)、DVD(Digital Versatile Disc，數位化多功能光碟)、USB(Universal Serial Bus，通用序列匯流排)記憶體等之可攜型的記憶媒體。此外，輔助記憶裝置係例如可由HDD(Hard Disk Drive，硬碟驅動器)或快閃記憶體(flash memory)等所構成。

安裝程式的方法，不限定於本實施形態，亦可從所記錄的外部記憶媒體藉由驅動器裝置而安裝於輔助記憶裝置，亦可透過介面與網路，從遠端的伺服器或其他電腦下載程式而安裝於輔助記憶裝置。網路係可由網際網路(internet)、LAN(Local Area Network，區域網路)、無線網路等所構成。此外，例如，在眼球運動檢測裝置出貨時， 程式亦可預先儲存(安裝)在輔助記憶裝置或未圖示的ROM(Read Only Memory，唯讀記憶體)等。

藉由CPU執行以上述方式安裝的各種程式、或預先儲存的各種程式，而實現本實施形態之眼球運動檢測裝置中之後述的各種功能(各種處理)。

記憶體裝置係例如由RAM或EEPROM(Electrically Erasable and Programmable Read Only Memory，電子可抹除可程式化唯讀記憶體)等的記憶裝置所構成。此外，界面係連接於上述的各種網路等，且透過該網路，對於外部的各種裝置進行預定的資料或程式等的輸出入動作。

輸入裝置300係例如由鍵盤、滑鼠、按鍵、觸控墊(touch pad)、觸控板(touch panel)、麥克風等的各種輸入操作裝置所構成。此外，顯示輸出裝置200係例如由LCD(Liquid Crystal Display，液晶顯示器)或CRT(Cathode Ray Tube，陰極射線管)等的顯示裝置所構成。另外，眼球運動檢測裝置除顯示輸出裝置200以外，還例如可具備印表機、揚聲器等的各種輸出裝置。

資訊處理裝置的圖像輸入介面係連接於攝像機100。再者，圖像輸入介面係將從攝像機100所輸入的圖像資料，暫時輸出於記憶體裝置或輔助記憶裝置。

攝像機100係例如為CCD(Charge Coupled Device，電荷耦合元件)攝像機或CMOS(Complementary Metal Oxide Semiconductor，互補性金屬氧化半導體)攝像機 等的攝像裝置，其係將所拍攝的圖像的資料透過圖像輸入介面而輸出。另外，圖像係可為靜態圖像，亦可為動態圖像。

在本實施形態中，係藉由攝像機100來拍攝被驗體的眼球。拍攝時，例如可將從藍色LED(Light Emitting Diode，發光二極體)所射出的光照射於眼球。藍色LED係將藍色光照射於眼球的眼白區域(包含鞏膜及結膜的區域)，以提高眼球內之結膜血管(以下簡稱血管)的對比。藉由將藍色LED的照射範圍集中在眼球的眼白區域，可減輕眼球拍攝時對於被驗體造成的負擔。此外，為了強調瞳孔及為了精確度良好地拍攝虹膜的濃淡圖案，亦可與藍色LED同時將從紅外線LED所射出的紅外線的光照射於眼球。

在此，在以往的眼球運動測量裝置中，有一種被稱為瞳孔法的方法者，其係對眼球照射近紅外線，且以紅外線攝像機測量其反射光而算出瞳孔的中心之手法。此外，如第5圖(b)所例示，當周圍昏暗時，雖需要較強的光作為測量用輔助光，但任一者都會在攝像機100中所顯像的圖像中容易引起第5圖(a)所示的暈影66的問題。尤其在使用強光作為測量用輔助光時，眼球運動檢測裝置的穿戴者會感到不舒服，視情形不同，還有可能對穿戴者的眼睛造成傷害。針對此點，在第5圖(c)所示的本案發明中，經由本案發明人的實驗已確認了在本案發明中，即使照射於眼球之眼白區域50之藍色LED的光，相較於 習知的眼球運動測量裝置等為極弱的光，也會如第5圖(c)所示，藉由攝像機100獲得能夠充分辨識眼白之血管影像(血管60)的濃淡對比。此外，在人類色覺的特性上，相較於中波長或長波長的光，藍色光亦不易感覺到刺眼。因此，在本案發明的眼球運動檢測裝置中，可將在攝像機100引起暈影的可能性降至極低，而且，幾乎可消除裝置穿戴者因為眼球運動測量用的光而感到的不舒服。

[功能構成]

資訊處理裝置1係包含下列構件作為藉由CPU執行程式而發揮作用的功能方塊：內眼角/外眼角檢測部11；眼白區域檢測部12；血管圖像檢測部13；匹配圖像檢測部14；匹配圖像位置修正部15；圖像位置/角度比較部16；眼球移動量/旋轉角度運算部17與眼球移動量/旋轉角度記憶部18、虹膜/瞳孔中心檢測部21；水平基準線檢測部22；樣板圖像決定部23、樣板圖像記憶部24、各種設定值記憶部71、程式記憶部81、及控制部91。此外，此等各功能方塊係例如對記憶體裝置或輔助記憶裝置輸出入各種資訊(資料)，而記憶體裝置或輔助記憶裝置係儲存從各功能方塊所輸出的各種資訊。

此等功能方塊係可藉由軟體來構成。此時，各功能方塊係可為藉由彼此明確分離的程式來實現的方塊，亦可為例如副程式(subroutine)或函數等，藉由由其他程式所呼叫的程式而實現的方塊。此外，此等功能方塊 的一部分或全部係例如可由LSI(Large Scale Integrated circuit，大規模積體電路)、IC(Integrated Circuit，積體電路)、FPGA(Field Programmable Gate Array，現場可程式閘陣列)等的硬體來構成。

[眼球運動檢測方法的概要]

接著一面說明第1圖所示之各功能方塊所進行的各種處理，一面具體說明本實施形態之眼球運動檢測方法的內容，但首先說明本實施形態之眼球運動檢測方法的概要。

在本實施形態的眼球運動檢測方法中，首先選擇在基準狀態中，位於基準狀態時之眼球圖像內之眼白區域的預定樣板血管(1個血管)，且取得該位置資訊與角度資訊，作為以該選擇之血管為基準的樣板血管影像。接著在眼球運動的實際測量時，針對實際測量時的眼球圖像(血管影像檢測用圖像)，檢測出在使用了樣板血管影像之樣板匹配處理中一致的匹配血管影像，而取得該位置資訊與角度資訊。

[樣板血管影像取得時的處理]

在本實施形態的眼球運動檢測方法中，樣板血管影像的取得處理係在眼球運動的實際測量時之前進行，以取得眼球運動測量所需的各種基準資訊。另外，樣板血管影像取得時所執行的各種基準資訊的取得處理，係在動作較眼球運動實際測量時的處理更被限制的狀態下取得。

在本實施形態中，樣板血管影像與各種基準資訊取得時，基本上使用上述的藍色LED而將藍色光照射於眼球血管的周邊(眼白區域)進行拍攝。此外，除血管的位置資料外，還利用虹膜或瞳孔中心的資料時，亦可同時使用紅外線LED而將紅外線照射於瞳孔區域及虹膜區域。

接著在樣板血管影像與各種基準資訊的取得處理中，係解析在基準狀態下所取得之被驗體的眼球圖像，而取得關於基準狀態下之樣板血管影像的向量資料、血管位置資訊等的資訊。此外，視需要取得瞳孔的橢圓參數(例如關於瞳孔輪廓的中心點、長軸值、短軸值、橢圓的傾斜(長軸的旋轉角度)等的資訊)等的資訊。

再者，在取得樣板血管影像與各種基準資訊時，如上所述，取得樣板血管影像與各種基準資訊，且將該各種基準資訊輸出於記憶體裝置或輔助記憶裝置中予以儲存。另外，在此，樣板血管影像的位置資訊係為將基準狀態的眼球圖像的橫方向及縱方向分別設為X軸方向及Y軸方向的X-Y正交座標系的座標。

[血管位置辨識處理]

血管圖像檢測部13係辨識眼白區域50中之血管60等的位置，且將關於該辨識後的血管60之位置的資訊，例如輸出於記憶體裝置或輔助記憶裝置。如第1圖及第4圖所示，眼白區域50係為在眼球圖像中，於經由內眼角/外眼 角檢測部11所辨識的內眼角與外眼角之間，經由眼白區域檢測部12所辨識的眼白區域。此外，亦可為在較經由虹膜/瞳孔中心檢測部21所辨識的虹膜區域51更外側的區域，且為經由水平基準線檢測部22從內眼角與外眼角等所檢測出之水平基準線的附近或下側附近。另外，在實際測量時的眼球運動檢測時，藉由血管圖像檢測部13所辨識(鑑別)的血管60，係為藉由樣板匹配而與在樣板血管影像及各種基準資訊取得時所選擇之預定的樣板血管匹配的血管(以下亦稱為匹配血管)。

更具體而言，實際測量時的眼球運動檢測時，血管圖像檢測部13係參照儲存於記憶體裝置或輔助記憶裝置的基準資訊，在實際測量時的眼球圖像的眼白區域中，於水平基準線的附近或下側附近，且於距離虹膜區域51預定距離的附近，取得存在於距離虹膜中心52另一預定距離的樣板血管(匹配血管影像)的位置資訊。再者，血管圖像檢測部13係將所取得的匹配血管的位置資訊(座標資訊)，例如輸出於記憶體裝置或輔助記憶裝置。以下進一步詳細說明該血管圖像檢測部13所進行的處理內容。

首先，血管圖像檢測部13係從記憶體裝置或輔助記憶裝置讀取在樣板血管影像與各種基準資訊取得時所預先取得的基準狀態中的預定樣板血管的位置資訊(座標資訊)。接著血管圖像檢測部13係根據所讀取的基準狀態中之預定樣板血管的位置資訊，在實際測量時所取得的眼球圖像中，設定用以特別限定匹配血管位置的探索區 域。具體而言，血管圖像檢測部13係將基準狀態中之預定的樣板血管的眼球運動角度、以使旋轉之點為中心的預定形狀(例如矩形形狀)的探索區域，設定於眼球的眼白圖像內。

接著，血管圖像檢測部13係對於探索區域的圖像例如實施平滑化處理，進行雜訊去除。接著，血管圖像檢測部13係對於實施平滑化處理後之探索區域的圖像，依據像素值實施二值化處理，將像素值較低之像素的集合部分辨識為血管。此時，在探索區域中，辨識複數個血管。

再者，血管圖像檢測部13係對於被辨識為血管的像素的集合部分，應用Hilditch的細線化運算法(algorithm)施以雜訊去除處理。接著，血管圖像檢測部13係對於細線部分進行深度優先探索，藉此來測量血管的長度。血管圖像檢測部13係從所辨識的複數個血管中，僅抽出長度為預定值以上的血管。

在Hilditch的細線化法中，係將參照探索區域內之注目像素及其周圍之8像素的3×3視窗(像素區域)作為雜訊去除處理的基本處理單位。再者，血管圖像檢測部13係一面將探索區域的圖像資料整體進行光柵(raster)掃描，一面以各像素作為注目像素而進行雜訊去除，藉此進行細線化處理。

具體而言，首先，血管圖像檢測部13係進行判定觀察像素是否符合以3×3視窗預先定義的細線化所 進行的刪除條件。再者，注目像素符合刪除條件時，血管圖像檢測部13係將該注目像素刪除。亦即，將圖形像素(血管區域的像素)置換為背景像素(眼白區域的像素)。另一方面，注目像素不符合刪除條件時，血管圖像檢測部13係依光柵掃描順序將下一個像素作為注目像素，在新的3×3視窗中，進行觀察像素的判定處理及圖形像素的置換處理。

在藉由Hilditch之細線化法所進行的雜訊去除處理中，血管圖像檢測部13係針對探索區域內所有的像素重複上述一連串的處理。接著，血管圖像檢測部13係直到在1循環的光柵掃描中被刪除的像素消失為止，一面將探索區域進行光柵掃描一面重複上述一連串的處理。再者，血管圖像檢測部13係於在1循環的光柵掃描中被刪除的像素消失的時點，結束藉由Hilditch之細線化法所進行的雜訊去除處理。

在此，從血管圖像檢測部13所輸出的匹配血管的位置資訊，係為將實際測量時的眼球圖像(探索區域)的橫方向及縱方向分別設為X軸方向及Y軸方向的X-Y正交座標系的座標。

另外，在本實施形態中，基準狀態中所選擇之預定的樣板血管，係以下列方式求出。首先，在眼白區域中，設定預定的探索區域。接著，針對所設定之預定探索區域的圖像資料，施行從在血管圖像檢測部13所實施之二值化處理到藉由Hilditch之細線化法所進行之雜訊去除處理為止之一連串的上述處理，而抽出探索區域內的複 數個血管的端點。再者，從所抽出的複數個血管，藉由樣板圖像決定部23選擇基準狀態中之預定的樣板血管。此等處理亦可在血管圖像檢測部13進行，且從血管圖像檢測部13取得選擇結果。

此外，樣板血管影像與在各種基準資訊取得時選擇預定樣板血管時的探索區域的設定位置及大小等，可任意設定。此外，從在探索區域中所抽出的複數個血管，選擇預定樣板血管的基準亦為可任意。

然而，在本實施形態中，較佳為在眼球的眼白區域，且為於水平基準線的附近或下側附近，距離虹膜區域51預定距離的附近，選擇存在於距離虹膜中心52另一距離的血管，作為預定的樣板血管。此外，血管之Y軸方向的座標，係以從瞳孔中心之Y軸方向的座標，選擇上述之距離另一預定距離的血管作為預定的樣板血管為佳。如此一來，藉由選擇作為預定的樣板血管，例如，將不易受到睫毛的影響、眼簾的動作或視線移動等的影響(血管端點映入於眼球圖像中的可能性變高)，而可提高血管跟蹤拍攝(tracking)精確度(匹配血管的辨識(鑑別)精確度)，而可更確實地以良好精確度測量眼球運動角度。此外，基於相同的理由，較佳為基準狀態中的探索區域亦為眼球的眼白區域，且於水平基準線的附近或下側附近，距離虹膜區域51預定距離的附近，存在於距離虹膜中心52另一預定距離，而且探索區域之中心點之Y軸方向的座標，以從瞳孔中心之Y軸方向的座標距離上述之另一預定距離之方式 設定探索區域。

[角度算出部的處理]

眼球移動量/旋轉角度運算部17係根據在基準狀態中所選擇之預定的樣板血管的位置資訊、及眼球運動的實際測量時被鑑定出(辨識)的匹配血管(對應預定之樣板血管的血管)的位置資訊，而算出眼球運動角度θ。

[眼球運動檢測處理的流程]

接著，一面參照第2圖一面說明藉由本實施形態之眼球運動檢測裝置進行眼球運動檢測時的具體的處理程序。第2圖係為顯示藉由本實施形態之眼球運動檢測裝置所執行之眼球運動檢測方法之處理程序的流程圖。

首先，在實施實際的眼球運動檢測之前建構對照用資料庫(樣板圖像記憶部24)(S1)。在對照用資料庫的建構中，係從預定的樣板血管影像的圖像特徵量等作成對照用的圖像資料庫。

在實際的眼球運動檢測中，來自攝像機100的新拍攝的眼球的圖像被輸入於資訊處理裝置1，且被儲存於圖像資料的記憶部(S2)。針對被儲存於圖像資料之記憶部的圖像資料的亮度值實施二值化處理(S3)。從被二進位後的圖像，以內眼角/外眼角檢測部11，檢測出內眼角與外眼角(S4)。藉由眼白區域檢測部12檢測出該圖像之內眼角與外眼角之間的眼白區域(S5)。

再者，照射紅色光時，藉由虹膜/瞳孔中心檢測部21從圖像資料檢測出內眼角與外眼角間的虹膜與瞳孔的中心(S6)。此外，藉由水平基準線檢測部22從所檢測出的內眼角與外眼角的位置資訊等，檢測出水平基準線。

對於所檢測出的眼白區域內的所有血管圖像，實施預定次數的收縮處理與膨脹處理(S8)，判斷是否為最初的基準圖像(S9)。若為基準圖像時(S9：Yes(是))，則藉由預定的規則或手動處理，決定成為基準圖像的預定樣板血管影像(S10)，且記錄包含該樣板血管影像與位置及角度的各種基準資訊(S11)。

在記錄樣板血管影像與各種基準資訊之後(S11)，或者非為最初的基準圖像時(S9：No(否))，對於下一個圖像輸入實施樣板匹配，且執行第n個(n係為自1開始依序漸增1整數)匹配血管影像的檢測處理(S12)，若能檢測出時(S12：Yes)，記錄該位置與角度等的各種基準資訊(S13)。若無法檢測出時(S12：No)，返回步驟S9執行是否為最初的基準圖像的判斷、及步驟S12之第n個匹配血管影像的檢測處理。

當在步驟S12中檢測第n個匹配血管影像，在步驟S13記錄該各種基準資訊時，藉由圖像位置/角度比較部16比較樣板血管影像的圖像位置/角度、及第n個匹配血管影像的圖像位置/角度，且運算差異(S14)。接著，藉由眼球移動量/旋轉角度運算部17從第n個匹配血管影像 的圖像位置/角度相對於樣板血管影像之圖像位置/角度的差異來運算移動量與旋轉角度，且儲存於眼球移動量/旋轉角度記憶部18(S15)。之後，判斷有無下一個圖像(S16)，若有下一個圖像(S16：No)，則返回步驟S2輸入下一個圖像，若無下一個圖像(S16：Yes)，將在步驟S15運算且儲存於眼球移動量/旋轉角度記憶部18的移動量與旋轉角度輸出於顯示輸出裝置200，而結束處理。

在本實施形態中，以上述之方式進行眼球運動的測量。另外，在本實施形態中，亦可藉由將對應的眼球運動檢測程式安裝於眼球運動檢測裝置，且由資訊處理裝置1執行該眼球運動檢測程式來實現上述的眼球運動檢測處理。

在上述之本實施形態的眼球運動檢測技術中，由於係根據相對於周圍的對比大，而且不受瞳孔收縮影響之眼白部之血管的位置資訊而算出眼球運動，因此可更高精確度地測量眼球運動。

以下記載基準資訊(樣板)的取得。在本說明書中，所謂「眼白區域」係指包含鞏膜及結膜的區域，所謂「基準狀態」係指例如被驗體之狀態為無壓力之健康的狀態，眼球之旋轉角度被認為是零度的狀態。血管中存在有粗的、細的、曲線的、分歧等各種形態。

(眼白(鞏膜)區域的檢測)

輸入若為彩色(RGB)，則進行轉換為YCbCr(或YIQ、 HSV)表色系。

Y=0.2989R+0.5866G+0.1145B

Cb=-0.1687R-0.3312G+0.5000B

Cr=0.5000R-0.4183G-0.0816B

在此，Y係顏色亮度、Cr係紅色的色差成分、Cb係藍色的色差成分。

輸入若為黑白，則與YCbCr表色系的Y成分相同。任一情形都針對亮度進行二值化處理，且抽出一定的臨限值以上的區域，作為眼白區域。

(樣板血管影像的決定)

在一個處理中，測量水平、垂直、旋轉的眼球運動的方法，可使用SIFT追蹤特徵點。另一方面，人的旋轉運動成分為±12°左右，並不太大，而且，附著於鞏膜的柔軟結膜，不會如眼球運動量使結膜血管旋轉，因此即使是垂直水平方向(亦即不包含旋轉)樣板匹配，也可進行具有一定水準的精確度的測量。

以較簡單的方法測量水平垂直眼球運動的方法如下。對於所檢測出的眼白區域，進行1至2次左右的收縮處理，將細血管或突起、黑白點相間雜訊去除，之後，進行1至2次左右的膨脹處理，留下粗的血管或分歧點。

為了使即使視線從正面往水平垂直移動時，觀察的血管影像也不會被睫毛或眼簾所遮蔽，乃選擇 存在於虹膜區域(角膜)至耳側，盡量靠近虹膜，而且瞳孔中心或較瞳孔中心稍微下側的眼白區域(鞏膜)的血管影像作為樣板圖像。

在樣板圖像的選擇中，係例如有下列方法。(1)對眼白區域進行標籤化，且選擇像素數最大的連結區域為樣板圖像的方法。(2)同樣地對眼白區域進行標籤化，且將周圍長度最長的連結區域設為樣板圖像的方法。(3)同樣地對眼白區域進行標籤化，在各個連結區域求出第一主成分與第二主成分，且將來自二個主成分軸之誤差的總和最多的連結區域(亦即複雜且具有特徵形狀的血管影像)設為樣板圖像的方法等。

為使所裝設的裝置即使使用者的頭部或身體的動作，或是裝置的本身重量偏移時也可進行正確的眼球運動測量，乃搭載如下的影像晃動防止功能。

在設置有攝像機的眼鏡框被正確裝設的狀態下拍攝眼球圖像，且以此作為基準圖像。針對屬於基準圖像的第1張眼球圖像，進行外眼角部分與內眼角部分的矩形抽出而求出2個特徵點，而且，依照後述的基準而決定第3個特徵點。然後，針對第2張以後的眼球圖像，以從第1張圖像所作成的樣板圖像為依據，求出外眼角與內眼角的位置、及第3個點，來計算仿射矩陣(Affine matrix)。將第2張以後的眼球圖像，藉由Affine轉換，從基準圖像與第2張以後圖像的2組3點位置，恢復為基準圖像的位置。

在此，關於第3個點，為了可利用於外眼角與內眼角之2點間距離的擴大、縮小，在基準圖像與轉換圖像(亦即第2張以後的圖像)的雙方中，設定為3點作成的三角形盡量成為相似形狀。此外，此三角形係二等邊三角形，以第3個點接近內眼角的一側來決定。

特徵點抽出與樣板匹配，係將處理範圍限定於被推定為外眼角與內眼角的所在區域，以減少誤檢測及處理的高速化。特徵點抽出方法係使用Harris邊緣檢測器。再者，在樣板匹配中一致度較低時，係作為錯誤進行處理。

(角度算出部的處理)

眼球移動量/旋轉角度運算部17係根據基準狀態中所選擇的預定樣板血管的位置資訊、與眼球運動實際測量時所鑑別出(辨識)的匹配血管(對應於預定樣板血管的血管)的位置資訊，而算出眼球運動角度。另外，此等基準狀態中的各種參數，係在取得樣板血管影像與各種基準資訊時預先取得，例如儲存於記憶體裝置或輔助記憶裝置。

如上所述，依據本實施形態的方法，可提供(1)可承受背景光的變化，(2)亦可承受攝像機的位置偏移，無須將攝像機穩固地固定於頭部故可長時間穿戴，(3)即使眼睛上下寬度狹窄的人或上眼簾的睫毛顏色濃郁且長而覆蓋在虹膜時，也易於檢測出眼球移動方向等的運動，(4)進而易於鑑定出用以檢測眼球移動的血管的方法，因此 可更高精確度地檢測出眼球的位置或角度及運動。

<第2實施形態>

以下說明屬於第二方法的水平垂直的樣板匹配。使用亮度值資料作為特徵向量。將樣板圖像的中心t[k,1]，置於輸入圖像f[i,j]的某點(i,j)，並一面光柵掃描點(i,j)一面計算重疊的局部區域的類似度，而決定成為最大的位置。類似度判定係具有使用可高速處理的「差的二次方和」者，使用「相互相關」者，使用可承受亮度變化的「相關係數」者以及分別以圖像的大小或亮度值正規化者等。作為樣板匹配的前處理，亦可進行標準化處理，以對應大小的不一致。此外，在有照射於眼球的照明光的亮度變化時，將各個圖像的平均亮度從像素值扣除的零平均標準化相互相關(ZNCC)亦為有效，雖可期待高精確度，但運算量多，處理速度變慢。

第三，攝像機若為彩色，則可利用不轉換為亮度，著眼於輸入圖像的RGB的各度數分布圖(histogram)，使其轉移至目前訊框的圖像中更接近樣板圖像之度數分布圖特徵的位置的CamShift法(物體追蹤)。

[視訊穩定(video stabilize)控制的概要]

為使所裝設的裝置即使因使用者的頭部或身體的動作，或是裝置的本身重量偏移時也可進行正確的眼球運動測量，可搭載第3圖所示之影像晃動防止功能(視訊穩定控 制)。

在設置有攝像機的眼鏡框被正確穿戴的狀態下拍攝眼球圖像，且以此作為基準圖像。針對屬於基準圖像的第1張眼球圖像，進行外眼角部分與內眼角部分的矩形抽出而求出2個特徵點，而且，依照後述的基準而決定第3個特徵點。然後，針對第2張以後的眼球圖像，以從第1張圖像所作成的樣板圖像為依據，求出外眼角與內眼角的位置、及第3個點，來計算仿射矩陣(Affine matrix)。將第2張以後的眼球圖像，藉由Affine轉換，從基準圖像與第2張以後圖像的2組3點位置，恢復為基準圖像的位置。

在此，關於第3個點，為了可利用於外眼角與內眼角之2點間距離的擴大、縮小，在基準圖像與轉換圖像(亦即第2張以後的圖像)的雙方中，設定為3點作成的三角形盡量成為相似形狀。此外，此三角形係二等邊三角形，以第3個點接近內眼角的一側來決定。

特徵點抽出與樣板匹配係將處理範圍限定於被推定為外眼角與內眼角所存在的區域，以減少誤檢測或處理的高速化。特徵點抽出方法係使用Harris邊緣檢測器。再者，在樣板匹配中一致度較低時，係作為錯誤進行處理。

第4圖係為顯示眼白中血管的一例與所選擇之樣板血管圖之一例的圖。依據本實施形態，即使固定裝置的眼鏡框從顏面偏移時，只要是通常使用程度的框架 的偏移，亦可無障礙地測量眼球運動。

1‧‧‧資訊處理裝置

11‧‧‧內眼角/外眼角檢測部

12‧‧‧眼白區域檢測部

13‧‧‧血管圖像檢測部

14‧‧‧匹配圖像檢測部

15‧‧‧匹配圖像位置修正部

16‧‧‧圖像位置/角度比較部

17‧‧‧眼球移動量/旋轉角度運算部

18‧‧‧眼球移動量/旋轉角度記憶部

21‧‧‧虹膜/瞳孔中心檢測部

22‧‧‧水平基準線檢測部

23‧‧‧樣板圖像決定部

24‧‧‧樣板圖像記憶部

50‧‧‧眼白區域

51‧‧‧虹膜區域

52‧‧‧瞳孔中心

55‧‧‧檢測區域(匹配區域)

60‧‧‧血管

65‧‧‧水平基準線

71‧‧‧各種設定值記憶部

81‧‧‧程式記憶部

91‧‧‧控制部

100‧‧‧攝像裝置

200‧‧‧顯示輸出裝置

300‧‧‧輸入裝置

Claims (10)

1. 一種檢測眼球運動的方法，係在資訊處理裝置中執行下列步驟：(a)輸入藉由配置於至少單眼之前面側的附近區域內或光學性等效位置的攝像裝置所拍攝之包含該眼之週邊區域之預定區域的基準圖像的步驟；(b)從前述基準圖像至少檢測出該眼的內眼角與外眼角的步驟；(c)從前述基準圖像之前述內眼角與外眼角之間之該眼的區域，檢測出該眼中之眼白區域的步驟；(d)從前述眼白區域，抽出可識別之所有血管影像的步驟；(e)從前述所有血管影像中，決定要成為樣板之血管影像的步驟；(f)記錄前述眼白區域中之前述樣板血管影像之座標中的基準位置及水平基準之基準角度的步驟；(g)輸入藉由前述攝像裝置所拍攝之第n(n係為自1開始依序漸增1之1以上的整數)的血管影像檢測用圖像的步驟；(h)從前述第n個血管影像檢測用圖像，檢測出與前述樣板匹配的第n個匹配血管影像的步驟；(i)記錄前述眼白區域中之前述第n個匹配血管影像之座標中的第n個檢測位置及第n個檢測角度的步驟； (j)從前述座標中之基準位置及第n個檢測位置的差來運算眼球的第n個移動量，且從前述基準角度與前述第n個檢測角度的差來運算眼球之第n個旋轉角度的步驟；(k)使前述n=n+1，而執行上述(g)至(j)的步驟，從所輸入的第(n+1)個血管影像檢測用圖像檢測出第(n+1)個匹配血管影像，且進一步重複第(n+1)個移動量及第(n+1)個旋轉角度的運算處理的步驟。
2. 如申請專利範圍第1項所述之檢測眼球運動的方法，其中，在檢測出前述眼睛的內眼角與外眼角的步驟(b)與檢測出前述眼中之眼白區域的步驟(c)中，係對於圖像中包含亮度的特徵向量的值實施二值化處理，且檢測出該二值化亮度值為臨限值以上的區域。
3. 如申請專利範圍第1項或第2項所述之檢測眼球運動的方法，其中，在決定前述樣板血管影像的步驟(e)及檢測出前述第n個匹配血管影像的步驟(h)中，係對於前述樣板血管影像及各第n個血管影像檢測用圖像，執行至少一次的收縮處理與至少一次的膨脹處理。
4. 如申請專利範圍第1項或第2項所述之檢測眼球運動的方法，其中，在檢測出前述第n個匹配血管影像的步驟(h)中，係執行相對於前述樣板使第n個匹配血管影像對應於垂直方向、水平方向、及/或旋轉方向的移動而匹配的處理。
5. 如申請專利範圍第1項或第2項所述之檢測眼球運動的 方法，其中，在從前述基準圖像檢測出眼白區域的步驟(c)中，係檢測出未包含在該眼中之眼白區域中的虹膜區域及瞳孔的中心；在記錄前述樣板血管影像之座標中的基準位置及基準角度的步驟(f)中，亦記錄從前述虹膜區域至前述樣板血管影像為止之座標中之距離及通過前述瞳孔中心之與水平基準線形成的角度；在決定前述樣板血管影像的步驟(e)及檢測前述第n個匹配血管影像的步驟(h)中，係選擇於該眼中之眼白區域中，存在於該虹膜區域之耳側附近而且在前述水平基準線的附近區域的血管影像，或存在於該水平基準線之下側區域而且在附近區域的血管影像，而進行決定或檢測。
6. 如申請專利範圍第1項或第2項所述之檢測眼球運動的方法，其中，在決定前述樣板血管影像的步驟(e)及檢測前述第n個匹配血管影像的步驟(h)中，係對於前述各圖像之眼中的眼白區域及各血管影像的各像素實施標籤化(labeling)處理，且選擇下列血管影像作為被決定或被檢測出的該血管影像：(1)在各血管影像中，運算以相同標籤(label)所連結之像素區域之長邊方向的連結數，且選擇該連結數為最大的血管影像；或(2)在各血管影像中，運算以相同標籤所連結之像素區域的周圍長度，且選擇該周圍長度為最長的血管影 像；或(3)在具有正交之第1成分軸與第2成分軸之前述座標中的各血管影像中，分別求出顯示以相同標籤所連結之像素區域之相對於第1成分軸的位移寬度的第1主成分、及顯示以相同標籤所連結之像素區域之相對於第2成分軸之位移寬度的第2主成分，且選擇前述第1主成分的位移寬度值與前述第2主成分的位移寬度值的總和成為最大的血管影像。
7. 如申請專利範圍第1項或第2項所述之檢測眼球運動的方法，其中，從前述基準圖像至少求出該眼的內眼角與外眼角作為2個特徵點，且依據預定的三角形而決定第3個特徵點；以在前述第n個血管影像檢測用圖像中由前述3個特徵點所作成的三角形成為相似形之方式進行設定，藉此抑制前述第n個血管影像檢測用圖像中之影像的晃動。
8. 一種程式，係實施申請專利範圍第1項至第7項中任一項所述之檢測眼球運動的方法中的各步驟。
9. 一種記憶媒體，係記憶申請專利範圍第8項所述的程式。
10. 一種檢測眼球運動的裝置，係具有：(A)攝像裝置，係配置於至少單眼之前面側的附近區域內或光學性等效位置；及(B)資訊處理裝置，係至少執行下列步驟： (a)輸入從前述攝像裝置所輸入之包含該眼之週邊區域之預定區域的基準圖像的步驟；(b)從前述基準圖像至少檢測出該眼的內眼角與外眼角的步驟；(c)從前述基準圖像之前述內眼角與外眼角之間之該眼的區域，檢測出該眼中之眼白區域的步驟；(d)從前述眼白區域，抽出可識別之所有血管影像的步驟；(e)從前述所有血管影像中，決定要成為樣板之血管影像的步驟；(f)記錄前述眼白區域中之前述樣板血管影像之座標中的基準位置及水平基準之基準角度的步驟；(g)輸入藉由前述攝像裝置所拍攝之第n(n係為自1開始依序漸增1之1以上的整數)的血管影像檢測用圖像的步驟；(h)從前述第n個血管影像檢測用圖像，檢測出與前述樣板匹配的第n個匹配血管影像的步驟；(i)記錄前述眼白區域中之前述第n個匹配血管影像之座標中的第n個檢測位置及第n個檢測角度的步驟；(j)從前述座標中之基準位置及第n個檢測位置的差來運算眼球的第n個移動量，且從前述基準角度與前述第n個檢測角度的差來運算眼球之第n個旋轉角度的步驟；以及 (k)使前述n=n+1，而執行上述(g)至(j)的步驟，從所輸入的第(n+1)個血管影像檢測用圖像檢測出第(n+1)個匹配血管影像，且進一步重複第(n+1)個移動量及第(n+1)個旋轉角度的運算處理的步驟。

Images