TWI398796B - Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking - Google Patents

Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking Download PDF

Info

Publication number
TWI398796B
TWI398796B TW98110204A TW98110204A TWI398796B TW I398796 B TWI398796 B TW I398796B TW 98110204 A TW98110204 A TW 98110204A TW 98110204 A TW98110204 A TW 98110204A TW I398796 B TWI398796 B TW I398796B
Authority
TW
Taiwan
Prior art keywords
pupil
angle
correction
image
points
Prior art date
Application number
TW98110204A
Other languages
English (en)
Other versions
TW201035813A (en
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Priority to TW98110204A priority Critical patent/TWI398796B/zh
Priority to US12/550,245 priority patent/US8135173B2/en
Priority to JP2009261827A priority patent/JP5211018B2/ja
Publication of TW201035813A publication Critical patent/TW201035813A/zh
Application granted granted Critical
Publication of TWI398796B publication Critical patent/TWI398796B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

瞳孔追蹤方法與系統，及用於瞳孔追蹤的校正方法與校正模組
本發明是有關於一種瞳孔追蹤方法，特別是指一種應用特殊校正技術而提高準確度的瞳孔追蹤方法。
人眼追蹤(Eye tracking)技術常見應用於操控電腦，可發展作為漸凍人或肢體不便之人士透過電腦與外界溝通的輔具，或是心理研究之工具。此技術是指追蹤眼球的移動，得到眼球位置座標或移動軌跡，並據以對電腦產生某種預設的控制指令。因此這方面技術首先必須能精準地偵測到眼球的移動，接著另一重點是必須能準確地轉換成電腦產生控制指令所需的資料，例如將眼球位置轉換對應成電腦顯示幕上的游標位置，否則將導致下錯控制指令。
已知人眼追蹤技術一般可區分為接觸式及非接觸式兩大類。其中，接觸式人眼追蹤技術例如需使用者配帶特製加入感應線圈之隱形眼鏡的搜尋線圈法；又例如需使用者在兩眼四周貼設電極的眼電圖法。至於非接觸式人眼追蹤技術目前則例如有需配帶特殊設備的頭戴式(Head-mount)及免頭戴式(Free-head)。前述頭戴式人眼追蹤技術，將攝影機與光源架設在使用者頭上，利用攝影機擷取的眼球影像推測視線位置，可排除使用者頭部移動造成的誤差；免頭戴式人眼追蹤技術則須克服使用者頭部移動造成誤差的問題。
可理解的，由於接觸式人眼追蹤技術對使用者來說有異物接觸，會帶來強烈的不舒適感；非接觸式的頭戴式人眼追蹤技術，則是因為頭戴設備對使用者造成頭部承受重量、讓使用者感覺笨重。以上種類皆造成使用者使用上的排斥感，姑且不論準確性及成本問題，基本上推廣不易。
免頭戴式人眼追蹤技術方面，雖主要有使用者頭部移動造成誤差之問題需克服，但由於不會對使用者造成不舒適感或承受額外負擔，業界大多朝此方向發展而各推出不同追蹤方法，且大多以影像分析技術為基本工具。舉例來說，美國第7,197,165B2號專利，揭露一種利用影像資料進行眼球追蹤的方法，其利用一預先建立的頭部的三維電腦模型，並尋找三維空間中定義為眼睛及眉毛的區域，將這些區域投射到二維影像空間，然後藉由分析二維影像空間的像素強度值找出眼球位置。此技術不但需事先建立使用者頭部的三維電腦模型且追蹤運算方法複雜，須配合強大運算功能的處理器才有辦法降低處理時間，成本十分昂貴。
不論何種人眼追蹤方法，開發者多著重在偵測眼球的移動方面，且這方面已大多能達一定準確度，但在眼球座標映射(mapping)到顯示幕座標的轉換方面則較不受重視，往往在這部分發生較多誤差。一般來說，第一次進行座標轉換時會需要先進行校正，常見校正方法是令使用者觀看顯示幕四個角落或上下左右邊緣，偵測到的眼球座標作為校正點，將這些校正點視為正確而映射到顯示幕，爾後使用者觀看顯示幕其餘位置時則以內插法計算投射到顯示幕的位置。然而，前述校正方法不僅校正點少，整個顯示幕絕大多數位置的座標皆以內插求得，導致一旦其中一校正點稍有偏差，則將產生大範圍的誤差影響，且這種直接將眼球座標轉換為顯示幕座標的方式並未被驗證是較佳的。
因此，本發明之目的，即在提供一種提高準確度且低成本的瞳孔追蹤方法及系統。
本發明之再一目的，在於提供一種用於瞳孔追蹤而可提高準確度的校正方法及校正模組。
於是，本發明瞳孔追蹤方法，包含一影像擷取步驟、一影像分析步驟、一圖形處理步驟，及一座標轉換步驟。其中，影像擷取步驟是由一影像擷取裝置擷取一使用者之眼睛影像畫面，該眼睛影像畫面中包括一瞳孔及二反光點的影像。影像分析步驟是由一影像分析模組依據該瞳孔與該二反光點計算得到一面積參數及一角度參數。圖形處理步驟由一與該影像分析模組連接的圖形處理模組進行，使該面積參數及該角度參數標示於一角度-面積的平面圖，得到一座落於該角度-面積平面圖的原始座標。最後的座標轉換步驟，由一與該圖形處理模組連接的座標轉換模組進行，利用座標系統轉換方法使該角度-面積平面圖上的原始座標轉換為一顯示幕游標座標。
本發明瞳孔追蹤系統，供將一使用者的視線轉換得到一顯示幕上的游標位置，並包含一影像擷取裝置、一影像分析模組、一圖形處理模組，及一座標轉換模組。
影像擷取裝置供擷取該使用者的眼睛影像畫面，該眼睛影像畫面中包括一瞳孔及二反光點的影像。
影像分析模組與該影像擷取裝置連接，自該眼睛影像畫面中定位出該瞳孔及該二反光點，並依據該瞳孔與該二反光點計算得到一面積參數及一角度參數；
圖形處理模組與該影像分析模組連接，使該面積參數及該角度參數標示於一角度-面積的平面圖，得到一座落於該角度-面積平面圖的原始座標。
座標轉換模組與該圖形處理模組連接，利用座標系統轉換方法使該角度-面積平面圖上的原始座標轉換為一顯示幕游標座標。
本發明是經實驗及大量數據驗證，發現使用者觀看顯示幕不同點時，所擷取影像中瞳孔與二反光點構成的參數在角度-面積平面圖上的分佈形狀，與顯示幕上應對點分佈形狀最為吻合-例如，顯示幕輪廓呈一矩形，使用者觀看顯示幕各個區塊或周緣或四個角落所得到在角度-面積平面圖上的分佈形狀也十分接近矩形；相較於習知直接將瞳孔座標(觀看顯示幕周緣所得到的瞳孔座標，往往構成梯形或非等邊四邊形)映射到顯示幕座標，可大幅降低映射誤差。
本發明瞳孔追蹤方法及系統在第一次使用時，應先進行校正，校正方法包括以下步驟：
由一校正模組事先定義一顯示幕中第1~n校正點或校正區塊，且該等校正點或校正區塊中的至少四個分別鄰近該顯示幕的四個角落。
由一影像擷取裝置擷取第1~n眼睛影像畫面，該等眼睛影像畫面是該使用者分別注視該顯示幕的第1~n校正點或校正區塊時所對應擷取。
由一影像分析模組逐一地依據該第1~n眼睛影像畫面中的瞳孔與反光點之連線計算得到對應的面積參數及角度參數。
由一圖形處理模組逐一地將該該第1~n眼睛影像畫面的面積參數及角度參數標示於該角度-面積平面圖，得到第1~n原始座標。
該校正模組使用與一座標轉換模組一致的座標系統轉換方法使該第1~n原始座標映射到該顯示幕的第1~n校正點或校正區塊的座標，最後求得座標系統轉換公式中的係數。
本發明用於瞳孔追蹤的校正模組，包括一突顯控制器、一取像控制器，及一計算器。突顯控制器使一顯示幕的預先定義的第1~n校正點或校正區塊依序被突顯而藉以提醒該使用者注視，該等校正點或校正區塊中的至少四個分別鄰近該顯示幕的四個角落。取像控制器在該突顯控制器使其中一校正點或校正區塊被突顯時，對一影像擷取裝置發出擷取影像的控制訊號。計算器接收一來自一圖形處理模組得到的第1~n原始座標的分佈範圍，該分佈範圍近似矩形，並使該等原始座標映射到該顯示幕的校正區塊的座標，最後求得座標系統轉換公式中的係數。
本發明之功效在於採用獨創的座標映射前處理-將瞳孔移動產生的角度參數、面積參數標示於角度-面積平面圖上，再以該角度-面積平面圖上的原始座標進行轉換，此時的轉換過程，相當於兩個矩形之間的轉換，可大幅降低習知由非矩形轉矩形所導致的誤差，因此提高瞳孔追蹤的準確度。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一個較佳實施例的詳細說明中，將可清楚的呈現。
參閱圖1與圖2，本發明瞳孔追蹤系統100是用以將一使用者的視線轉換得到一顯示幕10上的游標位置，其較佳實施例包含一影像擷取裝置2、二光源3、一包括有一影像分析模組4及一圖形處理模組5的處理單元40，一座標轉換模組6，及一校正模組7。前述處理單元40、座標轉換模組6，及校正模組7在本實施例，是當一與該顯示幕10連接的電腦主機1的中央處理單元(圖未示)讀取並執行一儲存於一記憶體的電腦可讀取程式後所產生，但不以此為限，也可以是以積體電路或韌體方式在該電腦主機中實現，或者利用一與該電腦主機1連接的電子裝置(圖未示)讀取並執行程式後產生，並將運算結果傳送至該電腦主機1以控制顯示幕10上的游標位置。
配合參閱圖5，該二光源3在使用者的眼睛中會形成二個反光點31、32。影像擷取裝置2供擷取使用者的眼睛影像畫面20，該眼睛影像畫面20中包括一瞳孔30及該二反光點31、32的影像。為了有助於影像分析模組4定位出瞳孔30及反光點31、32影像，可先以紅外線投光器(圖未示)對該使用者照射，再由影像擷取裝置2擷取該眼睛影像畫面20。
影像分析模組4與影像擷取裝置2連接，其包括一定位器41，在本實施例是對眼睛影像畫面20進行二值化處理(thresholding，又稱灰度分劃)，使影像中灰度大於預設灰度值的部分，調整為黑色；影像中灰度小於預設灰度值的部分，調整為白色，藉此清楚找出瞳孔30；同樣地，藉由調整預設的灰度值，可找出該二反光點31、32。影像分析模組4還包括一面積參數計算器42及一角度參數計算器43，分別依據該瞳孔30與該二反光點31、32計算得到一面積參數及一角度參數。
本發明之面積參數計算器42計算面積參數的方法有二：其一，是假設瞳孔30與反光點31、32三點不共線，計算三點連線所形成之三角形的面積值。其二，是進一步考慮使用者的頭部相對影像擷取裝置2而前後移動的狀況下的誤差校正問題；由於當使用者頭部較靠近影像擷取裝置2時，眼睛影像畫面20中該二反光點31、32的距離較大，隨著使用者頭部遠離影像擷取裝置2，該二反光點31、32距離變小，也就是說使用者頭部的移動導致在計算瞳孔30與反光點31、32構成的三角形面積時增加另一變數，因此 應將此變數消弭；本實施例即考慮此誤差校正問題，實際計算面積參數採用之方法是，針對瞳孔30與反光點31、32所形成的三角形面積除以一正規化因子，該正規化因子等於該二反光點31、32的距離的平方除以2。
本發明之角度參數計算器43計算角度參數的方法有三，演算時擇定其中一種皆可得到準確的瞳孔追蹤效果。其一，以一橫向穿過瞳孔30中心的橫線L，以及瞳孔30與其中一反光點31的連線，兩線所夾之角即為該角度參數。其二，令橫線L以及瞳孔30與其中一反光點31的連線，兩線所夾之角為第一角度α1 ，該橫線L以及瞳孔30與其中另一反光點32的連線所夾之角為第二角度α2 ，第一角度α1 與該第二角度α2 的平均值即為該角度參數-本實施例以下說明及圖式是以此計算方式進行。其三，以瞳孔30為頂點，瞳孔30與該二反光點31、32分別連線形成的夾角(相當於α2 -α1 )，即為該角度參數。須說明的是，本實施例是以瞳孔30中心(參照圖5所示)作為連線的參考點，應可理解本發明不以此為限，例如也可以以瞳孔30上緣作為連線參考點，只要每個連線的瞳孔參考點相同即可。而反光點31、32原則上分別為一個「點」，實際上大小不拘，也就是說可能是「面」，則連線的處理原則與瞳孔相同。
圖形處理模組5與影像分析模組4連接，使計算得到的面積參數及角度參數分別當作一如圖7所示的角度-面積的平面圖之縱軸及橫軸的變量，標示於其上，並得到對應的座落於該角度-面積平面圖的原始座標(x,y)。
座標轉換模組6與圖形處理模組5連接，利用座標系統轉換方法使該角度-面積平面圖上的原始座標(x,y)映射到顯示幕10的游標座標(u,v)。在本實施例，座標轉換模組6是採仿射轉換(affine transformation)方法進行座標轉換。
在第一次使用時，需令使用者先觀看校正模組7預先定義的顯示幕10中第1~n校正點或校正區塊以進行校正，藉此得到角度-面積平面圖上的校正座標。本實施例是以圖6所示的第1~18校正區塊舉例說明，也就是n=18，且顯示幕10中第1~18校正區塊是指由顯示幕10等分的3×6的陣列區塊。但不以此為限，只要該等校正點或校正區塊中的至少四個分別鄰近顯示幕10的四個角落即可。
同時參閱圖2、圖3及圖6，第一次使用時的校正方式如下，且主要主導校正的校正模組7，包括一突顯控制器71、一取像控制器72，及一計算器73，其作用分述於下文。
步驟S11 -突顯控制器71使第k校正區塊依序被突顯而藉以提醒該使用者注視，其中k=1~18。取像控制器72在突顯控制器71使其中一校正區塊被突顯時，對影像擷取裝置2發出擷取影像的控制訊號。
步驟S12 -影像擷取裝置2擷取得到第k眼睛影像畫面20(圖5)。
步驟S13 -影像分析模組4依據該第k眼睛影像畫面20中的瞳孔30與反光點31、32計算得到面積參數及角度參 數。
步驟S14 -圖形處理模組5將面積參數及角度參數標示於角度-面積平面圖。
前述步驟S11 ~步驟S14 遞迴執行，直到k=n執行完畢，則可在角度-面積平面圖上得到第1~n原始座標(參考圖7)，該第1~n原始座標即前述校正座標。
接著，在步驟S15 中，計算器73接收來自圖形處理模組5的所有原始座標的分佈範圍，該分佈範圍近似矩形，並使用仿射轉換法而如圖8所示使該等原始座標映射到該顯示幕10的校正區塊的座標，可求得仿射轉換法的座標系統轉換公式中的係數，以供後續該瞳孔追蹤系統100的座標轉換模組6使用。
經校正後，使用者只要注視顯示幕10上任一位置，該瞳孔追蹤系統100即執行如圖4所示的流程，並說明如下：
步驟S21 -影像擷取裝置2擷取得到一眼睛影像畫面20。需說明的是，該影像擷取裝置2是連續取像，因此本步驟所述擷取道的眼睛影像畫面是時序中的一影像畫面。
步驟S22 -影像分析模組4依據該眼睛影像畫面20中的瞳孔30與反光點31、32計算得到面積參數及角度參數。
步驟S23 -圖形處理模組5將面積參數及角度參數標示於角度-面積平面圖，得到角度-面積平面圖上的原始座標。
步驟S24 -座標轉換模組6利用座標系統轉換方法使該角度-面積平面圖上的原始座標映射到顯示幕游標座標。
由於經驗證發現，使用者觀看顯示幕不同點時，所擷取影像中瞳孔與二反光點構成的參數在角度-面積平面圖上的分佈形狀，與顯示幕上應對點分佈形狀最為吻合-例如，顯示幕輪廓呈一矩形，使用者觀看顯示幕各個區塊或周緣或四個角落所得到在角度-面積平面圖上的分佈形狀也十分接近矩形；因此本發明將瞳孔移動產生的角度參數、面積參數標示於角度-面積平面圖上，再以該角度-面積平面圖上的原始座標進行轉換，此時的轉換過程，相當於兩個矩形之間的轉換，可大幅降低映射誤差，因此提高瞳孔追蹤的準確度，確實能達成本發明之目的。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
100‧‧‧瞳孔追蹤系統
42‧‧‧面積參數計算器
10‧‧‧顯示幕
43‧‧‧角度參數計算器
1‧‧‧電腦主機
5‧‧‧圖形處理模組
2‧‧‧影像擷取裝置
6‧‧‧座標轉換模組
20‧‧‧眼睛影像畫面
7‧‧‧校正模組
3‧‧‧光源
71‧‧‧突顯控制器
30‧‧‧瞳孔
72‧‧‧取像控制器
31、32‧‧‧反光點
73‧‧‧計算器
4‧‧‧影像分析模組
S11 ~S15 ‧‧‧步驟
40‧‧‧處理單元
S21 ~S24 ‧‧‧步驟
41‧‧‧定位器
圖1是一系統示意圖，說明本發明瞳孔追蹤系統之較佳實施例；圖2是一系統方塊圖，說明本實施例的詳細構成；圖3是一流程圖，說明本實施例第一次使用時的校正流程；圖4是一流程圖，說明本實施例一般使用時的流程；圖5是一眼睛影像畫面的示意圖；圖6是一顯示幕中定義出之校正區塊的示意圖；圖7是一角度-面積平面圖，說明座落其上的1~n個原 始座標以及任一點；及圖8是兩座標系統之間轉換的示意圖。
100．．．瞳孔追蹤系統
10．．．顯示幕
1．．．電腦主機
2．．．影像擷取裝置
3．．．光源
4．．．影像分析模組
40．．．處理單元
5．．．圖形處理模組
6．．．座標轉換模組
7．．．校正模組

Claims (30)

  1. 一種瞳孔追蹤方法，由一瞳孔追蹤系統執行，該瞳孔追蹤系統包括一影像擷取裝置、二光源、一處理單元及一座標轉換模組，利用一使用者的眼睛的瞳孔位置分析轉換得到一顯示幕上的游標位置，並包含：一影像擷取步驟，由該影像擷取裝置擷取該使用者之眼睛影像畫面，該眼睛影像畫面中包括一瞳孔及二反光點的影像，該二反光點是因為該二光源映入該使用者的眼睛而形成；一處理步驟，由一處理單元依據該瞳孔與該二反光點於該眼睛影像畫面中的相對位置決定一角度及一面積，進而得到一座落於一角度-面積平面圖的原始座標；及一座標轉換步驟，由一與該處理單元連接的座標轉換模組進行，利用座標系統轉換方法使該角度-面積平面圖上的原始座標轉換為一顯示幕游標座標。
  2. 依據申請專利範圍第1項所述之瞳孔追蹤方法，其中，該處理步驟包括一影像分析步驟，由一與該影像擷取裝置連接之該處理單元的影像分析模組依據該瞳孔與該二反光點於該眼睛影像畫面中之相對位置計算得到一面積參數及一角度參數；及一圖形處理步驟，由一與該影像分析模組連接之該處理單元的圖形處理模組使該面積參數及該角度參數標示於該角度-面積平面圖而得到該原始座標。
  3. 依據申請專利範圍第2項所述之瞳孔追蹤方法，其中， 該影像分析步驟中，以一穿過該眼睛影像畫面中的瞳孔的一參考點的橫線，以及該眼睛影像畫面中的瞳孔參考點與其中一反光點的連線，兩線所夾之角即為該角度參數。
  4. 依據申請專利範圍第2項所述之瞳孔追蹤方法，其中，該影像分析步驟中，以一穿過該眼睛影像畫面中的瞳孔的一參考點的橫線，以及該瞳孔參考點與其中一反光點的連線，兩線所夾之角為第一角度，該橫線以及該瞳孔參考點與其中另一反光點的連線所夾之角為第二角度，第一角度與該第二角度的平均值即為該角度參數。
  5. 依據申請專利範圍第2項所述之瞳孔追蹤方法，其中，該影像分析步驟中，以該眼睛影像畫面中的瞳孔的一參考點為頂點，該瞳孔參考點與該二反光點分別連線形成的夾角，即為該角度參數。
  6. 依據申請專利範圍第2項所述之瞳孔追蹤方法，其中，該影像分析步驟中，該面積參數是指該瞳孔的一參考點與該二反光點連線所形成之三角形的面積值。
  7. 依據申請專利範圍第2項所述之瞳孔追蹤方法，其中，該影像分析步驟中，該面積參數是指該瞳孔的一參考點與該二反光點連線所形成之三角形的面積值除以一正規化因子，該正規化因子是由該二反光點的距離平方計算得到的。
  8. 依據申請專利範圍第2項所述之瞳孔追蹤方法，其中，該影像分析步驟中，該面積參數是指該瞳孔的一參考點 與該二反光點連線所形成之三角形的面積值除以一正規化因子，該正規化因子等於該二反光點的距離平方除以2。
  9. 依據申請專利範圍第1~8中任一項所述之瞳孔追蹤方法，其中，該座標轉換步驟，是採仿射轉換方法進行。
  10. 依據申請專利範圍第1~8中任一項所述之瞳孔追蹤方法，所述瞳孔追蹤系統還包括一校正模組，且所述顯示幕為矩形；在第一次執行該方法時，進行如下校正步驟：由該校正模組定義該顯示幕中第1~n校正點或校正區塊，n為至少為4的正整數，且該等校正點或校正區塊中的至少四個分別鄰近該顯示幕的四個角落；由該影像擷取裝置擷取第1~n眼睛影像畫面，該等眼睛影像畫面是該使用者分別注視該顯示幕的1~n校正點或校正區塊時所對應擷取；由該處理單元逐一地依據該第1~n眼睛影像畫面中的瞳孔與該二反光點的相對位置決定一角度及一面積，進而得到該角度-面積平面圖上的第1~n原始座標；及由該校正模組使用與該座標轉換模組一致的座標系統轉換方法使該等原始座標映射到該顯示幕的校正點或校正區塊的座標，以求得座標系統轉換方法中的座標系統轉換公式中的係數。
  11. 依據申請專利範圍第10項所述之瞳孔追蹤方法，其中在進行校正的步驟中，該處理單元是以該第1~n眼睛影像畫面中的瞳孔與反光點的連線計算得到對應的面積參數 及角度參數，再逐一地標示於該角度-面積平面圖上而得到該第1~n原始座標。
  12. 依據申請專利範圍第10項所述之瞳孔追蹤方法，其中，該顯示幕中第1~n校正區塊是指由該顯示幕等分的i×j的陣列區塊，因此n=ij，其中i及j分別為至少為2的正整數。
  13. 一種瞳孔追蹤系統，利用一使用者的眼睛的瞳孔位置分析轉換得到一顯示幕上的游標位置，並包含：二光源；一影像擷取裝置，供擷取該使用者的眼睛影像畫面，該眼睛影像畫面中包括一瞳孔及二反光點的影像，該二反光點是因為該二光源映入該使用者的眼睛而形成；一處理單元，依據該瞳孔及該二反光點於該眼睛影像畫面中的相對位置決定一角度及一面積，進而得到一座落於一角度-面積平面圖的原始座標；及一座標轉換模組，與該處理單元連接，利用座標系統轉換方法使該角度-面積平面圖上的原始座標轉換為一顯示幕游標座標。
  14. 依據申請專利範圍第13項所述之瞳孔追蹤系統，其中，該處理單元包括一與該影像擷取裝置連接的影像分析模組，其自該眼睛影像畫面中定位出該瞳孔及該二反光點，並依據該瞳孔與該二反光點於該眼睛影像畫面中之相對位置計算得到一面積參數及一角度參數；及一與該影像分析模組連接的圖形處理模組，使該面積參數及該角 度參數標示於該角度-面積平面圖而得到該原始座標。
  15. 依據申請專利範圍第14項所述之瞳孔追蹤系統，其中，該影像分析模組是以一穿過該眼睛影像畫面中的瞳孔的一參考點的橫線，以及該眼睛影像畫面中的瞳孔參考點與其中一反光點的連線，兩線所夾之角即為該角度參數。
  16. 依據申請專利範圍第14項所述之瞳孔追蹤系統，其中，該影像分析模組是以一穿過該眼睛影像畫面中的瞳孔的一參考點的橫線，以及該瞳孔參考點與其中一反光點的連線，兩線所夾之角為第一角度，該橫線以及該瞳孔參考點與其中另一反光點的連線所夾之角為第二角度，第一角度與該第二角度的平均值即為該角度參數。
  17. 依據申請專利範圍第14項所述之瞳孔追蹤系統，其中，該影像分析模組是以該眼睛影像畫面中的瞳孔的一參考點為頂點，該瞳孔參考點與該二反光點分別連線形成的夾角，即為該角度參數。
  18. 依據申請專利範圍第14項所述之瞳孔追蹤系統，其中，該影像分析模組計算之面積參數，是指該瞳孔的一參考點與該二反光點連線所形成之三角形的面積值。
  19. 依據申請專利範圍第14項所述之瞳孔追蹤系統，其中，該影像分析模組計算之面積參數，是指該瞳孔的一參考點與該二反光點連線所形成之三角形的面積值除以一正規化因子，該正規化因子是由該二反光點的距離平方計算得到的。
  20. 依據申請專利範圍第14項所述之瞳孔追蹤系統，其中，該影像分析模組計算之面積參數，是指該瞳孔的一參考點與該二反光點連線所形成之三角形的面積值除以一正規化因子，該正規化因子等於該二反光點的距離平方除以2。
  21. 依據申請專利範圍第13~20中任一項所述之瞳孔追蹤系統，其中，該座標轉換模組，是採仿射轉換方法進行座標轉換。
  22. 依據申請專利範圍第14~20中任一項所述之瞳孔追蹤系統，更包含一校正模組，且所述顯示幕為矩形；在第一次執行時進行如下校正步驟：該校正模組預先定義該顯示幕中第1~n校正點或校正區塊，n為至少為4的正整數，且該等校正點或校正區塊中的至少四個分別鄰近該顯示幕的四個角落；該影像擷取裝置擷取第1~n眼睛影像畫面，該等眼睛影像畫面是該使用者分別注視該顯示幕的1~n校正點或校正區塊時所對應擷取；該處理單元逐一地依據該第1~n眼睛影像畫面中的瞳孔與該二反光點的相對位置決定一角度及一面積，進而得到該角度-面積平面圖上的第1~n原始座標；及該校正模組使用與該座標轉換模組一致的座標系統轉換方法使該等原始座標映射到該顯示幕的校正點或校正區塊的座標，以求得座標系統轉換方法中的座標系統轉換公式中的係數。
  23. 依據申請專利範圍第22項所述之瞳孔追蹤系統，更包含一影像分析模組，在該校正過程中以該第1~n眼睛影像畫面中的瞳孔的一參考點與反光點之連線計算得到對應的面積參數及角度參數，再由該圖形處理模組依據該面積參數及角度參數逐一地標示於該角度-面積平面圖上而得到該第1~n原始座標。
  24. 依據申請專利範圍第22項所述之瞳孔追蹤系統，其中，該顯示幕中第1~n校正區塊是指由該顯示幕等分的i×j的陣列區塊，因此n=ij，其中i及j分別為至少為2的正整數。
  25. 一種用於瞳孔追蹤的校正方法，由請求項22所述的瞳孔追蹤系統執行，並包括以下步驟：該校正模組事先定義該顯示幕中第1~n校正點或校正區塊，且該等校正點或校正區塊中的至少四個分別鄰近該顯示幕的四個角落；由該影像擷取裝置擷取第1~n眼睛影像畫面，該等眼睛影像畫面是該使用者分別注視該顯示幕的1~n校正點或校正區塊時所對應擷取；由該處理單元逐一地依據該第1~n眼睛影像畫面中的瞳孔與反光點得到一角度-面積平面圖上的第1~n原始座標；及該校正模組使用與該座標轉換模組一致的座標系統轉換方法使該等原始座標映射到該顯示幕的校正點或校正區塊的座標。
  26. 依據申請專利範圍第25項所述之用於瞳孔追蹤的校正方法，是由該處理單元的一影像分析模組逐一地依據該第1~n眼睛影像畫面的瞳孔的一參考點及該二反光點之連線計算得到對應的面積參數及角度參數；再由該處理單元的一圖形處理模組依據該面積參數及角度參數逐一地標示於該角度-面積平面圖而得到該第1~n原始座標。
  27. 依據申請專利範圍第25項所述之用於瞳孔追蹤的校正方法，其中，該顯示幕中第1~n校正區塊是指由該顯示幕等分的i×j的陣列區塊，因此n=ij，其中i及j分別為至少為2的正整數。
  28. 依據申請專利範圍第25項所述之用於瞳孔追蹤的校正方法，其中，擷取該第1~n眼睛影像畫面之步驟，須配合使該顯示幕的第1~n校正點或校正區塊依序被突顯而藉以提醒該使用者注視，在該使用者注視被突顯的校正點或校正區塊時進行眼睛影像畫面之擷取。
  29. 一種用於瞳孔追蹤的校正模組，與請求項14所述之瞳孔追蹤系統的影像擷取裝置，及圖形處理模組連接，並包括：一突顯控制器，使一顯示幕的預先定義的第1~n校正點或校正區塊依序被突顯而藉以提醒該使用者注視，所述顯示幕為矩形，n為至少為4的正整數，該等校正點或校正區塊中的至少四個分別鄰近該顯示幕的四個角落；一取像控制器，在該突顯控制器使其中一校正點或 校正區塊被突顯時，對該影像擷取裝置發出擷取影像的控制訊號；及一計算器，接收一來自該圖形處理模組得到的第1~n原始座標的分佈範圍，該分佈範圍近似矩形，並使該等原始座標映射到該顯示幕的校正點或校正區塊的座標，以求得座標系統轉換方法中的座標系統轉換公式中的係數。
  30. 依據申請專利範圍第29項所述之用於瞳孔追蹤的校正模組，其中，該第1~n校正區塊是指由該顯示幕等分的i×j的陣列區塊，因此n=ij，其中i及j分別為至少為2的正整數。
TW98110204A 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking TWI398796B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW98110204A TWI398796B (zh) 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
US12/550,245 US8135173B2 (en) 2009-03-27 2009-08-28 Eye-tracking method and eye-tracking system for implementing the same
JP2009261827A JP5211018B2 (ja) 2009-03-27 2009-11-17 視線追跡方法及び視線追跡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW98110204A TWI398796B (zh) 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking

Publications (2)

Publication Number Publication Date
TW201035813A TW201035813A (en) 2010-10-01
TWI398796B true TWI398796B (zh) 2013-06-11

Family

ID=42783781

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98110204A TWI398796B (zh) 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking

Country Status (3)

Country Link
US (1) US8135173B2 (zh)
JP (1) JP5211018B2 (zh)
TW (1) TWI398796B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
TWI674518B (zh) * 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8632182B2 (en) * 2011-05-05 2014-01-21 Sony Computer Entertainment Inc. Interface using eye tracking contact lenses
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
TWI509463B (zh) 2013-06-03 2015-11-21 Utechzone Co Ltd 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品
US9781360B2 (en) * 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN106662911B (zh) * 2014-04-29 2020-08-11 惠普发展公司，有限责任合伙企业 在媒体中使用参考帧的注视检测器
US10354136B2 (en) * 2015-03-03 2019-07-16 Apple Inc. Head mounted eye tracking device and method for providing drift free eye tracking through a lens system
TWI617948B (zh) * 2015-07-24 2018-03-11 由田新技股份有限公司 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體
TWI533234B (zh) * 2015-07-24 2016-05-11 由田新技股份有限公司 基於眼部動作的控制方法及其應用之裝置
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
TWI557601B (zh) * 2015-10-30 2016-11-11 由田新技股份有限公司 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
CN108697321B (zh) 2015-12-31 2021-09-17 视译公司 用于在限定操作范围内进行视线跟踪的装置
WO2017179279A1 (ja) * 2016-04-12 2017-10-19 パナソニックＩｐマネジメント株式会社 視線測定装置および視線測定方法
US10181078B1 (en) 2016-11-07 2019-01-15 National Technology & Engineering Solutions Of Sandia, Llc Analysis and categorization of eye tracking data describing scanpaths
WO2018156366A1 (en) * 2017-02-27 2018-08-30 Tobii Ab Determining eye openness with an eye tracking device
CN108958473B (zh) 2017-05-22 2020-08-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US20180356885A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
CN111399633B (zh) 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法
TWI710250B (zh) * 2019-01-03 2020-11-11 見臻科技股份有限公司 針對眼球追蹤應用之校正方法
CN110648369B (zh) * 2019-09-23 2022-07-19 京东方科技集团股份有限公司 视线计算模型参数的标定方法及装置
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6299307B1 (en) * 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
US20040196433A1 (en) * 2001-08-15 2004-10-07 Durnell L.Aurence Eye tracking systems
US7001377B1 (en) * 2003-12-22 2006-02-21 Alcon Refractivehorizons, Inc. Optical tracking system and associated methods
TW200632718A (en) * 2005-03-14 2006-09-16 Chung Shan Inst Of Science Image password lock system by tracking a biological or article characteristic position
TWI275977B (en) * 2005-07-07 2007-03-11 Chung Shan Inst Of Science Eye-controlled system of virtual keyboard
TW200905577A (en) * 2007-07-31 2009-02-01 Univ Nat Taiwan Science Tech Iris recognition system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63160633A (ja) * 1986-12-23 1988-07-04 日本電気株式会社 眼球運動検出装置
JP3289953B2 (ja) * 1991-05-31 2002-06-10 キヤノン株式会社 視線方向検出装置
JP3116638B2 (ja) * 1993-03-17 2000-12-11 日産自動車株式会社 覚醒状態検知装置
US5410376A (en) * 1994-02-04 1995-04-25 Pulse Medical Instruments Eye tracking method and apparatus
US5632742A (en) * 1994-04-25 1997-05-27 Autonomous Technologies Corp. Eye movement sensing method and system
JPH0844488A (ja) * 1994-07-29 1996-02-16 Toshiba Corp 投票端末オプション装置
JPH08136256A (ja) * 1994-11-04 1996-05-31 Nkk Corp 搬送台車の位置偏差及び角度偏差の計測装置
ES2183447T3 (es) * 1998-03-09 2003-03-16 Medizinisches Laserzentrum Lub Procedimiento y dispositivo destinados a examinar un segmento ocular.
JP2000229067A (ja) * 1999-02-09 2000-08-22 Canon Inc 視線検出装置およびそれを備えた光学機器
JP2000254100A (ja) * 1999-03-05 2000-09-19 Canon Inc 眼底撮影装置
JP3789751B2 (ja) * 2000-12-26 2006-06-28 株式会社リコー 画像位置検査装置
JP2003070742A (ja) * 2001-08-31 2003-03-11 Japan Science & Technology Corp 視線検出装置及び視線検出方法
US7197165B2 (en) 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
JP2004213486A (ja) * 2003-01-07 2004-07-29 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4385197B2 (ja) * 2004-03-02 2009-12-16 学校法人東海大学 眼球運動データ較正係数演算装置および眼球運動データ較正係数演算プログラム
JP2006095008A (ja) * 2004-09-29 2006-04-13 Gen Tec:Kk 視線検出方法
JP2007029126A (ja) * 2005-07-22 2007-02-08 System Artware:Kk 視線検出装置
JP4824420B2 (ja) * 2006-02-07 2011-11-30 アイテック株式会社 視線ベクトル検出方法及び同装置
JP2007232753A (ja) * 2006-02-27 2007-09-13 Eyemetrics Japan Co Ltd 眼鏡仕様設定装置及び視野検出装置
JP4831818B2 (ja) * 2006-04-14 2011-12-07 三菱重工業株式会社 光電変換層評価装置及び光電変換層の評価方法
JP2008186247A (ja) * 2007-01-30 2008-08-14 Oki Electric Ind Co Ltd 顔向き検出装置および顔向き検出方法
TWI432172B (zh) * 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6299307B1 (en) * 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
US20040196433A1 (en) * 2001-08-15 2004-10-07 Durnell L.Aurence Eye tracking systems
US7001377B1 (en) * 2003-12-22 2006-02-21 Alcon Refractivehorizons, Inc. Optical tracking system and associated methods
TW200632718A (en) * 2005-03-14 2006-09-16 Chung Shan Inst Of Science Image password lock system by tracking a biological or article characteristic position
TWI275977B (en) * 2005-07-07 2007-03-11 Chung Shan Inst Of Science Eye-controlled system of virtual keyboard
TW200905577A (en) * 2007-07-31 2009-02-01 Univ Nat Taiwan Science Tech Iris recognition system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
US9672421B2 (en) 2013-10-04 2017-06-06 Utechzone Co., Ltd. Method and apparatus for recording reading behavior
TWI674518B (zh) * 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置

Also Published As

Publication number Publication date
JP5211018B2 (ja) 2013-06-12
JP2010230651A (ja) 2010-10-14
US8135173B2 (en) 2012-03-13
US20100245767A1 (en) 2010-09-30
TW201035813A (en) 2010-10-01

Similar Documents

Publication Publication Date Title
TWI398796B (zh) Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
WO2018126654A1 (zh) 显示系统和用于显示面板的驱动方法
CN101872237B (zh) 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
CN108958473B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
CN106066696B (zh) 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
WO2020035002A1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
EP3020023B1 (en) Systems and methods for producing a three-dimensional face model
US9519968B2 (en) Calibrating visual sensors using homography operators
CN107609516B (zh) 自适应眼动追踪方法
US20170374331A1 (en) Auto keystone correction and auto focus adjustment
US10540784B2 (en) Calibrating texture cameras using features extracted from depth images
CN102509303B (zh) 基于改进的结构相似度的二值化图像配准方法
US10831238B2 (en) Display method for flexible display screen and flexible display device
US10866635B2 (en) Systems and methods for capturing training data for a gaze estimation model
US20190073820A1 (en) Ray Tracing System for Optical Headsets
CN103217108B (zh) 一种眼镜架几何参数检测方法
US11915441B2 (en) Systems and methods for low compute depth map generation
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
US20200271447A1 (en) Stereo Camera
CN114360043B (zh) 模型参数标定方法、视线追踪方法、装置、介质及设备
US11080822B2 (en) Method, system and recording medium for building environment map
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera
CN110858095A (zh) 可由头部操控的电子装置与其操作方法