TW201035813A - Pupil tracking method and system, and correction method and correction module for pupil tracking - Google Patents

Pupil tracking method and system, and correction method and correction module for pupil tracking Download PDF

Info

Publication number
TW201035813A
TW201035813A TW98110204A TW98110204A TW201035813A TW 201035813 A TW201035813 A TW 201035813A TW 98110204 A TW98110204 A TW 98110204A TW 98110204 A TW98110204 A TW 98110204A TW 201035813 A TW201035813 A TW 201035813A
Authority
TW
Taiwan
Prior art keywords
pupil
angle
correction
image
coordinate
Prior art date
Application number
TW98110204A
Other languages
English (en)
Other versions
TWI398796B (zh
Inventor
xin-min Zhao
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Priority to TW98110204A priority Critical patent/TWI398796B/zh
Priority to US12/550,245 priority patent/US8135173B2/en
Priority to JP2009261827A priority patent/JP5211018B2/ja
Publication of TW201035813A publication Critical patent/TW201035813A/zh
Application granted granted Critical
Publication of TWI398796B publication Critical patent/TWI398796B/zh

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

201035813 - 六、發明說明: 【發明所屬之技術領域】 * 本發明是有關於一種瞳孔追蹤方法,特別是指—種應 用特殊校正技術而提高準確度的曈孔追蹤方法。 【先前技術】 人眼追蹤(Eye tracking)技術常見應用於操控電腦, 可發展作為漸凍人或肢體不便之人士透過電腦與外界溝通 的輔具,或是心理研究之工具。此技術是指追蹤眼球的移 〇 動,得到眼球位置座標或移動軌跡,並據以對電腦產生某 種預設的控制指令。因此這方面技術首先必須能精準地j貞 測到眼球的移動,接著另一重點是必須能準確地轉換成電 腦產生控制指令所需的資料,例如將眼球位置轉換對應成 電腦顯示幕上的游標位置,否則將導致下錯控制指令。 已知人眼追蹤技術一般可區分為接觸式及非接觸式兩 大類。其中,接觸式人眼追蹤技術例如需使用者配帶特製 加入感應線圈之隱形眼鏡的搜尋線圈法;又例如需使用者 〇 在兩眼四周貼設電極的眼電圖法。至於非接觸式人眼追蹤 技術目前則例如有需配帶特殊設備的頭戴式(Headm〇um )及免頭戴式(Free-head)。前述頭戴式人眼追蹤技術,將 攝影機與光源架設在使用者頭上,利用攝影機擷取的眼球 影像推測視線位置,可排除使用者頭部移動造成的誤差; 免頭戴式人眼追縱技術則須克服使用者頭部移動造成誤差 的問題。 可理解的,由於接觸式人眼追蹤技術對使用者來說有 201035813 異物接觸,會帶來強烈的不舒適感;非接觸式的頭 眼追蹤技術’則是因為頭戴設備對使用者造成頭部承工受重 量、讓使用者感覺笨重。以上種類皆造成使用者使用上的 排斥感,姑且不論準確性及成本問題,基本上推廣不易。 免頭戴式人眼追蹤技術方面,雖主要有使用者頭部移 動造成誤差之問題需克服,但由於不會對使用者造成不舒 適感或承受額外負擔,業界大多朝此方向發展而各推出不 同追蹤方法’且大多以影像分析技術為基本工具。舉例來 說’美國第7,197,165B2號專利’揭露一種利用影像資料進 行眼球追蹤的方法,其利用一預先建立的頭部的三維電腦 模型,並尋找三維空間中定義為眼睛及眉毛的區域,將這 些區域投射到二維影像空間,然後藉由分析二維影像空間 的像素強度值找出眼球位置。此技術不但需事先建立使用 者頭部的三維電腦模型且追蹤運算方法複雜須配合強大 運算功能的處理器才有辦法降低處理時間,成本十分昂貴 不論何種人眼追蹤方法,開發者多著重在偵測眼球的 移動方面,且這方面已大多能達一定準確度,但在眼球座 標映射(mapping )到顯示幕座標的轉換方面則較不受重視 ,往往在這部分發生較多誤差。一般來說,第一次進行座 標轉換時會需要先進行校正,常見校正方法是令使用者觀 看顯示幕四個角落或上下左右邊緣’偵測到的眼球座標作 為校正點’將這些校正點視為正確而映射到顯示幕,爾後 使用者觀看顯示幕其餘位置時則以内插法計算投射到顯示 201035813 幕的位置1而,前述校正方法不僅校正點少整個顯示 m夕數位置的座標皆以内插求得,導致—旦其中一校 正點摘有偏差,則將產生大範圍的誤差影響,且這種直接 將眼球座標轉換為顯示幕餘的方式並未被驗證是較佳的 0 【發明内容】 因此,本發明之目的,即在提供一種提高準綠度且低 成本的瞳孔追蹤方法及系統。 Ο ❾ 本發月之再目的,在於提供-種用於瞳孔追蹤而可 提高準確度的校正方法及校正模組。 一&於疋本發明瞳孔追蹤方法,包含一影像擷取步驟、 “象刀析步驟、一圖形處理步驟,及一座標轉換步驟。 ”中影像擷取步驟是由一影像擷取裝置擷取一使用者之 眼睛影像畫面,該眼睛影像畫面中包括—曈孔及二反光點 的景w象景j象刀析步驟是由—影像分析模組依據該瞳孔與 該二反絲計算得到—㈣參數及—肖度參數。圖形處理 步驟由-與該影像分析模組連接的圖形處理模組進行,使 該面積參數及該角度參數標示於_角度_面積的平面圖,得 到一座落㈣角度面積平面圖的原始座標。最後的座標轉 步驟*肖該圖形處理模組連接的座標轉換模組進行 ’利用座標系統轉換方法使該角度_面積平面圖上的原始座 標轉換為一顯示幕游標座標。 本發月瞳孔追蹤系統,供將一使用者的視線轉換得到 T幕Jl㈣標位置’並包含—影像擷取裝置、一影像 201035813 分析模組、一圖形處理模組,及一座標轉換模組。 影像掘取裝置供擷取該使用者的眼睛影像畫面,該眼 睛影像晝面中包括一曈孔及二反光點的影像。 影像分析模組與該影像擷取裝置連接,自該眼睛影像 晝面中定位出該瞳孔及該二反光點,並依據該曈孔與該二 反光點計算得到一面積參數及一角度參數; 圖形處理模組與該影像分析模組連接,使該面積參數 及該角度參數標示於一角度_面積的平面圖,得到一座落於 該角度-面積平面圖的原始座標。 座標轉換模組與該圖形處理模組連接,利用座標系統 轉換方法使該角度·面積平面圖上的原始座標轉換為一顯示 幕游標座標。 一本發明是經實驗及大量數據驗證,發現使用者觀看顯 丁幕不同點時’所操取影像中曈孔與二反光點構成的參數 在角度面積平面圖上的分佈形狀,與顯示幕上應對點分佈 形狀取為吻合—例如’顯示幕輪廓呈一矩形,使用者觀看顯 不幕各個區塊或周緣或四個角落所得到在角度-面積平面圖 上的分佈形狀也十分接近矩形;相較於習知直接將瞳孔座 =觀看顯示幕周緣所得到的瞳孔座標,往往構成梯形或 等邊四邊形)映射到顯示幕座標,可大幅降低映射誤差 本發明瞳孔追蹤方法及李絲 A .. . 久恭統在第一次使用時,應先進 丁校正,校正方法包括以下步驟: 由一校正模組事先定義-顯示幕中第l~n校正點或校 201035813 . 正區塊,且該等校正點或校正區塊中的至少四個分別鄰近 該顯示幕的四個角落。 由一影像擷取裝置擷取第眼睛影像畫面,該等眼 睛〜像晝面疋該使用者分別注視該顯示幕的第校正點 或校正區塊時所對應擷取。 由一影像分析模組逐一地依據該第pn眼睛影像畫面 中的曈孔與反光點之連線計算得到對應的面積參數及角度 參數。 〇 由一圖形處理模組逐一地將該該第1〜η眼睛影像畫面 的面積參數及角度參數標示於該角度-面積平面圖,得到第 1〜η原始座標。 該校正模組使用與一座標轉換模組一致的座標系統轉 、法使忒第1〜η原始座標映射到該顯示幕的第1〜η校正 •點或&正區塊的座標,最後求得座標系統轉換公式中的係 數。 本發月用於曈孔追蹤的校正模組,包括一突顯控制器 Τ像控制器,及一計算器。突顯控制器使一顯示幕的 :義的第1〜η校正點或校正區塊依序被突顯而藉以提 醒該使用者注視,該等校正點或校正區塊中的至少四個分 郤近該顯不幕的四個角落。取像控制器在該突顯控制器 使其中一校正點或校正區塊被突顯時,對一影像擷取裝置 發出操取影像的控制訊號。計算器接收一來自一圖形處理 模組仔到的第1〜η原始座標的分佈範圍,該分佈範圍近似 矩形,並使該等原始座標映射到該顯示幕的校正區塊的座 7 201035813 標,最後求得座標系統轉換公式中的係數。 本發明之功效在於採用獨創的座標映射前處理一將曈孔 移動產生的角度參數、面積參數標示於角度_面積平面圖上 ,再以該角度-面積平面圖上的原始座標進行轉換,此時的 轉換過程’相當於兩個矩形之間的轉換,可大幅降低習知 由非矩开^轉矩形所導致的誤差,因此提高瞳孔追蹤的準確 度。 【實施方式】 有關本發明之前述及其他技術内容、特點與功效,在 以下配合參考圖式之一個較佳實施例的詳細說明中將可 清楚的呈現。 參閱圖1與圖2,本發明曈孔追蹤系統1〇〇是用以將一 使用者的視線轉換得到一顯示幕10上的游標位置,其較佳 實施例包含一影像擷取裝置2、二光源3、一包括有一影像 分析模組4及一圖形處理模組5的處理單元4〇、一座標轉 換模組6,及一校正模組7。前述處理單元4〇、座 組6,及校正模組7在本實施例,是當—與該顯示幕ι〇、= 接的電腦主機1的中央處理單元(圖未示)讀取並執行— 儲存於一記憶體的電腦可讀取程式後所產生,但不以此為 限,也可以是以積體電路或勒體方式在該電腦主機中實現 ,或者利用一與該電腦主機1連接的電子裝置(圖未一、 讀取並執行程式後產生,並將運算結果傳送至該電腦主機\ 以控制顯示幕10上的游標位置。 配合參閲圖5,該二光源3在使用者的眼睛中會形成二 201035813 - 個反光點31、32。影像擷取裝置2供擷取使用者的眼睛影 像畫面20,該眼睛影像晝面20中包括一曈孔30及該二反 • 光點31、32的影像。為了有助於影像分析模組4定位出瞳 孔3 0及反光點31、3 2影像,可先以紅外線投光器(圖未 示)對該使用者照射’再由影像擷取裝置2擷取該眼睛影 像畫面20。 影像分析模組4與影像擷取裝置2連接,其包括一定 ο 位器41,在本實施例是對眼睛影像畫面2〇進行二值化處理 (thresholding,又稱灰度分劃),使影像中灰度大於預設灰 度值的部分,調整為黑色;影像中灰度小於預設灰度值的 部分,調整為白色,藉此清楚找出瞳孔3〇 ;同樣地,藉由 調整預設的灰度值,可找出該二反光點31、32。影像^析 模組4還包括一面積參數計算器42及一角度參數計算器u ’分別依據該曈孔3G與該二反光點31、32計算得到一面 積參數及一角度參數。 〇 本發明之面積參數計算H 42計算面積參數的方法有二 苜其一 ’是假設曈孔30與反光點31、32三點不共線,計 ^點連線所形成之三角形的面積值。其二,是進一步考 頭部相對影像操取裝置2而前後移動的狀況下 時,㈣:問題,由於當使用者頭部較靠近影像棟取裝置2 二=料面2"該二反光點31、32的距離較大, 者碩部遠離影像擷取裝置2 店 SGgtm \ , 矿置2 6亥一反光點31、32 '、,也就是說使用者頭部的乡 盥反氺st u 呼1的移動導致在計算瞳孔30 ,'夂先點31、32構成的=鱼裉而拉。士 稱玖旳—角形面積時增加另-變數,因此 201035813 應將此變數消1 ;本實施例即考慮此誤差校正問題,實際 計算面積參數採用之方法是,針對瞳孔3〇與反光點3i、i 所形成的三角形面積除以一正規化因子,該正規化因子等 於該二反光點31、32的距離的平方除以 本發明之角度參數計算H 43計算㈣參數的方法有三 ,演算時擇定其令一種皆可得到準確的曈孔追蹤效果。其 一,以一橫向穿過瞳孔30中心的橫線L,以及瞳孔3〇與其 中一反光點31的連線,兩線所夾之角即為該角度參數。其 二,令橫線L以及瞳孔30與其中一反光點31的連線,兩 線所夾之角為第一角度αι,該橫線L以及曈孔3〇與其中另 一反光點32的連線所夾之角為第二角度a,第一角度%與 該第二角度h的平均值即為該角度參數一本實施例以下說 明及圖式是以此計算方式進行。其三,以瞳孔3〇為頂點, 瞳孔30與該二反光點31、32分別連線形成的夾角(相當 於(X2— α〗),即為該角度參數。 圖形處理模組5與影像分析模組4連接,使計算得到 的面積參數及角度參數分別當作一如圖7所示的角度-面積 的平面圖之縱軸及橫軸的變量,標示於其上,並得到對應 的座落於該角度-面積平面圖的原始座標(x,y)。 座標轉換模組6與圖形處理模組5連接,利用座標系 統轉換方法使該角度-面積平面圖上的原始座標(x,y)映射 到顯示幕10的游標座標(u,v)。在本實施例,座標轉換模 組6是採仿射轉換(affine transformation )方法進行座標轉 換。 10 201035813 ^在第一次使用時,需令使用者先觀看校正模組7預先 定義的顯示幕10中第!〜n校正點或校正區塊以進行校正, 藉此得到角度面積平面圖上的校正座標。本實施例是以圖 6所示的第1〜18校正區塊舉例說明,也就是n=i8,且顯示 幕W中第1〜18校正區塊是指由顯示幕1〇等分的3χ6的陣 列區塊。但不以此為限,只要該等校正點或校正區塊中的 至少四個分別鄰近顯示幕10的四個角落即可。
❹ 同時參閱圖2、圖3及圖6,第一次使用時的校正方式 =下’且主要主導校正的校正模,且7,包括一突顯控制器 7卜一取像控制器72’及—計算器73,其作用分述於下文 〇 藉:11 —突顯控制器71使第让校正區塊依序被突顯而 藉叫醒該使用者注視,其中k=1取像控 突顯控制器71使苴中一妨π:斤祕·+而β 你 置2發出操取影像的控制訊號^被犬顯時,對影像梅取裝 2。(=…㈣置2擁取得到第k眼睛影像晝面 :驟Sl3—影像分析模組4依據該第“艮 中的瞳孔30與反井點u ^ ~ 數。 反絲31、32計算得到面積參數及角度參 步驟Sl4—圖形處理模組5將面積參數及角度參 於角度-面積平面圖。 及角度參數標不 前述步驟Sn〜步嫌Q .A . 步驟S!4遞迴執行,直到k=n執 ,則可在角度-面積平面胃 ^ 卸圖上MU 1〜η原始座標(參考圖 201035813 7),該第1〜η原始座標即前述校正座標。 接著,在步驟Sls中,計算器73接收來自圖形處理模組 5的所有原始座標的分職圍,齡佈範圍近似矩形,並使 用仿射轉換法而如圖8所示使該等原始座標映射到該顯示幕 1〇的校正區塊的座標,可求得仿射轉換法的座標系統轉換公 式中的係數’以供後續該睹孔追瞰线⑽的座標轉換模组 6使用。 經校正後,使用者只要注視顯示幕10上任一位置,該 瞳孔追蹤系統100即執行如目4所示的流程,並說明如下 步驟S21—影像梅取裝i 2操取得到一眼睛影像畫面 。需說明的是,該影像擷取裝置2是連續取像,因此本步 驟所述掏取道的眼睛影像畫^時序中的-影像畫面。 步驟s22—影像分析模組4依據該眼睛影像畫面中的 瞳孔3〇與反光點31、32計算得到面積參數及角度參數。 步驟S23—圖形處理模組5將面積參數及角度參數標示 於角度-面積平面圖,得到角度·面積平面圖上的原始座標。 步驟S24-座標轉換漁6制座㈣統轉換方法使該 又面積平面圖上的原始座標映射到顯示幕游標座標。 由於左驗證發現,使用者觀看顯示幕不同點 瞳孔與二反光點構成的參數在角度.面積平面圖上 t佈形狀’與顯示幕上應對點分佈形狀最為吻合—例如, 靡呈一矩形,使用者觀看顯示幕各個區塊或周緣 次四個角落所得到在角度-面積平面圖上的分佈形狀也十分 12 201035813 . 接近矩形;因此本發明將瞳孔移動產生的角度參數、面積 參數標不於角度··面積平面圖上,再以該角度_面積平面圖上 的原始座標進行轉換,此時的轉換過程,相當於兩個矩形 之間的轉換,可大幅降低映射誤差,因此提高曈孔追蹤的 準確度’確實能達成本發明之目的。 惟以上所述者,僅為本發明之較佳實施例而已,當不 能以此限定本發明實施之範圍,即大凡依本發明申請專利 範圍及發明說明内容所作之簡單的等效變化與修飾,皆仍 Ο 屬本發明專利涵蓋之範圍内。 【圖式簡單說明】 圖1是一系統示意圖,說明本發明瞳孔追蹤系統之較 佳實施例; 圖2是一系統方塊圖,說明本實施例的詳細構成; 圖3是一流程圖,說明本實施例第一次使用時的校正 流程; 圖4是-流程圖,說明本實施例-般使用時的流程; U 圖5是-眼睛影像晝面的示意圖; 圖6是一顯示幕中定義出之校正區塊的示意圖; 圖7是一角度-面積平面圖,說明座落其上的i〜n個原 始座標以及任一點;及 、 圖8是兩座標系統之間轉換的示意圖。 13 201035813 【主要元件符號說明】 100........瞳孔追蹤系統 10..........顯示幕 1 ............電腦主機 2 ............影像擷取裝置 20..........眼睛影像畫面 3 ............光源 30..........瞳孔 31、32···反光點 4 ............影像分析模組 40..........處理單元 42 ..........面積參數計算器 43 ..........角度參數計算器 5 ...........圖形處理模組 6 ...........座標轉換模組 7 ...........校正模組 71 ..........突顯控制器 72 ..........取像控制器 73 ..........計算器
Si广Si5…步驟 S21〜S24…步驟 41..........定位器 14

Claims (1)

  1. 201035813 . 七、宇請專利範圍: -種瞳孔追縱方法,供將—使用者的視線轉換得到一顯 示幕上的游標位置,並包含·· —影像擷取步騾’由—影像擷取裝置擷取該使用者 之眼睛影像晝面,該眼睛影像畫面中包括一曈孔及二反 光點的影像;
    ⑺一處理步驟,由-處理單元依據該瞳孔與該二反光 點侍到一座落於-角度面積平面圖的原始座標;及 施指—座標轉換步驟,由—與該處理單元連接的座標轉 、、組進订’利用座標系統轉換方法使該角度-面積平面 圖上的原始座標轉換為一顯示幕游標座標。 依據申明專利範圍第i項所述之曈孔追蹤方法,盆中, 步驟包括一影像分析步驟,由-與該影像操取裝 之忒處理單兀的影像分析模組依 反一面積參數及一角度參數;及二 該影像分析模組連接之該處理單元的圖 藉拉組使該面積參數及該角度參數標示於該角度面 積平面圖而得到該原始座標。 依據申研專利範圍第2項所述之瞳孔追蹤方法,其中, 該影像分析步驟中,以一# 由、 穿過該眼睛影像晝面中的瞳孔 心的橫線,以及該瞳孔與其中一 所爽之角即為該角度參數。 的連線, 依據申請專利範圍第 該影像分析步驟中, 2項所述之瞳孔追蹤方法,其中, 以一穿過該目艮睛影#·畫面中的曈孔 15 201035813 中“的橫線,以及該瞳孔與其中一反光點的連線,兩線 所夾之角為第一角度’該橫線以及該瞳孔與其中另一反 光點的連線所失之角為第二角度,第一角度與該第二角 度的平均值即為該角度參數。 5·依據中請專利範圍第2項所述之瞳孔追蹤方法,其中, i t/像刀析步驟中’以該眼睛影像晝面中的曈孔為頂點 -玄瞳孔與該二反光點分別連線形成的爽角,即為該角 度參數。 ▲據申明專利圍第2項所述之瞳孔追蹤方法其中, 象刀析步驟中’該面積參數是指該暖孔與該二反光 點連線所形成之三角形的面積值。 7.依據中請專利範圍第2項所述之瞳孔追蹤方法,其卜 該影像分析步驟中,哕 έ ^積參數是指該瞳孔與該二反光 正…—角 積H正規化因子,該 8 I自該二反絲的距離平方計算得到的。 8·依據申請專利範圍第2 97 却 項所述之瞳孔追蹤方法,其中, 該影像分析步驟令,哕 、 % ^ ^ ^ Λ ^面積參數是指該曈孔與該二反光 ‘黏迷線所形成之三备 -r ig ^ 積值除以一正規化因子,該 規化因子等於該二反光 〇 ,. ^ , 尤點的距離平方除以2。 9.依據申請專利範圍第 ,苴中,T任項所述之瞳孔追礙方法 Η)依據申轉換步驟’是採仿射轉換方法進行。 依據申凊專利範圍帛1〜8中钮一“ ,在第+任—項所述之瞳孔追蹤方法 弟次使用時應進行如下校正: 由一校正模組定義一顯 幂中第1〜η校正點或校正 16 201035813 ' 區塊’且該等校正點或校正區塊中的至少四個分別鄰近 該顯示幕的四個角落; 由該影像擷取裝置擷取第丨〜!!眼睛影像畫面,該等 眼睛影像晝面是該使用者分別注視該顯示幕的卜^校正 點或校正區塊時所對應擷取; 由該處理單元逐一地依據該第1〜η眼睛影像畫面中 的瞳孔與反光點得到該角度-面積平面圖上的第1〜η原始 座標;及 C) 由s亥座標轉換模組使用與該座標轉換模組一致的座 標系統轉換方法使該等原始座標映射到該顯示幕的校正 點或校正區塊的座標。 11 ‘依據申請專利範圍第10項所述之瞳孔追蹤方法,其中在 進行校正的步驟中’該處理單元是以該第1〜η眼睛影像 畫面中的曈孔與反光點計算得到對應#面積參數及角度 參數,再逐一地標示於該角度-面積平面圖上而得到該第 1〜η原始座標。 〇 12·依據中請專利範圍第ig項所述之瞳孔追蹤方法,其中在 進仃校正的步驟中,該座標轉換模組使該等原始座標映 I顯示幕的校正點或校正區塊的座標,最後求得座 標系統轉換公式中的係數。 13.依據巾請專利範圍第1()項所述之瞳孔追蹤方法,其中, 亥不幕中帛1〜n校正區塊是指由該顯示幕等分的ixi 的陣列區塊,因此n=ij。 …』 種曈孔追縱系統,供將一使用者的視線轉換得到一顯 17 201035813 不幕上的游標位置,並包含: 一影像擷取裝置,供擷取該使用者的眼睛影像畫面 ,該眼睛影像畫面中包括-瞳孔及二反光點的影像; 處理單a,依據該瞳孔及該二反光點冑到一座落 於一角度-面積平面圖的原始座標;及 一座標轉換模組,與該處理單元連接,利用座標系 統轉換方法使該角度-面積平面圖上的原始座標轉換為一 顯示幕游標座標。 15. 依據申請專利範圍第14項所述之瞳孔追蹤系統其中, 該處理單元包括—與該影㈣取裝置連接的影像分析模 組,其自該眼睛影像畫面中定位出該曈孔及該二反光點 ,並依據該曈孔與該二反光點計算得到一面積參數及一 角度參數;及一與該影像分析模組連接的圖形處理模組 ,使該面積參數及該角度參數標示於該角度_面積平面圖 而得到該原始座標。 16. 依據申請專利範圍第15項所述之瞳孔追蹤系統,更包含 二光源’在該使用者的眼睛中形成該二反光點。 17. 依據申請專利範圍第15項所述之瞳孔追蹤系統,其中, 该影像分析模組是以一穿過該眼睛影像畫面中的曈孔中 心的橫線’以及該瞳孔與其中—反光點的連線,兩線所 夾之角即為該角度參數。 18 ·依據申請專利範圍第15項所述之瞳孔追縱系統,其中, 該影像分析模組是以一穿過該眼睛影像畫面中的瞳孔中 心的橫線’以及該瞳孔與其中一反光點的連線,兩線所 18 201035813 夾之角為第一角度’該橫線以及該瞳孔與其中另一反光 .、占的連線所夾之角為第二角度,第一角度與該第二角度 的平均值即為該角度參數。 19.依據申請專利範圍第15項所述之瞳孔追蹤系統,其中, 該影像分析模組是以該眼睛影像畫面中的瞳孔為頂點, 該瞳孔與該二反光點分別連線形成的夾角,即為該角度 參數。 Ο 〇 2〇·依據申請專利範圍第15項所述之曈孔追蹤系_ 、, 該景/像;7析模組计算之面積參數是指該瞳孔與該二反 光點連線所形成之三角形的面積值。 依據申„月專利範圍第丨5項所述之瞳孔追蹤系統,立中, 該影像分析模組計算之面積參數,是指該瞳孔與該二反 光點連線所形成之三角形的面積值除以__正規化因子, X正規化因子疋由該二反光點的距離平方計算得到的。 22·依據申請專利範圍第15項所述之瞳孔追縱系統,盆中, 該影像分析模組計算之面積參數,是指該曈孔與該二反 光點連線所形成之三㈣的面積值除以—正規化因子, 該正規化因子等於該二反光點的距離平方除以2。 23.依^申請專利範圍第14〜22中任一項所述之判斷瞳孔追 蹤…统’其中’該座標轉換模組,是採仿射轉換方法進 行座標轉換。 兴々邊進 24·依據申請專利範圍繁 统,Μ人 中任—項所述之瞳孔追蹤系 正:匕3—校正模组’在第一次使用時應進行如下校 19 201035813 該校正模組預先定義一 τ ^ 黍甲第1〜η校正點或校 正&塊,且該等校正點或校正 近該顯示幕的四個角落; 兔中的…個分別鄰 像?取裝置掏取第1〜Π眼睛影像畫面,該等眼 =「畫面是該使用者分別注視該顯示幕的“校正點 或校正區塊時所對應擷取; :處理單元逐一地依據該第h眼睛影像畫面中的 反光點得到該角度-面積平面圖上的第^原始座 標;及 :校正模組使用與該座標轉換模組一致的座標系統 轉換方法使該等原始座標映㈣該顯示幕的校正點或校 正區塊的座標。 A依據申請專利範圍第24項所述之曈孔追蹤系統更包含 衫像分析模組,在該校正過程中以該第Η眼睛影像 畫面中的瞳孔與反光點之連㈣算得到對應的面積參數 及角度參數,再由該圖形處理模組依據該面積參數及角 度參數逐一地標示於該角度_面積平面圖上而得到該第 1〜η原始座標。 26. 依據中請專利範圍第24項所述之瞳孔追蹤系統,其中, 該校正模組使該第i〜n原始座標映射到該顯示幕的校正 點或校正區塊的座標,最後求得座標系統轉換公式中的 係數。 27. 依據申請專利範圍第24項所述之瞳孔追蹤系統,其中, 該顯示幕中第1〜n校正區塊是指由該顯示幕等分的ixj- 20 201035813 的陣列區塊,因此η == ij。 ’包括以下步驟: 顯示幕中第1〜η校正點或 正區塊中的至少四個分別 28. —種用於瞳孔追蹤的校正方法 由一校正模組事先定義一 校正區塊,且該等校正點或校 鄰近該顯示幕的四個角落; 由一影像擷取裝置掏取第1〜η眼睛影像畫面,該等 眼睛影像晝面是該使用者分別注視該顯示幕的“校正 點或校正區塊時所對應擷取; 由一處理單元逐—地依據該第1〜η眼睛影像畫面中 的曈孔與反光點得到—角度_面積平面圖上的第Η原始 座標;及 該校正模組使用與—座標轉換额—致的座標系統 轉換方法使該等原始座標映射到該顯示幕的校正點或校 正區塊的座標。 29. 依據中請專利範圍第28項所述之用於瞳孔追蹤的校正方 法,疋由該處理單元的一影像分析模組逐一地依據該第 〇 1〜η眼睛影像晝面的瞳孔及該二反光點之連線計算得到 對應的面積參數及角度參數;再由該處理單元的一圖形 處理模組依據該面積參數及角度參數逐一地標示於該角 度-面積平面圖而得到該第1〜η原始座標。 30. 依據申請專利範圍第28項所述之用於曈孔追蹤的校正方 法’其中’該校正模組使該第原始座標映射到該顯 不幕的校正點或校正區塊的座標,最後求得座標系統轉 換公式中的係數。 21 201035813 3!.依據巾請專㈣圍第28項所述之歸耗追㈣校正方 法八中該顯不幕中第1〜n校正區塊是指由該顯示幕 等分的1XJ的陣列區塊,因此叫。 32.依射請專圍第28項料之詩耗追㈣校正方 法,其中,掏取該第^眼睛影像畫面之步驟,須配合 使^顯不幕的第Η校正點或校正區塊依序被突顯而藉 以提醒該使用者注視,在該使用者注視被突顯的校正點 或校正區塊時進行眼睛影像畫面之擷取。 33· —種用於瞳孔追蹤的校正模組,包括: 一突顯控制器,使-顯示幕的預先定義的第Kn校 正點或校正區塊依序被突顯而藉以提醒該使用者注視, 該等杈正點或校正區塊中的至少四個分別鄰近該 的四個角落; 参 一取像控制器 校正區塊被突顯時 控制訊號;及 ’在該突顯控制器使其中一校正點或 ’對一影像擷取裝置發出擷取影像的 一计算器,接收一來自一圖形處理模組得到的第 1〜η原始座標的分佈範圍,該分佈範圍近似矩形並使 該等原始座標映射到該顯示幕的校正區塊的座標。 34.依據申請專利範圍第33項所述之瞳孔追蹤系統,其中, 該計算器使該第i〜n原始座標映射到該顯示幕的校正點 或校正區塊的座標,最後求得座標系統轉換公 數。 的係 35·依據中請專利範圍第33項所述之用於睹孔追縱的校正模 22 201035813 組,其中,該第1〜η校正區塊是指由該顯示幕等分的ixj 的陣列區塊,因此η == i j。
    23
TW98110204A 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking TWI398796B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW98110204A TWI398796B (zh) 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
US12/550,245 US8135173B2 (en) 2009-03-27 2009-08-28 Eye-tracking method and eye-tracking system for implementing the same
JP2009261827A JP5211018B2 (ja) 2009-03-27 2009-11-17 視線追跡方法及び視線追跡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW98110204A TWI398796B (zh) 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking

Publications (2)

Publication Number Publication Date
TW201035813A true TW201035813A (en) 2010-10-01
TWI398796B TWI398796B (zh) 2013-06-11

Family

ID=42783781

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98110204A TWI398796B (zh) 2009-03-27 2009-03-27 Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking

Country Status (3)

Country Link
US (1) US8135173B2 (zh)
JP (1) JP5211018B2 (zh)
TW (1) TWI398796B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811369A1 (en) 2013-06-03 2014-12-10 Utechnzone Co., Ltd. Method of moving a cursor on a screen to a clickable object and a computer system and a computer program thereof
TWI557601B (zh) * 2015-10-30 2016-11-11 由田新技股份有限公司 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
CN106371565A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 基于眼部动作的控制方法及其应用的装置
TWI622901B (zh) * 2014-04-29 2018-05-01 惠普發展公司有限責任合夥企業 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
US10572009B2 (en) 2017-05-22 2020-02-25 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
TWI710250B (zh) * 2019-01-03 2020-11-11 見臻科技股份有限公司 針對眼球追蹤應用之校正方法
US11194392B2 (en) 2019-01-03 2021-12-07 Ganzin Technology, Inc. Method of calibrating eye-tracking application and related optical system

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Iptv 제어를 위한 원거리 시선 추적 장치 및 방법
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8632182B2 (en) 2011-05-05 2014-01-21 Sony Computer Entertainment Inc. Interface using eye tracking contact lenses
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9781360B2 (en) * 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN107427208B (zh) * 2015-03-03 2020-10-16 苹果公司 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
TWI617948B (zh) * 2015-07-24 2018-03-11 由田新技股份有限公司 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
WO2017113018A1 (en) 2015-12-31 2017-07-06 Mirametrix Inc. System and apparatus for gaze tracking
US10496166B2 (en) * 2016-04-12 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Eye tracking device and eye tracking method
US10181078B1 (en) 2016-11-07 2019-01-15 National Technology & Engineering Solutions Of Sandia, Llc Analysis and categorization of eye tracking data describing scanpaths
EP4016489A1 (en) * 2017-02-27 2022-06-22 Tobii AB Determining eye openness with an eye tracking device
US20180356885A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
TWI674518B (zh) * 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置
CN110648369B (zh) 2019-09-23 2022-07-19 京东方科技集团股份有限公司 视线计算模型参数的标定方法及装置
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63160633A (ja) * 1986-12-23 1988-07-04 日本電気株式会社 眼球運動検出装置
JP3289953B2 (ja) * 1991-05-31 2002-06-10 キヤノン株式会社 視線方向検出装置
JP3116638B2 (ja) * 1993-03-17 2000-12-11 日産自動車株式会社 覚醒状態検知装置
US5410376A (en) * 1994-02-04 1995-04-25 Pulse Medical Instruments Eye tracking method and apparatus
US5632742A (en) * 1994-04-25 1997-05-27 Autonomous Technologies Corp. Eye movement sensing method and system
JPH0844488A (ja) * 1994-07-29 1996-02-16 Toshiba Corp 投票端末オプション装置
JPH08136256A (ja) * 1994-11-04 1996-05-31 Nkk Corp 搬送台車の位置偏差及び角度偏差の計測装置
US6299307B1 (en) * 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
ATE223676T1 (de) * 1998-03-09 2002-09-15 Schwind Eye Tech Solutions Gmb Verfahren und vorrichtung zur untersuchung eines augenabschnittes
JP2000229067A (ja) * 1999-02-09 2000-08-22 Canon Inc 視線検出装置およびそれを備えた光学機器
JP2000254100A (ja) * 1999-03-05 2000-09-19 Canon Inc 眼底撮影装置
JP3789751B2 (ja) * 2000-12-26 2006-06-28 株式会社リコー 画像位置検査装置
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
JP2003070742A (ja) * 2001-08-31 2003-03-11 Japan Science & Technology Corp 視線検出装置及び視線検出方法
US7197165B2 (en) 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
JP2004213486A (ja) * 2003-01-07 2004-07-29 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7001377B1 (en) * 2003-12-22 2006-02-21 Alcon Refractivehorizons, Inc. Optical tracking system and associated methods
JP4385197B2 (ja) * 2004-03-02 2009-12-16 学校法人東海大学 眼球運動データ較正係数演算装置および眼球運動データ較正係数演算プログラム
JP2006095008A (ja) * 2004-09-29 2006-04-13 Gen Tec:Kk 視線検出方法
TW200632718A (en) * 2005-03-14 2006-09-16 Chung Shan Inst Of Science Image password lock system by tracking a biological or article characteristic position
TWI275977B (en) * 2005-07-07 2007-03-11 Chung Shan Inst Of Science Eye-controlled system of virtual keyboard
JP2007029126A (ja) * 2005-07-22 2007-02-08 System Artware:Kk 視線検出装置
JP4824420B2 (ja) * 2006-02-07 2011-11-30 アイテック株式会社 視線ベクトル検出方法及び同装置
JP2007232753A (ja) * 2006-02-27 2007-09-13 Eyemetrics Japan Co Ltd 眼鏡仕様設定装置及び視野検出装置
JP4831818B2 (ja) * 2006-04-14 2011-12-07 三菱重工業株式会社 光電変換層評価装置及び光電変換層の評価方法
JP2008186247A (ja) * 2007-01-30 2008-08-14 Oki Electric Ind Co Ltd 顔向き検出装置および顔向き検出方法
TWI335544B (en) * 2007-07-31 2011-01-01 Univ Nat Taiwan Science Tech Iris recognition system
TWI432172B (zh) * 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811369A1 (en) 2013-06-03 2014-12-10 Utechnzone Co., Ltd. Method of moving a cursor on a screen to a clickable object and a computer system and a computer program thereof
TWI622901B (zh) * 2014-04-29 2018-05-01 惠普發展公司有限責任合夥企業 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
US9983668B2 (en) 2014-04-29 2018-05-29 Hewlett-Packard Development Company, L.P. Gaze detector using reference frames in media
CN106371565A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 基于眼部动作的控制方法及其应用的装置
TWI557601B (zh) * 2015-10-30 2016-11-11 由田新技股份有限公司 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
US10572009B2 (en) 2017-05-22 2020-02-25 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
US10535284B2 (en) 2017-08-09 2020-01-14 Acer Incorporated Visual range mapping method and related eye tracking device and system
TWI710250B (zh) * 2019-01-03 2020-11-11 見臻科技股份有限公司 針對眼球追蹤應用之校正方法
US11194392B2 (en) 2019-01-03 2021-12-07 Ganzin Technology, Inc. Method of calibrating eye-tracking application and related optical system

Also Published As

Publication number Publication date
US20100245767A1 (en) 2010-09-30
TWI398796B (zh) 2013-06-11
US8135173B2 (en) 2012-03-13
JP5211018B2 (ja) 2013-06-12
JP2010230651A (ja) 2010-10-14

Similar Documents

Publication Publication Date Title
TW201035813A (en) Pupil tracking method and system, and correction method and correction module for pupil tracking
JP6264834B2 (ja) ガイド方法、情報処理装置およびガイドプログラム
AU2018268194B2 (en) Automatic alignment and orientation of digital 3D dental arch pairs
CN101872237B (zh) 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
JP6500355B2 (ja) 表示装置、表示プログラム、および表示方法
JP2016526742A (ja) 3次元顔モデルを生成するためのシステムおよび方法
US10839481B1 (en) Automatic marker-less alignment of digital 3D face and jaw models
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
CN112667078B (zh) 基于视线估计的多屏场景下鼠标快速控制方法、系统及计算机可读介质
WO2020223940A1 (zh) 姿势预测方法、计算机设备和存储介质
TW200947262A (en) Non-contact type cursor control method using human eye, pupil tracking system and storage media
CN110742631A (zh) 一种医学图像的成像方法和装置
JP2016103137A (ja) ユーザインタフェース装置、画像処理装置及び制御用プログラム
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN109377518A (zh) 目标追踪方法、装置、目标追踪设备及存储介质
AU2020449440B2 (en) Overlooking-type golf ball detection method, system and storage medium
JP2020006152A (ja) 頭部イメージ分析装置及びイメージ分析方法
Deligianni et al. Patient-specific bronchoscope simulation with pq-space-based 2D/3D registration
TW201234235A (en) Method and system for calculating calibration information for an optical touch apparatus
WO2021096503A1 (en) Foreshortening-distortion correction on faces
Cai et al. Assembling convolution neural networks for automatic viewing transformation
EP1410332B1 (en) Method for automatic tracking of a moving body
CN109284722A (zh) 图像处理方法、装置、人脸识别设备及存储介质
CN110858095A (zh) 可由头部操控的电子装置与其操作方法
TW201533609A (zh) 以輔助燈光相對位置為基礎之瞳孔定位方法、其系統以及其電腦程式產品