TWI819439B - 視線追蹤方法及應用其之視線追蹤裝置 - Google Patents

視線追蹤方法及應用其之視線追蹤裝置 Download PDF

Info

Publication number
TWI819439B
TWI819439B TW110147911A TW110147911A TWI819439B TW I819439 B TWI819439 B TW I819439B TW 110147911 A TW110147911 A TW 110147911A TW 110147911 A TW110147911 A TW 110147911A TW I819439 B TWI819439 B TW I819439B
Authority
TW
Taiwan
Prior art keywords
eye
camera
coordinate value
analyzed
coordinate
Prior art date
Application number
TW110147911A
Other languages
English (en)
Other versions
TW202326625A (zh
Inventor
藍于瀅
黃瑞峰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW110147911A priority Critical patent/TWI819439B/zh
Priority to US17/562,652 priority patent/US11487360B1/en
Publication of TW202326625A publication Critical patent/TW202326625A/zh
Application granted granted Critical
Publication of TWI819439B publication Critical patent/TWI819439B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Collating Specific Patterns (AREA)

Abstract

視線追蹤方法包括以下方法。首先，擷取待分析臉部影像。然後，判斷待分析臉部影像是否符合客製化三維臉部模型。若否，建立待分析臉部影像之客製化三維臉部模型。若是，取得待分析臉部影像之眼部區域影像。然後，根據客製化三維臉部模型及待分析臉部影像，取得頭部姿態資訊。然後，取得參考至一攝像器座標系之眼睛攝像座標值。然後，將眼睛攝像座標值轉換成參考至顯示畫面座標系之眼睛畫面座標值。然後，依據眼睛畫面座標值、頭部姿態資訊及眼球半徑，取得眼球中心點座標值，並據以取得視線投影點座標值。

Description

視線追蹤方法及應用其之視線追蹤裝置
本揭露有關於一種視線追蹤方法及應用其之視線追蹤裝置。
視線追蹤系統由於技術不斷的精進及平價化，目前已廣泛應用在醫療、零售、人機介面及遊戲各個領域，然大部分的系統往往存在了相當複雜且個人化的校正程序以達到其精準度，使其使用上相當不便。因此，如何提出一種能改善前述問題的新技術，是本領域業者不斷努力的目標。
本揭露係有關於一種視線追蹤方法及應用其之視線追蹤裝置，可改善前述習知問題。
根據本揭露之一實施例，提出一種視線追蹤方法。視線追蹤方法包括以下方法：一攝像器擷取一待分析攝像畫面，待分析攝像畫面包含一被拍攝者之一臉部之一待分析臉部影像；判斷待分析攝像畫面之一待分析臉部影像是否符合一客製化三維臉部模型；若待分析臉部影像不符合客製化三維臉部模型，透過一 客製化三維臉部建模流程，建立待分析臉部影像之客製化三維臉部模型；若待分析臉部影像符合客製化三維臉部模型，取得待分析臉部影像之一眼部區域影像；根據客製化三維臉部模型及待分析臉部影像，取得被拍攝者之一頭部之一頭部姿態資訊；取得眼部區域影像之一眼睛特徵點之一眼睛攝像座標值，其中眼睛攝像座標值參考至一攝像器座標系；將眼睛攝像座標值轉換成一眼睛畫面座標值，其中眼睛畫面座標值參考至一顯示畫面座標系；依據眼睛畫面座標值、頭部姿態資訊及一眼球半徑，取得被拍攝者之一眼球中心點座標值；以及，根據眼睛畫面座標值及眼球中心點座標值，取得被拍攝者之一視線投影點座標值。
根據本揭露之另一實施例，提出一種視線追蹤裝置。視線追蹤裝置包括一顯示器、一攝像器、一判斷單元、一建模單元及一分析單元。攝像器配置在顯示器且用以：擷取一待分析攝像畫面，待分析攝像畫面包含一被拍攝者之一臉部之一待分析臉部影像。判斷單元用以：判斷待分析攝像畫面之一待分析臉部影像是否符合一客製化三維臉部模型。建模單元，用以：若待分析臉部影像不符合客製化三維臉部模型，透過一客製化三維臉部建模流程，建立待分析臉部影像之客製化三維臉部模型。分析單元用以若待分析臉部影像符合客製化三維臉部模型，取得待分析臉部影像之一眼部區域影像；根據客製化三維臉部模型及待分析臉部影像，取得被拍攝者之一頭部之一頭部姿態資訊；取得眼部區域影像之一眼睛特徵點之一眼睛攝像座標值，其中眼睛攝像座標 值參考至一攝像器座標系；將眼睛攝像座標值轉換成一眼睛畫面座標值，其中眼睛畫面座標值參考至一顯示畫面座標系；依據眼睛畫面座標值、頭部姿態資訊及一眼球半徑，取得被拍攝者之一眼球中心點座標值；及，根據眼睛畫面座標值及眼球中心點座標值，取得被拍攝者之一視線投影點座標值。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100:視線追蹤裝置
110:顯示器
110s:顯示面
120:攝像器
130:判斷單元
140:建模單元
150:分析單元
CF:客製化三維臉部模型
C1~C4,S1~S4:邊界點
D:校正物件
DC1~DC8,DS1~DS8:座標點
h11~h33,hs,11~hs,33:元素
H:校正矩陣
d:相對距離
d1:第一距離
d2:第二距離
Ls:校正距離
M1:待分析攝像畫面
M2:待分析顯示畫面
M1’:物件攝像畫面
MF1:待分析臉部影像
MF1e:眼部區域影像
N1:調整因數
P1~P6:建模特徵點
ptc,pts:參數
R1,R2:區域
REB:眼球半徑
S110~S140,S134A~S134F,S210~S230:步驟
S1~S4,S1~S4G:邊界點
U1:被拍攝者
U1P71,U1P81:瞳孔中心點
U1P72,U1P82:眼睛中心點
U1P73,U1P83:眼球中心點
U1P1:左眼眼角點
U1P2:右眼眼角點
U1P3:中心點
U1P4:鼻尖點
U1P5:左嘴角點
U1P6:右嘴角點
Vg:視線投影點
VLR,VLL:視線
VgR,VgL:視線投影點
ω x :上下傾角
ω y :左右傾角
Xc-Yc-Zc:攝像器座標系
Xs-Ys-Zs:顯示畫面座標系
(DC1x,d1,DC1y,d1),(DC2x,d1,DC2y,d1),(DC3x,d1,DC3y,d1),(DC4x,d1,DC4y,d1),(DC1x,d2,DC1y,d2),(DC2x,d2,DC2y,d2),(DC3x,d2,DC3y,d2),(DC4x,d2,DC4y,d2)(x EP ',y EP '),(x EP ,y EP ,z EP ),(x EC ',y EC '),(x EC ,y EC ,z EC ),(x EB ,y EB ,z EB ),(x IP ,y IP ),(Cx,Cy),(C1x,C1y),(C2x,C2y),(C3x,C3y),(C4x,C4y),(DC1x,DC1y),(DC2x,DC2y),(DC3x,DC3y),(DC4x,DC4y),(Sx,Sy),(S1x,S1y),(S2x,S2y),(S3x,S3y),(S4x,S4y),(DS1x,DS1y),(DS2x,DS2y),(DS3x,DS3y),(DS4x,DS4y),(x_DC n ,y_DC n ):座標值
第1圖繪示依照本揭露一實施例之視線追蹤裝置之示意圖。
第2圖繪示第1圖之攝像器所擷取之待分析攝像畫面之示意圖。
第3A~3C圖繪示被拍攝者與第1圖之攝像器120於不同視角之示意圖。
第4圖繪示第1圖之視線追蹤裝置之視線追蹤方法流程圖。
第5A~5C圖繪示建立第2圖之待分析臉部影像之客製化三維臉部模型的過程示意圖。
第6圖繪示依照本揭露實施例之物件攝像座標點之初始座標值及物件顯示座標點之初始座標值之的取得流程圖。
第7A圖繪示依照本揭露一實施例之校正物件的示意圖。
第7B圖繪示第7A圖之校正物件與攝像器之相對位置示意圖。
第7C圖繪示第1圖之攝像器所擷取之物件攝像畫面之示意圖。
第7D圖繪示第7A圖之校正物件相對顯示器之顯示面之示意圖。
第8圖繪示第4圖之步驟S134之校正矩陣的取得流程圖。
請參照第1~3C圖，第1圖繪示依照本揭露一實施例之視線追蹤裝置100之示意圖，第2圖繪示第1圖之攝像器120所擷取之待分析攝像畫面M1之示意圖，第3A~3C圖繪示被拍攝者U1與第1圖之攝像器120於不同視角之示意圖。
如第1及2圖所示，視線追蹤裝置100包括顯示器110、攝像器120、判斷單元130、建模單元140及分析單元150。判斷單元130、建模單元140與分析單元150中至少二者可整合成單一單元。或者，判斷單元130、建模單元140與分析單元150中至少一者可整合於處理器(processor)或控制器(controller)。判斷單元130、建模單元140及/或分析單元150例如是軟體、韌體或硬體。判斷單元130、建模單元140及/或分析單元150中至少一者例如是由半導體製程所形成之實體電路(circuit)。
攝像器120配置在顯示器110且用以擷取一待分析攝像畫面M1，待分析攝像畫面M1包含被拍攝者U1之臉部之待分析臉部影像MF1。判斷單元130用以判斷待分析臉部影像MF1是否符合客製化三維臉部模型CF。建模單元140用以：若待分析臉部影像MF1不符合客製化三維臉部模型CF，透過一客製化三維臉部建模流程，建立待分析臉部影像MF1之客製化三維臉部模型 CF。分析單元150用以：(1).若待分析臉部影像MF1符合客製化三維臉部模型CF，取得待分析臉部影像MF1之眼部區域影像MF1e；(2).根據客製化三維臉部模型CF及待分析臉部影像MF1，透過運算取得待分析臉部影像MF1之頭部之頭部姿態資訊(如，第3A圖之被拍攝者U1之頭部之上下傾角ω x 及第3B圖之被拍攝者U1之頭部之左右傾角ω y )；(3).取得眼部區域影像MF1e之眼睛特徵點之眼睛攝像座標值(如，第2圖之左眼之瞳孔中心點U1P71之眼睛攝像座標值及眼睛中心點U1P72之眼睛攝像座標值，以及右眼之瞳孔中心點U1P81之眼睛攝像座標值及眼睛中心點U1P82之眼睛攝像座標值)，其中眼睛攝像座標值參考至一攝像器座標系Xc-Yc-Zc；(4).將眼睛之眼睛攝像座標值轉換成眼睛之一眼睛畫面座標值，其中眼睛畫面座標值參考至一顯示畫面座標系Xs-Ys-Zs(顯示畫面座標系Xs-Ys-Zs繪示於第3A~3C圖)；(5).依據眼睛之眼睛畫面座標值及眼球半徑REB，取得被拍攝者U1之眼球中心點座標值(如，第3B圖之左眼之眼球中心點U1P73之座標及右眼球中心點U1P83之座標)；以及；(6).根據眼睛之眼睛攝像座標值及眼球中心點座標值，取得被拍攝者U1之視線投影點Vg(視線投影點Vg繪示於第3B圖)。
取得視線投影點Vg後，顯示器110可顯示視線投影點Vg，以顯示被拍攝者U1的最新視線動態。
由於客製化三維臉部模型CF是針對被拍攝者U1客製化之臉部模型，因此視線追蹤裝置100所取得之待分析臉部影像 MF1之視線投影點Vg具有高的精、準度(即，視線追蹤裝置100所取得之視線投影點Vg相當接近被拍攝者U1的實際視線點)，且當被拍攝者U1尚未建立客製化三維臉部模型CF時，視線追蹤裝置100也會主動建立專屬於被拍攝者U1之客製化三維臉部模型CF。
以下介紹視線追蹤裝置100之視線追蹤方法。
請參照第4及5A~5C圖，第4圖繪示第1圖之視線追蹤裝置100之視線追蹤方法流程圖，而第5A~5C圖繪示建立第2圖之待分析臉部影像MF1之客製化三維臉部模型CF的過程示意圖。
在步驟S110中，如第2圖所示，攝像器120擷取待分析攝像畫面M1，待分析攝像畫面M1包含被拍攝者U1(被拍攝者U1繪示於第3A圖)之臉部之待分析臉部影像MF1。
在步驟S120中，判斷單元130判斷待分析攝像畫面M1之待分析臉部影像MF1是否符合客製化三維臉部模型CF。若待分析攝像畫面M1之待分析臉部影像MF1符合客製化三維臉部模型CF，流程進入步驟S130，取得待分析臉部影像MF1之視線投影點Vg。若待分析攝像畫面M1之待分析臉部影像MF1不符合客製化三維臉部模型CF，流程進入步驟S140，建立待分析臉部影像MF1之客製化三維臉部模型CF。
舉例來說，如第2圖所示，判斷單元130可分析待分析臉部影像MF1之數個特徵點，如68個特徵點，當中至少包含第2圖所示之左眼眼角點U1P1、右眼眼角點U1P2、二眉心之間的中心點U1P3、鼻尖點U1P4、左嘴角點U1P5、右嘴角點U1P6、左 眼之瞳孔中心點U1P71及眼睛中心點U1P72以及右眼之瞳孔中心點U1P81及眼睛中心點U1P82等，其中的左眼眼角點U1P1、右眼眼角點U1P2、二眉心之間的中心點U1P3、鼻尖點U1P4、左嘴角點U1P5、右嘴角點U1P6等六個特徵點做為判斷待分析臉部影像MF1是否符合客製化三維臉部模型CF之用。若待分析臉部影像MF1之左眼眼角點U1P1、右眼眼角點U1P2、二眉心之間的中心點U1P3、鼻尖點U1P4、左嘴角點U1P5、右嘴角點U1P6等六個特徵點不符合所有客製化三維臉部模型CF之特徵點，表示被拍攝者U1尚未建立客製化三維臉部模型CF，流程進入步驟S140，建立專屬於被拍攝者U1之客製化三維臉部模型CF。若待分析臉部影像MF1之前述六個特徵點符合此些客製化三維臉部模型CF之一者之特徵點，表示被拍攝者U1先前已建立客製化三維臉部模型CF，流程進入步驟S130，以取得被拍攝者U1之視線投影點Vg。
以下說明客製化三維臉部建模流程(步驟S140)。
客製化三維臉部建模流程可由多種實施方式實現，以下以第4圖之流程說明其中一種。
在步驟S141中，建模單元140取得待分析臉部影像MF1之數個特徵點，如第5A圖之建模特徵點P1~P6，其中建模特徵點P1為待分析臉部影像MF1之左眼眼角點、建模特徵點P2為右眼眼角點、建模特徵點P3為二眉心之間的中心點、建模特徵點P4為鼻尖點、建模特徵點P5為左嘴角點，而建模特徵點P6為右嘴角點。此些建模特徵點P1~P6之座標值僅為示例，不同被拍攝者的臉 部幾何型態不同，座標值也會不同。此外，建模特徵點不限於前述臉部特徵，其可以是臉部的任何部位之特徵點。
在步驟S142中，如第5B圖所示，建模單元140將此些建模特徵點P1~P6之基準者之座標值調整成基準座標值。例如，建模單元140以建模特徵點P4(鼻尖點)做為基準者，並將基準者之座標值調整成基準座標值，如設為(0,0)。
在步驟S143中，如第5B圖所示，建模單元140依據基準座標值，標準化此些建模特徵點P1~P6之其餘者個別之座標值。例如，建模單元140以基準座標值為中心，調整此些建模特徵點P1~P6之其餘者P1~P3及P5~P6個別之座標值。調整前、後，建模特徵點P1~P6之間的相對距離不變。標準化後之建模特徵點P1~P3及P5~P6之座標值如第5B圖所示，然數值僅為示例，非用以限制本揭露實施例。
在步驟S144中，如第5C圖所示，建模單元140依據調整因數N1，將標準化後之建模特徵點P1~P3及P5~P6個別之座標值調整成一建模座標值。例如，建模單元140取得標準化後之建模特徵點P1~P3及P5~P6個別之座標值與調整因數N1的積，並以積值做為建模座標值。調整後之建模特徵點P1~P3及P5~P6之建模座標值如第5C圖所示，然數值僅為示例，非用以限制本揭露實施例。在本實施例中，調整因數N1例如是整數，如介於0.1~1.0之間的整數，如0.6或其它數值。調整因數N1之值根據攝像器的解析度及/或相對距離而定，並不受本揭露實施例所限制。
在一實施例中，建模單元140依據被拍攝者U1與顯示器110之相對距離d，取得對應之調整因數N1。調整因數N1之值與相對距離d可呈正比。調整因數N1的單位例如是長度/每個像素(如，mm/pixel)。當相對距離d變大時，由於每個像素點所代表的實際尺寸(對應被拍攝者)隨之變大，因此調整因數N1的數值也配合變大，以反應像素點尺寸隨距離變大而變大之情況。相反地，當相對距離d變小時，由於每個像素點所代表的實際尺寸(對應被拍攝者)隨之變小，因此調整因數N1的數值也配合變小，以反應像素點尺寸隨距離變小而變小之情況。
此外，前述相對距離d可由攝像器120偵測而得。攝像器120例如是飛時測距(Time of Flight,ToF)攝像器；或者，攝像器120包含至少二影像感測器，此些影像感測器可採用習知影像處理技術運算所偵測之訊號，以取得相對距離d；或者，攝像器120可透過針孔成像原理及相機焦長(focal length)取得相對距離d。
在步驟S145中，建模單元140儲存基準者之基準座標值及此些建模特徵點P1~P6之其餘者P1~P3及P5~P6個別之建模座標值，以做為被拍攝者U1之待分析臉部影像MF1專屬之客製化三維臉部模型CF。客製化三維臉部模型CF可儲存於資料庫B(繪示於第1圖)。
以下說明視線投影點取得流程(步驟S130)。
視線投影點取得流程可由多種實施方式實現，以下以第4圖之步驟S130說明其中一種。
在步驟S131中，分析單元150取得待分析臉部影像MF1之感興趣區域(Region of Interest,ROI)，例如是第2圖之眼部區域影像MF1e。
在步驟S132中，如第2圖所示，分析單元150取得眼部區域影像MF1e之至少一眼睛特徵點之眼睛攝像座標值。眼睛特徵點例如是瞳孔中心點及眼睛中心點，例如左眼之瞳孔中心點U1P71及眼睛中心點U1P72以及右眼之瞳孔中心點U1P81及眼睛中心點U1P82。此處之眼睛中心點表示眼部區域影像MF1e之眼球表面之中心點。當眼睛正視時，瞳孔中心點與眼睛中心點大致上重合；當眼睛斜視時，瞳孔中心點與眼睛中心點錯開(即，不重合)。此外，左眼之瞳孔中心點U1P71具有座標值(x EP ',y EP ')，左眼之眼睛中心點U1P72具有座標值(x EC ',y EC ')，右眼之瞳孔中心點U1P81具有座標值(x EP ',y EP ')，而右眼之眼睛中心點U1P82具有座標值(x EC ',y EC ')。
在步驟S133中，如第2圖所示，分析單元150根據專屬於待分析臉部影像MF1之客製化三維臉部模型CF(標示於第1圖)及待分析臉部影像MF1，取得被拍攝者U1(繪示於第3A圖)之頭部的頭部姿態資訊，其中頭部姿態資訊例如是第3A圖之被拍攝者U1之頭部之上下傾角ω x 及第3B圖之左右傾角ω y ，其中上下傾角ω x 為相對於水平軸(例如，Xs軸)之夾角(或，繞軸Xs轉動之角度)， 而左右傾角ω y 為相對於垂直軸(例如，Ys軸)之夾角(或，繞軸Ys轉動之角度)。詳言之，當待分析臉部影像MF1之六個特徵點U1P1~U1P6與對應之客製化三維臉部模型CF之六個建模特徵點P1~P6之間的相對位置改變時，表示被拍攝者U1之頭部發生姿態變化。分析單元150採用基於客製化三維臉部模型的三維(3D)頭部配準之分析技術，分析此差異，以取得被拍攝者U1之頭部的頭部姿態資訊。然只要能取得上下傾角ω x 及左右傾角ω y 即可，本揭露實施例不限定所採演算法及/或影像處理技術。
在步驟S134中，分析單元150將眼睛特徵點之眼睛攝像座標值轉換成眼睛畫面座標值，其中眼睛畫面座標值參考至顯示畫面座標系Xs-Ys-Zs(顯示畫面座標系Xs-Ys-Zs繪示於第3A圖)。詳言之，分析單元150可採用後述公式(1)及(2)，將眼睛特徵點之眼睛攝像座標值轉換成眼睛畫面座標值，眼睛畫面座標值參考至顯示畫面座標系Xs-Ys-Zs，使後述公式(3)~(4B)所計算之座標值係參考至顯示畫面座標系Xs-Ys-Zs。
步驟S134可包含以下步驟S1341及S1342。
在步驟S1341中，分析單元150依據被拍攝者U1與攝像器120之間的相對距離d，取得(或產生)對應此相對距離d之校正矩陣H(校正矩陣H之取得方法容後描述)。校正矩陣H為攝像器座標系Xc-Yc-Zc與顯示畫面座標系Xs-Ys-Zs的座標轉換矩陣，其可採用任何合適之數學方法(如，向量座標轉換技術)取得。校 正矩陣H內的元素h11~h33之值視相對距離d而定，並非常數(非固定值)。
在步驟S1342中，依據校正矩陣H，分析單元150將眼睛特徵點之眼睛攝像座標值轉換成眼睛畫面座標值。舉例來說，當校正矩陣H決定後，將瞳孔中心點之眼睛攝像座標值(x EP ',y EP ')代入式(1)，以取得瞳孔中心點之眼睛畫面座標值(x EP ,y EP )，將眼睛中心點之眼睛攝像座標值(x EC ',y EC ')代入式(2)，以取得眼睛中心點之眼睛畫面座標值(x EC ,y EC )。左眼及右眼分別具有個自的瞳孔中心點之眼睛畫面座標值及眼睛中心點之眼睛畫面座標值。詳言之，分析單元150將左眼之瞳孔中心點U1P71之眼睛攝像座標值及眼睛中心點U1P72之眼睛攝像座標值分別代入下式(1)及(2)，以取得對應之眼睛畫面座標值，且右眼之瞳孔中心點U1P81之眼睛攝像座標值及眼睛中心點U1P82之眼睛攝像座標值分別代入下式(1)及(2)，以取得對應之眼睛畫面座標值。
Figure 110147911-A0305-02-0014-2
Figure 110147911-A0305-02-0014-3
此外，瞳孔中心點之眼睛畫面座標值可寫成(x EP ,y EP ,z EP )，其中x EP 及y EP 由式(1)取得，而z EP 為相對距離d之值，而眼睛中心點之眼睛畫面座標值可寫成(x EC ,y EC ,z EC )，其中，其中x EC 及y EC 由式(2)取得，z EC 為相對距離d之值。
在步驟S135中，分析單元150依據眼睛畫面座標值、頭部姿態資訊及眼球半徑R EB ，取得被拍攝者U1之眼球中心點座標值(x EB ,y EB ,z EB )，如下式(3)。一般成人眼的眼球半徑R EB 例如是約12毫米，然此非用以限制本揭露實施例。式(3)之正、負值由擺頭方向定義。眼球中心點座標值(x EB ,y EB ,z EB )參考至顯示畫面座標系Xs-Ys-Zs(顯示畫面座標系Xs-Ys-Zs繪示於第3A~3C圖)。
(x EB ,y EB ,z EB )=(x EC ±|R EB cos ω x sin ω y |,y EC ±|R EB cos ω y sin ω x |,R EB cos ω x cos ω y +z EC )...(3)
在步驟S136中，分析單元150根據瞳孔中心點的眼睛畫面座標值(x EP ,y EP ,z EP )及眼球中心點座標值(x EB ,y EB ,z EB )，取得被拍攝者U1之視線投影點座標值(x IP ,y IP )。視線投影點座標值(x IP ,y IP )為被拍攝者之視線投影於顯示面110s(z=0)的座標點。如第3B圖所示，VgR為右眼的視線VLR之視線投影點，而VgL為左眼的視線VLL的視線投影點，其中視線為瞳孔中心點與眼球中心點的連線。
舉例來說，分析單元150可將瞳孔中心點之眼睛畫面座標值(x EP ,y EP ,z EP )及眼球中心點座標值(x EB ,y EB ,z EB )代入下(4A)及(4B)。左眼及右眼各會有對應之一組(x IP ,y IP )，右眼的視線投影點座標值VgR寫為(x IP ,y IP ) R ，而左眼的視線投影點座標值VgL寫為(x IP ,y IP ) L 。
Figure 110147911-A0305-02-0015-4
Figure 110147911-A0305-02-0015-5
分析單元150可依據右眼的視線投影點座標值VgR(x IP ,y IP ) R 及左眼的視線投影點座標值VgL(x IP ,y IP ) L ，取得一個視線投影點座標值Vg(視線投影點座標值Vg繪示第3B圖)。例如，分析單元150可取視線投影點座標值VgR(x IP ,y IP ) R 與VgL(x IP ,y IP ) L 的平均值，而取得一個視線投影點座標值Vg。
然後，顯示器110可顯示視線投影點座標值Vg。
以下舉例說明校正矩陣H的取得方法，在取得校正矩陣H的取得方法之前，先取得物件攝像座標點DC1~DC4之初始座標值及物件顯示座標點DS1~DS4之初始座標值之取得流程
以下說明物件攝像座標點之初始座標值及物件顯示座標點之初始座標值之取得流程。
請參照第6~7D圖，第6圖繪示依照本揭露實施例之物件攝像座標點之初始座標值及物件顯示座標點之初始座標值之取得流程圖，第7A圖繪示依照本揭露一實施例之校正物件D的示意圖，第7B圖繪示第7A圖之校正物件D與攝像器120之相對位置示意圖，第7C圖繪示第1圖之攝像器120所擷取之物件攝像畫面M1’之示意圖，而第7D圖繪示第7A圖之校正物件D相對顯示器110之顯示面110s之示意圖。
於步驟S210A中，如第7B圖所示，在校正物件D與攝像器120相距一校正距離ds下，攝像器120擷取校正物件D之物件攝像畫面M1’(物件攝像畫面M1’繪示於第7C圖)。如第7A圖所示，校正物件D具有已知的長度W1及寬度W2，長度W1可以等於或小於顯示器110之長度解析度(即，第7D圖之顯示面110s之邊界 點S2與邊界點S1之差)，而寬度W2可以等於或小於顯示器110之寬度解析度(即，第7D圖之顯示面110s之邊界點S4與邊界點S1之差)。如第7C圖所示，物件攝像畫面M1’具有邊界點C1~C4。邊界點C1~C4例如是物件攝像畫面M1’之四個角，其中邊界點C1具有座標值(C1x,C1y)，邊界點C2具有座標值(C2x,C2y)，邊界點C3具有座標值(C3x,C3y)，而邊界點C4具有座標值(C4x,C4y)。在一實施例中，分析單元150以其中一邊界點做為原點，例如是以邊界點C1做為原點，原點之座標可定義為(0,0)。
在步驟S220中，分析單元150取得校正物件D於攝像器120之物件攝像畫面M1’之數個物件攝像座標點DC1~DC4，其中物件攝像座標點DC1~DC4例如是物件攝像畫面M1中校正物件影像MDC之四個角。物件攝像座標點DC1具有初始座標值(DC1x,DC1y)，物件攝像座標點DC2具有初始座標值(DC2x,DC2y)，物件攝像座標點DC3具有初始座標值(DC3x,DC3y)，而物件攝像座標點DC4具有初始座標值(DC4x,DC4y)。物件攝像座標點DC1~DC4之初始座標值為相對物件攝像畫面M1’之原點(如，邊界點C1)的數值。
由於已知攝像器120之解析度，因此邊界點C1~C4之座標值(例如，(C1x,C1y)、(C2x,C2y)、(C3x,C3y)及(C4x,C4y))也為已知。由於校正物件D之尺寸(如，長度W1及寬度W2)為已知，因此物件攝像座標點DC1~DC4之初始座標值(例如， (DC1x,DC1y)、(DC2x,DC2y)、(DC3x,DC3y)及(DC4x,DC4y))也為已知。
在步驟S230中，如第7D圖所示，分析單元150取得校正物件D相對顯示器110之顯示面110s之數個物件顯示座標點DS1~DS4。
如第7D圖所示，顯示面110s具有邊界點S1~S4，其中邊界點S1~S4例如是顯示面110s之四個角，其中邊界點S1具有座標值(S1x,S1y)，邊界點S2具有座標值(S2x,S2y)，邊界點S3具有座標值(S3x,S3y)，而邊界點S4具有座標值(S4x,S4y)。在一實施例中，分析單元150以其中一邊界點做為原點，例如以邊界點S1做為原點，原點定義為(0,0)。
如第7D圖所示，物件顯示座標點DS1~DS4例如是在Zs=0下，校正物件D相對於顯示面110s之座標點。例如，可將校正物件D設置(或貼附)在顯示器110之顯示面110s上(使Zs=0)。物件顯示座標點DS1~DS4例如校正物件D相對於顯示面110s之四個角。物件顯示座標點DS1具有初始座標值(DS1x,DS1y)，物件顯示座標點DS2具有初始座標值(DS2x,DS2y)，物件顯示座標點DS3具有初始座標值(DS3x,DS3y)，而物件顯示座標點DS4具有初始座標值(DS4x,DS4y)。物件顯示座標點DS1~DS4之初始座標值為相對顯示面110s之原點(如，邊界點S1)的數值。
由於已知顯示器110之解析度，因此邊界點S1~S4之座標值(例如，(S1x,S1y)、(S2x,S2y)、(S3x,S3y)及(S4x,S4y))也為已知。由於校正物件D之尺寸(如，長度W1及寬度W2)為已知，因此物件攝像座標點DC1~DC4之初始座標值(例如，(DC1x,DC1y)、(DC2x,DC2y)、(DC3x,DC3y)及(DC4x,DC4y))也為已知。
當校正距離ds改變時，物件攝像座標點DC1~DC4之座標值也會隨之改變。當校正物件D相對於攝像器120變遠(第7B圖之校正距離ds變大)時，以第7C圖之物件攝像畫面M1’來說，校正物件影像MDC形同變小，物件攝像座標點DC1~DC4之校正座標值隨之改變；當校正物件D相對於攝像器120變近(第7B圖之校正距離ds變小)時，第7C圖之物件攝像畫面M1’之校正物件影像MDC形同變大，物件攝像座標點DC1~DC4之校正座標值隨之改變。
在本實施例中，分析單元150可採用前述方法，取得第一距離d1(校正距離)下之物件攝像座標點(第一物件攝像座標點)DC1~DC4之初始座標值，分別以(DC1x,d1,DC1y,d1)、(DC2x,d1,DC2y,d1)、(DC3x,d1,DC3y,d1)及(DC4x,d1,DC4y,d1)表示，且取得第二距離d2(校正距離)下之物件攝像座標點(第二物件攝像座標點)DC1~DC4之初始座標值，分別以(DC1x,d2,DC1y,d2)、(DC2x,d2,DC2y,d2)、(DC3x,d2,DC3y,d2)及(DC4x,d2,DC4y,d2)表示。
第一距離d1下之物件攝像座標點DC1~DC4之初始座標值(DC1x,d1,DC1y,d1)、(DC2x,d1,DC2y,d1)、(DC3x,d1,DC3y,d1)、(DC4x,d1,DC4y,d1)、(DC1x,d2,DC1y,d2)、(DC2x,d2,DC2y,d2)、第二距離d2下之物件攝像座標點DC1~DC4之初始座標值(DC3x,d2,DC3y,d2)及(DC4x,d2,DC4y,d2)以及物件顯示座標點之初始座標值(DS1x,DS1y)、(DS2x,DS2y)、(DS3x,DS3y)及(DS4x,DS4y)可儲存於分析單元150或另一儲存單元(未繪示)，以做為後續產生校正矩陣H之用。
以下說明校正矩陣H之取得流程。
請參照第8圖，第8圖繪示第4圖之步驟S134之校正矩陣(或稱「幾何校正矩陣」)H的取得流程圖。
在步驟S134A中，攝像器120或其它測距裝置取得被拍攝者U1與攝像器120之間的相對距離d(相對距離d繪示於第3A圖)。
在步驟S134B中，分析單元150判斷相對距離d是否小於第一距離d1。若相對距離d小於第一距離d1，流程進入步驟S134C；若否，流程進入步驟S134D。在步驟S134D中，分析單元150判斷相對距離d是否大於第二距離d2。若相對距離d大於第二距離d2，流程進入步驟S134E；若否，流程進入步驟S134F。
在步驟S134F中，分析單元150依據此些物件顯示座標點DS1~DS4之初始座標值以及在相對距離d下此些物件攝像座標點DC1~DC4之校正座標值，取得校正矩陣H。
Figure 110147911-A0305-02-0021-6
式(6)之校正矩陣H之元素h11~h33之數值依據此些物件顯示座標點DS1~DS4之初始座標值以及在相對距離d下之此些物件攝像座標點DC1~DC4之校正座標值而定，並非常數(非固定值)。式(6)中，Cx及Cy表示待分析攝像畫面M1(分析攝像畫面M1繪示於第2圖)的任一像素點之座標值。分析攝像畫面M1的任一像素點之座標值(Cx,Cy)可透過校正矩陣H轉換成待分析顯示畫面M2上之座標值(Sx,Sy)。
第二距離d2及第一距離d1之間提供一有效工作區域範圍，在此有效工作區域範圍內，視線追蹤裝置可依據使用者相對攝像器之距離產生對應之校正矩陣，以提升視線追蹤精確度。在一實施例中，當相對距離d介於第一距離d1與第二距離d2之間時，分析單元150可採用例如是內插法或外插法，取得在相對距離d下之此些物件攝像座標點DC1~DC4之校正座標值。例如，物件攝像座標點DC1~DC4之校正座標值(x_DC n ,y_DC n )之Xs軸座標值x_DCn及Ys軸座標值y_DCn可分別透過下式(7A)及(7B)取得。下標n表示不同物件攝像座標點，例如，下標”1”表示物件攝像座標點DC1，下標”2”表示物件攝像座標點DC2，以此類推。
Figure 110147911-A0305-02-0021-8
Figure 110147911-A0305-02-0022-10
在取得此些物件攝像座標點DC1~DC4之校正座標值(x_DC n ,y_DC n )後，分析單元150依據此些物件攝像座標點DC1~DC4之校正座標值(x_DC n ,y_DC n )及此些物件顯示座標點DS1~DS4之初始座標值，取得對應相對距離d之校正矩陣H。校正矩陣H的取得技術例如是合適數學方法或軟體函數，本揭露實施例不加以限定。在一實施例中，校正矩陣H例如可採用函數cv.findHomography(ptc,pts)取得，其中參數ptc為此些物件攝像座標點DC1~DC4之校正座標值(x_DC n ,y_DC n )，而參數pts為此些物件顯示座標點DS1~DS4之初始座標值。函數cv.findHomography可以取得或產生二平面之間的轉換矩陣，然只要可以取得二平面之間的轉換矩陣即可，並不限於使用函數cv.findHomography。
在步驟S134C中，由於相對距離d小於第一距離d1，無論相對距離d與第一距離d1之差距，分析單元150將相對距離d之值設為第一距離d1之值，並採用相同或相似於步驟S134F之方式取得(或產生)校正矩陣H。在步驟S134E中，由於相對距離d大於第二距離d2，無論相對距離d與第二距離d2之差距，分析單元150將相對距離d之值設為第二距離d2之值，並採用相同或相似於步驟S134F之方式取得(或產生)校正矩陣H。
如上式(6)所示，分析攝像畫面M1(繪示於第2圖)的任一像素點之座標值(Cx,Cy)透過校正矩陣H轉換成待分析顯示畫面M2上之座標值(Sx,Sy)，因此顯示器110之待分析顯示畫面M2(繪示於第3C圖)所呈現之待分析臉部影像不會隨相對距離d之改變而變。詳言之，即使相對距離d變大或變小，但顯示器110之待分析顯示畫面M2所呈現之待分析臉部影像大致上可維持不變。
此外，基於攝像器120的特性，待分析攝像畫面M1(繪示於第2圖)難免產生變形(如，變成上窄下寬之梯形)。然，透過本揭露實施例之校正矩陣H之校正，可將變形之待分析攝像畫面M1之一區域R1(區域R1繪示於第2圖)之四個座標點DC5~DC8(座標點DC5~DC8繪示於第2圖)轉換至待分析顯示畫面M2(繪示於第3C圖)之一區域R2(區域R2繪示於第3C圖)之四個座標點DS5~DS8(座標點DS5~DS8繪示於第3B圖)，區域R1可能是梯形，而區域R2為矩形。座標點DC5~DC8例如是區域R1之四個角，而座標點DS5~DS8例如是區域R2之四個角。只要選擇適當之區域R1之位置，對應之區域R2可以是顯示器110之整個顯示面的大小。如第2及3C圖所示，在本實施例中，區域R1小於區域R2，因此位於待分析攝像畫面M1之區域R1以外的區域之另一拍攝者不會顯示於待分析顯示畫面M2。然，即使位於待分析攝像畫面M1之區域R1以外的區域之另一拍攝者不會顯示於待分析顯示畫面M2，視線追蹤裝置100仍可對區域R1以外之待分析臉部影像 進行分析，分析方法相同於或相似於待分析臉部影像MF1，於此不再贅述。
下表一~表四為本揭露實施例採用客製化三維臉部模型之視線追蹤裝置100與採用習知三維臉部模型之視線追蹤裝置針對受測者(假人)在頭部擺動之精準度之特性比較表。精準度表現愈好，表示視線投影點Vg愈精準。
Figure 110147911-A0305-02-0024-11
Figure 110147911-A0305-02-0024-12
Figure 110147911-A0305-02-0024-13
Figure 110147911-A0305-02-0025-14
Figure 110147911-A0305-02-0025-15
如上表一所示，依據以未戴口罩為前提之測試結果，相較於採用習知三維臉部模型，本揭露實施例採用客製化三維臉部模型在左右方向之個別精度、在上下方向之個別精度以及整合精度都較高。
如上表二所示，依據以戴口罩為前提之測試結果，相較於採用習知三維臉部模型，本揭露實施例採用客製化三維臉部模型在左右方向之個別精度、在上下方向之個別精度以及整合精度都較高。
如上表三所示，依據精度測試(測試假人上下移動1度及左右擺動3度時的精度)結果，相較於採用習知三維臉部模型， 本揭露實施例採用客製化三維臉部模型在中心點、左點、右點、上點及下點之精度都較高，其中中心點不限定假人臉部之位置，而左點、右點、上點及下點分別相對於中心點而定。
如上表四所示，依據準度測試(測試假人上下移動1度及左右擺動3度時的精度)結果，相較於採用習知三維臉部模型，本揭露實施例採用客製化三維臉部模型在中心點、左點、右點、上點及下點之精度都較高，其中中心點不限定假人臉部之位置，而左點、右點、上點及下點分別相對於中心點而定。
綜上，本揭露實施例提出一種視線追蹤裝置及其視線追蹤方法。視線追蹤裝置可判斷被拍攝者是否已建立有專屬於被拍攝者之客製化三維臉部模型；若有，依據客製化三維臉部模型追蹤被拍攝者之視線；若無，建立專屬於被拍攝者之客製化三維臉部模型。由於客製化三維臉部模型是專屬於被拍攝者所建，因此視線追蹤裝置可取得精準之被拍攝者頭部姿態資訊，進而取得精準之視線投影點。
綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
S110~S145:步驟

Claims (16)

  1. 一種視線追蹤方法，包括：一攝像器擷取一待分析攝像畫面，該待分析攝像畫面包含一被拍攝者之一臉部之一待分析臉部影像；判斷該待分析攝像畫面之一待分析臉部影像是否符合一客製化三維臉部模型；若該待分析臉部影像不符合該客製化三維臉部模型，透過一客製化三維臉部建模流程，建立該待分析臉部影像之該客製化三維臉部模型；若該待分析臉部影像符合該客製化三維臉部模型，取得該待分析臉部影像之一眼部區域影像；根據該客製化三維臉部模型及該待分析臉部影像，取得該被拍攝者之一頭部之一頭部姿態資訊；取得該眼部區域影像之一眼睛特徵點之一眼睛攝像座標值，其中該眼睛攝像座標值參考至一攝像器座標系；將該眼睛攝像座標值轉換成一眼睛畫面座標值，其中該眼睛畫面座標值參考至一顯示畫面座標系；依據該眼睛畫面座標值、該頭部姿態資訊及一眼球半徑，取得該被拍攝者之一眼球中心點座標值；以及根據該眼睛畫面座標值及該眼球中心點座標值，取得該被拍攝者之一視線投影點座標值；在將該眼睛攝像座標值轉換成該眼睛畫面座標值之步驟包括： 依據該被拍攝者與該攝像器之間的一相對距離，取得對應之一校正矩陣；及依據該校正矩陣，將該眼睛攝像座標值轉換成該眼睛畫面座標值。
  2. 如請求項1所述之視線追蹤方法，其中該客製化三維臉部建模流程包括：取得該待分析臉部影像之複數個建模特徵點；調整該些建模特徵點之一基準者之座標值為一基準座標值；依據該基準座標值，標準化該些建模特徵點之其餘者個別之座標值；依據一調整因數，將標準化後之該些建模特徵點個別之座標值調整成一建模座標值；以及儲存該基準座標值及該些建模座標值。
  3. 如請求項2所述之視線追蹤方法，其中該客製化三維臉部建模流程包括：依據該被拍攝者與該顯示器之該相對距離，取得對應之該調整因數。
  4. 如請求項3所述之視線追蹤方法，其中該調整因數之值與該相對距離呈正比。
  5. 如請求項1所述之視線追蹤方法，在取得該待分析臉部影像之該頭部姿態資訊之步驟中，該頭部姿態資訊包含該 頭部之一上下傾角及一左右傾角，其中該上下傾角為該頭部相對一水平軸之夾角，該左右傾角為該頭部相對一垂直軸之夾角。
  6. 】如請求項1所述之視線追蹤方法，在取得該眼部區域影像之該眼睛特徵點之該眼睛攝像座標值之步驟中，該眼睛特徵點包含一瞳孔中心點及一眼睛中心點。
  7. 如請求項1所述之視線追蹤方法，更包括：在一第一距離下，取得一校正物件於該攝像器之一物件攝像畫面之複數個第一物件攝像座標點；在一第二距離下，取得該校正物件於該攝像器之該物件攝像畫面之複數個第二物件攝像座標點；取得該校正物件相對該顯示器之一顯示面之複數個物件顯示座標點；以及儲存該些第一物件攝像座標點、該些第二物件攝像座標點及該些物件顯示座標點。
  8. 如請求項7所述之視線追蹤方法，其中更包括：取得該相對距離；判斷該相對距離是否介於該第一距離與該第二距離之間；以及若該相對距離介於該第一距離與該第二距離之間，依據該些第一物件攝像座標點、該些第二物件攝像座標點及該些物件顯示座標點，取得該校正矩陣。
  9. 一種視線追蹤裝置，包括：一顯示器； 一攝像器，配置在該顯示器，且用以：擷取一待分析攝像畫面，該待分析攝像畫面包含一被拍攝者之一臉部之一待分析臉部影像；一判斷單元，用以：判斷該待分析攝像畫面之一待分析臉部影像是否符合一客製化三維臉部模型；一建模單元，用以：若該待分析臉部影像不符合該客製化三維臉部模型，透過一客製化三維臉部建模流程，建立該待分析臉部影像之該客製化三維臉部模型；以及一分析單元，用以：若該待分析臉部影像符合該客製化三維臉部模型，取得該待分析臉部影像之一眼部區域影像；根據該客製化三維臉部模型及該待分析臉部影像，取得該被拍攝者之一頭部之一頭部姿態資訊；取得該眼部區域影像之一眼睛特徵點之一眼睛攝像座標值，其中該眼睛攝像座標值參考至一攝像器座標系；將該眼睛攝像座標值轉換成一眼睛畫面座標值，其中該眼睛畫面座標值參考至一顯示畫面座標系；依據該眼睛畫面座標值、該頭部姿態資訊及一眼球半徑，取得該被拍攝者之一眼球中心點座標值；及根據該眼睛畫面座標值及該眼球中心點座標值，取得該被拍攝者之一視線投影點座標值；該分析單元更用以： 依據該被拍攝者與該攝像器之間的一相對距離，取得對應之一校正矩陣；以及依據該校正矩陣，將該眼睛攝像座標值轉換成該眼睛畫面座標值。
  10. 如請求項9所述之視線追蹤裝置，其中該建模單元更用以：取得該待分析臉部影像之複數個建模特徵點；調整該些建模特徵點之一基準者之座標值為一基準座標值；依據該基準座標值，標準化該些建模特徵點之其餘者個別之座標值；依據一調整因數，將標準化後之該些建模特徵點個別之座標值調整成一建模座標值；以及儲存該基準座標值及該些建模座標值。
  11. 如請求項10所述之視線追蹤裝置，其中該建模單元更用以：依據該被拍攝者與該顯示器之該相對距離，取得對應之該調整因數。
  12. 如請求項11所述之視線追蹤裝置，其中該調整因數之值與該相對距離呈正比。
  13. 如請求項9所述之視線追蹤裝置，該頭部姿態資訊包含該頭部之一上下傾角及一左右傾角，其中該上下傾角為該 頭部相對一水平軸之夾角，該左右傾角為該頭部相對一垂直軸之夾角。
  14. 如請求項9所述之視線追蹤裝置，其中該眼睛特徵點包含一瞳孔中心點及一眼睛中心點。
  15. 如請求項9所述之視線追蹤裝置，其中該分析單元更用以：在一第一距離下，取得一校正物件於該攝像器之一物件攝像畫面之複數個第一物件攝像座標點；在一第二距離下，取得該校正物件於該攝像器之該物件攝像畫面之複數個第二物件攝像座標點；取得該校正物件相對該顯示器之一物件顯示畫面之複數個物件顯示座標點；以及儲存該些第一物件攝像座標點、該些第二物件攝像座標點及該些物件顯示座標點。
  16. 如請求項15所述之視線追蹤裝置，其中該分析單元更用以：取得該相對距離；判斷該相對距離是否介於該第一距離與該第二距離之間；以及若該相對距離介於該第一距離與該第二距離之間，依據該些第一物件攝像座標點、該些第二物件攝像座標點及該些物件顯示座標點，取得該校正矩陣。
TW110147911A 2021-12-21 2021-12-21 視線追蹤方法及應用其之視線追蹤裝置 TWI819439B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110147911A TWI819439B (zh) 2021-12-21 2021-12-21 視線追蹤方法及應用其之視線追蹤裝置
US17/562,652 US11487360B1 (en) 2021-12-21 2021-12-27 Gaze tracking method and gaze tracking device using ihe same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110147911A TWI819439B (zh) 2021-12-21 2021-12-21 視線追蹤方法及應用其之視線追蹤裝置

Publications (2)

Publication Number Publication Date
TW202326625A TW202326625A (zh) 2023-07-01
TWI819439B true TWI819439B (zh) 2023-10-21

Family

ID=83809629

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110147911A TWI819439B (zh) 2021-12-21 2021-12-21 視線追蹤方法及應用其之視線追蹤裝置

Country Status (2)

Country Link
US (1) US11487360B1 (zh)
TW (1) TWI819439B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132798B (zh) * 2023-02-02 2023-06-30 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
TW202013244A (zh) * 2018-09-28 2020-04-01 大陸商北京市商湯科技開發有限公司 注視點判斷方法和裝置、電子設備和電腦儲存介質
CN113343879A (zh) * 2021-06-18 2021-09-03 厦门美图之家科技有限公司 全景面部图像的制作方法、装置、电子设备及存储介质
US20210374994A1 (en) * 2020-05-26 2021-12-02 Beihang University Gaze point calculation method, apparatus and device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793B (zh) 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US20150135309A1 (en) 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
KR102212209B1 (ko) * 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
US9864430B2 (en) * 2015-01-09 2018-01-09 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model
TWI585607B (zh) 2016-01-04 2017-06-01 由田新技股份有限公司 結合臉部認證的視線軌跡認證系統、方法、電腦可讀取紀錄媒體及電腦程式產品
TWI637288B (zh) 2017-10-11 2018-10-01 緯創資通股份有限公司 用於眼球視線校正的影像處理方法及其系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
TW202013244A (zh) * 2018-09-28 2020-04-01 大陸商北京市商湯科技開發有限公司 注視點判斷方法和裝置、電子設備和電腦儲存介質
US20210374994A1 (en) * 2020-05-26 2021-12-02 Beihang University Gaze point calculation method, apparatus and device
CN113343879A (zh) * 2021-06-18 2021-09-03 厦门美图之家科技有限公司 全景面部图像的制作方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11487360B1 (en) 2022-11-01
TW202326625A (zh) 2023-07-01

Similar Documents

Publication Publication Date Title
US20210165250A1 (en) Method and device for determining parameters for spectacle fitting
JP4966816B2 (ja) 視線方向計測方法および視線方向計測装置
Venkateswarlu Eye gaze estimation from a single image of one eye
JP5137833B2 (ja) 視線方向検出装置および視線方向検出方法
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
WO2017211066A1 (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US20190220659A1 (en) Information processing apparatus, information processing method, and storage medium
Nishino et al. Corneal imaging system: Environment from eyes
US20160166145A1 (en) Method for determining ocular measurements using a consumer sensor
CN106529409A (zh) 一种基于头部姿态的眼睛注视视角测定方法
CN107890337A (zh) 用于确定受试者的眼睛的几何参数的方法
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP3454726B2 (ja) 顔向き検出方法及びその装置
JP2019047911A (ja) ゴーグル型表示装置、視線検出方法及び視線検出システム
JP6881755B2 (ja) 視線検出校正方法、システム、及びコンピュータプログラム
JP2017194301A (ja) 顔形状測定装置及び方法
JP2017188766A (ja) カメラを備える電子機器、撮影映像の補正方法および記憶媒体
TWI819439B (zh) 視線追蹤方法及應用其之視線追蹤裝置
CN110998417A (zh) 确定视近点的方法、装置和计算机程序
TWI756932B (zh) 熱像設備及熱像儀之溫度校正方法
WO2020237940A1 (zh) 一种基于人眼状态识别的疲劳检测方法及装置
JP4682372B2 (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム
KR100930594B1 (ko) 안면 영상 촬영장치 및 그의 안면 특징점 검출 방법
JP6906943B2 (ja) 車載器
JP3711053B2 (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体